JP2010072699A - 画像分類装置および画像処理装置 - Google Patents

Abstract

【課題】画像を形容詞に対応させて分類すること。
【解決手段】画像データに基づいて、画像から受ける人間の感性的な印象を形容詞で分類する画像分類装置は、１つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい輝度面のヒストグラムの分布形状のモデルを、少なくとも曲率と非対称性に関して設定するモデル設定手段と、入力画像に対し、輝度面のヒストグラムを作成するヒストグラム作成手段と、モデルのヒストグラムの分布形状とマッチングを取ることによって、入力画像が形容詞で表される感性的な印象を備えているか否かを判別する判別手段とを備える。
【選択図】図１２

Description

本発明は、画像分類装置および画像処理装置に関する。

従来、一枚の写真画像全体から人間が感じる印象を「爽やかな」や「みずみずしい」といった感性的な形容詞用語と対応づける試みがなされてきた。特許文献１では、色相を等区間に５０分割し、最頻色相区間の上位３つを代表色相とし、それらの色相区間を構成する画素の色相・輝度・彩度の平均値を各々の代表色とする、あるいはマンセル表色系を等分割した１３０種類の限定色パッチに各画素を近似し、最頻パッチの上位３つを代表色とし、その後、３色配色と印象語を結びつけたデータベースと照らし合わせて写真画像の印象を割り当てる方法を提案している。

他方、非特許文献１の最近の研究では、物体表面の光沢感という要素が、漆喰で作られた同じテキスチャ・シーン画像の階調変化に対する比較実験から、輝度のヒストグラムの非対称性、すなわち歪度と相関が深く、逆にその歪度の測定によって物体表面の光沢感特性の推定が可能になるかもしれないことが示された。

特許第３０２０８８７号公報 I. Motoyoshi, S. Nishida, L. Sharan and E. H. Adelson,"Image statistics and the perception of surface qualities,"Nature, 2007, May 10; Vol.447(7141), pp.206-209.

従来の特許文献１のような予め複数用意された、いわゆるネーミング・カラーと呼ばれる代表色のカラーパッチへ特徴量を変換する方法では、輝度・彩度・色相の値自身のみ、あるいは部分領域に於けるそれらの平均値のみを特徴量として採用しているため、１つ１つの形容詞に対して膨大な数の配色作例を用意して、膨大な数の作例との間で特徴量の類似性比較を行なわなければならないという課題があった。

また、特定の配色数のモデルへ押し込めるため、必ずしも実際の印象に近い画像が得られないこともあるという課題があった。更に、これらの配色モデルは、写真画像の印象判定から構築されてきたというよりも、むしろ服飾やインテリアなどのカラーデザイン用途に構築されてきたデータベースに基づいており、写真画像にはそのまま当てはまらない側面があるという問題もあった。

また非特許文献１は、物体表面の光沢感という要素の測定に関して重要な指針を示しているものの、様々なシーンの部分要素が複雑に入り組むような一般写真では、例えば明るい空や暗い湖の情景が被写体内に写り込むようにヒストグラムの変動要因は多々存在しているため、一枚の写真画像の印象を的確に表す多くの形容詞群、例えば「爽やかな」、「のどかな」といったような感性的な形容詞についても同様な演繹が成り立つのか未解明であった。

これらの問題に対し、全く異なるシーンの画像であっても、「爽やかな」といった１つ１つの形容詞からなる感性用語に対し、何らかの法則性が存在するかを検証し、その中からできるだけ形容詞との対応性が高いものを特徴量化することによって、形容詞による画像検索をもっと精度よく容易に行いやすい環境を整えることを目的とする。すなわち、写真画像において画像から観測することのできる実際の物理量と人間が感じる感性用語との関係の解明を試みることにより、より洗練された特徴量の記述を行なえるようにすることを目的とする。

（１）請求項１の発明は、画像データに基づいて、画像から受ける人間の感性的な印象を形容詞で分類する画像分類装置に適用され、１つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい輝度面のヒストグラムの分布形状のモデルを、少なくとも曲率と非対称性に関して設定するモデル設定手段と、入力画像に対し、輝度面のヒストグラムを作成するヒストグラム作成手段と、モデルのヒストグラムの分布形状とマッチングを取ることによって、入力画像が形容詞で表される感性的な印象を備えているか否かを判別する判別手段とを備えることを特徴とする。
（２）請求項２の発明は、画像データに基づいて、画像から受ける人間の感性的な印象を形容詞で分類する画像分類装置に適用され、１つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい彩度面のヒストグラムの分布形状のモデルを、少なくとも曲率と非対称性に関して設定するモデル設定手段と、入力画像に対し、彩度面のヒストグラムを作成するヒストグラム作成手段と、モデルのヒストグラムの分布形状とマッチングを取ることによって、入力画像が形容詞で表される感性的な印象を備えているか否かを判別する判別手段とを備えることを特徴とする。
（３）請求項３の発明は、画像データに基づいて、画像から受ける人間の感性的な印象を形容詞で分類する画像分類装置に適用され、１つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい輝度面のヒストグラムの分布形状と彩度面のヒストグラムの分布形状のモデルを、少なくとも曲率と非対称性に関して各々設定するモデル設定手段と、入力画像に対し、輝度面と彩度面のヒストグラムを各々作成するヒストグラム作成手段と、モデルのヒストグラムの分布形状とマッチングを取ることによって、入力画像が形容詞で表される感性的な印象を備えているか否かを判別する判別手段とを備えることを特徴とする。
画像分類装置。
（４）請求項１１の発明は、画像データが有する代表的な色相を自動的に分類する画像処理装置に適用され、入力画像に対し、色相面のヒストグラムを作成するヒストグラム作成手段と、ヒストグラムを平滑化する平滑手段と、平滑化されたヒストグラムに対して微分信号を作成する微分手段と、微分信号から得られる極大情報に基づき、ヒストグラムをピーク単位で分割する分割手段と、分割されたピークの数を画像が有する代表色相数として色相分類する分類手段とを備えることを特徴とする。

本発明によれば、画像から感性との結びつきの高い、特に色に関する特徴量を抽出したことにより、形容詞に関する高度な画像分類を実現することができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
＜事前の説明＞
実施例の具体的なアルゴリズムの説明に入る前に、そのアルゴリズムが依拠する、実験的に解明した原理的な基礎事実について、幾つか例を挙げて説明する。すなわち、写真画像と感性用語との間の何らかの法則性の存在を模索するために、評価用にそれらが対となった基礎データの収集と、同一の形容詞が割り当てられた画像の間に共通する特徴がもし見出せられたならばモデル化し、感性画像検索の手段として利用する。

（Ａ）感性用語と実写真データとの間の評価用データ収集
まず、実写真データから受ける感性的な印象の基礎データを作るため、風景写真や人物写真、街中の写真や接写写真などを含む様々な自然画像の写真数百枚の各々に対し、その一枚の画像全体から受ける印象を最も的確に表していると思われる感性的な形容詞を、任意の日本語の形容詞の中から一語、ないしはそれで表し切れない場合は数語程度までの範囲で名付ける作業を行なった。

これらの形容詞を観察してみると、写真特有の「殺風景な」といった形容詞が割り当てられたりすることがあるものの、概して色感情を表すためによく用いられる４７３語の形容詞に近似的に当てはまることが多かった。この４７３語は、以下の文献（注１）の付録に示されている。
（注１）日本色彩学会編、色彩科学講座１、「カラーサイエンス」、2004年、朝倉書店、ISBN4-254-10601-7.

したがって、基礎データ取得のための感性用語割り当ての手法としては、この４７３語の中から選んでデータを作るようなことも考えられる。また、上記特許文献１がデータベースとして用いた引用文献（注２）には代表的な感性形容詞用語として１８０語が示されている。
（注２）日本カラーデザイン研究所編、小林重順著、「カラーイメージスケール」（改訂版）、2006年、講談社、ISBN4-06-210929-8.

（Ｂ）感性用語（形容詞）と物理量との関係、及び感性モデルの構築
評価用画像データの全てを均等色空間であるマンセルＨＶＣ空間に変換し、それらのヒストグラムを作成し、形容詞との関係を探った結果、色ヒストグラムの分布形状と形容詞との間に深い関連性が存在しいていることが分かった。その類似性を示す証拠となる例として、「爽やかな」、「のどかな」、「賑やかな」の典型的なヒストグラムの例をそれぞれ画像と一緒に図１に示す。また、「賑やかな」には色の特徴量の視点からは、タイプ１とタイプ２の２つのヒストグラム分布構造が存在していることも分かった。タイプ１は彩度構造の賑やかさを表し、タイプ２は輝度構造の賑やかさを表していると考えられる。

「爽やかな」に該当する１つの画像（図２）のさらに詳しいヒストグラムを図３ａ〜図３ｃに示す。図３ａはＨ（色相）のヒストグラムであり、図３ｂはＶ（輝度）のヒストグラムであり、図３ｃはＣ（彩度）のヒストグラムである。

「のどかな」に該当する１つの画像（図４）のさらに詳しいヒストグラムを図５ａ〜図５ｃに示す。図５ａはＨ（色相）のヒストグラムであり、図５ｂはＶ（輝度）のヒストグラムであり、図５ｃはＣ（彩度）のヒストグラムである。

「賑やかな」に該当するタイプ１の１つの画像（図６）のさらに詳しいヒストグラムを図７ａ〜図７ｃに示す。図７ａはＨ（色相）のヒストグラムであり、図７ｂはＶ（輝度）のヒストグラムであり、図７ｃはＣ（彩度）のヒストグラムである。

「賑やかな」に該当するタイプ２の１つの画像（図８）のさらに詳しいヒストグラムを図９ａ〜図９ｃに示す。図９ａはＨ（色相）のヒストグラムであり、図９ｂはＶ（輝度）のヒストグラムであり、図９ｃはＣ（彩度）のヒストグラムである。なお、これらのヒストグラム図の中には、後述する実施形態の自動色相分割アルゴリズムを用いて分割された色相区間ごとの部分ヒストグラムの絵も併記してある。

これら３つの感性用語に関しては少なくとも、そのＨＶＣヒストグラムの分布構造の変化を観察することから、図１０に示すように、色の分布を特徴量とする軸上において、大雑把に「爽やかな」に対応する領域２１と、「賑やかな」に対応する領域２３が両極の相対する方向に位置し、その中間地帯に「のどかな」に対応する領域２２が位置しているような分類モデルを設定することが可能である。

とくに輝度Ｖと彩度Ｃのヒストグラム分布形状に着目すると、この３つの形容詞の間で徐々に変化して、相互に対極な形状にまで変化していることが読み取れる。すなわち、「爽やかな」はＶヒストグラム構造が二分化傾向にあり、Ｃヒストグラム構造はどちらかというと一極化傾向にある。それに対しタイプ１の「賑やかな」はＶヒストグラム構造がどちらかというと中央に一極化傾向、Ｃヒストグラム構造が「爽やかな」のＶヒストグラム構造と同じように二極化傾向にあるといえる。また、「のどかな」はそれらの中間地帯に近づくようにして、Ｖヒストグラム構造は二極構造が存在しつづけるものの一方に流入して、一本化されそうな状況にあり、他方でＣヒストグラム構造は「爽やかな」のＣヒストグラム構造が二分化して、タイプ１の「賑やかな」のＣヒストグラム構造に近づきつつあると解釈できる。

色相Ｈのヒストグラム分布構造について特徴を述べると、「爽やかな」は黄緑や青の寒色系が多くの面積を占めているのに対し、「賑やかな」はどちらのタイプも橙色や黄色のような暖色系が一定の面積を占めている傾向にある。「のどかな」は「爽やかな」の寒色系の色相や面積率が相対的に暖色系へ移行する途中段階にあるといえる。

一方で「賑やかな」のタイプ２は、ＶとＣのヒストグラム分布構造がどちらかというと「爽やかな」のＶとＣの形状をそのまま引き継いで、色相だけが暖色系に移行したものに相当すると位置づけられる。したがって、「賑やかな」という感性的な要因は、色相に暖色系が存在するという要素の他に、ＶないしＣのヒストグラムの二極化構造が生み出していると考えることができる。Ｖのヒストグラムが二極化することにより、輝度成分の分布構造からくる全体的な賑やかな印象を作り、その一方でＣのヒストグラムが二極化することにより、彩度成分のカラフルな分布構造からくる全体的な賑やかさを生み出していると解釈することができる。

何故このようにヒストグラムの形状と感性が結びつくのか、その発生要因を感性のイメージの原点に立ち返ってみると納得できる部分が多い。例えば、「爽やか」の場合、主に画像全体は黄緑色の色相と青色の色相からなる場合が多く、黄緑色が草原の草木からなり、青色が青空からなっているような高原の情景を思い浮かべやすい。これらに該当する画像の青色の色相と黄緑色の色相とを区別しながら、輝度成分の部分ヒストグラムを取ってみるとみると、輝度成分のヒストグラムの明るい側のピークは青空に相当し、もう一方の暗い側のピークは草木に相当し、これらが２つのピークを構成することによって写真全体のコントラストをなしている。そのコントラストが明るい側と暗い側に対称なヒストグラム形状を維持したまま二極化すると、一方に明るさが偏ることがないので「爽やかな」印象を与えるといったふうに考えられる。また、爽やかなイメージは日中の晴天の情景で生じることが多く、その場合、一般的に草木の緑色の彩度が高い。

また、輝度構造の「賑やかな」写真は、人物が多く集まるお祭りなどの情景写真の場合に当てはまり、その中で派手な衣装をまとっていたりすると、暖色系の色相が一定量存在する分布条件が当てはまり、かつ主要な人物群が被写体としてコントラストをなすことにより、輝度の分布構造からくる賑やかさを生み出しているといえる。一方の彩度構造の「賑やかな」写真は、鮮やかな花が多くが写った写真や、紅葉の葉が折り重なるようにコントラストをなして写った写真に該当する場合が多く、彩度構造のコントラストが賑やかさを生み出しているといえる。

ある意味では、
タイプ１は「色の賑やかさ」＝「暖色系＋彩度ヒストグラム構造」
タイプ２は「形の賑やかさ」＝「暖色系＋輝度ヒストグラム構造」
のように関係づけることもできる。

一方、「のどかな」は輝度ヒストグラムの主要ピークが大部分の面積を占める被写体、例えば一様な草原や緑色をした山々に相当し、これらが空のような部分とコントラストをなしつつも、その圧倒的な面積率で迫り来る同類系のひとかたまりの被写体像となって、なんとなくほんわりと落ち着いた、のどかな印象を与えていると考えられる。「のどかな」の場合は「爽やかな」の条件とは違って日中の明るい時間帯のみの写真に限らず、朝方の薄暗い写真であってもそのような印象を与えるので、輝度ヒストグラム分布の対称性を問わない分布モデルを割り当てることができる。

以上のように３つの形容詞に対して共通して現れやすいヒストグラムの分布構造の感性モデルを構築したが、その他の形容詞についても非常に特徴的なヒストグラム分布形状を持っているものが多々存在しそうであることが前述の評価用データの観察から確認されている。したがって、色の特徴量に関して、感性とＨＶＣヒストグラムの分布形状は密接な関係にあり、画像の感性検索のための優れた特徴量であることが示されたといえる。

＜発明の実施の形態＞
上述のように感性モデルが記述できることが示されたことを念頭に、データベースの画像を感性キーワード（形容詞）に基づいて検索する画像検索装置を説明する。図１１は、画像検索装置を例示する図である。画像検索装置は、パーソナルコンピュータ１０により実現される。パーソナルコンピュータ１０は、不図示のデジタルカメラやメモリカードデータ読取り器、他のコンピュータなどと接続され、電子画像データの提供を受けて画像データをストレージ装置（たとえば、ハードディスク装置）内に蓄積する。パーソナルコンピュータ１０は、蓄積した画像データを対象にして以下に説明する画像検索を行う。

パーソナルコンピュータ１０に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１０にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１０へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。標題付与プログラムは、記録媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。パーソナルコンピュータ１０は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。

以下、パーソナルコンピュータ１０が実行するモデル構築処理と、構築した感性モデルを使用して行う画像検索処理について説明する。モデル構築処理は、画像検索処理を行う前に、たとえば、パーソナルコンピュータ１０のストレージ装置内に保存されている画像ファイルを対象に行われる。

図１２は、パーソナルコンピュータ（以下ＰＣとする）１０が処理するモデル構築処理の流れを説明するフローチャートである。図１２による処理は、たとえば、ストレージ装置内に画像ファイルが保存されるときに実行される。

（１）ＲＧＢ空間からマンセルＨＶＣ空間への変換
図１２のステップＳ１１において、ＰＣ１０は画像ファイルの画像データを、人間の知覚的な均等色性が高いマンセル色空間へ変換する。マンセル色空間は、色相Ｈが一周１００度で分割され、輝度Ｖが０〜１０のレベルに、彩度Ｃが０〜２５程度に分布するレベルに刻まれた色空間で、Ｖの色差１に対してＣの色差２が同等の色差として知覚する等歩度性を満たすように設計された色空間である。

そのうちのＣの値が１以下の領域とＶの値が０．５以下、及び９．５以上の領域がＮ（ニュートラル色相）と定義されている。ＲＧＢ空間で表された色空間からＨＶＣ色空間へはＸＹＺ空間への変換を介して近似的に数学的に変換できることが、例えば、下記文献（注３）の中で引用されている。これは、均等色空間の１つであるL*a*b*ないしはL*C*H*の定義を利用して、その均等色性の不十分であるところを修正する式を導入することによって実現されている。
（注３）Y. Gong, C.H. Chuan and G. Xiaoyi, "Image Indexing and Retrieval Based on Color Histograms," Multimedia Tools and Applications 2, 133-156 (1996).

入力画像が例えば出力ガンマ特性の掛かったｓＲＧＢ色空間で表された画像である場合、マンセルＨＶＣ空間への変換は、まず、線形階調に戻した後、ＸＹＺ空間へｓＲＧＢ規格に従って変換する。後は上記文献（注３）に記載の式に沿って、立方根特性の非線形階調を導入しながらマンセルＨＶＣ空間へ変換する。変換手順はステップＳ１１−１〜ステップＳ１１−４の４段階で行う。

（線形階調ｓＲＧＢへの変換）
ステップＳ１１−１では、ｓＲＧＢ画像のようなガンマ補正がなされた画像データのガンマ補正を解いて線形階調に戻した状態にする。変換式は式（１）による。

（ＸＹＺ空間への変換）
ステップＳ１１−２では、線形階調に戻したＲＧＢ空間のデータをＸＹＺ空間のデータへ変換する。変換式は式（２）による。

（Ｍ１，Ｍ２，Ｍ３空間への変換）
ステップＳ１１−３では、ＸＹＺ空間のデータをＭ１，Ｍ２，Ｍ３空間のデータへ変換する。変換式は式（３）による。

（ＨＶＣ空間への変換）
ステップＳ１１−４では、Ｍ１，Ｍ２，Ｍ３空間のデータをＨＶＣ空間のデータへ変換する。変換式は式（４）による。

図３ａ〜図３ｃ、図５ａ〜図５ｃ、図７ａ〜図７ｃ、および図９ａ〜図９ｃは、上記ステップＳ１１−１〜ステップＳ１１−４の手順を経て生成されたものである。

ＲＧＢ空間におけるサンプル画像と、当該サンプル画像をマンセルＨＶＣ空間へ変換した場合の色相面Ｈ、輝度面Ｖ、彩度面Ｃの各画像とを図１４に例示する。図１４(a)はＲＧＢ画像、図１４(b)は色相面画像、図１４(c)は輝度面画像、図１４(d)は彩度面画像である。

（２）Ｈ面：色相自動分割アルゴリズム
ステップＳ１１の次に進むステップＳ１２において、ＰＣ１０は色相面Ｈを分割する。ＨＶＣ色空間の色相面Ｈの様子から画像の主要な部分領域への領域分割は、色相面の類似色相をクラスタリングすれば実現できると推察される。従来、このようなクラスタリング手法としては、下記文献（注４）に示されるようなk-meansと呼ばれる手法や最近傍探索法と呼ばれるような手法が用いられてきた。これらは、クラスタ数が既知である場合には都合よい手法である。しかしながら、画像の感性は、実際に画像を構成している代表色相の数にも往々にして影響を及ぼされやすいものであり、感性検索の目的には自動的に代表色相数が画像のシーン毎に可変な解を出すような方式のほうが、色相分割手段として望ましい。
（注４）日本国特許第３７０８０４２号公報

そこで、新たに感性検索に適した色相自動分割手法をここに述べる。この自動化の方法論は、色相面のヒストグラムは幾つかのガウス分布特性をもつようなピークに集まって分布しやすい傾向にあるという事実に基づいている。具体的には、主要なピーク毎に色相を分割して、ピークを与える色相値を代表色相値とし、分割区間内のヒストグラムの積分値をその代表色相が占める面積率とする。この代表色相値と面積率、それから自動分割された色相数を色相面の色の特徴量とする。ピーク分割は、ヒストグラムの微分をとって極大探索によってピーク位置を認識し、その両側に広がる裾の範囲を極小検知によって認識する。色相分割手順はステップＳ１２−１〜ステップＳ１２−５の５段階で行う。

（Ｈ面のヒストグラム作成）
ステップＳ１２−１では、色相（Ｈ）のヒストグラムH_hist［i］を生成する。式（５）に示すように、画素数で全体を割って全体の積分結果が１となるように規格化し、ヒストグラムを確率分布関数にしておく。
H_hist［i］＝H_hist［i］/(画素数) （５）

（ヒストグラム平滑化）
ヒストグラムのピーク探索には全体の大雑把なピーク形状を認識したい。そのためにはヒストグラムがゆらぐのを防ぐため、ヒストグラムを平滑化しておくとよい。ステップＳ１２−２では、次式（６）に示すように、ヒストグラムのピーク探索に適するように当該ヒストグラムを平滑化してゆらぎを抑える。ヒストグラムを作成するＨ面の画素数が少ないほど平滑化度を上げるように、ビンの数に依存して平滑化度を決定する。
H_histO［i］＝smooth｛H_hist［i］｝ （６）

（ヒストグラム微分の計算）
ステップＳ１２−３では、次式（７）に示すように、ヒストグラム波形を微分する。
H_hist1［i］＝d（H_histO［i］）/di （７）
図１５ａは、色相（Ｈ）のヒストグラムの元の波形、図１５ｂは一次微分後の波形を例示する図である。図１５ｃは、ステップＳ１２−２およびＳ１２−３の処理を繰り返した二次微分後の波形を例示する図である。

（自動ピーク分割）
ステップＳ１２−４では、H_hist1［i］＝０を満たす極大点（正から負に値が変化する点）を探索する。ただし、マンセル色相は円周上に０度と１００度とが同じ位置に接続しているので、途切れのないように処理を行う。これ以降に出てくる色相環の処理について同様の処理をするものとする。極大点から左側に正の値が続く領域と極大点から右側に正の値が続く領域とを、当該ピークが占める区間領域とする。このように、色相面のピーク分割は、色相（Ｈ）のヒストグラムを微分して極大探索を行ってピーク位置を検出し、当該ピークの両端に広がる裾の範囲を極小検知によって検出するものである。なお、後述する輝度面や彩度面のヒストグラムについても同様な方法でピーク分割をすることができる。そうすれば、冒頭説明で行った、たとえば図３ｂの部分ヒストグラムのピーク分割により、図の中に示されるように、「青空」と「遠方の山」と「草木」といった領域分割する応用へ発展することも可能になる。

（色相（Ｈ）面の特徴量の算出）
ステップＳ１２−５では、色相（Ｈ）面の特徴量を算出する。
(i)ピーク分割後の各色相区間で極大値を与える色相値を代表色相値とする。そして、
(ii)分割区間内のヒストグラムの区間積分値をその代表色相が占める面積率とする。さらに、
(iii)ピーク分割された数（主要ピーク数）を代表色相数とし、代表色相値、面積率、代表色相数を色相（Ｈ）面における色の特徴量とする。ただし、代表色相値としてはピーク位置の極大点をとる方法以外に、ピーク区間内の平均色相値にする方法もある。実際の写真画像の場合、自動ピーク分割によって得られる色相数は２〜１０色相であることが多い（ニュートラル(無彩色)色相を含む）。

（３）Ｖ面：ヒストグラム分布形状の記述
ステップＳ１２の次に進むステップＳ１３において、ＰＣ１０は輝度（Ｖ）面においてヒストグラム分布形状を評価する。ヒストグラム分布形状の評価手順はステップＳ１３−１−ステップＳ１３−２の２段階で行う。

（Ｖ面ヒストグラム作成）
ステップＳ１３−１では、輝度（Ｖ）のヒストグラムV_hist［i］を生成する。式（８）に示すように、画素数で全体を割って全体の積分結果が１となるように規格化し、ヒストグラムを確率分布関数にしておく。
V_hist［i］＝V_hist［i］/(画素数) （８）

（輝度（Ｖ）面の特徴量の算出）
ステップＳ１３−２では、ヒストグラム形状を表す特徴量として、輝度（Ｖ）のヒストグラムV_hist［i］の一次から四次のモーメントである平均値、標準偏差、歪度（skewness）、および尖度（kurtosis）をそれぞれ算出する。平均値は全体の明るさレベルを、標準偏差は分布の広がり幅を、歪度は分布の非対称性や扁平度を、尖度はピークの尖り度や一様分布度を表す特徴量を算出する。

歪度は、平均レベルに対して明るい側に裾野が長い場合は正の値を、暗い側に裾野が長い場合は負の値を示すので、歪度が正のときは全体的に暗い画像である場合が多く、歪度が負のときは全体的に明るい画像である場合が多い。また、単一のピークに対して尖度の値が３のときラプラシアン分布、０のときガウス分布、−１．２のとき矩形の一様分布であることから、実際の画像のヒストグラムでは、尖度が正のときは周辺の低い山の存在に関わらず、平均輝度レベル付近に１つの一番高い山が存在している分布形状になることが多く、尖度が負の大きな値を示すときはピークが二極化した分布形状、ないしはだらだらと一様に広がる分布形状になる場合が多い。

変数iをｘで、分布密度として規格化された関数V_hist［i］をp(x)に書き直すと、各々の特徴量は（９）式で算出される。ただし、iの取り得る範囲に対し、変数変換してｘが［0,1］の範囲に収まるように定義する。無次元ではない平均値と標準偏差は再度iの取る範囲に読み替えるものとする。

（４）Ｃ面：ヒストグラム分布形状の記述
ステップＳ１３の次に進むステップＳ１４において、ＰＣ１０は彩度（Ｃ）面においても輝度面と同様にしてヒストグラム形状に関する特徴量を評価する。ヒストグラム分布形状の評価は、ステップＳ１４−１−ステップＳ１４−２の２段階の手順で行う。

（Ｃ面ヒストグラム作成）
ステップＳ１４−１では、彩度（Ｃ）のヒストグラムC_hist［i］を生成する。式（１０）に示すように、画素数で全体を割って全体の積分結果が１となるように規格化し、ヒストグラムを確率分布関数にしておく。
C_hist［i］＝C_hist［i］/(画素数) （１０）

（彩度（Ｃ）面の特徴量の算出）
ステップＳ１４−２では、彩度（Ｃ）のヒストグラムC_hist［i］の一次から四次のモーメントである平均値、標準偏差、歪度（skewness）、および尖度（kurtosis）をそれぞれ算出する。算出式は、は輝度（Ｖ）面の場合と同様である。

ヒストグラム形状に関する４つの特徴量のうち、輝度と彩度との間をまたがって比較する場合は、マンセル色空間の定義により、平均値と標準偏差に関しては彩度面の値は輝度面の値に対し２倍の大きさになっているときに等歩度の、視覚的に同程度の差異を表すと考えてよい。歪度と尖度に関しては無次元化されているので、そのまま同じスケールでヒストグラム形状の違いを議論できる。

ステップＳ１４の処理を終えたＰＣ１０は、ステップＳ１１〜ステップＳ１４の処理で算出した各特徴量を特徴量情報として当該画像のサムネイル画像データに関連づけて画像ファイル内に記述したうえで、該画像ファイルを被検索対象の登録画像としてデータストレージ装置内に記録し、モデル構築処理を終了する。

（５）形容詞の色の特徴量に関するモデル
冒頭で説明したような「爽やかな」、「のどかな」、「賑やかな」（タイプ１）、「賑やかな」（タイプ２）の各々のＨＶＣヒストグラム分布に関する感性モデルを記述する特徴量のモデル・リストを表としてまとめたものを図１６に示す。すなわち、ある特徴量がある区間の範囲の値として頻出し、その他の特徴量も同時にモデルが設定した範囲に頻出している場合、その形容詞の感性モデルを満たしている可能性が高い。いいかえると、特徴量空間で、ある形容詞に対して同様な印象を与える画像は、如何なるシーンの画像であってもクラスターを作ってまとまっている。

また、特徴量のうち十分条件を与えるための補足的な役割をしているものが１つだけ欠けているような状況では、その形容詞をなんとなく満足しているかもしれないという印象を与える画像である可能性が高いと考えられる。すなわち、その特徴量空間のクラスター集合から少しだけずれている状況である。ここでは、閾値関数によるクラスター表現を用いているが、ファジー関数のような曖昧関数を導入してクラスター周辺部を緩やかに区切るようなモデルにしてもよい。図１６に例示した３つの形容詞以外の他の形容詞についても同様な要領で特徴量のモデルを構築すればよい。

冒頭で説明した感性モデルの特徴が、図１６のモデル・リストの中によく反映されていることがわかる。すなわち、「爽やかな」の判別条件を言葉で述べると、「黄緑(GY)ないしは青(pB)の色相が３０%以上の面積率で存在し、輝度ヒストグラムが適度な明るさを保って２つのレベル・バンドに対称に分かれて広く分布し、高彩度に広く分布する」ということになる。

そして、「のどかな」は対称性の条件が外れて一方の輝度のレベル・バンドへの流入を許可するために輝度の平均値への条件が緩くなり、一方で彩度のレベルバンドの分化条件が入り始めて、更に色相は暖色系へ分布幅を広げる。「賑やかな」（タイプ１）は「爽やかな」の輝度の条件をそのまま等歩度性を維持して彩度への条件として利用し、「賑やかな」（タイプ２）は輝度への条件として利用している。ただし、歪度に関する条件は外れている。

このような形容詞の他に、「殺風景な」や「殺伐とした」といった形容詞に対しては、代表色相数や輝度の歪度に関する特徴量、ないしは彩度の分散が重要な特徴量として働く傾向にある。例えば、色相数が少なく輝度の歪度が正に大きく偏っている場合や、ニュートラルの色相が圧倒的な面積率を占めて全体の彩度がほとんどないような状況などが考えられる。

なお、ヒストグラムの分布形状の特定には、歪度や尖度などのモーメント型の特徴量とは別の観点から、ヒストグラムの一次微分や二次微分の信号波形に関する情報量を特徴量化していってもよい。また、ヒストグラムの代表的な極大点と極小点を少なくとも３点結んで描かれる円弧の曲率によって、ヒストグラムの凹凸が山型か谷型かを区別し、その円弧の始点と終点の高さのずれによってヒストグラムの非対称度を測ってもよい。

上述したように保存されている画像ファイルの特徴量情報が、次に説明する画像検索処理のステップＳ４０における類似性判定において用いられる。ＰＣ１０は、画像検索処理プログラムが起動されると図１３による処理を実行する。図１３のステップＳ２０において、ＰＣ１０は、形容詞が入力されたか否かを判定する。ＰＣ１０は、画像検索のための形容詞がキーボードまたはポインティングデバイスによって入力された場合にステップＳ２０を肯定判定してステップＳ３０へ進む。ＰＣ１０は、形容詞が入力されない場合にはステップＳ２０を否定判定してステップＳ２０へ戻る。

ステップＳ３０において、ＰＣ１０は、あらかじめデータストレージ装置内に記録されている上記感性モデルリストを参照し、形容詞（たとえば「爽やかな」）に対応付けられている感性モデル値をそれぞれデータベースから読み出してステップＳ４０へ進む。ステップＳ４０において、ＰＣ１０は類似性判定を行う。

類似性判定は、登録画像としてあらかじめデータストレージ装置内に登録されている画像の特徴量情報と、ステップＳ３０で読み出した感性モデル値（特徴量）とを比較することによって行う。また、特徴量が事前に算出されていない画像が被検索対象に選ばれた場合は、その都度必要に応じて特徴量を算出するとよい。つまり、検索対象の入力画像に対してステップＳ１１〜ステップ１４の処理によってその画像を特徴量空間に射影した後に、検索キーワードの形容詞に対して構築された上記（５）の感性モデルとの類似度を特徴量比較を行なうことによって測り、その検索対象の形容詞の印象に合う画像か否かを判別する。

ただし、代表色相の面積率は、上記（２）で自動色相分割された代表色相値の複数個がモデル色相区間内に入っている場合、その代表色相値毎に算出された面積率の総和をモデル色相区間の面積率と比較するものとする。

こうして全ての条件を満足する画像を極めて合致度の高い画像、また１つ程度の条件を外す画像をその可能性がある画像としてランク付けながら結果表示を行なう。１つ程度の非該当条件になる特徴量は、それぞれの形容詞によって異なってくる場合が多い。それらに対応する特徴量は１つの考え方として感性モデル・リスト（図１６）の右上に(*)印を付けている。

例えば、「爽やかな」の場合は、輝度の歪度に関する対称性が多少崩れても爽やかな印象を残している場合もある。また、「賑やかな」（タイプ２）の場合は、輝度の平均値が多少暗くなっても賑やかな印象は弱いながらに発し続けている。ただし、あまり暗くなり過ぎると賑やかさは失われてしまう。それに比べて、感性モデル・リスト（図１６）で提示した３つの形容詞に対しては輝度ないしは彩度の尖度に関する特徴が感性モデルの中でも非常に重要な役割を果たしている。

図１３のステップＳ５０において、ＰＣ１０は表示部の画面に検索結果を表示させて図１３による処理を終了する。検索結果の表示は、該当するサムネイル画像を並べて表示することによって行う。つまり、データストレージ装置内に登録されている画像ファイルのうち、形容詞に合致すると判定した特徴量を有する画像ファイルのサムネイル画像が、表示画面にサムネイルリストとして表示される。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）実際の写真画像の中で全く異なるシーンであっても統計的に、１つ１つの形容詞に対して輝度のヒストグラムや彩度のヒストグラムの分布形状が極めて似通った共通性を持つ分布構造をしていることが多いということが判明したので、このヒストグラム分布形状の違いを特徴量として採用することにより、より形容詞との関連性の深い特徴量に基づいて画像検索をすることが可能となり、様々なシーンの画像に対して汎用性の高い高度な感性検索が可能となる。

（２）また、より縮約された特徴量との間の比較を行なうことができるので、検索を非常に容易化することができる。

（３）実際にこのようにして感性検索の実験をしてみた結果、実験用に事前に作成した画像と形容詞用語の対となった評価用データをよく再現し、その形容詞が割り当てられていない画像であっても確かにその因子を備えていると後から気付かされるような画像も抽出しており、非常に人間の感性に近い画像検索を実現することができる。

（４）特許文献１の３色配色モデルに押し込める従来技術と比較してみた結果、尖度や歪度のような特徴量を使ってヒストグラムの分布形状をより曖昧に取り込んでいるために、３色配色モデルでは取りこめなかった画像を正確に取り込みつつ、３色配色モデルでは印象と異なる突飛な画像を引き込んでしまうような失敗例も少なく、より高度な感性検索を実現することができる。すなわち、３色配色モデルの教師モデル配色例の不足時の問題と、３色配色モデルへの押し込めが不適切な場合の問題への対処が折り込まれている。

（５）更に、より形容詞との連動性が高い色の特徴量を解明してそれらの特徴量空間での比較を行なえるようになったため、部分画像の色平均値で構成された低次の特徴量による膨大な数のモデル例との比較を不要とし、より簡素な画像検索を実現することが可能となる。

（６）ＰＣ１０は、画像の輝度面のヒストグラム形状を示す特徴量を画像の印象を表す形容詞に関連づけて感性モデルリストとしてデータストレージ装置に格納し、入力された形容詞情報に基づいて、当該形容詞に関連づけられている特徴量と類似する特徴量に対応する画像を検索するようにした。輝度ヒストグラム形状を比較対象にするので、従来技術のように３色配色と印象語とを結びつけた膨大な数のモデル例との比較を行うことなく、人の感性に近い形容詞に対応するグループに画像を分類できる。

また、形容詞と、輝度ヒストグラム形状を示す特徴量（輝度参照用データ）との対応関係を示す感性モデルリストを構築したので、ヒストグラム形状そのものの比較でなく、形容詞と関連性の深い特徴量に基づいた比較を行うことができる。また、より縮約された特徴量比較を行うことができるので、検索を非常に容易にすることができる。

（７）ＰＣ１０は、画像の彩度面のヒストグラム形状を示す特徴量を画像の印象を表す形容詞に関連づけて感性モデルリストとしてデータストレージ装置に格納し、入力された形容詞情報に基づいて、当該形容詞に関連づけられている特徴量と類似する特徴量に対応する画像を検索するようにした。彩度ヒストグラム形状を比較対象にするので、従来技術のように３色配色と印象語とを結びつけた膨大な数のモデル例との比較を行うことなく、人の感性に近い形容詞に対応するグループに画像を分類できる。

また、形容詞と、彩度ヒストグラム形状を示す特徴量（彩度参照用データ）との対応関係を示す感性モデルリストを構築したので、ヒストグラム形状そのものの比較でなく、形容詞と関連性の深い特徴量に基づいた比較を行うことができる。また、より縮約された特徴量比較を行うことができるので、検索を非常に容易にすることができる。

（８）ＰＣ１０は、画像の輝度面のヒストグラム形状を示す特徴量、および画像の彩度面のヒストグラム形状を示す特徴量を、画像の印象を表す形容詞に関連づけて感性モデルリストとしてデータストレージ装置に格納し、入力された形容詞情報に基づいて、当該形容詞に関連づけられている特徴量と類似する特徴量に対応する画像を検索するようにした。輝度ヒストグラム形状および彩度ヒストグラム形状の双方を比較対象にするので、従来技術のように３色配色と印象語とを結びつけた膨大な数のモデル例との比較を行うことなく、人の感性に近い形容詞に対応するグループに画像を分類できる。

また、形容詞と、輝度ヒストグラム形状を示す特徴量（輝度参照用データ）、彩度ヒストグラム形状を示す特徴量（彩度参照用データ）との対応関係を示す感性モデルリストを構築したので、ヒストグラム形状そのものの比較でなく、形容詞と関連性の深い特徴量に基づいた比較を行うことができる。また、より縮約された特徴量比較を行うことができるので、検索を非常に容易にすることができる。

（９）ヒストグラム形状の曲率を尖度を用いて表すようにしたので、尖度の比較によってヒストグラム形状の合致度（類似性）を判定できる。

（１０）ヒストグラム形状の非対称性を歪度を用いて表すようにしたので、歪度の比較によってヒストグラム形状の合致度（類似性）を判定できる。

（１１）上記９，１０に加えて、ヒストグラム形状を該ヒストグラムデータの平均値および分散値の少なくとも一方を用いて特定するようにしたので、ヒストグラム形状の合致度（類似性）判定の精度を高めることができる。

（１２）画像の色相面のヒストグラム形状を示す特徴量を画像の印象を表す形容詞に関連づけて感性モデルリストに加え、入力された形容詞情報に基づいて、当該形容詞に関連づけられている特徴量にも類似する特徴量に対応する画像を検索するようにした。そして、感性モデルリストを参照して、個々の代表色相情報および個々の面積情報に類似するデータに対応する画像を検索する。これにより、色相面の代表色相、面積、色相数によって表される特徴も考慮して、画像を検索できる。

（１３）１つの画像が複数の形容詞の感性モデルリストに合致している場合には、各々の形容詞キーワード毎にその画像が該当画像として表示するようにしたので、複数の形容詞に当てはまる画像に対しても画像検索装置を正確に適用することができる。

（１４）ＰＣ１０は、入力された画像データに基づいて、当該画像を構成する画素の色相面の色相ヒストグラムを生成し、色相ヒストグラムを平滑化処理し、平滑化処理後の色相ヒストグラムに基づいて微分信号を生成し、微分信号から得られる極大値情報に基づいてピークを分割し、分割後のピークの数を代表色相数とするようにしたので、複数の大まかな色相域に代表色相を持った領域に自動的に分割することができる。

（１５）分割された色相成分に対応させてさらに当該画像を構成する画素の輝度面ないしは彩度面の部分ヒストグラムを生成し、輝度の部分ヒストグラムまたは彩度の部分ヒストグラムに基づいて微分信号を生成し、微分信号から得られる極大値情報に基づいて輝度の部分ヒストグラムまたは彩度の部分ヒストグラムを個々のピーク単位に分割するようにした。これにより、自動色相分割後の色相成分の領域内の輝度ヒストグラムの分布形状または彩度ヒストグラムの分布形状の認識から同一色域内でも異なる被写体領域を自動分割できる。

（１６）微分信号から得られる極小値情報に基づいて個々のピークの境界を決め、分割後の個々のピークの面積を算出するようにしたので、自動分割の精度を高め、分割前のヒストグラム形状全体の面積に対する面積率を精度よく求めることができる。

（変形例１）モデルの統計学習
上記実施形態では、ヒストグラムの分布形状を尖度や歪度の特徴量に変換して、形状の合致度を比較したが、ヒストグラム分布そのままを特徴量として、判別処理ではモデルと入力画像との間でヒストグラムの分布形状のパターン・マッチングを行なうようにしてもよい。

（変形例２）
更にモデル・ヒストグラムの形状に関する特徴量を統計学習することによって構築するようにしてもよい。その場合、一枚一枚の画像毎に検索キーワードとして用意する形容詞の全てについて該当するか否かを、複数人のアンケート調査をして統計をとり、ある形容詞に対して該当度合いの高い画像に重みをつけて、ヒストグラム分布の平均をとるような操作をして、分布形状の形を教師学習させるようなことになる。あるいは分布形状に関する特徴量空間で統計平均してもよい。

（変形例３）感性判別関数の一般化
感性に作用する特徴量として、本実施形態では色の特徴量の解明を主として取り組んだが、その他にも感性と直接結びつきが高い、色とは独立な特徴量の軸が幾つか存在すると考えられる。例えば、テキスチャ特徴量や形の特徴量などが考えられる。テキスチャに関する特徴量は、エッジ検出を通して抽出された成分が何らかの写像を経て、画像のエッジ、テキスチャ、コントラストに関連した感性と結びつきの深い特徴量として何個か、あるいは十数個程度に及ぶかもしれないベクトルが構築されうると考えられる。これらの別の軸の特徴量を色の特徴量と合わせて、色々な形容詞に対する感性判別関数を構築すれば更に判別可能な形容詞のバラエティーが増え、判別精度が向上すると考えられる。この拡張の様子を式で提示すれば、次式（１１）で表せる。また、模式図を図１７に例示する。

Ｐi＝Ｆi（色の特徴量；テキスチャ特徴量；形の特徴量；…） （１１）
ただし、Ｐiは形容詞iである度合いを表す確率であり、Ｆiは形容詞iを判別する関数である。判別関数の引数をセミコロン（；）で区切ったのは、各々の特徴量として図１６に例示したように幾つかの特徴量の集合体となる特徴量ベクトルを想定しているからである。

（変形例４）
以上の説明では、あらかじめ登録した複数の登録画像の中から、入力された形容詞に合致する画像を自動検索する画像検索装置を説明した。これとは逆に、感性モデルリストをＰＣ１０のデータストレージ装置に保存しておくことにより、入力された画像が呼び起こす感性に合致する形容詞を検索する形容詞検索装置を構成することもできる。この場合には、新たに入力された画像データについて、ステップＳ１１〜Ｓ１４（図１２）の処理を行うことにより、当該入力画像の特徴量情報（比較用データ）を算出する。

そして、入力画像の特徴量（比較用データ）を上記感性モデルリストの中の特徴量（参照用データ）と順次比較することによって、当該画像の特徴量（比較用データ）と類似する特徴量（参照用データ）に対応する形容詞を自動検索する。

検索した形容詞を示すタグを画像ファイルにつければ、形容詞のインデクシングを行う画像分類装置を構成することができる。この場合には、「爽やかな」という形容詞と合致する画像のファイルに「爽やかな」を示すタグをつけ、「のどかな」という形容詞と合致する画像のファイルに「のどかな」を示すタグをつけ、「賑やかな」という形容詞と合致する画像のファイルに「賑やかな」を示すタグをつける。また、複数の形容詞に該当する場合は複数の形容詞をタグとしてつける。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

ヒストグラム形状と形容詞との関連性を示す図である。 「爽やかな」画像を例示する図である。 (a)はＨ（色相）面のヒストグラムを示す図、(b)はＶ（輝度）面のヒストグラムを示す図、(c)はＣ（彩度）面のヒストグラムを示す図である。 「のどかな」画像を例示する図である。 (a)はＨ（色相）面のヒストグラムを示す図、(b)はＶ（輝度）面のヒストグラムを示す図、(c)はＣ（彩度）面のヒストグラムを示す図である。 「賑やかな」画像を例示する図である。 (a)はＨ（色相）面のヒストグラムを示す図、(b)はＶ（輝度）面のヒストグラムを示す図、(c)はＣ（彩度）面のヒストグラムを示す図である。 「賑やかな」他の画像を例示する図である。 (a)はＨ（色相）面のヒストグラムを示す図、(b)はＶ（輝度）面のヒストグラムを示す図、(c)はＣ（彩度）面のヒストグラムを示す図である。 色の特徴量とテキスチャ特徴量を軸とする特徴量空間を例示する図である。 画像検索装置を例示する図である。 ＰＣが実行するモデル構築処理のフローチャートである。 ＰＣが実行する画像検索処理のフローチャートである。 (a)はＲＧＢ画像、(b)は色相面画像、(c)は輝度面画像、(d)は彩度面画像である。 (a)は色相（Ｈ）面のヒストグラムを示す図、(b)は一次微分後の波形を示す図、(c)は二次微分後の波形を示す図である。 感性モデルリストを例示する図である。 感性検索に適した特徴量空間を例示する模式図である。

符号の説明

１０…ＰＣ
４１…青色の色相に対応する分布曲線
４２…黄緑色の色相に対応する分布曲線
４３…全色相に対応する分布曲線
１０１…通信回線
１０２…サーバー
１０３…ハードディスク装置
１０４…記録媒体

Claims (13)

1. 画像データに基づいて、画像から受ける人間の感性的な印象を形容詞で分類する画像分類装置であって、
   １つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい輝度面のヒストグラムの分布形状のモデルを、少なくとも曲率と非対称性に関して設定するモデル設定手段と、
   入力画像に対し、輝度面のヒストグラムを作成するヒストグラム作成手段と、
   前記モデルのヒストグラムの分布形状とマッチングを取ることによって、前記入力画像が前記形容詞で表される感性的な印象を備えているか否かを判別する判別手段とを備えることを特徴とする画像分類装置。
2. 画像データに基づいて、画像から受ける人間の感性的な印象を形容詞で分類する画像分類装置であって、
   １つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい彩度面のヒストグラムの分布形状のモデルを、少なくとも曲率と非対称性に関して設定するモデル設定手段と、
   入力画像に対し、彩度面のヒストグラムを作成するヒストグラム作成手段と、
   前記モデルのヒストグラムの分布形状とマッチングを取ることによって、前記入力画像が前記形容詞で表される感性的な印象を備えているか否かを判別する判別手段とを備えることを特徴とする画像分類装置。
3. 画像データに基づいて、画像から受ける人間の感性的な印象を形容詞で分類する画像分類装置であって、
   １つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい輝度面のヒストグラムの分布形状と彩度面のヒストグラムの分布形状のモデルを、少なくとも曲率と非対称性に関して各々設定するモデル設定手段と、
   入力画像に対し、輝度面と彩度面のヒストグラムを各々作成するヒストグラム作成手段と、
   前記モデルのヒストグラムの分布形状とマッチングを取ることによって、前記入力画像が前記形容詞で表される感性的な印象を備えているか否かを判別する判別手段とを備えることを特徴とする画像分類装置。
4. 請求項１〜３のいずれか一項に記載の画像分類装置において、
   前記モデル設定手段は、前記ヒストグラムの分布形状のモデルを、前記曲率によって少なくとも山型か谷型かに関する情報を特定し、前記非対称性によってそれらの左右の形の違いに関する情報を特定することを特徴とする画像分類装置。
5. 請求項１〜４のいずれか一項に記載の画像分類装置において、
   前記モデル設定手段は、前記ヒストグラムの分布形状の前記曲率に関するモデルを、尖度(kurtosis)を用いて記述することを特徴とする画像分類装置。
6. 請求項１〜４のいずれか一項に記載の画像分類装置において、
   前記モデル設定手段は、前記ヒストグラムの分布形状の前記非対称性に関するモデルを、歪度(skewness)を用いて記述することを特徴とする画像分類装置。
7. 請求項５または６に記載の画像分類装置において、
   前記モデル設定手段は、前記ヒストグラムの分布形状のモデルを、平均値および分散のいずれか一方、または両方を更に用いて記述することを特徴とする画像分類装置。
8. 請求項１〜３のいずれか一項に記載の画像分類装置において、
   １つの形容詞に対し、統計的に複数の異なるシーンの画像に共通して現れやすい色相面の色相区間と該当面積率に関する特徴量のモデルを設定するモデル設定手段と、
   入力画像に対し、色相面のヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラムを独立な構成要素に分割し、各要素が持つ代表色相値と面積率を算出する特徴量算出手段と、
   前記色相面の特徴量のモデルとマッチングを取ることによって、前記入力画像が前記形容詞で表される感性的な印象を備えているか否かを、前記判別手段と合わせて判別する判別手段とをさらに備えることを特徴とする画像分類装置。
9. 請求項１〜３、８のいずれか一項に記載の画像分類装置において、
   前記判別手段は、一枚の画像全体から受ける感性的な印象を、複数の該当しうる形容詞への重複を許して判別することを特徴とする画像分類装置。
10. 請求項３に記載の画像分類装置において、
    前記モデル設定手段は、前記輝度面のヒストグラムの分布形状と前記彩度面のヒストグラムの分布形状のモデルを、均等色空間であるマンセル色空間内で相互に設定することを特徴とする画像分類装置。
11. 画像データが有する代表的な色相を自動的に分類する画像処理装置であって、
    前記入力画像に対し、色相面のヒストグラムを作成するヒストグラム作成手段と、
    前記ヒストグラムを平滑化する平滑手段と、
    前記平滑化されたヒストグラムに対して微分信号を作成する微分手段と、
    前記微分信号から得られる極大情報に基づき、前記ヒストグラムをピーク単位で分割する分割手段と、
    前記分割されたピークの数を画像が有する代表色相数として色相分類する分類手段とを備えることを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置において、
    前記分類手段は、色相分類に関する情報として更に、前記微分信号から得られる極小情報に基づき、各々のピークが占める色相区間を分類し、該ピークの極大を与える色相値ないしはピーク内の平均値を代表色相値とし、各ピークの区間積分値から各代表色相が占める面積率を各々算出することを特徴とする画像分類装置。
13. 請求項１１に記載の画像処理装置において、
    前記入力画像に対し、前記分割された色相成分に対応する輝度面もしくは彩度面の部分ヒストグラムを作成し、
    前記部分ヒストグラムに対して微分信号を生成し、
    前記微分信号から得られる極大値情報に基づいて前記部分ヒストグラムをピーク単位で分割し、
    前記分割された部分ヒストグラムの区間情報に基づいて画像の領域分割を行う領域分割手段をさらに備えたことを特徴とする画像処理装置。

Images