JP2001160057A - 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像ＤＢ内の全体像把握のための画像分類木
構築法、画像分類の提示法、及び画像検索との統合法を
与え、効率的な画像ＤＢ管理・活用を実現する。 【解決手段】 ナビゲーションの途中の画像集合に対
し、領域色、直線、オブジェクト、画像辞書という大分
類観点がシステムから利用者に提示される。利用者が画
像辞書を選択すると、システムは「人の顔」、「空」、
「屋根」といった分類観点を提示する。利用者が「人の
顔」を選択すると、システムは人物画の集合を提示し、
同様にその画像集合に対し、領域色、直線、オブジェク
ト、画像辞書という小分類観点が利用者に提示され、分
類観点の選択による分類が階層的に行われる。このナビ
ゲーションの履歴は、画像ＤＢの分類に有効なので、シ
ステムに分類木情報として蓄積される。蓄積された分類
木の全体像をキーワードや合成画、サンプル画像を用い
て閲覧することで、画像ＤＢが概観できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大量の画像を有す
る画像ＤＢ（データベース）システム、映像ＤＢシステ
ムなどのマルチメディアシステムを効率的に運用し、有
効に活用する際に使用する画像の階層的分類方法、およ
び装置に関するものである。

【０００２】

【従来の技術】これまで、多数の画像管理システムが実
現されている。その管理方法には、主に検索と分類とい
う二つの方法が存在する。

【０００３】＃画像検索 画像検索には画像に付加されたテキスト情報（キーワー
ドや説明文など）によって検索を行う方法と、画像の内
容情報（色やテクスチャなどの特徴量）の類似度によっ
て検索を行う方法が存在する。

【０００４】画像の内容情報を用いた類似検索システム
としては、Ｉｎｆｏｒｍｉｘ社のＶＩＲやＮＴＴのＥｘ
Ｓｉｇｈｔがある。ＥｘＳｉｇｈｔでは、画像全体の
色、模様や、画像内のオブジェクトの色、形、位置、お
よび、画像内の直線の長さ、傾き、位置のような特徴量
での検索を可能にしている。

【０００５】＃画像分類 画像の分類にも、画像に付加されたテキスト情報を利用
して分類を行う方法と、画像の内容情報を用いて分類を
行う方法がある。

【０００６】画像の内容情報を用いた分類システムとし
ては、Ｃａｌｆｏｒｎｉａ大のＮｅｔｒａや神戸大の類
似シーン分類システムが存在し、それらは画像全体や画
像のブロック分割領域の色やテクスチャの特徴量によっ
てクラスタリングする。

【０００７】＃テキスト・ナビゲーション テキスト検索の分野では、情報の絞り込みに際し、与え
られた集合をさらに分類する観点（キーワード）を自動
提示することで、利用者の情報の絞り込みを支援するナ
ビゲーション手法が提案されている。

【０００８】

【発明が開発しようとする課題】画像へのテキスト情報
の付与には、 ・付与を手作業に頼らざるを得ないため、コストと時間
がかかること、 ・付与者によるバラツキが大きくＤＢ全体に一貫したテ
キスト情報を付与するのが難しいこと、 ・テクスチャ画像のように、テキスト情報（模様名）の
付与が難しいものが存在すること、 等の解決すべき課題が存在した。

【０００９】そこで、画像の内容検索の技術が開発され
てきたが、 ・本に索引と目次があるように、検索だけでは画像ＤＢ
の概観が把握できず、その結果として、検索結果の良否
についても判断できなくなること、 ・検索キー画像の取得方法としてスケッチ入力やデジタ
ルカメラ入力等が存在するがそれらを利用したとしても
検索キーを与えることが難しい、 等の解決すべき課題が存在した。

【００１０】また、画像の内容分類技術が近年開発され
つつあるが、 ・これまで開発されたものは、航空写真画像や雲画像の
ように特殊な領域の画像に対する専用システムであり、
特殊な特徴量を利用するため一般的な画像に適用できな
いこと、 ・一般的な画像に適用可能な場合でも、単にクラスタリ
ングを行うだけでは階層的な分類木の構成にはなってお
らず、結局、画像数が増えた場合には分類として機能し
ない、 等の解決すべき課題が存在した。

【００１１】本発明の課題は、画像ＤＢ内の全体像を把
握するための、画像分類木構築法、画像分類の提示法、
および、画像検索システムとの統合法を与え、効率的な
画像ＤＢ管理・活用法を実現することである。

【００１２】

【課題を解決するための手段】本発明は、以下に列記す
る発明により上記の課題を解決する。

【００１３】第１の発明は、任意の画像集合を分類対象
とし、指定された分類観点により分類した分類結果を提
示し、前記分類結果に対し、続いて指定された分類観点
によりさらに分類した分類結果を提示する過程を１回、
または複数回繰り返し行うことを特徴とする画像の階層
的分類方法である。

【００１４】この発明は、以下の発明の基本となるもの
であり、分類観点の指示と、それに基づいた分類の実行
の繰り返しにより、画像の階層的な分類と、分類木の構
築が実現される。

【００１５】第２の発明は、画像の概念を表す言葉と、
該言葉に相当する概念を定義した画像オブジェクト、画
像内領域、および、画像内直線の特徴量の条件の組とを
対応づけた表を持ち、これらと言葉のシソーラスとを関
係づけた画像辞書を用いて、画像を分類するための情報
を抽出し、前記抽出した情報を分類観点の一つとして画
像を分類することを特徴とする画像の階層的分類方法で
ある。

【００１６】テキストのシソーラスは、「言葉」の持つ
概念関係を表したものである。画像内に写る言葉で表現
できる被写体を部分画、オブジェクト、直線など画像の
特徴を組み合わせて定義することにより被写体を表現す
る「言葉」を画像特徴量を用いて表現することができ
る。ここでキーワードシソーラスの概念関係を用いれ
ば、定義された画像間に関連性もたせることができ、こ
れらの情報をまとめることで画像辞書が形成され、分類
観点の抽出に利用できる。

【００１７】第３の発明は、画像および画像を分割した
領域の面積により正規化した代表色Ｙ個の色ヒストグラ
ムを求め、明るい色の方が暗い色より小さな閾値を持
ち、前記色ヒストグラムにおいて該閾値を超える色があ
る場合は、その色の中で最大の値を持つ色を対象領域の
代表領域色として抽出し、該閾値を超える色がない場合
は代表領域色を持たない領域とし、前記決定した代表領
域色を分類観点として画像を分類することを特徴とする
画像の階層的分類方法である。

【００１８】例えば画像をＹ個の代表色に減色し、同じ
面積にてＸ分割された個々の領域における色のヒストグ
ラムを作成する。このとき、ヒストグラムの最大値が特
定の閾値を超える場合は、最大値に相当する色をその領
域における代表領域色とする。もし、その閾値を満たす
色がない場合はその領域には代表領域色がないとみな
す。なお、人の目には暗くて地味な色より明るく派手な
色の方が目につきやすいので、明るい色の方が暗い色よ
り閾値を低く設定する。上記した方法により抽出される
代表領域色は利用者が分類を行なう際の詳細な分類観点
として用いられ、この観点に基づいた階層的な分類が行
なわれる。

【００１９】第４の発明は、画像および画像を分割した
領域の面積により正規化した代表色Ｙ個の色ヒストグラ
ムを求め、前記ヒストグラム値が高いものから順に第１
主要色、第２主要色、…、第Ｙ主要色とし、これらの主
要色を分類観点として画像を分類することを特徴とする
画像の階層的分類方法である。

【００２０】画像全体について代表的な色は必ずしも１
色ではなく、複数の支配的な色が存在するケースがほと
んどである。そこで画像全体領域の色ヒストグラム値の
高いものから順に第１主要色、第２主要色、…とする。
これは画像全体領域に限らず、任意の画像領域にも拡張
可能である。この結果は利用者が分類を行なう際の分類
観点として用いられ、観点に基づいた階層的な分類が行
なわれる。

【００２１】第５の発明は、代表領域色を分類観点とし
て画像を分類する際、ある代表領域色に属する画像枚数
が一定枚数Ａより少ない場合はその画像集合を類似した
色相を持つ他の集合に統合し、逆にある代表領域色に属
する画像が一定枚数Ｂ（Ｂ＞Ａ）より多い場合はより細
かい色相の代表領域色に分割することを特徴とする画像
の階層的分類方法である。

【００２２】代表領域色を用いた画像分類において、分
類対象となる画像の枚数が少なかったり、階層的な分類
を繰り返すことで１つの分類集合に含まれる画像枚数が
徐々に減少してきた場合、予め規定された代表色数を用
いて分類すると数枚しか画像を含まない分類集合が形成
されることがある。このような分類は分類木構造を無意
味に複雑化させる。そこで、ある代表色に属する画像枚
数が一定枚数Ａより少ない場合はその集合を類似した色
相を持つ他の集合に統合し、分類木構造を簡単にする。
逆に分類画像数が多い場合は、予め固定された代表色を
用いて分類しても１つの分類集合が非常に大きくなる場
合がある。そこで１度代表色で分類された後もある色相
を持つ画像が一定枚数Ｂよりも多い場合は、次回の分類
により細かく色相分割された代表色を用いて１つの分類
集合を細分化できる詳細分類観点を追加提供する。

【００２３】第６の発明は、感性語とその感性語からイ
メージされる色の特徴量を対応付けた感性語辞書を分類
観点として用い、前記感性語辞書の感性語特徴量と、対
象画像から抽出される色特徴量との距離計算を行ない、
最も類似する感性語に前記対象画像を分類することを特
徴とする画像の階層的分類方法である。

【００２４】画像から受ける「かわいらしい」、「さわ
やかな」といった感性を用いて分類を行うために、感性
語とその感性語からイメージされる色の特徴量を対応付
けた感性語辞書を用いた分類を行う。画像から抽出され
る色情報と各感性語が持つ特徴量との距離計算を行い、
最も距離が短かった感性語に対して画像を一意に振り分
け分類する。

【００２５】第７の発明は、画像より直線の長さ、角
度、本数、および、複数直線間の関係といった特徴量を
抽出し、前記抽出した特徴量を分類観点とすることを特
徴とする画像の階層的分類方法である。

【００２６】画像内からエッジの情報をもとに抽出され
る直線は画像の構図を反映するものが多い。しかし、始
点と終点の情報からなる個々の直線情報のままでは、そ
の画像内の構図の情報として分類に用いることはできな
い。そこで、直線の本数や長さ、本数、複数直線間の関
係などを用いて、１枚の画像内から抽出された直線がど
のような構図を反映する情報を持っているのか、また、
直線同士がどのような係わり合いを持っているのかを調
べる。この結果は、利用者が分類を行なう際の分類観点
として用いられ、観点に基づいた階層的な分類が行なわ
れる。

【００２７】第８の発明は、画像より抽出される画像内
オブジェクト、その個数、複数の画像内オブジェクトの
位置関係、および、画像内オブジェクトの分布といった
特徴量を分類観点とすることを特徴とする画像の階層的
分類方法である。

【００２８】画像内より抽出されるオブジェクトの個数
やその重心位置の分布は画像によって異なり、この情報
も画像の構図情報を反映する。そこで、オブジェクトの
個数や重心位置をもとに１枚画内のどのあたりに多くの
被写体が写っているのかといった分布状況を抽出する。
この結果は利用者が分類を行なう際の分類観点として用
いられ、観点に基づいた階層的な分類が行なわれる。

【００２９】第９の発明は、予め基本として登録した代
表形状を分類観点とし、分類対象の画像内より抽出され
る画像内オブジェクトの形状特徴量を抽出し、それらの
ヒストグラム間の距離計算によって最も類似する代表形
状に前記画像を分類することを特徴とする画像の階層的
分類方法である。

【００３０】クリップアートのように１画像中に１画像
内オブジェクトをもつ画像集合を分類する場合、形状は
非常に重要な特徴となる。そこで、予め丸や正方形、長
方形といった基本となる代表形状を数種類設定し、最も
類似する代表形状に一意に分類する。具体的には、対象
画像と代表形状の形状特徴量間の距離計算を行い、最も
距離が短かった代表形状に分類する。

【００３１】第１０の発明は、分類観点の指示は、複数
の分類観点を提示した中から選択させるナビゲーション
により行われることを特徴とする画像の階層的分類方法
である。

【００３２】階層的な分類を実現するために、利用者が
領域色、直線、オブジェクト、画像辞書の観点を選択し
ながら分類を実現する。まず領域色、直線、オブジェク
ト、画像辞書といった大まかな分類観点（大分類観点）
を提示する。利用者がこの中から分類観点を選択する
と、システムは、さらに先の選択観点に基づき該当画像
を絞り込み、さらに細かい選択条件（小分類観点）に基
づき集計を行なう。その結果は各小分類観点に該当する
画像サンプルと共に選択条件として利用者に提示され
る。利用者がこの小分類観点を選択することにより実際
に分類が実行され、分類集合が作成される。このような
分類観点の提示により利用者をナビゲートしながら階層
的な分類を繰り返し、画像の絞り込みを行なっていく。

【００３３】第１１の発明は、分類観点を提示する際に
は、該当する画像を持たない分類観点は提示対象から除
き、残る提示対象の分類観点については、各分類観点に
該当する画像の枚数が多い分類観点から順に利用者に推
薦提示することで分類木構築者をナビゲートすることを
特徴とする画像の階層的分類方法である。

【００３４】ナビゲーションにおいて、たくさんの分類
観点がありすぎると、利用者はどれを次の分類観点とし
て選択していいのかわからないので、不必要な分類観点
は削除するとともに、推薦する観点の候補を提示する。
すなわち、画像データベースに格納されるすべての画像
に対して領域色、直線、オブジェクトによる分類を行な
った場合、適用する画像データによっては分類観点に対
して該当するものが存在しないことがある。このような
結果を分類選択項目として提示しても意味がない。そこ
で、このような分類観点は分類選択候補から予め削除
し、かつ該当する分類観点が多い順に提示順序を並び替
えて推薦する分類候補として利用者に提示する。

【００３５】第１２の発明は、ナビゲーションによる画
像の階層的分類の過程での利用者からの分類観点の選択
を分類履歴として保持し、前記分類履歴から分類木を生
成することを特徴とする画像の階層的分類方法である。

【００３６】上記のナビゲーション時に、利用者が選択
した分類観点の履歴を保存しておく。この分類履歴か
ら、対象とする画像ＤＢを概観する静的な分類木が出来
上がる。

【００３７】第１３の発明は、ナビゲーションにより画
像を階層的に分類する場合、予め代表的な分類項目の例
をいくつか決めておき、最も近い分類項目に個々の画像
を分類する上記の画像の階層的分類方法と、各領域の色
特徴量、形状特徴量などの画像の特徴量をクラスタリン
グ手法を用いて類似する集合に分類するクラスタリング
分類方法とを有し、それらを自由に組み合わせて画像を
分類することを特徴とする画像の階層的分類方法であ
る。

【００３８】種々雑多な画像を分類する場合、できるだ
け多くの観点を用いて分類ができることが望ましい。そ
こで、本発明３〜９の画像の階層的分類方法のように予
め代表的な分類の例をいくつか決めておき、最も近い項
目に個々の画像を割り当てる「代表分類手法」と、各領
域の色特徴量、形状特徴量といった特徴量をクラスタリ
ングすることで分類する「クラスタリング分類手法」の
２種類をユーザが状況に応じて選択し分類する。このよ
うな「複合分類手法」を用いることで分類の階層化がし
やすく、また、意味のある集合を形成しやすくなる。

【００３９】第１４の発明は、ナビゲーションの過程で
の利用者からの分類観点の指示をナビゲーション履歴と
して保持する履歴蓄積手段と、そのナビゲーション履歴
から分類木を構成する画像分類木生成手段と、前記生成
された分類木を提示する提示手段と、利用者から検索要
求がなされた場合には、前記分類木から画像の内容検索
を連携して行なう検索手段とを、具備することを特徴と
する画像の分類・検索装置である。

【００４０】上記のナビゲーション時に、利用者が選択
した分類観点の履歴を保存しておく。この分類履歴か
ら、対象とする画像ＤＢを概観する静的な分類木が出来
上がる。この静的な分類木を、閲覧する機能手段を設
け、階層分類と類似検索を連携させ、利用者の要望に応
じて分類と検索を切り替えながら画像を絞り込んでいく
ことが可能となる。

【００４１】第１５の発明は、前記分類木の提示手段
は、電子本を利用し、該電子本上に分類結果を表現する
ために分類木のノードを本の章・節の形で展開し、前記
ノードの表現には、章や節を簡潔に表現するために分類
観点、合成画、代表サンプルを組み合わせて表現し、最
も末端のリーフにはそのリーフに含まれる全画像の概要
を表示し、前記検索手段は、前記電子本から任意の画像
の概要が選択された場合、その画像の概要を検索キーと
して画像を検索することを特徴とする画像の分類・検索
装置である。

【００４２】分類結果を利用者に提供する手段として、
日常なじみの深い本の形式を利用し、分類した結果構築
される分類木のノードを本の章・節の形で表現する。電
子本の閲覧者に個々の章・節を分かりやすく表現するた
めには、ノード表現として代表画を表示したり、分類観
点を言葉で表記したり、合成画を表示したりする。分類
木の末端リーフを表現するときは、そのリーフに含まれ
る全画像を表示する。各章や節にはそれらの下層の節へ
移動するためリンクが張られており、そのリンクをクリ
ックすることで容易に下層の節を表示するページヘジャ
ンプすることができる。出来上がった電子本から任意の
画像を選択すると、その画像を検索キーとした画像検索
を行なうことが出来る。また、検索結果の中から好みの
画像を選択すると電子本でその画像が掲載されたページ
が開かれる。上記のノード表現は、ナビゲーションによ
る階層的な分類実行している最中や、画像目録の分類木
構造を利用者に対して視覚化する際にも、分類木のノー
ドをうまく表現することが可能となる。

【００４３】第１６の発明は、上記の画像の階層的分類
方法における処理手順をコンピュータで実行するプログ
ラムを、該コンピュータが読み取り可能な記録媒体に記
録したことを特徴とする画像の階層的分類方法を実行す
るプログラムを記録した記録媒体である。

【００４４】この記録媒体を用いれば、本発明の画像の
階層的分類方法を記録媒体として配布したり、保存した
りすることが可能となり、コンピュータを用いて本発明
の方法を実現することが可能となる。

【００４５】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００４６】図１は、本発明による画像分類方法を実現
するシステムあるいは装置の機能ブロック構成を示して
いる。以下の各実施形態例では、これらの機能手段を適
宜に用いて本発明の方法を実現する。本発明による画像
分類方法は、（１）特徴量抽出フェーズ、（２）分類木
構築フェーズ、（３）閲覧フェーズに分けられる。

【００４７】特徴量抽出フェーズでは、入力された画像
集合の各画像から検索用特徴量が抽出されて検索用特徴
量ＤＢに格納されるとともに、各画像データは画像ＤＢ
に格納される。一方、分類用特徴量抽出手段により画像
から以下の実施形態例で述べる分類用特徴量が抽出され
て分類用特徴量ＤＢに格納される。この分類用特徴量の
抽出の際には、画像辞書や感性語辞書が用いられること
もある。

【００４８】分類用木構築フェーズでは、分類木構築支
援機能により、構築者からの分類観点の指示とそれによ
る画像の分類を繰り返し行われて、階層的な分類がなさ
れ、その分類履歴から分類木が構築されて、分類木ＤＢ
に格納される。分類木構築支援機能は、ナビゲーション
手段、分類木作成手段、およびクラスタリング手段など
で実現される。

【００４９】閲覧フェーズでは、提示手段によるブラウ
ジング機能によって、分類結果（分類木）が本形式で提
示される。この提示により利用者が検索要求を発する
と、画像検索手段は、分類木に基づいて検索を行い、検
索結果を提示手段で提示する。

【００５０】［実施形態例１］ ＃画像辞書の構成 図２（ａ），（ｂ），（ｃ）は、画像辞書を説明する図
である。

【００５１】図２（ａ）は、空に関する辞書の例を示し
ている。例えば「青空」は、画像の上部の大きな領域の
代表色が青である、または、画像の上部に存在する面積
の大きな画像オブジェクトの代表色が脊であると定義で
きる。同様に「曇り空」、「夜空」が定義できる。さら
に、空に関するシソーラスと組み合わせることで、
「空」という概念に対応する画像辞書を構成することが
できる。

【００５２】図２（ｂ）は、「人の顔」に関する辞書の
例を示している。「人の顔」は、丸い画像オブジェクト
で、肌色のものと定義できる。

【００５３】図２（ｃ）は、「屋根」に関する辞書の例
を示している。「屋根」は２本の直線が存在し、それら
の位置関係が山型になっていると定義できる。これらの
概念を表す言葉とその特徴量の組み合わせ、および、シ
ソーラスの組み合わせで図３のような画像辞書を構成す
ることができる。

【００５４】［実施形態例２］ ＃領域色の抽出 図４は、画像の代表領域色抽出の例を示した図である。
例えは、図のように７パターン、２４個の領域に分割す
る。これが領域に関する分類観点となる。さらに各領域
の色に関する分布をヒストグラム化し、その上で特定の
閾値を越えた最頻出色をその領域の代表領域色として決
定する。閾値を越える色がないときは、その領域に関し
て代表領域色なしとする。この代表領域色の算出過程を
図５にフローチャート化する。なお、その閾値は、個々
の色毎に異なっていて構わず、明るい色の方が暗い色よ
り小さな閾値を持つようにすると、明るい色が強調さ
れ、人間の主観により近づく。

【００５５】領域とその代表色の情報は、分類用特徴量
ＤＢに蓄積される。ＤＢ中の画像は領域とその代表領域
色により分類されることになる。なお、分割領域はさら
に細かな領域でも、対角線を利用し分割される領域など
でも構わない。

【００５６】［実施形態例３］ ＃直線分類観点の抽出 図６（ａ）〜（ｆ）は、直線を使った分類観点の例であ
る。画像または画像領域毎に各分類観点の直線の長さ、
角度、本数、複数の直線間の関係に関する特徴量を抽出
し、分類用特徴量ＤＢに格納する。この直線分類観点の
算出のフローチャートを図７に示す。

【００５７】［実施形態例４］ ＃推薦分類候補の提示 図８は、領域色における推薦分類候補提示の処理フロー
を示している。データベースに登録されている任意の画
像集合に対し各領域毎に代表領域色が決定された後、各
領域毎に代表領域色がない画像の枚数Ｘが集計される。

【００５８】この枚数Ｘが少ない領域順に並び替えられ
た結果が推薦分類候補として利用者に提示される。直線
やオブジェクトも直線パターンやオブジェクト分布パタ
ーンを用いて同様な方法にて処理できる。

【００５９】このような推薦候補により利用者の分類を
ナビゲートすることにより、分類木構築作業を容易にす
る。

【００６０】［実施形態例５］ ＃分類観点の提示によ
るナビゲーション、履歴の利用 図９に、分類観点の提示によるナビゲーションの例、図
１０にそのフローチャートを示す。

【００６１】ナビゲーションでは検索条件を追加しなが
ら、検索対象を絞り込んでいく（一般には絞り込みだ
が、場合によっては検索対象の修正等もある）。

【００６２】さらに、従来のテキスト・ナビゲーション
と同様に次の絞り込みを支援するため、分類観点を提示
する。ただし、その分類観点はテキスト（言葉）ではな
く、画像辞書、領域色、画像内直線、画像内オブジェク
トなどとなる。

【００６３】図９では、ナビゲーションの途中の画像集
合に対し、領域色、直線、オブジェクト、画像辞書とい
う検索観点がシステムから利用者に提示され、利用者は
画像辞書を選択し、さらにシステム（あるいは装置）は
「人の顔」、「空」、「屋根」を提示し、利用者は「人
の顔」を選択し、人物画の集合を得ている。

【００６４】さらに次のステップとして、直前のステッ
プと同様にその画像集合に対し、領域色、直線、オブジ
ェクト、画像辞書という検索観点がシステムから利用者
に提示される。このように１回の画像の絞り込みは、画
像辞書、領域色、画像内直線、画像内オブジェクトとい
った大まかな分類観点（大分類観点）と、それらを詳細
化した分類観点（小分類観点）の２種類の観点を選択す
ることにより実行される。大分類観点の１つである領域
色における推薦分類観点提示に関しては、図９に示した
通りである。また大分類観点として領域色を選択時に提
示される小分類観点と分類概要については、図１１にそ
のフローチャートを示す。

【００６５】図１１では、利用者から入力された領域Ａ
に対して各代表色（Ｎ色）に属する枚数Ｘｉ（０≦ｉ≦
Ｎ）を算出し、その枚数が多い順に並び替えを行い、枚
数が多い順に登録画像データの中からサンプルを取得
し、枚数とともに提示する。

【００６６】図９の例では２回目の絞り込みとして、利
用者は２２番の領域色を選択し、さらにシステムは２２
番の領域色の分類概要（その分類に関する統計情報等）
を提示し、利用者は白を選択し、白い服の人物画の集合
を得ている。

【００６７】このナビゲーションの履歴として、「人の
顔」や「２２番の領域が白」が現在使用中の画像ＤＢの
分類に有効であることが分かるので、その履歴をシステ
ム（あるいは装置）に静的な分類木情報として蓄積す
る。蓄積された静的な分類木の全体像をキーワードや合
成画、サンプル画像を用いて閲覧することで画像ＤＢが
概観できる。

【００６８】図１２のように画像分類と類似検索を連携
する。画像を分類により絞り込んでいく過程で、その時
点における分類集合の中からより具体的な被写体の写る
画像を取得したい場合には、キー画像を入力し類似検索
を行なう。例えば、図９の分類集合Ｄの白い服の人物画
集合において「りんご」をキー画像として入力すること
で「白い服の人物とりんごが共に写る写真」を得ること
ができる。また、逆に検索から分類への切り替えも可能
にする。

【００６９】［実施形態例６］ ＃複合分類法（クラス
タリング分類と代表分類の融合） ナビゲーションにより画像を階層的に分類する場合、予
め代表的な分類項目の例をいくつか決めておき、最も近
い分類項目に個々の画像を分類する上記実施形態例の画
像の階層的分類方法と、各領域の色特徴量、形状特徴量
などの画像の特徴量をクラスタリング手法を用いて類似
する集合に分類するクラスタリング分類方法とを有し、
それらを自由に組み合わせて画像を分類する。

【００７０】種々雑多な画像を分類する場合、できるだ
け多くの観点を用いて分類ができることが望ましい。そ
こで、上述の画像の階層的分類方法のように予め代表的
な分類の例をいくつか決めておき、最も近い項目に個々
の画像を割り当てる「代表分類手法」と、各領域の色特
徴量、形状特徴量といった特徴量をクラスタリングする
ことで分類する「クラスタリング分類手法」の２種類を
利用者が状況に応じて選択し分類する。このような「複
合分類手法」を用いることで分類の階層化がしやすく、
また、意味のある集合を形成しやすくなる。具体的に
は、クラスタリングを分類観点の一つとし、例えば図９
において画像集合に対して提示される分類観点の中に色
クラスタリングなどとして提示される。この色クラスタ
リングが選択、指示されると、色特徴量によるクラスタ
リングが実行され、一般には複数の画像集合に分類され
るので、その一つを選択し、次の分類のステップへ移行
する。

【００７１】［実施形態例７］ ＃代表色の縮退・細分
化 図１３は、代表色の縮退を説明する図である。

【００７２】実施形態例２の手法を用いて、ある領域の
領域色が予め設定された代表色または代表色なしのいず
れかに決定される。例えば１０００枚の画像を図のよう
に１３色の代表色に分類したとき、薄緑色となる画像が
２枚しかなかったとする。一般に分類木のリーフ数が多
くなると、構成された分類木のどこに所望する画像が含
まれているかわかりづらくなるため、できるだけシンプ
ルな分類木を構成するほうがよい。よって、ある閾値を
設け、１つのリーフに閾値以下の画像しか存在しない場
合はそれに類似する色と統合する。例えば図１３のよう
に２枚しか薄緑色が存在しない場合は、色相の近い緑色
と統合する。統合できた緑の集合がまだ閾値より少ない
画像枚数である場合は、さらに青の分類と結合する。こ
のような手法を用いることでシンプルな分類木が形成さ
れる。

【００７３】一方、ある色に分類される画像の枚数があ
る一定枚数よりも多い場合は、次の分類観点として、よ
りその色を詳細に分けることが出来る分類観点を追加提
供する。図１４は、代表色「青」の場合の詳細色分類の
例を示している。基準となる代表色「青」を「薄い青」
から「濃い青」の数段階の色で分類できるようにする。

【００７４】［実施形態例８］ ＃第Ｎ主要色の抽出 図１５は、第Ｎ主要色の抽出を説明する図である。

【００７５】上述の実施形態例２の手法を用いて全体領
域の代表色分類を行なうことが出来るが、画像によって
は全体領域において代表的な色は必ずしも１色ではな
く、複数の支配的な色が存在する。そこで図１５のよう
に画像全体領域の色ヒストグラム値の高いものから順に
第１主要色、第２主要色、…とし、これらの主要色を用
いた分類を実現する。これは画像全体領域に限らず、任
意の画像領域にも拡張可能である。

【００７６】［実施形態例９］ ＃代表形状分類 図１６に、代表形状の例を、図１７に、代表形状分類の
フローチャートを示す。

【００７７】形状に基づいた分類を実現するために、予
め図１６のような丸や正方形、長方形といった基本的な
画像を用意する。これらの代表形状は、分類対象となる
画像の種類により利用者が任意の画像に入れ換えること
が可能である。これらの代表形状と入力された分類対象
画像から図１７に示すように特徴抽出と形状特徴量の距
離計算を行なった上で最も距離が短かった代表形状に分
類する。

【００７８】［実施形態例１０］ ＃感性語分類法 図１８に、感性語分類のフローチャートを示す。

【００７９】システム（あるいは装置）は感性語とその
感性語から受ける色を対応付けた感性語辞書を持ってい
る。登録される感性語は利用者が任意に選択することが
出来る。分類対象画像が入力されると色をもとにする感
性語特徴量が抽出され、感性語辞書に登録されている全
感性語との距離計算が行なわれる。その中で最も距離が
近かった感性語対して入力画像が一意に分類される。

【００８０】［実施形態例１１］ ＃電子本システム
（あるいは装置） 図１９に、電子本システム（あるいは装置）の例を示
す。

【００８１】分類を繰り返すことで構築される分類木の
ノードを本の章・節の形で表現し、分類結果全体を把握
しやすいように、電子本のはじめに目次ページを設け
る。電子本の閲覧者に個々の章・節の内容を簡潔に分か
りやすく表現するためには、説明した代表画を表示した
り、分類観点を言葉で表記したりする。分類木の末端リ
ーフのみは、そのリーフに含まれる全画像を表示するペ
ージを作成する。

【００８２】上記方法で出来上がる電子本は、実際の本
のようにぺらぺらめくって閲覧することが出来る。ま
た、各章や節にはそれらの下層の節へ移動するためのリ
ンク機能を設けることで、図１９の（１）のように容易
に下層の節を表示するページへ一発ジャンプできる。

【００８３】出来上がった電子本から任意の画像を選択
した場合は、図１９の（２）のようにその画像を検索キ
ーとした検索が行なわれる。また、図１９の（３）のよ
うに検索結果の中から好みの画像を選択すると、電子本
でその画像が掲載されたページが開かれる。上記のよう
な分類→検索、検索→分類の各手法へのシームレスな行
き来は目的とする画像が見つかるまで何度試してもよ
い。

【００８４】［実施形態例１２］ ＃階層的分類を実行
するコンピュータプログラムの記録媒体 図１で示した機能ブロック構成の一部もしくは全部の機
能を、コンピュータを用いて実現することができるこ
と、あるいは、図５、図７、図８、図１０、図１１、図
１２、図１７、図１８、図１９などで示した処理手順を
コンピュータで実行することができることは言うまでも
なく、コンピュータでその各部の機能を実現するための
プログラム、あるいは、コンピュータでその処理手順を
実行するためのプログラムを、そのコンピュータが読み
取り可能な記憶媒体、例えば、ＦＤ（フロッピーディス
ク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、
リムーバブルディスクなどに記録し、提供し、配布する
ことが可能である。

【００８５】

【発明の効果】本発明１によれば、画像を階層的に分類
でき、分類木が容易に構築できる。

【００８６】本発明２によれば、画像の被写体または概
念に基づいた階層的な分類が実現できる。また、人間の
分類感覚に近い分類順序で分類木が作成できる。

【００８７】本発明３によれば、人が画像から受ける色
の印象に近い代表色による階層的な分類が可能になる。

【００８８】本発明４によれば、複数の支配的な色をも
つ画像の分類が可能になる。

【００８９】本発明５によれば、集合体の規模に応じた
階層的な代表領域色分類結果が得られる。

【００９０】本発明６によれば、人の感性に基づいた階
層的な画像分類が可能になる。

【００９１】本発明７によれば、画像の直線的な構図を
反映した階層的な分類が可能になる。

【００９２】本発明８によれば、画像のオブジェクト分
布による構図を反映した階層的な分類が可能になる。

【００９３】本発明９によれば、類似形状による階層的
な分類が可能になる。

【００９４】本発明１０によれば、階層的に画像を分類
する過程における画像の絞り込みが容易になる。

【００９５】本発明１１によれば、多数の分類観点のう
ち有望な分類観点を上位に提示することが可能になり、
利用者の負担を軽減させることができる。

【００９６】本発明１２によれば、画像の分類木が容易
に作成できる。

【００９７】本発明１３によれば、所望する画像が見つ
けやすい分類木の作成が可能になる。

【００９８】本発明１４によれば、画像の分類木が容易
に作成でき、データベース内に登録されている画像の全
体像を概観することができ、画像ＤＢの概観を把握しな
がらの検索が行なえる。これにより、検索結果からもれ
ていた画像の発見も可能になる。

【００９９】本発明１５によれば、利用者が容易に画像
の分類木を一覧でき、電子本でぱらぱらページをめぐり
ながら画像を探し出せる。また、分類・検索の両機能を
用いたシームレスな画像の絞り込みが出来る。

【０１００】本発明１６によれば、画像の階層的分類方
法をコンピュータプログラムとして保存したり、提供し
たり、配布したりすることができ、画像の階層的分類を
コンピュータを用いて実行できる。

【図面の簡単な説明】

【図１】本発明による画像の階層的分類方法を実現する
ためのシステム（あるいは装置）の機能ブロック構成図
である。

【図２】（ａ）は画像辞書構築の例、（ｂ）は画像辞書
構築の例、（ｃ）は画像辞書構築の例を示す図である。

【図３】画像辞書の構成例を示す図である。

【図４】画像の代表領域色抽出の例を示す図である。

【図５】代表領域色の算出フローチャートである。

【図６】（ａ），（ｂ），（ｃ），（ｄ），（ｅ），
（ｆ）は、直線分類候補の例を示す図である。

【図７】直線分類観点の算出フローチャートを示す図で
ある。

【図８】領域色における推薦分類観点提示のフローチャ
ートである。

【図９】分類観点を利用した画像ＤＢのナビゲーション
分類の例を示す図である。

【図１０】分類観点の提示によるナビゲーションのフロ
ーチャートである。

【図１１】領域における分類概要提示のフローチャート
である。

【図１２】画像分類と画像検索連携処理のフローチャー
トである。

【図１３】代表色の縮退例を示す図である。

【図１４】代表色の詳細色分類例（「青」の場合）を示
す図である。

【図１５】第Ｎ主要色の抽出を説明する図である。

【図１６】（ａ），（ｂ），（ｃ），（ｄ），（ｅ），
（ｆ），（ｇ），（ｈ）は、代表形状の例を示す図であ
る。

【図１７】代表形状分類のフローチャートである。

【図１８】感性語分類のフローチャートである。

【図１９】電子本システム（あるいは装置）の例を説明
する図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ４６０Ｂ (72)発明者 串間 和彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 山室 雅司 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 EA09 EA18 FA19 GA08 5B075 ND06 ND35 NK02 NK06 NR12 PP30 PQ02 QP03 5L096 AA01 FA03 FA04 FA05 FA15 GA38 MA07

Claims (16)

【特許請求の範囲】
1. 【請求項１】 任意の画像集合を分類対象とし、 指定された分類観点により分類した分類結果を提示し、 前記分類結果に対し、続いて指定された分類観点により
   さらに分類した分類結果を提示する過程を１回、または
   複数回繰り返し行うことを特徴とする画像の階層的分類
   方法。
2. 【請求項２】 画像の概念を表す言葉と、該言葉に相当
   する概念を定義した画像オブジェクト、画像内領域、お
   よび、画像内直線の特徴量の条件の組とを対応づけた表
   を持ち、これらと言葉のシソーラスとを関係づけた画像
   辞書を用いて、画像を分類するための情報を抽出し、 前記抽出した情報を分類観点の一つとして画像を分類す
   ることを特徴とする請求項１記載の画像の階層的分類方
   法。
3. 【請求項３】 画像および画像を分割した領域の面積に
   より正規化した代表色Ｙ個の色ヒストグラムを求め、 明るい色の方が暗い色より小さな閾値を持ち、前記色ヒ
   ストグラムにおいて該閾値を超える色がある場合は、そ
   の色の中で最大の値を持つ色を対象領域の代表領域色と
   して抽出し、該閾値を超える色がない場合は代表領域色
   を持たない領域とし、 前記決定した代表領域色を分類観点として画像を分類す
   ることを特徴とする請求項１記載の画像の階層的分類方
   法。
4. 【請求項４】 画像および画像を分割した領域の面積に
   より正規化した代表色Ｙ個の色ヒストグラムを求め、 前記ヒストグラム値が高いものから順に第１主要色、第
   ２主要色、…、第Ｙ主要色とし、 これらの主要色を分類観点として画像を分類することを
   特徴とする請求項１記載の画像の階層的分類方法。
5. 【請求項５】 代表領域色を分類観点として画像を分類
   する際、 ある代表領域色に属する画像枚数が一定枚数Ａより少な
   い場合はその画像集合を類似した色相を持つ他の集合に
   統合し、 逆にある代表領域色に属する画像が一定枚数Ｂ（Ｂ＞
   Ａ）より多い場合はより細かい色相の代表領域色に分割
   することを特徴とする請求項１または３または４記載の
   画像の階層的分類方法。
6. 【請求項６】 感性語とその感性語からイメージされる
   色の特徴量を対応付けた感性語辞書を分類観点として用
   い、 前記感性語辞書の感性語特徴量と、対象画像から抽出さ
   れる色特徴量との距離計算を行ない、 最も類似する感性語に前記対象画像を分類することを特
   徴とする請求項１記載の画像の階層的分類方法。
7. 【請求項７】 画像より直線の長さ、角度、本数、およ
   び、複数直線間の関係といった特徴量を抽出し、 前記抽出した特徴量を分類観点とすることを特徴とする
   請求項１記載の画像の階層的分類方法。
8. 【請求項８】 画像より抽出される画像内オブジェク
   ト、その個数、複数の画像内オブジェクトの位置関係、
   および、画像内オブジェクトの分布といった特徴量を分
   類観点とすることを特徴とする請求項１記載の画像の階
   層的分類方法。
9. 【請求項９】 予め基本として登録した代表形状を分類
   観点とし、 分類対象の画像内より抽出される画像内オブジェクトの
   形状特徴量を抽出し、 それらのヒストグラム間の距離計算によって最も類似す
   る代表形状に前記画像を分類することを特徴とする請求
   項１記載の画像の階層的分類方法。
10. 【請求項１０】 分類観点の指示は、複数の分類観点を
    組み合わせて提示した中から選択させるナビゲーション
    により行われることを特徴とする請求項１から９までの
    いずれか１項記載の画像の階層的分類方法。
11. 【請求項１１】 分類観点を提示する際には、該当する
    画像を持たない分類観点は提示対象から除き、 残る提示対象の分類観点については、各分類観点に該当
    する画像の枚数が多い分類観点から順に利用者に推薦提
    示することで分類木構築者をナビゲートすることを特徴
    とする請求項１０記載の画像の階層的分類方法。
12. 【請求項１２】 ナビゲーションによる画像の階層的分
    類の過程での利用者からの分類観点の選択を分類履歴と
    して保持し、 前記分類履歴から分類木を生成することを特徴とする請
    求項１０または１１記載の画像の階層的分類方法。
13. 【請求項１３】 ナビゲーションにより画像を階層的に
    分類する場合、 予め代表的な分類項目の例をいくつか決めておき、最も
    近い分類項目に個々の画像を分類する請求項３から９ま
    でのいずれか１項記載の画像の階層的分類方法と、 各領域の色特徴量、形状特徴量などの画像の特徴量をク
    ラスタリング手法を用いて類似する集合に分類するクラ
    スタリング分類方法とを有し、 それらを自由に組み合わせて画像を分類することを特徴
    とする画像の階層的分類方法。
14. 【請求項１４】 ナビゲーションの過程での利用者から
    の分類観点の指示をナビゲーション履歴として保持する
    履歴蓄積手段と、 そのナビゲーション履歴から分類木を構成する画像分類
    木生成手段と、 前記生成された分類木を提示する提示手段と、 利用者から検索要求がなされた場合には、前記分類木か
    ら画像の内容検索を連携して行なう検索手段とを、具備
    することを特徴とする画像の分類・検索装置。
15. 【請求項１５】 前記分類木の提示手段は、 電子本を利用し、該電子本上に分類結果を表現するため
    に分類木のノードを本の章・節の形で展開し、 前記ノードの表現には、章や節を簡潔に表現するために
    分類観点、合成画、代表サンプルを組み合わせて表現
    し、 最も末端のリーフにはそのリーフに含まれる全画像の概
    要を表示し、 前記検索手段は、 前記電子本から任意の画像の概要が選択された場合、そ
    の画像の概要を検索キーとして画像を検索することを特
    徴とする請求項１４記載の画像の分類・検索装置。
16. 【請求項１６】 請求項１から１３までのいずれか１項
    記載の画像の階層的分類方法における処理手順をコンピ
    ュータで実行するプログラムを、該コンピュータが読み
    取り可能な記録媒体に記録したことを特徴とする画像の
    階層的分類方法を実行するプログラムを記録した記録媒
    体。