JP3522570B2 - 画像検索・画像分類連携システム - Google Patents
画像検索・画像分類連携システムInfo
- Publication number
- JP3522570B2 JP3522570B2 JP05627699A JP5627699A JP3522570B2 JP 3522570 B2 JP3522570 B2 JP 3522570B2 JP 05627699 A JP05627699 A JP 05627699A JP 5627699 A JP5627699 A JP 5627699A JP 3522570 B2 JP3522570 B2 JP 3522570B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- classification
- user
- color
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、画像の分類及びそ
の利用技術に関し、特に、大量の画像を有する画像ＤＢ
システムや映像ＤＢシステムなどのマルチメディアシス
テムを効率的に運用し、有効に活用する際に使用され
る。
の利用技術に関し、特に、大量の画像を有する画像ＤＢ
システムや映像ＤＢシステムなどのマルチメディアシス
テムを効率的に運用し、有効に活用する際に使用され
る。
【０００２】
【従来の技術】これまで、多くの画像を管理する方法が
実現されているが、これらの方法には主に検索と分類と
いう二つのアプローチが採用されている。
実現されているが、これらの方法には主に検索と分類と
いう二つのアプローチが採用されている。
【０００３】画像検索には、画像に付加されたテキスト
情報（キーワードや説明文など）によって検索を行う方
法と、画像の内容情報（色やテクスチャなどの特徴量）
の類似度によって検索を行う方法が存在する。特に画像
の内容情報を用いた類似検索では、画像全体の色、模様
や、画像内のオブジェクトの色、形、位置、および、画
像内の直線の長さ、傾き、位置のような特徴量での検索
を可能にしている（例えば、串間「画像の内容検索技術
の動向」、ＡＤＳＢ９７，ｐｐ１７３〜１８０，１９９
７）。
情報（キーワードや説明文など）によって検索を行う方
法と、画像の内容情報（色やテクスチャなどの特徴量）
の類似度によって検索を行う方法が存在する。特に画像
の内容情報を用いた類似検索では、画像全体の色、模様
や、画像内のオブジェクトの色、形、位置、および、画
像内の直線の長さ、傾き、位置のような特徴量での検索
を可能にしている（例えば、串間「画像の内容検索技術
の動向」、ＡＤＳＢ９７，ｐｐ１７３〜１８０，１９９
７）。
【０００４】画像の分類にも、画像に付加されたテキス
ト情報を利用して分類を行う方法と、画像の内容情報を
用いて分類を行う方法がある。画像の内容情報を用いた
分類には、例えば類似シーン分類があり、画像全体や画
像のブロック分割領域の色やテクスチャの特徴量によっ
てクラスタリングする（例えば、波多野、亀井、田中
「映像自己組識化構造に基づく内容記述と類似シーン検
索」、情報処理学会研究報告、Ｖｏｌ．９７，Ｎｏ．６
４，ｐｐ１７３〜１７８，１９９７）。
ト情報を利用して分類を行う方法と、画像の内容情報を
用いて分類を行う方法がある。画像の内容情報を用いた
分類には、例えば類似シーン分類があり、画像全体や画
像のブロック分割領域の色やテクスチャの特徴量によっ
てクラスタリングする（例えば、波多野、亀井、田中
「映像自己組識化構造に基づく内容記述と類似シーン検
索」、情報処理学会研究報告、Ｖｏｌ．９７，Ｎｏ．６
４，ｐｐ１７３〜１７８，１９９７）。
【０００５】一方、テキスト検索の分野では、情報の絞
込みに際し、与えられた集合をさらに分類する観点（キ
ーワード）を自動提示することで、利用者の情報の絞込
みを支援するナビゲーション手法が提案されている（例
えば、小西、赤間「関連情報連想システムにおける検索
観点自動提示方式」、第６回データ工学ワークショップ
（ＤＥＷＳ′９５），ｐｐ３９〜４６，１９９５）。
込みに際し、与えられた集合をさらに分類する観点（キ
ーワード）を自動提示することで、利用者の情報の絞込
みを支援するナビゲーション手法が提案されている（例
えば、小西、赤間「関連情報連想システムにおける検索
観点自動提示方式」、第６回データ工学ワークショップ
（ＤＥＷＳ′９５），ｐｐ３９〜４６，１９９５）。
【０００６】
【発明が解決しようとする課題】画像へのテキスト情報
の付与には、（ｉ）付与を手作業に頼らざるを得ないた
め、コストと時間がかかること、（ii）付与者によるバ
ラツキが大きく、データベース（ＤＢ）全体に一貫した
テキスト情報を付与するのが難しいこと、(iii)テクス
チャ画像のように、テキスト情報（模様名）の付与が難
しいものが存在すること、等の問題がある。
の付与には、（ｉ）付与を手作業に頼らざるを得ないた
め、コストと時間がかかること、（ii）付与者によるバ
ラツキが大きく、データベース（ＤＢ）全体に一貫した
テキスト情報を付与するのが難しいこと、(iii)テクス
チャ画像のように、テキスト情報（模様名）の付与が難
しいものが存在すること、等の問題がある。
【０００７】そこで、画像の内容検索の技術が開発され
てきたが、（ｉ）本に索引と目次があるように、検索だ
けでは画像ＤＢの概観が把握できず、その結果として、
検索結果の良否についても判断できなくなること、（i
i）検索キー画像の取得方法としてスケッチ入力やデジ
タルカメラ入力等が存在するが、それらを利用したとし
ても検索キーを与えることが難しい、等の問題がある。
てきたが、（ｉ）本に索引と目次があるように、検索だ
けでは画像ＤＢの概観が把握できず、その結果として、
検索結果の良否についても判断できなくなること、（i
i）検索キー画像の取得方法としてスケッチ入力やデジ
タルカメラ入力等が存在するが、それらを利用したとし
ても検索キーを与えることが難しい、等の問題がある。
【０００８】また、画像の内容分類においては、（ｉ）
これまで開発されたものは、航空写真画像や雲画像のよ
うに特殊な領域の画像に対する専用システムであり、特
殊な特徴量を利用するため一般的な画像に適用できない
こと、（ii）一般的な画像に適用可能な場合でも、単に
クラスタリングを行うだけでは階層的な分類木の構成に
はなっておらず、結局、画像数が増えた場合には分類と
して機能しない、等の問題がある。
これまで開発されたものは、航空写真画像や雲画像のよ
うに特殊な領域の画像に対する専用システムであり、特
殊な特徴量を利用するため一般的な画像に適用できない
こと、（ii）一般的な画像に適用可能な場合でも、単に
クラスタリングを行うだけでは階層的な分類木の構成に
はなっておらず、結局、画像数が増えた場合には分類と
して機能しない、等の問題がある。
【０００９】本発明の目的は、画像ＤＢ内の全体像を把
握するための、画像分類木構築法、画像分類の提示法、
および、画像検索システムとの統合法を与え、効率的な
画像ＤＢ管理・活用法を実現する画像検索・画像分類連
携システムを提供することにある。
握するための、画像分類木構築法、画像分類の提示法、
および、画像検索システムとの統合法を与え、効率的な
画像ＤＢ管理・活用法を実現する画像検索・画像分類連
携システムを提供することにある。
【００１０】
【課題を解決するための手段】本発明では、まず、画像
を分類するための画像辞書をテキストのシソーラスを用
いて構成する。テキストのシソーラスは「言葉」の持つ
概念関係を表したものである。画像内に写る言葉で表現
できる被写体（例えな、空、屋根、顔など）を部分画、
オブジェクト、直線など画像の特徴を組み合わせて定義
することにより、被写体を表現する「言葉」を画像特徴
量を用いて表現することができる。ここでキーワードシ
ソーラスの概念関係を用いれば、定義された画像間に関
連性もたせることができ、これらの情報をまとめること
で画像辞書が形成される。
を分類するための画像辞書をテキストのシソーラスを用
いて構成する。テキストのシソーラスは「言葉」の持つ
概念関係を表したものである。画像内に写る言葉で表現
できる被写体（例えな、空、屋根、顔など）を部分画、
オブジェクト、直線など画像の特徴を組み合わせて定義
することにより、被写体を表現する「言葉」を画像特徴
量を用いて表現することができる。ここでキーワードシ
ソーラスの概念関係を用いれば、定義された画像間に関
連性もたせることができ、これらの情報をまとめること
で画像辞書が形成される。
【００１１】画像辞書により、画像の分類木の構築が可
能になる。しかし、あらかじめ画像辞書を用いて、あら
ゆるコンテンツを分類する分類木を構築しておくことは
難しい。そこで、本発明では、利用者が分類観点を自由
に選択していくことで分類木を構築していくことを可能
にする。１度分類木が作成されれば、それ以降、他の利
用者は、この分類木を用いて画像集合の概観を把握する
ことが可能になる。また、利用者の選択履歴情報が蓄積
されれば、その情報をもとに、人が満足できる分類木を
抽出することも可能になる。
能になる。しかし、あらかじめ画像辞書を用いて、あら
ゆるコンテンツを分類する分類木を構築しておくことは
難しい。そこで、本発明では、利用者が分類観点を自由
に選択していくことで分類木を構築していくことを可能
にする。１度分類木が作成されれば、それ以降、他の利
用者は、この分類木を用いて画像集合の概観を把握する
ことが可能になる。また、利用者の選択履歴情報が蓄積
されれば、その情報をもとに、人が満足できる分類木を
抽出することも可能になる。
【００１２】本発明では、この分類観点に、画像を構成
する領域の代表色、画像から抽出される直線、オブジェ
クトを使用する。
する領域の代表色、画像から抽出される直線、オブジェ
クトを使用する。
【００１３】初めに、領域色について説明する。画像を
Ｙ個の代表色に減色し、同じ面積にてＸ分割された個々
の領域における色のヒストグラムを作成する。このと
き、ヒストグラムの最大値が特定の閾値を超える場合
は、最大値に相当する色を、その領域における代表領域
色とする。もし、その閾値を満たす色がない場合は、そ
の領域には代表領域色がないとみなす。なお、人の目に
は暗くて地味な色より明るく派手な色の方が目につきや
すいので、明るい色の方が暗い色より閾値を低く設定す
る。このようにして、抽出される代表領域色は、利用者
が分類を行なう際の詳細な分類観点として用いられ、観
点にもとづいた分類が行なわれる。
Ｙ個の代表色に減色し、同じ面積にてＸ分割された個々
の領域における色のヒストグラムを作成する。このと
き、ヒストグラムの最大値が特定の閾値を超える場合
は、最大値に相当する色を、その領域における代表領域
色とする。もし、その閾値を満たす色がない場合は、そ
の領域には代表領域色がないとみなす。なお、人の目に
は暗くて地味な色より明るく派手な色の方が目につきや
すいので、明るい色の方が暗い色より閾値を低く設定す
る。このようにして、抽出される代表領域色は、利用者
が分類を行なう際の詳細な分類観点として用いられ、観
点にもとづいた分類が行なわれる。
【００１４】次に、画像内の直線について説明する。画
像内からエッジの情報をもとに抽出される直線は画像の
構図を反映するものが多い。しかし、始点と終点の情報
からなる個々の直線情報のままでは、その画像内の構図
の情報として分類に用いることはできない。そこで、直
線の本数や長さ、本数、複数直線間の関係などを用い
て、１枚の画像内から抽出された直線がどのような構図
を反映する情報を持っているのか、また、直線同士がど
のような係わり合いを持っているのかを調べる。この結
果は、利用者が分類を行なう際の分類観点として用いら
れ、観点にもとづいた分類が行なわれる。
像内からエッジの情報をもとに抽出される直線は画像の
構図を反映するものが多い。しかし、始点と終点の情報
からなる個々の直線情報のままでは、その画像内の構図
の情報として分類に用いることはできない。そこで、直
線の本数や長さ、本数、複数直線間の関係などを用い
て、１枚の画像内から抽出された直線がどのような構図
を反映する情報を持っているのか、また、直線同士がど
のような係わり合いを持っているのかを調べる。この結
果は、利用者が分類を行なう際の分類観点として用いら
れ、観点にもとづいた分類が行なわれる。
【００１５】次に、画像内のオブジェクトについて説明
する。画像内より抽出されるオブジェクトの個数やその
重心位置の分布は画像によって異なり、この情報も画像
の構図情報を反映する。そこで、オブジェクトの個数や
重心位置をもとに１枚画内のどのあたりに多くの被写体
が写っているのかといった分布状況を抽出する。この結
果は、利用者が分類を行なう際の分類観点として用いら
れ、観点にもとづいた分類が行なわれる。
する。画像内より抽出されるオブジェクトの個数やその
重心位置の分布は画像によって異なり、この情報も画像
の構図情報を反映する。そこで、オブジェクトの個数や
重心位置をもとに１枚画内のどのあたりに多くの被写体
が写っているのかといった分布状況を抽出する。この結
果は、利用者が分類を行なう際の分類観点として用いら
れ、観点にもとづいた分類が行なわれる。
【００１６】利用者への分類観点の提示は次のようにし
て行う。画像データベースに格納されるすべての画像に
対して領域色、直線、オブジェクトによる分類を行なっ
た場合、適用する画像データによっては分類観点に対し
て該当するものが存在しないことがある。このような結
果を分類選択項目として提示しても意味がない。そこ
で、このような分類観点は分類選択候補から予め削除
し、かつ、該当する分類観点が多い順に提示順序を並び
替えてシステムが推薦する分類候補として利用者に提示
する。
て行う。画像データベースに格納されるすべての画像に
対して領域色、直線、オブジェクトによる分類を行なっ
た場合、適用する画像データによっては分類観点に対し
て該当するものが存在しないことがある。このような結
果を分類選択項目として提示しても意味がない。そこ
で、このような分類観点は分類選択候補から予め削除
し、かつ、該当する分類観点が多い順に提示順序を並び
替えてシステムが推薦する分類候補として利用者に提示
する。
【００１７】次に、分類観点提示による分類ナビゲーシ
ョンについて説明する。階層的な分類を実現するため
に、利用者が領域色、直線、オブジェクト、画像辞書の
観点を組み合わせた分類を実現する。システムは、ま
ず、領域色、直線、オブジェクト、画像辞書といった大
まかな分類観点（大分類観点）を提示する。その際利用
者はたくさんの分類観点がありすぎるとどれを次の分類
観点として選択していいのかわからないので、上記のよ
うに順序を並び替えるなどして推薦する候補を提示す
る。利用者がこの中から分類観点を選択すると、システ
ムはさらに先の選択観点にもとづき該当画像を絞り込
み、さらに細かい選択条件（小分類観点）にもとづき集
計を行なう。その結果は各小分類観点に該当する画像サ
ンプルと共に選択条件として利用者に提示される。利用
者がこの小分類観点を選択することにより実際に分類が
実行され、分類集合が作成される。このような分類観点
の提示により利用者をナビゲートしながら階層的な分類
を繰り返し、画像の絞り込みを行なっていく。
ョンについて説明する。階層的な分類を実現するため
に、利用者が領域色、直線、オブジェクト、画像辞書の
観点を組み合わせた分類を実現する。システムは、ま
ず、領域色、直線、オブジェクト、画像辞書といった大
まかな分類観点（大分類観点）を提示する。その際利用
者はたくさんの分類観点がありすぎるとどれを次の分類
観点として選択していいのかわからないので、上記のよ
うに順序を並び替えるなどして推薦する候補を提示す
る。利用者がこの中から分類観点を選択すると、システ
ムはさらに先の選択観点にもとづき該当画像を絞り込
み、さらに細かい選択条件（小分類観点）にもとづき集
計を行なう。その結果は各小分類観点に該当する画像サ
ンプルと共に選択条件として利用者に提示される。利用
者がこの小分類観点を選択することにより実際に分類が
実行され、分類集合が作成される。このような分類観点
の提示により利用者をナビゲートしながら階層的な分類
を繰り返し、画像の絞り込みを行なっていく。
【００１８】また、ナビゲーション時に、利用者が選択
した分類観点の履歴を保存しておく。この履歴から対象
とする画像ＤＢを概観する静的な分類木が出来上がる。
この静的な分類木を閲覧する機能を設け、階層分類と類
似検索を連携させ、利用者の要望に応じて分類と検索を
切り替えながら画像を絞り込んでいく。
した分類観点の履歴を保存しておく。この履歴から対象
とする画像ＤＢを概観する静的な分類木が出来上がる。
この静的な分類木を閲覧する機能を設け、階層分類と類
似検索を連携させ、利用者の要望に応じて分類と検索を
切り替えながら画像を絞り込んでいく。
【００１９】また、ナビゲーションによる階層的な分類
実行している最中や、画像目録の分類木構造を利用者に
対して視覚化する際は、分類木のノードをうまく表現す
ることが望ましい。そこで、分類観点をキーワード、合
成画で表現したり、実際の分類結果に含まれる画像の代
表例を組み合わせて表現する。
実行している最中や、画像目録の分類木構造を利用者に
対して視覚化する際は、分類木のノードをうまく表現す
ることが望ましい。そこで、分類観点をキーワード、合
成画で表現したり、実際の分類結果に含まれる画像の代
表例を組み合わせて表現する。
【００２０】
【発明の実施の形態】以下、本発明の実施例について図
面により説明する。
面により説明する。
【００２１】〔システム構成〕
図１は本発明が適用されるシステム構成の一実施例を示
すブロック図である。図において、１０はユーザ端末、
２０は中央処理装置、３０は分類用特徴量ＤＢ、４０は
画像辞書ＤＢ、５０は分類履歴ＤＢ、６０は画像ＤＢで
ある。実際にはユーザ端末１０は多数存在し、中央処理
装置２０とは通信回線により接続される。
すブロック図である。図において、１０はユーザ端末、
２０は中央処理装置、３０は分類用特徴量ＤＢ、４０は
画像辞書ＤＢ、５０は分類履歴ＤＢ、６０は画像ＤＢで
ある。実際にはユーザ端末１０は多数存在し、中央処理
装置２０とは通信回線により接続される。
【００２２】中央処理装置２０は、大きく画像分類用特
徴量抽出部２２、画像分類処理部２４及び画像検索部２
６で構成される。画像分類用特徴量抽出部２２は、画像
ＤＢ６０から各画像を入力して、画像の領域色、直線、
オブジェクトの特徴量を抽出し、分類用特徴量ＤＢ３０
に蓄積する。画像分類処理部２４は、ユーザ端末１０を
通した利用者からの要求に応じ、分類用特徴量ＤＢ３
０、画像辞書ＤＢ４０及び画像ＤＢ６０をなど参照しな
がら、利用者へ分類観点提示のナビゲーションを実施す
る。また、該画像分類処理部２４は画像分類木生成手段
２５を有し、分類観点提示のナビゲーション過程におい
て、その履歴から分類木を生成して分類木ＤＢ５０へ蓄
積する。画像検索部２６は、ユーザ端末１０を通した利
用者からの要求に応じ、画像ＤＢ６０を検索してその検
索結果を利用者へ提示する。該画像検索部２６では、例
えば画像の内容情報を用いた類似検索を行う。画像分類
処理部２４と画像検索部２６とは連携して動作し、利用
者の要求に応じて検索または分類による絞り込みを切り
替える。
徴量抽出部２２、画像分類処理部２４及び画像検索部２
６で構成される。画像分類用特徴量抽出部２２は、画像
ＤＢ６０から各画像を入力して、画像の領域色、直線、
オブジェクトの特徴量を抽出し、分類用特徴量ＤＢ３０
に蓄積する。画像分類処理部２４は、ユーザ端末１０を
通した利用者からの要求に応じ、分類用特徴量ＤＢ３
０、画像辞書ＤＢ４０及び画像ＤＢ６０をなど参照しな
がら、利用者へ分類観点提示のナビゲーションを実施す
る。また、該画像分類処理部２４は画像分類木生成手段
２５を有し、分類観点提示のナビゲーション過程におい
て、その履歴から分類木を生成して分類木ＤＢ５０へ蓄
積する。画像検索部２６は、ユーザ端末１０を通した利
用者からの要求に応じ、画像ＤＢ６０を検索してその検
索結果を利用者へ提示する。該画像検索部２６では、例
えば画像の内容情報を用いた類似検索を行う。画像分類
処理部２４と画像検索部２６とは連携して動作し、利用
者の要求に応じて検索または分類による絞り込みを切り
替える。
【００２３】分類用特徴量ＤＢ３０では、画像毎に、当
該画像ＩＤを見出しとして、それぞれ領域色特徴量（特
徴ベクトル）、直線特徴量、オブジェクト特徴量を蓄積
している。画像辞書ＤＢ４０は、あらかじめ画像の特徴
量と意味の関係をテキストのシソーラスを用いて管理し
ている。分類木ＤＢ５０では、画像分類処理部２４の画
像分類木生成手段２５で生成される分類履歴ログ情報を
用いた分類木を蓄積している。以下、各構成・動作につ
いて説明する。
該画像ＩＤを見出しとして、それぞれ領域色特徴量（特
徴ベクトル）、直線特徴量、オブジェクト特徴量を蓄積
している。画像辞書ＤＢ４０は、あらかじめ画像の特徴
量と意味の関係をテキストのシソーラスを用いて管理し
ている。分類木ＤＢ５０では、画像分類処理部２４の画
像分類木生成手段２５で生成される分類履歴ログ情報を
用いた分類木を蓄積している。以下、各構成・動作につ
いて説明する。
【００２４】〔画像辞書の構成〕
図２（ａ），（ｂ），（ｃ）は画像辞書を説明する図で
ある。図２（ａ）は「空」に関する辞書の例を示してい
る。例えば「青空」は、画像の上部の大きな領域の代表
色が青である、または、画像の上部に存在する面積の大
きな画像オブジェクトの代表色が青であると定義でき
る。同様に「曇り空」、「夜空」が定義できる。さら
に、「空」に関するシソーラスと組み合わせることで、
「空」という概念に対応する画像辞書を構成することが
できる。図２（ｂ）は「人の顔」に関する辞書の例を示
している。「人の顔」は、丸い画像オブジェクトで、肌
色のものと定義できる。図２（ｃ）は「屋根」に関する
辞書の例を示している。「屋根」は２本の直線が存在
し、それらの位置関係が山型になっていると定義でき
る。
ある。図２（ａ）は「空」に関する辞書の例を示してい
る。例えば「青空」は、画像の上部の大きな領域の代表
色が青である、または、画像の上部に存在する面積の大
きな画像オブジェクトの代表色が青であると定義でき
る。同様に「曇り空」、「夜空」が定義できる。さら
に、「空」に関するシソーラスと組み合わせることで、
「空」という概念に対応する画像辞書を構成することが
できる。図２（ｂ）は「人の顔」に関する辞書の例を示
している。「人の顔」は、丸い画像オブジェクトで、肌
色のものと定義できる。図２（ｃ）は「屋根」に関する
辞書の例を示している。「屋根」は２本の直線が存在
し、それらの位置関係が山型になっていると定義でき
る。
【００２５】これらの概念を表す言葉とその特徴量の組
合せ、および、テキストのシソーラスの組合せで、図３
のような画像辞書を構成することができる。画像辞書情
報を充実させることにより、画像の分類木の構築が可能
になる。
合せ、および、テキストのシソーラスの組合せで、図３
のような画像辞書を構成することができる。画像辞書情
報を充実させることにより、画像の分類木の構築が可能
になる。
【００２６】〔領域色の抽出〕
図４は画像の代表領域色抽出の例を示した図である。入
力画像を減色（例えば１３色）した後、該減色画像につ
いて、例えば、図４のように７パターン、２４個の領域
に分割する。これが領域に関する分類観点となる。さら
に各領域の色に関する分布をヒストグラム化し、その上
で特定の閾値を越えた最頻出色をその領域の代表領域色
として決定する。なお、閾値は、個々の色毎に異なって
いて構わず、明るい色の方が暗い色より小さな閾値を持
つようにすると、明るい色が強調され、人間の主観によ
り近づく。図５に、この代表領域色の算出フローチャー
トを示す。
力画像を減色（例えば１３色）した後、該減色画像につ
いて、例えば、図４のように７パターン、２４個の領域
に分割する。これが領域に関する分類観点となる。さら
に各領域の色に関する分布をヒストグラム化し、その上
で特定の閾値を越えた最頻出色をその領域の代表領域色
として決定する。なお、閾値は、個々の色毎に異なって
いて構わず、明るい色の方が暗い色より小さな閾値を持
つようにすると、明るい色が強調され、人間の主観によ
り近づく。図５に、この代表領域色の算出フローチャー
トを示す。
【００２７】画像毎に、各領域（図４では０〜２３）と
その代表色の情報は分類用特徴量ＤＢ３０に蓄積され
る。したがって、分類用特徴量ＤＢ３０中の画像は各領
域とその代表領域色により分類されることになる。な
お、分割領域はさらに細かな領域でも、対角線を利用し
分割される領域などでも構わない。また、特徴量の抽出
と領域分割はいずれを先に行っても構わない。
その代表色の情報は分類用特徴量ＤＢ３０に蓄積され
る。したがって、分類用特徴量ＤＢ３０中の画像は各領
域とその代表領域色により分類されることになる。な
お、分割領域はさらに細かな領域でも、対角線を利用し
分割される領域などでも構わない。また、特徴量の抽出
と領域分割はいずれを先に行っても構わない。
【００２８】〔直線分類観点の抽出〕
図６は画像内の直線を使った分類観点の例を示した図で
ある。画像毎に各分類観点の直線の長さ、角度、本数、
複数の直線間の関係に関する特徴量を抽出し、その特徴
ベクトルを分類用特徴量ＤＢ３０に格納する。図７に、
この直線分類観点の算出フローチャートを示す。
ある。画像毎に各分類観点の直線の長さ、角度、本数、
複数の直線間の関係に関する特徴量を抽出し、その特徴
ベクトルを分類用特徴量ＤＢ３０に格納する。図７に、
この直線分類観点の算出フローチャートを示す。
【００２９】〔オブジェクトの分類観点の抽出〕
画像より画像内オブジェクト、その個数、複数の画像内
オブジェクトの位置関係、および、画像内オブジェクト
の分布といった特徴量を分類観点として抽出し、分類用
特徴量ＤＢ３０へ格納する。考え方は直線分類観点と同
様であるので、図は省略する。
オブジェクトの位置関係、および、画像内オブジェクト
の分布といった特徴量を分類観点として抽出し、分類用
特徴量ＤＢ３０へ格納する。考え方は直線分類観点と同
様であるので、図は省略する。
【００３０】〔推薦分類候補の提示〕
画像ＤＢ６０に格納されるすべての画像に対して領域
色、直線、オブジェクトによる分類を行なった場合、適
用する画像データによって分類観点に対して該当するも
のが存在しないことがある。このような結果を分類選択
項目として提示しても意味がない。そこで、このような
分類観点は分類選択候補から予め削除し、該当する分類
観点が多い順に提示順序を並び替えて、推薦分類候補と
して利用者に提示する。
色、直線、オブジェクトによる分類を行なった場合、適
用する画像データによって分類観点に対して該当するも
のが存在しないことがある。このような結果を分類選択
項目として提示しても意味がない。そこで、このような
分類観点は分類選択候補から予め削除し、該当する分類
観点が多い順に提示順序を並び替えて、推薦分類候補と
して利用者に提示する。
【００３１】図８は、一例として領域色における推薦分
類候補提示のフローチャートを示したものである。分類
用特徴量ＤＢ３０に蓄積された情報を入力して、すべて
の画像に対し各領域ごとに代表領域色を抽出した後、各
領域ごとに代表領域色がない画像の枚数Ｘを集計する。
この枚数Ｘが少ない領域順に並び替えられた結果を推薦
分類候補（分類観点）として利用者に提示する。
類候補提示のフローチャートを示したものである。分類
用特徴量ＤＢ３０に蓄積された情報を入力して、すべて
の画像に対し各領域ごとに代表領域色を抽出した後、各
領域ごとに代表領域色がない画像の枚数Ｘを集計する。
この枚数Ｘが少ない領域順に並び替えられた結果を推薦
分類候補（分類観点）として利用者に提示する。
【００３２】直線やオブジェクトも、直線パターンやオ
ブジェクト分布パターンを用いて同様な方法にて処理で
きる。このような推薦候補により利用者の分類をナビゲ
ートすることにより、分類木構築作業を容易にする。
ブジェクト分布パターンを用いて同様な方法にて処理で
きる。このような推薦候補により利用者の分類をナビゲ
ートすることにより、分類木構築作業を容易にする。
【００３３】〔分類観点の提示によるナビゲーション、
履歴の利用〕 図９に分類観点の提示によるナビゲーションの具体例、
図１０にそのフローチャートを示す。ナビゲーションで
は検索条件を追加しながら、検索対象を絞り込んでいく
（一般には絞り込みだが、場合によっては検索対象の修
正等もある）。さらに、従来のテキスト・ナビゲーショ
ンと同様に次の絞り込みを支援するため様々な分類観点
を提示し、利用者が自由に選択できるようにする。ただ
し、分類観点はテキスト（言葉）ではなく、画像辞書、
領域色、画像内直線、画像内オブジェクトなどとなる。
履歴の利用〕 図９に分類観点の提示によるナビゲーションの具体例、
図１０にそのフローチャートを示す。ナビゲーションで
は検索条件を追加しながら、検索対象を絞り込んでいく
（一般には絞り込みだが、場合によっては検索対象の修
正等もある）。さらに、従来のテキスト・ナビゲーショ
ンと同様に次の絞り込みを支援するため様々な分類観点
を提示し、利用者が自由に選択できるようにする。ただ
し、分類観点はテキスト（言葉）ではなく、画像辞書、
領域色、画像内直線、画像内オブジェクトなどとなる。
【００３４】図９では、ナビゲーションの途中の画像集
合に対し、領域色、直線、オブジェクト、画像辞書とい
う検索観点が本システムから利用者に提示され、利用者
は画像辞書を選択し、さらに、本システムは画像辞書に
より「人の顔」、「空」、「屋根」を提示し、利用者は
「人の顔」を選択し、人物画の集合を得ている。さら
に、次のステップとして、直前のステップと同様にその
画像集合に対し、領域色、直線、オブジェクト、画像辞
書という検索観点が本システムから利用者に提示され
る。
合に対し、領域色、直線、オブジェクト、画像辞書とい
う検索観点が本システムから利用者に提示され、利用者
は画像辞書を選択し、さらに、本システムは画像辞書に
より「人の顔」、「空」、「屋根」を提示し、利用者は
「人の顔」を選択し、人物画の集合を得ている。さら
に、次のステップとして、直前のステップと同様にその
画像集合に対し、領域色、直線、オブジェクト、画像辞
書という検索観点が本システムから利用者に提示され
る。
【００３５】このように、１回の画像の絞込みは、画像
辞書、領域色、画像内直線、画像内オブジェクトといっ
た大まかな分類観点（大分類観点）と、それらを詳細化
した分類観点（小分類観点）の２種類の観点（図１０の
Ａ、Ｂ）を選択することにより実行される。ここで、大
分類観点の１つである領域色における推薦分類観点提示
に関しては、図８に示したような提示順番手法で提示さ
れる。
辞書、領域色、画像内直線、画像内オブジェクトといっ
た大まかな分類観点（大分類観点）と、それらを詳細化
した分類観点（小分類観点）の２種類の観点（図１０の
Ａ、Ｂ）を選択することにより実行される。ここで、大
分類観点の１つである領域色における推薦分類観点提示
に関しては、図８に示したような提示順番手法で提示さ
れる。
【００３６】図１１は、大分類観点として領域色を選択
時に提示される小分類観点と分類概要フローチャートを
示したものである。領域における分類概要提示では、選
択された領域に対して、各代表色の画像数を算出し、そ
の枚数が多い順に並び替え、該当する画像サンプルをい
くつか該当枚数とともに提示する。
時に提示される小分類観点と分類概要フローチャートを
示したものである。領域における分類概要提示では、選
択された領域に対して、各代表色の画像数を算出し、そ
の枚数が多い順に並び替え、該当する画像サンプルをい
くつか該当枚数とともに提示する。
【００３７】図９の例では、２回目の絞り込みとして、
利用者は２２番の領域色を選択し、さらに本システムは
２２番の領域色の分類概要（その分類に関する統計情報
等）を提示し、利用者は白を選択し、白い服の人物画の
集合を得ている。
利用者は２２番の領域色を選択し、さらに本システムは
２２番の領域色の分類概要（その分類に関する統計情報
等）を提示し、利用者は白を選択し、白い服の人物画の
集合を得ている。
【００３８】このナビゲーションの履歴として、「人の
顔」や「２２番の領域が白」が現在使用中の画像ＤＢ６
０の分類に有効であることが分かるので、その履歴を本
システムの分類木ＤＢ５０に静的な分類木情報として蓄
積する。蓄積された静的な分類木の全体像をキーワード
や合成画、サンプル画像を用いて閲覧することで画像Ｄ
Ｂ６０の任意画像集合が概観できる。
顔」や「２２番の領域が白」が現在使用中の画像ＤＢ６
０の分類に有効であることが分かるので、その履歴を本
システムの分類木ＤＢ５０に静的な分類木情報として蓄
積する。蓄積された静的な分類木の全体像をキーワード
や合成画、サンプル画像を用いて閲覧することで画像Ｄ
Ｂ６０の任意画像集合が概観できる。
【００３９】図１２に分類木の一例を示す。これは、実
際に、分類は３階層分、画像集合枚数がブラウザ上でも
一覧が可能な５０枚以下になるまで分類を行なった場合
の例である。人は画像そのものが持つ特徴をもとに分類
を行なう場合、色は最も重要な分類観点であり、特に画
像全体の色の印象が似ているものはよく似ていると感じ
やすい。よって、１階層目は全体領域による分類を実行
し、その後、推薦分類観点やその分類概要をもとに２階
層目以降の分類を行なった。この結果、第１小分類観
点、第２小分観点、各々１１回ずつの選択で全画像（約
千枚）をコンパクトな集合に分類することができた。
際に、分類は３階層分、画像集合枚数がブラウザ上でも
一覧が可能な５０枚以下になるまで分類を行なった場合
の例である。人は画像そのものが持つ特徴をもとに分類
を行なう場合、色は最も重要な分類観点であり、特に画
像全体の色の印象が似ているものはよく似ていると感じ
やすい。よって、１階層目は全体領域による分類を実行
し、その後、推薦分類観点やその分類概要をもとに２階
層目以降の分類を行なった。この結果、第１小分類観
点、第２小分観点、各々１１回ずつの選択で全画像（約
千枚）をコンパクトな集合に分類することができた。
【００４０】〔画像検索と画像分類の連携〕
図１３のように画像分類と類似検索を連携する。画像を
分類により絞り込んでいく過程で、その時点における分
類集合の中からより具体的な被写体の写る画像を取得し
たい場合には、キー画像を入力し類似検索を行なう。例
えば、図９の分類集合（Ｄ）の「白い服の人物画集合」
において「りんご」をキー画像として入力することで
「白い服の自分物とりんごが共に写る写真」を得ること
ができる。また、逆に検索から分類への切り替えも可能
にする。
分類により絞り込んでいく過程で、その時点における分
類集合の中からより具体的な被写体の写る画像を取得し
たい場合には、キー画像を入力し類似検索を行なう。例
えば、図９の分類集合（Ｄ）の「白い服の人物画集合」
において「りんご」をキー画像として入力することで
「白い服の自分物とりんごが共に写る写真」を得ること
ができる。また、逆に検索から分類への切り替えも可能
にする。
【００４１】以上、本発明の一実施例について説明し
た。ここで、図１のシステム構成において、画像分類用
特徴量抽出部２２、画像分類処理部２４及び画像検索部
２６での処理手順やアルゴリズムは、コンピュータで実
行可能な言語で記述してプログラム化し、コンピュータ
が読み取り可能な記録媒体、例えばフロッピーディス
ク、コンパクトディスク（ＣＤ−ＲＯＭ）などに記録し
て提供可能である。
た。ここで、図１のシステム構成において、画像分類用
特徴量抽出部２２、画像分類処理部２４及び画像検索部
２６での処理手順やアルゴリズムは、コンピュータで実
行可能な言語で記述してプログラム化し、コンピュータ
が読み取り可能な記録媒体、例えばフロッピーディス
ク、コンパクトディスク（ＣＤ−ＲＯＭ）などに記録し
て提供可能である。
【００４２】
【発明の効果】本発明によれば、以下のような効果が得
られる。 ( １ ) 画像の被写体または概念にもとづいた分類が実現
できる。また、人間の分類感覚に近い分類順序で分類木
が作成できる。( ２ ) 人が画像から受ける色の印象に近い代表色を選択
することができる。( ３ ) 画像の直線的な構図を反映した分類が可能にな
る。( ４ ) 画像のオブジェクト分布による構図を反映した分
類が可能になる。( ５ ) 多数の分類観点のうち有望な分類観点を上位に提
示することが可能になり、利用者の分類観点選択の負担
を軽減させることができる。( ６ ) 画像データベースの絞り込み検索が容易になる。( ７ ) 画像の分類木が自動的に作成でき、画像データベ
ース内に登録されている画像の全体像を概観することが
でき、画像集合の概観を把握しながらの検索が行なえ
る。これにより、検索結果からもれていた画像の発見も
可能になる。
られる。 ( １ ) 画像の被写体または概念にもとづいた分類が実現
できる。また、人間の分類感覚に近い分類順序で分類木
が作成できる。( ２ ) 人が画像から受ける色の印象に近い代表色を選択
することができる。( ３ ) 画像の直線的な構図を反映した分類が可能にな
る。( ４ ) 画像のオブジェクト分布による構図を反映した分
類が可能になる。( ５ ) 多数の分類観点のうち有望な分類観点を上位に提
示することが可能になり、利用者の分類観点選択の負担
を軽減させることができる。( ６ ) 画像データベースの絞り込み検索が容易になる。( ７ ) 画像の分類木が自動的に作成でき、画像データベ
ース内に登録されている画像の全体像を概観することが
でき、画像集合の概観を把握しながらの検索が行なえ
る。これにより、検索結果からもれていた画像の発見も
可能になる。
【図１】本発明が適用されるシステム構成例のブロック
図である。
図である。
【図２】画像辞書構築の一例を示す図である。
【図３】画像辞書の構成例を示す図である。
【図４】画像の代表領域色抽出の一例を示す図である。
【図５】代表領域色の算出フローチャートである。
【図６】直線分類候補の一例を示す図である。
【図７】直線分類観点の算出フローチャートである。
【図８】領域色における推薦分類観点提示のフローチャ
ートである。
ートである。
【図９】分類観点を利用した画像ＤＢのナビゲーション
分類の一例を示す図である。
分類の一例を示す図である。
【図１０】分類観点の提示ナビゲーションのフローチャ
ートである。
ートである。
【図１１】領域における分類概要提示のフローチャート
である。
である。
【図１２】生成された分類木の一例を示す図である。
【図１３】画像分類と画像検索連携処理のフローチャー
トである。
トである。
１０ ユーザ端末
２０ 中央処理装置
２２ 画像分類用特徴量抽出部
２４ 画像分類処理部
２５ 画像分類木生成手段
２６ 画像検索部
３０ 分類用特徴量ＤＢ
４０ 画像辞書ＤＢ
５０ 分類木ＤＢ
６０ 画像ＤＢ
フロントページの続き
(56)参考文献 串間「画像の内容検索技術の動向」、
ＡＤＳＢ97，ｐｐ173〜180，1997)
波多野、亀井、田中，「映像自己組織
化構造に基づく内容記述と類似シーン検
索」，情報処理学会研究報告、Ｖｏｌ.
97，Ｎｏ．64，ｐｐ173〜178，1997年
串間和彦 外，色や形状等の表層的特
徴量にもとづく画像内容検索技術，情報
処理学会論文誌：トランザクション
「データベース」 ，1998年，Ｖｏｌ.
40 Ｎｏ．ＳＩＧ03
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06F 17/30
G06T 7/00
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (7)
- 【請求項１】 画像を蓄積する画像データベースを備
え、利用者からの要求に応じ、画像の分類提示、検索を
行う画像検索・画像分類連携システムであって、 概念を表わす言葉と該言葉に相当する概念を画像の特徴
量を用いて定義した条件とを組として、テキストのシソ
ーラス中の該当する言葉と関連付けて構成した画像辞書
データベースと、 蓄積された画像毎に、分類観点として、当該画像の領域
色、直線、オブジェクトの特徴量を蓄積している分類用
特徴量データベースと、 蓄積された画像集合の分類木を記憶している分類木デー
タベースと、 画像の領域色、直線、オブジェクトの特徴量を抽出し、
分類観点として分類用特徴量データベースに蓄積する画
像分類用特徴量抽出手段と、 利用者からの要求に応じ、画像辞書データベース、分類
用特徴量データベース、画像データベースの一部又は全
部を参照して、利用者へ分類観点提示のナビゲーション
を実施するとともに、該分類観点提示のナビゲーション
履歴から分類木を生成して分類木データベースへ蓄積す
る画像分類処理手段と、 利用者からの要求に応じ、画像データベースを検索して
検索結果を利用者へ提示する画像検索手段と、 を具備することを特徴とする画像検索・画像分類連携シ
ステム。 - 【請求項２】 画像分類用特徴量抽出手段は、画像を複
数パターンに領域分割し、該分割された個々の領域ごと
に色のヒストグラムを作成し、明るい色の方が暗い色よ
り小さな閾値として、該閾値を超える色がある場合は、
その色の中で最大の値を持つ色を当該領域の代表領域色
とし、閾値を超える色がない場合は領域色を持たない領
域として、画像領域色の特徴量を分類観点とすることを
特徴とする請求項１記載の画像検索・画像分類連携シス
テム。 - 【請求項３】 画像分類用特徴量抽出手段は、画像より
抽出される直線の長さ、角度、本数、および、複数直線
間の関係の特徴量を分類観点とすることを特徴とする請
求項１記載の画像検索・画像分類連携システム。 - 【請求項４】 画像分類用特徴量抽出手段は、画像より
抽出される画像内オブジェクト、その個数、複数の画像
内オブジェクトの位置関係、および、画像内オブジェク
トの分布の特徴量を分類観点とすることを特徴とする請
求項１記載の画像検索・画像分類連携システム。 - 【請求項５】 画像分類処理手段は、任意の画像集合中
の全画像に対して、複数の分類観点を求め、該分類観点
を組み合わせて利用者に提示し、該提示する過程で、該
当する画像を持たない分類観点は提示対象から除き、残
る提示対象の分類観点については、各分類観点に該当す
る画像の枚数が多い観点から順に利用者に推薦提示する
ことを特徴とする請求項１記載の画像検索・画像分類連
携システム。 - 【請求項６】 画像分類処理手段は、利用者が決定した
任意の画像集合に対し、画像内領域色、画像内直線、画
像内オブジェクト、および画像辞書による分類観点を利
用者に提示し、利用者がある分類観点を選択すると、そ
の分類結果の概要を利用者に提示し、利用者がある分類
を選択すると、その分類結果を利用者に提示し、これら
を繰り返し適用することで、画像集合に対する絞り込み
ナビゲーションを可能にすることを特徴とする請求項１
記載の画像検索・画像分類連携システム。 - 【請求項７】 利用者の要求に応じ、画像検索手段の検
索または画像分類処理手段の分類による絞り込みを切り
替えることを特徴とする請求項１記載の画像検索・画像
分類連携システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05627699A JP3522570B2 (ja) | 1999-03-03 | 1999-03-03 | 画像検索・画像分類連携システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05627699A JP3522570B2 (ja) | 1999-03-03 | 1999-03-03 | 画像検索・画像分類連携システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000250943A JP2000250943A (ja) | 2000-09-14 |
| JP3522570B2 true JP3522570B2 (ja) | 2004-04-26 |
Family
ID=13022573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05627699A Expired - Lifetime JP3522570B2 (ja) | 1999-03-03 | 1999-03-03 | 画像検索・画像分類連携システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3522570B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301823A (ja) * | 2004-04-14 | 2005-10-27 | Olympus Corp | 分類装置及び分類方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020063945A (ko) * | 2001-01-31 | 2002-08-07 | 이증훈 | 피부질환정보 검색 시스템 및 그 방법 |
| JP4363792B2 (ja) | 2001-03-23 | 2009-11-11 | 富士通株式会社 | 情報検索システムおよび方法 |
| JP2002318752A (ja) * | 2001-04-20 | 2002-10-31 | Just Syst Corp | 情報配信システム、情報配信方法、情報配信方法をコンピュータに実行させるプログラム |
| US8028249B2 (en) * | 2001-05-23 | 2011-09-27 | Eastman Kodak Company | Method and system for browsing large digital multimedia object collections |
| JP4410834B2 (ja) * | 2006-02-16 | 2010-02-03 | 富士通株式会社 | 色認識プログラム |
| US20110123124A1 (en) * | 2008-07-29 | 2011-05-26 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating an image collection |
| CN102132318B (zh) * | 2008-08-21 | 2014-06-11 | 惠普开发有限公司 | 图像收藏集的可缩放的相关性排序表示的自动创建 |
| JP5578040B2 (ja) * | 2010-11-15 | 2014-08-27 | ソニー株式会社 | 情報処理装置および方法、情報処理システム、並びに、プログラム |
-
1999
- 1999-03-03 JP JP05627699A patent/JP3522570B2/ja not_active Expired - Lifetime
Non-Patent Citations (3)
| Title |
|---|
| 串間「画像の内容検索技術の動向」、ＡＤＳＢ９７，ｐｐ１７３〜１８０，１９９７） |
| 串間和彦 外，色や形状等の表層的特徴量にもとづく画像内容検索技術，情報処理学会論文誌：トランザクション 「データベース」 ，１９９８年，Ｖｏｌ．４０ Ｎｏ．ＳＩＧ０３ |
| 波多野、亀井、田中，「映像自己組織化構造に基づく内容記述と類似シーン検索」，情報処理学会研究報告、Ｖｏｌ．９７，Ｎｏ．６４，ｐｐ１７３〜１７８，１９９７年 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301823A (ja) * | 2004-04-14 | 2005-10-27 | Olympus Corp | 分類装置及び分類方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000250943A (ja) | 2000-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001160057A (ja) | 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体 | |
| US6912550B2 (en) | File classification management system and method used in operating systems | |
| KR101289085B1 (ko) | 객체 기반 영상 검색시스템 및 검색방법 | |
| JP4340367B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN107239203A (zh) | 一种图像管理方法和装置 | |
| KR20020075600A (ko) | 이미지 검색방법과 장치 | |
| JP2009251850A (ja) | 類似画像検索を用いた商品推薦システム | |
| JP2004355370A (ja) | 文書処理装置 | |
| JP3522570B2 (ja) | 画像検索・画像分類連携システム | |
| JP4674257B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Di Sciascio et al. | Query by sketch and relevance feedback for content-based image retrieval over the web | |
| JP2014092955A (ja) | 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム | |
| JP2002259410A (ja) | オブジェクト分類管理方法、オブジェクト分類管理システム、オブジェクト分類管理プログラム及び記録媒体 | |
| Verma et al. | A fuzzy-neural approach for interpretation and fusion of colour and texture features for CBIR systems | |
| JP2009217828A (ja) | 画像検索装置 | |
| van den Broek et al. | The utilization of human color categorization for content-based image retrieval | |
| Kulkami et al. | Content based image retrieval using a neuro-fuzzy technique | |
| Tsai et al. | Qualitative evaluation of automatic assignment of keywords to images | |
| JPH08305718A (ja) | 情報処理方法及び装置 | |
| Tankoyeu et al. | Event detection and scene attraction by very simple contextual cues | |
| JPH08305724A (ja) | 設計支援情報文書管理装置 | |
| CN110765305A (zh) | 媒介信息推送系统及其基于视觉特征的图文检索方法 | |
| EP1973046A1 (en) | Indexing presentation slides | |
| van den Broek et al. | Content-based image retrieval benchmarking: Utilizing color categories and color distributions | |
| Verma et al. | Fuzzy logic based interpretation and fusion of color queries |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040204 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |