JP2012230544A - 画像検索装置およびプログラム - Google Patents

Abstract

【課題】図鑑等のデータベースから画像を検索する際、例えば検索したい項目の見出し語が分からない場合に、意図した画像を有する項目を簡単且つ高い確率で検索可能にする。
【解決手段】辞書内で知りたい項目に関し複数の検索キーワードを入力すると、全項目の見出し語および説明情報を対象に全文検索（１次）が実行されると共に、各キーワードの項目内出現位置および相対位置に基づき、当該各キーワードが先頭近くに出現し且つ纏まっている項目が高評価となる評価点が算出され、高評価順に各項目の画像を一覧にした１次検索結果表示画面Gs1が表示される。さらに、最高評価の項目画像のうち、外観的特徴を表す前記検索キーワードに対応するところの部分画像が２次検索用の検索キーとして限定され、当該部分画像に類似の部分画像を持つ画像が各項目の画像の中から検索（２次）され、類似度の高い項目の画像から一覧にした２次検索結果表示画面Gs2が表示される。
【選択図】 図１０

Description

本発明は、電子化された図鑑や百科辞典等、集録された各項目の説明情報として画像を有しているデータベースから当該画像を検索して表示させるための画像検索装置およびその制御プログラムに関する。

電子辞書装置において、入力された複数の検索キーワードから辞書に集録された各項目の見出し語とこの見出し語を説明する本文（説明情報）を全文検索し、複数の検索キーワードが完全一致したところの項目の見出し語を一覧にして表示する全文検索機能が実現されている。

一般に、辞書の見出し語に対応付けられた説明情報において、その見出し語についての直接的な説明は、説明情報全体の冒頭の方に存在し、説明情報の後半には、該当する見出し語に関係する物事など、間接的な説明が存在する場合が多い。

このため、前記全文検索機能によって複数の検索キーワードと完全一致する文字列を有している項目が検索されても、必ずしもユーザが意図する項目が検索されたとは限らない欠点がある。

特に、検索対象の辞書内に、ユーザが意図する項目とその内容が類似している他の項目も集録されている場合に、正しい項目を簡単且つ高い確率で検索することは難しい。

類似の画像を検索する従来の画像検索装置であって、検索元画像との単純な類似画像検索ではなく、画像の全体色、色分布、輪郭、模様の別に類似度の重み付けを設定し、１つの検索元画像から多様な画像を検索することが可能な画像管理方法が考えられている（例えば、特許文献１参照。）。

特開２００５−１００１６０号公報

動植物図鑑など、例えば分類が同じだと類似の内容の項目が複数存在しているデータベースの検索にあって、ユーザが意図する項目を、簡単且つ高い確率で検索できるようにすることが望まれる。

本発明は、このような課題に鑑みなされたもので、例えば検索したい項目の見出し語が分からない場合に、ユーザが意図した画像を有する項目を、簡単且つ高い確率で検索することが可能になる画像検索装置およびその制御プログラムを提供することを目的とする。

本発明に係る画像検索装置は、見出し語と説明情報と画像とを対応付けた項目を複数記憶する情報記憶手段と、ユーザ操作に応じてキーワードを入力するキーワード入力手段と、このキーワード入力手段により入力されたキーワードを含む項目を前記情報記憶手段により記憶された全項目の見出し語および説明情報を対象にして検索する１次検索手段と、この１次検索手段により検索された項目の画像のうち前記キーワードに対応するところの画像部分を特定する画像部分特定手段と、この画像部分特定手段により特定された画像部分に類似の画像部分を有する画像を前記情報記憶手段により記憶された項目の画像を対象にして検索する２次検索手段と、この２次検索手段により検索された画像を表示部に表示させる検索画像表示手段と、を備えたことを特徴としている。

本発明によれば、例えば検索したい項目の見出し語が分からない場合に、ユーザが意図した画像を有する項目を、簡単且つ高い確率で検索することが可能になる画像検索装置およびその制御プログラムを提供できる。

本発明の画像検索装置の実施形態に係る電子辞書装置１０の外観構成を示す正面図。 前記電子辞書装置１０の電子回路の構成を示すブロック図。 前記電子辞書装置１０の辞書画像検索処理を示すフローチャート。 前記電子辞書装置１０の［植物図鑑］２２ｂ４を検索対象の辞書に指定した辞書画像検索処理に伴う表示動作を示す図であり、同図（Ａ）は検索キーワード入力画面Ｇｋを示す図、同図（Ｂ）は１次検索結果表示画面Ｇｓ１を示す図。 前記電子辞書装置１０の辞書画像検索処理に伴う［植物図鑑］２２ｂ４内での検索キーワードｋｎの検索状態を示す図。 前記電子辞書装置１０の辞書画像検索処理に伴い［植物図鑑］２２ｂ４内の各項目［アマドコロ］［ツルニンジン］で検索された検索キーワードｋｎの文字位置を示す図。 前記電子辞書装置１０の辞書画像検索処理に伴い［植物図鑑］２２ｂ４から検索された各項目［アマドコロ］［ツルニンジン］における重み付け評価点の算出状態を示す図。 前記電子辞書装置１０の辞書画像検索処理に伴い複数の検索キーワードで全文（１次）検索された項目［アマドコロ］の画像から外観的特徴を表すキーワードに応じて限定された２次検索用の部分画像領域を示す図。 前記電子辞書装置１０の［植物図鑑］２２ｂ４を検索対象の辞書に指定した辞書画像検索処理に伴う表示動作を示す図であり、同図（Ａ）は１次検索結果表示画面Ｇｓ１を示す図、同図（Ｂ）は２次検索結果表示画面Ｇｓ２を示す図。 前記電子辞書装置１０の［昆虫図鑑］２２ｂ４を検索対象の辞書に指定した辞書画像検索処理に伴う一連の動作を示す図であり、同図（Ａ）は検索キーワード入力画面Ｇｋを示す図、同図（Ｂ）は１次検索結果表示画面Ｇｓ１を示す図、同図（Ｃ）は複数の検索キーワードで全文（１次）検索された項目［ヒョウモンチョウ］の画像から外観的特徴を表すキーワードに応じて限定された２次検索用の部分画像領域を示す図、同図（Ｄ）は２次検索結果表示画面Ｇｓ２を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の画像検索装置の実施形態に係る電子辞書装置１０の外観構成を示す正面図である。

この電子辞書装置１０は、以下に説明する電子辞書専用の携帯機器として構成されるか、辞書機能を備えたＰＤＡ(personal digital assistants)、ＰＣ(personal computer)、携帯電話、電子ブック、携帯ゲーム機等として構成される。

この電子辞書装置１０は、その本体ケース１１と蓋体ケース１２とがヒンジ部１３を介して展開／閉塞可能な折り畳み型ケースを備えて構成される。この折り畳み型ケースを展開した本体ケース１１の表面には、文字入力キー１４ａ、辞書指定キー１４ｂ、［訳／決定］キー１４ｃ、［戻る／リスト］キー１４ｄ、カーソルキー１４ｅ、スピーカ１５などを備えたキー入力部（キーボード）１４、およびタッチパネル式サブ表示部１６が備えられる。

このタッチパネル式サブ表示部１６は、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、キー入力部１４の中央手前側において例えば２５６×６４ドットのカラー液晶表示画面１６ｄに透明タッチパネル１６ｔを重ねて構成される。このタッチパネル式サブ表示部１６の領域は、必要に応じて、手書き文字を入力するための手書き文字（漢字）入力領域や各種機能のアイコン入力領域、あるいは当該各領域が混在する領域に切り替えられる。

そして、前記サブ表示部１６が手書き文字入力領域に切り替えられた状態での手書き入力に伴う軌跡はそのカラー液晶表示画面１６ｄにエコーバックして表示される。

また蓋体ケース１２の表面には、そのほぼ全面を対象に例えば４８０×３２０ドットのバックライト付きのタッチパネル式メイン表示部１７が設けられる。このタッチパネル式メイン表示部１７も、前記サブ表示部１６と同様に、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、カラー液晶表示画面１７ｄに透明タッチパネル１７ｔを重ねて構成される。

そして、前記タッチパネル式メイン表示部１７の右端には、前記キー入力部１４における一部のキーの押下操作をタッチ操作により行うための、キー表記（例えば［訳／決定］キーＫＥや［戻る／リスト］キーＫＲ）が固定印刷されたタッチキーエリア１７Ａが設けられる。

同図１におけるメイン表示部１７は、［植物図鑑］を検索対象辞書に指定して検索処理した場合の検索結果表示画面Ｇｓの具体例を示している。

この検索結果表示画面Ｇｓには、ユーザ入力された複数の検索キーワードに基づき全文検索する１次検索処理と、当該１次検索された項目の画像から抽出される前記検索キーワードの外観的特徴に対応したところの画像部分に基づき類似画像を検索する２次検索処理とに従い検索された各項目の画像およびその見出し語が高類似度順に表示される。

図２は、前記電子辞書装置１０の電子回路の構成を示すブロック図である。

この電子辞書装置１０は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)２１が備えられる。

ＣＰＵ２１は、記憶装置（フラッシュＲＯＭ）２２内に予め記憶された装置制御プログラム、あるいはＲＯＭカードなどの外部記録媒体２３から記録媒体読み取り部２４を介して前記記憶装置２２に読み込まれた装置制御プログラム、あるいはインターネットＮ上のＷｅｂサーバ（この場合はプログラムサーバ）３０から通信部２５を介して前記記憶装置２２に読み込まれた装置制御プログラムに応じて、ＲＡＭ２６を作業領域とし、回路各部の動作を制御する。

前記記憶装置２２に記憶された装置制御プログラムは、キー入力部１４、タッチパネル式サブ表示部１６、タッチパネル式メイン表示部１７からのユーザ操作に応じた入力信号、あるいは通信部２５を介して接続されるインターネットＮ上の各Ｗｅｂサーバ３０…との通信信号、あるいは記録媒体読み取り部２４を介して外部接続されるＥＥＰＲＯＭ，ＲＡＭ，ＲＯＭなどのメモリ・カード（記録媒体）２３との接続通信信号に応じて起動される。

このように前記ＣＰＵ２１には、記憶装置２２、記録媒体読み取り部２４、通信部２５、ＲＡＭ２６、キー入力部１４、タッチパネル式サブ表示部１６（１６ｄ，１６ｔ）、タッチパネル式メイン表示部１７（１７ｄ，１７ｔ）などが接続される。

前記記憶装置２２に記憶される装置制御プログラムとしては、当該電子辞書装置１０の全体の動作を司るシステムプログラム、通信部２５を介してインターネットＮ上の各Ｗｅｂサーバ３０…や図示しないユーザＰＣ(Personal Computer)などとデータ通信するための通信プログラムが記憶される。

また、入力された検索文字列（キーワード）に応じて辞書データの各項目の見出し語を対象に検索する見出し語検索処理、入力された検索文字列（キーワード）に応じて辞書データの各項目の見出し語およびその説明情報からなる全文を対象に検索する全文検索処理、全文検索処理（１次検索）により検索された項目の説明情報に含まれる画像のうち前記キーワードに対応したところの外観的特徴部分に類似の画像部分を有する画像の項目を検索する類似画像検索処理（２次検索）、検索された項目の見出し語に対応する説明情報の読み出し表示処理など、記憶装置２２内に記憶された辞書データベース２２ｂに基づく処理全般を制御するための各種情報検索表示制御プログラム２２ａが記憶される。

前記辞書データベース２２ｂとしては、［国語辞典］２２ｂ１、［英和辞典］２２ｂ２、［和英辞典］２２ｂ３、［動植物図鑑］２２ｂ４などの各種の辞書データが予めあるいはダウンロードされて記憶され、各種の辞書データの各項目としては、見出し語と当該見出し語の説明情報（図鑑の場合は画像を含む）とが対応付けられて記述される。

なお、前記説明情報に含まれる画像には、当該画像を構成する各画像部分（閉じた輪郭領域）の形状の特徴量（輪郭の形状を数値化した値）および色の特徴量（色を数値化した値）が予め対応付けされている。

ＲＡＭ２６には、表示データメモリ２６ａ、検索キーワードメモリ２６ｂ、全文（１次）検索データメモリ２６ｃ、検索項目評価点メモリ２６ｄ、外観特徴量メモリ２６ｅ、画像（２次）検索データメモリ２６ｆが確保される。

表示データメモリ２６ａには、前記メイン表示部１７に表示させるメイン表示データ、前記サブ表示部１６に表示させるサブ表示データが、そのそれぞれのメモリ領域においてビットマップパターンに展開されて記憶される。

検索キーワードメモリ２６ｂには、ユーザ操作に応じて入力された１つまたは複数の検索文字列（キーワード）が記憶される。

全文（１次）検索データメモリ２６ｃには、ユーザ指定の辞書内の全項目の見出し語および説明情報を対象として検索された前記検索キーワードに一致する文字列を有する項目の見出し語が同見出し語順に記憶される。

検索項目評価点メモリ２６ｄ（図７参照）には、前記全文（１次）検索データメモリ２６ｃに記憶された全文検索結果の各項目について、前記検索キーワードが一致検索された見出し語先頭からの出現位置（文字数）、検索キーワード間の相対位置（文字数）、およびその合計値が、各検索項目の評価点として記憶される。なお、検索キーワードは、項目内の先頭近くで一致検索されるのが望ましいため、前記検索項目評価点メモリ２６ｄに記憶される各検索項目の評価点は、小さい値ほど評価順位は高い。

外観特徴量メモリ２６ｅには、前記検索項目評価点メモリ２６ｄに記憶された各検索項目の最高評価順位の項目に含まれる画像、またはユーザ指定の項目に含まれる画像のうち、外観的特徴を示す前記検索キーワードに対応するところの画像部分（閉じた輪郭領域）の形状の特徴量（輪郭の形状を数値化した値）および色の特徴量（色を数値化した値）が抽出されて記憶される。

画像（２次）検索データメモリ２６ｆには、前記外観特徴量メモリ２６ｅに記憶された画像部分（閉じた輪郭領域）の形状の特徴量および色の特徴量に基づき、辞書内各項目に含まれる画像を検索対象として類似検索された画像部分を持つ項目の見出し語が、類似度の高い項目順に記憶される。

このように構成された電子辞書装置１０は、ＣＰＵ２１が前記情報検索表示制御プログラム２２ａ（前記見出し語検索処理、全文検索処理（１次検索）、類似画像検索処理（２次検索）、説明情報の読み出し表示処理等を実行するためのプログラムを含む）に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。

次に、前記構成による電子辞書装置１０の動作について説明する。

図３は、前記電子辞書装置１０の辞書画像検索処理を示すフローチャートである。

図４は、前記電子辞書装置１０の［植物図鑑］２２ｂ４を検索対象の辞書に指定した辞書画像検索処理に伴う表示動作を示す図であり、同図（Ａ）は検索キーワード入力画面Ｇｋを示す図、同図（Ｂ）は１次検索結果表示画面Ｇｓ１を示す図である。

図５は、前記電子辞書装置１０の辞書画像検索処理に伴う［植物図鑑］２２ｂ４内での検索キーワードｋｎの検索状態を示す図である。

辞書指定キー１４ｂのユーザ操作に応じて［植物図鑑］２２ｂ４が指定されると、図４（Ａ）に示すように、植物検索用の検索キーワード入力画面Ｇｋがメイン表示部１７に表示される。

この検索キーワード入力画面Ｇｋにおいて、ユーザが知りたい植物の名前（見出し語）が不明な場合に、例えば５つの検索キーワード［１基本：花］［２花の色：白］［３花の形：鐘］［４葉の形：互生］［５場所：山］が入力され、検索キーワードメモリ２６ｂに記憶されると（ステップＳ１（Ｙｅｓ））、［植物図鑑］２２ｂ４の全項目の見出し語および説明情報を対象に、前記検索キーワード［１：花］ｋ１〜［５：山］ｋ５を全て含む項目が検索される（ステップＳ２）。

ここで、図５に示すように、前記［植物図鑑］２２ｂ４から前記検索キーワード［１：花］ｋ１〜［５：山］ｋ５を全て含む２つの項目［アマドコロ］［ツルニンジン］が検索されて全文（１次）検索データメモリ２６ｃに記憶され、複数該当ありと判断されると（ステップＳ３，Ｓ４（Ｙｅｓ））、次の図６・図７で示すように、検索された項目毎の重み付け評価点が算出され、検索項目評価点メモリ２６ｄに記憶される（ステップＳ５）。

図６は、前記電子辞書装置１０の辞書画像検索処理に伴い［植物図鑑］２２ｂ４内の各項目［アマドコロ］［ツルニンジン］で検索された検索キーワードｋｎの文字位置を示す図である。

辞書データ内の各項目を構成する見出し語および説明情報（テキスト部分）において、図６に示す［ＣＲ］は改行コードであり、１文字としてカウントされる。

図７は、前記電子辞書装置１０の辞書画像検索処理に伴い［植物図鑑］２２ｂ４から検索された各項目［アマドコロ］［ツルニンジン］における重み付け評価点の算出状態を示す図である。

この検索項目毎の重み付け評価点は、先ず、該当項目内で検索された各検索キーワード［１：花］ｋ１〜［５：山］ｋ５について、見出し語先頭からの出現位置（文字数）（同じキーワードが複数回出現する場合は最初の出現位置）が算出されると共に、前後に位置する他のキーワードで最短に位置する他のキーワードとの相対位置（文字数）が算出される。

そして、各キーワードの出現位置の合計、相対位置の合計が算出され、それぞれに任意の重み付け係数が乗算されて重み付け評価点が算出され、各重み付け評価点が合算されて項目毎の重み付け合計点が算出される。

ここでは、検索キーワードｋｎの出現位置が項目内の先頭近くにあるほど評価順位が高いとし、具体的には、出現位置の重み付け係数“１”、相対位置の重み付け係数“３”とされる。

前記重み付け評価点算出処理（ステップＳ５）の結果、図７に示すように、項目［アマドコロ］の重み付け合計点“３５８”で評価順位“１位”、項目［ツルニンジン］の重み付け評価点“７５６”で評価順位“２位”となり、検索項目評価点メモリ２６ｄに記憶される。

すると、前記検索項目評価点メモリ２６ｄに記憶された評価順位が高い項目の説明情報に含まれる画像から順に、この場合には、図４（Ｂ）に示すように、［アマドコロ］の画像と［ツルニンジン］の画像とを順に一覧にした１次検索結果表示画面Ｇｓ１がメイン表示部１７に表示され、評価順位“１位”である［アマドコロ］の画像が指定表示される（ステップＳ６）。

そして、前記１次検索結果表示画面Ｇｓ１にて指定表示された評価順位“１位”である［アマドコロ］の画像のうち、次の図８に示すように、前記各検索キーワード［１：花］〜［５：山］で外観的特徴を表すキーワード［２花の色：白］［３花の形：鐘］［４葉の形：互生］に対応するところの部分画像（閉じた輪郭領域）が抽出されて２次検索での検索キーとして限定され（ステップＳ７）、当該各部分画像［鐘形の白い花］［互生形の緑の葉］の形状の特徴量および色の特徴量が抽出されて外観特徴量メモリ２６ｅに記憶される（ステップＳ８）。

なお、前記指定表示された画像のうち、外観的特徴のキーワードに対応するところの部分画像が類似に複数存在する場合は、最大の領域を有する部分画像が抽出される。

図８は、前記電子辞書装置１０の辞書画像検索処理に伴い複数の検索キーワードで全文（１次）検索された項目［アマドコロ］の画像から外観的特徴を表すキーワードに応じて限定された２次検索用の部分画像領域を示す図である。

すると、前記［植物図鑑］２２ｂ４に集録されている全ての項目の画像の中から、前記外観特徴量メモリ２６ｅに記憶された２次検索用の各部分画像［鐘形の白い花］［互生形の緑の葉］の外観特徴量（形状および色の特徴量）に類似の特徴量を有する画像部分を持っている画像が検索され、当該画像を有する項目の見出し語が画像（２次）検索データメモリ２６ｆに記憶される（ステップＳ９）。

そして、前記２次検索された各項目の画像は、次の図９（Ｂ）に示すように、前記外観特徴量（形状および色の特徴量）の類似度の高い順に一覧にした［アマドコロ］の画像と［ナルコユリ］の画像からなる２次検索結果表示画面Ｇｓ２としてメイン表示部１７に表示される（ステップＳ１０）。

図９は、前記電子辞書装置１０の［植物図鑑］２２ｂ４を検索対象の辞書に指定した辞書画像検索処理に伴う表示動作を示す図であり、同図（Ａ）は１次検索結果表示画面Ｇｓ１を示す図、同図（Ｂ）は２次検索結果表示画面Ｇｓ２を示す図である。

すなわち、前記ステップＳ１〜Ｓ６での複数の検索キーワードに応じた全文（１次）検索処理に従い、図９（Ａ）に示すように、評価順位毎の検索項目における各画像［アマドコロ］［ツルニンジン］が１次検索結果表示画面Ｇｓ１としてメイン表示部１７に表示される。この後、前記ステップＳ７〜Ｓ９において、前記１次検索結果表示画面Ｇｓ１にて指定表示された画像内の外観的特徴を表すキーワードに応じた部分画像が２次検索用の検索キーとして限定され、当該部分画像が有する外観的特徴量と類似の特徴量を有する画像部分を持つ各項目の画像が検索される。そして、図９（Ｂ）に示すように、外観的特徴量の類似度の高い画像順に一覧にした［アマドコロ］の画像と［ナルコユリ］の画像からなる２次検索結果表示画面Ｇｓ２がメイン表示部１７に表示される（ステップＳ１０）。

したがって、前記構成の電子辞書装置１０の辞書画像検索機能によれば、辞書内で知りたい項目に関して、例えばその項目の画像を考慮した複数の検索キーワードを入力すると、全項目の見出し語および説明情報を対象に全文検索（１次検索）が実行されると共に、各検索キーワードの項目内出現位置および相対位置に基づき、当該各キーワードが先頭近くに出現し且つ纏まっている項目が高評価となる評価点が算出され、高評価順に各項目の画像を一覧にした１次検索結果表示画面Ｇｓ１が表示される。するとさらに、最高評価の項目の画像のうち、外観的特徴を表す前記検索キーワードに対応するところの部分画像（閉じた輪郭領域）が２次検索用の検索キーとして限定され、当該部分画像に類似の部分画像を持つ画像が各項目の画像の中から検索（２次検索）され、類似度の高い項目の画像から一覧にした２次検索結果表示画面Ｇｓ２が表示される。

このため、複数の検索キーワードに対して一致度が高く且つ類似した外観の画像を持つ複数の項目が検索されるようになり、例えば検索したい項目の見出し語が分からない場合に、ユーザが意図した画像を有する項目を、簡単且つ高い確率で検索することが可能になる。

なお、前記実施形態において２次検索用の検索キーとして限定される画像部分（閉じた輪郭領域）は、全文（１次）検索により最高評価された項目の画像内で外観的特徴を表す検索キーワードに対応するところの部分画像として限定され、類似の画像部分が複数存在した場合は、そのうち最大の領域を有する画像部分が抽出されて限定される構成とした。これに対し、外観的特徴を表す検索キーワードに対応するところの部分画像として、類似の画像部分が複数存在した場合は、複数の部分画像を選択して限定し、２次検索（類似画像検索）では、そのうち何れかの部分画像に類似する部分画像を持つ画像検索を実行する構成としてもよい。

（他の実施形態）
図１０は、前記電子辞書装置１０の［昆虫図鑑］２２ｂ４を検索対象の辞書に指定した辞書画像検索処理に伴う一連の動作を示す図であり、同図（Ａ）は検索キーワード入力画面Ｇｋを示す図、同図（Ｂ）は１次検索結果表示画面Ｇｓ１を示す図、同図（Ｃ）は複数の検索キーワードで全文（１次）検索された項目［ヒョウモンチョウ］の画像から外観的特徴を表すキーワードに応じて限定された２次検索用の部分画像領域を示す図、同図（Ｄ）は２次検索結果表示画面Ｇｓ２を示す図である。

図１０（Ａ）に示すように、昆虫検索用の検索キーワード入力画面Ｇｋにおいて、ユーザが知りたい昆虫の名前（見出し語）が不明な場合に、例えば３つの検索キーワード［１基本：チョウ］［２特徴：紋］［３色／柄：ヒョウ］が入力されると（ステップＳ１（Ｙｅｓ））、［昆虫図鑑］２２ｂ４の全項目の見出し語および説明情報を対象に、前記検索キーワード［１：チョウ］〜［３：ヒョウ］を全て含む項目が検索される（ステップＳ２）。

ここで、前記［昆虫図鑑］２２ｂ４から前記検索キーワード［１：チョウ］〜［３：ヒョウ］を全て含む２つの項目［ヒョウモンチョウ］［タテハチョウ］が検索され、複数該当ありと判断されると（ステップＳ３，Ｓ４（Ｙｅｓ））、検索された項目毎の重み付け評価点が前記実施形態（図６・図７参照）と同様にして算出される（ステップＳ５）。

この重み付け評価点算出処理の結果、例えば、項目［ヒョウモンチョウ］の重み付け合計点が評価順位“１位”、項目［タテハチョウ］の重み付け評価点が評価順位“２位”となる。

すると、評価順位が高い項目の説明情報に含まれる画像から順に、この場合には、図１０（Ｂ）に示すように、［ヒョウモンチョウ］の画像と［タテハチョウ］の画像とを順に一覧にした１次検索結果表示画面Ｇｓ１がメイン表示部１７に表示され、評価順位“１位”である［ヒョウモンチョウ］の画像が指定表示される（ステップＳ６）。

そして、前記１次検索結果表示画面Ｇｓ１にて指定表示された評価順位“１位”である［ヒョウモンチョウ］の画像のうち、図１０（Ｃ）に示すように、前記各検索キーワード［１：チョウ］〜［３：ヒョウ］で外観的特徴を表すキーワード［３色／柄：ヒョウ］に対応するところの部分画像（閉じた輪郭領域）が抽出されて２次検索での検索キーとして限定され（ステップＳ７）、当該部分画像［黄色のヒョウ柄］の形状の特徴量および色の特徴量が抽出される（ステップＳ８）。

すると、前記［昆虫図鑑］２２ｂ４に集録されている全ての項目の画像の中から、前記２次検索用の部分画像［黄色のヒョウ柄］の外観特徴量（形状および色の特徴量）に類似の特徴量を有する画像部分を持っている画像が検索される（ステップＳ９）。

そして、前記２次検索された各項目の画像は、図１０（Ｄ）に示すように、前記外観特徴量（形状および色の特徴量）の類似度の高い順に一覧にした［ヒョウモンチョウ］の画像と［クモガタヒョウモン］の画像と［ツマグロヒョウモン］の画像からなる２次検索結果表示画面Ｇｓ２としてメイン表示部１７に表示される（ステップＳ１０）。

したがって、前記［昆虫図鑑］２２ｂ４を辞書画像検索した他の実施形態においても、辞書内で知りたい項目に関して、例えばその項目の画像を考慮した複数の検索キーワードを入力すると、全項目の見出し語および説明情報を対象に全文検索（１次検索）が実行されると共に、各検索キーワードの項目内出現位置および相対位置に基づき、当該各キーワードが先頭近くに出現し且つ纏まっている項目が高評価となる評価点が算出され、高評価順に各項目の画像を一覧にした１次検索結果表示画面Ｇｓ１が表示される。するとさらに、最高評価の項目の画像のうち、外観的特徴を表す前記検索キーワードに対応するところの部分画像（閉じた輪郭領域）が２次検索用の検索キーとして限定され、当該部分画像に類似の部分画像を持つ画像が各項目の画像の中から検索（２次検索）され、類似度の高い項目の画像から一覧にした２次検索結果表示画面Ｇｓ２が表示される。

このため、複数の検索キーワードに対して一致度が高く且つ類似した外観の画像を持つ複数の項目が検索されるようになり、例えば検索したい項目の見出し語が分からない場合に、ユーザが意図した画像を有する項目を、簡単且つ高い確率で検索することが可能になる。

なお、前記各実施形態の辞書画像検索処理（図３参照）では、全文（１次）検索処理に従い検索された項目毎の重み付け評価点を算出し（ステップＳ１〜Ｓ５）、最高順位の項目の画像から一覧にした１次検索結果表示画面Ｇｓ１（図４（Ｂ）又は図１０（Ｂ）参照）をメイン画面に一旦表示させる（ステップＳ６）。そしてこの後、前記１次検索結果表示画面Ｇｓ１における最高順位の項目の画像を指定の画像とし、２次検索用の検索キーとなる外観的特徴の検索キーワードに対応するところの部分画像を限定すると共に（ステップＳ７）、当該部分画像に基づく類似画像検索処理を実行し、最終検索結果である２次検索結果表示画面Ｇｓ２を表示させる（ステップＳ８〜Ｓ１０）構成とした。

これに対し、前記全文検索処理に伴う１次検索結果表示画面Ｇｓ１を表示させることなしに、前記最高順位の項目の画像から２次検索用の検索キーとなる外観的特徴の検索キーワードに対応するところの部分画像を限定すると共に、当該部分画像に基づく類似画像検索処理を実行し、最終検索結果である２次検索結果表示画面Ｇｓ２を直ちに表示させる構成としてもよい。

さらに、前記各実施形態の辞書画像検索処理（図３参照）では、１次検索結果表示画面Ｇｓ１にて表示された最高順位の項目画像を指定の画像とし（ステップＳ６）、２次検索用の検索キーとなる外観的特徴の検索キーワードに対応するところの部分画像を限定する（ステップＳ７）構成とした。

これに対し、前記図３に破線Ｘで囲んで示すように、前記１次検索結果表示画面Ｇｓ１にて評価順位に従い表示された各項目の画像から、ユーザ操作に応じて任意の項目の画像を指定して２次検索の実行を指示し（ステップＳ６ａ〜Ｓ６ｃ）、当該ユーザにより指定された項目の画像から、２次検索用の検索キーとなる外観的特徴の検索キーワードに対応するところの部分画像を限定する（ステップＳ７）構成としてもよい。

なお、前記各実施形態において記載した電子辞書装置１０による各処理の手法およびデータベース、すなわち、図３のフローチャートに示す辞書画像検索処理での各手法、および辞書データベース２２ｂは、何れもコンピュータに実行させることができるプログラムとして、メモリ・カード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体２３に格納して配布することができる。そして、コンピュータは、この外部記録媒体２３に記憶されたプログラムを記憶装置２２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した検索キーワードに応じた１次検索（全文検索）と当該１次検索結果の画像部分に応じた２次検索（類似画像検索）との２段階検索処理からなる辞書画像検索機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワークＮ上を伝送させることができ、このプログラムデータを、ネットワークＮに接続されたコンピュータに通信部２５によって取り込むことで、前述した検索キーワードに応じた１次検索（全文検索）と当該１次検索結果の画像部分に応じた２次検索（類似画像検索）との２段階検索処理からなる辞書画像検索機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
見出し語と説明情報と画像とを対応付けた項目を複数記憶する情報記憶手段と、
ユーザ操作に応じてキーワードを入力するキーワード入力手段と、
このキーワード入力手段により入力されたキーワードを含む項目を前記情報記憶手段により記憶された全項目の見出し語および説明情報を対象にして検索する１次検索手段と、
この１次検索手段により検索された項目の画像のうち前記キーワードに対応するところの画像部分を特定する画像部分特定手段と、
この画像部分特定手段により特定された画像部分に類似の画像部分を有する画像を前記情報記憶手段により記憶された項目の画像を対象にして検索する２次検索手段と、
この２次検索手段により検索された画像を表示部に表示させる検索画像表示手段と、
を備えたことを特徴とする画像検索装置。

［２］
前記１次検索手段により検索された項目が複数ある場合に、各項目内に含まれる前記キーワードの出現位置に基づき当該各項目の優先順位を評価する項目評価手段と、
この項目評価手段により評価された各項目の優先順位に従い当該各項目の画像を一覧にして表示部に表示させる１次検索画像表示手段とを備え、
前記画像部分特定手段は、前記１次検索画像表示手段により優先順位に従い一覧表示された先頭の項目の画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する、
ことを特徴とする［１］に記載の画像検索装置。

［３］
前記１次検索手段により検索された項目が複数ある場合に、各項目内に含まれる複数のキーワードの相対位置に基づき当該各項目の優先順位を評価する項目評価手段と、
この項目評価手段により評価された各項目の優先順位に従い当該各項目の画像を一覧にして表示部に表示させる１次検索画像表示手段とを備え、
前記画像部分特定手段は、前記１次検索画像表示手段により優先順位に従い一覧表示された先頭の項目の画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する、
ことを特徴とする［１］に記載の画像検索装置。

［４］
前記１次検索手段により検索された項目が複数ある場合に、各項目内に含まれる前記キーワードの出現位置に基づき当該各項目の優先順位を評価する項目評価手段と、
この項目評価手段により評価された各項目の優先順位に従い当該各項目の画像を一覧にして表示部に表示させる１次検索画像表示手段とを備え、
前記画像部分特定手段は、
前記１次検索画像表示手段により一覧表示された先頭の項目の画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する第１の画像部分特定手段と、
前記１次検索画像表示手段により一覧表示された各項目の画像からユーザ操作に応じて選択された画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する第２の画像部分特定手段とを有し、
前記２次検索手段は、前記第１の画像部分特定手段または前記第２の画像部分特定手段により特定された画像部分に類似の画像部分を有する画像を前記情報記憶手段により記憶された項目の画像を対象にして検索する、
ことを特徴とする［１］に記載の画像検索装置。

［５］
前記画像部分特定手段は、前記１次検索手段により検索された項目の画像のうち外観的特徴を表す前記キーワードに対応するところの画像部分を特定する、
ことを特徴とする［１］に記載の画像検索装置。

［６］
前記外観的特徴を表すキーワードは形と色を表すキーワードである、
ことを特徴とする［５］に記載の画像検索装置。

［７］
メモリおよび表示部を備えた電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
見出し語と説明情報と画像とを対応付けた項目を前記メモリに複数記憶させる情報記憶手段、
ユーザ操作に応じてキーワードを入力するキーワード入力手段、
このキーワード入力手段により入力されたキーワードを含む項目を前記情報記憶手段により記憶された全項目の見出し語および説明情報を対象にして検索する１次検索手段、
この１次検索手段により検索された項目の画像のうち前記キーワードに対応するところの画像部分を特定する画像部分特定手段、
この画像部分特定手段により特定された画像部分に類似の画像部分を有する画像を前記情報記憶手段により記憶された項目の画像を対象にして検索する２次検索手段、
この２次検索手段により検索された画像を前記表示部に表示させる検索画像表示手段、
として機能させるためのプログラム。

１０ …電子辞書装置
１１ …本体ケース
１２ …蓋体ケース
１３ …ヒンジ部
１４ …キー入力部（キーボード）
１４ａ…文字入力キー
１４ｂ…辞書指定キー
１４ｃ…［訳／決定］キー
１４ｄ…［戻る／リスト］キー
１４ｅ…カーソルキー
１５ …スピーカ
１６ …サブ表示部
１６ｄ…カラー液晶表示部
１６ｔ…透明タッチパネル
１７ …メイン表示部
１７ｄ…カラー液晶表示部
１７ｔ…透明タッチパネル
１７Ａ…タッチキーエリア
２１ …ＣＰＵ
２２ …記憶装置
２２ａ…各種情報検索表示制御プログラム
２２ｂ…辞書データベース
２２ｂ４…［動植物図鑑］
２３ …外部記録媒体
２４ …記録媒体読み取り部
２５ …通信部
２６ …ＲＡＭ
２６ａ…表示データメモリ
２６ｂ…検索キーワードメモリ
２６ｃ…全文（１次）検索データメモリ
２６ｄ…検索項目評価点メモリ
２６ｅ…外観特徴量メモリ
２６ｆ…画像（２次）検索データメモリ
Ｇｋ …検索キーワード入力画面
ｋｎ …検索キーワード
Ｇｓ１…１次検索結果表示画面
Ｇｓ２…２次検索結果表示画面

Claims (7)

1. 見出し語と説明情報と画像とを対応付けた項目を複数記憶する情報記憶手段と、
   ユーザ操作に応じてキーワードを入力するキーワード入力手段と、
   このキーワード入力手段により入力されたキーワードを含む項目を前記情報記憶手段により記憶された全項目の見出し語および説明情報を対象にして検索する１次検索手段と、
   この１次検索手段により検索された項目の画像のうち前記キーワードに対応するところの画像部分を特定する画像部分特定手段と、
   この画像部分特定手段により特定された画像部分に類似の画像部分を有する画像を前記情報記憶手段により記憶された項目の画像を対象にして検索する２次検索手段と、
   この２次検索手段により検索された画像を表示部に表示させる検索画像表示手段と、
   を備えたことを特徴とする画像検索装置。
2. 前記１次検索手段により検索された項目が複数ある場合に、各項目内に含まれる前記キーワードの出現位置に基づき当該各項目の優先順位を評価する項目評価手段と、
   この項目評価手段により評価された各項目の優先順位に従い当該各項目の画像を一覧にして表示部に表示させる１次検索画像表示手段とを備え、
   前記画像部分特定手段は、前記１次検索画像表示手段により優先順位に従い一覧表示された先頭の項目の画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する、
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記１次検索手段により検索された項目が複数ある場合に、各項目内に含まれる複数のキーワードの相対位置に基づき当該各項目の優先順位を評価する項目評価手段と、
   この項目評価手段により評価された各項目の優先順位に従い当該各項目の画像を一覧にして表示部に表示させる１次検索画像表示手段とを備え、
   前記画像部分特定手段は、前記１次検索画像表示手段により優先順位に従い一覧表示された先頭の項目の画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する、
   ことを特徴とする請求項１に記載の画像検索装置。
4. 前記１次検索手段により検索された項目が複数ある場合に、各項目内に含まれる前記キーワードの出現位置に基づき当該各項目の優先順位を評価する項目評価手段と、
   この項目評価手段により評価された各項目の優先順位に従い当該各項目の画像を一覧にして表示部に表示させる１次検索画像表示手段とを備え、
   前記画像部分特定手段は、
   前記１次検索画像表示手段により一覧表示された先頭の項目の画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する第１の画像部分特定手段と、
   前記１次検索画像表示手段により一覧表示された各項目の画像からユーザ操作に応じて選択された画像について、同画像のうち前記キーワードに対応するところの画像部分を特定する第２の画像部分特定手段とを有し、
   前記２次検索手段は、前記第１の画像部分特定手段または前記第２の画像部分特定手段により特定された画像部分に類似の画像部分を有する画像を前記情報記憶手段により記憶された項目の画像を対象にして検索する、
   ことを特徴とする請求項１に記載の画像検索装置。
5. 前記画像部分特定手段は、前記１次検索手段により検索された項目の画像のうち外観的特徴を表す前記キーワードに対応するところの画像部分を特定する、
   ことを特徴とする請求項１に記載の画像検索装置。
6. 前記外観的特徴を表すキーワードは形と色を表すキーワードである、
   ことを特徴とする請求項５に記載の画像検索装置。
7. メモリおよび表示部を備えた電子機器のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   見出し語と説明情報と画像とを対応付けた項目を前記メモリに複数記憶させる情報記憶手段、
   ユーザ操作に応じてキーワードを入力するキーワード入力手段、
   このキーワード入力手段により入力されたキーワードを含む項目を前記情報記憶手段により記憶された全項目の見出し語および説明情報を対象にして検索する１次検索手段、
   この１次検索手段により検索された項目の画像のうち前記キーワードに対応するところの画像部分を特定する画像部分特定手段、
   この画像部分特定手段により特定された画像部分に類似の画像部分を有する画像を前記情報記憶手段により記憶された項目の画像を対象にして検索する２次検索手段、
   この２次検索手段により検索された画像を前記表示部に表示させる検索画像表示手段、
   として機能させるためのプログラム。

Images