JP2013206030A - コンテンツ表示装置 - Google Patents

Abstract

【課題】表示中のコンテンツに含まれる画像に関連した適切な補助情報を提示する。
【解決手段】主コンテンツ表示処理部１３０は、格納部１１０内の主コンテンツの内容をディスプレイ１５０に表示する。ユーザが、表示中の主コンテンツ内の対象画像を指でタップすると、副コンテンツ提示処理部１４０が、当該画像に付されている検索用文字列Ｋを利用して、格納部１６０内の副コンテンツデータを検索し、ヒットした補助情報をディスプレイ１５０上に表示する。副コンテンツデータは、各カテゴリーＣ１〜Ｃ３に分類され、関連性情報格納部１４５に、個々のカテゴリーと色との関連性を示す情報が格納されている。色認識部１４３が対象画像の代表色を認識すると、優先度付与部１４４が、当該代表色に基づいて、より関連性の高いカテゴリーに、より高い優先度を付与する。補助情報提示処理部１４６は、この優先度に応じて、検索でヒットした補助情報を提示する。
【選択図】図１

Description

本発明は、コンテンツ表示装置に関し、特に、ディスプレイ画面上にユーザが所望するコンテンツの内容を表示するとともに、当該コンテンツに関連した補助情報を表示する機能をもったコンテンツ表示装置に関する。

ここ数年来、パソコンの出荷台数を凌駕するほど、スマートフォンやタブレット型電子端末などの電子機器の普及が進んでおり、デジタルコンテンツを提示する機能をもった機器は実社会に急速に浸透してきている。特に、出版業界では、電子書籍の形態でコンテンツを提供するビジネスの重要度が増しており、ユーザは多くの書籍を電子書籍の形態で入手することが可能である。今後は、インターネット上のＷｅｂページを閲覧するのと同じように、電子端末上で電子書籍を閲覧することも一般化するものと思われる。

電子書籍やＷｅｂページなどのデジタルコンテンツを電子機器のディスプレイ画面上に表示し、ユーザに閲読させる形態を採ると、電子機器ならではの機能を利用した付加的なサービスを提供することが可能になる。たとえば、専用の閲覧用アプリケーションプログラムを組み込んだ電子機器では、閲覧対象として表示中のコンテンツに対して、これに関連した補助情報を付加的に提示することが可能になる。

このような補助情報を提示するための技術の一例として、下記の特許文献１には、表示部に表示しているコンテンツに関連するコンテンツの一部やその作者などの情報を補助情報として脇に表示する技術が開示されており、特許文献２には、電子書籍を画面上に表示させたときに生じる空白領域に、当該電子書籍の内容に関連性のある情報を付加情報として挿入する技術が開示されている。また、表示中の文字列の中の特定の単語をユーザが指示すると、当該単語に関連した補助情報（たとえば、当該単語を辞書で引いた内容）を画面に表示する技術も利用されている。

一般に、文字列に関連する情報を参照データベースから検索する方法は、古くから様々な形態のものが知られている。たとえば、参照データベース内の個々の情報に、それぞれキーワードを付加しておけば、対象となる文字列に一致するキーワードが付された情報を検索結果として抽出することができる。このような検索方法を利用すれば、表示中のコンテンツ内の特定の文字列に関連する情報を参照データベースから検索し、検索された情報を補助情報として提示することができる。

一方、最近は、画像に関する検索を行う技術も提案されてきている。たとえば、下記の特許文献３には、キーワードを名詞と感性語とに分割し、感性語および名詞の組み合わせと画像の特徴を示す特徴量とを対応づけて画像検索を行う技術が開示されており、特許文献４には、任意の画像に対しその画像特徴量から付与すべきキーワードを予測するために画像特徴量とキーワード予測値との対応関係を格納したデータベースを作成し、当該データベースを利用した画像検索を行う方法が開示されている。また、特許文献５には、入力した言語文を言語解析手段によって解析して検索を行い、検索された対象データが背景・パーツのどちらを表すものであるかを識別し、背景とパーツに分割して画像を検索する技術が開示されており、特許文献６には、テキスト及び図形で構成される電子文書のうち、ユーザが入力したあいまいな語に対応する図形を検索する技術が開示されている。

特開２０１０−１９８０８４号公報 特開２０１１−１２３７８６号公報 特開２０１１−０６５４９９号公報 特許第３９９６７２３号公報 特開平６−１１９４０５号公報 特開平７−８５０９２号公報

多くのデジタルコンテンツは、文字列だけでなく画像を含んでいる。したがって、実用上は、コンテンツ内の文字列だけでなく、画像についても補助情報の提示が行われるようにするのが好ましい。しかしながら、文字列を対象として、これに関連する情報を検索する技術は古くから確立されているのに対して、画像を対象として、これに関連する情報を検索する技術は日が浅いため、従来の方法では、画像に関連した適切な補助情報を選択して提示することは困難である。

もちろん、前述の各公報に開示されているように、従来から、画像自体の特徴を定量的に捉える試みがなされているが、これらの技術の多くは、画像上の絵柄を解析して、そこから様々な特徴量を抽出する処理を行い、画像を構成する絵柄自体の特徴を把握する処理を行う必要がある。このような処理は比較的負担の重い処理であり、タブレット型電子端末など、処理能力が比較的低い電子機器での利用には不向きであり、一般ユーザ向けの商用コンテンツ表示装置に適用するには効率的でない。

そこで、本発明は、表示中のコンテンツに含まれる画像に関連した、より適切な補助情報を効率的に選択して提示することが可能なコンテンツ表示装置を提供することを目的とする。

(1) 本発明の第１の態様は、画像を含む主コンテンツの内容を表示するとともに、表示中の主コンテンツ内の画像に関連した補助情報を副コンテンツから検索し、検索された補助情報を提示する機能をもったコンテンツ表示装置において、
検索用文字列が付された画像データを含む主コンテンツデータを格納する主コンテンツデータ格納部と、
それぞれ異なるカテゴリーに所属する複数の副コンテンツデータを格納する副コンテンツデータ格納部と、
ユーザの指示を入力する指示入力部と、
コンテンツの内容を表示するディスプレイと、
ユーザの指示に基づいて、主コンテンツデータ格納部に格納されている主コンテンツデータの所定部分をディスプレイの画面に主コンテンツとして表示する主コンテンツ表示処理部と、
ユーザの指示に基づいて、ディスプレイの画面に表示されている主コンテンツ内の特定の対象画像に関連した補助情報を複数の副コンテンツデータから検索する検索処理を実行し、検索処理の結果として得られた補助情報を副コンテンツとして提示する副コンテンツ提示処理部と、
を設け、
副コンテンツ提示処理部には、
対象画像に付されている検索用文字列を認識する検索用文字列認識部と、
認識した検索用文字列を検索キーとして用いて、複数の副コンテンツデータに対する検索処理を実行し、ヒットした補助情報を抽出する検索処理部と、
個々のカテゴリーと色との関連性を示す関連性情報を格納した関連性情報格納部と、
対象画像について色を認識する色認識部と、
色認識部が認識した色に基づいて関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する優先度付与部と、
付与された優先度に応じた優先順位に基づいて、抽出された補助情報の提示を行う補助情報提示処理部と、
を設けるようにしたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係るコンテンツ表示装置において、
関連性情報格納部が、個々のカテゴリーについて、色相値、彩度値、明度値のうちのいずれか１つの値の分布範囲もしくはこれらの値の組み合わせの分布範囲を対応づけた関連性情報を格納しており、
色認識部が、対象画像についての代表色を、色相値、彩度値、明度値のうちのいずれか１つの代表値もしくはその組み合わせとして認識し、
優先度付与部が、個々のカテゴリーに対応づけられた色相値、彩度値、明度値の分布範囲もしくはこれらの値の組み合わせの分布範囲と、色認識部が認識した色相値、彩度値、明度値の代表値もしくはその組み合わせと、を比較し、両者の近似度に応じた優先度を付与するようにしたものである。

(3) 本発明の第３の態様は、上述した第２の態様に係るコンテンツ表示装置において、
関連性情報格納部が、個々のカテゴリーについて、彩度値、明度値、色相値の組み合わせの分布範囲を対応づけた関連性情報を含み、
色認識部が、対象画像について、彩度の代表値、明度の代表値、色相の代表値を認識し、
優先度付与部が、個々のカテゴリーに対応づけられた彩度値、明度値、色相値の組み合わせの分布範囲と、色認識部が認識した彩度の代表値、明度の代表値、色相の代表値の組み合わせと、を比較し、両者の近似度に応じた優先度を付与するようにしたものである。

(4) 本発明の第４の態様は、上述した第３の態様に係るコンテンツ表示装置において、
関連性情報格納部が、基準座標軸上の位置を明度値、基準座標軸からの距離を彩度値、基準座標軸まわりの角度を色相値とする三次元色空間上に個々のカテゴリーに対応する閉領域をマッピングしたマッピング情報を関連性情報として格納し、
優先度付与部が、色認識部が認識した色を、三次元色空間上に、彩度の代表値、明度の代表値、色相の代表値をそれぞれ座標値とする認識点としてプロットし、プロットされた認識点とマッピングされた個々の閉領域との位置関係に基づいて優先度を付与するようにしたものである。

(5) 本発明の第５の態様は、上述した第２の態様に係るコンテンツ表示装置において、
関連性情報格納部が、個々のカテゴリーについて、彩度値と明度値との組み合わせの分布範囲を対応づけた関連性情報を含み、
色認識部が、対象画像について、彩度の代表値および明度の代表値を認識し、
優先度付与部が、個々のカテゴリーに対応づけられた彩度値と明度値との組み合わせの分布範囲と、色認識部が認識した彩度の代表値と明度の代表値との組み合わせと、を比較し、両者の近似度に応じた優先度を付与するようにしたものである。

(6) 本発明の第６の態様は、上述した第５の態様に係るコンテンツ表示装置において、
関連性情報格納部が、第１の座標軸に彩度値、第２の座標軸に明度値をとった二次元色平面上に個々のカテゴリーに対応する閉領域をマッピングしたマッピング情報を関連性情報として格納し、
優先度付与部が、色認識部が認識した色を、二次元色平面上に、彩度の代表値と明度の代表値とをそれぞれ座標値とする認識点としてプロットし、プロットされた認識点とマッピングされた個々の閉領域との位置関係に基づいて優先度を付与するようにしたものである。

(7) 本発明の第７の態様は、上述した第２〜第６の態様に係るコンテンツ表示装置において、
色認識部が、対象画像についての代表色を、当該対象画像を構成する各部の色相値、彩度値、もしくは明度値の面積を考慮した重み付け平均値、またはその組み合わせとして認識するようにしたものである。

(8) 本発明の第８の態様は、上述した第１の態様に係るコンテンツ表示装置において、
副コンテンツ提示処理部が、対象画像について複雑度を認識する複雑度認識部を更に有し、
関連性情報格納部が、個々のカテゴリーと色との関連性とともに個々のカテゴリーと複雑度との関連性を示す関連性情報を格納しており、
優先度付与部が、色認識部が認識した色と、複雑度認識部が認識した複雑度と、の双方に基づいて関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにしたものである。

(9) 本発明の第９の態様は、上述した第８の態様に係るコンテンツ表示装置において、
関連性情報格納部が、個々のカテゴリーについて、彩度値、明度値、複雑度の組み合わせの分布範囲を対応づけた関連性情報を格納しており、
色認識部が、対象画像について、彩度の代表値および明度の代表値を認識し、
優先度付与部が、個々のカテゴリーに対応づけられた彩度値、明度値、複雑度の組み合わせの分布範囲と、色認識部が認識した彩度の代表値、色認識部が認識した明度の代表値、複雑度認識部が認識した複雑度の組み合わせと、を比較し、両者の近似度に応じた優先度を付与するようにしたものである。

(10) 本発明の第１０の態様は、上述した第９の態様に係るコンテンツ表示装置において、
関連性情報格納部が、第１の座標軸に彩度値、第２の座標軸に明度値、第３の座標軸に複雑度をとった三次元空間上に個々のカテゴリーに対応する閉領域をマッピングしたマッピング情報を関連性情報として格納し、
優先度付与部が、色認識部が認識した色および複雑度認識部が認識した複雑度を、三次元空間上に、彩度の代表値、明度の代表値、複雑度をそれぞれ座標値とする認識点としてプロットし、プロットされた認識点とマッピングされた個々の閉領域との位置関係に基づいて優先度を付与するようにしたものである。

(11) 本発明の第１１の態様は、上述した第４，６，１０の態様に係るコンテンツ表示装置において、
優先度付与部が、各カテゴリーに対応する閉領域が認識点を含むか否かを判定し、認識点を含む閉領域に対応するカテゴリーに所属する副コンテンツデータから抽出された補助情報に対して、より高い優先度を付与するようにしたものである。

(12) 本発明の第１２の態様は、上述した第４，６，１０，１１の態様に係るコンテンツ表示装置において、
優先度付与部が、各カテゴリーに対応する閉領域について定義される所定の参照点と認識点との間のユークリッド距離を計算し、相互間距離の小さい閉領域に対応するカテゴリーに所属する副コンテンツデータから抽出された補助情報に対して、より高い優先度を付与するようにしたものである。

(13) 本発明の第１３の態様は、上述した第１２の態様に係るコンテンツ表示装置において、
優先度付与部が、個々の閉領域について、その重心点を参照点と定義するようにしたものである。

(14) 本発明の第１４の態様は、上述した第１の態様に係るコンテンツ表示装置において、
副コンテンツ提示処理部が、対象画像について複雑度を認識する複雑度認識部を更に有し、
副コンテンツデータ格納部に格納されている個々の副コンテンツデータには、それぞれ所定の複雑度が設定されており、
優先度付与部が、複雑度認識部が認識した複雑度により近似する複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにしたものである。

(15) 本発明の第１５の態様は、上述した第８〜１０，１４の態様に係るコンテンツ表示装置において、
複雑度認識部が、対象画像の空間周波数を検出する機能を有し、検出された空間周波数値に応じた値を複雑度として認識するようにしたものである。

(16) 本発明の第１６の態様は、上述した第８〜１０，１４の態様に係るコンテンツ表示装置において、
複雑度認識部が、幾何学図形の集合体によって構成される対象画像について、予め個々の幾何学図形に対応づけて定義されたポイントを集計する機能を有し、ポイントの集計値を複雑度として認識するようにしたものである。

(17) 本発明の第１７の態様は、上述した第８〜１０，１４〜１６の態様に係るコンテンツ表示装置において、
指示入力部が、提示される補助情報について希望する難易度を設定するユーザの指示を入力する機能を有し、
優先度付与部が、難易度が難を示しているほど、より複雑度が高いカテゴリーに所属する副コンテンツデータもしくはより高い複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにしたものである。

(18) 本発明の第１８の態様は、上述した第１〜１７の態様に係るコンテンツ表示装置において、
検索処理部が、検索キーに対する合致度が所定の基準以上の補助情報を、ヒットした補助情報として抽出する検索処理を実行し、
優先度付与部が、合致度の高い補助情報に、より高い優先度を付与するようにしたものである。

(19) 本発明の第１９の態様は、上述した第１〜１８の態様に係るコンテンツ表示装置において、
補助情報提示処理部が、検索処理部によって抽出された補助情報のうち、その優先順位に基づいて、上位ｎ番目以内（ｎは、所定の自然数）の補助情報のみを提示するようにしたものである。

(20) 本発明の第２０の態様は、上述した第１９の態様に係るコンテンツ表示装置において、
検索処理部が、関連性の高いカテゴリーから関連性の低いカテゴリーの順に、副コンテンツデータに対する検索処理を実行し、上位ｎ番目の補助情報が抽出された時点で、以後の検索処理を中止するようにしたものである。

(21) 本発明の第２１の態様は、上述した第１〜第２０の態様に係るコンテンツ表示装置において、
補助情報提示処理部が、提示対象となる補助情報が複数存在する場合に、その優先順位に基づいた配置順もしくは時間順に従って、これら複数の補助情報の提示を行うようにしたものである。

(22) 本発明の第２２の態様は、上述した第１〜第２１の態様に係るコンテンツ表示装置において、
指示入力部が、ディスプレイの画面上の指示点を指定するユーザの指示を入力する機能を有し、
副コンテンツ提示処理部が、指示点近傍に表示されていた画像を対象画像として認識し、当該対象画像に関連した補助情報の提示を行うようにしたものである。

(23) 本発明の第２３の態様は、上述した第１〜第２２の態様に係るコンテンツ表示装置を、コンピュータにプログラムを組み込むことにより構成したものである。

(24) 本発明の第２４の態様は、画像を含む主コンテンツの内容を表示するとともに、表示中の主コンテンツ内の画像に関連した補助情報を副コンテンツから検索し、検索された補助情報を提示するコンテンツ表示方法において、
コンピュータが、ユーザの指示に基づいて、主コンテンツの所定部分をディスプレイの画面に表示する主コンテンツ表示段階と、
コンピュータが、ユーザの指示に基づいて、ディスプレイの画面に表示されている主コンテンツ内の特定の画像を対象画像として認識するとともに、当該対象画像に付されている検索用文字列を認識する対象認識段階と、
コンピュータが、認識した検索用文字列を検索キーとして用いて、それぞれ異なるカテゴリーに所属する複数の副コンテンツデータに対する検索処理を実行し、ヒットした補助情報を抽出する検索処理段階と、
コンピュータが、対象画像について色を認識する色認識段階と、
コンピュータが、予め定義されている個々のカテゴリーと色との関連性を示す関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する優先度付与段階と、
コンピュータが、付与された優先度に応じた優先順位に基づいて、抽出された補助情報の提示を行う補助情報提示段階と、
を行うようにしたものである。

(25) 本発明の第２５の態様は、上述した第２４の態様に係るコンテンツ表示方法において、
コンピュータが、対象画像について複雑度を認識する複雑度認識段階を更に有し、
優先度付与段階において、コンピュータが、予め定義されている個々のカテゴリーと色との関連性および個々のカテゴリーと複雑度との関連性を示す関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにしたものである。

(26) 本発明の第２６の態様は、上述した第２４の態様に係るコンテンツ表示方法において、
コンピュータが、対象画像について複雑度を認識する複雑度認識段階を更に有し、
優先度付与段階において、コンピュータが、予め設定されている個々の副コンテンツデータの複雑度を参照し、複雑度認識段階で認識した複雑度により近似する複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにしたものである。

本発明に係るコンテンツ表示装置では、補助情報を含む副コンテンツデータがカテゴリーごとに用意され、しかも、個々のカテゴリーと色との関連性を示す関連性情報が用意される。そして、表示中の主コンテンツに含まれる対象画像について認識された色に基づいて、各カテゴリーの関連性が評価され、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度が付与され、この優先度に応じた優先順位に基づいて、補助情報の提示が行われる。このため、表示中のコンテンツに含まれる画像に関連した、より適切な補助情報を効率的に選択して提示することが可能になる。

本発明では、対象画像について、予め検索用文字列を付しておくだけの作業を行えばよく、複雑な画像解析処理によって画像の様々な特徴量を抽出する作業は不要である。また、補助情報を検索する際には、対象画像の色を認識し、認識した色とカテゴリーに関連づけられた色との比較を行えばよいので、検索処理時の作業負担も軽減される。したがって、比較的単純な作業負担、処理負担で、適切な補助情報を効率的に提示することが可能になる。

また、複雑度との関連性を示す情報を用意する実施形態では、対象画像について認識された複雑度を考慮することにより、更に適切な補助情報を選択して提示することが可能になる。

本発明の第１の実施形態に係るコンテンツ表示装置１００の構成を示すブロック図である。 図１に示すコンテンツ表示装置１００の表示形態の一例を示す平面図である。 図２の主コンテンツ表示領域１５０Ｍに表示されているコンテンツに関連した主コンテンツデータの具体的な構成例を示すブロック図である。 図２に示す表示状態において、ユーザが、画像１５２を対象画像として補助情報の要求指示を行った状態を示す平面図である。 図１に示すコンテンツ表示装置１００において、主コンテンツ内の対象画像に関連した補助情報が表示された状態の別な一例を示す平面図である。 図１に示す副コンテンツデータ格納部１６０内に格納される副コンテンツデータをカテゴリーごとに示したブロック図である（図１には、３つのカテゴリーＣ１〜Ｃ３のみしか示されていないが、図６では、５つのカテゴリーＣ１〜Ｃ５を定義した例が示されている）。 一般的なＨＳＶ三次元色空間を示す斜視図である。 図１に示す関連性情報格納部１４５内に格納する関連性情報として、ＨＳＶ三次元色空間上の閉領域を定義する情報を用いた例を示す斜視図である。 図１に示す関連性情報格納部１４５内に格納する関連性情報として、ＳＶ二次元色平面上の閉領域を定義する情報を用いた例を示す平面図である。 図９に示す関連性情報を利用して、対象画像から認識した色の認識点と各カテゴリーとの関連性に基づく優先度を定義する方法を示す平面図である。 図９に示す関連性情報において、各閉領域についての重心点を参照点として定義した状態を示す平面図である。 図１１に示す関連性情報を利用して、対象画像から認識した色の認識点と各カテゴリーとの関連性に基づく優先度を定義する方法を示す平面図である。 図１に示す関連性情報格納部１４５内に格納する関連性情報として、一次元彩度軸上の区間を定義する情報を用いた例を示す平面図である。 図１に示す色認識部１４３による色認識方法の一例を示す平面図である。 本発明の第２の実施形態に係るコンテンツ表示装置１００Ａの構成を示すブロック図である。 図１５に示す複雑度認識部１４７による複雑度認識方法の一例を示す平面図である。 図１５に示す関連性情報格納部１４５Ａ内に格納する関連性情報として、ＳＶＣ三次元空間上の分布範囲を定義する情報を用いた例を示す斜視図である。 図１７に示す関連性情報を利用して、各カテゴリーについての優先度を定義する方法を示す斜視図である。 本発明の第３の実施形態に係るコンテンツ表示装置１００Ｂの構成を示すブロック図である。 図１９に示す優先度付与部１４４Ｂによる優先度決定方法の一例を示す斜視図である。 図６に示すカテゴリーＣ４に所属する副コンテンツデータについて設定された複雑度の一例を示す図である。 本発明に係るコンテンツ表示方法の基本手順を示す流れ図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１． 本発明の第１の実施形態 ＞＞＞
図１は、本発明の第１の実施形態に係るコンテンツ表示装置１００の構成を示すブロック図である。図示のとおり、このコンテンツ表示装置１００は、主コンテンツデータ格納部１１０、指示入力部１２０、主コンテンツ表示処理部１３０、副コンテンツ提示処理部１４０、ディスプレイ１５０、副コンテンツデータ格納部１６０によって構成されている。

本発明に係るコンテンツ表示装置の特徴は、ユーザにとって直接的な閲覧対象となるコンテンツを表示するとともに、このコンテンツ内の画像に関連する補助情報を提示する機能を有する点である。ここでは、ユーザにとって直接的な閲覧対象となるコンテンツを主コンテンツと呼び、画像に関連して提示される補助情報を構成するコンテンツを副コンテンツと呼ぶことにする。

主コンテンツは、主コンテンツデータ格納部１１０に主コンテンツデータとして格納されており、ユーザが、指示入力部１２０に対して指示を与えると、主コンテンツ表示処理部１３０により、ユーザ所望のコンテンツが、ディスプレイ１５０の画面上に表示される。一方、副コンテンツデータ格納部１６０には、補助情報として提示すべき内容が副コンテンツデータとして格納されており、表示中の主コンテンツに画像が含まれていた場合に、副コンテンツ提示処理部１４０により、当該画像に関連した補助情報が副コンテンツデータから検索され、検索された補助情報の提示が行われる。

なお、このコンテンツ表示装置１００は、実際には、タブレット型電子端末、スマートフォン、パソコンなど、コンピュータを内蔵した電子機器に専用のプログラムを組み込むことによって構成することができる。この場合、主コンテンツデータ格納部１１０および副コンテンツデータ格納部１６０は、この電子機器に内蔵されたメモリや記憶媒体によって構成され、指示入力部１２０は、タッチパネルやキーボードなどの入力機器によって構成され、ディスプレイ１５０は、この電子機器用のディスプレイによって構成され、主コンテンツ表示処理部１３０および副コンテンツ提示処理部１４０は、組み込まれた専用プログラム（ソフトウエア）と電子機器に内蔵されたＣＰＵなどの電子部品（ハードウエア資源）とが協働して実行する情報処理機能として実現される。

図１に示す例の場合、主コンテンツデータ格納部１１０には、３つの主コンテンツデータＭ１，Ｍ２，Ｍ３が格納された状態が示されている。各コンテンツは、小説、物語、随筆、記事、映画など、その内容はどのようなものでもかまわない。図には、主コンテンツデータＭ１を、複数のテキストデータＴ，複数の画像データＰ，複数の音声データＡの各ファイルによって構成した例が示されている。

一般に、コンテンツデータの構成には、様々なフォーマットが利用されている。たとえば、Ｗｅｂページ表示用のデータとしては、HTML形式のコンテンツデータが広く普及しており、電子書籍表示用のデータとしては、EPUB形式のコンテンツデータが広く普及している。これらのフォーマットを採用した場合、テキストデータＴには、コンテンツに含まれるテキスト情報だけでなく、その配置、色、サイズ、フォントなどを示す情報、特定の位置に特定の画像データＰを貼付ける情報、特定の音声データＡを再生する再生ボタンを表示する情報などが、タグ付きデータとして挿入されており、画像データＰや音声データＡは、このタグ付きデータによって参照され、必要に応じて提示されることになる。

もちろん、本発明を実施するにあたり、用意するコンテンツデータのフォーマットに特に制限はなく、様々なフォーマットで記述されたコンテンツデータを利用することが可能である。ただ、本発明を実施する場合、主コンテンツデータＭは、少なくとも画像データＰが含まれているコンテンツである必要があり、当該画像データＰには、検索用文字列Ｋが付されている必要がある。これは、本発明では、表示中の主コンテンツ内の画像に関連した補助情報を、当該画像に付された検索用文字列を用いて検索する必要があるためである。

したがって、本発明において、主コンテンツデータ格納部１１０内に用意する主コンテンツデータＭとしては、テキストデータＴや音声データＡを含まず、画像データＰのみを含むコンテンツ（絵本や写真集など）であってもかまわない。また、本発明において、画像データＰとは動画データも含むものであり、主コンテンツデータＭとして動画コンテンツを用いてもかまわない。なお、動画の場合、検索用文字列Ｋは、動画を構成する１枚１枚のフレーム画像についてそれぞれ用意してもよいが、実用上は、シーンごとや、一定周期ごと（たとえば、１秒おき）に用意しておけば十分である。

一方、副コンテンツデータ格納部１６０には、それぞれ異なるカテゴリーに所属する複数の副コンテンツデータＳが格納されている。図１には、それぞれ一点鎖線で囲って示すように、３つのカテゴリーＣ１，Ｃ２，Ｃ３が定義されており、カテゴリーＣ１には副コンテンツデータＳ１，Ｓ２，Ｓ３、カテゴリーＣ２には副コンテンツデータＳ４，Ｓ５、カテゴリーＣ３には副コンテンツデータＳ６，Ｓ７，Ｓ８がそれぞれ所属する状態が示されている。実際には、個々の副コンテンツデータがどのカテゴリーに所属するかを示す所属リストなどを格納部１６０内に用意しておけば、当該所属リストを参照することにより、個々の副コンテンツデータの所属カテゴリーを認識することができる。

本発明において、副コンテンツは、表示中の主コンテンツ内の特定の画像に関連した補助情報を構成するためのものであり、上述したように、当該画像に付された検索用文字列を用いた検索対象となるものである。したがって、実用上は、補助情報として提示するのに適した単元ごとの情報の集合体からなるコンテンツ（たとえば、辞書、百科事典、小話、豆知識といった内容）を副コンテンツとして利用するのが好ましい。

指示入力部１２０は、ユーザの指示を入力する構成要素であり、入力された指示は、主コンテンツ表示処理部１３０および副コンテンツ提示処理部１４０に与えられ、その結果、ユーザ所望のコンテンツの内容がディスプレイ１５０に表示される。すなわち、主コンテンツ表示処理部１３０は、与えられたユーザの指示に基づいて、主コンテンツデータ格納部１１０に格納されている主コンテンツデータＭの所定部分をディスプレイ１５０の画面に主コンテンツとして表示する処理を行う。一方、副コンテンツ提示処理部１４０は、与えられたユーザの指示に基づいて、ディスプレイ１５０の画面に表示されている主コンテンツ内の特定の対象画像に関連した補助情報を複数の副コンテンツデータＳから検索する検索処理を実行し、検索処理の結果として得られた補助情報を副コンテンツとして提示する処理を行う。

図２は、図１に示すコンテンツ表示装置１００の表示形態の一例を示す平面図である。ここでは、タブレット型電子端末に専用プログラムを組み込むことによりコンテンツ表示装置１００を構成した例を図示することにする。図２に示す例は、このタブレット型電子端末を横長に保持した場合の利用モードを示しており、表示画面の左半分が主コンテンツ表示領域１５０Ｍ、右半分が副コンテンツ表示領域１５０Ｓを構成している。図２は、主コンテンツ表示領域１５０Ｍに主コンテンツの表示が行われた直後の状態を示しており、副コンテンツ表示領域１５０Ｓは未表示の状態である。

前述したとおり、ユーザは、指示入力部１２０から所望の主コンテンツの所定部分を表示させる指示を入力することができ、主コンテンツ表示処理部１３０は、主コンテンツ表示領域１５０Ｍに、与えられた指示に応じた表示を行う。一般的なタブレット型電子端末では、ディスプレイ画面上のタッチパネルが指示入力部１２０としての機能を果たすことになるので、ユーザは、このタッチパネルに対して指を使って様々な指示を入力することができる。

たとえば、図２に示す主コンテンツ表示領域１５０Ｍ上で、ユーザが１本指を使ってスライド動作を行うと、ページ送りの指示を入力することができ、２本指をタッチパネルに接触させた状態で指の間隔を広げたり狭めたりする動作を行うと、拡大や縮小の指示を入力することができる。このような主コンテンツ表示処理部１３０の機能自体は、既に、様々なコンテンツ表示装置で利用されている公知の技術であるため、ここでは詳しい説明は省略する。

図２に示す例の場合、主コンテンツ表示領域１５０Ｍには、テキスト本文１５１、画像１５２、音声提示ボタン１５３が表示されている。これらの情報提示は、図１に示す主コンテンツデータ格納部１１０に格納されている主コンテンツデータに基づいて行われる。図３は、図２の主コンテンツ表示領域１５０Ｍに表示されているコンテンツに関連した主コンテンツデータの具体的な構成例を示すブロック図である。図示のとおり、この主コンテンツデータは、テキストデータＴ，画像データＰ，音声データＡによって構成されており、画像データＰには５つの検索用文字列Ｋが付与されている。テキスト本文１５１は、テキストデータＴ内の文字情報に基づいて表示され、画像１５２は、画像データＰに基づいて表示される。また、ユーザが音声提示ボタン１５３をタップして再生指示を与えると、音声データＡが再生されることになる。

なお、図３に示す例の場合、画像データＰには、「狼」，「満月」，「月」，「雲」，「大草原」なる５組の検索用文字列Ｋが付されているが、検索用文字列Ｋの数には特に制限はなく、少なくとも１組の文字列が付されていれば足りる。ただ、より適切な検索を行うためには、複数組の文字列を付しておくのが好ましい。検索用文字列Ｋは、主コンテンツデータＭの作成時に予め付与しておくようにすればよい。具体的には、コンテンツの作者や編集者が、個々の画像に相応しいと思われる文字列を適宜定め、これを各画像についての検索用文字列Ｋとして、所定のフォーマットで記述して、各画像データＰに付加する作業を行えばよい。図３に示す画像データＰに付された５組の検索用文字列Ｋは、このようにして定められた文字列である。

本発明の特徴となる機能は、ディスプレイ１５０上に表示された主コンテンツ内の画像に関連する補助情報を、ユーザの求めに応じて提示する機能である。ここでは、図２に示すように、主コンテンツ表示領域１５０Ｍ内に画像１５２を含む主コンテンツが表示されている状態において、ユーザが、画像１５２に関する補助情報を要求する指示を入力した場合を考えてみよう。指示入力部１２０に、ディスプレイ１５０の画面上の任意の指示点を指定するユーザの指示を入力する機能を設けておけば、副コンテンツ提示処理部１４０は、この指示点近傍に表示されていた画像を対象画像として認識し、当該対象画像に関連した補助情報を提示する処理を行うことができる。

図４は、図２に示す表示状態において、ユーザが、画像１５２を対象画像として補助情報の要求指示を行った状態を示す平面図である。この例では、ディスプレイ画面上のタッチパネルが指示入力部１２０としての機能を果たすため、ユーザが指Ｆで画像をタッチする操作を行った場合に、当該画像を対象画像として、関連する補助情報を要求する指示を行ったものとして取り扱っている。したがって、図示のように、ユーザの指Ｆが画像１５２の表示領域に触れると、指示入力部１２０は、画像１５２を対象画像として補助情報の要求指示がなされたものと判断し、当該指示を副コンテンツ提示処理部１４０に伝達する。もちろん、タッチの代わりに、ダブルタップ等の操作により補助情報の要求指示を行うようにしてもよい。

副コンテンツ提示処理部１４０は、このような要求指示に基づいて、副コンテンツデータ格納部１６０内に格納されている複数の副コンテンツデータＳ１〜Ｓ８の内容を検索し、対象画像１５２に関連した補助情報を抽出し、これを副コンテンツ表示領域１５０Ｓに表示する。図４に示す例は、副コンテンツ表示領域１５０Ｓ内に、検索された３つの補助情報１５４，１５５，１５６が表示された例である。具体的には、「オオカミ」なる見出しの補助情報１５４、「お月見の風習」なる見出しの補助情報１５５、「オオカミ男っているの？」なる見出しの補助情報１５６が検索結果として表示されている。検索された補助情報が多数ある場合には、たとえば、副コンテンツ表示領域１５０Ｓ内をスクロールして順次表示できるようにしてもよい。

これらの補助情報１５４〜１５６は、いずれも対象画像１５２に関連した補助情報であり、ユーザは、対象画像１５２に関して、より詳しい知識を得ることができる。このような補助情報は、いずれも、画像データＰに付されている検索用文字列Ｋを検索キーとして用いた検索によって抽出されたものである。図３に示す例の場合、対象画像１５２に対応する画像データＰには、「狼」，「満月」，「月」，「雲」，「大草原」なる５組の検索用文字列Ｋが付されており、副コンテンツ提示処理部１４０は、これらの文字列を検索用キーとして副コンテンツデータＳ１〜Ｓ８に対する検索を行い、抽出された補助情報を副コンテンツ表示領域１５０Ｓ内に表示する処理を行う。

ユーザが、別な画像を対象画像とする補助情報の要求指示を与えれば、副コンテンツ表示領域１５０Ｓには、新たに指定された対象画像に関する補助情報が表示されることになる。もちろん、必要に応じて、各検索用文字列Ｋに重み付けを行い、当該重み付けを考慮した検索を行うことも可能である。

図５は、図１に示すコンテンツ表示装置１００において、主コンテンツ内の対象画像１５２に関連した補助情報が表示された状態の別な一例を示す平面図である。この例は、タブレット型電子端末を縦長に保持した場合の表示例であり、補助情報が表示されていない状態では、全画面領域が主コンテンツ表示領域１５０Ｍを構成し、主コンテンツの内容は全画面に表示される。その状態で、ユーザが指Ｆを用いて画像１５２をタッチすると、副コンテンツ提示処理部１４０による検索が行われ、画像１５２に関連した補助情報が副コンテンツ表示領域１５０Ｓ内に表示される。

この図５に示す例では、副コンテンツ表示領域１５０Ｓを、必要に応じて、主コンテンツ表示領域１５０Ｍの上に重ねて表示するようにしており、補助情報１５４は、吹き出し状の副コンテンツ表示領域１５０Ｓ内に表示されている。図５に示す例では、図４に示す例に比べて副コンテンツ表示領域１５０Ｓの面積が小さいため、「オオカミ」なる見出しの補助情報１５４のみが表示されているが、たとえば、ユーザが指Ｆで副コンテンツ表示領域１５０Ｓ内をタップするたびに、補助情報１５５，補助情報１５６と、検索された残りの補助情報が順次表示されるようにしてもよい。また、ユーザがこれら補助情報の内容を読み終えたら、たとえば、対象画像１５２上を指Ｆで再度タッチすることにより、副コンテンツ表示領域１５０Ｓを画面上から消し去ることができるようにしてもよい。

以上、ディスプレイ１５０の画面上に、主コンテンツ表示領域１５０Ｍと副コンテンツ表示領域１５０Ｓとを表示する形態として、図４に示す例と図５に示す例を示したが、もちろん、本発明はこれらの表示形態に限定されるものではない。たとえば、補助情報を提示する必要がある場合だけ、全画面を主コンテンツ表示領域１５０Ｍから副コンテンツ表示領域１５０Ｓに切り替えるようにし、補助情報の提示が終了したら、全画面を主コンテンツ表示領域１５０Ｍに戻すようにしてもかまわない。

本発明の重要な特徴は、副コンテンツ提示処理部１４０の機能にある。上述したとおり、副コンテンツ提示処理部１４０は、ユーザの指示に基づいて、特定の対象画像に関連した補助情報を複数の副コンテンツデータから検索する検索処理を実行し、検索処理の結果として得られた補助情報を提示する処理を行う構成要素であるが、検索でヒットした補助情報が複数存在する場合、これらに優先順位を定める取り扱いが必要である。

たとえば、図４に示す例のように、副コンテンツ表示領域１５０Ｓが３件分の補助情報を表示するスペースしかない場合や、図５に示す例のように、１件分の補助情報を表示するスペースしかない場合では、スクロール表示や時分割表示（頁切替などの方法を用いた表示）を行わない限り、３件分もしくは１件分の補助情報しか表示することはできない。この場合、検索によりヒットした複数の補助情報に優先順位を定め、上位３件もしくは上位１件の補助情報のみを表示する処理が必要になる。

もちろん、スクロール表示や時分割表示を行えば、理論的には何件の補助情報であっても提示可能であるが、複数の補助情報を提示する以上、相互に順番を定め、その順番に従った提示を行わざるを得ない。たとえば、図４に示す例の場合、副コンテンツ表示領域１５０Ｓには、３件分の補助情報を表示するスペースがあるので、ヒットした補助情報の数が３件であった場合は、全件を同時に表示することが可能である。それでも、副コンテンツ表示領域１５０Ｓは、上段、中段、下段の３つのスペースに分かれているため、何らかの方法で順序を定めて表示する必要がある。

一般に、文字列を検索キーとした検索を行った場合、ヒットした項目について、それぞれ検索キーに対する合致度を算出し、この合致度の高い順に優先順位を定義する方法が利用されている。したがって、本発明においても、検索用文字列Ｋを検索キーとした検索を行った結果、複数の補助情報がヒットした場合、個々の補助情報に合致度を与え（たとえば、１つの文字列が一致した場合に１ポイント加算したり、当該文字列に固有の重み付け値を加算したりすればよい）、この合致度の高い順に提示を行うようにすることも可能である。

しかしながら、本発明では、提示する補助情報が対象画像に関連した情報であるため、対象画像の色を考慮して優先順位を定めるというユニークな方法を採る。前述したとおり、副コンテンツデータ格納部１６０内には、副コンテンツデータＳがカテゴリーごとに分類されて格納されている。そこで、個々のカテゴリーにそれぞれ色を対応づけておき、対象画像の色に合致するカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにする。このように、対象画像の色に応じて、提示対象となる補助情報の優先度を定める点が、本発明の重要な特徴である。このような方法を採用すると、表示中のコンテンツに含まれる画像に関連した、より適切な補助情報を選択して提示することが可能になる。その具体的な手法について、以下に詳細な説明を行う。

＜＜＜ §２． 本発明の基本原理となる色とカテゴリーとの関係 ＞＞＞
§１で述べたように、副コンテンツ提示処理部１４０は、特定の対象画像に関連した補助情報を複数の副コンテンツデータから検索し、対象画像の色に基づいて検索結果に優先度を定義し、この優先度を考慮して補助情報の提示を行う。ここで、色と直接対応づけられる要素は、副コンテンツデータのカテゴリーである。そこで、以下、具体的な例を挙げて、本発明における色とカテゴリーとの関係について述べ、本発明の基本原理を説明しよう。なお、本発明における「色」とは、赤／青／黄といった一般的な色、すなわち、色相のみを意味するものではなく、彩度や明度を含めた広義の色を意味するものである。そこで、以下の説明も、色相，彩度，明度を色の３要素として捉えたものになっている。

図１のブロック図には、副コンテンツデータ格納部１６０内に、３つのカテゴリーＣ１〜Ｃ３のいずれかに所属する８組のコンテンツデータＳ１〜Ｓ８が格納されている例が示されているが、ここでは、図６に示すように、５つのカテゴリーＣ１〜Ｃ５のいずれかに所属する１３組のコンテンツデータＳ１〜Ｓ１３が格納されている場合を考えてみる。ここで、５つのカテゴリーは、図示のとおり、「カテゴリーＣ１：辞書」，「カテゴリーＣ２：専門書」，「カテゴリーＣ３：小話・豆知識」，「カテゴリーＣ４：生活情報」，「カテゴリーＣ５：ビジネス書」である。

そして、「カテゴリーＣ１：辞書」には、「Ｓ１：国語辞典」、「Ｓ２：漢字大辞典」、「Ｓ３：歴史人名辞典」なる副コンテンツが所属し、「カテゴリーＣ２：専門書」には、「Ｓ４：世界動植物体系」、「Ｓ５：高分子材料入門」なる副コンテンツが所属し、「カテゴリーＣ３：小話・豆知識」には、「Ｓ６：世界のジョーク集」、「Ｓ７：季節の豆知識」、「Ｓ８：童話の中の怪物たち」なる副コンテンツが所属し、「カテゴリーＣ４：生活情報」には、「Ｓ９：子供生活百科」、「Ｓ１０：京都散策」、「Ｓ１１：おそうじ読本」なる副コンテンツが所属し、「カテゴリーＣ５：ビジネス書」には、「Ｓ１２：証券取引の基礎知識」、「Ｓ１３：セールスのポイント」なる副コンテンツが所属している（各コンテンツのタイトルは、発明の理解を容易にするために架空のタイトルを例示したものであり、実在のコンテンツに関係したものではない）。

実際には、図４に示す例の場合、たとえば、見出し「オオカミ」が付された補助情報１５４は、「カテゴリーＣ１：辞書」に所属する「副コンテンツＳ１：国語辞典」から抽出された情報、見出し「お月見の風習」が付された補助情報１５５は、「カテゴリーＣ３：小話・豆知識」に所属する「副コンテンツＳ７：季節の豆知識」から抽出された情報、見出し「オオカミ男っているの？」が付された補助情報１５６は、「カテゴリーＣ３：小話・豆知識」に所属する「副コンテンツＳ８：童話の中の怪物たち」から抽出された情報というように、様々なカテゴリーに所属する様々な副コンテンツデータから、複数の補助情報の抽出が行われることになる。

本発明では、このように副コンテンツデータを複数のカテゴリーに分類し、個々のカテゴリーごとにそれぞれ固有の色が対応づけられる。一般に、色は、コミュニケーションの手段として利用することができ、個々の色には、それぞれ何らかのメッセージを読み取ることができるものとされている。したがって、個々のカテゴリーごとに、どのようなメッセージを伝達するカテゴリーであるかを考えれば、それぞれに固有の色を対応づけることができる。

色彩学上の見地からは、各色について、次のような単語が連想され、次のようなイメージが連想されるものとされている。

(1) 「明度が高く、彩度が低い色」
薄い、軽い、繊細な、柔らかな、といった単語が連想され、あっさりしたイメージや、ロマンティックなイメージが連想される。

(2) 「明度が中の上、彩度が中の上の色」
明るい、澄んだ、はっきりした、といった単語が連想され、気品を保ちつつ派手なイメージが連想される。

(3) 「明度が低の上、彩度が中の下の色」
地味な、淀んだような、おとなしい、といった単語が連想され、淀んだようなイメージや、幻想的なイメージが連想される。

(4) 「明度が中くらい、彩度が高い色」
明快な、強い、刺激的な、といった単語が連想され、派手なイメージや、賑やかなイメージが連想される。

(5) 「明度が中の下、彩度が低い色」
くすんだ、暗い、長老的な、といった単語が連想され、フォーマルなイメージや、個性やスピード感に欠けるイメージが連想される。

(6) 「明度が中くらい、彩度が高い色」
濃い、強い、熟練した、重厚な、手応えのある、といった単語が連想され、熟練したベテランのイメージや、古風なイメージが連想される。

(7) 「明度が中くらい、彩度が中の下の色」
鈍い、地味な、ぼんやりした、渋い、したたかな、といった単語が連想され、老猾なイメージや、渋みや風格のあるイメージが連想される。

本願発明者は、上例のように、個々の色には、それぞれ相応しい単語やイメージが対応づけられるのであるから、逆に、図６に例示するような個々のカテゴリーについても、それぞれ相応しい色を対応づけられるであろう、と考えた。たとえば、「カテゴリーＣ１：辞書」については、「明度が低く、彩度も低い色」が相応しく、「カテゴリーＣ２：専門書」については、「明度が低く、彩度が中くらいの色」が相応しく、「カテゴリーＣ３：小話・豆知識」については、「明度が中くらい、彩度が高い色」が相応しい、といった具合である。

このように、副コンテンツデータが所属するカテゴリーに特定の色を関連づけておけば、補助情報を提示する対象となる対象画像の色を認識した上で、この認識色に対する関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにし、付与された優先度に応じた優先順位に基づいて、抽出された補助情報の提示を行うことが可能になる。そして、そのような方法で優先順位を決定して補助情報の提示を行うようにすれば、対象画像に関連した、より適切な補助情報を効率的に選択して提示することができる。

たとえば、図４に示す例において、対象画像１５２の色が「明度が低く、彩度も低い色」であったとすると、主コンテンツを構成するテキスト本文１５１の内容も、「明度が低く、彩度も低い色」というイメージ（フォーマルなイメージ）に対応した内容である可能性が高く、ユーザは、現在、そのようなイメージに対応したコンテンツを閲覧している可能性が高い。したがって、対象画像１５２について提示する補助情報が複数存在する場合には、「明度が低く、彩度も低い色」に対する関連性の高いカテゴリー（この例の場合は「カテゴリーＣ１：辞書」）に所属する副コンテンツデータから抽出された補助情報を優先的に提示するのが好ましいと言える。

上例の場合、同じ「狼／満月／月／雲／大草原」なる検索キーでヒットした補助情報であっても、「副コンテンツＳ１：国語辞典」から抽出した補助情報（カテゴリーＣ１）が、「副コンテンツＳ７：季節の豆知識」や「副コンテンツＳ８：童話の中の怪物たち」から抽出した補助情報（カテゴリーＣ３）よりも優先して提示されることになる。図４の副コンテンツ表示領域１５０Ｓ内の表示結果は、このような優先順位に基づいた結果となっている。これは、「フォーマルなイメージのコンテンツ」と推定される主コンテンツを閲覧しているユーザにとっては、より適切な補助情報の提示態様になる。

一方、図４に示す例において、対象画像１５２の色が「明度が中くらい、彩度が高い色」であったとすると、主コンテンツを構成するテキスト本文１５１の内容も、「明度が中くらい、彩度が高い色」というイメージ（派手で賑やかなイメージ）に対応した内容である可能性が高く、ユーザは、現在、そのようなイメージに対応したコンテンツを閲覧している可能性が高い。したがって、対象画像１５２について提示する補助情報が複数存在する場合には、「明度が中くらい、彩度が高い色」に対する関連性の高いカテゴリー（この例の場合は「カテゴリーＣ３：小話・豆知識」）に所属する副コンテンツデータから抽出された補助情報を優先的に提示するのが好ましいと言える。

上例の場合、同じ「狼／満月／月／雲／大草原」なる検索キーでヒットした補助情報であっても、「副コンテンツＳ７：季節の豆知識」や「副コンテンツＳ８：童話の中の怪物たち」から抽出した補助情報（カテゴリーＣ３）が、「副コンテンツＳ１：国語辞典」から抽出した補助情報（カテゴリーＣ１）よりも優先して提示されることになる。すなわち、図４に示す例とは異なり、見出し「オオカミ」が付された補助情報１５４が下段に表示され、補助情報１５５，１５６がそれぞれ上段および中段に繰り上がって表示されることになる。これは、「派手で賑やかなイメージのコンテンツ」と推定される主コンテンツを閲覧しているユーザにとっては、より適切な補助情報の提示態様になる。

＜＜＜ §３． 副コンテンツ提示処理部の構成および動作態様 ＞＞＞
＜３−１：副コンテンツ提示処理部の基本構成＞
ここでは、図１に示す副コンテンツ提示処理部１４０の基本構成について詳述する。副コンテンツ提示処理部１４０は、§２で述べた基本原理に基づいて、検索された副コンテンツの内容を補助情報として提示する機能をもった構成要素であり、図示のとおり、検索用文字列認識部１４１、検索処理部１４２、色認識部１４３、優先度付与部１４４、関連性情報格納部１４５、補助情報提示処理部１４６によって構成されている。

検索用文字列認識部１４１は、対象画像に付されている検索用文字列Ｋを認識する構成要素である。たとえば、図４に示す例のように、ユーザが指Ｆを用いて、画像１５２を対象画像として、補助情報の提示要求を行った場合、指示入力部１２０から検索用文字列認識部１４１に対して、当該提示要求が伝達される。一方、主コンテンツ表示処理部１３０には、主コンテンツを構成するテキスト本文１５１を表示するためのテキストデータＴおよび対象画像１５２を表示するための画像データＰが読み出されている。そこで、検索用文字列認識部１４１は、この画像データＰに付されている検索用文字列Ｋを抽出し、検索に必要な文字列として認識する処理を行えばよい。

検索処理部１４２は、検索用文字列認識部１４１が認識した検索用文字列Ｋを検索キーとして用いて、副コンテンツデータ格納部１６０に格納されている複数の副コンテンツデータＳ１〜Ｓ８に対する検索処理をそれぞれ実行し、ヒットした補助情報を抽出して、これを検索結果として補助情報提示処理部１４６に報告する処理を行う（必要に応じて、どのカテゴリーのどの副コンテンツデータから抽出した補助情報であるかを示す情報も報告する。）。ヒットした補助情報が複数存在する場合には、これらすべてを抽出し、補助情報提示処理部１４６に報告する。このように、文字列を検索キーとしてコンテンツデータに対する検索を行い、ヒットした内容を抽出する技術は、様々な分野で利用されている公知の技術であるため、ここでは詳しい説明は省略する。

一方、色認識部１４３は、対象画像１５２について色を認識する処理を行う。ここで、「色」とは、前述したとおり、色相，彩度，明度という３要素から構成され、色認識部１４３は、対象画像１５２全体を代表する代表色の色相値，彩度値，明度値を求める処理を行う。具体的な色の認識方法については、後の§３−５において、いくつかの例を挙げて説明する。

関連性情報格納部１４５は、副コンテンツデータ格納部１６０に格納されている副コンテンツデータが所属する個々のカテゴリーと色との関連性を示す関連性情報を格納する構成要素である。たとえば、§２で述べた簡単な例の場合、「カテゴリーＣ１：辞書」に対しては「明度が低く、彩度も低い色」に対する関連性が高い、「カテゴリーＣ３：小話・豆知識」に対しては「明度が中くらい、彩度が高い色」に対する関連性が高い、といった関連性情報を格納しておけばよい。より具体的な関連性の定義方法については、後の§３−２〜§３−４において、いくつかの実施例として示すことにする。

優先度付与部１４４は、色認識部１４３が認識した色に基づいて関連性情報格納部１４５内の関連性情報を参照し、検索処理部１４２によって検索された補助情報のうち、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する処理を行う。具体的な優先度の付与方法については、後の§３−２〜§３−４において、いくつかの実施例として示すことにする。

補助情報提示処理部１４６は、優先度付与部１４４によって付与された優先度に応じた優先順位に基づいて、検索処理部１４２によって抽出された補助情報の提示を行う。図４および図５に示す実施例の場合、補助情報１５４〜１５６はテキストデータによって構成されており、補助情報提示処理部１４６は、ディスプレイ１５０の副コンテンツ表示領域１５０Ｓ内にテキストからなる補助情報を表示することになる。

検索処理部１４２によって抽出された補助情報が複数存在する場合には、補助情報提示処理部１４６は、これら複数の補助情報のうち、その優先順位に基づいて、上位ｎ番目以内（ｎは、所定の自然数）の補助情報のみを提示することにより、補助情報の提示を簡潔化することができる。たとえば、図４に示す例のように、副コンテンツ表示領域１５０Ｓには、３件分の補助情報を表示するスペースしかない場合、ｎ＝３に設定しておき、抽出された補助情報のうち、上位３番目までの補助情報のみを提示するようにすれば、提示される補助情報は副コンテンツ表示領域１５０Ｓに収まる。もちろん、図５に示すように、１件分の補助情報を吹き出し状に表示する場合は、ｎ＝１に設定しておき、抽出された補助情報のうち、最も優先度の高い補助情報のみを提示するようにすればよい。

なお、上例のように、上位ｎ番目以内の補助情報のみを提示する形態を採る場合は、検索処理部１４２は、関連性の高いカテゴリーから関連性の低いカテゴリーの順に、副コンテンツデータに対する検索処理を実行するようにし、上位ｎ番目の補助情報が抽出された時点で、以後の検索処理を中止するようにしてもかまわない。すなわち、検索の順序を、色認識部１４３が認識した色に対する関連性の高いカテゴリーから関連性の低いカテゴリーの順に行うようにし、優先度付与部１４４が、当該色に対する関連性のみに基づいて優先度を付与することにすれば、優先度の高い補助情報から低い補助情報の順に検索されることになるので、上位ｎ番目の補助情報が抽出された時点で、以後の検索処理は不要になる。よって、この場合、以後の検索処理を中止することにより、無駄な検索時間を節約することができるようになる。

必要に応じて、補助情報提示処理部１４６は、副コンテンツ表示領域１５０Ｓの表示スペース内に一度では表示しきれない件数の補助情報を、スクロール表示や時分割表示によって表示することも可能である。たとえば、図４に示す例の場合、副コンテンツ表示領域１５０Ｓ内の表示内容をスクロールできるようにしておけば、４件以上の補助情報を表示することも可能である。あるいは、副コンテンツ表示領域１５０Ｓ内の頁を切り替えられるようにしておき、１頁目には１〜３件目の補助情報、２頁目には４〜６件目の補助情報、というように頁を切り替えながら時分割形式で表示させるようにしてもよい。図５に示す例の場合も、吹き出し内をスクロールさせたり、吹き出し内を頁切替させることにより、２件目以降の補助情報を表示させることができる。

もちろん、補助情報提示処理部１４６は、提示対象となる補助情報が複数存在する場合、その優先順位に基づいた提示を行うことになる。たとえば、図４に示す副コンテンツ表示領域１５０Ｓのように、一度に３件分の補助情報を表示するスペースがある場合、上段、中段、下段の順に優先順位を定義し、優先順位に応じて、順位の高いものほど先行する位置に配置されるように配置順を決めるようにすればよい。また、頁切替などの方法で時分割表示を行う場合は、優先順位に応じて、順位の高いものほど先に提示されるように時間順を決めるようにすればよい。

＜３−２：三次元色空間上に閉領域をマッピングする実施例＞
続いて、関連性情報格納部１４５に格納する関連性情報の具体的な実施例を述べる。まず、ここでは、三次元色空間上に閉領域をマッピングすることにより関連性情報を構成した実施例を述べる。

ここに示す実施形態の場合、「色」は、色相，彩度，明度という３要素によって定義される。一般に、このような３要素によって色を定義する場合、個々の色は、図７に示すようなＨＳＶ三次元色空間上の１点で表される。すなわち、この色空間上の任意の点には、色相値Ｈ（Hue）、彩度値Ｓ（Saturation）、明度値Ｖ（Value）の３要素を定義することができる。

ここで、明度値Ｖは、図において縦方向に伸びる明度軸Ｖに沿った方向に関する座標値として定義される。たとえば、明度軸Ｖ上の点Ｐ１はＶ＝０、点Ｐ２はＶ＝０．５、点Ｐ３はＶ＝１．０なる明度値をもつ点ということになる（図に矩形で囲って示す数字は、具体的な明度値Ｖを示している）。

また、彩度値Ｓは、図に示す明度軸Ｖからの距離として定義される。より具体的には、図示のとおり、明度軸Ｖに直交する半径ｒをもつ円周Ｃを定義すれば、この円周Ｃ上の点は、いずれも彩度値ｒをもつ点ということになる。そして、この半径方向に彩度軸Ｓを定義すれば、この彩度軸Ｓ上の点Ｐ２はＳ＝０、点Ｐ４はＳ＝０．５、点Ｐ５はＳ＝１．０なる彩度値をもつ点ということになる（図に楕円で囲って示す数字は、具体的な彩度値Ｓを示している）。

一方、色相値Ｈは、図に示す明度軸Ｖまわりの角度として定義される。より具体的には、図示の例の場合、彩度軸Ｓの方位角を０°として基準にとり、円周Ｃを上から見たときに、時計まわりの方向に０°〜３６０°を定義したとすれば、円周Ｃ上の点Ｐ５はＨ＝０°、点Ｐ６はＨ＝１２０°、点Ｐ７はＨ＝１８０°、点Ｐ８はＨ＝２４０°なる色相値をもつ点ということになる（図に三角形で囲って示す数字は、具体的な色相値Ｈを示している）。具体的には、０°が赤、１２０°が緑、２４０°が青に対応し、角度が１８０°異なる一対の色は互いに補色の関係にある。

ここでは、明度値Ｖの範囲を０〜１．０に設定し、彩度値Ｓの範囲を０〜１．０に設定し、色相値Ｈの範囲を０°〜３６０°に設定している。このような設定を行えば、この３要素によって定義される色は、高さ１．０、半径１．０の円柱内の座標空間内の１点として表されることになる。たとえば、図示の点Ｐ６は、色相値Ｈ＝１２０°、彩度値Ｓ＝１．０、明度値Ｖ＝０．５をもった色に対応することになる。

さて、関連性情報格納部１４５に格納する関連性情報とは、副コンテンツデータ格納部１６０に格納されている副コンテンツデータＳが所属する個々のカテゴリーと色との関連性を示す情報であり、三次元色空間上にマッピングされた閉領域として示すことができる。図８は、このような関連性情報として、ＨＳＶ三次元色空間上に閉領域をマッピングした例を示す斜視図である。図示の例では、図７に示すＨＳＶ色空間内に、３つの閉領域Ｃ１，Ｃ２，Ｃ３がマッピングされた例が示されている。各閉領域Ｃ１，Ｃ２，Ｃ３は、図１の副コンテンツデータ格納部１６０内のカテゴリーＣ１，Ｃ２，Ｃ３に対応しており、それぞれ個々のカテゴリーに関連性をもった色の分布範囲を示している。

この図８に例示するようなＨＳＶ三次元色空間上の閉領域Ｃ１，Ｃ２，Ｃ３を示す情報を、個々のカテゴリーＣ１，Ｃ２，Ｃ３と色との関連性を示す関連性情報として関連性情報格納部１４５内に格納しておけば、優先度付与部１４４は、色認識部１４３が認識した色に基づいてこの関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する処理を行うことができる。たとえば、色認識部１４３が認識した色（図４に示す例の場合、対象画像１５２についての代表色）を、ＨＳＶ色空間にプロットすることにより、図８に示す点Ｑ（以下、認識点という）が得られた場合、プロットされた認識点Ｑとマッピングされた個々の閉領域Ｃ１，Ｃ２，Ｃ３との位置関係に基づいて優先度を付与することができる。

色認識部１４３が行う色認識の方法についての詳細は§３−５で述べるが、色認識部１４３が、対象画像について、彩度の代表値、明度の代表値、色相の代表値を認識するようにすれば、優先度付与部１４４は、これら認識した代表値を座標値としてもつ色として、図８に示すようなＨＳＶ色空間上に認識点Ｑをプロットすることができる。一方、関連性情報格納部１４５には、個々のカテゴリーＣ１，Ｃ２，Ｃ３について、彩度値、明度値、色相値の組み合わせの分布範囲（すなわち、閉領域Ｃ１，Ｃ２，Ｃ３）を対応づけた関連性情報が格納されているので、優先度付与部１４４は、個々のカテゴリーＣ１，Ｃ２，Ｃ３に対応づけられた彩度値、明度値、色相値の組み合わせの分布範囲（すなわち、閉領域Ｃ１，Ｃ２，Ｃ３の位置）と、色認識部１４３が認識した彩度の代表値、明度の代表値、色相の代表値の組み合わせ（すなわち、認識点Ｑの位置）と、を比較し、両者の近似度に応じた優先度を付与することができる。

図８に示すＨＳＶ色空間は、明度軸Ｖを基準座標軸と呼ぶことにすれば、基準座標軸上の位置を明度値Ｖとし、基準座標軸からの距離を彩度値Ｓとし、基準座標軸まわりの角度を色相値Ｈとする三次元色空間上に、個々のカテゴリーＣ１，Ｃ２，Ｃ３に対応する閉領域Ｃ１，Ｃ２，Ｃ３をマッピングしたマッピング情報ということができる。関連性情報格納部１４５には、このようなマッピング情報が関連性情報として格納されていることになる。そして、優先度付与部１４４は、色認識部１４３が認識した色を、この三次元色空間上に、彩度の代表値、明度の代表値、色相の代表値をそれぞれ座標値とする認識点Ｑとしてプロットし、プロットされた認識点Ｑとマッピングされた個々の閉領域Ｃ１，Ｃ２，Ｃ３との位置関係に基づいて優先度を付与することになる。

両者の位置関係に基づいて優先度を付与する最も単純な方法は、対応する閉領域が認識点Ｑを含むか含まないか、という基準に基づいて、二者択一の優先度を付与する方法である。たとえば、認識点Ｑを含む場合は優先度１、含まない場合は優先度０を付与するようにすれば、図８に示す例の場合、カテゴリーＣ３に所属する副コンテンツデータから抽出された補助情報には優先度１が付与され、カテゴリーＣ１，Ｃ２に所属する副コンテンツデータから抽出された補助情報には優先度０が付与されることになる。いわば、優先度として二値情報の付与が行われることになる。

もちろん、付与する優先度は、必ずしも二値情報にする必要はなく、閉領域Ｃ１，Ｃ２，Ｃ３と認識点Ｑとの位置に関する近似度に応じた段階的な優先度を付与することも可能である。たとえば、認識点Ｑが閉領域内の境界近傍に位置する場合は優先度１、閉領域内部に位置する場合は優先度２、閉領域外の境界近傍に位置する場合は優先度０．５、それ以外は優先度０とするような方法を採ることも可能である。このような段階的な優先度を付与する方法については、§３−３の例において、より詳細に説明することにする。要するに、個々のカテゴリーに対応づけられた色の分布範囲と色認識部１４３が認識した色とを比較し、両者の近似度に応じた優先度を付与するようにすればよい。

＜３−３：二次元色平面上に閉領域をマッピングする実施例＞
上述した§３−２では、色相，彩度，明度という３要素によって色を定義したＨＳＶ三次元色空間上にマッピングされた閉領域によって、個々のカテゴリーに対応づけられた色の分布範囲を示す例を述べた。すべての色は、このような３要素によって定義することができるので、三次元色空間上に閉領域をマッピングすることにより関連性情報を定義することは理にかなっている。

しかしながら、本発明を実施する場合、実用的な観点からは、ＳＶ二次元色平面上にマッピングされた閉領域によって、個々のカテゴリーに対応づけられた色の分布範囲を示せば十分である。その理由は、実用上、副コンテンツデータのカテゴリーと色相との間には、それほど顕著な相関関係が見出されないためである。

すなわち、「生活情報」なるカテゴリーのコンテンツであろうが、「小話・豆知識」なるカテゴリーのコンテンツであろうが、「専門書」なるカテゴリーのコンテンツであろうが、「イチゴ」という対象物については通常「赤色」を用い、「海」という対象物については通常「青色」を用い、「樹木」という対象物については通常「緑色」を用いることになる。もちろん、同じ「赤色」であっても、「生活情報」では「明度の高い赤」が用いられ、「小話・豆知識」では「彩度の高い赤」が用いられ、「専門書」では「明度の低い赤」が用いられるという傾向があるかもしれないが、「イチゴ」という対象物については「赤」という色相を用いる点に変わりはない。

したがって、本願発明者は、本発明を実施する上で、実用上は、個々のカテゴリーと色との関連性を示す関連性情報として、彩度値Ｓと明度値Ｖに関する情報を用意しておけば十分であると考えている。この場合、ＳＶ二次元色平面上に閉領域をマッピングした関連性情報を用意すれば足りる。すなわち、関連性情報格納部１４５には、個々のカテゴリーについて、彩度値Ｓと明度値Ｖとの組み合わせの分布範囲（二次元平面上での閉領域）を対応づけた関連性情報を格納しておくようにし、色認識部１４３が、対象画像について、彩度の代表値および明度の代表値を認識するようにし、優先度付与部１４４が、個々のカテゴリーに対応づけられた彩度値と明度値との組み合わせの分布範囲（各閉領域の位置）と、色認識部１４３が認識した彩度の代表値と明度の代表値との組み合わせと、を比較し、両者の近似度に応じた優先度を付与するようにすればよい。

図９は、図１に示す関連性情報格納部１４５内に格納する関連性情報として、ＳＶ二次元色平面上の閉領域を定義する情報を用いた例を示す平面図である。なお、図１に示す例では、副コンテンツデータのカテゴリーとして、Ｃ１〜Ｃ３の３つのカテゴリーしか定義されていないが、図９では、図６に示す例と同様に、Ｃ１〜Ｃ５の５つのカテゴリーを定義した例を示す。

すなわち、図９には、横軸として彩度Ｓの座標軸（座標値０〜１．０）、縦軸として明度Ｖの座標軸（座標値０〜１．０）をとったＳＶ色平面が定義されており、ここに、「カテゴリーＣ１：辞書」，「カテゴリーＣ２：専門書」，「カテゴリーＣ３：小話・豆知識」，「カテゴリーＣ４：生活情報」，「カテゴリーＣ５：ビジネス書」のそれぞれに対応する閉領域Ｃ１〜Ｃ５を定義した例が示されている。なお、一部の閉領域は互いに重なりを生じているため、図９では、「カテゴリーＣ２：専門書」に対応する閉領域Ｃ２の輪郭線を破線で示し、「カテゴリーＣ３：小話・豆知識」に対応する閉領域Ｃ３を一点鎖線で示すことにより、各閉領域を相互に区別できるようにしている。

もちろん、図９に示す関連性情報は一例として示すものであり、各カテゴリーの設定や、各閉領域の位置や形状は、本発明に係るコンテンツ表示装置の設計者が自由に定めることができる。ただ、より適切な補助情報を選択して提示する、という本発明の効果を得るためには、各カテゴリーの特徴を考慮して、各閉領域の位置や形状の設定を行う必要がある。

図９に示す例の場合、「カテゴリーＣ１：辞書」についての閉領域Ｃ１は、彩度Ｓおよび明度Ｖがともに中以下の低い領域を占め、「カテゴリーＣ２：専門書」についての閉領域Ｃ２は、彩度Ｓは中程度で明度Ｖが低い領域を占め、「カテゴリーＣ３：小話・豆知識」についての閉領域Ｃ３は、彩度Ｓが中以上、明度Ｖが高低両端を除く領域を占め、「カテゴリーＣ４：生活情報」についての閉領域Ｃ４は、彩度Ｓが中〜低、明度Ｖが比較的高い領域を占め、「カテゴリーＣ５：ビジネス書」についての閉領域Ｃ５は、彩度Ｓが中〜高、明度Ｖが中程度の領域を占めている。このような領域分布は、各カテゴリーの色に関する特徴を考慮したものである。

このように、図９に示す例は、第１の座標軸に彩度値Ｓ、第２の座標軸に明度値Ｖをとった二次元ＳＶ色平面上に、個々のカテゴリーに対応する閉領域Ｃ１〜Ｃ５をマッピングしたマッピング情報によって関連性情報を構成したものである。このような関連性情報を関連性情報格納部１４５に格納しておけば、優先度付与部１４４は、色認識部１４３が認識した色を、この二次元ＳＶ色平面上に、彩度の代表値と明度の代表値とをそれぞれ座標値とする認識点Ｑとしてプロットし、プロットされた認識点Ｑとマッピングされた個々の閉領域Ｃ１〜Ｃ５との位置関係に基づいて優先度を付与することができる。

図１０は、図９に示す関連性情報を利用して、対象画像から認識した色の認識点と各カテゴリーに対応する閉領域との位置関係に基づいて優先度を定義する具体的な方法を示す平面図である。両者の位置関係に基づいて優先度を付与する最も単純な方法は、§３−２で述べた三次元色空間上に閉領域をマッピングする実施例と同様に、認識点を含むか含まないか、という基準に基づいて、二者択一の優先度を付与する方法である。この場合、優先度付与部１４４は、各カテゴリーに対応する閉領域Ｃ１〜Ｃ５が認識点を含むか否かを判定し、認識点を含む閉領域に対応するカテゴリーに所属する副コンテンツデータから抽出された補助情報に対して、より高い優先度を付与することになる。

たとえば、認識点を含む場合は優先度１、含まない場合は優先度０という二値情報を付与することにすれば、図１０に示す例の場合、認識点Ｑ１が得られた場合には、「カテゴリーＣ４：生活情報」に所属する副コンテンツデータから抽出された補助情報に優先度１が付与され、その他の補助情報には優先度０が付与されることになる。同様に、認識点Ｑ２が得られた場合には、「カテゴリーＣ５：ビジネス書」および「カテゴリーＣ３：小話・豆知識」に所属する副コンテンツデータから抽出された補助情報に優先度１が付与され、その他の補助情報には優先度０が付与されることになる。ただ、認識点Ｑ３が得られた場合は、当該認識点Ｑ３は、いずれの閉領域にも含まれないので、いずれの補助情報にも優先度０が付与されることになり、実質的には、優先度の付与は行われないことになる。

結局、図１０に示す認識点Ｑ３のように、色認識部１４３が取得した認識点がいずれの閉領域にも含まれない場合は、優先度は付与されず、すべてのカテゴリーに所属する副コンテンツデータから抽出された補助情報が平等に取り扱われることになる。もちろん、そのような取り扱いを行うことに何ら支障はないが、きめの細かい優先度付与を行うのであれば、閉領域Ｃ１〜Ｃ５と認識点Ｑとの位置に関する近似度に応じた段階的な優先度を付与すればよい。たとえば、§３−２で述べたように、認識点Ｑが閉領域内の境界近傍に位置する場合は優先度１、閉領域内部に位置する場合は優先度２、閉領域外の境界近傍に位置する場合は優先度０．５、それ以外は優先度０とするような方法を採ることも可能である。要するに、本発明では、個々のカテゴリーに対応づけられた色の分布範囲と色認識部１４３が認識した色とを比較し、両者の近似度に応じた優先度を付与するようにすればよい。

ここでは、よりきめの細かい優先度付与を行う方法の一例として、各カテゴリーに対応する閉領域について定義される所定の参照点と認識点との間のユークリッド距離を計算し、相互間距離の小さい閉領域に対応するカテゴリーに所属する副コンテンツデータから抽出された補助情報に対して、より高い優先度を付与する方法を説明する。個々の閉領域についての参照点としては、当該閉領域を代表する位置にある点を採用すればよい。具体的には、たとえば、個々の閉領域の幾何学的な重心点を参照点として定義すればよい。

図１１は、図９に示す関連性情報において、各閉領域Ｃ１〜Ｃ５についての幾何学的な重心点を、それぞれ参照点Ｇ１〜Ｇ５として定義した状態を示す平面図である。各閉領域Ｃ１〜Ｃ５の位置は、それぞれ参照点Ｇ１〜Ｇ５の位置によって代表されることになり、特定の認識点が定まった場合、当該認識点に対する各カテゴリーの優先度は、当該認識点と各参照点Ｇ１〜Ｇ５との間のユークリッド距離（両点を結ぶ線分の長さ）に基づいて決定される。具体的には、距離が短いほど、より高い優先度が付与されるようにする。

図１２は、図１１に示す関連性情報を利用して、対象画像から認識した色の認識点Ｑ４，Ｑ５と各カテゴリーとの関連性に基づく優先度を定義する方法を示す平面図である。この例の場合、認識点Ｑ４は、閉領域Ｃ３，Ｃ４の双方に含まれる位置にプロットされているので、前述した二値情報を付与する方法を採用した場合、カテゴリーＣ３，Ｃ４に所属する副コンテンツデータから抽出された補助情報に対して優先度１が付与され、その他の補助情報に対しては優先度０が付与されることになる。

これに対して、参照点に対する距離に基づいて優先度を付与する方法を採用した場合、カテゴリーＣ３については、認識点Ｑ４と参照点Ｇ３との距離Ｌ３に基づく優先度が付与され、カテゴリーＣ４については、認識点Ｑ４と参照点Ｇ４との距離Ｌ４に基づく優先度が付与される。図示の例の場合、Ｌ３＞Ｌ４であるから、距離が短いほど、より高い優先度を付与することにすれば、カテゴリーＣ４に所属する副コンテンツデータから抽出された補助情報（生活情報）の方が、カテゴリーＣ３に所属する副コンテンツデータから抽出された補助情報（小話・豆知識）よりも高い優先度が付与されることになる。もちろん、認識点Ｑ４と参照点Ｇ１，Ｇ２，Ｇ５との距離を求めれば、カテゴリーＣ１，Ｃ２，Ｃ５についても優先度を付与することができる。

一方、認識点Ｑ５は、いずれの閉領域にも含まれない位置にプロットされているので、前述した二値情報を付与する方法を採用した場合、すべてのカテゴリーＣ１〜Ｃ５に所属する副コンテンツデータから抽出された補助情報に対して優先度０が付与され、実質的に、優先度の付与は行われないことになる。これに対して、参照点に対する距離に基づいて優先度を付与する方法を採用した場合、認識点Ｑ５と各参照点Ｇ１〜Ｇ５との距離に基づいて、各カテゴリーＣ１〜Ｃ５について優先度を付与することができる。たとえば、カテゴリーＣ４についての優先度は、図示のとおり、認識点Ｑ５と参照点Ｇ４との距離Ｌ５に基づいて決定される。

距離に基づいて優先度を決定するには、たとえば、予め距離に反比例するような優先度を定義しておけば、距離が短いほど高くなる優先度を決定することができる（距離が０に近づくと優先度は急激に増加するので、実用上は、優先度に上限値を設けるようにすればよい）。

なお、優先度は必ずしも連続的な値をとる必要はないので、距離に基づいて段階的な優先度を定義することも可能である。図示の例の場合、彩度値Ｓは０〜１．０、明度値Ｖは０〜１．０の範囲で定義されるので、ＳＶ色平面は、縦横ともに１．０の寸法をもった正方形内の領域に定義されることになる。そこで、たとえば、認識点Ｑと任意の参照点Ｇとの距離をＬとして、Ｌ＜０．１の場合は優先度３とし、０．１≦Ｌ＜０．２の場合は優先度２とし、０．２≦Ｌ＜０．３の場合は優先度１とし、０．３≦Ｌの場合は優先度０とする、というような段階的な定義を行えば、０〜３の範囲内の４段階の優先度を定義することができる。

このように、認識点Ｑと参照点Ｇとの距離Ｌだけに基づいて優先度を決定する方法を採る場合、各カテゴリーについて閉領域を定義する必要はなく、参照点のみを定義しておけば足りることになる。しかしながら、実際には、各カテゴリーの色に関する特徴は、参照点Ｇという１点だけで表現することは困難であり、ある程度の広がりをもった閉領域、すなわち、彩度値Ｓおよび明度値Ｖの組み合わせの分布範囲として表現するのが好ましい。したがって、実用上は、認識点Ｑが各カテゴリーについて定義された閉領域に含まれるか含まれないか、という二値情報に基づいて優先度の定義を行うという基本方針を採用しつつ、認識点Ｑと参照点Ｇとの距離Ｌも考慮に入れて、きめ細かな優先度定義を行うようにするのが好ましい。

具体的には、たとえば、認識点Ｑが各カテゴリーについて定義された閉領域に含まれる場合は、当該カテゴリーについてポイント５を加算し、更に、認識点Ｑと参照点Ｇとの距離に応じて、上述した例のように０〜３の範囲内の４段階のポイントを定めて加算し、これらポイントの総合計を優先度とするような取り扱いを行えばよい。そうすれば、図１２に示す認識点Ｑ４の場合、カテゴリーＣ３，Ｃ４にポイント５が加算されるとともに、更に、カテゴリーＣ１〜Ｃ５のすべてについて、認識点Ｑと参照点Ｇとの距離に応じて０〜３ポイントが加算されることになる。また、図１２に示す認識点Ｑ５の場合は、いずれの閉領域にも含まれないため、ポイント５の加算は行われないが、カテゴリーＣ１〜Ｃ５のすべてについて、認識点Ｑと参照点Ｇとの距離に応じて０〜３ポイントが加算されることになる。

なお、このように、認識点Ｑが各カテゴリーについて定義された閉領域に含まれるか含まれないか、という二値情報に基づいて優先度の定義を行う方法と、認識点Ｑと参照点Ｇとの距離Ｌも考慮に入れた優先度定義を行う方法とを併用する手法は、§３−２で述べた三次元ＨＳＶ色空間上に閉領域をマッピングする実施例においても有効である。

＜３−４：一次元色座標軸上に閉区間をマッピングする実施例＞
これまで、関連性情報格納部１４５に格納する関連性情報の実施例として、§３−２において三次元ＨＳＶ色空間上に閉領域をマッピングした実施例を示し、§３−３において二次元ＳＶ色平面上に閉領域をマッピングする実施例を示した。そこで、ここでは、一次元色座標軸上に閉区間をマッピングする実施例を示すことにする。

図１３は、図１に示す関連性情報格納部１４５内に格納する関連性情報として、一次元彩度軸上の区間を定義する情報を用いた例を示す平面図である。この例は、一次元色座標軸を用いた例であるため、横軸として彩度Ｓの座標軸（座標値０〜１．０）のみが定義されており、縦軸は定義されていない（図では便宜上、上下方向に各カテゴリーを並べて示しているが、縦軸が定義されているわけではない。）。

この図１３に示す例では、図６に示す例と同様に、Ｃ１〜Ｃ５の５つのカテゴリーについて、それぞれ対応する閉区間が、彩度軸上にマッピングされている。すなわち、「カテゴリーＣ１：辞書」についての閉区間Ｃ１は、彩度Ｓが中以下の低い領域を占め、「カテゴリーＣ２：専門書」についての閉区間Ｃ２は、彩度Ｓが中程度の領域を占め、「カテゴリーＣ３：小話・豆知識」についての閉区間Ｃ３は、彩度Ｓが中以上の領域を占め、「カテゴリーＣ４：生活情報」についての閉区間Ｃ４は、彩度Ｓが中〜低の領域を占め、「カテゴリーＣ５：ビジネス書」についての閉区間Ｃ５は、彩度Ｓが中〜高の領域を占めている。このような領域分布は、各カテゴリーの色に関する特徴を考慮したものである。

図１３では、一次元色座標軸として彩度軸Ｓをとった例が示されているが、もちろん、一次元色座標軸としては、明度軸Ｖをとることもできるし、色相軸Ｈをとることもできる。このような関連性情報を関連性情報格納部１４５に格納しておけば、優先度付与部１４４は、色認識部１４３が認識した色を、この一次元色座標軸上の位置Ｑ（認識点Ｑ）としてプロットし、プロットされた認識点Ｑとマッピングされた個々の閉区間Ｃ１〜Ｃ５との位置関係に基づいて優先度を付与することができる。

この場合も、認識点Ｑが各カテゴリーについて定義された閉区間に含まれるか含まれないか、という二値情報に基づいて優先度の定義を行う方法と、認識点Ｑと参照点Ｇ（たとえば、各閉区間の中心点）との距離Ｌを考慮に入れた優先度定義を行う方法とを併用することができる。二値情報に基づいて優先度の定義を行えば、図１３に示す認識点Ｑに対して、カテゴリーＣ１，Ｃ４は優先度１、カテゴリーＣ２，Ｃ３，Ｃ５は優先度０が与えられる。

結局、§３−２〜§３−４に示す実施例を踏まえると、関連性情報格納部１４５には、個々のカテゴリーについて、色相値Ｈ、彩度値Ｓ、明度値Ｖのうちのいずれか１つの値の分布範囲もしくはこれらの値の組み合わせの分布範囲を対応づけた関連性情報を格納しておくようにすればよい。そして、色認識部１４３が、対象画像についての代表色を、色相値Ｈ、彩度値Ｓ、明度値Ｖのうちのいずれか１つの代表値もしくはその組み合わせとして認識するようにすれば、優先度付与部１４４は、個々のカテゴリーに対応づけられた色相値Ｈ、彩度値Ｓ、明度値Ｖの分布範囲もしくはこれらの値の組み合わせの分布範囲と、色認識部１４３が認識した色相値Ｈ、彩度値Ｓ、明度値Ｖの代表値もしくはその組み合わせと、を比較し、両者の近似度に応じた優先度を付与することができる。

＜３−５：色認識部による色の認識方法＞
ここでは、図１に示す色認識部１４３による具体的な色の認識方法を簡単に説明しておく。たとえば図４に示すような方法で、対象画像１５２についての補助情報の要求指示が与えられた場合、色認識部１４３は、この対象画像１５２全体を代表する代表色についての色相値Ｈ，彩度値Ｓ，明度値Ｖを求める処理を行えばよい。具体的には、色認識部１４３は、対象画像１５２についての代表色を、当該対象画像１５２を構成する各部の色相値Ｈ、彩度値Ｓ、もしくは明度値Ｈの面積を考慮した重み付け平均値（§３−４で説明した一次元色座標軸上に閉区間をマッピングする実施例の場合）、またはその組み合わせ（§３−２，§３−３で説明した三次元色空間上や二次元色平面上に閉領域をマッピングする実施例の場合）として認識すればよい。

たとえば、対象画像１５２が、縦横マトリックス状に配置された多数の画素についての画素値の集合体からなるラスター画像であった場合、個々の画素の画素値の平均値を求めれば、当該平均値は、面積（すなわち、同じ画素値をもった画素の数）を考慮した重み付け平均値ということになり、当該平均値で示される色は、対象画像１５２全体を代表する代表色ということになる。

また、対象画像１５２が、図形の集合体として表現されたベクター画像であった場合、個々の図形内の色について、当該図形の面積を考慮した重み付け平均値を求めれば、当該平均値で示される色は、対象画像１５２全体を代表する代表色ということになる。

図１４は、対象画像１５２内の絵柄が、ベクター画像として用意された一例を示す平面図である。この例の場合、たとえば、絵柄の部分領域Ｅ１（月の絵柄部分）は、円によって表現されており、円の中心点座標、円の半径、内部の色、輪郭線の色を示すデータによって構成することができる。一方、部分領域Ｅ２，Ｅ３，Ｅ４（雲、狼、岩場の絵柄部分）は、任意形状の輪郭線を示すデータ（たとえば、ベジェ曲線データ）、内部の色、輪郭線の色を示すデータによって構成することができる。また、部分領域Ｅ５は背景であり、画像全体の形成領域から、各部分領域Ｅ１〜Ｅ４を除外した領域として定義され、色を示すデータのみによって表現することができる。

この図１４に示すような例では、個々の部分領域を構成する図形は、図形内部に塗られている色を示す値と、輪郭線を構成する色を示す値とを含んでいるので、これら色を示す値について、その面積を考慮した重み付け平均を行うことにより、対象画像１５２全体を代表する代表色を示す値を求めることができる。

通常、ディスプレイ画面上に表示される画像の色は、三原色Ｒ，Ｇ，Ｂの成分値の組み合わせによって表現される。たとえば、１つの色を８ビットで表現した場合、三原色Ｒ，Ｇ，Ｂの各成分値は、それぞれ０〜２５５の値をとることになる。対象画像１５２がラスター画像であった場合は、個々の画素が、それぞれ三原色Ｒ，Ｇ，Ｂの画素値（たとえば、０〜２５５の値）をもつことになるので、三原色Ｒ，Ｇ，Ｂごとに画素値の平均Ｒav，Ｇav，Ｂavを求めれば、得られた平均値（Ｒav，Ｇav，Ｂav）で示される色が、当該画像の代表色ということになる。

対象画像１５２がベクター画像であった場合は、個々の図形の内部もしくは輪郭線の色が、それぞれ三原色Ｒ，Ｇ，Ｂの画素値（たとえば、０〜２５５の値）をもつことになるので、各図形や輪郭線の面積を考慮して、やはり三原色Ｒ，Ｇ，Ｂごとに画素値の平均Ｒav，Ｇav，Ｂavを求めれば、得られた平均値（Ｒav，Ｇav，Ｂav）で示される色が、当該画像の代表色ということになる。

なお、これまで述べてきた実施例では、色を色相，彩度，明度という３要素によって定義するＨＳＶ表色系を用いた取り扱いを行っているが、ＲＧＢ表色系とＨＳＶ表色系との間には１対１の対応関係があり、成分値（Ｒ，Ｇ，Ｂ）によって表される色は、次のような変換式によって成分値（Ｈ，Ｓ，Ｖ）に置き換えることができる。
Ｈ＝６０×（Ｇ−Ｂ）／Max −Min ）＋０ （Max ＝Ｒの場合）
Ｈ＝６０×（Ｂ−Ｒ）／Max −Min ）＋１２０ （Max ＝Ｇの場合）
Ｈ＝６０×（Ｒ−Ｇ）／Max −Min ）＋２４０ （Max ＝Ｂの場合）
Ｓ＝（Max −Min ）／Max
Ｖ＝Max
但し、Max とは、Ｒ，Ｇ，Ｂのうちの最大のもの、Min とは、Ｒ，Ｇ，Ｂのうちの最小のものを指し、Ｈ＜０の場合は、Ｈ＝Ｈ＋３６０°とする。また、Ｓ＝０の場合、Ｈは定義されない。

このような対応関係を考慮すれば、ＲＧＢ表色系で表された色であっても、ＨＳＶ表色系に置き換えて取り扱うことができる。したがって、色認識部１４３が認識した代表色がＲＧＢ表色系を用いた（Ｒ，Ｇ，Ｂ）なる値で表現されていたとしても、これを（Ｈ，Ｓ，Ｖ）なる値で表現したＨＳＶ表色系に置き換え、三次元ＨＳＶ色空間や、二次元ＳＶ色平面上に認識した色を認識点Ｑとしてプロットすることができる。

＜＜＜ §４． 本発明の第２の実施形態 ＞＞＞
続いて、ここでは、これまで述べてきた第１の実施形態に若干の変更を加えた第２の実施形態を述べる。第１の実施形態では、色認識部１４３によって対象画像の色を認識し、この認識した色に基づいて、各カテゴリーに対する優先度を決定する処理が行われた。ここで述べる第２の実施形態では、色とともに画像の複雑度（ここでは、Complexityの頭文字をとって、複雑度をＣで表す）を認識し、認識した色と複雑度Ｃとに基づいて、各カテゴリーに対する優先度を決定する処理が行われる。

図１５は、この第２の実施形態に係るコンテンツ表示装置１００Ａの構成を示すブロック図である。図１に示す第１の実施形態に係るコンテンツ表示装置１００との相違点は、副コンテンツ提示処理部１４０Ａの構成だけである。まず、図１５に示す副コンテンツ提示処理部１４０Ａでは、新たな構成要素として、複雑度認識部１４７が付加されている。また、図１５に示す優先度付与部１４４Ａおよび関連情報格納部１４５Ａは、図１に示す優先度付与部１４４および関連情報格納部１４５とは若干異なる機能を有している。以下、これら相違点のみについて説明を行い、その余の構成要素についての説明は省略する。

まず、複雑度認識部１４７は、対象画像について複雑度Ｃを認識する処理を行う構成要素である。たとえば、図４に示すように、ユーザが画像１５２を対象画像として指定して、当該対象画像１５２についての補助情報の要求を行うと、色認識部１４３によって当該対象画像１５２についての色が認識されるとともに、複雑度認識部１４７によって当該対象画像１５２についての複雑度Ｃが認識されることになる。そして、優先度付与部１４４Ａは、対象画像１５２について認識された色と複雑度Ｃとの双方に基づいて、検索処理部１４２によって検索された補助情報に対して優先度の付与を行うことになる。

そのために、関連性情報格納部１４５Ａには、個々のカテゴリーと色との関連性とともに個々のカテゴリーと複雑度Ｃとの関連性を示す関連性情報が格納されており、優先度付与部１４４Ａは、色認識部１４３が認識した色と、複雑度認識部１４７が認識した複雑度Ｃと、の双方に基づいて関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する処理を行うことになる。

ここで、複雑度認識部１４７によって認識される複雑度Ｃとは、画像の上に表現されている絵柄の込み入り具合、濃淡や色の変化の発生頻度を意味するものである。このような複雑度Ｃを定量的な値として求めるには、複雑度認識部１４７に、対象画像の空間周波数を検出する機能をもたせておき、検出された空間周波数値に応じた値を複雑度Ｃとして認識できるようにすればよい。

一般に、多数の画素の集合体から構成されるラスター画像については、公知の方法で空間周波数を求めることが可能である。具体的には、所定方向について、画素値の変動を波形として取り出し、当該波形の周波数成分を一般的な信号解析の方法で認識すれば、当該方向に関する画像の空間周波数が得られる。１枚の画像について、１つの代表的な空間周波数を求めるのであれば、縦方向の空間周波数と横方向の空間周波数との平均をとればよい。また、カラー画像の場合は、各原色成分の画素値について、それぞれ空間周波数を求め、その平均をとればよい。もちろん、空間周波数が高い画像ほど、複雑度Ｃが高い画像ということになる。

また、幾何学図形の集合体によって構成されるベクター画像については、より単純な方法で複雑度Ｃを定義することも可能である。具体的には、複雑度認識部１４７が、幾何学図形の集合体によって構成される対象画像について、予め個々の幾何学図形に対応づけて定義されたポイントを集計する処理を行い、ポイントの集計値を複雑度Ｃとして認識するようにすればよい。

図１６は、このような原理で複雑度Ｃを認識する方法の一例を示す平面図である。ここに示す例は、四角形、円、楕円、直線、折れ線、多角形という各図形の集合によってベクター画像が構成されている例であり、個々の図形は、それぞれ図の記述子の欄に示されている記号によって表現される。パラメータの欄には、各記述子の括弧内に引数として用いられているパラメータの内容が示されている。

たとえば、四角形は、中心点の座標を（ｘ，ｙ）、幅をｗ、高さをｈとして、「Ｒｅｃｔ（ｘ，ｙ，ｗ，ｈ）」なる記述子によって表現され、円は、中心点の座標を（ｘ，ｙ）、半径をｒとして、「Ｃｉｒｃｌｅ（ｘ，ｙ，ｒ）」なる記述子によって表現される。なお、ここでは、図形内部の色や輪郭線の色を示すパラメータは省略されているが、実際には、個々の図形ごとに、それぞれ色を示すパラメータ（たとえば、三原色Ｒ，Ｇ，Ｂの成分値など）が付加される。一般的なベクター画像は、この図１６に例示するような記述子を羅列したデータによって構成されている。

一方、図１６の右端欄に示すポイントは、複雑度Ｃを求めるために定義されたポイントである。この例の場合、四角形、円、楕円にはそれぞれ４ポイント、直線には２ポイント、折れ線や多角形には構成要素となる点の数に相当するポイントが対応づけられている。したがって、複雑度認識部１４７内に、このような個々の記述子とポイントとを対応づけるテーブルを用意しておけば、対応画像（ベクター画像）を構成するデータに含まれる記述子を１つ１つチェックしながら、当該記述子に対応するポイントを加算して集計する処理を行うことにより、ポイントの集計値として複雑度Ｃを決定することができる。

このように、本発明における複雑度Ｃは、画像をラスター画像として捉えたときの空間周波数に基づいて決定することもできるし、画像をベクター画像として捉えたときの構成要素となる図形のポイント集計値に基づいて決定することもできる。なお、実用上は、空間周波数やポイント集計値に上限基準値を設定しておき、この上限基準値を複雑度Ｃの最大値に設定するようにし、空間周波数やポイント集計値が上限基準値を超えた場合には、常に複雑度Ｃの最大値を対応づけるようにするのが好ましい。すなわち、ある程度以上複雑な画像については、一律して、最大の複雑度Ｃが与えられることになる。

前述したとおり、この第２の実施形態に用いられる関連性情報格納部１４５Ａには、個々のカテゴリーと色との関連性とともに個々のカテゴリーと複雑度Ｃとの関連性を示す関連性情報が格納されている。図１７は、この関連性情報格納部１４５Ａ内に格納する関連性情報として、ＳＶＣ三次元空間上の分布範囲を定義する情報を用いた例を示す斜視図である。このＳＶＣ三次元空間は、彩度値Ｓ、明度値Ｖ、複雑度Ｃを互いに直交する座標軸上にとることにより定義される空間であり、このＳＶＣ空間上の任意の１点は、特定の彩度値Ｓ、明度値Ｖ、複雑度Ｃを有する点になる。

関連性情報格納部１４５Ａには、このＳＶＣ空間上に、個々のカテゴリーに対応する閉領域をマッピングしたマッピング情報を関連性情報として格納しておけばよい。図１７には、図１５の副コンテンツデータ格納部１６０内に設定されている３つのカテゴリーＣ１，Ｃ２，Ｃ３に対応して、それぞれ閉領域Ｃ１，Ｃ２，Ｃ３をマッピングすることにより構成された関連性情報の一例が示されている。

結局、この関連性情報は、個々のカテゴリーＣ１，Ｃ２，Ｃ３について、彩度値Ｓ、明度値Ｖ、複雑度Ｃの組み合わせの分布範囲を対応づけたものということができる。関連性情報格納部１４５Ａにこのような関連性情報を格納しておき、色認識部１４３が、対象画像について彩度の代表値および明度の代表値を認識し、複雑度認識部１４７が、対象画像についての複雑度を認識すれば、優先度付与部１４４Ａは、個々のカテゴリーＣ１，Ｃ２，Ｃ３に対応づけられた彩度値Ｓ、明度値Ｖ、複雑度Ｃの組み合わせの分布範囲と、色認識部１４３が認識した彩度Ｓの代表値、色認識部１４３が認識した明度Ｖの代表値、複雑度認識部１４７が認識した複雑度Ｃの組み合わせ（Ｓ，Ｖ，Ｃ）と、を比較し、両者の近似度に応じた優先度を付与することができる。

より具体的に説明すれば、関連性情報格納部１４５Ａには、図１７に示す例のように、第１の座標軸に彩度値Ｓ、第２の座標軸に明度値Ｖ、第３の座標軸に複雑度ＣをとったＳＶＣ三次元空間上に個々のカテゴリーに対応する閉領域Ｃ１，Ｃ２，Ｃ３をマッピングしたマッピング情報が関連性情報として格納されているので、優先度付与部１４４Ａは、色認識部１４３が認識した色および複雑度認識部１４７が認識した複雑度Ｃを、このＳＶＣ三次元空間上に、彩度Ｓの代表値、明度Ｖの代表値、複雑度Ｃをそれぞれ座標値とする認識点Ｑとしてプロットし、プロットされた認識点Ｑとマッピングされた個々の閉領域Ｃ１，Ｃ２，Ｃ３との位置関係に基づいて優先度を付与する処理を行えばよい。

図１８は、図１７に示す関連性情報を利用して、各カテゴリーについての優先度を定義する方法を示す斜視図である。この第２の実施形態の場合も、前述した第１の実施形態と同様に、認識点Ｑが各カテゴリーについて定義された閉領域Ｃ１〜Ｃ３に含まれるか含まれないか、という二値情報に基づいて優先度の定義を行う方法と、認識点Ｑと参照点Ｇ１〜Ｇ３（たとえば、各閉領域の中心点）との距離Ｌを考慮に入れた優先度定義を行う方法とを採用することができ、もちろん、両者を併用することもできる。

たとえば、二値情報に基づいて優先度の定義を行えば、図１８に示す認識点Ｑ６については、カテゴリーＣ１には優先度１、カテゴリーＣ２，Ｃ３には優先度０が与えられ、認識点Ｑ７については、カテゴリーＣ１〜Ｃ３のすべてに優先度０が与えられることになる。一方、距離Ｌを考慮に入れた優先度の定義を行う場合は、たとえば、認識点Ｑ７についてのカテゴリーＣ３の優先度は、認識点Ｑ７と参照点Ｇ３とのユークリッド距離Ｌ７に基づいて決定されることになる。

§３−３で述べたように、本発明を実施する場合、色に関しては、実用上は、彩度Ｓおよび明度Ｖに着目して、ＳＶ二次元色平面上にマッピングされた閉領域によって、個々のカテゴリーに対応づけられた色の分布範囲を示せば十分である。この第２の実施形態は、この色の２要素ＳおよびＶに、更に複雑度Ｃを加えることにより、カテゴリーに対する優先度の評価をより適切に行うことができるようにしたものである。

すなわち、この第２の実施形態の基本概念は、色とカテゴリーとの間に相関関係が見られるのと同様に、複雑度とカテゴリーとの間にも相関関係が見られるであろう、との着想に基づくものである。たとえば、複雑度Ｃの高い画像について提示する補助情報としては、「専門書」や「ビジネス書」といったカテゴリーに属するコンテンツから抽出した情報がより適切であるが、逆に、複雑度Ｃの低い画像について提示する補助情報としては、「生活情報」や「小話・豆知識」といったカテゴリーに属するコンテンツから抽出した情報がより適切であると考えられる。このように、第２の実施形態の利点は、色だけでなく、更に複雑度も考慮することにより、更に適切な補助情報を選択して提示することが可能になる点にある。

＜＜＜ §５． 本発明の第３の実施形態 ＞＞＞
上述した§４では、第２の実施形態として、対象画像の色と複雑度とに基づいて、各カテゴリーに対する優先度を決定する形態を述べた。ここで述べる第３の実施形態においても、対象画像の色と複雑度とを認識することになる。ただ、この第３の実施形態では、各カテゴリーに対する優先度は色のみに基づいて決定し、複雑度は、同一カテゴリー内の副コンテンツ間に異なる優先度を設定するために利用される。

図１９は、この第３の実施形態に係るコンテンツ表示装置１００Ｂの構成を示すブロック図である。図１に示す第１の実施形態に係るコンテンツ表示装置１００との相違点は、副コンテンツ提示処理部１４０Ｂの構成と、副コンテンツデータ格納部１６０Ｂの構成だけである。

副コンテンツデータ格納部１６０Ｂは、基本的には、これまで述べてきた実施形態と同様に、それぞれ異なるカテゴリーＣ１〜Ｃ３に所属する複数の副コンテンツデータＳ１〜Ｓ８を格納する構成要素であるが、ここに格納されている個々の副コンテンツデータＳ１〜Ｓ８には、それぞれ所定の複雑度Ｃが設定されている。図１９における副コンテンツデータＳ１〜Ｓ８のブロック内に示されている、丸に「複」の字のマークは、それぞれに設定された複雑度Ｃを示すものである。

一方、図１９に示す副コンテンツ提示処理部１４０Ｂには、複雑度認識部１４７が付加されている。この複雑度認識部１４７は、図１５に示す複雑度認識部１４７と全く同じ構成要素であり、対象画像について複雑度Ｃを認識する処理を行う機能を有している。複雑度Ｃについての具体的な認識方法は、既に§４で説明したとおりであるので、ここでは説明を省略する。

図１９に示す副コンテンツ提示処理部１４０Ｂ内の関連性情報格納部１４５は、図１に示す関連性情報格納部１４５と全く同じ構成要素であり、個々のカテゴリーと色との関連性を示す関連性情報を格納する機能を有している。図１５に示す関連性情報格納部１４５Ａには、図１７に示すように、個々のカテゴリーと、色および複雑度と、の関連性を示す関連性情報が格納されているが、図１９に示す関連性情報格納部１４５には、複雑度Ｃに関する関連性を示す情報は格納されていない（複雑度Ｃに関する情報は、前述したように、副コンテンツデータ格納部１６０Ｂ内の個々の副コンテンツデータに設定されている。）。

一方、この第３の実施形態に特有の優先度付与部１４４Ｂは、基本的には、色認識部１４３が認識した色に基づいて関連性情報格納部１４５内の関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する処理を行うが、更に、複雑度認識部１４７が認識した複雑度Ｃにより近似する複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与する処理も併せて行う機能を有している。

要するに、この第３の実施形態では、色認識部１４３が認識した色に基づいて、個々のカテゴリーに対して所定の優先度が付与されるとともに、複雑度認識部１４７が認識した複雑度Ｃに基づいて、個々の副コンテンツデータに対して直接的に所定の優先度が付与されることになる。このため、同一のカテゴリーに所属する副コンテンツデータであっても、それぞれ設定された複雑度に基づいて、互いに異なる優先度が付与されることになる。

以下、より具体的な例として、図６に示すような５つのカテゴリーＣ１〜Ｃ５を定義し、これら各カテゴリーに対応する閉領域Ｃ１〜Ｃ５を図９に示すような二次元ＳＶ色平面上に配置することによって関連性情報を構成し、これを関連性情報格納部１４５内に格納した例について、第３の実施形態を説明しよう。図２０は、このような具体例における優先度付与部１４４Ｂによる優先度決定方法を示す斜視図である。この図２０に示す空間は、図１７と同様に、彩度Ｓ，明度Ｖ、複雑度Ｃをそれぞれ座標軸にとった三次元座標空間であるが、関連性情報格納部１４５内に格納されている情報は、このうちの二次元ＳＶ色平面上の情報（すなわち、図９に示す情報）のみである。上述したとおり、関連性情報には、複雑度Ｃに関する情報は含まれていない。

図１９に示すとおり、優先度付与部１４４Ｂには、色認識部１４３から認識した色の情報（この実施例の場合、彩度Ｓの代表値と明度Ｖの代表値）が与えられ、複雑度認識部から認識した複雑度Ｃが与えられる。これらの情報（Ｓ，Ｖ，Ｃ）を、図２０の座標空間にプロットすれば、図示のような認識点Ｑ８が得られる。しかしながら、関連性情報は二次元ＳＶ色平面上の閉領域Ｃ１〜Ｃ５として定義されているだけなので、結局、各カテゴリーに対して付与する優先度は、§３−３で述べた二次元ＳＶ色平面上に閉領域をマッピングする実施例と同様に、ＳＶ色平面上の閉領域Ｃ１〜Ｃ５の情報に基づいて決定される。

すなわち、認識点Ｑ８をＳＶ色平面上に正射影投影して得られる認識点Ｑ９に基づいて、§３−３で述べた方法により、各カテゴリーＣ１〜Ｃ５に対する優先度が決定される。たとえば、閉領域内に含まれるか含まれないかという二値情報に基づいて優先度の定義を行えば、図２０に示す認識点Ｑ９については、カテゴリーＣ４には優先度１、カテゴリーＣ１〜Ｃ３，Ｃ５には優先度０が与えられることになる。もちろん、認識点Ｑ９と各参照点Ｇ１〜Ｇ５との距離を考慮に入れて優先度を決定することも可能である。

いずれにしても、ＳＶ色平面上の認識点Ｑ９に基づいて決定された優先度は、個々のカテゴリーごとの優先度であるから、同一カテゴリーに所属する副コンテンツデータに対しては、同一の優先度が付与されることになる。一方、優先度付与部１４４Ｂには、複雑度Ｃの情報も与えられており、この複雑度Ｃも考慮に入れた認識点Ｑ８は、図示のとおり、ＳＶ色平面上の認識点Ｑ９から距離Ｌ８（すなわち、複雑度Ｃの値）だけ隔たっていることになる。ここで説明する第３の実施形態の場合、この複雑度Ｃを利用して、同一カテゴリーに所属する個々の副コンテンツデータに対して、それぞれ設定されている複雑度に応じた優先度を付与する処理が行われる。

ここでは、説明の便宜上、副コンテンツデータ格納部１６０Ｂには、図６に示すような５つのカテゴリーＣ１〜Ｃ５に所属する合計１３組の副コンテンツデータＳ１〜Ｓ１３が格納されているものとし、このうちのカテゴリーＣ４に所属する副コンテンツデータＳ９〜Ｓ１１について、図２１に示すような複雑度が設定されていたものとしよう（図１９において、丸に「複」の字のマークで示すように、各副コンテンツデータのすべてに、それぞれ所定の複雑度Ｃが設定されている）。

ここで、各副コンテンツデータに対する複雑度Ｃは、個々のコンテンツの内容の複雑さに応じて、この装置の設計者が適宜設定すればよい。たとえば、図２１に示す例の場合、「Ｓ９：子供生活百科」なる子供向けの情報については、Ｃ＝０．１という低い複雑度が設定され、「Ｓ１０：京都散策」なる大人向けの情報については、Ｃ＝０．８という比較的高い複雑度が設定され、「Ｓ１１：おそうじ読本」なる一般向けの情報については、Ｃ＝０．５という中程度の複雑度が設定されている。

したがって、同じ「Ｃ４：生活情報」というカテゴリーに所属する副コンテンツデータＳ９〜Ｓ１１から抽出された補助情報であっても、対象画像について認識された複雑度Ｃに基づいて、それぞれ異なる優先度が付与されることになる。すなわち、認識された複雑度Ｃにより近似する複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度が付与されることになる。たとえば、対象画像が非常に単純な画像であった場合には、「Ｓ９：子供生活百科」から抽出された補助情報の優先度が高くなり、対象画像が複雑な画像であった場合には、「Ｓ１０：京都散策」から抽出された補助情報の優先度が高くなる。

具体的には、たとえば、各副コンテンツデータに予め設定されている複雑度と複雑度認識部１４７によって認識された複雑度Ｃとの差に基づいて、差が小さいほど大きな優先度を付与するようにすればよい。この場合、実用上は、各副コンテンツデータに予め設定されている複雑度の分布範囲と、複雑度認識部１４７によって認識される複雑度Ｃの分布範囲と、がほぼ同じになるような設定にするのが好ましい。たとえば、分布範囲が０〜１．０の範囲内となるように設定し、上記差が０．１以内の副コンテンツに対しては優先度１を付与し、上記差が０．３以内の副コンテンツに対しては優先度０．５を付与する、という取り決めをした場合において、複雑度認識部１４７によって認識された複雑度Ｃが０．２であったとすると、図２１に示す「Ｓ９：子供生活百科」には優先度１（差は０．１）、「Ｓ１０：京都散策」には優先度０（差は０．６）、「Ｓ１１：おそうじ読本」には優先度０．５（差は０．３）が付与されることになる。

もちろん、各カテゴリーに対しては、色認識部１４３が認識した色に基づいて優先度が付与されることになるので、結局、検索処理部１４２によって検索された個々の補助情報には、色に基づく優先度と複雑度に基づく優先度との双方が付与されることになる。たとえば、上例の場合、認識点Ｑ９が閉領域Ｃ４内に含まれるため、カテゴリー「Ｃ４：生活情報」に対して色に基づく優先度１が付与されたとすると、「Ｓ９：子供生活百科」から抽出された補助情報には合計の優先度２が付与され、「Ｓ１０：京都散策」から抽出された補助情報には合計の優先度１が付与され、「Ｓ１１：おそうじ読本」から抽出された補助情報には合計の優先度１．５が付与されることになる。

このように、この第３の実施形態の場合も、色だけでなく、複雑度も考慮して優先度が付与されるため、更に適切な補助情報を選択して提示することが可能になる。

＜＜＜ §６． 本発明に係るコンテンツ表示方法 ＞＞＞
ここでは、本発明をコンテンツ表示方法として把握した場合の当該方法の手順を説明する。図２２は、本発明に係るコンテンツ表示方法の基本手順を示す流れ図である。この方法は、画像を含む主コンテンツの内容を表示するとともに、表示中の主コンテンツ内の画像に関連した補助情報を副コンテンツから検索し、検索された補助情報を提示するコンテンツ表示方法であり、図示のとおり、ステップＮ１〜Ｎ７の各段階によって構成される。これらの各段階は、いずれもコンピュータによって実行される。

まず、ステップＮ１では、コンピュータが、ユーザの指示に基づいて、主コンテンツの所定部分をディスプレイの画面に表示する主コンテンツ表示段階が行われる。具体的には、たとえば、図２に例示するように、主コンテンツ表示領域１５０Ｍ内に主コンテンツの表示が行われる。

続くステップＮ２では、コンピュータが、ユーザの指示に基づいて、ディスプレイの画面に表示されている主コンテンツ内の特定の画像を対象画像として認識するとともに、当該対象画像に付されている検索用文字列を認識する対象認識段階が行われる。たとえば、図４に例示するように、ユーザが指Ｆによって、主コンテンツ内の特定の画像１５２を指定する入力を行うと、当該画像１５２が対象画像として認識されるとともに、図３に示すような検索用文字列Ｋ（画像１５２に付されている検索用文字列）が認識されることになる。

次のステップＮ３では、コンピュータが、認識した検索用文字列Ｋを検索キーとして用いて、それぞれ異なるカテゴリーに所属する複数の副コンテンツデータに対する検索処理を実行し、ヒットした補助情報を抽出する検索処理段階が行われる。そして、ステップＮ４では、対象画像１５２について色を認識する色認識段階が行われ、更に、ステップＮ５では、コンピュータが、対象画像１５２について複雑度Ｃを認識する複雑度認識段階が行われる。なお、このステップＮ５は、§４で説明した第２の実施形態および§５で説明した第３の実施形態を実施する場合に必要な段階であり、§１で説明した第１の実施形態を行う場合は必要ない。

続くステップＮ６では、コンピュータが、予め定義されている個々のカテゴリーと色との関連性を示す関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する優先度付与段階が実行される。

但し、§４で説明した第２の実施形態を実施する場合は、このステップＮ６において、コンピュータが、予め定義されている個々のカテゴリーと色との関連性および個々のカテゴリーと複雑度との関連性を示す関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する処理が行われる。

また、§５で説明した第３の実施形態を実施する場合は、このステップＮ６において、コンピュータが、予め設定されている個々の副コンテンツデータの複雑度を参照し、ステップＮ５の複雑度認識段階で認識した複雑度により近似する複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与する処理が行われる。

そして、最後のステップＮ７では、コンピュータが、付与された優先度に応じた優先順位に基づいて、抽出された補助情報の提示を行う補助情報提示段階が実行される。

＜＜＜ §７． その他の変形例 ＞＞＞
以上、本発明をいくつかの実施形態に基づいて説明したが、最後に、本発明のいくつかの変形例を述べておく。

＜７−１：補助情報の形態＞
図４および図５に示す実施例では、補助情報１５４〜１５６としてテキストデータによって構成される情報を用いた例を示したが、補助情報は、必ずしもテキストデータによって構成される情報である必要はなく、画像データ、動画データ、音声データによって構成される情報であってもかまわない（この場合、副コンテンツデータＳが、画像データ、動画データ、音声データによって構成されることになり、何らかの検索用インデックスを付加しておくようにする。）。なお、補助情報が音声データのみによって構成される場合は、ディスプレイ１５０の画面上に表示されるわけではなく、スピーカなどから音として提示されることになるので、副コンテンツ表示領域１５０Ｓを表示する必要はない。

＜７−２：検索合致度に基づく優先度の付与＞
本発明では、まず、検索処理部１４２が検索用文字列Ｋを検索キーとして用いた検索を行い、副コンテンツデータの中から補助情報を抽出することになる。通常、このような検索用文字列Ｋを検索キーとして用いた検索では、検索キーに対する合致度が所定の基準以上の補助情報が、ヒットした補助情報として抽出されることになる。

たとえば、図３に示す例のように５つの単語が検索用文字列Ｋとして設定されていた場合、これら５つの単語を検索キーとする検索が行われることになるので、１つの単語についてのみ合致した補助情報もあれば、複数の単語について合致した補助情報もある。そして、１つの単語でも合致した場合にヒットした補助情報として抽出することもできれば、２つ以上の単語が合致した場合にのみヒットした補助情報として抽出することもできる。この場合、合致した単語の数を合致度として把握することができる。

このように、合致度が把握可能な態様で検索が行われた場合、優先度付与部１４４は、検索処理時の合致度の高い補助情報に、より高い優先度を付与することも可能である。すなわち、色や複雑度に基づく優先度に加えて、検索時の合致度に基づく優先度が付加されることになる。もちろん、各検索用文字列Ｋに重み付けが行われていた場合、検索処理部１４２は、当該重み付けを考慮した検索を行い、ヒットした補助情報に当該重み付けに基づく優先度を付与することも可能である。

＜７−３：ユーザによる難易度設定＞
§４で説明した第２の実施形態および§５で説明した第３の実施形態では、複雑度Ｃを考慮した優先度付与が行われるが、このように複雑度Ｃを考慮した取り扱いを行う実施形態の場合、指示入力部１２０に、提示される補助情報について、希望する難易度を設定するユーザの指示を入力する機能をもたせておき、ユーザの希望に応じた難易度に該当する補助情報が優先的に提示されるようにすることも可能である。

たとえば、ユーザが博識をもった大人である場合には、指示入力部１２０に対して、予め「難」を示す難易度設定を行っておくようにし、ユーザが子供である場合には、指示入力部１２０に対して、予め「易」を示す難易度設定を行っておくようにする。これらの難易度設定は、提示される補助情報に対してユーザが希望する難易度を示す情報であり、「難」を示す難易度設定は、ユーザが高度な知識を必要とする、難しい内容の補助情報を希望していることを示し、「易」を示す難易度設定は、ユーザが高度な知識を必要としない、易しい内容の補助情報を希望していることを示している。

そして、第２の実施形態の場合は、優先度付与部１４４Ａが、設定された難易度が難を示しているほど、より複雑度が高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにする。また、第３の実施形態の場合は、優先度付与部１４４Ｂが、設定された難易度が難を示しているほど、より高い複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与するようにする。そうすれば、上例の大人のユーザに対しては、より複雑度が高い補助情報が優先的に提示されるようになり、上例の子供のユーザに対しては、より複雑度が低い補助情報が優先的に提示されるようになる。すなわち、ユーザが希望する難易度に応じた適切な補助情報を優先的に提示できるようになる。

１００：本発明の第１の実施形態に係るコンテンツ表示装置
１００Ａ：本発明の第２の実施形態に係るコンテンツ表示装置
１００Ｂ：本発明の第３の実施形態に係るコンテンツ表示装置
１１０：主コンテンツデータ格納部
１２０：指示入力部
１３０：主コンテンツ表示処理部
１４０：副コンテンツ提示処理部
１４１：検索用文字列認識部
１４２：検索処理部
１４３：色認識部
１４４，１４４Ａ，１４４Ｂ：優先度付与部
１４５，１４５Ａ：関連性情報格納部
１４６：補助情報提示処理部
１４７：複雑度認識部
１５０：ディスプレイ
１５０Ｍ：主コンテンツ表示領域
１５０Ｓ：副コンテンツ表示領域
１５１：主コンテンツを構成するテキスト本文
１５２：主コンテンツを構成する画像（対象画像）
１５３：音声提示ボタン
１５４〜１５６：補助情報（副コンテンツ）
１６０：副コンテンツデータ格納部
Ａ：音声データ
Ｃ：円周
Ｃ１〜Ｃ５：副コンテンツデータのカテゴリー／色の分布範囲を示す閉領域・閉区間
Ｅ１〜Ｅ５：絵柄の部分領域
Ｆ：ユーザの指
Ｇ１〜Ｇ５：各閉領域の参照点（重心点）
Ｈ：色相値
Ｋ：検索用文字列
Ｌ３〜Ｌ８：２点間のユークリッド距離
Ｍ１〜Ｍ３：主コンテンツデータ
Ｎ１〜Ｎ７：流れ図の各ステップ
Ｐ：画像データ
Ｐ１〜Ｐ８：三次元色空間上での点
Ｑ，Ｑ１〜Ｑ９：認識点
ｒ：円周の半径
Ｓ：彩度値
Ｓ１〜Ｓ１３：副コンテンツデータ
Ｔ：テキストデータ
Ｖ：明度値

Claims (26)

1. 画像を含む主コンテンツの内容を表示するとともに、表示中の主コンテンツ内の画像に関連した補助情報を副コンテンツから検索し、検索された補助情報を提示する機能をもったコンテンツ表示装置であって、
   検索用文字列が付された画像データを含む主コンテンツデータを格納する主コンテンツデータ格納部と、
   それぞれ異なるカテゴリーに所属する複数の副コンテンツデータを格納する副コンテンツデータ格納部と、
   ユーザの指示を入力する指示入力部と、
   コンテンツの内容を表示するディスプレイと、
   前記ユーザの指示に基づいて、前記主コンテンツデータ格納部に格納されている主コンテンツデータの所定部分を前記ディスプレイの画面に主コンテンツとして表示する主コンテンツ表示処理部と、
   前記ユーザの指示に基づいて、前記ディスプレイの画面に表示されている主コンテンツ内の特定の対象画像に関連した補助情報を前記複数の副コンテンツデータから検索する検索処理を実行し、検索処理の結果として得られた補助情報を副コンテンツとして提示する副コンテンツ提示処理部と、
   を備え、
   前記副コンテンツ提示処理部は、
   前記対象画像に付されている検索用文字列を認識する検索用文字列認識部と、
   認識した検索用文字列を検索キーとして用いて、前記複数の副コンテンツデータに対する検索処理を実行し、ヒットした補助情報を抽出する検索処理部と、
   個々のカテゴリーと色との関連性を示す関連性情報を格納した関連性情報格納部と、
   前記対象画像について色を認識する色認識部と、
   前記色認識部が認識した色に基づいて前記関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する優先度付与部と、
   付与された優先度に応じた優先順位に基づいて、抽出された補助情報の提示を行う補助情報提示処理部と、
   を有することを特徴とするコンテンツ表示装置。
2. 請求項１に記載のコンテンツ表示装置において、
   関連性情報格納部が、個々のカテゴリーについて、色相値、彩度値、明度値のうちのいずれか１つの値の分布範囲もしくはこれらの値の組み合わせの分布範囲を対応づけた関連性情報を格納しており、
   色認識部が、対象画像についての代表色を、色相値、彩度値、明度値のうちのいずれか１つの代表値もしくはその組み合わせとして認識し、
   優先度付与部が、個々のカテゴリーに対応づけられた色相値、彩度値、明度値の分布範囲もしくはこれらの値の組み合わせの分布範囲と、色認識部が認識した色相値、彩度値、明度値の代表値もしくはその組み合わせと、を比較し、両者の近似度に応じた優先度を付与することを特徴とするコンテンツ表示装置。
3. 請求項２に記載のコンテンツ表示装置において、
   関連性情報格納部が、個々のカテゴリーについて、彩度値、明度値、色相値の組み合わせの分布範囲を対応づけた関連性情報を含み、
   色認識部が、対象画像について、彩度の代表値、明度の代表値、色相の代表値を認識し、
   優先度付与部が、個々のカテゴリーに対応づけられた彩度値、明度値、色相値の組み合わせの分布範囲と、色認識部が認識した彩度の代表値、明度の代表値、色相の代表値の組み合わせと、を比較し、両者の近似度に応じた優先度を付与することを特徴とするコンテンツ表示装置。
4. 請求項３に記載のコンテンツ表示装置において、
   関連性情報格納部が、基準座標軸上の位置を明度値、前記基準座標軸からの距離を彩度値、前記基準座標軸まわりの角度を色相値とする三次元色空間上に個々のカテゴリーに対応する閉領域をマッピングしたマッピング情報を関連性情報として格納し、
   優先度付与部が、色認識部が認識した色を、前記三次元色空間上に、彩度の代表値、明度の代表値、色相の代表値をそれぞれ座標値とする認識点としてプロットし、プロットされた認識点とマッピングされた個々の閉領域との位置関係に基づいて優先度を付与することを特徴とするコンテンツ表示装置。
5. 請求項２に記載のコンテンツ表示装置において、
   関連性情報格納部が、個々のカテゴリーについて、彩度値と明度値との組み合わせの分布範囲を対応づけた関連性情報を含み、
   色認識部が、対象画像について、彩度の代表値および明度の代表値を認識し、
   優先度付与部が、個々のカテゴリーに対応づけられた彩度値と明度値との組み合わせの分布範囲と、色認識部が認識した彩度の代表値と明度の代表値との組み合わせと、を比較し、両者の近似度に応じた優先度を付与することを特徴とするコンテンツ表示装置。
6. 請求項５に記載のコンテンツ表示装置において、
   関連性情報格納部が、第１の座標軸に彩度値、第２の座標軸に明度値をとった二次元色平面上に個々のカテゴリーに対応する閉領域をマッピングしたマッピング情報を関連性情報として格納し、
   優先度付与部が、色認識部が認識した色を、前記二次元色平面上に、彩度の代表値と明度の代表値とをそれぞれ座標値とする認識点としてプロットし、プロットされた認識点とマッピングされた個々の閉領域との位置関係に基づいて優先度を付与することを特徴とするコンテンツ表示装置。
7. 請求項２〜６のいずれかに記載のコンテンツ表示装置において、
   色認識部が、対象画像についての代表色を、当該対象画像を構成する各部の色相値、彩度値、もしくは明度値の面積を考慮した重み付け平均値、またはその組み合わせとして認識することを特徴とするコンテンツ表示装置。
8. 請求項１に記載のコンテンツ表示装置において、
   副コンテンツ提示処理部が、対象画像について複雑度を認識する複雑度認識部を更に有し、
   関連性情報格納部が、個々のカテゴリーと色との関連性とともに個々のカテゴリーと複雑度との関連性を示す関連性情報を格納しており、
   優先度付与部が、色認識部が認識した色と、複雑度認識部が認識した複雑度と、の双方に基づいて前記関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与することを特徴とするコンテンツ表示装置。
9. 請求項８に記載のコンテンツ表示装置において、
   関連性情報格納部が、個々のカテゴリーについて、彩度値、明度値、複雑度の組み合わせの分布範囲を対応づけた関連性情報を格納しており、
   色認識部が、対象画像について、彩度の代表値および明度の代表値を認識し、
   優先度付与部が、個々のカテゴリーに対応づけられた彩度値、明度値、複雑度の組み合わせの分布範囲と、色認識部が認識した彩度の代表値、色認識部が認識した明度の代表値、複雑度認識部が認識した複雑度の組み合わせと、を比較し、両者の近似度に応じた優先度を付与することを特徴とするコンテンツ表示装置。
10. 請求項９に記載のコンテンツ表示装置において、
    関連性情報格納部が、第１の座標軸に彩度値、第２の座標軸に明度値、第３の座標軸に複雑度をとった三次元空間上に個々のカテゴリーに対応する閉領域をマッピングしたマッピング情報を関連性情報として格納し、
    優先度付与部が、色認識部が認識した色および複雑度認識部が認識した複雑度を、前記三次元空間上に、彩度の代表値、明度の代表値、複雑度をそれぞれ座標値とする認識点としてプロットし、プロットされた認識点とマッピングされた個々の閉領域との位置関係に基づいて優先度を付与することを特徴とするコンテンツ表示装置。
11. 請求項４、６、１０のいずれかに記載のコンテンツ表示装置において、
    優先度付与部が、各カテゴリーに対応する閉領域が認識点を含むか否かを判定し、認識点を含む閉領域に対応するカテゴリーに所属する副コンテンツデータから抽出された補助情報に対して、より高い優先度を付与することを特徴とするコンテンツ表示装置。
12. 請求項４、６、１０、１１のいずれかに記載のコンテンツ表示装置において、
    優先度付与部が、各カテゴリーに対応する閉領域について定義される所定の参照点と認識点との間のユークリッド距離を計算し、相互間距離の小さい閉領域に対応するカテゴリーに所属する副コンテンツデータから抽出された補助情報に対して、より高い優先度を付与することを特徴とするコンテンツ表示装置。
13. 請求項１２に記載のコンテンツ表示装置において、
    優先度付与部が、個々の閉領域について、その重心点を参照点と定義することを特徴とするコンテンツ表示装置。
14. 請求項１に記載のコンテンツ表示装置において、
    副コンテンツ提示処理部が、対象画像について複雑度を認識する複雑度認識部を更に有し、
    副コンテンツデータ格納部に格納されている個々の副コンテンツデータには、それぞれ所定の複雑度が設定されており、
    優先度付与部が、複雑度認識部が認識した複雑度により近似する複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与することを特徴とするコンテンツ表示装置。
15. 請求項８〜１０、１４のいずれかに記載のコンテンツ表示装置において、
    複雑度認識部が、対象画像の空間周波数を検出する機能を有し、検出された空間周波数値に応じた値を複雑度として認識することを特徴とするコンテンツ表示装置。
16. 請求項８〜１０、１４のいずれかに記載のコンテンツ表示装置において、
    複雑度認識部が、幾何学図形の集合体によって構成される対象画像について、予め個々の幾何学図形に対応づけて定義されたポイントを集計する機能を有し、ポイントの集計値を複雑度として認識することを特徴とするコンテンツ表示装置。
17. 請求項８〜１０、１４〜１６のいずれかに記載のコンテンツ表示装置において、
    指示入力部が、提示される補助情報について希望する難易度を設定するユーザの指示を入力する機能を有し、
    優先度付与部が、前記難易度が難を示しているほど、より複雑度が高いカテゴリーに所属する副コンテンツデータもしくはより高い複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与することを特徴とするコンテンツ表示装置。
18. 請求項１〜１７のいずれかに記載のコンテンツ表示装置において、
    検索処理部が、検索キーに対する合致度が所定の基準以上の補助情報を、ヒットした補助情報として抽出する検索処理を実行し、
    優先度付与部が、前記合致度の高い補助情報に、より高い優先度を付与することを特徴とするコンテンツ表示装置。
19. 請求項１〜１８のいずれかに記載のコンテンツ表示装置において、
    補助情報提示処理部が、検索処理部によって抽出された補助情報のうち、その優先順位に基づいて、上位ｎ番目以内（ｎは、所定の自然数）の補助情報のみを提示することを特徴とするコンテンツ表示装置。
20. 請求項１９に記載のコンテンツ表示装置において、
    検索処理部が、関連性の高いカテゴリーから関連性の低いカテゴリーの順に、副コンテンツデータに対する検索処理を実行し、上位ｎ番目の補助情報が抽出された時点で、以後の検索処理を中止することを特徴とするコンテンツ表示装置。
21. 請求項１〜２０のいずれかに記載のコンテンツ表示装置において、
    補助情報提示処理部が、提示対象となる補助情報が複数存在する場合に、その優先順位に基づいた配置順もしくは時間順に従って、これら複数の補助情報の提示を行うことを特徴とするコンテンツ表示装置。
22. 請求項１〜２１のいずれかに記載のコンテンツ表示装置において、
    指示入力部が、ディスプレイの画面上の指示点を指定するユーザの指示を入力する機能を有し、
    副コンテンツ提示処理部が、前記指示点近傍に表示されていた画像を対象画像として認識し、当該対象画像に関連した補助情報の提示を行うことを特徴とするコンテンツ表示装置。
23. 請求項１〜２２のいずれかに記載のコンテンツ表示装置としてコンピュータを機能させるプログラム。
24. 画像を含む主コンテンツの内容を表示するとともに、表示中の主コンテンツ内の画像に関連した補助情報を副コンテンツから検索し、検索された補助情報を提示するコンテンツ表示方法であって、
    コンピュータが、ユーザの指示に基づいて、主コンテンツの所定部分をディスプレイの画面に表示する主コンテンツ表示段階と、
    コンピュータが、ユーザの指示に基づいて、前記ディスプレイの画面に表示されている主コンテンツ内の特定の画像を対象画像として認識するとともに、当該対象画像に付されている検索用文字列を認識する対象認識段階と、
    コンピュータが、認識した検索用文字列を検索キーとして用いて、それぞれ異なるカテゴリーに所属する複数の副コンテンツデータに対する検索処理を実行し、ヒットした補助情報を抽出する検索処理段階と、
    コンピュータが、前記対象画像について色を認識する色認識段階と、
    コンピュータが、予め定義されている個々のカテゴリーと色との関連性を示す関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与する優先度付与段階と、
    コンピュータが、付与された優先度に応じた優先順位に基づいて、抽出された補助情報の提示を行う補助情報提示段階と、
    を有することを特徴とするコンテンツ表示方法。
25. 請求項２４に記載のコンテンツ表示方法において、
    コンピュータが、対象画像について複雑度を認識する複雑度認識段階を更に有し、
    優先度付与段階において、コンピュータが、予め定義されている個々のカテゴリーと色との関連性および個々のカテゴリーと複雑度との関連性を示す関連性情報を参照し、より関連性の高いカテゴリーに所属する副コンテンツデータから抽出された補助情報に、より高い優先度を付与することを特徴とするコンテンツ表示方法。
26. 請求項２４に記載のコンテンツ表示方法において、
    コンピュータが、対象画像について複雑度を認識する複雑度認識段階を更に有し、
    優先度付与段階において、コンピュータが、予め設定されている個々の副コンテンツデータの複雑度を参照し、前記複雑度認識段階で認識した複雑度により近似する複雑度が設定されている副コンテンツデータから抽出された補助情報に、より高い優先度を付与することを特徴とするコンテンツ表示方法。

Images