JP2011060155A - 表示端末装置およびこの表示端末装置のためのプログラム - Google Patents

Abstract

【課題】幅広い観点で種々の特定画像を検索し表示することができる技術を提供することを目的とする。
【解決手段】外部の提供元から送信される提供画像を受信し、提供画像の提供元に関する提供元情報と提供画像に含まれる各オブジェクトに関するタグそれぞれとの間の関連度と、タグ相互間の関連度とを登録し、特定画像を検索するための検索条件となるオブジェクトを指定し（Ｓ７００）、指定されたオブジェクトからタグ（ｔ）と、タグ（ｔ）に関連するタグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ）を抽出し（Ｓ７０２，Ｓ７０４）、タグ（ｔ）に関連する一の特定画像と、タグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ）に関連する他の特定画像とを検索し（Ｓ７０６）、一の特定画像および他の特定画像を表示することとしたものである。
【選択図】図１１

Description

本発明は、特定の画像を検索し、表示するための技術に関するものである。

従来から、画像検索機能を有し、検索された画像を表示可能な表示端末装置に関連して、多くの技術（装置）が提案されている。例えば、画像検索精度をあげるための人手による画像の分類作業を効率的に行い蓄積する方法および装置と、その結果を元に画像検索精度をあげることを可能にする画像検索方法および装置とが提案されている。具体的には、一つの画像を選び従来の類似画検索を行い、幾つか検索された結果のうち、似ていると判断したものにマークする。これらマークされたものは似た物としてタグ情報を登録する。次に、一つもタグ情報が付いていない画像の内一つを任意に選び、また類似画検索を行い似ていると判断したものにマークする。この作業を繰り返すことで、手順的に効率的に作業ができ、人間が似ていると判断したものを分類できるようにし、また、画像を検索する場合には、検索対象の画像と同じマークを持った画像を優先的に検索することによって、より人間の感覚に近い検索結果が得られるようにする、とされている（例えば、特許文献１参照）。

また、検索効率の向上を図った画像データ逐次表示装置が提案されている。この画像データ逐次表示装置で、画像特徴量抽出手段は各画像データの画像特徴量を抽出し、類似度計算手段はキー画像データの画像特徴量とキー画像データ以外の各画像データ（検索対象画像データ）の画像特徴量との比較結果に基づき、各画像データのキー画像データに対する類似性の尺度となる類似度を計算し、ソート画像逐次表示手段は、スライド条件設定手段より得られるスライド条件設定値の類似度変化関数情報に基づき、キー画像データを起点として、類似度別画像ソート手段より得られる類似度別ソート結果あるいは類似度変化関数に沿って画像データを逐次表示してスライドショーを実行する、とされている（例えば、特許文献２参照）。

特開平１１−１３４３４４号公報 特開２０００−６７０５７号公報

ところで、画像群の中から、検索条件によって検索された特定の画像（特定画像）を表示するに際し、検索条件に直接関連する一の特定画像に加え、検索条件に間接的に関連する他の特定画像についても検索可能で、このように検索された一の特定画像と他の特定画像とを表示し、ユーザが観賞することが可能な表示端末装置は、ユーザの要望を満たすことができるものであると出願人は考えた。

本発明は、幅広い観点で種々の特定画像を検索し表示することができる技術を提供することを目的とする。

上記従来の課題に鑑みなされた本発明は、外部の提供元から送信される提供画像を受信し、提供画像の提供元に関する提供元情報と提供画像に含まれる各第１オブジェクトに関する第１オブジェクト情報それぞれとの間の関連度と、第１オブジェクト情報相互間の関連度とを登録し、特定画像を検索するための検索条件となる第２オブジェクトに関する第２オブジェクト情報に関連する一の特定画像と、第２オブジェクト情報に一致する一の第１オブジェクト情報との間に関連度を有する他の第１オブジェクト情報に関連する他の特定画像とを検索し、検索された一の特定画像と他の特定画像とを表示することとしたものである。

本発明を反映した第１の課題解決手段は、アクセス可能な記憶領域に記憶された特定画像を検索し、検索された前記特定画像を表示可能な表示端末装置であって、表示手段と、前記表示端末装置の外部の提供元から送信される提供画像を受信し、前記提供画像に対して所定の処理を実行可能なアプリケーション手段と、前記提供画像の提供元に関する提供元情報と前記提供画像に含まれる各第１オブジェクトに関する第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報相互間の関連度とを登録した類似度記録手段と、前記アプリケーション手段によって前記提供画像が前記所定の処理の対象とされた場合、前記所定の処理の対象とされた前記提供画像について、前記提供元情報と前記第１オブジェクト情報とを抽出する第１オブジェクト情報抽出手段と、前記第１オブジェクト情報抽出手段によって抽出された、前記提供元情報と前記第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報抽出手段によって抽出された前記第１オブジェクト情報相互間の関連度とを、前記類似度記録手段に登録する登録手段と、前記特定画像を検索するための検索条件となる第２オブジェクトを指定する検索条件指定手段と、前記検索条件指定手段によって指定された前記第２オブジェクトに関する第２オブジェクト情報を抽出する第２オブジェクト情報抽出手段と、前記第２オブジェクト情報抽出手段によって抽出された前記第２オブジェクト情報に関連する一の特定画像と、前記類似度記録手段で前記第２オブジェクト情報に一致する一の第１オブジェクト情報との間に関連度を有する他の第１オブジェクト情報に関連する他の特定画像とを検索する検索手段と、前記検索手段によって検索された前記一の特定画像と前記他の特定画像とを、前記表示手段に表示する表示制御手段とを備えることを特徴とする表示端末装置である。

これによれば、検索条件となる第２オブジェクトに関する第２オブジェクト情報に関連する一の特定画像に加え、この第２オブジェクト情報に一致する一の第１オブジェクト情報との間に関連度を有する他の第１オブジェクト情報に関連する他の特定画像についても、検索することができる。

第２の課題解決手段は、第１の課題解決手段の表示端末装置であって、前記登録手段は、前記第１オブジェクトの画像サイズが、所定の画像サイズより大きい前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録し、前記所定の画像サイズより小さい前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録しないことを特徴とする。

これによれば、所定の画像サイズより大きな第１オブジェクトを対象とすることで、関連性が低いと推測される所定の画像サイズより小さい第１オブジェクトに関する第１オブジェクト情報との間の関連度を除外することが可能で、表示端末装置で行われる登録に係る処理負担を軽減すことができる。

第３の課題解決手段は、第１または第２の課題解決手段の表示端末装置であって、前記登録手段は、前記提供画像の画像サイズが、所定の画像サイズより大きい前記提供画像に含まれる前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録し、前記所定の画像サイズより小さい前記提供画像に含まれる前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録しないことを特徴とする。

これによれば、所定の画像サイズより大きな提供画像を対象とすることで、関連性が低いと推測される所定の画像サイズより小さい提供画像に含まれる第１オブジェクトに関する第１オブジェクト情報との間の関連度を除外することが可能で、表示端末装置で行われる登録に係る処理負担を軽減することができる。

第４の課題解決手段は、第１から第３の課題解決手段のいずれか１つの表示端末装置であって、前記アプリケーション手段は、電子メール機能を有し、前記提供画像は、前記電子メール機能によって受信された電子メールに添付された添付画像であることを特徴とする。これによれば、電子メール機能によって取得された添付画像を対象とした処理を実行可能な表示端末装置とすることができる。

第５の課題解決手段は、第１から第４の課題解決手段のいずれか１つの表示端末装置であって、前記アプリケーション手段は、電話回線通信機能を有し、前記提供画像は、前記電話回線通信機能によって受信された静止画であることを特徴とする。

これによれば、電話回線通信機能によって取得された静止画を対象とした処理を実行可能な表示端末装置とすることができる。なお、静止画の受信に係る電話回線通信機能には、ファクシミリ機能の他、電話回線（モデム）を使用したデータの伝送を実現できる各種機能が含まれる。

第６の課題解決手段は、第１から第５の課題解決手段のいずれか１つの表示端末装置であって、前記検索手段は、前記他の第１オブジェクト情報が、所定の数より多い場合、前記類似度記録手段に登録された関連度にしたがい、前記所定の数の前記他の第１オブジェクト情報に関連する前記他の特定画像を検索することを特徴とする。

これによれば、他の第１オブジェクト情報の数を制限し、多数の特定画像が検索されることを防止することが可能で、表示端末装置で行われる検索に係る処理負担を減らすことができる。そして、より関連性が高い特定画像を検索することができる。

第７の課題解決手段は、アクセス可能な記憶領域に記憶された特定画像を検索し、検索された前記特定画像を表示可能な表示手段と、外部の提供元から送信される提供画像を受信し、前記提供画像に対して所定の処理を実行可能なアプリケーション手段と、前記提供画像の提供元に関する提供元情報と前記提供画像に含まれる各第１オブジェクトに関する第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報相互間の関連度とを登録した類似度記録手段とを備える表示端末装置の制御部が読み取り可能なプログラムであって、前記制御部を、前記アプリケーション手段によって前記提供画像が前記所定の処理の対象とされた場合、前記所定の処理の対象とされた前記提供画像について、前記提供元情報と前記第１オブジェクト情報とを抽出する第１オブジェクト情報抽出手段と、前記第１オブジェクト情報抽出手段によって抽出された、前記提供元情報と前記第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報抽出手段によって抽出された前記第１オブジェクト情報相互間の関連度とを、前記類似度記録手段に登録する登録手段と、前記特定画像を検索するための検索条件となる第２オブジェクトを指定する検索条件指定手段と、前記検索条件指定手段によって指定された前記第２オブジェクトに関する第２オブジェクト情報を抽出する第２オブジェクト情報抽出手段と、前記第２オブジェクト情報抽出手段によって抽出された前記第２オブジェクト情報に関連する一の特定画像と、前記類似度記録手段で前記第２オブジェクト情報に一致する一の第１オブジェクト情報との間に関連度を有する他の第１オブジェクト情報に関連する他の特定画像とを検索する検索手段と、前記検索手段によって検索された前記一の特定画像と前記他の特定画像とを、前記表示手段に表示する表示制御手段として機能させるためのプログラムである。これによれば、上記特有の機能を実現可能な第１の課題解決手段の表示端末装置とすることができる。

本発明によれば、幅広い観点で種々の特定画像を検索し表示することができる。

表示端末装置の外観を示す図である。 表示端末装置の機能ブロックおよび表示端末装置を含むシステムを示す図である。 メイン処理のフローチャートを示す図である。 画像・タグ関連テーブル追加処理のフローチャートを示す図である。 画像・タグ関連テーブルを示す図である。 第１処理形態の類似度更新処理のフローチャートを示す図である。 アドレステーブルを示す図である。 第２処理形態の類似度更新処理のフローチャートを示す図である。 類似度テーブル更新処理のフローチャートを示す図である。 類似度テーブルを示す図である。 第１処理形態の画像検索処理のフローチャートを示す図である。 第２処理形態の画像検索処理のフローチャートを示す図である。

本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。上記課題解決手段は以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に説明する各構成において、所定の構成または処理ステップを省略することができる。

（表示端末装置の構成）
表示端末装置１００の外観と機能ブロック、および表示端末装置１００を含むシステムについて、図１および図２を参照して説明する。表示端末装置１００は、タッチパネル機能を含む表示部１１０を備える。ユーザは、タッチペン２１２を用いて、表示端末装置１００に所定の指令を入力する。

表示端末装置１００は、各種の接続インターフェースを備える。例えば、表示端末装置１００は、ＬＡＮ（Local Area Network）７００に接続可能で、同じくＬＡＮに接続されたパーソナルコンピュータなどの外部装置８００と通信することができる。具体的に、表示端末装置１００は、外部装置８００が備える記憶領域に記憶された複数の画像（画像群）にアクセスすることができる。また、表示端末装置１００は、ＬＡＮ７００を介してインターネット９００にアクセス可能で、インターネット９００上のサーバ（図２で図示を省略）から各種情報（データ）、例えば、写真などの画像が添付された電子メール（添付画像が添付された電子メール）を受信し、また電子メールを送信することができる。さらに、表示端末装置１００は、電話回線９２０に接続することができる。また、表示端末装置１００は、ＩｒＳｉｍｐｌｅ通信規格に対応し、他の装置とこの規格による通信をすることができる（図１，２で図示を省略）。

表示端末装置１００は、上述した表示部１１０を備えるとともに、ＣＰＵ２０２とＲＯＭ２０４とＲＡＭ２０６とタッチパネル機能部２１０とＬＡＮインターフェース２２０と電話回線通信機能部２３０などを備える。表示部１１０には、図１に示すような画像（写真）が表示される他、各種の文字情報などが表示される。

ＣＰＵ２０２は、表示端末装置１００の制御を司る。ＲＯＭ２０４には、例えば以下に示す各種処理のためのプログラム、具体的には、画像検索プログラム、テーブル更新プログラムおよび各種のアプリケーションプログラムなどが記憶されている（これ以外のプログラムについて、図２では図示を省略）。各種のアプリケーションプログラムには、電子メールソフト、ブラウザソフト、例えば電話回線９２０から受信したファクシミリ画像を処理の対象とするソフトウェア（以下、「ファクシミリソフト」ともいう。）などが含まれる。ＲＡＭ２０６は、記憶領域として利用され、画像・タグテーブルと類似度テーブルをと含む各種のデータ（後述するタッチパネル機能部２１０によって取得された指令、電子メールに添付された画像、ファクシミリ画像（以下、これら画像を総称して「提供画像」ともいう。）、外部装置８００から取得した画像を含む。）が記憶される（図２では、類似度テーブル以外のデータについての図示を省略する。）。

ＣＰＵ２０２は、ＲＡＭ２０６上で、ＲＯＭ２０４に記憶されたプログラムそれぞれに基づき、各種の演算処理を実行する。その際、ＲＡＭ２０６は、作業領域として利用され、上述した各種のデータが記憶される。ＣＰＵ２０２が、ＲＯＭ２０４に記憶された各種のプログラムをＲＡＭ２０６上で実行することで、各種の機能手段が実現される。

タッチパネル機能部２１０は、表示部１１０に表示された所定の情報などに応じ、ユーザがタッチペン２１２を用いて入力した所定の指令を取得する。なお、タッチパネル機能部２１０は、取得した指令をＣＰＵ２０２に伝達（提供）する。ＬＡＮインターフェース２２０は、表示端末装置１００をＬＡＮ７００に接続するための接続インターフェースであって、ＬＡＮインターフェース２２０を介して、各種の情報（データ）通信が行われる。例えば、表示端末装置１００（ＣＰＵ２０２）は、ＬＡＮインターフェース２２０を介して外部装置８００にアクセスし、外部装置８００から画像などを取得する。また、表示端末装置１００（ＣＰＵ２０２）は、ＬＡＮインターフェース２２０を介してインターネット９００上のサーバにアクセスし、画像が添付された電子メールもしくは本文のみ（画像が添付されていない）電子メールを受信し、また、インターネット９００上のサーバから所定の画像をダウンロードすることができる。

電話回線通信機能部２３０は、モデムによって構成され、電話回線９２０との間の接続動作を実行（制御）する。例えば、表示端末装置１００（ＣＰＵ２０２）は、電話回線通信機能部２３０を介して、電話回線９２０に接続された外部のファクシミリ装置（図２で図示を省略）から送信されるファクシミリを受信（ファクシミリ画像（データ）を受信）する。

なお、表示端末装置１００は、例えば上記の手法で取得（受信、ダウンロードなど）した画像を、自装置内の所定の記憶領域（図２には図示されていないフラッシュメモリなど）またはＬＡＮ７００を介してアクセス可能な外部装置８００の記憶領域など、所定の記憶領域に記憶し、管理することができる。

（表示端末装置で実行される処理）
以下、表示端末装置１００のＣＰＵ２０２によって実行される処理について説明する。

（メイン処理）
表示端末装置１００のＣＰＵ２０２によって実行されるメイン処理について、図３を参照して説明する。このメイン処理は、ＣＰＵ２０２が、メイン処理のためのプログラム（図２で図示を省略）をＲＯＭ２０４から読み出して、ＲＡＭ２０６上でこれを実行して行われる。なお、メイン処理が実行される前提として、所定のアプリケーションプログラムが起動されている。このメイン処理を開始したＣＰＵ２０２は、表示端末装置１００にいずれかの入力がなされるまで待機する（Ｓ１００）。なお、表示端末装置１００への入力は、ＬＡＮインターフェース２２０が、例えば電子メールを受信することで行われる。また、電話回線通信機能部２３０が、例えばファクシミリを受信して行われる。

待機中に、いずれかの入力がなされた場合、ＣＰＵ２０２は、検出された入力が、画像の入力（例えば、画像が添付された電子メールの受信、インターネットファクシミリの受信、）であるかを判断する（Ｓ１０２）。判断の結果、検出された入力が画像の入力である場合（Ｓ１０２：Ｙｅｓ）、ＣＰＵ２０２は、処理をＳ１０４に移行する一方、検出された入力が画像の入力でない場合（Ｓ１０２：Ｎｏ）、ＣＰＵ２０２は、処理をＳ１１０に移行する。

Ｓ１０４でＣＰＵ２０２は、図３のＳ１０２の判断が肯定（Ｓ１０２：Ｙｅｓ）された要因となった画像の入力を受け付けたアプリケーション上で、ユーザがタッチペン２１２を用いて、入力された画像（提供画像）を対象とした処理の実行に係る操作、具体的には、提供画像を、表示部１１０に表示するための操作を行ったか否かを判断する（Ｓ１０４）。なお、Ｓ１０４でＣＰＵ２０２は、提供画像の操作に関する指令を、タッチパネル機能部２１０から取得したか否かに基づき判断する。

判断の結果、ユーザが提供画像を操作していない場合（Ｓ１０４：Ｎｏ）、ＣＰＵ２０２は、処理をＳ１００戻す。一方、ユーザが提供画像を操作した場合（Ｓ１０４：Ｙｅｓ）、ＣＰＵ２０２は、処理をＳ１０６に移行し、画像・タグ関連テーブル追加処理を実行する。そして、Ｓ１０６を実行した後、ＣＰＵ２０２は、続けて、類似度更新処理を実行する（Ｓ１０８）。なお、Ｓ１０６で実行される画像・タグ関連テーブル追加処理と、Ｓ１０８で実行される類似度更新処理についての詳細は、後述する。Ｓ１０８を実行した後、ＣＰＵ２０２は、処理をＳ１００に戻す。

Ｓ１１０でＣＰＵ２０２は、検出された入力が、画像検索の実行指令であるか否かを判断する。画像検索の実行指令は、例えば、ユーザが、表示部１１０に表示されているメニュー画面（図１で図示を省略）の中から、タッチペン２１２を用いて、画像検索を選択することで入力される。判断の結果、検出された入力が画像検索の実行指令である場合（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２０２は、画像検索処理を実行し（Ｓ１１２）、その後、処理をＳ１００に戻す。なお、Ｓ１１２で実行される画像検索処理についての詳細は、後述する。一方、判断の結果、検出された入力が画像検索の実行指令でない場合（Ｓ１１０：Ｎｏ）、ＣＰＵ２０２は、処理をＳ１１４に移行する。

Ｓ１１４でＣＰＵ２０２は、検出された入力にしたがった処理を実行する。なお、画像が添付されていない電子メールを受信した場合、ＣＰＵ２０２は、電子メールソフトを起動し、電子メールの本文を、表示部１１０に表示する。ＣＰＵ２０２は、Ｓ１１４を実行した後、処理をＳ１００に戻す。

なお、ＣＰＵ２０２は、ユーザがタッチペン２１２を用いて、このメイン処理の終了指令を入力した場合、タッチパネル機能部２１０から、入力された終了指令を取得し、このメイン処理を終了する。

（画像・タグ関連テーブル追加処理）
図３に示すメイン処理のＳ１０６で実行される画像・タグ関連テーブル追加処理について、図４および図５を参照して説明する。この画像・タグ関連テーブル追加処理は、ＣＰＵ２０２が、画像・タグ関連テーブル追加処理のためのプログラム（図２で図示を省略）をＲＯＭ２０４から読み出して、ＲＡＭ２０６上でこれを実行して行われる。この画像・タグ関連テーブル追加処理を開始したＣＰＵ２０２は、図３のメイン処理のＳ１０２の判断が肯定（Ｓ１０２：Ｙｅｓ）された要因となった提供画像（Ｓ１０４で操作されたと判断（Ｓ１０４：Ｙｅｓ）された提供画像）を、受信したアプリケーションが管理する表示端末装置１００内の所定の記憶領域（例えば、フラッシュメモリ（図２で図示を省略））などから、ＲＡＭ２０６上に取得する（Ｓ３００）。ＣＰＵ２０２は、ＲＡＭ２０６上に取得した提供画像に含まれているオブジェクトを抽出し、抽出されたオブジェクトを特定し、タグを抽出する（Ｓ３０２）。例えば、提供画像が、図１の表示部１１０に表示されている犬（左側）と猫（右側）とを含む画像（写真）である場合、ＣＰＵ２０２は、提供画像に含まれているオブジェクトとして、犬に係るオブジェクトＡと猫に係るオブジェクトＢとを抽出する（図１で表示部１１０に表示されている画像内の点線参照。なお、この点線は、画像を構成するものではなく、説明のために描画したものである。）。そして、抽出したオブジェクトＡが「犬」であると特定し、オブジェクトＢが「猫」であると特定する。そして、ＣＰＵ２０２は、オブジェクトＡ，Ｂの特定にしたがい、タグ「犬」とタグ「猫」とを抽出する。なお、写真などの画像から、そこに含まれているオブジェクトを抽出し、抽出されたオブジェクトを特定するために、ＣＰＵ２０２は、パターン認識、具体的には主成分分析を実行する。

次に、ＣＰＵ２０２は、例えばＲＡＭ２０６に記憶されている画像・タグ関連テーブルに、新たなフィールドを追加する（Ｓ３０４）。その際、画像・タグ関連テーブルにおいて管理対象となっているタグに一致するタグがＳ３０２で抽出されていれば、そのタグについて「１」を登録するとともに、Ｓ３０２で抽出されていないタグについて「０」を登録する。Ｓ３０４について、図５を参照して具体的に説明する。なお、図５に示す画像・タグ関連テーブルでは、タグ「ＡＡＡ ＡＡ」（ユーザＡの名前、後述する図７参照）とタグ「犬」とタグ「車」とタグ「猫」とタグ「ＢＢＢ ＢＢ」（ユーザＢの名前、後述する図７参照）とが管理対象とされている。また、これまでに行われたこの処理によって、画像・タグ関連テーブルには、提供画像１〜３についてのフィールドが既に追加されている（図５の上段参照）。

例えば、上述した図１に示すようなオブジェクトとして犬と猫を含む提供画像（提供画像４とする）について新たにフィールドを追加する場合（図４の下段において、太線で囲まれた範囲参照）、上述したとおり、提供画像４からは、タグ「犬」とタグ「猫」が抽出される。そのため、これに一致する画像・タグ関連テーブルのタグ「犬」とタグ「猫」の欄には「１」が登録され、その他のタグ「ＡＡＡ ＡＡ」とタグ「車」とタグ「ＢＢＢ ＢＢ」の欄には「０」が登録される。なお、ＣＰＵ２０２は、この画像・タグ関連テーブル追加処理を実行する毎に、提供画像について新たなフィールドを追加する。その際、各フィールドに登録される提供画像の所在（記憶先）を示す所在情報（パス）を対応付けて登録する。

Ｓ３０４を実行した後、ＣＰＵ２０２は、この画像・タグ関連テーブル追加処理を終了する。そして、ＣＰＵ２０２は、処理を図３のＳ１０８（図６に示す類似度更新処理のＳ４００）に移行する。

（類似度更新処理）
図３に示すメイン処理のＳ１０８で実行される類似度更新処理について、２つの処理形態を説明する。この２つの類似度更新処理は、ＣＰＵ２０２が、第１処理形態または第２処理形態の類似度更新処理プログラム（図２参照）をＲＯＭ２０４から読み出して、ＲＡＭ２０６上でこれを実行して行われる。

（第１処理形態）
第１処理形態の類似度更新処理について、図６および図７を参照して説明する。この第１処理形態の類似度更新処理を開始したＣＰＵ２０２は、図３のメイン処理のＳ１０２の判断が肯定（Ｓ１０２：Ｙｅｓ）された要因となった提供画像の提供元、換言すれば、提供画像の送信元を取得する（Ｓ４００）。具体的に、電子メールで提供画像を受信した場合、ＣＰＵ２０２は、受信した電子メールを解析し、送信元アドレスを特定し、これをＲＡＭ２０６上に取得する。また、ファクシミリで提供画像を受信した場合、ＣＰＵ２０２は、ナンバーディスプレイサービスにより、電話回線通信機能部２３０がファクシミリ画像とともに受信した相手先電話番号を特定し、これをＲＡＭ２０６上に取得する。

次に、ＣＰＵ２０２は、図２には図示されていないフラッシュメモリなどに記憶されたアドレステーブル（図７参照）にアクセスし、Ｓ４００で取得した提供元から、対象ユーザを逆引きし、特定する（Ｓ４０２）。具体的に、Ｓ４００で電子メールアドレス「ａａ＠ｘ．ｊｐ」が取得されていた場合、ＣＰＵ２０２は、対象ユーザとしてユーザＡの名前「ＡＡＡ ＡＡ」を抽出する。また、Ｓ４００で相手先電話番号「１２３−４５６−７８９０」が取得されていた場合、ＣＰＵ２０２は、対象ユーザとしてユーザＢの名前「ＢＢＢ ＢＢ」を抽出する。なお、Ｓ４０２で逆引きされ、抽出された対象ユーザは、後述する類似度テーブル更新処理で、タグ（提供元情報）として利用される。図７に示すアドレステーブルには、アドレス情報として住所も登録されており、各種のアプリケーションにて利用される。

Ｓ４０２を実行した後、ＣＰＵ２０２は、図３のメイン処理のＳ１０２の判断が肯定（Ｓ１０２：Ｙｅｓ）された要因となった提供画像（操作された提供画像）をＲＡＭ２０６上に取得する（Ｓ４０４）。ＣＰＵ２０２は、ＲＡＭ２０６上に取得した提供画像に含まれているオブジェクト（第１オブジェクト）を抽出する。そして、抽出されたオブジェクトを特定し、タグ（第１オブジェクト情報）を抽出する（Ｓ４０６）。その後、ＣＰＵ２０２は、処理をＳ４０８に移行する。ここで、Ｓ４０４およびＳ４０６の各処理は、図４に示す画像・タグ関連テーブル追加処理のＳ３００およびＳ３０２のそれぞれに対応する処理であり、したがって、Ｓ４０４およびＳ４０６についての詳細な説明は、省略する。Ｓ４０８でＣＰＵ２０２は、類似度テーブル更新処理を実行する（Ｓ４０８）。類似度テーブル更新処理についての詳細は、後述する。ＣＰＵ２０２は、この類似度テーブル更新処理が終了した後、この第１処理形態の類似度更新処理を終了する。そして、ＣＰＵ２０２は、処理を図３のＳ１００に戻す。

（第２処理形態）
第２処理形態の類似度更新処理について、図８を参照して説明する。この第２処理形態の類似度更新処理を開始したＣＰＵ２０２は、Ｓ５００の処理を実行する。ここで、Ｓ５００の処理は、図６に示す第１処理形態の類似度更新処理のＳ４００〜Ｓ４０４の処理に対応する処理であり、したがって、Ｓ５００についての詳細な説明は、省略する。

Ｓ５００を実行した後、ＣＰＵ２０２は、類似度テーブル（図１０参照）の更新に際し、所定の画像サイズ（所定の面積）より大きいオブジェクトのみを対象として類似度テーブルの更新を適用（実行）するかを判断する（Ｓ５０２）。具体的に、ＣＰＵ２０２は、この判断に関して、ユーザがいずれかを選択するための指令を入力可能な選択画面を表示部１１０に表示する。そして、ユーザがタッチペン２１２を用いて入力した指令（選択肢）を、タッチパネル機能部２１０を介して取得し、取得した指令にしたがい、Ｓ５０２を判断する。なお、Ｓ５０２の判断の条件を、「所定の画像サイズ（所定の面積）以上のオブジェクトのみ」とすることもできる。なお、所定の画像サイズ（所定の面積）より大きいオブジェクトのみを対象として類似度テーブルの更新を適用（実行）するか予め設定しておき、この設定に基づいて判断する構成とすることもできる。

判断の結果、所定の画像サイズより大きいオブジェクトのみを対象として類似度テーブルの更新を適用するが選択された場合（Ｓ５０２：Ｙｅｓ）、ＣＰＵ２０２は、操作した提供画像（図３のＳ１０４：Ｙｅｓ参照）に含まれるオブジェクト（第１オブジェクト）を抽出し、抽出されたオブジェクトそれぞれの画像サイズを算出する（Ｓ５０４）。そして、ＣＰＵ２０２は、Ｓ５０４で抽出され、所定の画像サイズより大きいオブジェクトを特定し、タグ（第１オブジェクト情報）を抽出する（Ｓ５０６）。なお、Ｓ５０６で行われるオブジェクトの特定およびタグの抽出に関する処理は、図４に示す画像・タグ関連テーブル追加処理のＳ３０２と同様の処理であるため、これに関する詳細な説明は、省略する。Ｓ５０６を実行した後、ＣＰＵ２０２は、処理をＳ５１０に移行する。

Ｓ５０２の判断の結果、所定の画像サイズより大きいオブジェクトのみを対象として類似度テーブルの更新を適用するが選択されなかった場合（Ｓ５０２：Ｎｏ）、ＣＰＵ２０２は、処理をＳ５０８に移行する。Ｓ５０８でＣＰＵ２０２は、操作した提供画像（図３のＳ１０４：Ｙｅｓ参照）に含まれるオブジェクトについて、これに係るタグ（第１オブジェクト情報）を抽出する。なお、Ｓ５０８の処理は、図６に示す第１処理形態の類似度更新処理のＳ４０６の処理に対応する処理であり、したがって、Ｓ５０８についての詳細な説明は、省略する。ＣＰＵ２０２は、Ｓ５０８を実行した後、処理をＳ５１０に移行する。

Ｓ５１０でＣＰＵ２０２は、Ｓ５０６またはＳ５０８で、抽出されたタグが存在するかを判断する。判断の結果、抽出されたタグが存在する場合（Ｓ５１０：Ｙｅｓ）、ＣＰＵ２０２は、引き続き、類似度テーブル更新処理を実行し（Ｓ５１２）、この第２処理形態の類似度更新処理を終了する。抽出されたタグが存在しない場合（Ｓ５１０：Ｎｏ）、ＣＰＵ２０２は、Ｓ５１２を実行することなく、この第２処理形態の類似度更新処理を終了する。この第２処理形態の類似度更新処理を終了したＣＰＵ２０２は、処理を図３のＳ１００に戻す。なお、Ｓ５１２の類似度テーブル更新処理についての詳細は、次に記載する。

（類似度テーブル更新処理）
図６に示す第１処理形態の類似度更新処理のＳ４０８または図８に示す第２処理形態の類似度更新処理のＳ５１２で実行される類似度テーブル更新処理について、図９および図１０を参照して説明する。この類似度テーブル更新処理は、ＣＰＵ２０２が、類似度テーブル更新プログラム（図２参照）をＲＯＭ２０４から読み出して、ＲＡＭ２０６上でこれを実行して行われる。この類似度テーブル更新処理を開始したＣＰＵ２０２は、図６のＳ４０６で提供画像に含まれているオブジェクトについてのタグが複数抽出されたかを判断する（Ｓ６００）。判断の結果、複数のタグが抽出されていた場合（Ｓ６００：Ｙｅｓ）、ＣＰＵ２０２は、処理をＳ６０２に移行する一方、複数のタグが抽出されていない、換言すれば、抽出されたタグが１つであった場合（Ｓ６００：Ｎｏ）、処理をＳ６０４に移行する。

Ｓ６０２でＣＰＵ２０２は、ＲＡＭ２０６に記憶されている類似度テーブル（図１０参照）に対し、抽出されたタグそれぞれとの各組合せに対し「２」を加える。そしてＣＰＵ２０２は、処理をＳ６０４に移行する。Ｓ６０４でＣＰＵ２０２は、類似度テーブルに対し、図６のＳ４０２で逆引きし、抽出された対象ユーザに一致するタグと、抽出されたタグそれぞれとの各組合せに対し「１」を加える。

Ｓ６０２とＳ６０４との処理について、具体的に説明する。なお、図１０（ａ）に示す類似度テーブルは、初期状態にある類似度テーブルであり、したがって、この類似度テーブルのいずれの欄も「０」が登録されている。例えば、対象ユーザとして、図６のＳ４０２または図８のＳ５００で名前「ＡＡＡ ＡＡ」抽出され、かつ図６のＳ４０６または図８のＳ５０６もしくはＳ５０８でタグ「犬」とタグ「猫」が抽出されている場合（図１の表示部１１０に表示されている犬と猫とを含む画像（写真）参照）、ＣＰＵ２０２は、Ｓ６０２でタグ「犬」とタグ「猫」が交差する欄に「２」を加える、換言すれば、既に登録されている値（「０」）に「２」を加算する（図１０（ｂ）の更新テーブルで、太線で囲まれた一の欄を参照）。また、ＣＰＵ２０２は、Ｓ６０４で、タグ「ＡＡＡ ＡＡ」およびタグ「犬」と、タグ「ＡＡＡ ＡＡ」およびタグ「猫」が交差する欄に「１」を加える（図１０（ｂ）の更新テーブルで、太線で囲まれた他の２つの欄を参照）。

また、更新テーブルが図１０（ｂ）の状態で、対象ユーザとして、図６のＳ４０２または図８のＳ５００で名前「ＢＢＢ ＢＢ」が抽出され、かつ図６のＳ４０６または図８のＳ５０６もしくはＳ５０８でタグ「犬」が抽出（この場合、提供画像は、犬のみを含む画像である。）されている場合、ＣＰＵ２０２は、Ｓ６０４で、タグ「ＡＡＡ ＡＡ」およびタグ「犬」が交差する欄に「１」を加える（図１０（ｃ）の更新テーブルで、太線で囲まれた他の２つの欄を参照）。なお、この場合、提供画像に含まれているオブジェクトについてのタグは１つ（タグ「犬」）であるため、Ｓ６００の判断は否定（Ｓ６００：Ｎｏ）、Ｓ６０２は実行されない。

さらに、更新テーブルが図１０（ｂ）の状態で、対象ユーザとして、図６のＳ４０２または図８のＳ５００で名前「ＡＡＡ ＡＡ」が抽出され、かつ図６のＳ４０６または図８のＳ５０６もしくはＳ５０８でタグ「ＡＡＡ ＡＡ」とタグ「犬」とが抽出（この場合、提供画像は、ＡＡＡ ＡＡ氏と犬とを含む画像である。）されている場合、ＣＰＵ２０２は、Ｓ６０２でタグ「ＡＡＡ ＡＡ」とタグ「犬」が交差する欄に「２」を加える（図１０（ｄ）の更新テーブルで、太線で囲まれた欄を参照）。なお、ＣＰＵ２０２は、処理をＳ６０４に移行するが、この場合、対象ユーザの名前「ＡＡＡ ＡＡ」とタグ「ＡＡＡ ＡＡ」とが同一であるため、ＣＰＵ２０２は、類似度テーブルを更新しない。

Ｓ６０４を実行した後、ＣＰＵ２０２は、この類似度テーブル更新処理を終了する。なお、類似度テーブル更新処理を終了したＣＰＵ２０２は、図６に示す類似度更新処理を終了し、処理を図３のＳ１００に戻す。

（画像検索処理）
図３に示すメイン処理のＳ１１２で実行される画像検索処理について、２つの処理形態を説明する。この２つの画像検索処理は、ＣＰＵ２０２が、第１処理形態または第２処理形態の画像検索処理プログラム（図２参照）をＲＯＭ２０４から読み出して、ＲＡＭ２０６上でこれを実行して行われる。

（第１処理形態）
第１処理形態の画像検索処理について、図１１を参照して説明する。この第１処理形態の類似度更新処理を開始したＣＰＵ２０２は、検索条件となるオブジェクト（第２オブジェクト）を指定する（Ｓ７００）。

Ｓ７００について具体的に説明すると、先ず、ＣＰＵ２０２は、表示部１１０に、検索条件設定画面を表示する。検索条件設定画面には、検索条件として予め設定されている、所定のオブジェクト（例えば、犬を示すオブジェクト（画像））が複数含まれる。また、検索条件設定画面には、表示端末装置１００がアクセス可能な記憶領域、例えば、自装置内のフラッシュメモリまたは外部装置８００が備える記憶領域から、所定の画像（検索画像）を選択するためのアイコンが含まれる。このアイコンが選択された場合、ユーザは、タッチペン２１２を用いて、所定の記憶領域に記憶された一の検索画像を選択することができる。なお、表示端末装置１００が、リムーバブルディスクを装着可能な構成とし、自装置に装着されたリムーバブルディスクから検索条件となる検索画像を選択可能な構成とすることもできる。

次に、ＣＰＵ２０２は、検索条件設定画面の表示に応じて、ユーザがタッチペン２１２を用いて行った選択入力を、タッチパネル機能部２１０から取得する。例えば、検索条件として、検索条件設定画面に含まれる複数のオブジェクトの中の１つが選択された場合、ＣＰＵ２０２は、選択されたオブジェクトを、検索条件のオブジェクト（第２オブジェクト）として指定する。一方、所定の画像が選択された場合、ＣＰＵ２０２は、選択された画像を、所定の記憶領域からＲＡＭ２０６上に読み出し、読み出した画像に含まれるオブジェクトを抽出し、抽出したオブジェクトを、検索条件のオブジェクト（第２オブジェクト）として指定する。なお、画像からのオブジェクトの抽出は、図４に示す画像・タグ関連テーブル追加処理のＳ３０２の中で行われる処理と同様であり、したがって、これに関する詳細な説明は、省略する。

Ｓ７００を実行した後、ＣＰＵ２０２は、Ｓ７００で指定したオブジェクトから画像検索に用いるタグ（ｔ）を抽出する（Ｓ７０２）。例えば、Ｓ７００で指定したオブジェクトが、図１に示す点線で囲まれた犬に係るオブジェクトである場合、ＣＰＵ２０２は、指定したオブジェクトが「犬」であると特定し、タグ「犬」を抽出する。なお、Ｓ７０２も、図４のＳ３０２の中で行われる処理と同様であり、したがって、これに関する詳細な説明は、省略する。

次に、ＣＰＵ２０２は、ＲＡＭ２０６に記憶されている類似度テーブル（図１０参照）にアクセスし、抽出されたタグ（ｔ）に関連するタグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ）を抽出する（Ｓ７０４）。例えば、タグ（ｔ）が、「犬」である場合、タグ（ｔ）「犬」との組合せで、更新テーブルに０より大きな値が登録されているタグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ）、すなわち、図１０（ｄ）の類似度テーブルに基づけば、値「３」が登録されたタグ（ｔ１）「ＡＡＡ ＡＡ」と、値「２」が登録されたタグ（ｔ２）「車」と、値「１」が登録されたタグ（ｔ３）「ＢＢＢ ＢＢ」が抽出される（図１０（ｄ）の更新テーブルで、網掛けされた欄を参照）。

続けて、ＣＰＵ２０２は、ＲＡＭ２０６に記憶されている画像・タグ関連テーブル（図５参照）にアクセスし、タグ（ｔ）に関連する特定画像と、タグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ）それぞれに関連する特定画像とを抽出する（Ｓ７０６）。例えば、タグ（ｔ）「犬」である場合、ＣＰＵ２０２は、タグ（ｔ）「犬」に対して０より大きな値が登録されている提供画像を特定画像として抽出、すなわち、図５下段に示す画像・タグ関連テーブルに基づけば、提供画像１を特定画像１とし、提供画像４を特定画像４として抽出する（図５下段の画像・タグ関連テーブルの「犬」に係るレコードで、網掛けされた欄を参照）。

また、タグ（ｔ２）「車」である場合、ＣＰＵ２０２は、タグ（ｔ２）「車」に対して０より大きな値が登録されている提供画像３を特定画像３として抽出する（図５下段の画像・タグ関連テーブルの「車」に係るレコードで、網掛けされた欄を参照）。さらに、タグ（ｔ３）「ＢＢＢ ＢＢ」である場合、ＣＰＵ２０２は、タグ（ｔ３）「ＢＢＢ ＢＢ」に対して０より大きな値が登録されている提供画像２を特定画像２として抽出する（図５下段の画像・タグ関連テーブルの「ＢＢＢ ＢＢ」に係るレコードで、網掛けされた欄を参照）。なお、タグ（ｔ１）「ＡＡＡ ＡＡ」である場合、タグ（ｔ１）「ＡＡＡ ＡＡ」に対して０より大きな値が登録されている提供画像は存在しないため、ＣＰＵ２０２は、タグ（ｔ１）「ＡＡＡ ＡＡ」に関する特定画像を抽出しない。

Ｓ７０６を実行した後、ＣＰＵ２０２は、Ｓ７０６で抽出した特定画像それぞれ（前述の例に基づけば、特定画像１〜特定画像４）を、これらが記憶されているアクセス可能な記憶領域からＲＡＭ２０６上に読み出し、表示部１１０に順次表示する。なお、ＣＰＵ２０２は、特定画像を読み出すに際し、画像・タグ関連テーブルの各フィールドに登録された特定画像に係る提供画像それぞれに対応付けられた所在情報（パス）を参照する。

この際、画像・タグ関連テーブルに登録された値が高い、提供画像に係る特定画像を、優先して（例えば、最初に）表示する構成としてもよい。また、ＣＰＵ２０２は、Ｓ７０６で抽出した特定画像それぞれを一覧で表示する構成としてもよい。この場合も、画像・タグ関連テーブルに登録された値が高い、提供画像に係る特定画像を優先して（一覧表示の先頭（例えば、表示部１１０の上、より詳細には、左上に））表示する構成とすることもできる。

特定画像を表示部１１０に表示したＣＰＵ２０２は、この第１処理形態の画像検索処理を終了する。なお、第１処理形態の画像検索処理を終了したＣＰＵ２０２は、処理を図３に示すメイン処理のＳ１００に戻す。

（第２処理形態）
第２処理形態の画像検索処理について、図１２を参照して説明する。この第２処理形態の類似度更新処理を開始したＣＰＵ２０２は、Ｓ８００とＳ８０２とを実行する。ここで、Ｓ８００およびＳ８０２の各処理は、図１１に示す第１処理形態の画像検索処理のＳ７００およびＳ７０２のそれぞれに対応する処理であり、したがって、Ｓ８００およびＳ８０２についての詳細な説明は、省略する。次に、ＣＰＵ２０２は、Ｓ８０２で抽出されたタグ（ｔ）に関連するタグを、図１１のＳ７０４と同じ手法で抽出する。そして、ＣＰＵ２０２は、タグ（ｔ）に関連するタグの数と、上限ｋとの関係について判断する（Ｓ８０４）。具体的に、ＣＰＵ２０２は、タグ（ｔ）に関連するタグの数が、上限ｋより多いかを判断する（以上であるかを判断する。）。

Ｓ８０４の判断の結果、ＣＰＵ２０２は、タグ（ｔ）に関連するタグの数が、上限ｋより多い（以上である）場合（Ｓ８０４：Ｙｅｓ）、処理をＳ８０６に移行し、タグ（ｔ）に関連するタグの数が、上限ｋより少ない場合（Ｓ８０４：Ｎｏ）、処理をＳ８０８に移行する。Ｓ８０６で、ＣＰＵ２０２は、タグ（ｔ）に関連するタグから、上限ｋ個のタグを抽出し、図１１のＳ７０６と同様の処理を実行し、タグ（ｔ）に関連する特定画像と、タグ（ｔ）に関連する上限ｋ個のタグ（ｔ１，ｔ２，ｔ３，・・・，ｔｋ）それぞれに関連する特定画像とを抽出する（Ｓ８０６）。

Ｓ８０８でＣＰＵ２０２は、図１１のＳ７０６と同様の処理を実行し、タグ（ｔ）に関連する特定画像と、タグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ）それぞれに関連する特定画像とを抽出する（Ｓ８０６）。なお、特定画像の抽出に関しＳ８０６で行われる処理と、Ｓ８０８の処理とは、図１１のＳ７０６と同様に行われる。したがって、これらに関する詳細な説明は、省略する。

（本実施形態の構成による有利な効果）
本実施形態の表示端末装置１００によれば、次のような有利な効果を得ることができる。

（１）表示端末装置１００では、図３のメイン処理のＳ１０８で実行される類似度更新処理で、所定の処理（図６のＳ４００〜Ｓ４０６または図８のＳ５００〜Ｓ５１０参照）を実行するとともに、類似度テーブル更新処理（図４のＳ４０８、詳細は図９参照）を実行することで、図１０に示す類似度テーブルを更新することとした。そして、この類似度テーブルと、画像・タグ関連テーブルに基づき（図１１のＳ７０４，Ｓ７０６または図１２のＳ８０４またはＳ８０６，Ｓ８０８参照）、タグ（ｔ）とに関連する一の特定画像と、タグ（ｔ）に関連するタグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ／ｔｋ）に関連する他の特定画像を抽出し、抽出された一の特定画像と他の特定画像とを表示部１１０に表示することとした。これによれば、タグ（ｔ）に関連する一の特定画像に加え、タグ（ｔ）に関連するタグ（ｔ１，ｔ２，ｔ３，・・・，ｔｎ／ｔｋ）に関連する他の特定画像についても、１回の画像検索処理で検索することが可能で、幅広い観点で種々の特定画像を表示することができる。換言すれば、表示端末装置１００を利用するユーザは、種々の特定画像（バリエーションに富んだ特定画像）を観賞することができる。

（２）図８に示す第２実施形態の類似度更新処理によれば、所定の画像サイズより大きいオブジェクトに関するタグを抽出し（Ｓ５０６参照）、Ｓ５１２の類似度テーブル更新処理（詳細は図９参照）で、このタグとの組合せについて、値「１」または「２」を登録する（図９のＳ６０２，Ｓ６０４参照）こととした。これによれば、提供画像に含まれるものの画像サイズの小さいオブジェクトについての関連度を除外することができる。このような画像サイズの小さいオブジェクトは、画像サイズの大きなオブジェクトとの関連性は低いと考えられる（例えば、意図せずに含まれていた可能性が高い場合が多いと推測される。）。

（変形例）
本実施形態の構成は、次のような構成とすることもできる。

（１）上記では、電話回線９２０を介した構成として、電話回線通信機能部２３０によるファクシミリの受信を例とした。しかし、本実施形態の構成としては、ファクシミリによるものの他、ファクシミリとは異なる電話回線９２０を介した通信手法（通信プロトコル）によって、受信した画像（提供画像）を対象とすることもできる。

（２）上記では、オブジェクトとして、「犬」、「猫」および「車」などの物体を例とした。しかし、オブジェクトはこのような物体（もの）の他、例えば、提供画像に含まれる文字であってもよい。この場合、ＣＰＵ２０２は、自装置内のフラッシュメモリから、オブジェクトとして抽出された文字を含む所定の文書データを検索する。また、次に記載の変形例（３）の構成によれば、外部装置８００が備える記憶領域などから、オブジェクトとして抽出された文字を含む所定の文書データを検索する。

（３）図３のメイン処理のＳ１０２では、画像が添付された電子メールを受信した場合、または、ファクシミリを受信した場合などを例として、その判断を肯定し（Ｓ１０２：Ｙｅｓ）、さらに、入力された画像（提供画像）が操作され、Ｓ１０４の判断が肯定された場合（Ｓ１０４：Ｙｅｓ）、Ｓ１０６で画像・タグ関連テーブル追加処理（詳細は図４参照）を実行し、その中で、画像・タグ関連テーブルに提供画像についてのフィールドを追加する（図４のＳ３０４）こととした。

ここで、図４に示す画像・タグ関連テーブル追加処理について、例えば、図３のメイン処理のＳ１１４でブラウザソフトを起動し、インターネット９００上のサーバから所定の画像をダウンロードし、表示部１１０に表示した場合、または、ＬＡＮ７００に接続された外部装置８００の記憶領域に記憶されている画像にアクセスし、表示部１１０に表示した場合に、この画像・タグ関連テーブル処理を実行する構成とすることもできる。このような構成によれば、図１１、図１２にそれぞれ示す画像検索処理の中で、抽出の対象となる画像（画像群）の範囲を広げることができる。

なお、このような場合、ＣＰＵ２０２は、画像・タグ関連テーブルに追加されるフィールドに、これら画像の所在情報（例えば、インターネット９００上のサーバのアドレス、外部装置８００の記憶領域のアドレス）を対応付けて記憶する。また、表示端末装置１００に、これら画像を記憶した場合は、その記憶先のパスを対応付けて記憶する。

（４）図８に示す第２処理形態の類似度更新処理では、所定の画像サイズより大きいオブジェクトのみを対象として類似度テーブルの更新を適用するが選択された場合（Ｓ５０２：Ｙｅｓ）、ＣＰＵ２０２は、操作した提供画像に含まれるオブジェクトを抽出し、抽出されたオブジェクトそれぞれの画像サイズを算出し（Ｓ５０４）、所定の画像サイズより大きいオブジェクトを特定し、タグを抽出する（Ｓ５０６）。そして、抽出されたタグが存在するかを判断した結果、抽出されたタグが存在する場合（Ｓ５１０：Ｙｅｓ）、ＣＰＵ２０２は、引き続き、類似度テーブル更新処理を実行する（Ｓ５１２）こととした。したがって、この第２処理形態の類似度更新処理によれば、抽出されたオブジェクトの画像サイズが、所定の画像サイズより大きいオブジェクトに関するタグについてのみ、類似度テーブルに登録される。

しかし、これ以外の構成とすることもできる。具体的に、ＣＰＵ２０２は、提供画像の画像サイズが、所定の画像サイズより大きいかを判断し、大きい場合のみ、所定の画像サイズより大きな提供画像に含まれるオブジェクトに関するタグを、類似度テーブルに登録する構成とすることもできる。

さらに、本実施形態の構成と、この変形例（４）の構成を複合した、すなわち、所定の画像サイズより大きな提供画像に含まれるオブジェクトで、かつ所定の画像サイズより大きなオブジェクトに関するタグのみを、類似度テーブルに登録する構成とすることもできる。

１００ 表示端末装置
１１０ 表示部
２０２ ＣＰＵ
２０４ ＲＯＭ
２０６ ＲＡＭ
２２０ ＬＡＮインターフェース
２３０ 電話回線通信機能部
８００ 外部装置
９００ インターネット
９２０ 電話回線

Claims (7)

1. アクセス可能な記憶領域に記憶された特定画像を検索し、検索された前記特定画像を表示可能な表示端末装置であって、
   表示手段と、
   前記表示端末装置の外部の提供元から送信される提供画像を受信し、前記提供画像に対して所定の処理を実行可能なアプリケーション手段と、
   前記提供画像の提供元に関する提供元情報と前記提供画像に含まれる各第１オブジェクトに関する第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報相互間の関連度とを登録した類似度記録手段と、
   前記アプリケーション手段によって前記提供画像が前記所定の処理の対象とされた場合、前記所定の処理の対象とされた前記提供画像について、前記提供元情報と前記第１オブジェクト情報とを抽出する第１オブジェクト情報抽出手段と、
   前記第１オブジェクト情報抽出手段によって抽出された、前記提供元情報と前記第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報抽出手段によって抽出された前記第１オブジェクト情報相互間の関連度とを、前記類似度記録手段に登録する登録手段と、
   前記特定画像を検索するための検索条件となる第２オブジェクトを指定する検索条件指定手段と、
   前記検索条件指定手段によって指定された前記第２オブジェクトに関する第２オブジェクト情報を抽出する第２オブジェクト情報抽出手段と、
   前記第２オブジェクト情報抽出手段によって抽出された前記第２オブジェクト情報に関連する一の特定画像と、前記類似度記録手段で前記第２オブジェクト情報に一致する一の第１オブジェクト情報との間に関連度を有する他の第１オブジェクト情報に関連する他の特定画像とを検索する検索手段と、
   前記検索手段によって検索された前記一の特定画像と前記他の特定画像とを、前記表示手段に表示する表示制御手段とを備えることを特徴とする表示端末装置。
2. 前記登録手段は、前記第１オブジェクトの画像サイズが、所定の画像サイズより大きい前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録し、前記所定の画像サイズより小さい前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録しないことを特徴とする請求項１に記載の表示端末装置。
3. 前記登録手段は、前記提供画像の画像サイズが、所定の画像サイズより大きい前記提供画像に含まれる前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録し、前記所定の画像サイズより小さい前記提供画像に含まれる前記第１オブジェクトに関する前記第１オブジェクト情報について、前記類似度記録手段に登録しないことを特徴とする請求項１または請求項２に記載の表示端末装置。
4. 前記アプリケーション手段は、電子メール機能を有し、
   前記提供画像は、前記電子メール機能によって受信された電子メールに添付された添付画像であることを特徴とする請求項１から請求項３のいずれか１項に記載の表示端末装置。
5. 前記アプリケーション手段は、電話回線通信機能を有し、
   前記提供画像は、前記電話回線通信機能によって受信された静止画であることを特徴とする請求項１から請求項４のいずれか１項に記載の表示端末装置。
6. 前記検索手段は、前記他の第１オブジェクト情報が、所定の数より多い場合、前記類似度記録手段に登録された関連度にしたがい、前記所定の数の前記他の第１オブジェクト情報に関連する前記他の特定画像を検索することを特徴とする請求項１から請求項５のいずれか１項に記載の表示端末装置。
7. アクセス可能な記憶領域に記憶された特定画像を検索し、検索された前記特定画像を表示可能な表示手段と、外部の提供元から送信される提供画像を受信し、前記提供画像に対して所定の処理を実行可能なアプリケーション手段と、前記提供画像の提供元に関する提供元情報と前記提供画像に含まれる各第１オブジェクトに関する第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報相互間の関連度とを登録した類似度記録手段とを備える表示端末装置の制御部が読み取り可能なプログラムであって、
   前記制御部を、
   前記アプリケーション手段によって前記提供画像が前記所定の処理の対象とされた場合、前記所定の処理の対象とされた前記提供画像について、前記提供元情報と前記第１オブジェクト情報とを抽出する第１オブジェクト情報抽出手段と、
   前記第１オブジェクト情報抽出手段によって抽出された、前記提供元情報と前記第１オブジェクト情報それぞれとの間の関連度と、前記第１オブジェクト情報抽出手段によって抽出された前記第１オブジェクト情報相互間の関連度とを、前記類似度記録手段に登録する登録手段と、
   前記特定画像を検索するための検索条件となる第２オブジェクトを指定する検索条件指定手段と、
   前記検索条件指定手段によって指定された前記第２オブジェクトに関する第２オブジェクト情報を抽出する第２オブジェクト情報抽出手段と、
   前記第２オブジェクト情報抽出手段によって抽出された前記第２オブジェクト情報に関連する一の特定画像と、前記類似度記録手段で前記第２オブジェクト情報に一致する一の第１オブジェクト情報との間に関連度を有する他の第１オブジェクト情報に関連する他の特定画像とを検索する検索手段と、
   前記検索手段によって検索された前記一の特定画像と前記他の特定画像とを、前記表示手段に表示する表示制御手段として機能させるためのプログラム。