JP2012203645A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザが見たい画像データを煩雑な操作を行うことなく優先的に検索する。
【解決手段】オブジェクト特定部１０８は、ユーザによって選択されたオブジェクトを特定する。特徴抽出部１０９は、オブジェクト特定部１０８により特定されたオブジェクトの特徴を抽出する。画像検索部１１０は、抽出された特徴に基づいて、上記オブジェクトを含む画像データと他の複数の画像データとの類似度を算出し、類似度に従って、他の複数の画像データを検索する。
【選択図】図１

Description

本発明は、ユーザが見たい画像データを画像データ群から検索するための技術に関するものである。

近年、デジタルカメラ等に用いられる内蔵メモリの小型化、大容量化が促進され、大量の画像データが蓄積されるようになった。これにより、過去に撮影した画像データの蓄積数も増え、ユーザが多数の画像データの中から所望の画像データを見つけ出すのに長時間を要す等の問題があった。

特許文献１には、操作者の視線方向を検出することによって、注目された部分の特徴と一致又は類似した特徴を有する画像データを優先的に表示する技術が開示されている。また、特許文献２には、画像データの特徴を画面上の画像データとは別の特定のエリアに表示し、ユーザがなぞるエリアと方向に応じて画像データの表示を変える技術が開示されている。

特開平９−１１４８４６号公報 特開２０１０−１０９７８８号公報

特許文献１に開示された技術においては、注目されている部分の特徴と一致又は類似した特徴を有する画像データを優先的に表示することが可能になる。しかしながら、複数の特徴を指定したい場合、視線による指定は困難である。

また、特許文献２に開示された技術においては、時間やイベントといった特徴の軸に沿って容易に画像データを閲覧することができる。しかしながら、特許文献２に開示される技術では、画像データとは違うエリアを別途設けているため、タッチする場所が直観的ではない等の問題がある。

そこで、本発明の目的は、ユーザが見たい画像データを煩雑な操作を行うことなく優先的に検索することにある。

本発明の情報処理装置は、ユーザによって選択されたオブジェクトを特定する特定手段と、前記特定手段により特定された前記オブジェクトの特徴を抽出する抽出手段と、前記抽出手段により抽出された前記特徴に基づいて、前記オブジェクトを含む画像データと他の複数の画像データとの類似度を算出する算出手段と、前記算出手段により算出された前記類似度に従って、前記他の複数の画像データを検索する検索手段とを有することを特徴とする。

本発明によれば、ユーザが見たい画像データを煩雑な操作を行うことなく優先的に検索することが可能となる。

本発明の実施形態に係る情報処理システムの構成を示す図である。 本発明の実施形態に係る情報処理システムのハードウェア構成の一部を示す図である。 画像データ群の一例を示す図である。 画像データ群の表示状態を示す図である。 画像データ群の表示状態を示す図である。 画像データ群の表示状態を示す図である。 選択操作判定部の処理を示すフローチャートである。 複数箇所（Ｎ箇所）が同時にタッチされたか否かの判定処理を示すフローチャートである。 画像ブラウジングの際の処理を示すフローチャートである。 画像データ群の表示状態等を示す図である。 画像データ群の表示状態等を示す図である。 画像データ群の表示状態等を示す図である。 典型的な右手及び左手の１本〜５本の指の配置パターンを示す図である。 選択操作判定部の第９の変形例における処理を示すフローチャートである。 画像データ群の表示状態を示す図である。 画像ブラウジングの際の処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る情報処理システムの構成を示す図である。図１（ａ）に示すように、本実施形態に係る情報処理システムは、入力装置１０１、表示装置１０２、制御装置１０３及び記憶装置１０４により構成される。図１の例では、１０１〜１０４を独立した装置で構成しているが、これらの装置の機能を単一の装置内に備える構成であってもよい。

複数オブジェクト指定部１０５は、ユーザによるタッチ入力を受け付ける。１箇所のタッチや複数箇所のタッチのほか、ドラッグ（タッチしたまま指でずらす操作）やフリック（タッチした指を軽くはらう操作）の検出を行う。また、複数オブジェクト指定部１０５は、タッチ、ドラッグ及びフリック時の圧力の検出も行う。なお、タッチパネルの代わりにマウスや音声等の入力手段を用い、タッチ入力の代わりにクリック操作や音声入力を用いてもよい。

表示部１０６は、画像データ、テキストデータ等を表示する。選択操作判定部１０７は、画像データ中のオブジェクトが選択されたか否かを判定する。オブジェクト特定部１０８は、選択操作判定部１０７によって選択されたと判定されたオブジェクトを特定する。

特徴抽出部１０９は、オブジェクト特定部１０８によって特定されたオブジェクトの特徴を抽出する。オブジェクトの特徴は様々な捉え方があるが、例えば、人、物、色、形、大きさ等が挙げられる。本実施形態では、タッチされた箇所と後述の特徴データ１１２とからオブジェクトの特徴を抽出するが、既存の画像認識技術を用いてもよい。

画像検索部１１０は、特徴抽出部１０９により抽出されたオブジェクトの特徴に基づいて、記憶装置１０４に記憶された画像データ群１１１から画像データを検索したり、特徴の類似度に基づいて、画像データ群１１１を並び替える処理を実行する。また、画像検索部１１０は、表示させる画像データを選択し、表示部１０６に表示させる。

図１（ｂ）に示すように、特徴データ１１２は、画像データのＩＤと当該画像データのオブジェクトの領域情報と当該オブジェクトの特徴情報とを対応付けたデータである。上述した通り、オブジェクトの特徴としては、例えば、人、物、色、形、大きさ等が挙げられる。なお、特徴データ１２２は、テキスト、リスト、ＸＭＬ等で構成することができる。履歴情報１１３は、ユーザが操作した履歴やその結果（各構成の判定結果や抽出結果等）を示す情報である。履歴参照部１１４は、履歴情報１１３を参照する。

図２は、本実施形態に係る情報処理システムのハードウェア構成の一部を示す図である。図２に示すように、本実施形態に係る情報処理システムは、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３、タッチパネル２０４及びＬＣＤ（Liquid Crystal Display）２０５がシステムバス２０６によって接続されている。

図１における複数オブジェクト指定部１０５は、図２のタッチパネル２０４等から構成される。また、図１における表示部１０６は、図２のＬＣＤ２０５等から構成される。選択操作判定部１０７、オブジェクト特定部１０８、特徴抽出部１０９、画像検索部１１０及び履歴参照部１１４は、ＣＰＵ２０１がＲＯＭ２０３に記憶されたプログラムやデータをＲＡＭ２０２に読み出し、実行することにより得られる構成である。記憶装置１０４は、ＲＡＭ２０２等によって構成される。

図３は、画像データ群１１１の一例を示す図である。図３では、画像データ群１１１として、画像データ１〜画像データ１０の１０枚の画像データを示している。画像検索部１１０は、図４に示すように、表示順に基づいて画像データ群１１１を表示部１０６に表示させる。本実施形態では、図３に示す画像データ群１１１の表示順を、画像データ１、画像データ２、・・・、画像データ９、画像データ１０、画像データ１、画像データ２、・・・と定めている。従って、図４に示すように、表示部１０６においては、画像データ群１１１のうちの５枚の画像データが表示されるが、５枚の画像データは上記表示順に従って表示されることになる。具体的には、図４（ａ）に示すように、表示部１０６の左側から、画像データ９、画像データ１０、画像データ１、画像データ２、画像データ３の順序で表示される。或いは、図４（ｂ）に示すように、表示部１０６の左側から、画像データ１、画像データ２、画像データ３、画像データ４、画像データ５の順序で表示される。なお、アプリケーション起動時における画像データの表示順は、日付順や名前順等、アプリケーションで定められた規則に基づいて定められる。また、図４（ａ）の例では、表示順が最も高い画像データ１が真中に位置するようにしているが、図４（ｂ）に示すように、表示順の最も高い画像データ１が一番左に位置するようにしてもよい。なお、表示順の最も高い画像データの表示位置はアプリケーションによって定められる。また、アプリケーション起動時の画像データの表示順や表示順の最も高い画像データの表示位置は、ユーザがアプリケーションを通じて設定できるようにしてもよい。

また、表示部１０６は、複数オブジェクト指定部１０５を介してタッチできるようになっており、１箇所のタッチや複数箇所のタッチが可能である。また、ドラッグ（タッチしたまま指でずらす操作）、フリック（タッチした指を軽くはらう操作）も可能である。本実施形態では、画像ブラウジング時に画像データがドラッグ又はフリック（以下では、はフリックについてのみ説明する）されると、画像データの表示切り替えが指示されたと解釈し、画像データの表示切り替えが実行される。

次に、図５及び図６を参照しながら、画像ブラウジング時にフリックされたときの動作例について説明する。図５及び図６では、タッチされた箇所を黒丸５０１、６０１、ドラッグ又はフリックの方向を矢印５０２、６０２で示している。図５（ａ）に示すように、画像データ１がタッチされ、左方向にフリックされると、図５（ｂ）に示すように、画像データ群１１１が左方向に移動するように画像データの表示切り替えが行われる。また、図６（ａ）に示すように、画像データ１がタッチされ、右方向にフリックされると、図６（ｂ）に示すように、画像データ群１１１が右方向に移動するように画像データの表示切り替えが行われる。

このとき、画像データ中のオブジェクトが選択されない状態で画像データの表示切り替えが指示された場合、画像データの表示順を保ったまま、画像データの表示切り替えが行われる。一方、画像データ中の１つ以上のオブジェクトが選択された状態で画像データの表示切り替えが指示された場合、選択されたオブジェクトの特徴に基づいて画像データの表示順が変更されて画像データの表示切り替えが行われる。即ち、本実施形態においては、画像データ中のオブジェクトが選択されない状態で画像データの表示切り替えが指示されたのか、画像データ中のオブジェクトが選択された状態で画像データの表示切り替えが指示されたのかの判定が必要になる。そこで、本実施形態においては、上記の判定を選択操作判定部１０７にて実行する。

次に、図７を参照しながら、選択操作判定部１０７の処理について説明する。図７は、選択操作判定部１０７の処理を示すフローチャートである。ここでは、画像データがタッチされた時刻をＴｔ、画像データがフリックされた時刻をＴｆとする。これらの時刻は複数オブジェクト指定部１０５によって取得される情報であり、履歴情報１１３として記憶装置１０４に記憶される。ステップＳ９０１において、選択操作判定部１０７は、履歴情報１１３である、画像データがタッチされた時刻（タッチ時刻）Ｔｔと、画像データがフリックされた時刻（フリック時刻）Ｔｆとを、履歴参照部１１４を介して記憶装置１０４から取得する。

ステップＳ７０２において、選択操作判定部１０７は、タッチ時刻Ｔｔとフリック時刻Ｔｆとに基づいて、オブジェクトの選択操作であるか否かを判定する。具体的には、タッチ時刻Ｔｔからフリック時刻Ｔｆまでの時間間隔が短い、即ち、（Ｔｆ−Ｔｔ）が所定の時間間隔（例えば、０．１秒）以下であれば、選択操作判定部１０７は、画像データ中のオブジェクトが選択されない状態で画像データの表示切り替えが指示されたと判定する。一方、タッチ時刻Ｔｔからフリック時刻Ｔｆまでの時間間隔が或る程度長い、即ち、（Ｔｆ−Ｔｔ）が所定の時間間隔（例えば、０．１秒）より長ければ、選択操作判定部１０７は、画像データ中のオブジェクトが選択された状態で画像データの表示切り替えが指示されたと判定する。また、複数箇所（Ｎ箇所）がタッチされた場合、これらが同時にタッチされ、且つ、上記のようにタッチ時刻Ｔｔからフリック時刻Ｔｆまでの時間間隔が短ければ、選択操作判定部１０７は、画像データ中のオブジェクトが選択されない状態で画像データの表示切り替えが指示されたと判定する。

なお、複数箇所（Ｎ箇所）が同時にタッチされたか否かについては、全てのタッチ時刻の差がほとんどないか否かで判定される。次に、図８を参照しながら、複数箇所（Ｎ箇所）が同時にタッチされたか否かの判定処理について説明する。図８は、複数箇所（Ｎ箇所）が同時にタッチされたか否かの判定処理を示すフローチャートである。ステップＳ８０１において、選択操作判定部１０７は、それぞれのタッチ時刻をＴｔ１、Ｔｔ２、Ｔｔ３、・・・、ＴｔＮとして設定する。ステップＳ８０２において、選択操作判定部１０７は、変数ｎに１を代入する。ステップＳ８０３において、選択操作判定部１０７は、変数ｍにｎ＋１を代入する。ステップＳ８０４において、選択操作判定部１０７は、Ｎ＜ｎ又はＮ＜ｍの条件を満たすか否かを判定する。Ｎ＜ｎ又はＮ＜ｍの条件を満たす場合、処理はステップＳ８０８に移行する。一方、Ｎ＜ｎ及びＮ＜ｍの何れの条件も満たさない場合、処理はステップＳ８０５に移行する。ステップＳ８０８において、選択操作判定部１０７は、複数箇所が同時にタッチされたと判定する。

ステップＳ８０５において、選択操作判定部１０７は、時刻Ｔｔｍと時刻Ｔｔｎとの差が十分小さいか否か、即ち、時刻Ｔｔｍと時刻Ｔｔｎとの差の絶対値が所定の値（例えば、０．０１秒）より小さいか否かを判定する。時刻Ｔｔｍと時刻Ｔｔｎとの差が十分小さい場合、処理はステップＳ８０６に移行する。一方、時刻Ｔｔｍと時刻Ｔｔｎとの差が十分小さくない場合、処理はステップＳ８０７に移行する。ステップＳ８０６において、選択操作判定部１０７は、ｎを１加算する。そして、処理はステップＳ８０３に戻る。ステップＳ８０７において、選択操作判定部１０７は、複数箇所が同時にタッチされていないと判定する。

以上のように、複数箇所が同時にタッチされたか否かを判定し、同時にタッチされたと判定された場合、時刻Ｔｔｍ及び時刻Ｔｔｎのうちの何れか、又は、時刻Ｔｔｍと時刻Ｔｔｎとの平均値をＴｔとする。また、画像データがフリックされた時刻をＴｆとすると、（Ｔｆ−Ｔｔ）が所定の時間間隔（例えば、０．１秒）以下であれば、選択操作判定部１０７は、画像データ中のオブジェクトが選択されない状態で画像データの表示切り替えが指示されたと判定する。一方、（Ｔｆ−Ｔｔ）が所定の時間間隔（例えば、０．１秒）より長ければ、選択操作判定部１０７は、画像データ中のオブジェクトが選択された状態で画像データの表示切り替えが指示されたと判定する。

以上により、ユーザがオブジェクトを選択しない場合はタッチ時刻からフリック時刻までの時間間隔が短いという自然な操作に基づく判定が可能になる。

次に、図９〜図１２を参照しながら、画像ブラウジングを行う際の処理について説明する。図９は、画像ブラウジングの際の処理を示すフローチャートである。図１０〜図１２は、画像データ群１１１の表示状態等を示す図である。即ち、図１０（ａ）、図１１（ａ）、図１２（ａ）は何れも、三角や丸の特徴をもつオブジェクトを含む画像データ群１１１を示しており、図１０（ｂ）、図１１（ｂ）、図１２（ｂ）に表示部１０６における画像データの表示状態を示している。図１０（ｃ）は、画像データの分割例を示している。図１０（ｃ）の例では、画像データを縦方向に２分割、横方向に２分割し、画像データに対してＡ、Ｂ、Ｃ、Ｄの４つの領域を定義している。図１０（ｄ）は、このように画像データに対して４つの領域を定義した場合の特徴データ１１２の例を示している。「ＩＤ」の欄には、画像データのＩＤが定義され、「オブジェクトの領域情報」の欄には、オブジェクトが領域Ａ〜Ｄのどの領域に属しているかが定義され、「特徴情報」の欄には、オブジェクトの特徴が定義されている。図１１（ｂ）、図１２（ｂ）の黒丸１１０１、１２０１は、ユーザにタッチされた箇所を示している。図１１（ｃ）、図１２（ｃ）は、タッチされた箇所に対応するオブジェクトの特徴情報を示している。

ステップＳ９０１において、画像検索部１１０は、表示順に基づいて画像データ群１１１を表示部１０６に表示させる。上記表示順は、日付順や名前順等、アプリケーションで定められた規則に基づいて定められる。また、この最初の順序は、ユーザがアプリケーションを通じて設定できるようにしてもよい。図１０（ａ）の例では、画像データ群１１１は日付順に並んでおり、図１０（ｂ）に示すように、表示部１０６の左側から、最後の２枚の画像データ（画像データ９、画像データ１０）と最初の３枚の画像データ（画像データ１、画像データ２、画像データ３）とが表示されている。

ステップＳ９０２において、選択操作判定部１０７は、複数オブジェクト指定部１０５から１つ以上のタッチ入力が通知されたか否かを判定する。１つ以上のタッチ入力が通知された場合、処理はステップＳ９０３に移行する。一方、１つ以上のタッチ入力が通知されなかった場合、複数オブジェクト指定部１０５からタッチ入力が通知されるまで待機する。

ステップＳ９０３において、オブジェクト特定部１０７は、選択操作判定部１０７によりオブジェクトが選択されたと判定された場合、当該オブジェクトを特定する。そして特徴抽出部１０９は、そのオブジェクトの特徴を抽出する。具体的には、オブジェクト特定部１０７は、タッチされた箇所が画像データ中のどの位置にあるかを算出し、更に特徴データ１１２を参照して、タッチされた箇所が画像データ中のどのオブジェクトに属するかを判定する。特徴データ１１２にはオブジェクトの領域情報が含まれているため、画像データ中における任意の位置についてどのオブジェクトが属しているかを容易に判定することができる。また、複数の箇所がタッチされていて、その位置がそれぞれ異なるオブジェクトに属する場合、複数のオブジェクトが選択されたことになる。また、複数の箇所がタッチされていて、その位置が何れも同一のオブジェクトに属する場合、１つのオブジェクトが選択されたことになる。選択されたオブジェクトが特定されると、特徴抽出部１０９は、選択されたオブジェクトの特徴を抽出する。特徴データ１１２には、オブジェクトの領域情報とオブジェクトの特徴情報とが対応付けられているので、選択されたオブジェクトの特徴を抽出することができる。複数のオブジェクトが選択された場合、全てのオブジェクトに関してそれぞれ特徴が抽出される。なお、特徴データ１１２が与えられていない場合には、既存の画像認識技術を利用することにより、画像データの任意の位置におけるオブジェクト（人や物等）及びその特徴（名前、色、形等）を認識して取得することができる。図１１の例では、図１１（ｃ）に示すように丸という特徴が抽出される。また、図１２の例では、図１２（ｃ）に示すように三角という特徴が抽出される。

また、本実施形態においては、特定したオブジェクトの画像データ上の領域情報を取得することができるため、その領域に色を付ける、オブジェクトの縁取りをする等、画像データ上のオブジェクトを目立たせるようにしてもよい。またオブジェクトがもつ特徴（文字列）を画像データ上に重畳して表示させてもよい。

ステップＳ９０４において、画像検索部１１０は、オブジェクト特定部１０８によってオブジェクトが特定され、且つ、特徴抽出部１０９によって特徴が抽出されたか否かを判定する。タッチされた位置が何れのオブジェクトにも属さず、これにより、オブジェクトが特定されず、特徴が抽出されなかった場合、処理はステップＳ９０６に移行する。一方、タッチされた位置が何れかのオブジェクトに属し、これにより、オブジェクトが特定され、特徴が抽出された場合、処理はステップＳ９０５に移行する。

ステップＳ９０５において、画像検索部１１０は、画像データ群１１１について特徴の類似度を算出し、その類似度に基づいて画像データ群１１１を検索し、検索結果に応じて画像データの表示順を変更する。ここでは、画像データ群１１１を類似度の高い順に検索し、並び替える。実際に画像データ群１１１を並び替えてもよいし、表示順を示す値を更新してもよい。特徴の類似度は、画像データにその特徴をもつオブジェクトがどのくらい含まれているかを表す値である。例えば、当該特徴をもつオブジェクトの数やオブジェクトの面積の他、認識尤度等を利用してもよい。図１１の例では、画像検索部１１０は、図１０（ｄ）に示す特徴データ１１２を参照することにより、丸という特徴をもつオブジェクトを含む画像データ１、４、８の類似度を高くして、図１１（ａ）に示すように画像データを並び変えている。図１１（ａ）の例では、丸という特徴をもつオブジェクトを含む画像データ内での優先度、及び、丸という特徴をもつオブジェクトを含まない画像データ内での優先度は、並び替える前の順序を保っているが、これに限らない。例えば同じ特徴をもつオブジェクトを含む画像データ内において日付順に並べるようにしてもよい。

また、特徴が複数ある場合、その複数の特徴のＡＮＤ（論理積）に基づく類似度に応じて画像データ群１１１を並べ替えてもよい。さらに、複数の特徴のＡＮＤではなくＯＲ（論理和）に基づく類似度に応じて画像データ群１１１を並べ替えるようにしてもよい。特徴が複数の場合にＡＮＤに基づくかＯＲに基づくかはユーザがアプリケーションを通じて設定できるようにしてもよい。

ステップＳ９０６において、選択操作判定部１０７は、タッチ入力に変更があったか否かを判定する。即ち、選択操作判定部１０７は、上述したステップＳ９０２で検知したタッチ入力の状態と比較し、タッチ入力の状態が異なる場合、処理はステップＳ９０７に移行する。一方、上述したステップＳ９０２で検知されたタッチ入力の状態と同一の場合、処理はステップＳ９０８に移行する。なお、タッチ入力の状態が異なるとは、例えば「タッチ入力が１つから２つになった」、「タッチ入力が２つから１つになった」等の入力数の増減のほか、タッチ位置の変更等が挙げられる。ここでタッチ位置の変更とは、ドラッグやフリックとは異なり、ある位置のタッチが解除され、再び別の位置がタッチされることを意味する。

ステップＳ９０７において、画像検索部１１０は、前段のステップＳ９０５にて画像データの表示順を変更した場合、画像データの表示順を元に戻す。一方、前段のステップＳ９０５において画像データの表示順を変更していない場合、画像検索部１１０は何も処理を行わない。そして、処理はステップＳ９０２に戻る。

ステップＳ９０８において、画像検索部１１０は、画像データの表示切り替えの指示があったか否かを判定する。上述した通り、本実施形態では、画像ブラウジング時に画像データ上でフリックされると、画像データの表示切り替えの指示があったと解釈する。このため、複数オブジェクト指定部１０５からフリックが行われたことが通知された場合、処理はステップＳ９０９に移行する。一方、フリックが行われたことが通知されなかった場合、処理はステップＳ９０６に移行する。ステップＳ９０９において、画像検索部１１０は、表示順に基づいて画像データ群１１１を表示部１０６に表示させる。

なお、アプリケーションから終了の指示があった場合、何れのステップにおいても割り込み処理によりアプリケーションを終了する。また、選択操作判定部１０７の処理は上述した処理に限らない。例えば以下のような処理が挙げられる。以下に説明する選択操作判定部１０７の処理は、図９の処理と並行に行われる。

先ず、選択操作判定部１０７の第１の変形例について説明する。上述したようにタッチ時刻からフリック時刻までの時間間隔を用いた場合、その時間間隔が短いか否かはユーザによって異なる場合がある。第１の変形例では、図７のステップＳ７０１において、選択操作判定部１０７は、履歴情報１１３である、今回のタッチ時刻及びフリック時刻と、過去のタッチ時刻からフリック時刻までの時間間隔とを参照する。ステップＳ７０２において、選択操作判定部１０７は、今回のタッチ時刻からフリック時刻までの時間間隔を算出し、当該時間間隔が過去のタッチ時刻からフリック時刻までの時間間隔と同じ、又は、当該時間間隔と過去のタッチ時刻からフリック時刻までの時間間隔との差が所定の値（例えば、０．１秒）以下であれば、オブジェクトが選択されたと判定する。一方、上記の条件を満たさない場合、選択操作判定部１０７は、オブジェクトは選択されていないと判定する。さらに、選択操作判定部１０７は、その判定結果を今回のタッチ時刻からフリック時刻までの時間間隔と対応付けて履歴情報１１３として記憶装置１０４に記憶させておき、次回以降の判定に利用する。また、判定の際に用いられる過去のタッチ時刻からフリック時刻までの時間間隔は、例えば数分以内の履歴情報１１３に限ってもよい。これにより、タッチ時刻からフリック時刻までの時間間隔を個々のユーザ毎にカスタマイズすることができる。

次に、選択操作判定部１０７の第２の変形例について説明する。ユーザがオブジェクトを選択するのにはある程度時間がかかる。このため、一つ前のフリック時刻から今回のフリック時刻までの時間間隔が十分短い場合、オブジェクトを選択していないとみなすことができる。本変形例では、図７のステップＳ７０１において、選択操作判定部１０７は、履歴情報１１３である、今回のフリック時刻と一つ前のフリック時刻とを参照する。ステップＳ７０２において、選択操作判定部１０７は、今回のフリック時刻と一つ前のフリック時刻との時間間隔を算出し、その時間間隔が所定の値（例えば、０．５秒）以下である場合、オブジェクトは選択されていないと判定する。一方、当該時間間隔が所定の値（例えば、０．５秒）より長ければ、選択操作判定部１０７は、オブジェクトが選択されたと判定する。これにより、ユーザはオブジェクトを選択しない場合には早く画像データを切り替えるという自然な操作に基づく判定が可能になる。

次に、選択操作判定部１０７の第３の変形例について説明する。ユーザが画像データを閲覧するときはある一定の時間間隔で画像データの表示を切り替えることが多い。一方、何かを注視したり、特定の操作をしたりする場合に時間間隔が一定でなくなることがある。オブジェクトの選択もこの中の１つである。このような事情を考慮し、本変形例では、フリック時刻の時間間隔が一定でない場合にオブジェクトが選択されたと判定する。即ち、ステップＳ７０１において、選択操作判定部１０７は、履歴情報１１３である、今回のフリック時刻と一つ前のフリック時刻とを参照する。ステップＳ７０２において、選択操作判定部１０７は、今回のフリック時刻と一つ前のフリック時刻との時間間隔を算出する。当該時間間隔が過去のフリック時刻の時間間隔の平均値と同じ、又は、当該時間間隔と過去のフリック時刻の時間間隔の平均値との差が所定の値（例えば、０．５秒）以下である場合、選択操作判定部１０７は、オブジェクトは選択されていないと判定する。一方、当該時間間隔と過去のフリック時刻の時間間隔の平均値との差が所定の値（例えば、０．５秒）より長い場合、選択操作判定部１０７は、オブジェクトが選択されたと判定する。また、判定の際に用いられる過去のフリック時刻の時間間隔の平均値は、例えば数分以内の下記のフリック時刻の時間間隔の平均値に限ってもよい。これにより、ユーザがオブジェクトを選択するときに画像データの表示切り替えが一定の時間間隔でなくなるという自然な操作に基づく判定が可能になる。

次に、選択操作判定部１０７の第４の変形例について説明する。上記の第３の変形例の場合、オブジェクトを選択した後の１回目のフリック時の判定が難しい。そこで、本変形例では、過去のタッチ時刻からフリック時刻までの時間間隔と選択操作判定部１０７の判定結果とを対応付けて履歴情報１１３として記憶装置１０４に記憶させておく。そして、ステップＳ７０１において、選択操作判定部１０７は、履歴情報１１３である、過去のタッチ時刻からフリック時刻までの時間間隔と選択操作判定部１０７の判定結果とを参照する。ステップＳ７０２において、選択操作判定部１０７は、今回のタッチ時刻からフリック時刻までの時間間隔が、オブジェクトが選択されたと判定された場合における過去のタッチ時刻からフリック時刻までの時間間隔の平均値と同じ、又は、今回のタッチ時刻からフリック時刻までの時間間隔と上記過去のタッチ時刻からフリック時刻までの時間間隔の平均値との差が所定の値（例えば０．１秒）以下であれば、オブジェクトが選択されたと判定する。一方、上記の条件を満たさない場合、選択操作判定部１０７は、オブジェクトが選択されていないと判定する。また、判定の際に用いられる過去のフリック時刻の時間間隔は、例えば数分以内の履歴情報１１３に限ってもよい。これにより、ユーザがオブジェクトを選択するときに画像データの表示切り替えが一定間隔でなくなるという自然な操作に基づく判定が可能になる。

次に、選択操作判定部１０７の第５の変形例について説明する。一般的に、ユーザがタッチして何かを選択する場合、特にタッチで複数選択する場合は、単にフリックするよりも圧力がかかる。そこで、本変形例における選択操作判定部１０７は、タッチ又はフリックの圧力が所定の値以上である場合、オブジェクトが選択されたと判定し、当該圧力が所定の値未満である場合、オブジェクトは選択されていないと判定する。これにより、オブジェクトを選択するときに圧力がかかるというユーザの自然な操作に基づく判別が可能になる。

次に、選択操作判定部１０７の第６の変形例について説明する。第５の変形例のように圧力を用いた場合、その圧力が大きいかどうかはユーザによって異なる場合がある。そこで、本変形例では、過去のタッチ又はフリックの圧力と選択操作判定部１０７の判定結果とを対応付けて履歴情報１１３として記憶装置１０４に記憶させておく。そして、ステップＳ７０１において、選択操作判定部１０７は、履歴情報１１３である、今回のタッチ又はフリックの圧力と過去のタッチ又はフリックの圧力とを参照する。ステップＳ７０２において、選択操作判定部１０７は、今回のタッチ又はフリックの圧力が、オブジェクトが選択されたと判定された場合における過去のタッチ又はフリックの圧力の平均値と同じ、又は、今回のタッチ又はフリックの圧力と上記過去のタッチ又はフリックの圧力の平均値との差が所定の値以下であれば、オブジェクトが選択されたと判定する。一方、上記の条件を満たさない場合、選択操作判定部１０７は、オブジェクトは選択されていないと判定する。なお、今回の判定結果とタッチ又はフリックの圧力とは履歴情報１１３として記憶され、次回以降の判定の際に使用される。また、判定の際に用いられる過去のタッチ又はフリックの圧力は、例えば数分以内の履歴情報１１３に限ってもよい。これにより、圧力の大きさを個々のユーザ毎にカスタマイズすることができる。

次に、選択操作判定部１０７の第７の変形例について説明する。ユーザがオブジェクトを選択せずに画像データを閲覧するときは、連続してタッチされる箇所の総数（例えばタッチする指の数）は一定であることが多い。一方、オブジェクトを指定する場合は複数指定することがあるため、タッチ又はフリックされる箇所の総数は変化することがある。このような事情を考慮し、本変形例では、ステップＳ９０１において、選択操作判定部１０７は、履歴情報１１３である、過去のタッチ又はフリックされた箇所の総数を参照する。ステップＳ９０２において、選択操作判定部１０７は、今回タッチ又はフリックされた箇所の総数が、直前の幾つかの入力（例えば、直前の５入力）においてタッチ又はフリックされた箇所の総数と同じである場合、オブジェクトは選択されていないと判定する。一方、今回タッチ又はフリックされた箇所の総数が、直前の幾つかの入力（例えば、直前の５入力）においてタッチ又はフリックされた箇所の総数と異なる場合、選択操作判定部１０７は、オブジェクトが選択されたと判定する。この場合、上述した図９のステップＳ９０２の時点で画像データ中のオブジェクトが選択されない状態で画像データの表示切り替えが指示されたと判定することができるので、ステップＳ９０３に移行する必要がない。これにより、ユーザがオブジェクトを選択しないときはタッチする箇所の総数が変化しないというユーザの自然な操作に基づく判定が可能になる。

次に、選択操作判定部１０７の第８の変形例について説明する。ユーザがオブジェクトを選択せずに画像データを閲覧する場合、ある特定の領域を連続してタッチ又はフリックして画像データを切り替えられることが多い。一方、オブジェクトを選択する場合、ある特定の領域を連続してタッチすることは少ない。この場合、ステップＳ７０１において、選択操作判定部１０７は、履歴情報１１３である、過去のタッチ又はフリックされた箇所の情報（例えば座標情報）を参照する。ステップＳ７０２において、選択操作判定部１０７は、今回タッチ又はフリックされた箇所が過去にタッチ又はフリックされた箇所から所定の範囲内にある場合、オブジェクトは選択されていないと判定する。一方、上記の条件を満たさない場合、選択操作判定部１０７は、オブジェクトが選択されたと判定する。なお、判定の際に用いられる過去にタッチ又はフリックされた箇所の情報は、例えば数分以内の履歴情報１１３に限ってもよい。また、上記所定の範囲内とは、個々の画像データ上の座標ではなく、画像データが表示されている画面全体（表示部１０６）又はタッチパネル全体の中の座標を意味する。これにより、ユーザがオブジェクトを選択しないときはある特定の領域を連続してタッチ及びフリックするというユーザの自然な操作に基づく判定が可能になる。

次に、選択操作判定部１０７の第９の変形例について説明する。ユーザがオブジェクトを選択せずに画像データを閲覧するときは指の配置パターンが自然である。一方、オブジェクトの配置は指の自然な配置とは一致しないことが多いため、オブジェクトを選択する場合の指の配置は不自然なことが多い。このような事情を考慮し、タッチされた箇所の配置パターンと典型的な指の配置パターンとの類似度より、タッチされた箇所の配置パターンとオブジェクトの配置パターンとの類似度の方が高い場合、選択操作判定部１０７はオブジェクトが選択されたと判定する。

以下、選択操作判定部１０７の第９の変形例について具体的に説明する。図１３に示すような、典型的な右手及び左手の１本〜５本の指の配置パターンを予め記憶装置１０４に記憶しておく。指の配置パターンは画像データではなく配置を示す数値でもよい。以下、図１４を参照しながら、選択操作判定部１０７の第９の変形例における処理について説明する。図１４は、選択操作判定部１０７の第９の変形例における処理を示すフローチャートである。

ステップＳ１４０１において、選択操作判定部１０７は、複数オブジェクト指定部１０５から、タッチされた箇所の総数Ｎとタッチされた箇所の配置パターンとを取得する。ステップＳ１４０２において、選択操作判定部１０７は、画像データ上のオブジェクトの総数Ｍとそのオブジェクトの配置パターンとを取得する。もし、図１５に示すように、タッチされている画像データが複数に渡る場合は、複数の画像データ（画像データ１０、画像データ１）に含まれるオブジェクトの総数となる。なお、図１５の１５０１、１５０２の黒丸はタッチされている箇所を示している。また、オブジェクトの配置パターンは上記複数の画像データの配置情報を考慮する必要がある。画像データ１０と画像データ１とを例にとると、画像データ１０と画像データ１との配置情報（図１５の例では、画像データ１０が左に、画像データ１が右に配置されている）に応じてオブジェクトの配置パターンが変わる。また、オブジェクトの総数Ｍを取得する対象範囲は画像データ全体でもよいが、全ての指が含まれる最小の四角形を対象範囲としてもよい。

ステップＳ１４０３において、選択操作判定部１０７は、タッチされた箇所の総数Ｎとオブジェクトの総数Ｍとを比較する。オブジェクトの総数Ｍよりタッチされた箇所の総数Ｎの方が大きい場合、処理はステップＳ１４０４に移行する。一方、オブジェクトの総数Ｍがタッチされた箇所の総数Ｎ以上である場合、処理はステップＳ１４０７に移行する。

ステップＳ１４０４において、選択操作判定部１０７は、タッチされた箇所の配置パターンとオブジェクトの配置パターンとの類似度と、タッチされた箇所の配置パターンと典型的な指の配置パターンとの類似度とをそれぞれ計算する。なお、パターンの類似度は、既存の技術を用いることにより容易に算出することができる。

ステップＳ１４０５において、選択操作判定部１０７は、ステップＳ１４０４にて算出した２つの類似度を比較する。タッチされた箇所の配置パターンとオブジェクトの配置パターンとの類似度より、タッチされた箇所の配置パターンと典型的な指の配置パターンとの類似度の方が高い場合、処理はステップＳ１４０７に移行する。一方、タッチされた箇所の配置パターンと典型的な指配置パターンとの類似度の方より、タッチされた箇所の配置パターンとオブジェクトの配置パターンとの類似度の方が高い場合、処理はステップＳ１４０６に移行する。ステップＳ１４０７において、選択操作判定部１０７は、オブジェクトが選択されない状態で画像データの表示切り替えが指示されたと判定する。ステップＳ１４０６において、選択操作判定部１０７は、オブジェクトが選択された状態で画像データの表示切り替えが指示されたと判定する。

なお、上述した第１〜第９の変形例の夫々を適用してもよいし、第１〜第９の変形例のうちの任意の複数の変形例を組み合わせて適用してもよい。

以上のように、本実施形態によれば、ユーザが優先的に見たいオブジェクトをタッチするという直観的な操作で他の画像データより優先的に当該オブジェクトを含む画像データを検索し、表示させることができる。また、オブジェクトが選択されたか否かについてユーザの自然な操作に基づく判定が可能になるため、ユーザの負担を増やすことがない。

次に、本発明の第２の実施形態について説明する。第１の実施形態では、同時に複数の特徴を指定する際に、複数の特徴をもつオブジェクトを同時に選択する方法を示した。これに対し、第２の実施形態では、同時に複数の特徴を指定する場合に、オブジェクトを複数回に分けて選択する方法について説明する。なお、第２の実施形態に係る情報処理システムの構成は図１に示した構成と同様であるため、以下の説明においても、図１の符合を用いるものとする。

第２の実施形態によれば、例えば、図１１の１１０１に示すように、丸という特徴をもつオブジェクトを指定して画像データの表示を切り替えた後に、続いて図１２の１２０１に示すように、三角の特徴をもつオブジェクトを指定すると、丸と三角という複数の特徴をもつ画像データを優先させる動作が可能になる。

次に、図１６を参照しながら、画像ブラウジングを行う際の処理について説明する。図１６は、画像ブラウジングの際の処理を示すフローチャートである。なお、図１６では、図９と共通の処理については図９と同じ符号を付与している。以下では、図９と異なる処理である、ステップＳ１６０１、Ｓ１６０２、Ｓ１６０３について説明する。

ステップＳ１６０１においては、画像検索部１１０は、基本的には上記ステップＳ９０５と同様の処理を行う。但し、後述のステップＳ１６０３にてクリアされるまで過去に指定された特徴を記憶装置１０４に保持しておき、過去に指定された特徴に対し、新たに指定された特徴を追加する点が異なる。図１１に示すように、丸という特徴をもつオブジェクトを指定して画像データの表示を切り替えた後に、続いて三角の特徴をもつオブジェクトを指定すると、記憶装置１０４に保持している特徴は丸と三角になる。複数選択されたときにＡＮＤ（論理積）をとるか、ＯＲ（論理和）をとるか等は第１の実施形態と同様である。

ステップＳ１６０２において、入力装置１０３は、ユーザがアプリケーションを通じて特徴情報をクリアするという指示を出したか否かを判定する。例えば、表示部１０６にクリアボタンを配置し、入力装置１０１はそのボタンが押下されたか否かを判定する。特徴情報をクリアするという指示が出された場合、処理はステップＳ１６０３に移行する。一方、特徴情報をクリアするという指示が出されていない場合、処理はステップＳ９０２に戻る。ステップＳ１６０３において、制御装置１０３は、特徴情報をクリアする。具体的には、制御装置１０３は記憶装置１０４に保持されている特徴情報を削除する。なお、ユーザが一度に選択するオブジェクトは１つでもよいし、複数でもよい。

以上説明したように、本実施形態によれば、ユーザが優先的に見たいオブジェクトを順番にタッチするという直観的な操作で他の画像データより優先的に表示させることができる。また、第１の実施形態と同様に、ユーザが優先的に見たいオブジェクトをタッチするという直観的な操作で他の画像データより優先的に表示させることができる。また、オブジェクトが選択されたかどうかについてユーザの自然な操作に基づく判別が可能になるため、ユーザの負担を増やすことがない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：入力装置、１０２：表示装置、１０３：制御装置、１０４：記憶装置、１０５：複数オブジェクト指定部、１０６：表示部、１０７：選択操作判定部、１０８：オブジェクト特定部、１０９：特徴抽出部、１１０：画像検索部、１１１：画像データ群、１１２：特徴データ、１１３：履歴情報、１１４：履歴参照部

Claims (11)

1. ユーザによって選択されたオブジェクトを特定する特定手段と、
   前記特定手段により特定された前記オブジェクトの特徴を抽出する抽出手段と、
   前記抽出手段により抽出された前記特徴に基づいて、前記オブジェクトを含む画像データと他の複数の画像データとの類似度を算出する算出手段と、
   前記算出手段により算出された前記類似度に従って、前記他の複数の画像データを検索する検索手段とを有することを特徴とする情報処理装置。
2. 前記検索手段による検索結果に基づいて、前記他の複数の画像データの表示順を決定する制御手段を更に有することを特徴とする請求項１に記載の情報処理装置。
3. ユーザによって前記オブジェクトが選択されたか否かを判定する判定手段を更に有し、
   前記特定手段は、前記判定手段により前記オブジェクトが選択されたと判定された場合、前記オブジェクトを特定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記判定手段は、タッチパネルに対してタッチされた時点からフリックされた時点までの時間間隔に基づいて、前記オブジェクトが選択されたか否かを判定することを特徴とする請求項３に記載の情報処理装置。
5. 前記判定手段は、タッチパネルに対するフリック操作の時間間隔に基づいて、前記オブジェクトが選択されたか否かを判定することを特徴とする請求項３に記載の情報処理装置。
6. 前記判定手段は、タッチパネルに対するタッチ操作又はフリック操作の圧力に基づいて、前記オブジェクトが選択されたか否かを判定することを特徴とする請求項３に記載の情報処理装置。
7. 前記判定手段は、タッチパネルに対してタッチ又はフリックされた箇所の数に基づいて、前記オブジェクトが選択されたか否かを判定することを特徴とする請求項３に記載の情報処理装置。
8. 前記判定手段は、タッチパネルに対してタッチ又はフリックされた箇所の位置に基づいて、前記オブジェクトが選択されたか否かを判定することを特徴とする請求項３に記載の情報処理装置。
9. 前記判定手段は、タッチパネルに対してタッチ又はフリックされた箇所の配置パターンに基づいて、前記オブジェクトが選択されたか否かを判定することを特徴とする請求項３に記載の情報処理装置。
10. 情報処理装置によって実行される情報処理方法であって、
    ユーザによって選択されたオブジェクトを特定する特定ステップと、
    前記特定ステップにより特定された前記オブジェクトの特徴を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記特徴に基づいて、前記オブジェクトを含む画像データと他の複数の画像データとの類似度を算出する算出ステップと、
    前記算出ステップにより算出された前記類似度に従って、前記他の複数の画像データを検索する検索ステップとを有することを特徴とする情報処理方法。
11. ユーザによって選択されたオブジェクトを特定する特定ステップと、
    前記特定ステップにより特定された前記オブジェクトの特徴を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記特徴に基づいて、前記オブジェクトを含む画像データと他の複数の画像データとの類似度を算出する算出ステップと、
    前記算出ステップにより算出された前記類似度に従って、前記他の複数の画像データを検索する検索ステップとをコンピュータに実行させるためのプログラム。

Images