JP2017021433A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 画像に対するブックマークをより効率的に行うための技術を提供すること。【解決手段】 表示装置に表示されている表示画像中のオブジェクトが指定されると、該指定されたオブジェクトを含む他の表示画像を該表示装置に表示させる。該指定されたオブジェクトが、前回指定されたオブジェクトとは異なるオブジェクトである場合には、該表示画像へのリンクを表すリンク情報を表示装置に表示させる。【選択図】 図１

Description

本発明は、画像表示技術に関するものである。

ブックマークを、それに対応するページの縮小画像で表示すると共に、ユーザ毎にブックマークの管理を制限可能な画像表示ブックマークシステムがある（特許文献１）。しかし、ブックマークしたい個所は、ユーザが手動でブックマークしていた。

近年、画像から物体を検出する物体検出技術があり、画像に付与されるメタデータ内に画像中の物体情報を格納することが可能である。メタデータ内に格納されている情報を検索することで、ある物体が写っている画像を選び出すことも可能である。また、画像処理によって、画像中の物体を指定することで、その物体が写っている他の画像を選び出すことも可能である。

特願2000-514224号公報

しかしながら、特許文献１に記載の構成では、ブックマークしたい個所をユーザが手動でブックマークしなければならないという課題がある。

本発明はこのような問題に鑑みてなされたものであり、画像に対するブックマークをより効率的に行うための技術を提供する。

本発明の一様態は、表示装置に表示されている表示画像中のオブジェクトが指定されると、該指定されたオブジェクトを含む他の表示画像を該表示装置に表示させる第１の表示制御手段と、前記指定されたオブジェクトが、前回指定されたオブジェクトとは異なるオブジェクトである場合には、前記表示画像へのリンクを表すリンク情報を前記表示装置に表示させる第２の表示制御手段とを備えることを特徴とする。

本発明の構成によれば、画像に対するブックマークをより効率的に行うことができる。

画像処理装置のハードウェア構成例を示すブロック図。 画像処理装置の機能構成例を示すブロック図。 画像処理装置が行う画像表示処理のフローチャート。 タッチパネル画面の表示例を示す図。 タッチパネル画面の表示例を示す図。 タッチパネル画面の表示例を示す図。 タッチパネル画面の表示例を示す図。 タッチパネル画面の表示例を示す図。 タッチパネル画面の表示例を示す図。 タッチパネル画面の表示例を示す図。 図５〜図１０に示したタッチパネル画面の遷移を示す図。 タッチパネル画面の表示例を示す図。 リンク情報が指定された場合に画像処理装置が行う処理のフローチャート。 リンク情報が指定された場合に画像処理装置が行う処理のフローチャート。 画像処理装置が行う画像表示処理のフローチャート。 画像処理装置の機能構成例を示すブロック図。 リンク情報が指定された場合に画像処理装置が行う処理のフローチャート。 タッチパネル画面の表示例を示す図。 画像処理装置が行う画像表示処理のフローチャート。 図２２の画面を表示するために画像処理装置が行う処理のフローチャート。 画像処理装置の機能構成例を示すブロック図。 タッチパネル画面の表示例を示す図。 タッチパネル画面の表示例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、表示装置に表示されている表示画像中のオブジェクトが指定されると、該指定されたオブジェクトを含む他の表示画像を該表示装置に表示させ（第１の表示制御）、該指定されたオブジェクトが、前回指定されたオブジェクトとは異なるオブジェクトである場合には、該表示画像へのリンクを表すリンク情報を表示装置に表示させる（第２の表示制御）画像処理装置の一例について説明する。なお、このような画像処理装置は、例えば、一般のＰＣ（パーソナルコンピュータ）に適用しても構わないし、ディジタルカメラやスマートフォンに適用しても構わない。

先ず、本実施形態に係る画像処理装置のハードウェア構成例について、図１のブロック図を用いて説明する。

ＣＰＵ１０１は、ＲＡＭ１０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、画像処理装置全体の動作制御を行うと共に、画像処理装置が行うものとして後述する各処理を実行若しくは制御する。

ＲＡＭ１０２は、外部記憶装置１０４からロードされたコンピュータプログラムやデータ、通信部１０７を介して外部から受信したコンピュータプログラムやデータ、を格納するためのエリアを有する。更に、ＲＡＭ１０２は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ１０２は、各種のエリアを適宜提供することができる。

外部記憶装置１０４は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１０４には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。また、外部記憶装置１０４には、以下の説明において既知の情報（データ）として取り扱う情報（データ）も保存されている。外部記憶装置１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０２にロードされ、ＣＰＵ１０１による処理対象となる。

表示部１０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。

操作部１０６は、キーボードやマウスなどのユーザインターフェースにより構成されており、本装置の操作者が操作することで各種の指示をＣＰＵ１０１に対して入力することができる。以下では、表示部１０５と操作部１０６とでタッチパネル画面を構成しているものとする。すなわち、表示部１０５による表示機能によりタッチパネル画面に画像や文字を表示し、操作部１０６によるユーザインターフェース機能により、タッチパネル画面に対するユーザ入力を検知する。

通信部１０７は、外部の機器との間で無線及び／又は有線通信をおこなうものである。然るに、外部記憶装置１０４に保存されているものとしたコンピュータプログラムやデータを外部の機器に保存させておき、該コンピュータプログラムやデータを通信部１０７を介して取得するようにしても構わない。

ＣＰＵ１０１、ＲＡＭ１０２、外部記憶装置１０４、表示部１０５、操作部１０６、通信部１０７は何れもバス１０３に接続されている。なお、図１に示した構成は、後述する処理を実行するために用いる構成の一例であり、同等以上の処理を実現可能な構成であれば、図１に示した構成以外の構成を採用しても構わない。

本実施形態に係る画像処理装置の機能構成例を図２（ブロック図）に示す。なお、図２に示した各機能部（画像取得部２０１、表示部２０２、画像選択部２０３、画像表示部２０４、選択部２０５、読み込み部２０６、判定部２０８、記録部２０９、記録部２１０、表示部２１２、選択部２１１）は何れもコンピュータプログラムとして実装され、外部記憶装置１０４に保存されているものとする。以下では、これら各機能部を処理の主体として説明するが、実際には、ＣＰＵ１０１が該機能部に対応するコンピュータプログラムを実行することで、該機能部が行うものとして説明する各処理を実行することになる。もちろん、これらの機能部のうち１以上をハードウェアでもって実装しても構わない。本実施形態に係る画像処理装置が行う画像表示処理について、同処理のフローチャートを示す図３を用いて説明する。図３に示すフローチャートは図２に示す構成によって実行されるものとする。

なお、図３のフローチャートに従った処理が開始された時点では、画像処理装置のタッチパネル画面には、図４（ａ）に示す如く、画像取得部２０１が外部記憶装置１０４から読み出した複数枚の画像（厳密には読み出した画像の縮小画像（サムネイル画像））が、表示部２０２によって表示されているものとする。外部記憶装置１０４から読み出した全ての画像がタッチパネル画面に表示しきれない場合には、その一部を表示し、その残りは、ユーザ操作（タッチパネル画面に対する操作）に応じて表示すればよい。

＜ステップＳ３０１＞
ユーザはタッチパネル画面に表示されている画像群を閲覧し、そのうちの１つ（指定対象画像）を指定（選択）する。画像の指定方法については特定の指定方法に限るものではなく、如何なる指定方法を採用しても構わない。例えば、図４（ａ）の状態において、図４（ｂ）に示す如くユーザがタッチパネル画面に表示されている指定対象画像の表示領域内をタッチすることで該指定対象画像を指定するようにしても構わないし、表示部１０５と操作部１０６とがタッチパネル画面を構成せずに別個の装置である場合（例えば表示部１０５が液晶画面、操作部１０６がキーボードやマウスである場合）、ユーザが操作部１０６を操作してカーソルを指定対象画像の表示領域内に移動させてから指定指示を入力することで該指定対象画像を指定するようにしても構わない。また、ユーザがタッチパネル画面や操作部１０６を操作して画像検索を行った結果に基づく１つを画像選択部２０３が選択しても構わない。

また例えば、画像の選択は、ユーザによる操作を介さずに行われても良い。例えば、画像選択部２０３が、外部記憶装置１０４に保存されている画像群から１つをランダムに選択しても構わないし、それぞれの画像に添付されているメタデータに含まれている撮像日時に応じて（例えば撮像日時が最も過去若しくは最近）１つを選択しても構わない。

何れにせよ、画像選択部２０３は、選択された画像（サムネイル画像）の生成もとの画像を外部記憶装置１０４から取得し、画像表示部２０４は、該取得した画像をタッチパネル画面に表示する。例えば、図４（ｂ）に示す如くユーザがタッチパネル画面において画像を指定すると、図５（ａ）に示す如く、タッチパネル画面には、「Ａさん」、「Ｂさん」、「Ｃさん」の３人を含む指定された画像が拡大表示される。

＜ステップＳ３０２＞
ＣＰＵ１０１は、ユーザが現在及び過去に指定したオブジェクトの種別を表す情報（例えばオブジェクトが「Ａさん」であることを表す情報）を保持するための変数Ｃ、Ｐのそれぞれを初期化（リセット）する。例えば、変数Ｃ，ＰのそれぞれにＮＵＬＬを代入する。更にＣＰＵ１０１は、オブジェクトの指定回数をカウントするためのカウンタの値ｃｏｕｎｔを０に初期化する。なお、変数Ｃ，Ｐやカウンタの値ｃｏｕｎｔは何れもＲＡＭ１０２に保持（管理）されている。

＜ステップＳ３０３＞
ユーザはタッチパネル画面に表示されている画像を閲覧し、該画像中に写っている１以上のオブジェクトのうち１つ（指定対象オブジェクト）を指定する。オブジェクトの指定方法については特定の指定方法に限るものではなく、如何なる指定方法を採用しても構わない。例えば、ユーザがタッチパネル画面に表示されている指定対象オブジェクトの表示領域内をタッチすることで該指定対象オブジェクトを指定するようにしても構わない。この場合、操作部１０６は、タッチされた位置を選択部２０５に通知することになる。また、表示部１０５と操作部１０６とがタッチパネル画面を構成せずに別個の装置である場合（例えば表示部１０５が液晶画面、操作部１０６がキーボードやマウスである場合）、ユーザが操作部１０６を操作してカーソルを指定対象オブジェクトの表示領域内に移動させてから指定指示を入力することで該指定対象オブジェクトを指定するようにしても構わない。この場合、選択部２０５は、指定指示が入力された時点のカーソルの位置を取得することになる。

何れにせよ、選択部２０５は、ユーザによる指定位置を取得すると、現在タッチパネル画面に表示されている画像において、該指定位置を表示領域に含むオブジェクトを特定する。指定位置を表示領域に含むオブジェクトを特定する方法には様々な方法がある。例えば、画像に添付されたメタデータに、該画像中に写っているオブジェクトの種別を表す情報（例えばオブジェクトが「Ａさん」であることを表す情報）と、該オブジェクトが該画像上に占める占有領域を表す情報と、が含まれている場合には、これらの情報を用いて、指定位置を占有領域に含むオブジェクトの種別を特定する。また、現在タッチパネル画面に表示されている画像に対するオブジェクト認識を行って、指定位置を占有領域に含むオブジェクトの種別を特定するようにしても構わない。

そして選択部２０５は、この時点における変数Ｃの値を変数Ｐに代入すると共に、特定したオブジェクトの種別を変数Ｃに代入する。図５（ａ）の状態において図５（ｂ）に示す如く、ユーザが「Ａさん」を指定すると、選択部２０５は、「Ａさん」を表す情報を変数Ｃに代入する。図５（ｂ）では、ユーザが「Ａさん」を指定しているので、画像には「Ａさん」を囲む枠が重畳表示されている。また、このような処理により、ステップＳ３０３の処理がなされるたびに、変数Ｐには、前回指定されたオブジェクトの種別（前回のステップＳ３０３で特定したオブジェクトの種別若しくはＮＵＬＬ）が格納されることになり、変数Ｃには、今回新たに指定されたオブジェクトの種別が格納されることになる。

＜ステップＳ３０４＞
読み込み部２０６は、ＲＡＭ１０２で管理している変数Ｐの値を参照する。

＜ステップＳ３０５＞
読み込み部２０６は、ステップＳ３０４で参照した変数Ｐの値が存在しないことを示す値（ＮＵＬＬ）であるのか否かを判断する。この判断の結果、ＮＵＬＬである場合には、処理はステップＳ３０７に進み、ＮＵＬＬではない場合には、処理はステップＳ３０８に進む。

＜ステップＳ３０７＞
記録部２０９は、カウンタの値ｃｏｕｎｔを１つインクリメントする。

＜ステップＳ３１４＞
画像選択部２０３は、変数Ｃに保持されている情報が表すオブジェクトが写っている他の画像を、外部記憶装置１０４に保存されている画像群から取得し、画像表示部２０４は、該取得した画像をタッチパネル画面に表示する。「変数Ｃに保持されている情報が表すオブジェクトが写っている他の画像を、外部記憶装置１０４に保存されている画像群から取得」する方法には様々な方法があり、特定の方法に限るものではない。例えば、画像選択部２０３は、画像取得部２０１が外部記憶装置１０４から取得したそれぞれの画像に対してオブジェクト認識を行うことで該画像中に写っているオブジェクトの種別を認識し、該それぞれの画像のうち、変数Ｃの値が表す「オブジェクトの種別」と同じ種別のオブジェクトが写っている画像を特定し、該特定した画像のうちの１つを取得するようにしても構わない。また、画像選択部２０３は、画像取得部２０１が外部記憶装置１０４から取得したそれぞれの画像に添付されているメタデータ中の「画像中に写っているオブジェクトの種別」を参照し、変数Ｃの値が表す「オブジェクトの種別」と同じ種別を含むメタデータに対応する画像を、画像取得部２０１が外部記憶装置１０４から取得した画像群から特定し、該特定した画像のうちの１つを選択するようにしても構わない。

例えば、図５（ｂ）に示す如く、「Ａさん」を含む画像を表示中にユーザが「Ａさん」を指定すると、図６（ａ）に示す如く、タッチパネル画面には、「Ａさん」が写っている他の画像が表示される。

＜ステップＳ３０８＞
判定部２０８は、変数Ｃの値と変数Ｐの値とが同じであるか否かを判断する。この判断の結果、同じである場合には、前回指定したオブジェクトと今回指定したオブジェクトとが同じ種別であるものと判断し、処理はステップＳ３０７に進む。一方、異なる場合には、前回指定したオブジェクトと今回指定したオブジェクトとが異なる種別であるものと判断し、処理はステップＳ３０９に進む。

例えば、図６（ａ）に示す如く、前回「Ａさん」を指定したことでタッチパネル画面に「Ａさん」及び「Ｂさん」を含む画像が表示されている状態において、図６（ｂ）に示す如く、ユーザが「Ａさん」を指定すると、変数Ｐには、前回指定されたオブジェクトの種別、即ち現在の変数Ｃの値「Ａさん」が代入され、変数Ｃには、今回新たに指定されたオブジェクトの種別「Ａさん」が代入され、変数Ｃの値と変数Ｐの値とが同じとなるため、処理はステップＳ３０８を介してステップＳ３０７に進むことになる。

＜ステップＳ３０９＞
記録部２０９は、カウンタの値ｃｏｕｎｔが規定値以上であるか否かを判断する。すなわち、ユーザの興味の対象が連続して規定回数以上同じであるか否かを判断する。この判断の結果、カウンタの値ｃｏｕｎｔが規定値以上である場合、例えば、第１のオブジェクトが連続して規定回数以上指定された後でタッチパネル画面に表示された画像において、該第１のオブジェクトとは異なる第２のオブジェクトが指定された、と判断し、処理はステップＳ３１２に進む。一方、カウンタの値ｃｏｕｎｔが規定値未満である場合、処理はステップＳ３１１に進む。

＜ステップＳ３１１＞
記録部２０９は、カウンタの値ｃｏｕｎｔを１に初期化する。

＜ステップＳ３１２＞
現在タッチパネル画面に表示されている画像が興味の対象が変化したポイントの画像であると記録部２０９により判断される。この判断に応じて、記録部２１０は、現在タッチパネル画面に表示されている画像へのリンクを表すリンク情報を生成して、外部記憶装置１０４に格納する。本ステップにおいて生成するリンク情報には様々なものが考えられる。

例えば、現在タッチパネル画面に表示されている画像の縮小画像をリンク情報として生成し、該縮小画像を外部記憶装置１０４に格納するようにしても構わない。もちろん、現在タッチパネル画面に表示されている画像そのものをリンク情報としても構わない。

また、例えば、変数Ｐの値が示すオブジェクトの種別から変数Ｃの値が示すオブジェクトの種別への移行を表す文字列をリンク情報として生成し、該生成した文字列を外部記憶装置１０４に格納するようにしても構わない。

例えば、図７（ａ）に示す如く、前回「Ａさん」を指定したことによって現在タッチパネル画面に「Ａさん」を含む画像が表示されている状態において、図７（ｂ）に示す如く、ユーザが該画像中に写っている「Ｂさん」を指定したとすると、変数Ｃには「Ｂさん」、変数Ｐには「Ａさん」が格納されることになるため、ステップＳ３０３以降、処理はステップＳ３０４→ステップＳ３０５→ステップＳ３０８→ステップＳ３０９と進む。ここで、カウンタの値ｃｏｕｎｔが規定値を超えていれば、処理はステップＳ３１２へと進む。そしてステップＳ３１２では、この時点でタッチパネル画面に表示されている画像の縮小画像、若しくは「Ａさん→Ｂさん」という内容の文字列、をリンク情報として生成し、該リンク情報を、この時点でタッチパネル画面に表示されている該画像と関連づけて外部記憶装置１０４に格納する。

＜ステップＳ３１３＞
表示部２１２は、ステップＳ３１２で生成されたリンク情報をタッチパネル画面に表示する。例えば、図７（ａ）に示す如く、前回「Ａさん」を指定したことによって現在タッチパネル画面に「Ａさん」を含む画像が表示されている状態において、図７（ｂ）に示す如く、ユーザが該画像中に写っている「Ｂさん」を指定したとすると（この時点でカウンタの値ｃｏｕｎｔは規定値以上であるとする）、図８（ａ）に示す如く、タッチパネル画面の左上隅には、該画像の縮小画像がリンク情報として表示される。若しくは、例えば、図８（ｂ）に示す如く、タッチパネル画面の左上隅には、「Ａさん→Ｂさん」という内容の文字列がリンク情報として表示される。

なお、リンク情報はこの時点で表示せずに、リンク情報の一覧を表示する旨の指示が入力された場合に表示するようにしても構わない。すなわち、リンク情報の表示／非表示はユーザによる操作部１０６の操作、状況に応じてＣＰＵ１０１が行う制御、等に基づいて行うようにしても構わない。

また、図８（ａ）、（ｂ）に示す如く、タッチパネル画面において「Ｂさん」が指定されると、図９（ａ）に示す如く、タッチパネル画面には、「Ｂさん」を含む他の画像が表示される（ステップＳ３１４）。

ここで、図９（ａ）の状態において、図９（ｂ）に示す如く、ユーザが「Ｃさん」を指定したとする。このとき、前回指定されたオブジェクトは「Ｂさん」で、今回指定されたオブジェクトは「Ｃさん」となる（変数Ｃの値＝「Ｃさん」、変数Ｐの値＝「Ｂさん」）ため、ステップＳ３０３以降、処理はステップＳ３０４→ステップＳ３０５→ステップＳ３０８→ステップＳ３０９と進む。ここで、カウンタの値ｃｏｕｎｔが規定値を超えていない場合には、処理はステップＳ３１１に進む。ステップＳ３１１ではカウンタの値ｃｏｕｎｔを１に初期化し、ステップＳ３１４では、図１０に示す如く、タッチパネル画面には、「Ｃさん」を含む他の画像が表示される。

ここで、図５〜図１０に示したタッチパネル画面の遷移について、図１１を用いて説明する。なお、ここではカウンタの値ｃｏｕｎｔと比較する規定値を「２」としている。

図５（ａ）に示す如く、図４（ａ）の画像群から選択された「Ａさん」、「Ｂさん」、「Ｃさん」を含む画像がタッチパネル画面に表示されると、カウンタの値ｃｏｕｎｔは０に初期化されると共に、変数Ｃ，Ｐのそれぞれの値はＮＵＬＬに初期化される。その後、この画像において図５（ｂ）に示す如く、ユーザが「Ａさん」を指定すると、変数Ｃの値＝「Ａさん」となり、カウンタの値ｃｏｕｎｔは１つインクリメントされ、タッチパネル画面には、図６（ａ）に示す如く、「Ａさん」を含む他の画像が表示される。この画像において図６（ｂ）に示す如く、ユーザが再度「Ａさん」を指定すると、カウンタの値ｃｏｕｎｔは１つインクリメントされ、変数Ｃの値＝変数Ｐの値＝「Ａさん」となり、タッチパネル画面には、図７（ａ）に示す如く、「Ａさん」を含む他の画像が表示される。この画像において図７（ｂ）に示す如く、ユーザが「Ｂさん」を指定すると、変数Ｃの値＝「Ｂさん」、変数Ｐの値＝「Ａさん」となり、カウンタの値ｃｏｕｎｔは１に初期化される。そして、このときにタッチパネル画面に表示されていた画像（図７（ａ）の画像）へのリンク情報が生成されてタッチパネル画面に表示される（図９（ａ））と共に、図９（ａ）に示す如く、「Ｂさん」を含む他の画像が表示される。その後、この画像において図９（ｂ）に示す如く、ユーザが「Ｃさん」を指定すると、変数Ｃの値＝「Ｃさん」、変数Ｐの値＝「Ｂさん」となり、カウンタの値ｃｏｕｎｔは１に初期化され、タッチパネル画面には、図１０に示す如く、「Ｃさん」を含む他の画像が表示される。

このように、規定値を１よりも大きくすることで、ユーザが指定対象オブジェクトを「Ａさん」→「Ｂさん」→「Ｃさん」というように変化させても、すぐさまにリンク情報を作成して表示する、ということはなく、ある一定回数同じオブジェクトを指定した後で異なるオブジェクトを指定して初めてリンク情報を作成して表示する。なお、規定値を１に設定することも可能で、その場合、前回と異なるオブジェクトを指定するたびにリンク情報が生成されて表示されることになる。

次に、タッチパネル画面においてリンク情報が指定された場合に画像処理装置が行う処理について、同処理のフローチャートを示す図１３を用いて説明する。図１３に示すフローチャートは図２に示す構成によって実行されるものとする。ここではリンク情報が縮小画像（ステップＳ３０１やステップＳ３１４で表示する画像の縮小画像（サムネイル画像））であるものとするが、上記の文字列など、他の形態のアイコンであっても構わない。

＜ステップＳ１３０１＞
選択部２１１は、タッチパネル画面上に表示したサムネイル画像のうちユーザによって指定されたサムネイル画像を特定し、該特定したサムネイル画像の生成もとである画像（該サムネイル画像と関連づけて外部記憶装置１０４に格納されている画像）を、外部記憶装置１０４に保存されている画像群から特定する。タッチパネル画面上に表示したサムネイル画像のうち１つを指定する方法には様々なものがあり、特定の方法に限るものではない。すなわち、ステップＳ３０１における画像指定方法やステップＳ３０３におけるオブジェクト指定方法と同様、如何なる指定方法を採用しても構わない。

＜ステップＳ１３０２＞
画像表示部２０４は、ステップＳ１３０１で選択部２１１によって選択された画像をタッチパネル画面に表示する。

例えば、図１０に示す如く、「規定回数以上「Ａさん」を指定した後でタッチパネル画面に表示された画像であって、「Ｂさん」を指定した画像（「Ａさん」及び「Ｂさん」を含む画像）」のサムネイル画像と共に、「Ｃさん」を含む画像がタッチパネル画面に表示されている状態で、図１２（ａ）に示す如く、ユーザがこのサムネイル画像を指定すると、選択部２１１は、該指定されたサムネイル画像の生成元である画像（該サムネイル画像と関連づけられている画像）、すなわち、最後に「Ｂさん」を指定した画像を、外部記憶装置１０４に保存されている画像群から特定する。そして表示部２１２は、図１２（ｂ）に示す如く、選択部２１１によって選択された画像をタッチパネル画面に表示する。

また、サムネイル画像を記録する際に、該サムネイル画像の生成もとである画像上で最後に指定したオブジェクト（図１２の場合は「Ｂさん」）の該画像上に占める領域を規定する領域情報も合わせて記録するようにしても良い。そして、図１４に示す如く、図１３のフローチャートに従った処理の後、ステップＳ１３０３において、表示部２１２は、ステップＳ１３０１で選択部２１１によって選択された画像だけでなく、該画像上に、該画像と共に記録した領域情報が表す領域を囲む枠（図１２（ｃ））を重ねて表示しても良い。これにより、再度同じ興味対象でたどることをさけるためには、枠が付されているオブジェクトとは異なるオブジェクトを指定すれば良い。

なお、「サムネイル画像の生成もとである画像上で最後に指定したオブジェクト」をユーザに通知するための表示形態には様々なものがあり、枠を表示する以外の方法を採用しても構わない。

ユーザは、何かに興味を持ち、画像を見ている際に、別のものに興味を持って、今度はそちらの画像を見ることがあるが、興味対象に変化があった時以前の興味対象に戻りたいと思うことがある。このようなケースについて、本実施形態によれば、興味対象の変化点が栞のように記録されるので、その栞にアクセスすることで興味対象の変化点に即座に戻ることが可能となる。

［第２の実施形態］
第１の実施形態では、ユーザによってサムネイル画像が指定されると、該サムネイル画像の生成もとである画像を表示していた。本実施形態では、ユーザによってサムネイル画像が指定されると、該サムネイル画像の生成もとである画像において従前に指定されていたオブジェクトを含む画像をユーザに提示する。以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。

本実施形態に係る画像処理装置の機能構成例を図１６に示す。図１６に示した構成は、図２の構成に取得部２１３を加えたものとなる。次に、本実施形態に係る画像処理装置が行う画像表示処理について、同処理のフローチャートを示す図１５を用いて説明する。図１５に示すフローチャートは図２に示す構成によって実行されるものとする。図１５のフローチャートは、図３のフローチャートにおいて、ステップＳ３１２とステップＳ３１３との間にステップＳ１５０１〜Ｓ１５０３を加えたものとなっている。

＜ステップＳ１５０１＞
記録部２１０は、変数Ｐの値を、先のステップＳ３１２において外部記憶装置１０４に格納されたリンク情報と関連づけて、ＲＡＭ１０２に格納する。

＜ステップＳ１５０２＞
取得部２１３は、外部記憶装置１０４に保存されている画像群のうち、変数Ｐの値が表す属性のオブジェクトを含む画像を格納するためのメモリ領域がＲＡＭ１０２に確保可能な否かを判断する。この判断の結果、確保可能であれば、処理はステップＳ１５０３に進み、確保不可能であれば、処理はステップＳ３１３に進む。

＜ステップＳ１５０３＞
取得部２１３は、上記のメモリ領域をＲＡＭ１０２に確保し、外部記憶装置１０４に保存されている画像群のうち、変数Ｐの値が表す属性のオブジェクトを含む画像を１つ特定し、該特定した画像を上記の確保したメモリ領域に格納する。このように、「変数Ｐの値が表す属性のオブジェクトを含む画像」を先読みしてメモリ領域に格納しておく。

次に、タッチパネル画面においてリンク情報が指定された場合に画像処理装置が行う処理について、同処理のフローチャートを示す図１７を用いて説明する。図１７に示すフローチャートは図２に示す構成によって実行されるものとする。ここではリンク情報が縮小画像（ステップＳ３０１やステップＳ３１４で表示する画像の縮小画像（サムネイル画像））であるものとするが、上記の文字列など、他の形態のアイコンであっても構わない。

＜ステップＳ１７０１＞
取得部２１３は、「指定されたリンク情報と関連づけてＲＡＭ１０２に格納されている変数Ｐの値」を、ＲＡＭ１０２から取得する。

＜ステップＳ１７０２＞
取得部２１３は、「ステップＳ１７０１で取得した変数Ｐの値」が表す属性のオブジェクトを含む画像が、上記のメモリ領域に格納されているか否かを判断する。この判断の結果、格納されている場合には、処理はステップＳ１７０４に進み、格納されていない場合には、処理はステップＳ１７０３に進む。

＜ステップＳ１７０３＞
選択部２１１は、外部記憶装置１０４に保存されている画像群のうち、「ステップＳ１７０１で取得した変数Ｐの値」が表す属性のオブジェクトを含む画像を１つ特定し、表示部２１２は、該特定した画像をタッチパネル画面に表示する。

＜ステップＳ１７０４＞
取得部２１３は、「ステップＳ１７０１で取得した変数Ｐの値」が表す属性のオブジェクトを含む画像を上記のメモリ領域から読み出し、表示部２１２は、取得部２１３が上記のメモリ領域から読み出した画像をタッチパネル画面に表示する。

ここで、「Ａさん」を含む画像が表示された状態（図７（ａ））において、図７（ｂ）に示す如く、ユーザが「Ｂさん」を指定したとすると、変数Ｐの値＝「Ａさん」をサムネイル画像と関連づけて格納する（ステップＳ１５０１）と共に、上記のメモリ領域が確保可能な場合には、「Ａさん」を含む他の画像を先読みして上記のメモリ領域に格納する（ステップＳ１５０３）。次に、図１０の状態において、ユーザがサムネイル画像を指定すると、該サムネイル画像と関連づけてステップＳ１５０１で格納された変数Ｐの値＝「Ａさん」を取得する（ステップＳ１７０１）。ここで、上記のメモリ領域が確保されている場合には、ステップＳ１５０３で格納された「Ａさん」の画像を読み出して表示し（ステップＳ１７０４）、確保されていない場合には、図１８に示す如く、「Ａさん」を含む画像を外部記憶装置１０４から検索して表示する（ステップＳ１７０３）。図１８では、「Ａさん」のみを含む画像を検索して表示しているが、これに限るものではなく、少なくとも「Ａさん」を含むような画像を検索して表示しても良い。

このように、リンク情報を指定するということは、リンク情報の生成元である画像に含まれているオブジェクトのうちそれまで指定してきたオブジェクトを閲覧したいという要望があるものと推測される。本実施形態では、指定したリンク情報の生成元である画像に含まれているオブジェクトのうち前回指定したオブジェクトを含む画像をユーザに提示するので、このような要望に答えることができる。

なお、本実施形態では先読みする画像の枚数を１としているが、２以上であっても構わない。その場合、先読みした複数枚の画像を並べた画像選択画面をタッチパネル画面に一覧表示し、該画像選択画面においてユーザが指定した画像をタッチパネル画面に表示する、としても構わない。

［第３の実施形態］
以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態に係る画像処理装置の機能構成例を図２１に示す。図２１に示した構成は、図２に示した構成に、記録部２１４、表示部２１５を加えた構成となる。次に、本実施形態に係る画像処理装置が行う画像表示処理について、同処理のフローチャートを示す図１９を用いて説明する。図１９に示すフローチャートは図２に示す構成によって実行されるものとする。図１９のフローチャートは、図３のフローチャートにおいて、ステップＳ３１２とステップＳ３１３との間にステップＳ１９０１を加えたものとなっている。

＜ステップＳ１９０１＞
記録部２１４は、ステップＳ３１２で格納したリンク情報の格納回数を該リンク情報と関連づけて外部記憶装置１０４に格納する。例えば、同じ画像についてリンク情報を３回作成した場合には、記録部２１４は格納回数「３」（＝同じ画像について生成したリンク情報の作成回数）を該リンク情報と関連づけて格納する。なお、ある画像についてすでにリンク情報が作成されて格納されている場合には、改めてリンク情報を作成する必要はなく、そのような場合は、リンク情報は作成せずに、格納回数を１つインクリメントする。この場合の「格納回数」は格納する回数を表すのではなく、むしろ、「同じオブジェクトを連続して規定回数以上指定した後でタッチパネル画面に表示された画像であって、該オブジェクトとは異なるオブジェクトを指定した画像」となった回数を表す。

ここで、第１の実施形態のように、最初は図４（ａ）に示す如く画像群を表示し、そのうちの１つをユーザが指定することでオブジェクト選択対象候補となる最初の画像を選択する動作モード（画像処理装置の動作モード）を第１の動作モードと呼称すると、本実施形態に係る画像処理装置は、第１の動作モードに加え、第２の動作モードを有する。第２の動作モードでは、図２２に示す如く、外部記憶装置１０４に格納しておいたそれぞれのリンク情報（ここではサムネイル画像）を格納回数と共に表示し、該それぞれのサムネイル画像のうちの１つをユーザが指定すると、該指定されたサムネイル画像の生成元の画像が、オブジェクト選択対象候補となる最初の画像として選択される。図２２では、格納回数が「４」のサムネイル画像と、格納回数が「１」のサムネイル画像と、が並べて表示されている。

なお、画像処理装置の動作モードは、ユーザが操作部１０６を操作することで設定しても良い。また、動作モードを設ける代わりに、図４（ａ）の画面と図２２の画面とを並べてタッチパネル画面に表示しても良いし、切り替え可能に何れかの画面を表示しても構わない。

図２２の画面を表示するために画像処理装置が行う処理について、同処理のフローチャートを示す図２０を用いて説明する。図２０に示すフローチャートは図２に示す構成によって実行されるものとする。

＜ステップＳ２０００＞
記録部２１０は、外部記憶装置１０４に格納されているリンク情報を読み出す。

＜ステップＳ２００１＞
記録部２１０は、ステップＳ２０００で読み出されたそれぞれのリンク情報に関連づけられて外部記憶装置１０４に格納されている格納回数を読み出す。

＜ステップＳ２００２＞
表示部２１２は、ステップＳ２０００で読み出したそれぞれのリンク情報をタッチパネル画面に表示し、表示部２１５は、ステップＳ２００１で読み出した該リンク情報に対応する格納回数をタッチパネル画面に表示する。

そして、図２２の画面において、左側のサムネイル画像がユーザによって指定されると、タッチパネル画面には、図２３に示す如く、該サムネイル画像の生成元である画像が表示される。

ここで、図２３の画像に対応するサムネイル画像の格納回数が「４」となった経緯の一例について説明する。図２３の画像には、「Ａさん」、「Ｂさん」、「Ｃさん」、「犬」が含まれている。カウンタの値ｃｏｕｎｔと比較する規定値を「２」とすると、画像上で「Ａさん」→「Ａさん」→「Ｂさん」の順に指定し、その結果表示される画像が図２３の画像であったとすると、該画像に対するリンク情報が生成されて格納される。このときの格納回数＝１とする。その後、「Ｂさん」→「Ｂさん」→「Ｃさん」の順に指定し、その結果表示される画像が図２３の画像であったとすると、該画像に対するリンク情報の格納回数＝２となる。その後、「Ｃさん」→「Ｃさん」→「犬」の順に指定し、その結果表示される画像が図２３の画像であったとすると、該画像に対するリンク情報の格納回数＝３となる。その後、「犬」→「犬」→「Ｂさん」の順に指定し、その結果表示される画像が図２３の画像であったとすると、該画像に対するリンク情報の格納回数＝４となる。このように、該画像に対するリンク情報の格納回数＝４であることは、すなわち、様々な興味の経路をたどったにもかかわらず、該画像が興味の変化点として４回選ばれたことを意味する。

このように、以上の各実施形態によれば、興味対象の変化点となった画像へのリンク情報が栞として保存されるため、ユーザが手動で栞を設定する必要がなく、より簡便に栞を設定することができる。

また、栞であるリンク情報を指定することで、該リンク情報に対応する画像（興味対象の変化点となった画像）に戻ることができるため、ユーザが興味対象の変化点を判断しながら戻る操作をする必要がなくなる。

また、リンク情報としてサムネイル画像を用いた場合、該サムネイル画像内に以前何に興味を持ったかの興味対象の表示（例えば、枠）があるため、再度同じ興味内容で画像を探してしまうことがない。

さらには、リンク情報に対応する画像にもどったということは、直前までの興味対象ではなく、興味対象の変化点以前に興味があった対象が存在する画像を閲覧したいと予測したリコメンドが提示されるので、興味対象の選択操作をすること無くスムースな画像閲覧を行うことができる。

さらには、リコメンドとともに興味対象が存在する画像が先読みされているので、表示がより早く、ユーザは画像の表示までに待たされることがないという効果がある。

また、リンク情報ごとにその格納回数を記録して提示することで、格納回数が多いリンク情報は、いろいろな過程から変化点として選ばれたお気に入りリンク情報であり、複数の興味経路への起点となることをユーザに示すことが可能となる。

なお、以上説明したそれぞれの実施形態やその変形例は適宜組み合わせて使用しても構わないし、その組み合わせにおいて一部の構成を適宜省略しても構わない。また例えば、複数の実施形態の構成を、モード切替などでもって選択的に使用可能に構成しても構わない。

また、図４〜１０、１２、１８、２２、２３に示した画面構成（リンク情報の配置位置や画像の配置位置等）は一例に過ぎず、同等以上の機能を提示できるのであれば、様々な画面構成を採用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：ＣＰＵ

Claims (10)

1. 表示装置に表示されている表示画像中のオブジェクトが指定されると、該指定されたオブジェクトを含む他の表示画像を該表示装置に表示させる第１の表示制御手段と、
   前記指定されたオブジェクトが、前回指定されたオブジェクトとは異なるオブジェクトである場合には、前記表示画像へのリンクを表すリンク情報を前記表示装置に表示させる第２の表示制御手段と
   を備えることを特徴とする画像処理装置。
2. 前記第２の表示制御手段は、
   第１のオブジェクトが連続して規定回数以上指定されることで前記第１の表示制御手段が表示した表示画像において、該第１のオブジェクトとは異なる第２のオブジェクトが指定された場合に、該表示画像へのリンクを表すリンク情報を前記表示装置に表示させる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の表示制御手段は、
   前記表示画像の縮小画像を前記リンク情報として生成して前記表示装置に表示させることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の表示制御手段は、
   前記指定されたオブジェクトを表す表示を重畳させた前記表示画像の縮小画像を前記表示装置に表示させることを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の表示制御手段は、
   前記前回指定されたオブジェクトと前記指定されたオブジェクトとを表す情報を前記リンク情報として生成して前記表示装置に表示させることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記第１の表示制御手段は、前記第２の表示制御手段によって前記表示装置に表示されたリンク情報が指定されると、該リンク情報が表すリンクもとの表示画像を前記表示装置に表示させることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記第１の表示制御手段は、前記第２の表示制御手段によって前記表示装置に表示されたリンク情報が指定されると、前記前回指定されたオブジェクトを含む画像を前記表示装置に表示させることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
8. 更に、
   同じ画像についてリンク情報が生成された回数と、該リンク情報と、を前記表示装置に表示させる第３の表示制御手段を備え、
   前記第１の表示制御手段は、前記第３の表示制御手段が表示したリンク情報が指定されると、該指定されたリンク情報が表すリンクもとの表示画像を前記表示装置に表示させることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第１の表示制御手段が、表示装置に表示されている表示画像中のオブジェクトが指定されると、該指定されたオブジェクトを含む他の表示画像を該表示装置に表示させる第１の表示制御工程と、
   前記画像処理装置の第２の表示制御手段が、前記指定されたオブジェクトが、前回指定されたオブジェクトとは異なるオブジェクトである場合には、前記表示画像へのリンクを表すリンク情報を前記表示装置に表示させる第２の表示制御工程と
   を備えることを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images