JP2013242606A - 高速画像表示検索操作システム - Google Patents

Abstract

【課題】小さな画面でも、高速で、簡単に、大量の画像の中から、目的の画像を探索できる表示操作制御システムを提供する。
【解決手段】画像ファイルの高速表示用サムネイル画像を抽出する手段、サムネイル画像を高速でパラパラめくり表示する手段、利用者の画像タッチ操作を検出する手段、タッチ操作により選択された対象画像を表示する手段等を備える。画像ファイルに蓄積されている写真などの画像情報を、高速でパラパラめくり形式で表示させ、利用者は画面を見ていて、自分の目的の画像が見えたら、指で画面をタッチするだけで、簡単に、高速に画像を探索することができる。
【選択図】図５

Description

この発明は、スマートホンやパソコンによる高速画像表示検索操作システムに関する。

従来、パソコンや遠隔のサーバに蓄積された写真や画像を探す際には、端末のディスプレイ上に画像を平面的、２次元的に順番に並べて表示させるか、あるいは、パラパラめくって探す方法が実現されていた。従来の画像探索システムは、図１に示すように、画像ファイルを表示ディスプレイに表示させ、パソコンに付属したキーボードを操作して、画像を表示させて、探索するものであった。
しかし、近年になり、携帯性に優れた、タッチパネル型表示装置を備えた、スマートホンやタブレットが開発されてきた。これらのタッチパネル型携帯端末では、パソコンと違って、画面が手のひらサイズで小さく、キーボードがなく、指で直接画面を触って操作するインタフェースが使われるようになった。このようなタッチパネル型携帯端末を使って、写真などの画像をスムーズに探すためには、従来の大きな画面を使った、パソコン型の画像探索の方法とは異なる、新たな画像探索操作方式が必要となる。すなわち、小さな画面を指で触りながら、高速で、大量の画像ファイルを探索する表示探索操作方式が必要となっている。

特開平５−８１３２９号公報 特開２００２−２０７６６８号公報 特開２０１１−１５１６７４号公報

スマートホンなどのタッチパネル型携帯端末の小さな画面では、たくさんの情報を一度に画面上に表示させることは難しい。端末内や遠隔の画像ファイルの中に蓄積された、大量の写真などを探索するには、サムネイルと呼ばれる小さな縮小画像を画面上に２次元的に並べて表示し、画面を指で触って、スクロールさせながら、探索する手法が使われている。この方法は、画像が大量に蓄積されている場合、何度も画面のスクロール操作を繰り返す必要があり、手が疲れ、操作が面倒になるという問題点があった。
そこで、本発明は、小さな画面でも、高速で、簡単に、大量の画像の中から、目的の画像を探索できる表示操作制御システムの実現を課題とする。

以上の課題を解決するために、本発明では、画像ファイルに蓄積されている写真などの画像情報を、高速でパラパラめくり形式で表示させ、利用者が画面を見ていて、自分の目的の画像が見えたら、指で画面をタッチするだけで、簡単に、高速に画像を探索する方法を実現した。
本発明の、高速画像表示検索操作システムの構成を図５に示す。
システムは、タッチパネル型表示装置の、▲１▼表示操作制御部、▲２▼表示パネル、▲３▼タッチパネルセンサー、▲４▼ローカル画像ファイル、▲５▼通信制御部、▲６▼インターネット等の通信ネットワーク、▲７▼遠隔の画像ファイル、から構成されている。
タッチパネル型表示装置の中の▲４▼ローカル画像ファイルや、インターネット等を介してつながっている、▲７▼遠隔画像ファイルの中に蓄積されている、写真などの画像情報は、▲５▼通信制御を介して接続され、▲２▼表示パネルに表示される。利用者は、表示された画像を見ていて、画面をタッチして操作する。▲３▼タッチパネルセンサーが指のタッチを検出し、利用者の指定した画像を見つけ出す。これらの表示操作は▲１▼表示操作制御部により管理制御される。
図６は、この表示操作制御による制御処理の詳細な動作を示した図である。
最初に、▲１▼対象画像ファイル選択処理部により、探索の対象とする、画像ファイルを選択する。対象となる画像ファイルは、端末の内部のローカル画像ファイル、あるいはインターネットなどのネットワークでつながる遠隔の画像ファイルを選択できる。
選ばれた画像ファイルに対して、▲２▼対象画像リスト作成部において、画像ファイルの中の画像のリストを作成する。画像リストとして、対象画像を縮小した、サムネイル画像が作成される。一般に、画像情報は一枚毎の情報量が大きく、高速処理が難しいが、縮小したサムネイル画像とすることで、高速に表示や操作が可能となる。サムネイル画像の縮小の度合いに関しては、端末の性能や処理能力に応じて適切に選定する。
作成された画像のリストに対して、▲３▼画像表示順並べ替え処理部により、どのような順番で画像をパラパラめくっていくか、その表示順番に応じて、並べ替え処理を行う。画像の表示順番としては、撮影日時順、撮影位置（撮影した場所の緯度経度など）順、名前順、画像の類似度順などがある。利用者が設定した順番に従って、システムが並べ替え処理を行う。
画像を表示順番に並べ替えた後、▲４▼表示画像取込処理部が、パラパラめくり表示用の画像集合（リフル画像バッファ）を作成する。
作成されたパラパラめくり表示用の画像集合（リフル画像バッファ）は、▲５▼パラパラ画像表示処理部により、画面上に高速で表示される。
パラパラめくりによる画像表示の表示速度は、▲６▼パラパラ画像表示速度制御部により、利用者の希望の速度で表示されるように速度制御を行う。
▲７▼タッチ検出部は、利用者がパラパラめくり表示の画像を見ていて、探している画像を発見したら、タッチパネルの画面へタッチし、パラパラめくりを一時停止させる。
利用者が探している画像を見つけて、画面にタッチした際、視覚されてから、指のタッチが行われるまでには、約５００ｍｓ程度の時間がかかるため、タッチした瞬間に画面上に表示されている画像と、実際に見つけた画像とは、ずれが生じる。タッチ操作した時刻には、既に、画面はかなり行き過ぎていることになる。このため、利用者が本当に識別した画像は、タッチした時刻より約５００ｍｓ前に表示された画像であるので、システム側で、▲８▼タッチ遅延時間推定処理部が、操作の遅延時間を推定し、▲９▼タッチ指定画像表示処理部が、約５００ｍｓ前の画像を表示すると共に、▲１０▼タッチ指定近傍画像リスト表示処理部が、その周辺の画像リストを、画面上に表示する。
利用者は、表示されたいくつの画像リストの中から、自分が探していた画像を確定する。▲１１▼精細画像表示処理部は、利用者が確定した画像の高精細な原画像を取り込んで、画面上に表示させる。
画像を高速でパラパラめくりさせる場合、必ずしも一回で見つからない場合もあるので、▲１２▼繰り返し表示処理部は、利用者がタッチしなかった場合、対象画像リストのパラパラめくりを自動的に繰り返す。
図７は、本発明のパラパラめくり型リフル画像表示操作画面の例である。小型画面に高速でパラパラめくり形式で画像表示するとともに、操作用のボタンや表示を備えている。▲１▼はパラパラ表示画像の現在位置を示すインジケータ、▲２▼は利用者がタッチして確定した画像の高精細画像を表示するボタン、▲３▼は表示画像であり、画面を触るとパラパラ表示の開始と停止を行う、▲４▼は表示画像の左右を触ると、その画像の前後の画像を表示する、▲５▼は、画像リストの最初へ移動するボタン、▲６▼は、画像リストの最後へ移動するボタン、▲７▼は、パラパラ表示の表示順の方向を転換するボタン、▲８▼はパラパラめくりの表示開始と停止ボタン、▲９▼は表示速度を随時可変するスライダーである。
利用者は、高速表示のパラパラめくり画面を見ながら、指一本で画像探索、表示切替の操作を素早く行うことが出来る。
図８は、利用者が画面タッチして、にパラパラめくりを停止させ、探していた画像の候補を画面上に表示させて、画像を確定させる際の操作画面の例である。
画面上に、▲５▼タッチした時刻の表示画像を黄色の枠で表示し、▲４▼その時刻から推定した指定画像を赤枠で表示している。画面は、候補画像の▲１▼サムネイル画像のリストを表示しており、▲２▼画面を上下にスクロールして探索できる。個別の画像をタッチすると、その画像の▲３▼パラパラ画面（リフル表示）へもどる。
図９は、パラパラめくり表示をする際に、事前に注目画像や覚えとしての「しおり」として、カラーマークを付与させることで、画像と一緒にカラーマークを一緒に、ぱらぱらめくり表示させた例である。画像だけをパラパラめくるのではなく、しおりやマークなどの付加情報も一緒に高速表示させることで、印をつけておいた画像を見つけやすくすることができる。
図１０は、実際に、画像のパラパラめくり表示をした場合の、提示時間（表示速度）と、画像の識別率との関係を測定した結果である。人間の目の視覚能力は、提示時間２００ｍｓ（表示速度５Ｈｚ）以上あれば、ほとんど１００％の識別率で探していた画像を検出できることがわかる。
提示時間が２００ｍｓ（表示速度５Ｈｚ）以下の場合は、ほぼ提示時間に比例して、識別率が変化する。提示時間１００ｍｓ（表示速度１０Ｈｚ）の場合は、識別率は約５０％となる。また、ビデオ並みの提示時間５０ｍｓ「（表示速度２０Ｈｚ）でも、約２５並み３０％の識別率である。このことから、高速で画像のパラパラめくりをした場合でも、かなり高い識別率で、目的の画像を探せることがわかる。
従来の、２次元的、平面的に画像を並べて、スクロールしながら画像探すよりも、高速でパラパラめくるほうが、大量の画像の中から素早く探索できることがわかる。
図１１は、画像の高速パラパラめくりをする際に、利用者が画像を見つけて「、停止させるまでの反応時間の測定例である。視覚が認識してから、画像を停止させるまでに、概ね約５００ｍｓの遅延があることがある。したがって、視覚で画像を見つけてから、どのくらいの反応遅延時間で画面をタッチするのか、それぞれの利用者の反応時間の違いに応じて、推定処理を行う必要がある。
図１２は、表示操作制御による制御処理の詳細な動作において、利用者毎の反応時間オ推定処理を行う処理の例を示している。一旦デフォルトの反応時間で推定して、画像候補を提示した後、実際に利用者が選んだ識別画像との違いから、反応時間を推定しなおして、変更させる処理を実施している。
図１３は、高速表示のパラパラめくりでは、利用者が１回で識別できない場合、自動的に表示速度を下げて適応させる処理を実施した場合の、表示操作制御処理の動作の例を示す。
高速表示では１回目の表示で識別できない場合、表示速度を自動的に下げることで、２回目は確実に識別させることが出来る。
図１４は、画像の高速パラパラめくりを利用する際に、実際に選択した画像の履歴情報を蓄積することで、以降に同じ画像を探す際の利便性を向上させた例である。画像の表示順番をいろいろと選択できるようにすることで、画像が探しやすくなる。
図１５は、画像として静止画だけでなく、ビデオなどの動画を含めて、高速パラパラめくりを行う場合の制御処理を示したものである。ビデオなどの動画の場合でも、ビデオ画像の中から、代表静止画画像を複数選択し、それぞれを代表画像とするブロックに分けておく。ブロックの分け方としては、時間単位あるいは、シーン別に選択する。選択した代表画像を、静止画画像のサムネイルと同様に、高速パラパラめくり表示させることにより、静止画と動画を一緒に探索対象とすることが出来る。
図１６は静止画と動画を一緒に高速パラパラめくり探索する場合の代表画像の構成の例を示している。

本発明によれば、スマートホンなどの小型のタッチパネル型携帯端末を用いて、画像ファイルの中の画像を、高速に簡単に探索することができる。従来の２次元的なスクロール方式の探索方式に比べて、はるかに容易に効率的に目的の画像を探し出せる。

従来のパソコンにより画像探索システムの図である。 従来のパソコンによる画像探索システムの構成図である。 本発明の対象である、スマートホンなどのタッチパネル型携帯端末による画像探索システムの図である。 画像のサムネイルを２次元的、平面に並べて、必要な画像を探す例の図である。 本発明の高速画像表示検索操作システムの構成図である。 本発明の高速画像表示検索操作システムの動作図である。 本発明のパラパラめくり型リフル画像表示操作画面の例である。 本発明のパラパラめくりで画像を確定させる際の操作画面の例である。 注目画像にしおり形式のカラーマークを付けて、見つけやすくする例である。 画像パラパラめくり表示の提示時間と識別率の関係である。 画像パラパラめくり＋タッチ検出操作の反応時間分布である。 利用者ごとの反応時間の推定処理を行う処理の例である。 利用者が高速識別できない場合、表示速度を自動的に下げて適応させる例である。 画像の表示順番の制御の例である。 静止画と動画を一緒に高速パラパラめくり探索する場合の制御処理の例である。 静止画と動画を一緒に高速パラパラめくり探索する場合の代表画像構成例である。

本発明の一実施形態を、図５に示す。
タッチパネル型表示装置として小型の携帯端末において、システムは端末ハードウェアとソフトウェアとにより、制御処理を実現する。

実施形態の効果

本発明は、このような方式であるため、各種のスマートホンなどの小型携帯端末に、ソフトウェアにより制御システムとして実現でき、多様な携帯端末へ、簡単に普及させることが出来る。

本発明は、写真や画像などの電子アルバムや、ソーシャルネットワークシステム等へ適用でき、広範囲に利用できる。

Claims (1)

1. 静止画や動画の画像を蓄積する画像ファイル、画像を表示するパネル、利用者が手や指でタッチすることで操作できるタッチパネル、対象画像ファイルを選択する手段、画像ファイルの高速表示用サムネイル画像を抽出する手段、サムネイル画像を高速でパラパラめくり表示する手段、利用者の画面に対するタッチ操作を検出する手段、利用者の画像識別からタッチ操作までの反応時間の遅延時間を推定する手段、タッチに操作より選択された対象画像を表示する手段とから構成され、画像のパラパラめくり型高速表示により、目的の画像を素早く探索できる、高速画像表示検索操作システム