JP2017045486A - 表示制御装置及びプログラム - Google Patents

Abstract

【課題】端末装置の画面上で行われたジェスチャ操作の指示内容を他の端末装置側で表示させる場合に、ジェスチャ操作を行っている端末側での操作性及び表示の見易さを損なわず、かつ当該他の端末側での表示の分かり易さも確保できるようにする。
【解決手段】情報管理サーバ装置１は、いずれの端末装置２側においてコンテンツの表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置２から受けた場合に、そのコンテンツに対応付けて操作指示内容をデータベースに記憶管理し、このコンテンツの保管を依頼した依頼元以外の他の端末装置２からコンテンツに対してその閲覧要求を受けた場合に、そのコンテンツに対応する操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成し、この合成コンテンツをその閲覧要求元の端末装置２に対して送信する。
【選択図】 図１

Description

本発明は、通信ネットワークを介して接続されている複数の端末装置のいずれから保管依頼されたコンテンツを受信して記憶管理する情報管理装置、情報管理システム及びプログラムに関する。

一般に、端末装置の表示画面上のタッチ操作をデモンストレーションするためにそのタッチ操作の様子をカメラで撮影してその撮影画像を外部の表示装置に送信して表示させる場合、タッチ操作時に表示画面の一部が指や掌などによって隠れてしまうことが多くなり、表示内容が非常に見づらいものとなってしまう。このような場合、従来では、タッチ操作のデモンストレーションに対応するために端末装置に外部表示装置を接続している状態において、端末装置側でタッチ操作が行われると、そのタッチ位置を示すマークをその端末画面及び外部表示装置の対応位置にそれぞれ表示するようにした技術が提案されている（特許文献１参照）。

特開２００７−３１０９０３号公報

しかしながら、上述の特許文献の技術にあっては、外部表示装置にタッチ位置を示すマークが表示されるために、その視聴者にとってはタッチ操作の状態を知ることはできるが、端末側での操作者にあっては、いつもと異なった表示内容により操作しづらくなるほか、タッチ位置近傍の表示内容が見づらくなる可能性があり、操作性及び視認性を損ねてしまうおそれがあった。

本発明の課題は、端末装置の画面上で行われたジェスチャ操作の指示内容を他の端末装置側で表示させる場合に、ジェスチャ操作を行っている端末側での操作性及び表示の見易さを損なわず、かつ当該他の端末側での表示の分かり易さも確保できるようにすることである。

上述した課題を解決するために本発明の情報管理装置は、
通信ネットワークを介して接続されている複数の端末装置のいずれから保管依頼されたコンテンツを受信して記憶管理する情報管理装置であって、
前記いずれの端末装置側においてコンテンツの表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置から受けた場合に、前記コンテンツに対応付けて前記操作指示内容を記憶管理するコンテンツ記憶手段と、
前記コンテンツの保管依頼を行った依頼元以外の他の端末装置から前記コンテンツ記憶手段に記憶管理されているコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する生成手段と、
前記生成手段が生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する送信手段と、
を備えたことを特徴とする情報管理装置である。

上述した課題を解決するために本発明の情報管理システムは、
複数の端末装置と、前記いずれからの端末装置から保管依頼されたコンテンツを通信ネットワーク経由で受信して記憶管理する情報管理装置を備えた情報管理システムであって、
前記端末装置側の表示画面に前記コンテンツが表示されている状態においてその画面上で行われたジェスチャ操作の指示内容を検出する検出手段と、
前記端末装置側からコンテンツの保管依頼を受けた場合に、前記検出手段が検出したジェスチャ操作の指示内容をそのコンテンツに対応付けて記憶管理するコンテンツ記憶手段と、
前記コンテンツの保管依頼を行った依頼元以外の他の端末装置から前記コンテンツ記憶手段に記憶されているコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する生成手段と、
前記生成手段が生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する送信手段と、
を備えたことを特徴とする情報管理システムである。

本発明によれば、端末装置の画面上で行われたジェスチャ操作の指示内容を他の端末装置側で表示させる場合に、ジェスチャ操作を行っている端末側での操作性及び表示の見易さを損なわず、かつ当該他の端末側での表示の分かり易さも確保することができる。

情報管理サーバ装置を中核とする通信ネットワークシステム（情報管理システム）を示したブロック図。 情報管理サーバ装置１の基本的な構成要素を説明するためのブロック図。 端末装置２として適用した携帯端末装置（スマートフォン）の基本的な構成要素を説明するためのブロック図。 （１）は、いずれかの端末装置２の画面に表示されているコンテンツ（メニュー画面）上でジェスチャ操作が行われた場合を示し、（２）は、このコンテンツが情報管理サーバ装置１を介して他の端末装置２の画面に表示された場合の表示状態を示した図。 図４とは異なる他の表示例を示した図で、（１）は、コンテンツの保管依頼元の端末画面上でジェスチャ操作が行われた場合を示し、（２）は、そのコンテンツの閲覧要求元の端末画面における表示状態を示した図。 情報管理サーバ装置１側のジェスチャ操作テーブルＭ５を説明するための図。 コンテンツの保管を依頼する依頼元の端末装置２側での特徴的な動作を示したフローチャート。 図７の動作に続くフローチャート。 情報管理サーバ装置１の特徴的な動作を示したフローチャート。 図９の動作に続くフローチャート。

以下、図１〜図１０を参照して本発明の実施形態を説明する。
図１は、情報管理サーバ装置を中核とする通信ネットワークシステム（情報管理システム）を示したブロック図である。
情報管理システムは、情報管理サーバ装置（情報管理装置）１、各種の端末装置２を備えた広域通信システムで、情報管理サーバ装置１には、公衆回線網（例えば、インターネット、無線通信網）３を介して複数の端末装置２が接続されているほか、他のサーバ装置として、例えば、地図情報サーバ装置４が接続されている。そして、この情報管理サーバ装置１は、いずれからの端末装置２からデータ（コンテンツ）の保管が依頼された場合に、そのコンテンツを依頼元に対応付けて記憶管理したり、いずれからの端末装置２からコンテンツの閲覧要求を受けた場合には、そのコンテンツをその要求元の端末装置２に送信したりするコンテンツ管理サービスを行う。

すなわち、この情報管理システムは、各端末装置２がインターネットを介して接続される情報管理サーバ装置１を必要に応じて利用可能としたクラウドコンピューティングにおいて、情報管理サーバ装置１にアクセス可能な複数の端末装置２（クライアント）同士でコミュニティ（グループ）を作り、このグループ内の各メンバが情報管理サーバ装置１に記憶管理されている静止画像、動画像などのデータ（コンテンツ）を共有化して利用可能としたシステムで、コンテンツ毎に共有化が可能となっている。この情報管理システムを利用可能なユーザ側の端末装置２は、例えば、スマートフォン（多機能型携帯電話機）、タブレット端末、ＰＣ（パーソナルコンピュータ）などであり、その基本機能としてタッチ入力機能、インターネット接続機能（Ｗｅｂアクセス機能）などを備えている。なお、コンテンツとは、静止画像、動画像、テキストなどに限らず、メニュー画面やアプリケーション画面内の表示内容であってもよい（以下、同様）。

図２は、情報管理サーバ装置１の基本的な構成要素を説明するためのブロック図である。
情報管理サーバ装置１の中核を成すＣＰＵ１１は、電源部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの情報管理サーバ装置１の全体動作を制御する中央演算処理装置である。記憶部１３は、図示省略したが、後述する図９及び図１０のフローチャートに示すプログラムなどを記憶するプログラムメモリＭ１と、この情報管理サーバ装置１で必要とされる各種のデータを記憶するデータメモリＭ２と、フラグなど一時記憶用のワークメモリＭ３、ユーザ個々を管理するためのユーザ識別情報やユーザ認証情報などを記憶管理するユーザ管理テーブルＭ４のほか、後述するジェスチャ操作テーブルＭ５を有している。

なお、記憶部１３は、ＳＤカードなどの記録メディアを含む構成であってもよく、他のサーバ装置（図示省略）側の記憶領域を含むものであってもよい。広域通信部１４は、多数の端末装置２による同時アクセスが可能なもので、ブロードバンドのインターネットに接続（例えば、光通信接続）されている。操作部１５は、フルキーボードなどを有し、ＣＰＵ１１は、操作部１５からの入力信号に応じた処理を実行する。表示部１６は、例えば、オペレータ用の確認画面や作業画面などを表示する。データベース１７は、端末装置２から保管依頼されたデータ（コンテンツ）を記憶管理するデータベースである。

図３は、端末装置２として適用した携帯端末装置（スマートフォン）の基本的な構成要素を説明するためのブロック図である。
端末装置２の中核を成すＣＰＵ２１は、二次電池を備えた電源部２２からの電力供給によって動作し、記憶部２３内の各種のプログラムに応じてこの端末装置２の全体動作を制御する。記憶部２３は、図示省略したが、後述する図７及び図８のフローチャートに示すプログラムなどを記憶するプログラム領域と、この端末装置２で必要とされる各種のデータを記憶するデータ領域と、一時記憶用のワーク領域を有している。広域通信部２４は、通話機能、電子メール機能、インターネット接続機能などの動作時に、音声やデータを変調して送信したり、無線電波を受信して音声やデータに復調して受信したりすることで通話やデータ通信を行う。

無線ＬＡＮ通信部２５は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介してインターネットに接続され、情報管理サーバ装置１との間でデータの送受信を行う通信インターフェイスである。操作部２６は、電源ボタンなどの押しボタン式の各種のキーを有している。タッチ表示部２７は、表示パネル２７ａにタッチパネル２７ｂを積層配設した構成で、ソフトウェアキー（ソフトキー）としての機能名を表示したり、各種のアイコンなどを表示したりする。タッチ表示部２７のタッチパネル２７ｂは、指など（ペンなどの操作子を含む）でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用するようにしているが、光センサ方式など、その他の方式であってもよい。ＣＰＵ２１は、タッチ表示部２７へのタッチ操作を検出すると、そのタッチ操作の内容（種類）として、タッチ表示部２７の表示画面内の位置を指示するタッチ操作が行われたのか、端末画面内の表示内容の変更を指示するタッチ操作が行われたのか、コマンドあるいはデータの入力を指示するタッチ操作が行われたのかを判別する。

ここで、タッチ表示部２７の表示画面内の位置を指示するタッチ操作とは、例えば、ソフトキーが表示されている位置又は画像が表示されている位置でのシングルタッチ操作、複数本の指で複数の表示位置を同時にタッチするマルチタッチ操作などである。また、タッチ表示部２７の表示内容の変更を指示するタッチ操作とは、例えば、表示スクロールを指示するタッチ操作（フリック操作）、表示内容の拡大を指示するタッチ操作（ピンチアウト操作）、表示内容の縮小を指示するタッチ操作（ピンチイン操作）などである。また、コマンドあるいはデータの入力を指示するタッチ操作とは、コマンド（アプリケーションの切り換えなど）やデータ（数字、文字などのデータ）の入力を指示するタッチ操作である。

なお、上述のタッチ操作とは、タッチパネル２７ｂ上において指やペンを直接タッチする接触操作に限らず、その接触操作に近似する操作として、例えば、指やペンの接近や接近移動による静電容量変化又は明るさ変化などに応じて指やペンの位置を検出する非接触操作を含むことを意味している。つまり、接触操作を検出する接触型タッチパネルに限らず、非接触操作を検出する非接触型タッチパネルや操作検出デバイスであってもよいが、本実施形態にあっては、タッチ操作として、接触型タッチパネル上での接触操作を例示した場合を示している。以下、各種のタッチ操作をジェスチャ操作として呼ぶことがある。

図４は、いずれかの端末装置２の表示画面に表示されているコンテンツ（メニュー画面）上でジェスチャ操作が行われた場合を示すと共に、このコンテンツが情報管理サーバ装置１を介して他の端末装置２の画面に表示された場合の表示状態を示した図である。
情報管理サーバ装置１は、いずれかの端末装置２における表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼をその端末装置２から受けた場合に、このコンテンツに対応付けて操作指示内容を記憶管理するようにしている。

また、情報管理サーバ装置１は、このコンテンツの保管を依頼した依頼元以外の他の端末装置２からそのコンテンツに対してその閲覧要求を受けた場合に、このコンテンツに対応する操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成し、この合成コンテンツをその閲覧要求元の端末装置２に対して送信するようにしている。ここで、操作指示内容とは、コンテンツの表示画面上で行われたジェスチャ操作の内容としてその操作の位置及び操作の種類を含む情報である。また、ジェスチャ操作の種類とは、表示画面内の位置を指示するタッチ操作、表示画面内の表示内容の変更を指示するタッチ操作、コマンドあるいはデータの入力を指示するタッチ操作である、情報管理サーバ装置１は、この操作指示内容を示す操作イメージデータ（操作アイコン又はアニメーション画像）をコンテンツに合成した合成コンテンツを生成し、この合成コンテンツをその閲覧要求元の端末装置２に対して送信するようにしている。

図４（１）は、タッチ表示部２７に多数のメニュー項目が一覧表示されているコンテンツ（メニュー画面）が表示されている状態において、そのメニュー画面の中から所望の処理を指定するためにそのメニュー項目が人差し指でシングルタッチ操作された場合を示している。図４（２）は、メニュー画面内でジェスチャ操作が行われた場合にその操作指示内容を示す操作イメージデータとして、人差し指でタッチしている様子を図案化したアイコンを示している。ここで、図４（１）に示すように、ジェスチャ操作が行われた表示画面ではタッチされたメニュー項目が操作指によって隠れてしまい見づらい状態となっているが、閲覧要求元の端末装置２の表示画面（端末画面）では、タッチされたメニュー項目に接近して、操作イメージデータ（操作アイコン）が配置表示されてもメニュー項目と操作アイコンとは位置的にずれたものとなる。

図５は、図４とは異なる他の表示例を示した図で、コンテンツの保管依頼元の端末画面上でジェスチャ操作が行われた場合と、そのコンテンツの閲覧要求元の端末画面における表示状態を示した図である。
図５（１）は、いずれかの端末画面上で表示内容の拡大を指示するために親指及び人差し指の間を外側に徐々に広げるピンチアウト操作が行われた場合を示している。図５（２）は、閲覧要求元の端末画面にジェスチャ操作（ピンチアウト操作）による操作イメージデータ（アニメーション画像）が合成表示された場合を示している。

図６は、ジェスチャ操作テーブルＭ５を説明するための図である。
タッチ操作テーブルＭ５は、「操作指示内容」に対応してそのジェスチャ操作の指示内容を示す「操作イメージデータ」を記憶するテーブルで、予めユーザ操作により任意に設定可能となっている。この「操作指示内容」の項目には、操作の種類として、“画面内の位置を指示するタッチ操作”、“画面内の表示内容の変更を指示するタッチ操作”、“コマンドあるいはデータの入力を指示するタッチ操作”を有し、更に、“画面内の位置を指示するタッチ操作”の項目には、“シングルタッチ”、“マルチタッチ操作”などが記憶されている。そして、この“シングルタッチ操作”、“マルチタッチ操作”に対応する「操作イメージデータ」としては、“Ａアイコン”、“Ｂアイコン”などが記憶されている。

また、“画面内の表示内容の変更を指示するタッチ操作”の項目には、“フリック操作”、“ピンチイン操作”、“ピンチアウト操作”などが記憶され、それらに対応する「操作イメージデータ」としては、“Ａアニメーション画像”、“Ｂアニメーション画像”、“Ｃアニメーション画像”などが記憶されている。また、“コマンドあるいはデータの入力を指示するタッチ操作”の項目には、“コマンドＷの入力操作”、“コマンドＥの入力操作”、“数値１の入力操作”などが記憶され、それらに対応する「操作イメージデータ」としては、“Ｘアニメーション画像”、“Ｙアニメーション画像”、“Ｚアニメーション画像”などが記憶されている。なお、“コマンドＷの入力操作”とは、文章作成アプリケーションを起動させるコマンドＷを入力するタッチ操作である。“コマンドＥの入力操作”とは、表計算アプリケーションを起動させるコマンドＥを入力するタッチ操作である。

このように本実施形態における情報管理システムは、端末装置２と、この端末装置２から保管依頼されたコンテンツを通信ネットワーク（公衆回線網３）経由で受信して記憶管理する情報管理装置（情報管理サーバ装置１）を備えた情報管理システムであって、端末装置２側の表示画面（端末画面：タッチ表示部２７）にコンテンツが表示されている状態においてその画面上で行われたジェスチャ操作の指示内容を検出する検出手段（ＣＰＵ２１、タッチ表示部２７）と、検出したジェスチャ操作の指示内容を示す操作イメージデータをそのコンテンツに合成した合成コンテンツを生成する生成手段（ＣＰＵ１１）と、コンテンツの保管を依頼した依頼元以外の他の端末装置から情報管理サーバ装置１に対し、生成した合成コンテンツの閲覧要求を受けた場合に、その閲覧要求元の端末装置２に対して当該合成コンテンツを送信する送信手段（ＣＰＵ１１、広域通信部１４）と、を備えてなる。

また、本実施形態における情報管理装置（情報管理サーバ装置１）は、端末装置２側においてコンテンツの表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置２から受けた場合に、そのコンテンツに対応付けて操作指示内容を記憶管理する情報記憶手段（ＣＰＵ１１、広域通信部１４、データベース１７）と、このコンテンツの保管依頼を行った依頼元以外の他の端末装置２からデータベース１７内のコンテンツに対してその閲覧要求を受けた場合に、このコンテンツに対応する操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する生成手段（ＣＰＵ１１、広域通信部１４）と、この生成した合成コンテンツをその閲覧要求元の端末装置２に対して送信する送信手段（ＣＰＵ１１、広域通信部１４）と、を備えてなる。

次に、本実施形態における情報管理システムの動作概念を図７〜図１０に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図７及び図８は、情報管理サーバ装置１に対してコンテンツの保管を依頼する依頼元の端末装置２側での特徴的な動作を示したフローチャートである。図９及び図１０は、情報管理サーバ装置１での特徴的な動作を示したフローチャートである。
先ず、端末装置２においてそのＣＰＵ２１は、ユーザ操作により情報管理サーバ装置１への接続を要求する操作が行われたかを調べ（図７のステップＡ１）、その他の操作が行われたときには（ステップＡ１でＮＯ）、その操作に応じた処理（例えば、発信処理など）を行うが（ステップＡ２）、サーバ接続の要求を受けたときには（ステップＡ１でＹＥＳ）、自己のユーザ情報（例えば、キーワード、パスワード）を情報管理サーバ装置１に送信する（ステップＡ３）。

ここで、情報管理サーバ装置１においてそのＣＰＵ１１は、端末装置２から接続要求を受信したかを調べ（図９のステップＢ１）、端末からの接続要求を受信しなければ（ステップＢ１でＮＯ）、その他の処理（ステップＢ２）を行った後、最初のステップＢ１に戻る。なお、その他の処理としては、ジェスチャ操作テーブルＭ５への設定処理などである。いま、端末装置２から接続要求を受信したときには（ステップＢ１でＹＥＳ）、その要求と共に受信したユーザ情報に基づいてユーザ認証を行う（ステップＢ３）。

その結果、正規なユーザからの接続要求でなければ（ステップＢ４でＮＯ）、その要求を無効とするためにステップＢ１に戻る。また、正規なユーザからの接続要求であれば（ステップＢ４でＹＥＳ）、その要求元に対して認証結果として肯定応答を送信（ステップＢ５）した後、端末装置２からコンテンツのダウンロードが要求されたのかを調べたり（ステップＢ６）、コンテンツの保管依頼が要求されたのかを調べたり（ステップＢ１１）、コンテンツの閲覧が要求されたのかを調べたりする（図１０のステップＢ１３）。

端末装置２は、情報管理サーバ装置１から認証結果（肯定応答）を受信すると（図７のステップＡ４でＹＥＳ）、ユーザ操作によってコンテンツのダウンロードが要求されたのかを調べたり（ステップＡ５）、コンテンツの保管依頼が要求されたのかを調べたり（図８のステップＡ１６）、コンテンツの閲覧が要求されたのかを調べたりする（図８のステップＡ１８）。いま、コンテンツのダウンロードの要求であれば（ステップＡ５でＹＥＳ）、情報管理サーバ装置１に対してコンテンツのダウンロードを要求すると共に、その要求に応答して情報管理サーバ装置１から送信されてくるコンテンツをダウンロードして（ステップＡ６）、このコンテンツを自己の端末画面に表示する（ステップＡ７）。

情報管理サーバ装置１は、端末装置２からコンテンツのダウンロード要求を受信すると（図９のステップＢ６でＹＥＳ）、その要求されたコンテンツが地図であれば（ステップＢ７でＹＥＳ）、地図情報サーバ装置４から地図データを受信取得して（ステップＢ８）、その要求元の端末装置２に送信するが（ステップＢ１０）、地図データでなければ（ステップＢ７でＮＯ）、自己が管理しているコンテンツをデータベース１７から取得して（ステップＢ９）、その要求元の端末装置２に送信する（ステップＢ１０）。その後、最初のステップＢ１に戻る。

端末装置２は、ダウンロードしたコンテンツをタッチ表示部２７に表示している状態において、何らかのジェスチャ操作が行われたかを調べる（図７のステップＡ８）。なお、図示の例では、表示対象のコンテンツを情報管理サーバ装置１からダウンロードするようにしたが、これに限らず、自己（端末自体）が保管しているコンテンツを読み出して端末画面に表示する場合であってもよい。いま、ジェスチャ操作を検出したときには（ステップＡ８でＹＥＳ）、その操作位置を検出すると共に（ステップＡ９）、操作の指示内容を判別する（ステップＡ１０）。

すなわち、操作指示内容として、端末画面内の位置を指示するタッチ操作が行われたのか、端末画面内の表示内容の変更を指示するタッチ操作が行われたのか、コマンドあるいはデータの入力を指示するタッチ操作が行われたのかを判別する。そして、この操作指示内容に応じた処理を実行する（ステップＡ１１）。例えば、処理メニュー項目がタッチ操作されたときには、そのアプリケーションを起動してそのアプリケーション画面をタッチ表示部２７に表示させ、そのアプリケーション画面上で、例えば、ジェスチャ操作としてピンチイン操作、ピンチアウト操作が行われたときには、その操作で指定された表示部分（例えば、表やグラフ）を縮小したり、拡大したりし、また、ジェスチャ操作としてフリック操作が行われたときには表示内容をその操作方向にスクロール表示させるなど、操作指示内容に応じた処理を行って端末画面をその処理結果に応じた画面に切り換え表示させる。次に、ジェスチャ操作の指示内容をそのときの画面（コンテンツ）に対応付けて記憶（ステップＡ１２）した後、上述のステップＡ８に戻る。

ジェスチャ操作を検出しなければ（ステップＡ８でＮＯ）、画面の切替操作又はスクロール操作などの表示遷移操作が行われたかを調べたり（ステップＡ１３）、情報管理サーバ装置１との接続終了を指示する操作が行われたかを調べたりする（ステップＡ１５）。ここで、表示遷移操作が行われたときには（ステップＡ１３でＹＥＳ）、その操作に応じて画面切替処理又はスクロール処理（ステップＡ１４）を行った後、上述のステップＡ８に戻る。ここで、画面切替又はスクロール後の画面に対してもジェスチャ操作が行われた場合には（ステップＡ８でＹＥＳ）、その操作指示内容がそのときの画面（コンテンツ）に対応付けて記憶される（ステップＡ１２）。また、サーバ接続の終了が指示されたときには（ステップＡ１５でＹＥＳ）、最初のステップＡ１に戻る。

そして、情報管理サーバ装置１に対してコンテンツの保管を要求するときには（図８のステップＡ１６でＹＥＳ）、上述のようにコンテンツに対応付けて記憶されているジェスチャ操作の指示内容を読み出し、このコンテンツを操作指示内容と共に情報管理サーバ装置１を送信することによって保管依頼を行う（ステップＡ１７）。
情報管理サーバ装置１は、端末装置２からコンテンツの保管依頼を受信すると（図９のステップＢ１１でＹＥＳ）、受信したコンテンツを操作指示内容と共にデータベース１７に保管（ステップＢ１２）した後、最初のステップＢ１に戻る。

他方、端末装置２は、ユーザ操作によってコンテンツの閲覧が要求されたときには（図８のステップＡ１８でＹＥＳ）、情報管理サーバ装置１に対してユーザ情報を送信してコンテンツの閲覧要求を行う（ステップＡ１９）。

情報管理サーバ装置１は、コンテンツの閲覧要求を受信すると（図１０のステップＢ１３でＹＥＳ）、閲覧要求されたコンテンツに対してアクセス権限を持ったユーザからの要求であるか、つまり、そのコンテンツを利用可能なメンバからの要求であるかのユーザ認証を行う（ステップＢ１４）。その結果、そのコンテンツに対してアクセス権限を持ったユーザでなければ（ステップＢ１５でＮＯ）、その閲覧要求を無効とするために図９のステップＢ１に移るが、アクセス権限を持ったユーザからの要求であれば（ステップＢ１５でＹＥＳ）、その要求元に対して認証結果として肯定応答を送信（ステップＢ１６）した後、データベース１７から閲覧要求されたコンテンツをその操作指示内容と共に読み出す（ステップＢ１７）。

そして、情報管理サーバ装置１は、このコンテンツ対応の操作指示内容に基づいてジェスチャ操作テーブルＭ５を参照し（ステップＢ１８）、対応する「操作イメージデータ」を読み出す（ステップＢ１９）。次に、この操作イメージデータ（操作アイコン／アニメーション画像）をコンテンツに合成して合成コンテンツを生成するが（ステップＢ２０）、その際、操作位置あるいはその近傍に操作イメージデータ（操作アイコン／アニメーション画像）を合成する。例えば、図４（１）に示すように操作位置が処理メニューの項目上であれば、図４（２）に示すようにその処理メニュー項目の近傍に操作イメージデータ（アイコン）を合成する。そして、この生成した合成コンテンツを閲覧要求元の端末装置２に送信（ステップＢ２１）した後、図９のステップＢ１に戻る。

端末装置２は、情報管理サーバ装置１から認証肯定応答を受信すると（図８のステップＡ２０）、情報管理サーバ装置１から合成コンテンツをダウンロードし（ステップＡ２１）、端末画面に表示する（ステップＡ２２）。これによって、例えば、図４（２）に示すように、コンテンツ上には操作イメージデータとして人差し指でタッチしている様子を図案化したアイコンが表示され、また、図５（２）に示すように、コンテンツ上にはジェスチャ操作（ピンチアウト操作）による操作イメージデータとしてアニメーション画像が合成表示される。

そして、端末装置２は、画面の切替操作又はスクロール操作などの表示遷移操作が行われたかを調べたり（ステップＡ２３）、情報管理サーバ装置１との接続終了を指示する操作が行われたかを調べたりする（ステップＡ２５）。ここで、表示遷移操作が行われたときには（ステップＡ２３でＹＥＳ）、その操作に応じて画面切替処理又はスクロール処理を行うが（ステップＡ２４）、サーバ接続の終了が指示されたときには（ステップＡ２５でＹＥＳ）、図７のステップＡ１に戻る。

以上のように、本実施形態における情報管理サーバ装置１は、いずれの端末装置２側においてコンテンツが表示されている端末画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置２から受けた場合に、そのコンテンツに対応付けて操作指示内容をデータベース１７に記憶管理し、このコンテンツの保管を依頼した依頼元以外の他の端末装置２からコンテンツに対してその閲覧要求を受けた場合に、そのコンテンツに対応する操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成し、この合成コンテンツをその閲覧要求元の端末装置２に対して送信するようにしたので、ジェスチャ操作を行っている端末装置２側では、操作イメージデータが表示されることはなく、操作性を損なわずに表示の見易さを維持することができ、操作性と見易さの両方を満たすことが可能となり、当該他の端末側では、情報管理サーバ装置１に対してコンテンツの閲覧要求を行うだけで、いずれかの端末装置２側で行われたジェスチャ操作の指示内容をいつでも自由にイメージデータとして容易に確認することが可能となる。

すなわち、いずれかの端末装置２側で行われたジェスチャ操作の指示内容を他の端末装置２側で表示させる場合に、ジェスチャ操作を行っている端末側での操作性及び表示の見易さを損なわず、かつ当該他の端末側においては操作イメージデータの表示によって表示の分かり易さを確保することできる。また、操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する処理は、情報管理サーバ装置１側で一括して行うようにしているため、端末装置２側での負担を軽減することが可能となる。

操作指示内容は、コンテンツの表示画面上で行われたジェスチャ操作の内容としてその操作の位置及び操作の種類を含む情報であり、情報管理サーバ装置１は、この操作指示内容に基づいてコンテンツ上にその操作の種類に応じた操作イメージデータをその操作位置に合成するようにしたので、閲覧者にあっては、画面上のどの位置が操作されてどのような種類の操作が行われたかをイメージ表示によって知ることができる。

操作指示内の操作の種類は、画面内の位置を指示するタッチ操作、画面内の表示内容の変更を指示するタッチ操作、コマンドあるいはデータの入力を指示するタッチ操作であるので、多種多様のジェスチャ操作に対応することが可能となる。

操作イメージデータとして、画面内の位置を指示するジェスチャ操作が行われた場合にはその位置を示すアイコン、画面内の表示内容の変更を指示するジェスチャ操作が行われた場合にはその変更の種類を示すアニメーション画像、コマンドあるいはデータの入力を指示するジェスチャ操作が行われた場合にはその入力の種類を示すアニメーション画像を、コンテンツに合成するようにしたので、ジェスチャ操作に合ったイメージデータを表示させることができる。

情報管理サーバ装置１は、コンテンツの閲覧要求を受けた場合に、そのコンテンツに対してアクセス権限を持ったユーザからの要求であることを条件に合成コンテンツを送信するようにしたので、グループ内でのコミュニティ手段として利用可能となる。例えば、地図データが表示されている画面上で集合場所を指示するジェスチャ操作が行われた場合には、その集合場所を操作イメージデータによって他のメンバに知らせることができる。

本実施形態における情報管理システムにおいても、いずれかの端末装置２側で行われたジェスチャ操作の指示内容を他の端末装置２側で表示させる場合でも、ジェスチャ操作を行っている端末側での操作性及び表示の見易さを損なわず、かつ当該他の端末側においては操作イメージデータの表示によって表示の分かり易さを確保することできる。その他、上述した情報管理サーバ装置１と同様の効果を有する。

なお、上述した実施形態においては、操作イメージデータとして、アイコン、アニメーション画像を示したが、静止画像、動画像などであってもよく、又はそれらの組み合わせであってもよく、更にユーザ操作により任意に選択指定した操作イメージデータを表示するようにしてもよい。

上述した実施形態においては、コンテンツに対してアクセス権限を持ったユーザからの要求であることを条件に合成コンテンツを送信するようにしたが、誰でも自由に閲覧可能としてもよい。

また、上述した実施形態においては、端末装置２は、スマートフォン、ＰＣ、タブレット端末に限らず、ＰＤＡ（個人向け携帯型情報通信機器）、デジタルカメラ、テレビ受像機、電子腕時計などであってもよい。例えば、ジェスチャ操作側の端末装置２を電子腕時計とし、閲覧側の端末装置２をテレビ受像機とした場合には腕時計上での操作状況を大型画面で確認することができる。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
通信ネットワークを介して接続されている複数の端末装置のいずれから保管依頼されたコンテンツを受信して記憶管理する情報管理装置であって、
前記いずれの端末装置側においてコンテンツの表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置から受けた場合に、前記コンテンツに対応付けて前記操作指示内容を記憶管理するコンテンツ記憶手段と、
前記コンテンツの保管依頼を行った依頼元以外の他の端末装置から前記コンテンツ記憶手段に記憶管理されているコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する生成手段と、
前記生成手段が生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する送信手段と、
を備えたことを特徴とする情報管理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の情報管理装置において、
前記操作指示内容は、コンテンツの表示画面上で行われたジェスチャ操作の内容としてその操作の位置及び操作の種類を含む情報であり、
前記生成手段は、前記操作指示内容に基づいて前記コンテンツ上にその操作の種類に応じた操作イメージデータをその操作位置に合成する、
ようにしたことを特徴とする情報管理装置である。
（請求項３）
請求項３に記載の発明は、請求項１又は請求項２に記載の情報管理装置において、
前記操作指示内容の操作の種類は、その画面内の位置を指示するジェスチャ操作、画面内の表示内容の変更を指示するジェスチャ操作、コマンドあるいはデータの入力を指示するジェスチャ操作である、
ことを特徴とする情報管理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれか１項に記載の情報管理装置において、
前記生成手段は、前記操作イメージデータのジェスチャ操作の内容として、前記画面内の位置を指示するジェスチャ操作が行われた場合にはその位置を示すアイコン、画面内の表示内容の変更を指示するジェスチャ操作が行われた場合にはその変更の種類を示すアニメーション画像、コマンドあるいはデータの入力を指示するジェスチャ操作が行われた場合にはその入力の種類を示すアニメーション画像を、前記コンテンツに合成する、
ようにしたことを特徴とする情報管理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれか１項に記載の情報管理装置において、
前記送信手段は、前記コンテンツの保管依頼を行った依頼元以外の他のユーザから前記コンテンツ記憶手段内のコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対してアクセス権限を持ったユーザからの要求であることを条件に、当該ユーザの端末装置に対して前記合成コンテンツを送信する、
ようにしたことを特徴とする情報管理装置である。
（請求項６）
請求項６に記載の発明は、
複数の端末装置と、前記いずれからの端末装置から保管依頼されたコンテンツを通信ネットワーク経由で受信して記憶管理する情報管理装置を備えた情報管理システムであって、
前記端末装置側の表示画面に前記コンテンツが表示されている状態においてその画面上で行われたジェスチャ操作の指示内容を検出する検出手段と、
前記端末装置側からコンテンツの保管依頼を受けた場合に、前記検出手段が検出したジェスチャ操作の指示内容をそのコンテンツに対応付けて記憶管理するコンテンツ記憶手段と、
前記コンテンツの保管依頼を行った依頼元以外の他の端末装置から前記コンテンツ記憶手段に記憶されているコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する生成手段と、
前記生成手段が生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する送信手段と、
を備えたことを特徴とする情報管理システムである。
（請求項７）
請求項７に記載の発明は、請求項６に記載の情報管理システムにおいて、
前記操作指示内容は、コンテンツの表示画面上で行われたジェスチャ操作の内容としてその操作の位置及び操作の種類を含む情報であり、
前記生成手段は、前記操作指示内容に基づいて前記コンテンツ上にその操作の種類に応じた操作イメージデータをその操作位置に合成する、
ようにしたことを特徴とする情報管理システムである。
（請求項８）
請求項８に記載の発明は、請求項６又は請求項７に記載の情報管理システムにおいて、
前記操作指示内容の操作の種類は、その画面内の位置を指示するジェスチャ操作、画面内の表示内容の変更を指示するジェスチャ操作、コマンドあるいはデータの入力を指示するジェスチャ操作である、
ことを特徴とする情報管理システムである。
（請求項９）
請求項９に記載の発明は、請求項６〜請求項８のいずれか１項に記載の情報管理システ
ムにおいて、
前記生成手段は、前記操作イメージデータのジェスチャ操作の内容として、前記画面内の位置を指示するジェスチャ操作が行われた場合にはその位置を示すアイコン、画面内の表示内容の変更を指示するジェスチャ操作が行われた場合にはその変更の種類を示すアニメーション画像、コマンドあるいはデータの入力を指示するジェスチャ操作が行われた場合にはその入力の種類を示すアニメーション画像を、前記コンテンツに合成する、
ようにしたことを特徴とする情報管理システムである。
（請求項１０）
請求項１０に記載の発明は、請求項６〜請求項９のいずれか１項に記載の情報管理システムにおいて、
前記送信手段は、前記コンテンツの保管依頼を行った依頼元以外の他のユーザから前記コンテンツ記憶手段内のコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対してアクセス権限を持ったユーザからの要求であることを条件に、当該ユーザの端末装置に対して前記合成コンテンツを送信する、
ようにしたことを特徴とする情報管理システムである。
（請求項１１）
請求項１１に記載の発明は、
コンピュータに対して、
通信ネットワークを介して接続されている複数の端末装置のいずれの端末装置側においてコンテンツの表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置から受けた場合に、前記コンテンツに対応付けて前記操作指示内容を記憶管理する機能と、
前記コンテンツの保管を依頼した依頼元以外の他の端末装置から前記コンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する機能と、
前記生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する機能と、
を実現させるためのプログラムである。

１ 情報管理サーバ装置
２ 端末装置
３ 無線通信網
１１、２１ ＣＰＵ
１３、２３ 記憶部
１４ 広域通信部
１７ データベース
２５ 無線ＬＡＮ通信部
２７ タッチ表示部
Ｍ１ プログラムメモリ
Ｍ４ ユーザ管理テーブル
Ｍ５ ジェスチャ操作テーブル

本発明は、表示制御装置及びプログラムに関する。

本発明の課題は、表示されたコンテンツに対して操作されたユーザによる指示内容を分かり易さを確保して表示することにある。

請求項１は、コンテンツの表示を制御する表示制御装置であって、表示されたコンテンツに対してユーザによる任意の指示操作があった際は、その指示された操作指示内容を取得する取得手段と、前記取得手段で取得した操作指示内容を前記コンテンツに対応付けて記憶手段に記憶するよう制御する記憶制御手段と、前記コンテンツの閲覧要求があった際は、当該コンテンツに対応付けて記憶された操作指示内容に応じた操作情報を、当該コンテンツと共に表示させるよう制御する表示制御手段と、を具備したことを特徴とする。

本発明によれば、表示されたコンテンツに対して操作されたユーザによる指示内容を分かり易さを確保して表示することができる。

Claims (11)

1. 通信ネットワークを介して接続されている複数の端末装置のいずれから保管依頼されたコンテンツを受信して記憶管理する情報管理装置であって、
   前記いずれの端末装置側においてコンテンツの表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置から受けた場合に、前記コンテンツに対応付けて前記操作指示内容を記憶管理するコンテンツ記憶手段と、
   前記コンテンツの保管依頼を行った依頼元以外の他の端末装置から前記コンテンツ記憶手段に記憶管理されているコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する生成手段と、
   前記生成手段が生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する送信手段と、
   を備えたことを特徴とする情報管理装置。
2. 前記操作指示内容は、コンテンツの表示画面上で行われたジェスチャ操作の内容としてその操作の位置及び操作の種類を含む情報であり、
   前記生成手段は、前記操作指示内容に基づいて前記コンテンツ上にその操作の種類に応じた操作イメージデータをその操作位置に合成する、
   ようにしたことを特徴とする請求項１に記載の情報管理装置。
3. 前記操作指示内容の操作の種類は、その画面内の位置を指示するジェスチャ操作、画面内の表示内容の変更を指示するジェスチャ操作、コマンドあるいはデータの入力を指示するジェスチャ操作である、
   ことを特徴とする請求項１又は請求項２に記載の情報管理装置。
4. 前記生成手段は、前記操作イメージデータのジェスチャ操作の内容として、前記画面内の位置を指示するジェスチャ操作が行われた場合にはその位置を示すアイコン、画面内の表示内容の変更を指示するジェスチャ操作が行われた場合にはその変更の種類を示すアニメーション画像、コマンドあるいはデータの入力を指示するジェスチャ操作が行われた場合にはその入力の種類を示すアニメーション画像を、前記コンテンツに合成する、
   ようにしたことを特徴とする請求項１〜請求項３のいずれか１項に記載の情報管理装置。
5. 前記送信手段は、前記コンテンツの保管依頼を行った依頼元以外の他のユーザから前記コンテンツ記憶手段内のコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対してアクセス権限を持ったユーザからの要求であることを条件に、当該ユーザの端末装置に対して前記合成コンテンツを送信する、
   ようにしたことを特徴とする請求項１〜請求項４のいずれか１項に記載の情報管理装置。
6. 複数の端末装置と、前記いずれからの端末装置から保管依頼されたコンテンツを通信ネットワーク経由で受信して記憶管理する情報管理装置を備えた情報管理システムであって、
   前記端末装置側の表示画面に前記コンテンツが表示されている状態においてその画面上で行われたジェスチャ操作の指示内容を検出する検出手段と、
   前記端末装置側からコンテンツの保管依頼を受けた場合に、前記検出手段が検出したジェスチャ操作の指示内容をそのコンテンツに対応付けて記憶管理するコンテンツ記憶手段と、
   前記コンテンツの保管依頼を行った依頼元以外の他の端末装置から前記コンテンツ記憶手段に記憶されているコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する生成手段と、
   前記生成手段が生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する送信手段と、
   を備えたことを特徴とする情報管理システム。
7. 前記操作指示内容は、コンテンツの表示画面上で行われたジェスチャ操作の内容としてその操作の位置及び操作の種類を含む情報であり、
   前記生成手段は、前記操作指示内容に基づいて前記コンテンツ上にその操作の種類に応じた操作イメージデータをその操作位置に合成する、
   ようにしたことを特徴とする請求項６に記載の情報管理システム。
8. 前記操作指示内容の操作の種類は、その画面内の位置を指示するジェスチャ操作、画面内の表示内容の変更を指示するジェスチャ操作、コマンドあるいはデータの入力を指示するジェスチャ操作である、
   ことを特徴とする請求項６又は請求項７に記載の情報管理システム。
9. 前記生成手段は、前記操作イメージデータのジェスチャ操作の内容として、前記画面内の位置を指示するジェスチャ操作が行われた場合にはその位置を示すアイコン、画面内の表示内容の変更を指示するジェスチャ操作が行われた場合にはその変更の種類を示すアニメーション画像、コマンドあるいはデータの入力を指示するジェスチャ操作が行われた場合にはその入力の種類を示すアニメーション画像を、前記コンテンツに合成する、
   ようにしたことを特徴とする請求項６〜請求項８のいずれか１項に記載の情報管理システム。
10. 前記送信手段は、前記コンテンツの保管依頼を行った依頼元以外の他のユーザから前記コンテンツ記憶手段内のコンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対してアクセス権限を持ったユーザからの要求であることを条件に、当該ユーザの端末装置に対して前記合成コンテンツを送信する、
    ようにしたことを特徴とする請求項６〜請求項９のいずれか１項に記載の情報管理システム。
11. コンピュータに対して、
    通信ネットワークを介して接続されている複数の端末装置のいずれの端末装置側においてコンテンツの表示画面上で行われたジェスチャ操作の指示内容と共にそのコンテンツの保管依頼を当該端末装置から受けた場合に、前記コンテンツに対応付けて前記操作指示内容を記憶管理する機能と、
    前記コンテンツの保管を依頼した依頼元以外の他の端末装置から前記コンテンツに対してその閲覧要求を受けた場合に、前記コンテンツに対応する前記操作指示内容に応じた操作イメージデータを合成した合成コンテンツを生成する機能と、
    前記生成した合成コンテンツをその閲覧要求元の端末装置に対して送信する機能と、
    を実現させるためのプログラム。

Images