JP2017117051A - 情報処理システム、情報処理方法、情報処理装置、サーバ及びプログラム - Google Patents

Abstract

【課題】端末の画面に画像を表示するアプリケーション自体に追加機能を実装することなく、異なる端末間において表示画像を契機とする情報の共有を実現する。
【解決手段】第１情報処理装置１と、第１情報処理装置１と通信可能な第２情報処理装置２とを含む情報処理システムＳにおいて、第１情報処理装置１は、第１情報処理装置１のユーザに提示する情報を表示する表示部１０と、表示部１０の表示画面を画像として取得する画面取得部１１とを備える。第２情報処理装置２は、画像の関連性の判定に用いるテンプレート情報と、第１情報処理装置１が実行する処理を示す情報とを紐付けて記憶する記憶部２１を備える。第１情報処理装置１は、画面取得部１１が取得した表示画面の画像が、第２情報処理装置２の記憶部２１に記録されたテンプレート情報と関連する場合、記憶部２１に記録された情報が示す処理を実行する実行部１５をさらに備える。
【選択図】図２

Description

本発明は、情報処理システム、情報処理方法、情報処理装置、サーバ及びプログラムに関する。

異なる情報処理装置の間でコメント情報を共有する手法は種々提案されている。例えば特許文献１には、ストリーミング配信によって動画を配信する際に、その動画を閲覧する各端末装置に対して、動画の再生開始時点を基準とした動画再生時間が付与されたコメントを表示する技術が開示されている。この技術においては、動画の再生を開始してからの動画再生時間に合わせて、その動画再生時間に一致するコメント付与時間が設定されたコメント内容が順次動画上に表示される。

特開２００９−０７７４４３号公報

上記の技術のように情報処理装置が実行するアプリケーション自体が情報共有機能を実装している場合、当然ながら、情報共有機能を実装していないアプリケーションでは、他の情報端末装置とコメント等の情報共有をすることができない。

本発明は上記の点に鑑みてなされたものであり、端末の画面に画像を表示するアプリケーション自体に追加機能を実装することなく、異なる端末間において表示画像を契機とする情報の共有を実現する技術を提供することを目的とする。

本発明の第１の態様は、第１情報処理装置と、前記第１情報処理装置と通信可能な第２情報処理装置とを含む情報処理システムである。このシステムにおいて、前記第１情報処理装置は、前記第１情報処理装置のユーザに提示する情報を表示する表示部と、前記表示部の表示画面を画像として取得する画面取得部とを備える。前記第２情報処理装置は、画像の関連性の判定に用いるテンプレート情報と、前記第１情報処理装置が実行する処理を示す情報とを紐付けて記憶する記憶部を備える。前記第１情報処理装置は、前記画面取得部が取得した表示画面の画像が、前記第２情報処理装置の記憶部が記憶するテンプレート情報と関連する場合、前記記憶部が記憶する情報が示す処理を実行する実行部をさらに備えることを特徴とする。

前記記憶部は、前記実行部が実行する表示処理の処理対象となる表示情報を格納してもよく、前記実行部は、前記画面取得部が取得した表示画面の画像が前記第２情報処理装置の記憶部が記憶するテンプレート情報と関連する場合、前記記憶部が記憶する表示情報を前記表示部に表示させてもよい。

前記実行部は、前記表示画面が前記テンプレート情報と関連することを契機として、前記記憶部から前記情報を取得してもよい。

前記記憶部は、前記第１情報処理装置が実行する処理を示す情報を、前記第２情報処理装置とは異なる第３情報処理装置から受信して記憶してもよい。

前記第１情報処理装置は、前記第３情報処理装置が実行する処理を示す情報を送信する情報送信部をさらに備えてもよい。

前記第１情報処理装置は、前記記憶部から取得した前記テンプレート情報と、前記画面取得部が取得した表示画面との関連性を取得する関連性判定部をさらに備えてもよい。

前記画面取得部は、取得した前記表示画面を前記第２情報処理装置に送信してもよく、前記第２情報処理装置は、前記記憶部が記憶する前記テンプレート情報と、前記画像取得部から送信された前記表示画面との関連性を取得する関連性判定部をさらに備えてもよい。

前記記憶部は、画像から算出したハッシュ値を前記テンプレート情報として記憶してもよく、前記関連性判定部は、前記表示画面の画像から算出したハッシュ値と、前記記憶部が記憶するハッシュ値との一致度を、前記テンプレート情報と前記表示画面との関連性として出力してもよい。

前記記憶部は、前記表示部が表示可能な画像の画面比率毎に前記テンプレート情報を記憶してもよい。

本発明の第２の態様は、第１情報処理装置と、前記第１情報処理装置と通信可能な第２情報処理装置とを含む情報処理システムにおいて実行される情報処理方法である。この方法は、前記第１情報処理装置のプロセッサが、前記第１情報処理装置のユーザに提示する情報を、前記第１情報処理装置の表示部に表示するステップと、前記表示部の表示画面を画像として取得するステップと、前記第２情報処理装置が記憶する画像の関連性の判定に用いるテンプレート情報と、前記表示画面の画像とが関連する場合、前記テンプレート情報に関連づけられて前記第２情報処理装置に記憶された情報が示す処理を実行するステップと、を実行することを特徴とする。

本発明の第３の態様は、上記をコンピュータに実現させるプログラムである。このプログラムは、計算機や携帯電話等のハードウェア資源の基本的な制御を行うために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、例えば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納され、ＣＰＵ（Central Processing Unit）等の処理プロセッサによって実行される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な不揮発性の記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

本発明の第４の態様は、情報処理装置である。この情報処理装置は、情報を表示する表示部と、前記表示部の表示画面を画像として取得する画面取得部と、前記情報処理装置とは異なる他の情報処理装置から、画像の関連性の判定に用いるテンプレート情報を取得するテンプレート取得部と、前記テンプレートに紐づけられ、前記情報処理装置が実行する処理を示す情報を取得する情報取得部と、前記画面取得部が取得した表示画面の画像が前記テンプレート情報と関連する場合、前記情報が示す処理を実行する実行部と、を備えることを特徴とする。

本発明の第５の態様は、情報処理装置と通信可能なサーバである。このサーバは、前記情報処理装置の表示画面に表示された画像の関連性の判定に用いるテンプレート情報と、前記情報処理装置が実行する処理を示す情報とを紐付けて記憶する記憶部と、前記情報処理装置に前記テンプレート情報を送信する通信部と、を備え、前記通信部はさらに、前記情報処理装置の表示画面に表示された画像が前記テンプレート情報と関連する場合に前記情報処理装置が実行する処理を示す情報を、前記情報処理装置の要求に応じて前記情報処理装置に送信することを特徴とする。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、コンピュータが読み取り可能な記録媒体等の間で変換したものもまた、本発明の態様として有効である。

本発明によれば、端末の画面に画像を表示するアプリケーション自体に追加機能を実装することなく、異なる端末間において表示画像を契機とする情報の共有を実現することができる。

実施の形態に係る情報処理システムの概要を模式的に示す図である。 実施の形態に係る情報処理システムの機能構成を模式的に示す図である。 実施の形態に係る第２情報処理装置の記憶部が記憶する情報のデータ構造を模式的に示す図である。 テンプレート情報の一例を示す図である。 画面取得部が取得する表示画面の画像の一例を示す図である。 実施の形態に係る情報処理システムで実行される情報処理の流れを説明するフローチャートである。 実施の形態の第１の変形例に係る情報処理システムの機能構成を模式的に示す図である。 図８（ａ）−（ｂ）は、画像のハッシュ値の算出方法を説明する図である。 第１の変形例に係る第２情報処理装置の記憶部が記憶する情報のデータ構造を模式的に示す図である。 第２の変形例に係る情報処理システムの概要を模式的に示す図である。 第４の変形例に係る表示部が表示するスタンプ画像選択画面の一例を示す図である。

［実施の形態の概要］
図１は、実施の形態に係る情報処理システムＳの概要を模式的に示す図である。図１を参照して実施の形態に係る情報処理システムＳの概要を述べる。
本発明の実施の形態に係る情報処理システムＳは、第１情報処理装置１と、第１情報処理装置１とは異なる情報処理装置である第２情報処理装置２とを少なくとも含む。図１に示すように、第１情報処理装置１と第２情報処理装置２とはネットワークＮを介して接続されており、互いに通信可能である。

第１情報処理装置１は、第１情報処理装置１のユーザに提示する情報を表示するための表示部１０を備えている。実施の形態に係る情報処理システムＳにおいては、第１情報処理装置１の表示部１０の表示画面が所定の表示画面となることを契機として、第１情報処理装置１はその表示画面に関連づけられた処理を実行する。例えば第１情報処理装置１のユーザが第１情報処理装置１でゲームを実行中に特定のステージに到達した場合に、予め定められたヘルプ情報を第１情報処理装置１の表示部１０に表示する表示処理を実行する。

これを実現するために、第２情報処理装置２は、第１情報処理装置１の表示部が所定の表示画面であるか否かを決定するためのテンプレート情報と、第１情報処理装置１が実行すべき処理を示す情報とを関連づけて記憶している。第１情報処理装置１と第２情報処理装置２とは、ネットワークＮを介して、表示画面、テンプレート情報、及び処理を示す情報をやり取りすることにより、上述した処理を実現する。

したがって、ネットワークＮは、第１情報処理装置１と第２情報処理装置２とが通信可能であればどのような態様であってもよい。ネットワークＮの具体例としては、無線ＬＡＮ（Local Area Network）又は有線ＬＡＮを介するインターネット、ＷｉＦｉ（登録商標）等の無線ネットワークを利用したアドホック通信、又は携帯電話通信網を介した通信、あるいはこれらの任意の組み合わせである。第１情報処理装置１は、例えばスマートフォン、タブレット、ファブレット、携帯電話、ノートＰＣ（Personal Computer）、携帯ゲーム機、電子辞書、携帯テレビ等の携帯端末、スマートウォッチやスマートグラス等のウェアラブルコンピュータ、又はテレビやデスクトップＰＣ等の据え置き型の電子機器である。また第２情報処理装置２の具体例は、上述した第１情報処理装置１の具体例に加えて、メインフレームサーバ又はクラウドサーバ等のサーバである。なお、図１に示す例では、第１情報処理装置１はスマートフォン、第２情報処理装置２はサーバであり、ネットワークＮはインターネット及び携帯電話通信網である。

［情報処理システムの機能構成］
図２は、実施の形態に係る情報処理システムＳの機能構成を模式的に示す図である。図１を参照して上述したように、情報処理システムＳは、第１情報処理装置１と、第１情報処理装置１とネットワークＮを介して通信可能な第２情報処理装置２とを含む。
第１情報処理装置１は、表示部１０、画面取得部１１、通信部１２、記憶部１３、関連性判定部１４、実行部１５、入力受付部１６、及び情報送信部１７を備える。また第２情報処理装置２は、制御部２０、記憶部２１、及び通信部２２を備える。

第１情報処理装置１の表示部１０は、第１情報処理装置１のユーザに提示する情報を表示する。表示部１０は、例えば液晶パネル又は有機ＥＬ（Electroluminescence）パネル等である。画面取得部１１は、表示部１０の表示画面を画像として取得する。記憶部１３は、第１情報処理装置１の各部を制御するためのオペレーティングシステム（Operating System；以下、「ＯＳ」と記載する。）や、各種ソフトウェアアプリケーションを格納するＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の不揮発性メモリ、及びこれらのプログラムが生成するデータを格納するＤＲＡＭ（Dynamic Random Access memory）等の揮発性メモリである。

画面取得部１１は、例えばＯＳが提供するスクリーンキャプチャ機能を用いて実現できる。画面取得部１１は、表示部１０が表示する表示画面を取得して、記憶部１３に格納する。

通信部１２は、ネットワークＮを介して第２情報処理装置２とデータのやり取りをする。通信部１２は、例えばＷｉＦｉモジュール、携帯電話通信モジュール等のＭ２Ｍ（Machine-to-Machine）モジュールを用いて実現できる。

関連性判定部１４は、通信部１２及びネットワークＮを介して第２情報処理装置２からテンプレート情報を取得する。ここで「テンプレート情報」とは、画面取得部１１が取得した表示画面が所定の画面と関連するか否かを関連性判定部１４が判定するために用いる情報である。この意味で、関連性判定部４は第１情報処理装置１におけるテンプレート取得部として機能する。テンプレート情報の具体例としては、所定の表示画面そのものの画像、又は表示画面の少なくとも一部を加工して得られるテンプレート画像、あるいは表示画面から生成されるハッシュ値等の情報である。関連性判定部１４は、第２情報処理装置２から取得したテンプレート情報と、画面取得部１１が取得した表示部１０の表示画面との関連性の有無を判定する。関連性判定部１４による関連性判定処理の詳細は後述する。

第２情報処理装置２の記憶部２１は、上述のテンプレート情報と、第１情報処理装置１が実行する処理を示す情報とを紐付けて記憶する。ここで「実行する処理を示す情報」とは、第１情報処理装置１の画面取得部１１が取得した表示部１０の表示画面の画像が、第２情報処理装置２からテンプレート情報と関連する場合に、第１情報処理装置１が実行すべき処理とその処理対象とを特定するための情報である。

第１情報処理装置１が実行すべき処理の一例としては表示処理が挙げられる。この場合、記憶部２１は、第１情報処理装置１が実行すべき処理が表示処理であることを示す情報と、その表示処理の処理対象となる表示情報とをテンプレート情報と紐付けて記憶する。なお、第１情報処理装置１が実行すべき処理が固定している場合には、「実行する処理を示す情報」は、その表示処理の処理対象のみであってもよい。例えば「実行する処理」が表示処理であることが確定している場合、「実行する処理を示す情報」は処理対象となるコメント等であり、「表示処理」自体を特定する情報は必ずしも含まなくてもよい。

なお、表示情報は文字情報、画像及び動画等、第１情報処理装置１の表示部１０が表示可能な情報であればどのような態様でもよい。また、第１情報処理装置１が実行すべき処理はどのような処理でもよく表示処理には限られないが、以下では表示処理である場合について記載する。

第１情報処理装置１の実行部１５は、表示部１０の表示画面の画像がテンプレート情報と関連すると関連性判定部１４によって判定された場合、そのことを契機として、第２情報処理装置２の記憶部２１から情報を取得する。この意味で、実行部１５は、第１情報処理装置１における情報取得部として機能する。第２情報処理装置２の記憶部２１が記憶するテンプレート情報及び第１情報処理装置１が実行する処理を示す情報は、制御部２０の制御の下、通信部２２及びネットワークＮを介して第１情報処理装置１に送信される。実行部１５は、表示部１０の表示画面の画像がテンプレート情報と関連する場合、取得した表示情報を表示部１０に表示させる。関連性判定部１４は、表示部１０の表示画面の画像とテンプレート情報との関連性が確認されたタイミングで表示情報を逐次取得することにより、第１情報処理装置１と第２情報処理装置２との間の通信頻度を抑制することができる。

なお、関連性判定部１４は、表示部１０の表示画面の画像とテンプレート情報との関連性の有無に非依存で、定期的に第２情報処理装置２から表示情報を取得し、記憶部１３に格納してもよい。この場合、関連性判定部１４は、第２情報処理装置２が所持する最新の表示情報を保持できる点で効果がある。関連性判定部１４が表示情報を取得する周期は、情報処理システムＳに想定される使用用途等を勘案して実験により定めればよいが、例えば５秒周期である。

図３は、実施の形態に係る第２情報処理装置２の記憶部２１が記憶する情報のデータ構造を模式的に示す図である。図３に示すように、記憶部２１はテンプレート情報、表示情報であるコメント、及びコメントの表示位置を示す付帯情報を関連づけて記憶している。図３に示す例では、テンプレート情報は表示画面の一部を加工したテンプレート画像のファイルである。図３に示す例では、記憶部２１は、テンプレート情報を記憶した順に番号を付して、その番号を識別子として記憶している。

図３に示す例において、識別子Ｎで示されるテンプレート情報は、あるゲームアプリケーションにおける特定のステージの表示画面のテンプレート画像である。第１情報処理装置１の表示部１０の表示画面が識別子Ｎで示されるテンプレート情報と一致すると、第１情報処理装置１の実行部１５は、表示情報である「左から攻略！」というメッセージを表示部１０に表示させる。詳細は後述するが、記憶部２１が記憶する表示情報は、第１情報処理装置１のユーザ以外の他のユーザが作成した情報であってもよい。このように、第１情報処理装置１のユーザは、あるゲームにおける特定のステージを既に経験した他のユーザのメッセージを、ゲームのプレイ中に共有することができる。

図２の説明に戻る。
第１情報処理装置１の入力受付部１６は、ユーザが第１情報処理装置１に入力する情報を取得する。第１情報処理装置１が例えばスマートフォンやタブレットＰＣの場合には、入力受付部１６は表示部１０と一体となったタッチパネルである。入力受付部１６と表示部１０は、第１情報処理装置１がユーザに情報を提示したり、ユーザから情報を取得したりするためのユーザインタフェース１８を構成する。ユーザは、例えば、他のユーザと共有したいコメントを、入力受付部１６を介して入力することができる。

情報送信部１７は、入力受付部１６がユーザから受け付けた情報を、通信部１２を介してネットワークＮに送信する。例えば情報送信部１７は、入力受付部１６を介してユーザから受け付けた情報を送信する。情報送信部１７は、ユーザから受け付けた情報とともに、当該情報を受け付けた時の表示部１０の表示画面の画像を第２情報処理装置２に送信する。情報送信部１７は、表示画面の画像に代えて、記憶部１３に記憶されたテンプレート情報と表示画面とを比較することにより、表示画面に対応するテンプレート情報の識別子を第２情報処理装置２に送信してもよい。

第２情報処理装置２の制御部２０は、第１情報処理装置１から情報を受け付けると、識別子で特定されるテンプレート情報に関連づけられた実行する処理を示す情報として記憶部２１に格納する。これにより、第２情報処理装置２の表示部の表示画面がテンプレート情報と関連することを契機として、所定の処理を実行することができる。第１情報処理装置１のユーザと第２情報処理装置２のユーザとの間で、同じ体験に基づくコメントの共有や、継続的な情報の更新を実現することができる。

［関連性の判定］
次に、関連性判定部１４が実行する表示画面とテンプレート情報との関連性判定について説明する。
図４は、テンプレート情報の一例を示す図である。より具体的には、図４は、第１情報処理装置１の表示部１０の表示画面が送信メールを作成する画面であるか否かを判定するためのテンプレート画像である。図４において、符号ｔが示す斜線の領域は、透明画素により構成されている。

図５は、画面取得部１１が取得する表示画面の画像（以下、「表示画面１Ａ」という。）の一例を示す図である。関連性判定部１４は、記憶部１３から図５に示す表示画面１Ａを読み出し、以下に記載する手順で図３に示すテンプレート情報との関連性を取得する。
表示画面１Ａを構成する各画素をＳ［ｘ、ｙ］、テンプレート情報Ｔの各画素をＴ［ｘ、ｙ］、表示画面１Ａとテンプレート情報Ｔとを合成して得られる合成画像の各画素をＣ［ｘ、ｙ］とする。ここで、ｘ、ｙは、画素の座標位置を示す整数である。このとき、合成画像Ｃの各画素は以下のようになる。
Ｃ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］（ｉｆ Ｔ［ｘ、ｙ］＝透明画素値）
Ｃ［ｘ、ｙ］＝Ｔ［ｘ、ｙ］（ｉｆ Ｔ［ｘ、ｙ］≠透明画素値）

Ｃ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］が全ての画素値で成り立つ場合は、Ｔ［ｘ、ｙ］≠透明画素値となる全ての画素［ｘ、ｙ］において、Ｔ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］が満たされため、関連性判定部１４は、表示画面１Ａがテンプレート情報Ｔと一致する画面であると判定できる。全画素のうち不一致の画素［ｘ、ｙ］の割合が所定値以下の場合、関連性判定部１４は、表示画面１Ａがテンプレート情報Ｔと関連すると判定する。ここで「所定値」は、表示画面１Ａとテンプレート情報Ｔとの関連性を判定するための基準閾値である。所定値の具体的な値は、表示画面１Ａとテンプレート情報Ｔとが関連するときに第１情報処理装置１が実行する処理等を考慮して実験により定めればよいが、例えば９０％である。なお、関連性判定部１４は、全画素のうち一致する画素［ｘ、ｙ］の割合を表示画面１Ａとテンプレート情報Ｔとの関連性を示す情報とする。

関連性判定部１４は、第１情報処理装置１の電源が投入されているときは、第１情報処理装置１のメモリ（不図示）に常駐する常駐プログラムとして実現される。関連性判定部１４が常駐しているとき、ユーザが第１情報処理装置１でアプリケーションを実行すると、関連性判定部１４は上述した関連性の判定を継続する。これにより、アプリケーション自体に情報共有のための追加機能を実装しなくても、アプリケーションの画面に基づく情報の共有を実現することができる。

［処理フロー］
図６は、実施の形態に係る情報処理システムＳで実行される情報処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば第１情報処理装置１と第２情報処理装置２とがネットワークＮを介して接続したときに開始する。

第１情報処理装置１の関連性判定部１４は、第２情報処理装置２に対してテンプレート情報を要求する要求信号を送信する（Ｓ１）。第２情報処理装置２の制御部２０は、第１情報処理装置１からテンプレート情報の要求信号を受信する（Ｓ２）。制御部２０は、要求信号を受信すると、記憶部２１からテンプレート情報を読み出して第１情報処理装置１に送信する（Ｓ３）。第１情報処理装置１の関連性判定部１４は、ネットワークＮを介して第２情報処理装置２からテンプレート情報を受信し、記憶部１３に格納する（Ｓ４）。

画面取得部１１は、表示部１０が表示する表示画面の画像を取得する（Ｓ５）。画面取得部１１は、取得した表示画面の画像を記憶部１３に格納する（Ｓ６）。関連性判定部１４は、記憶部１３から表示画面の画像とテンプレート情報とを読み出し、上述した画素の一致の割合を算出して両者の関連性を取得する（Ｓ７）。

関連性判定部１４が取得した表示画面の画像とテンプレート情報との関連性が所定値未満の場合、すなわち表示画面の画像とテンプレート情報とが関連しない場合（Ｓ８のＮＯ）、関連性判定部１４は、記憶部１３から表示画面の画像を消去し（Ｓ９）、ステップＳ５の処理に戻る。関連性判定部１４が取得した表示画面の画像とテンプレート情報との関連性が所定値以上の場合、すなわち表示画面の画像とテンプレート情報とが関連する場合（Ｓ８のＹＥＳ）、関連性判定部１４は、第１情報処理装置１が実行すべき処理を示す情報の要求信号を、ネットワークＮを介して第２情報処理装置２に送信する（Ｓ１０）。

第２情報処理装置２の制御部２０は、第１情報処理装置１から第１情報処理装置１が実行すべき処理を示す情報の要求信号を受信する（Ｓ１１）。制御部２０は、記憶部２１から第１情報処理装置１が実行すべき処理を示す情報を読み出し、ネットワークＮを介して第１情報処理装置１に送信する（Ｓ１２）。

第１情報処理装置１の関連性判定部１４は、通信部１２及びネットワークＮを介して第２情報処理装置２から処理を示す情報を取得する（Ｓ１３）。実行部１５は、関連性判定部１４が取得した処理を示す情報にしたがって処理を実行する（Ｓ１４）。実行部１５が処理を実行すると、本フローチャートにおける処理は終了する。以上の処理を繰り返すことにより、情報処理システムＳにおける第１情報処理装置１は、表示画面が特定の画面となることを契機として、第１情報処理装置１とは異なる他の情報処理装置のユーザが指定した処理を実行することができる。

以上の構成による情報処理システムＳの動作は以下のとおりである。
第２情報処理装置２の記憶部２１には、テンプレート情報と、第１情報処理装置１に実行させる処理を示す情報とが格納されている。例えばゲームの一画面を表すテンプレート情報に対しては、第１情報処理装置１の表示部１０に所定のコメントを第１情報処理装置１の処理対象が表示処理であること、及びその処理対象であるコメントを示す情報が、第２情報処理装置２の記憶部２１に記憶されている。

第１情報処理装置１のユーザは、図６に示したフローチャートにおける処理を実行するプログラムを起動する。第１情報処理装置１は、当該プログラムが起動されると、第２情報処理装置２との間で通信を確立し、第２情報処理装置２が保持するテンプレート情報を第１情報処理装置１の記憶部１３にダウンロードする。その後、第１情報処理装置１は、表示画面とテンプレート情報との関連性判定を継続する。第１情報処理装置１の表示画面がテンプレート情報と関連すると、第１情報処理装置１は第２情報処理装置２からコメントを取得し、表示画面に重畳して表示する。これにより、第１情報処理装置１のユーザは、第２情報処理装置２の記憶部２１が記憶するコメントを作成したユーザとの間で、表示画面が関連するときに情報を共有することができる。

以上説明したように、実施の形態に係る情報処理システムＳによれば、端末の画面に画像を表示するアプリケーション自体に追加機能を実装することなく、異なる情報処理装置の間で、それらの表示画面が関連するときに実行する処理を共有することができる。

特に、第１情報処理装置１の表示画面と他の情報処理装置の表示画面が関連する場合に表示される表示処理をそれらの情報処理装置の間で共有することができる。また、第１情報処理装置１は、表示画面が他の情報処理装置の表示画面と関連することを契機として共有すべき処理を、第１情報処理装置１以外の他の装置から取得する。第１情報処理装置１は、表示画面が関連しない場合には他の装置にアクセスしないため、通信量を抑制することができる。さらに、第１情報処理装置１は表示画面が関連するときには他の装置と共有すべき処理を取得して更新するため、最新の処理を実行することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。以下そのような実施の形態の変形例について説明する。

［第１の変形例］
上記では、第１情報処理装置１の関連性判定部１４が、第１情報処理装置１の表示画面とテンプレート情報との関連性を取得する場合について説明した。これに代えて、第２情報処理装置２が第１情報処理装置１の表示画面とテンプレート情報との関連性を取得してもよい。

図７は、実施の形態の第１の変形例に係る情報処理システムＳの機能構成を模式的に示す図である。以下図２に示す実施の形態に係る情報処理システムＳと共通する部分については、適宜省略又は簡略化して説明する。

第１の変形例に係る情報処理システムＳにおいて、第１情報処理装置１は関連性判定部を有しない。その代わり、第１の変形例に係る情報処理システムＳにおいては、第２情報処理装置２が関連性判定部２３を備える。第１の変形例に係る情報処理システムＳにおいては、第１情報処理装置１の画面取得部１１は、取得した表示画面の画像を通信部１２及びネットワークＮを介して第２情報処理装置２に送信する。

第２情報処理装置２の関連性判定部２３は、記憶部２１が記憶するテンプレート情報と、第１情報処理装置１の画面取得部１１から送信された表示画面の画像との関連性を取得する。テンプレート情報と送信された表示画面の画像とが関連する場合、関連性判定部２３は、関連性の判定に使用したテンプレート情報に関連づけられている情報であり、第１情報処理装置１が実行すべき処理を示す情報を記憶部２１から読み出す。関連性判定部２３は、読み出した情報を通信部２２及びネットワークＮを介して第１情報処理装置１に送信する。

第１の変形例に係る第１情報処理装置１は、実施の形態に係る情報処理システムＳと異なり、処理情報取得部１９を備える。処理情報取得部１９は、第２情報処理装置２から第１情報処理装置１が実行すべき処理を示す情報を取得する。実行部１５は、処理情報取得部１９が取得した情報にしたがって、処理を実行する。

このように、第１の変形例に係る情報処理システムＳにおいては、第１情報処理装置１は、表示部１０の表示画面の画像を、ネットワークＮを介して第２情報処理装置２に送信する。その後、第２情報処理装置２が、第１情報処理装置１から取得した表示画面の画像とテンプレート情報との関連性を取得する。したがって、第１の変形例に係る情報処理システムＳは、第１情報処理装置１が携帯端末であり、第２情報処理装置２がサーバである場合により好適である。一般にサーバは携帯端末よりも計算リソースが大きい。このため、関連性の取得に係る計算をサーバである第２情報処理装置２が担うことにより、第１情報処理装置１の計算リソースの消費量を抑制することができる。

一方、第２情報処理装置２が表示画面の画像とテンプレート情報との関連性を取得する場合、当然ながら、第１情報処理装置１は、取得した表示画面の画像を第２情報処理装置２に送信する必要がある。表示画面の画像の画素数や送信の頻度によっては、通信コストが増大する場合もあり得る。

そこで第１情報処理装置１は、表示画面の画像そのものを第２情報処理装置２に送信することに代えて、表示画面の画像から算出するハッシュ値を送信するようにしてもよい。ここで「画像から算出するハッシュ値」とは、画像の特徴を示す情報であり、画像データ自体に比べて大幅に容量の小さい情報のことをいう。したがって、関連性の取得のために第１情報処理装置１と第２情報処理装置２と間で行われるデータ送信の通信量を抑制することができる。

画像からハッシュ値を算出することは、例えばＳＨＡ２（Secure Hash Algorithm 2）やＭＤ５（Message Digest 5）アルゴリズム等の既知のアルゴリズムを用いても実現できるが、以下ではさらに別のハッシュ値の算出方法について説明する。

第１の変形例に係る情報処理システムＳにおいては、第１情報処理装置１の画面取得部１１が、表示画面の画像のハッシュ値を算出する。図８（ａ）−（ｂ）は、画像のハッシュ値の算出方法を説明する図である。より具体的には、図８（ａ）は、ハッシュ値算出の前処理となる画像分割の一例を示す図である。図８（ａ）においては、表示部１０が、８×１３＝１０４個の分割領域に分けられている。分割領域は、（行番号、列番号）により表される座標により特定することができる。例えば、左上の分割領域の座標は（１，１）、右上の分割領域の座標は（１，８）、左下の分割領域の座標は（１３，１）、右下の分割領域の座標は（１３，８）である。

画面取得部１１は、例えば、複数の分割領域それぞれの輝度、色相又は彩度の平均値を所定の閾値と比較することにより量子化して得られる量子化値を、ハッシュ値として生成する。画面取得部１１は、例えば、表示部１０に表示されている画面全体の画面データに含まれる画素の輝度、色相又は彩度の平均値を上記の所定の閾値として用いることができる。

画面取得部１１は、複数の分割領域のそれぞれに含まれる全ての画素の輝度、色相又は彩度を平均することにより、平均値を算出する。そして、画面取得部１１は、算出した平均値が所定の閾値以上である場合に、対応する分割領域における量子化値を「１」とし、算出した平均値が所定の閾値より小さい場合に、量子化値を「０」とする。画面取得部１１は、全ての分割領域に対応する量子化値を算出し、全ての分割領域の量子化値を所定の順序で並べることにより、表示されている画面データの端末ハッシュ情報を生成する。なお、画面取得部１１は、離散コサイン変換処理により低周波成分を抽出し、低周波成分の有無により量子化値を生成することにより端末ハッシュ値（ｐＨａｓｈ）を生成してもよい。

図８（ｂ）は、図５に示したメール送信画面に対応する量子化値を示している。図８（ｂ）における黒い分割領域は、分割領域における輝度の平均値が所定値よりも小さい領域であり、白い分割領域は、分割領域における輝度の平均値が所定値以上の領域である。画面取得部１１は、図８（ｂ）に示す例において、座標（１，１）、座標（１，２）・・・座標（１，８）、座標（２，１）・・・座標（１３，８）の順番に量子化値を並べることにより、「１１１１１１１１００００００００００１１１１１１００１１１１１１・・・・１１１１１１１１０１０００１０００１０００１００」という、分割領域の数に等しいビット数の端末ハッシュ値を生成する。

図９は、第１の変形例に係る第２情報処理装置２の記憶部２１が記憶する情報のデータ構造を模式的に示す図である。
図９に示すように、記憶部２１は、画像から算出したハッシュ値をテンプレート情報として記憶している。この他、表示情報であるコメント、コメントの表示位置を示す付帯情報をテンプレート情報と関連づけて記憶している。テンプレート情報は画像情報よりも要領が小さいため、テンプレート情報をハッシュ値とすることにより、記憶部２１が記憶するデータ容量を抑制することもできる。

テンプレート情報がハッシュ値である場合、第２情報処理装置２の関連性判定部２３は、第１情報処理装置１から取得したハッシュ値と、テンプレート情報であるハッシュ値とのハミング距離を、表示画面の画像とテンプレート情報との関連性を示す指標として取得する。この場合、関連性判定部２３は、表示画面をハッシュ化して得られるハッシュ値と、記憶部２１が記憶するハッシュ値との一致度を、テンプレート情報と表示画面との関連性として出力する。より具体的には、関連性判定部２３は、表示画面の画像とテンプレート情報とのハミング距離を、画面の画像とテンプレート情報との一致度の算出に利用する。関連性判定部２３は、表示画面の画像とテンプレート情報とのハミング距離が短いほど、両者の関連性が大きいと判断する。画像データから算出するハッシュ値は画像データそのものよりもデータ容量が小さいため、図５を参照して上述した合成画像を用いる関連性の取得と比較して、関連性を取得するための処理が高速になる点でも効果がある。

［第２の変形例］
上記では、情報処理システムＳが第１情報処理装置１と第２情報処理装置２とを含む場合について主に説明したが、情報処理システムＳが備える情報処理装置の数は３以上であってもよい。以下この場合について説明する。

図１０は、第２の変形例に係る情報処理システムＳの概要を模式的に示す図である。図１０に示すように、第２の変形例に係る情報処理システムＳは、第１情報処理装置１ａ、第２情報処理装置２、及び第３情報処理装置１ｂの３つの情報処理装置を含む。第２の変形例に係る情報処理システムＳは、第１情報処理装置１ａと第３情報処理装置１ｂとがクライアント装置であり、第２情報処理装置２がサーバとなる、いわゆるクライアント・サーバモデルのシステムである。

第１情報処理装置１ａと第３情報処理装置１ｂの機能構成は、図２に示す実施の形態に係る第１情報処理装置１の機能構成と同様であり、第２情報処理装置２の機能構成は、図２に示す実施の形態に係る第２情報処理装置２の機能構成と同様である。あるいは、第１情報処理装置１ａと第３情報処理装置１ｂの機能構成は、図７に示す第１の変形例に係る第１情報処理装置１の機能構成と同様であってもよく、その場合は第２情報処理装置２の機能構成は図７に示す第１の変形例に係る第２情報処理装置２の機能構成と同様である。

第１情報処理装置１ａの情報送信部１７は、入力受付部１６を介して、第３情報処理装置１ｂに実行させる処理を示す情報をユーザから受け付け、テンプレート情報の識別子とともに第２情報処理装置２に送信する。例えば、第１情報処理装置１ａの情報送信部１７は、第３情報処理装置１ｂに実行させる処理を示す情報として、第３情報処理装置１ｂの表示部１０に表示させるコメントを、第１情報処理装置１ａの表示部１０の表示画面と関連づけて第２情報処理装置２に送信する。

第２情報処理装置２の制御部２０は、第１情報処理装置１ａから情報及びテンプレート情報の識別子を受信すると、識別子で特定されるテンプレート情報に関連づけられた実行する処理を示す情報として記憶部２１に格納する。これにより、第３情報処理装置１ｂの表示部１０の表示画面がテンプレート情報と関連することを契機として、第３情報処理装備１ｂの実行部１５は、所定の処理を実行することができる。第１情報処理装置１のユーザと第３情報処理装置１ｂのユーザとの間で、同じ体験に基づくコメントの共有や、継続的な情報の更新を実現することができる。

［第３の変形例］
上記では、第１情報処理装置１の表示部１０のアスペクト比が一定であることを前提として説明した。この場合であっても、第１情報処理装置１の中には、表示部１０の長手方向を縦にして用いる「縦向き」と、長手方向を横にして用いる「横向き」との、両方の向きで利用できるものも存在する。仮に、表示部１０の長手方向の画素数と短手方向の画素数の比、すなわち表示部１０のアスペクト比が１６：９とすると、表示部１０を縦向きで用いる場合と横向きで用いる場合とでは、表示画面の画面比率が異なるものとなる。また、情報処理装置が異なれば、その装置が備える表示部のアスペクトも異なることも起こりうる。

そこで第３の変形例に係る第２情報処理装置２の記憶部２１は、第１情報処理装置１の表示部１０が表示可能な画像の画面比率毎にテンプレート情報を記憶する。また第１情報処理装置１は、表示部１０の向きを検出する図示しない方向検出部を備える。方向検出部は、例えば既知の磁気センサ及び加速度センサを用いて実現できる。これにより、第１情報処理装置１の表示部１０のアスペクト比を考慮して関連性を算出できるため、関連性算出の精度を向上することができる。

［第４の変形例］
上記では、第１情報処理装置１が実行する処理を示す情報の具体例として表示処理を挙げ、特にメッセージを表示する場合について主に説明した。しかしながら、実行部１５が表示部１０に表示させる情報はメッセージ等の文字情報には限られない。この他、キャラクタ等の図柄で構成される、いわゆる「スタンプ画像」であってもよい。これにより、情報処理装置を利用するユーザ間でのコミュニケーションをより豊かにすることができる。

図１１は、第４の変形例に係る表示部１０が表示するスタンプ画像選択画面の一例を示す図である。第４の変形例に係る第１情報処理装置１において、情報送信部１７が第２情報処理装置２に送信する「他の情報処理装置に実行させる処理」は、スタンプ画像の表示処理である。図１１は、他の情報処理装置に表示させるスタンプ画像をユーザに選択させるためのＧＵＩ（Graphical User Interface）の例を示す図である。

図１１において、符号１０１で示す領域は、ユーザが選択可能なスタンプ画像が表示されるスタンプ選択領域である。図１１に示す例では、ユーザはスタンプ選択領域１０１の中から選択スタンプ画像１０２とするスタンプ画像を一つ選んだ状態を示している。ユーザはスタンプ選択領域１０１の中から選択スタンプ画像１０２を選択すると、表示部１０の画面上の任意の位置をタッチすることにより、選択スタンプ画像を貼り付けることができる。この状態で送信アイコン１０３をタップすることにより、ユーザは他の情報処理装置に選択スタンプ画像１０２を表示させる表示処理を示す情報を、第２情報処理装置２に送信することができる。なお、ユーザは戻るアイコン１０４をタップすることで、スタンプ画像の選択を終了することもできる。

図１１に示すように、第１情報処理装置１のユーザは、スタンプ画像以外に絵文字又はファイルを選択することもできる。ユーザがファイル選択を選んだ場合、ユーザは第１情報処理装置１の記憶部１３に保存された画像や動画像ファイルのリスト（不図示）から所望のファイルを選択し、ファイルに格納された画像や動画像のサムネイル画像を表示部１０に表示することもできる。ユーザは表示部１０のタッチ操作でサムネイル画像の表示位置を設定したり、ピンチインアウトにより拡大縮小したりできるようにしてもよい。これにより、ファイル選択時のユーザの利便性を向上することができる。

［第５の変形例］
上記では、第２情報処理装置２の記憶部２１が記憶する付帯情報が、表示情報の表示位置である場合につて説明した。しかしながら付帯情報は表示位置に限られず、他の情報であってもよい。具体的には、表示情報がコメントの場合、そのコメントを表示するフォントの色や大きさ、種類を示すフォント情報を付帯情報として含んでもよい。また付帯情報として、コメントの表示可能レベルを含んでもよい。表示可能レベルとは、情報処理装置がコメントを表示するか否かを判定するために用いる表示可否基準であり、例えばＲ指定や、ゲームや小説等におけるストーリー展開を暴露すること（いわゆる「ネタばれ」）の度合い等示す情報である。この場合、他の情報処理装置は、付帯情報に含まれる表示可能レベルにしたがって、コメント表示の有無を制御することができる。

付帯情報はさらに、コメントを閲覧可能なユーザを識別するユーザ情報（例えばユーザ識別子やユーザグループの識別子、管理者か一般ユーザかを識別する情報等）を含んでもよい。この場合、他の情報処理装置は、その情報処理端末のユーザが付帯情報に含まれるユーザ情報が許可するユーザか否かを判定し、コメント表示の有無を制御することができる。

付帯情報はさらに、画面にコメントを表示する表示時間を示す時間情報を含んでいてもよい。この場合、他の情報処理装置は、表示画面の画像とテンプレート情報とが関連した時刻にコメントを表示し、時間情報で示される時間が経過するとコメントの表示を終了する。これにより、コメントの表示時間を制御することが可能となる。

［第６の変形例］
上記では、第１情報処理装置１の実行部１５は、表示部１０に何らかの情報を表示させる表示処理を実行することについて主に説明した。しかしながら、実行部１５が実行する処理は表示処理に限られない。例えば実行部１５は、第１情報処理装置１の表示部１０の表示画面がロック画面となることを契機として、第１情報処理装置１が備える図示しないＧＰＳ（Global Positioning System）で第１情報処理装置１の位置情報を取得し他の装置に送信する位置情報取得処理、及び取得した位置情報を他の装置に送信する送信処理を実行してもよい。これにより、第１情報処理装置１を紛失したり、第１情報処理装置１が盗難にあったりした場合に、第１情報処理装置１が操作されることを契機として、ユーザはその位置情報を取得することができる。実行部１５はさらに、第１情報処理装置１のシャットダウン、端末の初期化、記憶部の消去等の処理を実行してもよい。

Ｎ・・・ネットワーク
Ｓ・・・情報処理システム
１・・・第１情報処理装置
２・・・第２情報処理装置
１０・・・表示部
１１・・・画面取得部
１２・・・通信部
１３・・・記憶部
１４・・・関連性判定部
１５・・・実行部
１６・・・入力受付部
１７・・・情報送信部
１８・・・ユーザインタフェース
１９・・・処理情報取得部
２０・・・制御部
２１・・・記憶部
２２・・・通信部
２３・・・関連性判定部

Claims (13)

1. 第１情報処理装置と、前記第１情報処理装置と通信可能な第２情報処理装置とを含む情報処理システムであって、
   前記第１情報処理装置は、
   情報を表示する表示部と、
   前記表示部の表示画面を画像として取得する画面取得部とを備え、
   前記第２情報処理装置は、
   画像の関連性の判定に用いるテンプレート情報と、前記第１情報処理装置が実行する処理を示す情報とを紐付けて記憶する記憶部を備え、
   前記第１情報処理装置は、前記画面取得部が取得した表示画面の画像が、前記第２情報処理装置の記憶部が記憶するテンプレート情報と関連する場合、前記第２情報処理装置から取得した情報が示す処理を実行する実行部をさらに備える、
   ことを特徴とする情報処理システム。
2. 前記記憶部は、前記実行部が実行する表示処理の処理対象となる表示情報を格納し、
   前記実行部は、前記画面取得部が取得した表示画面の画像が前記第２情報処理装置の記憶部が記憶するテンプレート情報と関連する場合、前記記憶部が記憶する表示情報を前記表示部に表示させる、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記実行部は、前記表示画面が前記テンプレート情報と関連することを契機として、前記記憶部から前記情報を取得することを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記記憶部は、前記第１情報処理装置が実行する処理を示す情報を、前記第２情報処理装置とは異なる第３情報処理装置から受信して記憶することを特徴とする請求項１から３のいずれか一項に記載の情報処理システム。
5. 前記第１情報処理装置は、前記第３情報処理装置が実行する処理を示す情報を送信する情報送信部をさらに備えることを特徴とする請求項４に記載の情報処理システム。
6. 前記第１情報処理装置は、前記記憶部から取得した前記テンプレート情報と、前記画面取得部が取得した表示画面との関連性を取得する関連性判定部をさらに備えることを特徴とする請求項１から５のいずれか一項に記載の情報処理システム。
7. 前記画面取得部は、取得した前記表示画面を前記第２情報処理装置に送信し、
   前記第２情報処理装置は、前記記憶部が記憶する前記テンプレート情報と、前記画面取得部から送信された前記表示画面との関連性を取得する関連性判定部をさらに備えることを特徴とする請求項１から５のいずれか一項に記載の情報処理システム。
8. 前記記憶部は、画像から算出したハッシュ値を前記テンプレート情報として記憶し、
   前記関連性判定部は、前記表示画面の画像から算出したハッシュ値と、前記記憶部が記憶するハッシュ値との一致度を、前記テンプレート情報と前記表示画面との関連性として出力することを特徴とする請求項６又は７に記載の情報処理システム。
9. 前記記憶部は、前記表示部が表示可能な画像の画面比率毎に前記テンプレート情報を記憶することを特徴とする請求項１から８のいずれか一項に記載の情報処理システム。
10. 第１情報処理装置と、前記第１情報処理装置と通信可能な第２情報処理装置とを含む情報処理システムにおける前記第１情報処理装置のプロセッサが、
    前記第１情報処理装置のユーザに提示する情報を、前記第１情報処理装置の表示部に表示するステップと、
    前記表示部の表示画面を画像として取得するステップと、
    前記第２情報処理装置が記憶する画像の関連性の判定に用いるテンプレート情報と、前記表示画面の画像とが関連する場合、前記テンプレート情報に関連づけられて前記第２情報処理装置に記憶された情報が示す処理を実行するステップと、
    を実行することを特徴とする情報処理方法。
11. 情報処理装置に、
    前記情報処理装置のユーザに提示する情報を、前記情報処理装置の表示部に表示させる機能と、
    前記表示部の表示画面を画像として取得する機能と、
    前記情報処理装置とは異なる他の情報処理装置から、画像の関連性の判定に用いるテンプレート情報と、前記テンプレート情報に関連づけられた情報であって前記情報処理装置が実行する処理を示す情報とを取得する機能と、
    前記テンプレート情報と前記表示画面との関連性を取得する機能と、
    前記テンプレート情報と前記表示画面とが関連する場合、前記他の情報処理装置から取得した情報が示す処理を実行する機能と、
    を実現させることを特徴とするプログラム。
12. 情報処理装置であって、
    情報を表示する表示部と、
    前記表示部の表示画面を画像として取得する画面取得部と、
    前記情報処理装置とは異なる他の情報処理装置から、画像の関連性の判定に用いるテンプレート情報を取得するテンプレート取得部と、
    前記テンプレート情報に紐づけられ、前記情報処理装置が実行する処理を示す情報を取得する情報取得部と、
    前記画面取得部が取得した表示画面の画像が前記テンプレート情報と関連する場合、前記情報が示す処理を実行する実行部と、
    を備えることを特徴とする情報処理装置。
13. 情報処理装置と通信可能なサーバであって、
    前記情報処理装置の表示画面に表示された画像の関連性の判定に用いるテンプレート情報と、前記情報処理装置が実行する処理を示す情報とを紐付けて記憶する記憶部と、
    前記情報処理装置に前記テンプレート情報を送信する通信部と、
    を備え、
    前記通信部はさらに、前記情報処理装置の表示画面に表示された画像が前記テンプレート情報と関連する場合に前記情報処理装置が実行する処理を示す情報を、前記情報処理装置の要求に応じて前記情報処理装置に送信する、
    ことを特徴とするサーバ。

Images