JP2017038326A - 遠隔操作システム、情報処理装置及びプログラム - Google Patents

Abstract

【課題】画面を共有して行われる遠隔操作のための装置同士での情報伝達において、遠隔操作をされる側の装置の画面以外の情報を、遠隔操作をする側の装置に伝達させること。【解決手段】サーバ装置１０の画像送信部１０４は、自装置の画面画像と処理用情報（クライアント装置２０が処理に用いる情報）を表す読取用画像とを合成した画像をクライアント装置２０に送信する。表示部２０２は、サーバ装置１０から送信されてきた画像を表示する。領域特定部２０７は、表示部２０２によって表示されている画像から、読取用画像が表された領域を特定する。情報読取部２０５は、領域特定部２０７によって特定された領域に表された読取用画像から処理用情報を読み取る。処理部２０６は、情報読取部２０５によって読み取られた処理用情報を用いた処理を行う。【選択図】図４

Description

本発明は、遠隔操作システム、情報処理装置及びプログラムに関する。

特許文献１には、遠隔操作端末装置からソフトキーボードの起動が指示されると、遠隔操作対象のサーバコンピュータにソフトキーボードを起動させるとともに、サーバコンピュータがソフトキーボードを挿入した画像を生成して遠隔操作端末装置に送信する技術が開示されている。

特開２００３−３１６４９０号公報

特許文献１の技術のように遠隔操作をされる側の装置（以下「第１装置」という）と遠隔操作をする側の装置（以下「第２装置」という）とで画面を共有して遠隔操作が行われる場合には、第１装置から第２装置には自装置の画面を表す画像が伝達され、ユーザは、伝達された第１装置の画面を表す画像を第２装置から確認しながら、操作を指示し、第２装置から第１装置にはユーザの操作内容を表す情報が伝達される。しかし、第１装置から第２装置への情報伝達の対象は、自装置の画面を表す画像情報であるため、第２装置から第１装置に対して操作を指示し、第１装置においてその操作を実行しても、第２装置に対してその操作の実行結果であるファイルや設定変更等を第２装置に対して情報伝達することができなかった。
そこで、本発明は、画面を共有して行われる遠隔操作のための装置同士での情報伝達において、遠隔操作をされる側の装置の画面以外の情報を、遠隔操作をする側の装置に伝達させることを目的とする。

本発明の請求項１に係る遠隔操作システムは、第１装置と、前記第１装置の画面を共有して当該第１装置を遠隔操作する第２装置とを備え、前記第１装置は、自装置の画面と、前記第２装置が処理に用いる情報とを表す画像を前記第２装置に送信する画像送信部を備え、前記第２装置は、前記第１装置から送信されてきた前記画像を表示する表示部と、表示された前記画像により表される前記第１装置の画面で行われるユーザの操作に基づいて前記遠隔操作の内容を当該第１装置に送信する操作内容送信部と、表示された前記画像に表された前記情報を読み取る読取部と、読み取られた前記情報を用いた処理を行う処理部とを備えることを特徴とする。

本発明の請求項２に係る遠隔操作システムは、請求項１に記載の構成において、前記読取部は、表示された前記画像のうち前記情報が表された領域を特定し、特定した領域に表された前記情報を読み取ることを特徴とする。

本発明の請求項３に係る遠隔操作システムは、請求項１又は２に記載の構成において、前記画像送信部は、前記情報を符号化又は暗号化して表す前記画像を送信し、前記読取部は、前記画像が表す情報を復号化して読み取ることを特徴とする。

本発明の請求項４に係る遠隔操作システムは、請求項１から３のいずれか１項に記載の構成において、前記画像送信部は、前記第１装置で処理されたデータを生成するための前記情報を表す前記画像を送信し、前記処理部は、前記読取部により読み取られた前記画像が表す前記情報に基づいて前記データを生成する処理を行うことを特徴とする。

本発明の請求項５に係る遠隔操作システムは、請求項１から４のいずれか１項に記載の構成において、前記画像送信部は、データの保存場所を前記情報として表す前記画像を送信し、前記処理部は、前記読取部が読み取った前記保存場所から前記データを取得する処理を行うことを特徴とする。

本発明の請求項６に係る遠隔操作システムは、請求項１から５のいずれか１項に記載の構成において、前記画像送信部は、自装置において実行された処理が前記第２装置において実行可能か否かによって、異なる前記情報を表す画像を送信し、前記処理部は、前記第１装置において実行された処理が自装置において実行可能か否かによって、異なる前記処理を行うことを特徴とする。

本発明の請求項７に係る遠隔操作システムは、請求項１から６のいずれか１項に記載の構成において、前記第１装置及び前記第２装置は共通の機能を有し、前記画像送信部は、前記機能の設定情報を前記情報として表す前記画像を送信し、前記処理部は、前記読取部が読み取った前記画像が表す前記設定情報で自装置の前記機能の設定情報を更新する処理を行うことを特徴とする。

本発明の請求項８に係る情報処理装置は、自装置と画面を共有して自装置を遠隔操作する外部装置から送信されてくる遠隔操作の内容を受信する操作内容受信部と、受信された前記内容に基づいて処理を行う処理部と、自装置の画面と、前記外部装置により読み取られて処理に用いられる情報とを表す画像を生成する生成部と、生成された前記画像を前記外部装置に送信する画像送信部とを備えることを特徴とする。

本発明の請求項９に係る情報処理装置は、自装置が遠隔操作する外部装置から送信されてくる当該外部装置の画面と自装置が処理に用いる情報とを表す画像を受信する画像受信部と、受信された前記画像を表示する表示部と、表示された前記画像が表す画面で行われるユーザの操作に基づいて前記遠隔操作の内容を前記外部装置に送信する操作内容送信部と、表示された前記画像が表す情報を読み取る読取部と、読み取られた前記情報を用いた処理を行う処理部とを備えることを特徴とする。

本発明の請求項１０に係るプログラムは、コンピュータを、自装置と画面を共有して自装置を遠隔操作する外部装置から送信されてくる遠隔操作の内容を受信する操作内容受信部と、受信された前記内容に基づいて処理を行う処理部と、自装置の画面と、前記外部装置により読み取られて処理に用いられる情報とを表す画像を生成する生成部と、生成された前記画像を前記外部装置に送信する画像送信部として機能させることを特徴とする。

本発明の請求項１１に係るプログラムは、コンピュータを、自装置が遠隔操作する外部装置から送信されてくる当該外部装置の画面と自装置が処理に用いる情報とを表す画像を受信する画像受信部と、受信された前記画像を表示する表示部と、表示された前記画像が表す画面で行われるユーザの操作に基づいて前記遠隔操作の内容を前記外部装置に送信する操作内容送信部と、表示された前記画像が表す情報を読み取る読取部と、読み取られた前記情報を用いた処理を行う処理部として機能させることを特徴とする。

請求項１、８、９、１０、１１に係る発明によれば、画面を共有して行われる遠隔操作のための装置同士での情報伝達において、遠隔操作をされる側の装置の画面以外の情報を、遠隔操作をする側の装置に伝達させることができる。
請求項２に係る発明によれば、処理に用いる情報が表される領域の場所が決まっていない場合でもその情報を読み取ることができる。
請求項３に係る発明によれば、ユーザからはどのような情報が処理に用いられるのか分からないようにすることができる。
請求項４に係る発明によれば、第１装置で生成されたデータを第２装置でも生成することができる。
請求項５に係る発明によれば、処理に用いる情報がデータそのものを表す場合に比べて、第１装置が送信する画像のデータサイズを小さくすることができる。
請求項６に係る発明によれば、第１装置で実行された処理を第２装置でも実行させようとする場合に、可能であればその処理を第２装置に実行させ、可能でなければ別の処理を第２装置に実行させることができる。
請求項７に係る発明によれば、第２装置が有する機能の設定を第１装置と共通にしておくことができる。

実施例に係る遠隔操作システムの全体構成を表す図 サーバ装置のハードウェア構成を表す図 クライアント装置のハードウェア構成を表す図 遠隔操作システムの機能構成を表す図 画像生成部が生成する画像の一例を表す図 読取用画像の一例を表す図 遠隔操作処理における各装置の動作手順の一例を表す図 変形例の読取用画像の一例を表す図 変形例のクライアント装置の機能構成を表す図 変形例で表示される合成画像の一例を表す図 変形例で表示される合成画像の一例を表す図

［１］実施例
図１は実施例に係る遠隔操作システム１の全体構成を表す。遠隔操作システム１は、遠隔操作される側の装置と遠隔操作する側の装置とが画面を共有し、共有された画面でユーザが操作を行うことで遠隔操作が行われるシステムである。

遠隔操作システム１は、サーバ装置１０と、クライアント装置２０と、ファイルサーバ装置３と、これらの装置が接続された通信回線２とを備える。通信回線２は、データのやり取りを仲介するシステムであり、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、それらを含むインターネットなどである。ファイルサーバ装置３は、複数の装置でファイルを共有するために設置されるサーバ装置である。ファイルサーバ装置３にはサーバ装置１０及びクライアント装置２０のどちらからもファイルの書き込み及び読み出しが可能となっている。

サーバ装置１０は、クライアントとなるユーザにサービスを提供する装置であり、本実施例では、画像の表示や編集、画像データの保存などを行う画像編集サービスをユーザに提供する。クライアント装置２０は、前述したユーザ、すなわちサーバ装置１０によりサービスが提供されるクライアントが利用する装置であり、本実施例ではパーソナルコンピュータである。本実施例では、クライアント装置２０がサーバ装置１０の画面を共有してサーバ装置１０を遠隔操作することで、前述した画像編集サービスが提供される。サーバ装置１０は本発明の「第１装置」の一例であり、クライアント装置２０は本発明の「第２装置」の一例である。

図２はサーバ装置１０のハードウェア構成を表す。サーバ装置１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、ＲＯＭ（Read Only Memory）１３と、ＨＤＤ（Hard Disk Drive）１４と、ＮＩＣ（Network Interface Card）１５とを備えるコンピュータである。ＣＰＵ１１が、ＲＡＭ１２をワークエリアとして用いてＲＯＭ１３やＨＤＤ１４に記憶されているプログラムを実行することによって各部の動作を制御する。ＨＤＤ１４は、ＣＰＵ１１が制御に用いるデータやプログラムを記憶している。ＮＩＣ１５は、通信回路を有し、通信回線２を介してクライアント装置２０と通信を行う。

図３はクライアント装置２０のハードウェア構成を表す。クライアント装置２０は、ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３と、ＨＤＤ２４と、ＮＩＣ２５と、ディスプレイ２６と、キーボード２７と、マウス２８とを備えるコンピュータである。ＣＰＵ２１からＮＩＣ２５までは図２におけるＣＰＵ１１からＮＩＣ１５までと構成がそれぞれ共通するハードウェアである。ディスプレイ２６は、ＣＰＵ２１からの制御に基づいて表示面に画像を表示する。キーボード２７及びマウス２８は、クライアント装置２０を操作するための操作子であり、ユーザによって操作される。なお、クライアント装置２０がサーバ装置１０を遠隔操作する際には、キーボード２７及びマウス２８は、サーバ装置１０を操作するための操作子としても用いられる。

サーバ装置１０のＣＰＵ１１及びクライアント装置２０のＣＰＵ２１がそれぞれプログラムを実行することで、図４に表す機能が実現される。
図４は遠隔操作システム１の機能構成を表す。サーバ装置１０は、操作内容受信部１０１と、処理部１０２と、画像生成部１０３と、画像送信部１０４とを備え、クライアント装置２０は、画像受信部２０１と、表示部２０２と、操作受付部２０３と、操作内容送信部２０４と、情報読取部２０５と、処理部２０６とを備える。

操作内容受信部１０１は、自装置と画面を共有して自装置を遠隔操作する外部装置であるクライアント装置２０から送信されてくる遠隔操作の内容（より詳細には遠隔操作の内容を表す情報）を受信する。操作内容受信部１０１は、例えば、ユーザがクライアント装置２０のキーボード２７を用いて入力した文字の文字コードやマウス２８を用いてクリックした位置やドラッグした経路、ドロップした位置などを表す座標などを、遠隔操作の内容として受信する。操作内容受信部１０１は、受信した遠隔操作の内容を処理部１０２及び画像生成部１０３に供給する。

処理部１０２は、自装置の画面と操作内容受信部１０１により受信された遠隔操作の内容とに基づいて処理を行う。処理部１０２は、例えば画像編集アプリが実行されている画面が自装置の画面として表示されていて、画像を編集する操作を表す情報が遠隔操作の内容として受信された場合には、その操作に応じて画像を編集する処理を行う。また、処理部１０２は、その画像編集アプリの画像データを保存する画面が自装置の画面として表示されていて、前述したファイル形式を選択する操作を表す情報及びファイル名を表す文字コードが遠隔操作の内容として受信された場合には、そのファイル形式の画像データをそのファイル名で保存する処理を行う。処理部１０２は、本実施例では、図１に表すファイルサーバ装置３に作成された画像保存用のフォルダにこの画像データを保存する。

画像生成部１０３は、自装置の画面と、クライアント装置２０により読み取られて処理に用いられる処理用情報とを表す画像を生成する。画像生成部１０３は本発明の「生成部」の一例である。ここでいう自装置の画面、すなわちサーバ装置１０の画面とは、サーバ装置１０を利用するためのユーザインターフェースとして表示される画面である。

図５は画像生成部１０３が生成する画像の一例を表す。図５では、サーバ装置１０に保存されている画像のサムネイル画像の一覧Ｂ１を含む画面画像Ａ１が表されている。画面画像Ａ１は、サーバ装置１０の画面を表す画像の一例である。遠隔操作システム１では、図２に表すようにサーバ装置１０がディスプレイを備えていないが、仮にサーバ装置１０がディスプレイを備えていれば、この画面画像Ａ１はそのディスプレイに表示されることになる。

一方、クライアント装置２０がサーバ装置１０を遠隔操作する際には、クライアント装置２０とサーバ装置１０とでサーバ装置１０の画面が共有される。具体的には、クライアント装置２０のディスプレイ２６に例えば画面画像Ａ１が表示される。画面画像Ａ１が表示された状態でクライアント装置２０のキーボード２７及びマウス２８が操作されると、その操作の内容に応じて、クライアント装置２０による遠隔操作が行われる。その遠隔操作の内容が操作内容受信部１０１を介して画像生成部１０３に供給されると、画像生成部１０３は、その内容が画面を変更するものである場合には、その変更を反映した画面を表す画面画像を生成する。

画面画像Ａ１には、「画像生成」という文字を含む操作子画像Ｃ１が表されている。ディスプレイ２６に画面画像Ａ１が表示されている状態でユーザが一覧Ｂ１に含まれるサムネイル画像のいずれか（ここでは「Ｆｉｌｅ０３．ｊｐｇ」というファイル名のサムネイル画像とする）をドラッグして操作子画像Ｃ１にドロップする操作を行うと、画像生成部１０３は、本実施例では、そのサムネイル画像が表す画像データの保存場所を処理用情報として表す画像を生成する。画像生成部１０３が生成する画像は後述するようにクライアント装置２０に処理用情報を読み取らせるための画像であり、以下では「読取用画像」という。

図６は読取用画像の一例を表す。図６の例では、画面画像Ａ１に読取用画像Ｄ１が合成された合成画像Ｅ１が表されている。読取用画像Ｄ１はＱＲ（Quick Response）コードを表している。このＱＲコード（登録商標）は、「Ｆｉｌｅ０３．ｊｐｇ」というファイル名の画像データの保存場所へのパス（本実施例では前述したファイルサーバ装置３の画像保存用のフォルダ）を表している。以下、図６に表す合成画像Ｅ１の生成方法を、画像生成部１０３のより詳細な構成とともに説明する。

画像生成部１０３は、画面画像生成部１０５と、読取用画像生成部１０６と、画像合成部１０７とを備える。画面画像生成部１０５は、表示すべき自装置の画面を表す画面画像（例えば画面画像Ａ１）を生成する。画面画像生成部１０５は、例えば、遠隔操作等によって表示すべき自装置の画面に変化が生じたときに、変化後の画面を表す画面画像を生成する。画面画像生成部１０５は、生成した画面画像を画像合成部１０７及び画像送信部１０４に供給する。

読取用画像生成部１０６は、上述した処理用情報を表す画像を生成する。読取用画像生成部１０６は、例えば図６の説明で述べたサムネイル画像を操作子画像Ｃ１にドロップする操作が行われると、ドロップされたサムネイル画像が表す画像データの保存場所へのパスの通知を処理部１０２に要求する。読取用画像生成部１０６は、この要求に応答して処理部１０２から通知されるパスを符号化し（例えばＱＲコード化し）、符号化した情報を表す画像（例えばＱＲコード）を読取用画像として生成する。読取用画像生成部１０６は、生成した読取用画像を画像合成部１０７に供給する。

画像合成部１０７は、読取用画像生成部１０６から読取用画像が供給されると、その読取用画像と、画面画像生成部１０５から供給された画面画像とを合成し、その結果得られた合成画像（例えば図６に表す合成画像Ｅ１）を画像送信部１０４に供給する。この場合の合成画像は、画像生成部１０３によって生成された、自装置の画面と処理用情報とを表す画像となる。また、合成画像は、サーバ装置１０が仮にディスプレイを備えていれば、そのディスプレイに表示される画像となる。画像合成部１０７は、こうして得られた合成画像を画像送信部１０４に供給する。

画像送信部１０４は、画面画像生成部１０５から画面画像が供給されると、供給された画面画像をクライアント装置２０に送信する。また、画像送信部１０４は、画像合成部１０７から合成画像が供給されると、その合成画像、すなわち、自装置の画面と処理用情報とを表す画像をクライアント装置２０に送信する。この場合、本実施例では、画像送信部１０４は、画像データの保存場所を処理用情報として表し、且つ、この保存場所を符号化して表す合成画像（例えば図６に表す合成画像Ｅ１）を送信することになる。

このように、画像送信部１０４は、画面画像を送信するときもあれば、合成画像を送信するときもある。上記の例では、画像送信部１０４は、表示すべき自装置の画面に変化が生じたときに画面画像を送信し、図６の説明で述べたドロップの操作が行われたときに合成画像を送信する。

クライアント装置２０の画像受信部２０１は、自装置が遠隔操作する外部装置（本実施例ではサーバ装置１０）から送信されてくる画像を受信する。画像受信部２０１は、前述した画面画像及び合成画像を受信して、受信したそれらの画像を表示部２０２及び情報読取部２０５に供給する。

表示部２０２は、サーバ装置１０から送信されてきて画像受信部２０１により受信された画像（画面画像及び合成画像のいずれか）を表示する。表示部２０２は表示した画像を操作受付部２０３に供給する。操作受付部２０３は、表示されている画像において受付可能な操作（文字の入力やクリック、ドラッグ、ドロップなど）のうち、ユーザによって行われた操作を受け付ける。操作受付部２０３は、受け付けた操作の内容を操作内容送信部２０４に通知する。

操作内容送信部２０４は、表示部２０２によって表示された画像により表される第１装置（本実施例ではサーバ装置１０）の画面で行われるユーザの操作に基づき遠隔操作の内容を（より詳細にはその内容を表す情報を）その第１装置に送信する。操作内容送信部２０４は、操作受付部２０３から通知された操作の内容に基づいて、上述した遠隔操作の内容（入力された文字の文字コードやクリックされた位置の座標など）をサーバ装置１０に送信する。こうして送信された遠隔操作の内容は、上述したように、操作内容受信部１０１によって受信され、その内容に基づいた処理が処理部１０２によって行われる。

情報読取部２０５は、表示部２０２によって表示された画像が合成画像である場合に、その合成画像に表された処理用情報を読み取る。より詳細には、情報読取部２０５は合成画像に含まれる読取用画像から処理用情報を読み取る。情報読取部２０５は本発明の「読取部」の一例である。情報読取部２０５は、領域特定部２０７と、復号化部２０８とを備える。

領域特定部２０７は、表示部２０２によって表示されている画像から、読取用画像が表された領域を特定する。領域特定部２０７は、本実施例では、画像を二値化し、四角い領域をラベリングし、ラベリングした領域のうちＱＲコードの切り出しシンボル（３つの角にある四角い図形）としての条件を満たすものを検出する周知のアルゴリズムを用いて検出されるＱＲコードが表された領域を、読取用画像が表された領域として特定する。領域特定部２０７は、特定した領域を復号化部２０８に通知する。

復号化部２０８は、領域特定部２０７により特定された領域に表されている読取用画像から処理用情報を復号化する。復号化部２０８は、例えばＱＲコードが表す情報を読み取る周知の技術を用いて処理用情報を復号化する。本実施例では、復号化部２０８が処理用情報を復号化することで、サーバ装置１０の読取用画像生成部１０６によって符号化された画像データの保存場所（本実施例ではファイルサーバ装置３の画像保存用のフォルダ）へのパスが処理用情報として読み取られる。情報読取部２０５は、このようにして、表示部２０２によって表示された画像のうち処理用情報が表された領域を特定し、特定した領域に表された処理用情報を復号化して読み取る。情報読取部２０５は、こうして読み取った処理用情報を、処理部２０６に供給する。

処理部２０６は、情報読取部２０５によって読み取られた処理用情報を用いた処理を行う。処理部２０６は、本実施例では、情報読取部２０５が読み取った保存場所からデータを取得する処理を行う。具体的には、処理部２０６は、読み取られた保存場所であるファイルサーバ装置３の画像保存用のフォルダにアクセスし、そのフォルダに保存されている画像データを自装置にコピーする処理を行う。

遠隔操作システム１は、上記構成に基づいて遠隔操作処理を行う。
図７は遠隔操作処理における各装置の動作手順の一例を表す。図７では、サーバ装置１０と画面を共有して遠隔操作が可能となっているクライアント装置２０に対してユーザが画像データを指定してその画像データを保存する操作を行うことを契機に開始される動作手順が表されている。この動作手順では、まず、クライアント装置２０がこのユーザの操作（指定した画像データの保存操作）を受け付ける（ステップＳ１１）。

クライアント装置２０は、次に、受け付けた操作に応じた遠隔操作の内容をサーバ装置１０に送信する（ステップＳ１２）。サーバ装置１０は、ステップＳ１２で遠隔操作の内容を受信すると、自装置の画面及び遠隔操作の内容に基づいて、指定された画像データをファイルサーバ装置３に送信して例えば上述した画像保存用フォルダへの保存を指示する処理を行う（ステップＳ１３）。ファイルサーバ装置３は、指示された画像保存用フォルダに送信されてきた画像データを保存する（ステップＳ１４）。

次に、ユーザが読取用画像の生成を指示する操作（例えば図５に表す操作子画像Ｃ１にサムネイル画像をドロップする操作）を行うと、クライアント装置２０がその操作を受け付け（ステップＳ２１）、受け付けた操作に応じた遠隔操作の内容をサーバ装置１０に送信する（ステップＳ２２）。次に、サーバ装置１０は、自装置の画面及び受信した遠隔操作の内容に基づいて、読取用画像の生成を指示されたと判断し、まずは読取用画像を生成すべき処理用情報を確認する（ステップＳ２３）。この例では、操作子画像Ｃ１にドロップされたサムネイル画像が表す画像データのパスを処理用情報として確認する。

続いて、サーバ装置１０は、確認した処理用情報を符号化し（ステップＳ２４）、符号化した処理用情報を表す読取用画像を生成する（ステップＳ２５）。そして、サーバ装置１０は、生成した読取用画像及び自装置の画面画像を合成した合成画像をクライアント装置２０に送信する（ステップＳ２６）。クライアント装置２０は、ステップＳ２６で合成画像を受信すると、受信した合成画像から読取用画像が表された領域を特定する（ステップＳ２７）。

次に、クライアント装置２０は、特定した領域に表された読取用画像から処理用情報を読み取る（ステップＳ２８）。この例では、クライアント装置２０は、画像データの保存場所へのパスを処理用情報として読み取る。続いて、クライアント装置２０は、読み取ったパスにアクセスし（ステップＳ３１）、保存されている画像データを自装置にコピーする（ステップＳ３２）。クライアント装置２０は、コピーした画像データを自装置に保存する（ステップＳ３３）。

本実施例では、上記のとおり画面を共有して行われる遠隔操作のための装置同士での情報伝達において、共有される画面に表された読取用画像から処理用情報が読み取られることで、遠隔操作をされる側の装置（本実施例ではサーバ装置１０）の画面以外の情報（本実施例では画像データの保存場所を表す情報）が遠隔操作をする側の装置（本実施例ではクライアント装置２０）に伝達される。また、本実施例では、上記のとおり読取用画像が表された領域をクライアント装置２０が特定している。これにより、処理用情報が表される領域の場所が決まっていない場合でも処理用情報が読み取られるようになっている。また、本実施例では、読取用画像が処理用情報を符号化して表している。これにより、ユーザからはどのような情報が処理に用いられるのか分からないようになっている。

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は必要に応じて組み合わせて実施してもよい。

［２−１］読取用画像
読取用画像は実施例で述べたもの（ＱＲコード）に限らない。例えばＱＲコード以外の２次元コードであってもよいし、バーコードのように１次元で表されたコードであってもよい。また、処理用情報は１つの読取用画像で表されるだけでなく、複数の読取用画像で表されてもよい（例えば複数のＱＲコードで画像データの保存場所を表すといった具合）。また、読取用画像はいわゆる電子透かしであってもよく、その場合は知覚可能型でも知覚困難型であってもよい。いずれの場合でも、クライアント装置２０の情報読取部２０５は電子透かしを生成したアルゴリズムに対応するアルゴリズムを用いて電子透かしによって表される処理用情報を読み取る。

また、例えば実施例のようにデータの保存場所を表すパスを表すテキストの画像であってもよく、その場合、情報読取部２０５はＯＣＲ（Optical Character Recognition）の技術を用いて処理用情報を読み取ればよい。また、サーバ装置１０の画像生成部１０３は、処理用情報を暗号化して表す読取用画像を生成してもよい。その場合、情報読取部２０５は暗号化したアルゴリズムに対応するアルゴリズムを用いて読取用画像を復号化して処理用情報を読み取る。要するに、遠隔操作を行う側の装置による処理用情報の読み取りが可能な画像であれば、どのような画像が読取用画像として用いられてもよい。

［２−２］画像の合成
画像合成部１０７は、実施例では画面画像に読取用画像を重畳させて画像を合成したが、画像の合成方法はこれに限らない。画像合成部１０７は、例えば前述した電子透かしの技術により読取用画像を画面画像に埋め込む合成を行ってもよい。また、画像合成部１０７は、画面画像に読取用画像を重畳させる際に、画面画像に含まれるオブジェクト（例えばサムネイル画像や操作子画像など）を検出し、それらのオブジェクトと重ならない領域に読取用画像を配置するようにしてもよい。ここでいうオブジェクトとは、例えばユーザの操作の対象（クリックやドラッグの操作の対象又は文字を入力する入力欄等）となる画像のことである。

また、画像合成部１０７は、オブジェクトと重なることなく読取用画像を表示可能な領域がない場合に、読取用画像のサイズを縮小してオブジェクトが重ならない領域に納まるようにしてから合成してもよい。また、反対に、オブジェクトと重なることなく読取用画像を表示可能な領域の方が読取用画像よりも大きければ、画像合成部１０７は、読取用画像のサイズをその領域に納まる範囲で拡大してから合成してもよい。なお、読取用画像生成部１０６が予め縮小後又は拡大後のサイズの読取用画像を生成しておいてもよい。

［２−３］処理用情報１
処理用情報は実施例で述べたものに限らない。例えば実施例ではサーバ装置１０が生成したデータ（例えば画像データ）の保存場所を表すパスが処理用情報として用いられたが、サーバ装置１０が生成したデータそのものが処理用情報として用いられてもよい。ここでいうデータとは、ファイル形式で保存されるデータのことであり、例えば文書編集アプリが対応する各種のファイル形式（拡張子が「ｔｘｔ」や「ｄｏｃ」などのファイル形式）で保存される文書データや画像編集アプリが対応する各種のファイル形式（拡張子が「ｊｐｇ」や「ｔｉｆ」などのファイル形式）で保存される画像データなどである。

本変形例では、サーバ装置１０の画像生成部１０３が、自装置で処理されたデータを生成するための情報を処理用情報として表す読取用画像を生成し、画像送信部１０４が、そうして生成された読取用画像と画面画像とを合成した合成画像をクライアント装置２０に送信する。
図８は本変形例の読取用画像の一例を表す。図８の例では、文書作成アプリを用いて生成された「色は匂へど（中略）酔ひもせず」という文章Ｆ１を含む、「文書．ｔｘｔ」というファイル名の文書データを表示する画面画像Ａ２が表されている。

また、図８の例では、画面画像Ａ２に上記文章Ｆ１を文字で表す読取用画像Ｄ２が合成された合成画像Ｅ２が表されている。画像生成部１０３は、例えば文章Ｆ１を含む文書データを操作子画像Ｃ１にドロップする操作が行われた場合に読取用画像Ｄ２を生成する。読取用画像Ｄ２は、矩形の領域を表す画像であり、４つの角のうちの３つにＱＲコードにおける切り出しシンボルに相当する四角い図形Ｇ１、Ｇ２及びＧ３が表されている。

図９は本変形例のクライアント装置２０ａの機能構成を表す。クライアント装置２０ａは、ＯＣＲ部２０９を備える情報読取部２０５ａを備える。領域特定部２０７は、図８に表された図形Ｇ１、Ｇ２、Ｇ３を用いて実施例のように読取用画像Ｄ２が表された領域を特定する。ＯＣＲ部２０９は、特定された領域内に表された文字を認識する。情報読取部２０５ａは、ＯＣＲ部２０９により認識された文字を処理部２０６に供給する。

本変形例では、クライアント装置２０ａにも図８に表す文書作成アプリが導入されているものとする。処理部２０６は、情報読取部２０５ａにより読み取られた読取用画像が表す処理用情報に基づいて、図８に表す「文書．ｔｘｔ」というファイル名の文書データを生成する処理を行う。これにより、「文書．ｔｘｔ」のようにサーバ装置１０で生成された文書データが、クライアント装置２０ａ側でも生成されることになる。

なお、上記の例では、文章をテキスト形式で表す処理用情報が用いられたが、文章をバイナリ形式で表す処理用情報が用いられてもよい。この場合、クライアント装置２０ａの情報読取部２０５ａは、バイナリ形式で表された処理用情報をテキスト形式の文章に変換して文書データを生成してもよいし、バイナリ形式の処理用情報を埋め込んだ文書データ（文書データ自体はバイナリ形式のデータである）を生成してもよい。

なお、実施例ではサーバ装置１０で生成された文書データをクライアント装置２０がファイルサーバ装置３を介して取得している。この場合、読取用画像は文書データの保存場所のパスだけを表していればよいので、読取用画像が文書データそのものを表す場合に比べて、読取用画像のデータサイズが小さくなりやすい。

また、サーバ装置１０は、自装置で処理したデータを生成する機能をクライアント装置２０が有している場合には、このデータを生成するための情報を処理用情報として用いて、その機能をクライアント装置２０が有していない場合には、データの保存場所を表す情報を処理用情報として用いるようにしてもよい。

この場合、第１装置の一例であるサーバ装置の画像送信部１０４は、自装置において実行された処理が第２装置の一例であるクライアント装置において実行可能か否かによって、異なる情報（上記の例では実行可能であれば文書データを生成するための情報、実行可能でなければ文書データの保存場所へのパス）を表す画像を送信する。そして、クライアント装置の処理部２０６は、サーバ装置において実行された処理が自装置において実行可能か否かによって、異なる処理（実行可能であればデータを生成する処理、実行可能でなければデータをコピーして保存する処理）を行う。

［２−４］処理用情報２
処理用情報は、上記変形例の他にも、例えば機能を利用する際に用いられる設定情報であってもよい。本変形例では、サーバ装置１０及びクライアント装置２０が共通の機能を有しているものとする。ここでいう機能とは、例えば各種アプリ（画像編集アプリや文書編集アプリなど）によって実現される機能であってもよいし、各装置に組み込まれた回路によって実現される機能であってもよい。要するに、設定情報を用いて利用される機能であればよい。

図１０は本変形例で表示される合成画像の一例を表す。図１０に表す合成画像Ｅ３には、画像編集アプリにより各画像データのサムネイル画像を並べて表示する表示機能が実現された画面画像Ａ３が含まれている。画面画像Ａ３には、「設定反映」という文字を含む操作子画像Ｃ２が表示されている。この表示機能においては、各サムネイル画像の並び方を「ファイル名」、「作成日」、「データサイズ」から選択可能となっており、図１０の例ではファイル名の順番でサムネイル画像が並べられている。

この状態でユーザが操作子画像Ｃ２をクリックする操作を行うと、サーバ装置１０の画像生成部１０３が、上記表示機能の設定情報（図１０の例ではファイル名の順番で並べるという設定情報）を処理用情報として表す読取用画像Ｄ３を生成し、画像送信部１０４が、そうして生成された読取用画像Ｄ３と画面画像Ａ３とを合成した合成画像Ｅ３をクライアント装置２０に送信する。

クライアント装置２０の処理部２０６は、情報読取部２０５が読み取った読取用画像Ｄ３が表す上記の設定情報で自装置の表示機能の設定情報を更新する処理を行う。これにより、クライアント装置２０が遠隔操作を終了して、自装置の画像編集アプリを起動したときに、各画像データのサムネイル画像がファイル名の順番で並べられて表示されることになる。このように、本変形例によれば、クライアント装置２０が有する機能の設定がサーバ装置１０と共通になる。

［２−５］読取用画像の表示
読取用画像の表示は次のように制御されてもよい。なお、読取用画像の表示の制御は、例えばサーバ装置１０の画像生成部１０３が生成する画像を変更することで行われてもよいし、画像送信部１０４が生成された画像をキャッシュしておき自身で判断したタイミングで画像を送信することや、クライアント装置２０の表示部２０２が表示する画像をキャッシュしておき、自身で判断したタイミングで表示を切り替えることなどによって行われてもよい。以下では画像送信部１０４が自身の判断で画像を送信する場合を例に挙げて説明する。

画像送信部１０４は、例えば画像生成部１０３から供給された図５に表す画面画像Ａ１を送信し、その後に画像生成部１０３から供給された図６に表す合成画像Ｅ１を送信する。画像送信部１０４は、合成画像Ｅ１を送信してから決められた時間（これを「表示期間」という）が経過すると、再び画面画像Ａ１を送信する。これにより、図６に表す読取用画像Ｄ１は表示期間だけ表示されることになる。表示期間は、クライアント装置２０の情報読取部２０５が処理用情報を読み取るのに要する時間よりも長ければよいし、読取用画像を例えば情報読取部２０５がキャッシュするようにすれば、キャッシュに要する時間よりも長ければよい。

また、例えばクライアント装置２０の操作受付部２０３がユーザの操作の受け付けを開始したとき及び終了したときにそれらの旨をサーバ装置１０に通知し、画像送信部１０４は、この通知に基づいて、ユーザが操作を行っている期間には画面画像を送信し、ユーザが操作を行っていない期間に合成画像を送信する。これによりユーザの操作中は読取用画像が表示されなくなるので、操作中も読取用画像が表示される場合に比べて、読取用画像がユーザの操作の邪魔になりにくくなる。

なお、これとは反対に、クライアント装置２０の操作受付部２０３が、読取用画像が表示されているときにはユーザの操作を受け付けないようにしてもよい。この場合は、ユーザの操作が可能な期間が制限されるものの、ユーザの操作中に読取用画像が邪魔になるということはなくなる。

また、上述したように処理用情報が複数の読取用画像で表される場合に、画像送信部１０４は、それら複数の読取用画像を別々に合成した合成画像を順次送信してもよい。この場合、情報読取部２０５は順次変化する読取用画像から処理用情報をそれぞれ読み取り、読み取った処理用情報を結合して１つの処理用情報として読み取る。

また、操作受付部２０３が読取用画像を表示させる位置を指定する操作を受け付けてその旨をサーバ装置１０に通知することで、画像生成部１０３が指定された位置に読取用画像を配置した合成画像を生成してもよい。これにより、ユーザが例えば画面の中で比較的不要な場所を指定することで、この指定がされない場合に比べて表示された読取用画像が邪魔になりにくくなる。

また、表示部２０２は、自装置の画面の一部に合成画像を表示してもよい。
図１１は本変形例で表示される合成画像の一例を表す。図１１（ａ）では、クライアント装置２０自身の画面を表す画面画像Ｈ１の中に、読取用画像Ｄ４が合成された合成画像Ｅ４が表示されている。この場合に、読取用画像を合成画像よりも外側に表示させてもよい。例えば、表示部２０２が合成画像に合成されている画面画像の直前の状態をキャッシュしておき、領域特定部２０７が特定した領域の画像、すなわち読取用画像をキャプチャして合成画像の外に表示するとともに、キャッシュしておいた画面画像を表示する。こうすることで、図１１（ｂ）に表すように、画面画像Ｈ１に読取用画像Ｄ４と画面画像Ａ４（サーバ装置１０の画面を表す画像）とが別々に表示される。これにより読取用画像が遠隔操作の邪魔にならなくなる。

［２−６］処理の失敗
クライアント装置２０の処理部２０６による処理が失敗する場合がある。例えば実施例で述べた画像データの取得が、ファイルサーバ装置３との通信におけるエラーにより失敗する場合である。このように処理が失敗した場合に、処理部２０６は、読取用画像の再送信をサーバ装置１０に要求する処理を行ってもよい。サーバ装置１０の画像送信部１０４は、この要求を受け取ると、要求された読取用画像が合成された合成画像を再度送信する。処理部２０６は、処理用情報を用いた処理が成功するまでこの動作を繰り返す。これにより、読取用画像の再送要求を行わない場合に比べて、処理用情報を用いた処理が成功する確率が高くなる。

なお、画像送信部１０４は、合成画像を再度送信する際に、読取用画像のサイズを大きくした合成画像又は読取用画像の解像度を高くした合成画像を画像生成部１０３に生成させてから再送してもよい。情報読取部２０５による処理用情報の読み取りの失敗が処理部２０６による処理の失敗の原因となる場合がある。その場合に、読取用画像のサイズの拡大や解像度の向上を行うことで、これらを行わない場合に比べて、情報読取部２０５による処理用情報の読み取りの成功確率が高まり、その結果処理用情報を用いた処理が成功する確率が高くなる。

［２−７］画像生成の契機
読取用画像生成部１０６は、実施例及び上記の変形例では読取用画像を生成させる操作が行われることを契機に読取用画像を生成したが、これに限らない。読取用画像生成部１０６は、例えば文書データを保存する遠隔操作が行われたことを契機にその保存場所を表す読取用画像を生成してもよいし、その文書データを生成するための情報を表す読取用画像を生成してもよい。また、読取用画像生成部１０６は、決められた時間の間隔や決められた時刻に読取用画像を生成してもよい。また、その際に生成される読取用画像は、データの生成又は取得のためのものであってもよいし、設定情報を更新するためのものであってもよい。要するに、読取用画像生成部１０６は、サーバ装置からクライアント装置に対して伝達させるべきであり且つ画面以外の情報を表す読取用画像を、伝達させるべきタイミングに生成すればよい。

［２−８］発明のカテゴリ
本発明は、上述したサーバ装置のような遠隔操作をされる側の情報処理装置や、クライアント装置のような遠隔操作をする側の情報処理装置、又はそれらを備える遠隔操作システムとして捉えられる。また、本発明は、それらの情報処理装置が実施する処理を実現するための処理方法やそれらの情報処理装置として用いられるコンピュータを、図４等に表す各部として機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態や、インターネット等の通信回線を介してコンピュータにダウンロード及びインストールさせて利用可能にするなどの形態で提供される。

１…遠隔操作システム、３…ファイルサーバ装置、１０…サーバ装置、２０…クライアント装置、１０１…操作内容受信部、１０２、２０６…処理部、１０３…画像生成部、１０４…画像送信部、１０５…画面画像生成部、１０６…読取用画像生成部、１０７…画像合成部、２０１…画像受信部、２０２…表示部、２０３…操作受付部、２０４…操作内容送信部、２０５…情報読取部、２０７…領域特定部、２０８…復号化部、２０９…ＯＣＲ部

Claims (11)

1. 第１装置と、前記第１装置の画面を共有して当該第１装置を遠隔操作する第２装置とを備え、
   前記第１装置は、
   自装置の画面と、前記第２装置が処理に用いる情報とを表す画像を前記第２装置に送信する画像送信部を備え、
   前記第２装置は、
   前記第１装置から送信されてきた前記画像を表示する表示部と、
   表示された前記画像により表される前記第１装置の画面で行われるユーザの操作に基づいて前記遠隔操作の内容を当該第１装置に送信する操作内容送信部と、
   表示された前記画像に表された前記情報を読み取る読取部と、
   読み取られた前記情報を用いた処理を行う処理部とを備える
   遠隔操作システム。
2. 前記読取部は、表示された前記画像のうち前記情報が表された領域を特定し、特定した領域に表された前記情報を読み取る
   請求項１に記載の遠隔操作システム。
3. 前記画像送信部は、前記情報を符号化又は暗号化して表す前記画像を送信し、
   前記読取部は、前記画像が表す情報を復号化して読み取る
   請求項１又は２に記載の遠隔操作システム。
4. 前記画像送信部は、前記第１装置で処理されたデータを生成するための前記情報を表す前記画像を送信し、
   前記処理部は、前記読取部により読み取られた前記画像が表す前記情報に基づいて前記データを生成する処理を行う
   請求項１から３のいずれか１項に記載の遠隔操作システム。
5. 前記画像送信部は、データの保存場所を前記情報として表す前記画像を送信し、
   前記処理部は、前記読取部が読み取った前記保存場所から前記データを取得する処理を行う
   請求項１から４のいずれか１項に記載の遠隔操作システム。
6. 前記画像送信部は、自装置において実行された処理が前記第２装置において実行可能か否かによって、異なる前記情報を表す画像を送信し、
   前記処理部は、前記第１装置において実行された処理が自装置において実行可能か否かによって、異なる前記処理を行う
   請求項１から５のいずれか１項に記載の遠隔操作システム。
7. 前記第１装置及び前記第２装置は共通の機能を有し、
   前記画像送信部は、前記機能の設定情報を前記情報として表す前記画像を送信し、
   前記処理部は、前記読取部が読み取った前記画像が表す前記設定情報で自装置の前記機能の設定情報を更新する処理を行う
   請求項１から６のいずれか１項に記載の遠隔操作システム。
8. 自装置と画面を共有して自装置を遠隔操作する外部装置から送信されてくる遠隔操作の内容を受信する操作内容受信部と、
   受信された前記内容に基づいて処理を行う処理部と、
   自装置の画面と、前記外部装置により読み取られて処理に用いられる情報とを表す画像を生成する生成部と、
   生成された前記画像を前記外部装置に送信する画像送信部と
   を備える情報処理装置。
9. 自装置が遠隔操作する外部装置から送信されてくる当該外部装置の画面と自装置が処理に用いる情報とを表す画像を受信する画像受信部と、
   受信された前記画像を表示する表示部と、
   表示された前記画像が表す画面で行われるユーザの操作に基づいて前記遠隔操作の内容を前記外部装置に送信する操作内容送信部と、
   表示された前記画像が表す情報を読み取る読取部と、
   読み取られた前記情報を用いた処理を行う処理部と
   を備える情報処理装置。
10. コンピュータを、
    自装置と画面を共有して自装置を遠隔操作する外部装置から送信されてくる遠隔操作の内容を受信する操作内容受信部と、
    受信された前記内容に基づいて処理を行う処理部と、
    自装置の画面と、前記外部装置により読み取られて処理に用いられる情報とを表す画像を生成する生成部と、
    生成された前記画像を前記外部装置に送信する画像送信部
    として機能させるためのプログラム。
11. コンピュータを、
    自装置が遠隔操作する外部装置から送信されてくる当該外部装置の画面と自装置が処理に用いる情報とを表す画像を受信する画像受信部と、
    受信された前記画像を表示する表示部と、
    表示された前記画像が表す画面で行われるユーザの操作に基づいて前記遠隔操作の内容を前記外部装置に送信する操作内容送信部と、
    表示された前記画像が表す情報を読み取る読取部と、
    読み取られた前記情報を用いた処理を行う処理部
    として機能させるためのプログラム。

Images