JP2011034315A - リモートサポート方法、システム、プログラム - Google Patents

Abstract

【課題】クライアント側にエージェントソフトをインストールしなくても、適切なリモートサポートを行う方法を提供する。
【解決手段】携帯電話機１００は、サポート対象を撮影した動画データをオペレータ端末５０に送信し、オペレータ端末５０が、当該動画データを表示するとともに、サポート対象のオブジェクトデータを認識し、オペレータから指示データを受信し、当該指示データが入力されたオブジェクトデータに対する相対位置を相対位置データとして、指示データと関係づけて、指示データと相対位置データとを携帯電話機１００に送信して、携帯電話機１００が、サポート対象のライブ動画を表示し、ライブ動画内のオブジェクトデータの位置と、受信した相対位置データとに基づいて、受信した指示データを所定の場所に表示する。
【選択図】図２

Description

本発明は、オペレータが、遠隔からサポートを受けるユーザに、パソコンや電化製品の操作を指示するためのリモートサポート方法、システム、プログラムに関する。

従来より、パソコンや電化製品の機器を操作する初心者に対して、公衆回線を利用したネットワークを経由したリモートサポートを行うことにより、クライアントのパソコンや電化製品について、直接、そのパソコンや電化製品にアクセスして、トラブル等の状況をサポート側が把握して、トラブル対応を行うことが知られている。

例えば、ユーザに複雑な設定をさせずにセキュリティを確保した状態で、サポート側のコンピュータからユーザ端末へのアクセスを行い、リモートアクセスを受付ける方法が開示されている（例えば、特許文献１、特許文献２参照）。

特開２００５−０２６８５６号公報 特開２００５−１４９３０１号公報 東日本電信電話株式会社、"リモートサポートサービス"、［ｏｎｌｉｎｅ］、［平成２１年７月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：//ｆｌｅｔｓ.ｃｏｍ/ｏｓａ/ｒｅｍｏｔｅ/ｓ＿ｏｕｔｌｉｎｅ.ｈｔｍｌ＞

特許文献１及び２に記載の発明では、オペレータからのリモート操作によるクライアント側のソフトウェアについてのサポートは、リモートログインにより、ある程度可能となる。また、非特許文献１に示されるように、遠隔操作と電話を組み合わせることによりサポート対象の指示を行うことができる。

しかしながら、これらの技術では、ソフトウェアの内部で指示できないハードウェア的な操作（例えば、ケーブルを所定の端子に接続するなど）をクライアントに指示する場合には、リモートサポートでは限界が生じる可能性がある。すなわち、ケーブルを端子に接続するようなサポートは、端子及びケーブルの種類、性質、形状、接続箇所等を、クライアントがある程度、理解していなければ、オペレータの指示どおりに、接続を行うことができない。このため、結果として、現場にて、ケーブルを端子に接続させる必要が生じてしまい、リモートサポートに限界が生じる場合がある。

さらに、特許文献１及び２に記載の発明は、サポートされる対象がパソコン等のリモートログインを可能とする端末であることを前提としており、サポートされる端末側に所定のエージェントソフトをインストールしている必要を生じさせる。したがって、パソコンではなく、電化製品（テレビ、ゲーム機、白物家電等）のように、エージェントソフトのインストールが不可能もしくは、容易でない場合には、サポートを受けられない場合がある。

本発明は、リモートログインによるソフトウェアの内部で制御できないリモートサポート（ケーブルを端子に接続することなど）を行いうるものであって、サポート対象となるクライアント側にエージェントソフトをインストールしなくても、適切なリモートサポートを行う方法、システム、プログラムを提供することを目的とする。

（１）動画撮影機能を備える携帯電話機が、サポート対象を撮影した動画データをオペレータ端末に送信する送信ステップと、
前記オペレータ端末が、前記携帯電話機から受信した動画データを表示するとともに、前記サポート対象のオブジェクトデータを認識する認識ステップと、
前記オペレータ端末が、オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力された前記オブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、前記指示データと前記相対位置データとを前記携帯電話機に送信する送信ステップと、
前記携帯電話機が、前記サポート対象のライブ動画を表示し、当該ライブ動画内のオブジェクトデータに対応する画像範囲の位置と、受信した前記相対位置データとに基づいて、受信した前記指示データを表示する表示ステップと、を備えるリモートサポート方法。

（１）の発明によれば、動画撮影機能を備える携帯電話機が、サポート対象を撮影した動画データをオペレータ端末に送信し、オペレータ端末が、携帯電話機から受信した動画データを表示するとともに、サポート対象のオブジェクトデータを認識し、オペレータ端末が、オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力されたオブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、指示データと相対位置データとを携帯電話機に送信し、携帯電話機が、サポート対象のライブ動画を表示し、ライブ動画内のオブジェクトデータに対応する画像範囲の位置と、受信した相対位置データとに基づいて、受信した指示データを所定の場所に表示する。

したがって、携帯電話機の動画データを利用することにより、実際に撮影された動画に、オペレータからの指示データを適格な場所に表示することで、ユーザが直観的に分かりやすいリモートサポートを受けることが可能であり、リモートログインによるソフトウェアの内部で制御できないリモートサポート（ケーブルを端子に接続することなど）を行いうる。さらに、クライアント側にエージェントソフトをインストールしなくても、適切なリモートサポートを行うことが可能である。

（２）前記表示ステップでは、前記サポート対象が、前記携帯電話機の中央に表示されていない場合には、撮影箇所を誘導するための誘導オブジェクトを前記携帯電話機に表示し、前記サポート対象が携帯電話機の中央に表示された後に、前記指示データを表示する（１）に記載のリモートサポート方法。

（２）の発明によれば、（１）の発明の表示ステップでは、サポート対象が、携帯電話機の中央に表示されていない場合には、撮影箇所を誘導するための誘導オブジェクトを携帯電話機に表示し、サポート対象が携帯電話機の中央に表示された後に、指示データを表示する。

したがって、（１）に記載の発明の効果に加えて、サポート対象が中央に表示されていない場合は、携帯電話機のユーザに中央に表示するように誘導することが可能であり、中央に表示された後で、指示データを表示することで、作業の順番に従って的確なタイミングでユーザに指示を行うことができる。

（３）前記オペレータ端末が、受信した動画データのうち、オペレータから指定された指示オブジェクトデータを認識し、当該指示オブジェクトデータを前記携帯電話機に送信するステップと、
前記携帯電話機が、前記オペレータ端末から送信された指示オブジェクトデータと、前記携帯電話機に表示されているライブ動画から抽出した静止画データとを比較し、ライブ動画中の指示オブジェクトデータに対応する範囲を表示するステップと、を備える、（１）又は（２）に記載のリモートサポート方法。

（３）の発明によれば、（１）又は（２）の発明において、オペレータ端末が、受信した動画データのうち、オペレータから指定された指示オブジェクトデータを認識し、当該指示オブジェクトデータを携帯電話機に送信し、携帯電話機は、送信された指示オブジェクトデータと、携帯電話機に表示されているライブ動画から抽出した静止画データとを比較し、ライブ動画中の指示オブジェクトデータに対応する範囲を表示する。

したがって、（１）、（２）に記載の発明の効果に加えて、オペレータが所望する動画内の対象を指定することで、オペレータがユーザに指示を行うことが可能である。

（４）オペレータ端末は、
動画撮影機能を備える携帯電話機から、サポート対象を撮影した動画データを受信し、当該動画データを表示するとともに、前記サポート対象のオブジェクトデータを認識する認識手段と、
オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力された前記オブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、前記指示データと前記相対位置データとを前記携帯電話機に送信する送信手段と、を備え、
前記携帯電話機は、
前記サポート対象のライブ動画を表示し、当該ライブ動画内のオブジェクトデータに対応する画像範囲の位置と、受信した前記相対位置データとに基づいて、受信した前記指示データを表示する表示手段を備えるリモートサポートシステム。

（４）の発明によれば、動画撮影機能を備える携帯電話機が、サポート対象を撮影した動画データをオペレータ端末に送信し、オペレータ端末が、携帯電話機から受信した動画データを表示するとともに、サポート対象のオブジェクトデータを認識し、オペレータ端末が、オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力されたオブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、指示データと相対位置データとを携帯電話機に送信し、携帯電話機が、サポート対象のライブ動画を表示し、ライブ動画内のオブジェクトデータに対応する画像範囲の位置と、受信した相対位置データとに基づいて、受信した指示データを表示する。

したがって、携帯電話機の動画データを利用することにより、実際に撮影された動画にオペレータからの指示データを適格な場所に表示することで、ユーザが直観的に分かりやすいリモートサポートを受けることが可能であり、リモートログインによるソフトウェアの内部で制御できないリモートサポート（ケーブルを端子に接続することなど）を行いうる。さらに、クライアント側にエージェントソフトをインストールしなくても、適切なリモートサポートを行うことが可能である。

（５）携帯電話機と、当該携帯電話機と通信可能に接続されたオペレータ端末とから構成されるリモートサポートシステムを制御するリモートサポートシステム用プログラムであって、
動画撮影機能を備える携帯電話機から、サポート対象を撮影した動画データを受信し、当該動画データを表示するとともに、前記サポート対象のオブジェクトデータを認識する認識手段、
オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力された前記オブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、前記指示データと前記相対位置データとを前記携帯電話機に送信する送信手段、としてコンピュータであるオペレータ端末を動作させるオペレータ端末用プログラムと、
前記サポート対象のライブ動画を表示し、当該ライブ動画内のオブジェクトデータの位置と、受信した前記相対位置データとに基づいて、受信した前記指示データを表示する表示手段として、コンピュータである携帯電話機を動作させる携帯電話機用プログラムと、を備えるリモートサポートシステム用プログラム。

（５）の発明によれば、動画撮影機能を備える携帯電話機が、サポート対象を撮影した動画データをオペレータ端末に送信し、オペレータ端末が、携帯電話機から受信した動画データを表示するとともに、サポート対象のオブジェクトデータを認識し、オペレータ端末が、オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力されたオブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、指示データと相対位置データとを携帯電話機に送信し、携帯電話機が、サポート対象のライブ動画を表示し、ライブ動画内のオブジェクトデータに対応する画像範囲の位置と、受信した相対位置データとに基づいて、受信した指示データを表示する。

したがって、携帯電話機の動画データを利用することにより、実際に撮影された動画にオペレータからの指示データを適格な場所に表示することで、ユーザが直観的に分かりやすいリモートサポートを受けることが可能であり、リモートログインによるソフトウェアの内部で制御できないリモートサポート（ケーブルを端子に接続することなど）を行いうる。さらに、クライアント側にエージェントソフトをインストールしなくても、適切なリモートサポートを行うことが可能である。

本発明によれば、携帯電話機の動画データを利用することにより、実際に撮影された動画にオペレータからの指示データを適格な場所に表示することで、ユーザが直観的に分かりやすいリモートサポートを受けることが可能であり、リモートログインによるソフトウェアの内部で制御できないリモートサポート（ケーブルを端子に接続することなど）を行いうる。さらに、クライアント側にエージェントソフトをインストールしなくても、適切なリモートサポートを行う方法、システムを提供することができる。

リモートサポートシステム１の全体構成、機能構成を示す図である。 基本処理フローを示す図である。 指示データ入力受付処理フローを示す図である。 指示画像受付処理フローを示す図である。 指示データの入力受付及び、指示データの表示例を示す画面イメージ図及び概念図である。 各フローにおけるオペレータ端末５０、携帯電話機１００に表示される画面イメージ図である。 指示データ表示処理フローを示す図である。 携帯電話機１００に誘導オブジェクトが携帯電話機１００に表示された表示例を示す画面イメージ図である。 指示オブジェクトデータフローを示す図である。 指示オブジェクトデータを説明するために、各フローにおけるオペレータ端末５０、携帯電話機１００に表示される画面イメージ図である。

以下、図を参照して本発明の実施形態について説明する。

［全体概要］
図１を参照して本発明に係るリモートサポートシステム１の概要について説明する。図１は、リモートサポートシステム１の全体構成を示す図である。

リモートサポートシステム１は、携帯電話機１００と、オペレータ端末５０と、公衆回線網（インターネット：ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ））３と、から構成される。

携帯電話機１００は、公衆回線網３を介して、オペレータ端末５０と通信可能に接続されたコンピュータ端末である。携帯電話機１００は、文字、データ、画像を制御する制御部（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ等）を含む）、制御部からの出力指示を受けて文字、データ、画像を表示する液晶等の表示部（液晶ディスプレイ等）、文字、データ、画像を記憶する記憶部（フラッシュメモリ、ハードディスク、ＳＳＤ（ソリッド・ステイト・ドライブ）等）、ユーザからの入力を受付ける入力部、近隣の交換機（アクセスポイント）と無線通信を行いデータ通信機能、通話機能を実現する通信部、を有する端末である。携帯電話機１００は、動画を撮影する動画撮影手段１０１、画像表示手段１０２、動画データ送信手段１０３、指示データ・相対位置データ受信手段１０４を備える。

動画撮影手段１０１は、動画を撮影する機能を実現する手段であり、光を入力するレンズ及び入力された光を電気信号へ変換するカメラ装置、これらの信号を動画データとして制御し、記憶する制御部、記憶部により実現される。動画撮影手段１０１により撮影されたサポート対象等の動画データは、動画データ送信手段１０３により、オペレータ端末５０に送信される。

画像表示手段１０２は、文字、データ、画像を表示する手段であり、表示部、制御部、記憶部により実現される。画像表示手段１０２は、動画撮影手段１０１が撮影しているライブ動画（動画撮影手段１０１によりライブ撮影（生撮影）されている動画）を表示するとともに、オペレータ端末５０からの指示データを相対位置データが示す場所に、所定の表示態様（重複表示、分割表示）で表示を行う。

指示データとは、オペレータが携帯電話機１００のユーザに指示を通知するためのデータであり、矢印等の指示アイコン、指示の内容を示す文章、図、イラストで指示をするための画像（オペレータがタッチパネル入力装置により入力したペン表記の画像を含む）である。

相対位置データとは、指示データが入力されたオブジェクトデータ内の位置に関する情報である。オブジェクトデータの２次元画像表面：起点（０，０）〜終点（Ｘ_Ｅ，Ｙ_Ｅ）における、点（Ｘ，Ｙ）に、指示データがオペレータにより入力された場合は、相対位置データは、（Ｘ／Ｘ_Ｅ，Ｙ／Ｙ_Ｅ）となる。また、相対位置データは、単に、オペレータから入力された位置座標（すなわち、オペレータにより（Ｘ／Ｘ_Ｅ，Ｙ／Ｙ_Ｅ）が直接入力される）であってもよい。

動画データ送信手段１０３は、動画データをオペレータ端末５０に送信する手段であり、制御部、通信部、記憶部で実現される。指示データ・相対位置データ受信手段１０４は、指示データ・相対位置データをオペレータ端末５０から受信する手段であり、制御部、通信部、記憶部で実現される。

オペレータ端末５０は、サポートの対応を行うオペレータが使用するコンピュータ端末（少なくとも文字、データ、画像を処理できる制御部、記憶部、入力部、表示部を備えたコンピュータ）であってよく、公衆回線網３を介して、携帯電話機１００と通信可能に接続されている。オペレータ端末５０は、（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ等）を含む）を含む制御部５１と、制御部からの出力指示を受けて文字、データ、画像を表示する液晶等の表示部（液晶ディスプレイ等）、文字、データ、画像を記憶する記憶部（フラッシュメモリ、ハードディスク、ＳＳＤ（ソリッド・ステイト・ドライブ）等）と、公衆回線網３を介して外部と通信可能にする通信Ｉ／Ｆ部５７とから構成される。

オペレータ端末５０は、動画データ受信手段５２、オブジェクトデータ認識手段５３、指示データ入力受付手段５４、相対位置データ決定手段５５、指示データ・相対位置データ送信手段５６を備える。

動画データ受信手段５２は、携帯電話機１００から動画データを受信する手段であり、制御部５１、通信Ｉ／Ｆ部５７により実現される。

オブジェクトデータ認識手段５３は、携帯電話機１００で撮影したサポート対象（オブジェクト）を認識する手段であり、制御部５１により実現される。例えば、サポート対象（オブジェクト）が撮影された動画データを静止画像として数コマ抽出し、この静止画データ（オブジェクトデータ）について、予め記憶された静止画像と比較することで、画像認識を行い、オブジェクトデータとなる静止画像を決定する。

例えば、予め記憶された画像Ａが、ノートパソコンＡの正面の画像であるとする。この場合に、サポート対象であるオブジェクトがノートパソコンＡであり、正面から撮影した動画から抽出された静止画像と予め記憶された画像とを比較して、画像Ａと認識した場合は、このサポート対象のオブジェクトデータが、画像Ａと認識される。静止画像の比較は、２つの画像のピクセルどうしの比較であってよく、１ピクセルの色の種類と画像内の位置に基づいて判断される。

指示データ入力受付手段５４は、オペレータからの指示データの入力を受付ける手段であり、制御部、入力部により実現される。ここで、オペレータ端末５０の入力部は、画面上をオペレータがタッチすることで入力を受付けるタッチパネル入力装置であってよい。この場合は、オペレータからの指示情報をペン入力等で受付けて、入力された位置に関する情報を相対位置データ決定手段５５に通知する。

相対位置データ決定手段５５は、上述のようにオペレータ端末５０の表示部であるタッチパネルに携帯電話機１００で撮影された動画データが表示され、このタッチパネル表面を、オペレータがタッチパネル入力装置により、ペン入力等のタッチ入力を行った場合は、入力された指示データのオブジェクトデータ内の位置に関する情報を、相対位置データとして決定する。

指示データ・相対位置データ送信手段５６は、オペレータから受付けた指示データと、相対位置データとを関係づけて、携帯電話機１００に送信する手段であり、制御部５１と通信Ｉ／Ｆ部５７とにより実現される。

［基本処理フロー］
図２を参照して、携帯電話機１００とオペレータ端末５０が実行する基本処理フローについて説明する。携帯電話機１００は、動画撮影処理（ステップＳ０１）によりサポート対象を撮影し、撮影した動画データをオペレータ端末５０に送信する（ステップＳ０２）。

図６のステップ（Ｓ０１）では、動画撮影処理（ステップＳ０１）にて、サポート対象であるノートパソコンをユーザが撮影し、携帯電話機１００の表示部に表示している状態を示す。次に、オペレータ端末５０は、受信した動画データを表示し（ステップＳ０３）、動画データから、オブジェクトデータを認識するためのオブジェクトデータ認識処理（オブジェクトデータ認識手段５３が実行する）を実行する（ステップＳ０４）。

図６のステップ（Ｓ０４）は、携帯電話機１００から送信された動画データから、オペレータ端末５０が、オブジェクトデータを認識していることを示す画面イメージ図である。

次に、オペレータ端末５０は、オペレータから指示データの入力受付処理を実行する（ステップＳ０５）。オペレータ端末５０は、図３に示す、指示データ入力受付処理を実行し、指示データと相対位置データを出力し、この指示データと相対位置データとを関係づけて、携帯電話機１００へ送信する（ステップＳ０６）。携帯電話機１００は、指示データと相対位置データを受信し、所定の位置に所定の表示態様で、指示データを表示する（ステップＳ０７）。

なお、ステップＳ０５からＳ０７は、オペレータ端末５０からの指示データの入力があるたびに、繰り返し実行されてよい。

［指示データ入力受付処理フロー］
次に、図３に基づいて、ステップＳ０５にて実行する指示データ入力受付処理を説明する。オペレータ端末５０には、動画データが表示（図６の（Ｓ１０）における左上のノートパソコンの表示）されており、オペレータから指示アイコン（図６の（Ｓ１０）における「指示アイコン３０」）を表示し、入力を受付ける（ステップＳ１０）。

指示アイコン３０は、図６に示すように、矢印を示すアイコンであってよいし、その他、ユーザの行動を促す直観的なマーク（図形及び文字を含む）であってもよい。

次に、オペレータ端末５０は、オペレータからメッセージを受付ける文章受付処理を実行する（ステップＳ１１）。オペレータ端末５０は、例えば、図６（Ｓ１1）に示すように、メッセージ６０として「左側側面を映してください」と、オペレータによりメッセージの入力が行われる。文章受付処理により入力されたメッセージが、指示データとなる。

［指示画像受付処理フロー］
次に、オペレータ端末５０は、指示画像受付処理を実行する（ステップＳ１２）。図４に基づいて、指示画像受付処理について説明する。最初に、オペレータ端末５０は、受信した動画データから指示画像を作成するか否かを受付ける（ステップＳ２１）。オペレータの指定により指示画像を作成する（Ｓ２１：「ＹＥＳ」）場合は、動画データを静止画像として数コマ抽出する静止画選択処理（ステップＳ２３）を実行する。例えば、複数の静止画像を表示して、オペレータに適切な画像を選択させる。静止画像の選択後に、公知の画像編集プログラムにより、静止画像を編集、加工することが可能であってもよい。その後、ステップＳ２４に移行する。

指示画像を作成しない（Ｓ２１：「ＮＯ」）場合は、指示画像入力処理により、オペレータ端末５０は、タッチパネル入力装置等の入力装置による、指示画像入力処理を実行する（ステップＳ２２）。ここで指示画像とは、指示アイコンを除く任意の画像であってよい。次に、ステップＳ２４に移行する。

オペレータ端末５０は、ステップＳ２４にて、ステップＳ２２，Ｓ２３にて選択された画像を指示データとして決定する。

図３に戻って、指示データ入力受付処理のステップＳ１３以降について説明する。オペレータ端末５０は、指示データを表示する相対位置データを決定する（ステップＳ１３）。相対位置データの決定アルゴリズムについて、図５（ａ）、（ｂ）を参照して、説明する。

オブジェクトデータ１５０は、２次元静止画像であって、表面のサイズが起点（０，０）〜終点（Ｘ_Ｅ，Ｙ_Ｅ）である。このオブジェクトデータ内の点（Ｘ１，Ｙ１）を中心として、オペレータが指示データ３００（この場合は、ペン入力による指示画像）を入力したとする。この場合は、相対位置データは、（Ｘ１／Ｘ_Ｅ，Ｙ１／Ｙ_Ｅ）と決定される。また、指示アイコンやメッセージの入力を受付けた場合に、ペン入力等により位置の指示を受付けてもよい。また、ペン入力等による位置の指示ができない場合や、上記の方法で相対位置データを決定できない場合は、オペレータから相対位置データの数値を直接、受付けて、決定されてもよい。

携帯電話機１００に、指示データが表示される例を、図５（ｃ）に示した。携帯電話機１００は、ライブ動画として撮影されるサポート対象に対して、オブジェクトデータに対応する部分で占められる画像範囲１６０を特定し、この画像範囲１６０の位置と、相対位置データとに基づいて、所定の場所に指示データを表示する。

例えば、画像範囲１６０のサイズが、（Ｘ_Ｓ×Ｙ_Ｓ）ピクセルであり、画像範囲１６０の表示位置の起点が（Ｘ_Ａ，Ｙ_Ａ）において、指示データの相対位置データが（Ｘ１／Ｘ_Ｅ，Ｙ１／Ｙ_Ｅ）である場合には、指定データが表示される位置は、（Ｘ_Ａ＋Ｘ_Ｓ×Ｘ１／Ｘ_Ｅ，Ｙ_Ａ＋Ｙ_Ｓ×Ｙ１／Ｙ_Ｅ）であってよい。

次に、オペレータ端末５０は、携帯電話機１００にて表示される指示データの表示態様について、どのような表示態様をオペレータが望むか選択を受付ける（ステップＳ１４）。

指示データの表示態様とは、図６の（Ｓ３２）にて説明するように、指示データと動画データを重複して表示する重複表示もしくは、指示データと動画データとを左右に分割して表示する分割表示である。

［指示データ表示処理フロー］
次に、図７に基づいて、指示データ表示処理（Ｓ０７）の詳細について説明する。最初に、オペレータ端末より、オブジェクトデータを受信する（ステップＳ３１）。携帯電話機１００は、選択された表示態様に基づいた表示処理を行う（ステップＳ３２）。すなわち、分割表示であれば、携帯電話機１００の表示部の画面を二分割して、一方に撮影している動画データを表示し、もう一方に、指示データを表示する。

ここで、オブジェクトデータとして認識したサポート対象が動画データの中央に認識できるか否かを判断する（ステップＳ３３）。本処理は、図８（ａ），（ｂ）を参照して説明すると、現在、ライブで撮影されているサポート対象の動画データを携帯電話機１００に表示する。携帯電話機１００は、オペレータ端末５０より受信したオブジェクトデータと、ライブで撮影されている動画データから数コマ抽出した静止画データとを比較する。オブジェクトデータが認識される携帯電話機１００の表示部に表示される位置が、表示部のどの位置であるかを判断する。例えば、オブジェクトデータの２次元画像表面上の中心位置が、表示部の右側、左側のいずれかに表示されているかを、表示部の表示座標に基づいて判断する。

例えば、図８（ａ）に示すように、携帯電話機１００は、携帯電話機１００の表示部の左側にオブジェクトデータに対応する画像範囲の中心を認識した場合は、サポート対象を中央に認識できない（ステップＳ３３：「ＮＯ」）と判断して、誘導オブジェクト表示処理（ステップＳ３４）を実行する。

誘導オブジェクトとは、ユーザに撮影箇所を誘導するための（サポート対象を中央に表示するように促す）アイコン等のオブジェクトであって、例えば、図８に示す矢印のアイコン２００であってよい。誘導オブジェクトは、携帯電話機１００に本処理を実行するプログラムとともに予め記憶されていてもよいし、オペレータ端末５０から逐次、受信してもよい。

ユーザが、誘導オブジェクトが表示された携帯電話機１００を視認して、サポート対象を表示部の中央に撮影した場合は、ステップＳ３３：「ＹＥＳ」となり、指示データを、ライブ動画内のオブジェクトデータに対応する画像範囲と、相対位置データとに基づいて表示する（ステップＳ３５）。すなわち、上述の図５（ｃ）に示すように、携帯電話機１００は、ライブ動画として撮影されるサポート対象に対して、オブジェクトデータに対応する部分で占められる画像範囲１６０を特定し、この画像範囲１６０の位置と、相対位置データとに基づいて、所定の場所に指示データを表示する。同様に、図８（ｃ）に示すように、指示データを、メッセージとして「左側側面を映してください」と表示し、かつ、指示アイコンとして、撮影指示の対象となる部分（例えば、ＰＣＩカード挿入口）を指すアイコンをライブ動画内のオブジェクトデータに対応する画像範囲と、相対位置データとに基づいて表示する。

なお、誘導オブジェクトは、撮影をズームするようにユーザに指示するアイコンを含む。すなわち、オブジェクトデータとライブで撮影された動画の画像範囲を比較し、サポート対象のサイズとなる画像範囲を特定し、この画像範囲が携帯電話機１００の表示部に占める割合が小さい場合は、ズームが必要であると携帯電話機１００が判断する。この場合には、ユーザにズームを誘導するための誘導オブジェクトを表示する。

［指示オブジェクトデータ送信処理フロー］
次に、図９に基づいて、オペレータ端末５０が実行する指示オブジェクトデータ送信処理について、説明する。指示オブジェクトデータ送信処理フローは、図２の基本フローＳ０２からＳ０３の後に実行される処理であり、ステップＳ０４からＳ０６と独立して実行される。

携帯電話機１００にて撮影された動画は、オペレータ端末５０に動画データとして送信され、オペレータ端末５０の表示部に表示される。ここで、オペレータから指示オブジェクトデータの指定を受付ける（ステップＳ４０）。図１０の例では、オペレータが、タッチパネル入力装置等により、表示部に表示された「スタート」ボタンの範囲７０を指定する。指定されると、オペレータ端末５０は、当該範囲７０の認識処理を実行する（ステップＳ４１）。ここで、認識処理とは、文字認識、画像認識等であり、図１０の例では、「スタート」のテキスト文字の文字認識である。

オペレータ端末５０は、認識した指示オブジェクトデータ（ここでは、文字認識した「スタート」のテキスト文字）を、携帯電話機１００に送信する（ステップＳ４２）。携帯電話機１００は、ステップ０７において、指示オブジェクトデータを受信し、ライブ動画内に、認識したオブジェクトデータが存在するか否かを比較判断し、存在する場合には、当該オブジェクトデータに対応するライブ動画内の範囲を強調表示する（図１０の（ｄ）の強調表示７５）。すなわち、ライブ動画から静止画データを数コマ抽出し、静止画データに、テキスト文字としての「スタート」が認識される部分が存在するか否かを比較判断する。存在する場合には、強調表示を行う。

ここで、強調表示とは、対象範囲を点線、線で囲む表示であったり、当該範囲を目立つ色彩で塗りつぶす表示であってよい。

このように、オペレータ端末５０からオペレータが所望する対象（ハードウェア的なボタン、スイッチ、ソフトウェア的なボタン、アイコン等）の指定を受付け、携帯電話機１００に表示されたライブ動画内の対応する「指示対象」（指示オブジェクトデータ）を強調表示することで、ユーザにオペレータが所望する指示対象を認識させることが可能となる。

上記図１０の例では、指示オブジェクトデータの文字認識について説明しているが、文字認識ではなく、ピクセル毎に静止画像を比較する画像認識であってもよい。この場合は、ライブ動画を静止画像データとして数コマ抽出して、指示オブジェクトデータとして指定された静止画像データと比較して、「指示対象」を強調表示してよい。

ここで、図８にて説明したように、指示オブジェクトデータが表示部の中央に表示されているか否かを判断して、対象を中央に表示するように誘導オブジェクト２０５を表示してもよい（図１０（ｅ））。表示部の中央に指示オブジェクトデータが表示された場合は、次の指示データを表示する（図１０（ｆ））。

上述した手段、機能は、コンピュータ（ＣＰＵ，情報処理 装置，各種端末を含む）が、所定のアプリケーションプログラムを読み込んで、実行することによって実現される。アプリケーションプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からアプリケーションプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。また、公衆回線ネットワーク経由で、サーバからアプリケーションプログラムの一部または全てが提供されてもよく、上述の方法が、ＳａａＳ型のサービスとして提供されてもよい。

以上、本発明の実施形態について説明したが、本発明は本実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

１ リモートサポートシステム
５０ オペレータ端末
１００ 携帯電話機

Claims (5)

1. 動画撮影機能を備える携帯電話機が、サポート対象を撮影した動画データをオペレータ端末に送信する送信ステップと、
   前記オペレータ端末が、前記携帯電話機から受信した動画データを表示するとともに、前記サポート対象のオブジェクトデータを認識する認識ステップと、
   前記オペレータ端末が、オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力された前記オブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、前記指示データと前記相対位置データとを前記携帯電話機に送信する送信ステップと、
   前記携帯電話機が、前記サポート対象のライブ動画を表示し、当該ライブ動画内のオブジェクトデータに対応する画像範囲の位置と、受信した前記相対位置データとに基づいて、受信した前記指示データを表示する表示ステップと、を備えるリモートサポート方法。
2. 前記表示ステップでは、前記サポート対象が、前記携帯電話機の中央に表示されていない場合には、撮影箇所を誘導するための誘導オブジェクトを前記携帯電話機に表示し、前記サポート対象が携帯電話機の中央に表示された後に、前記指示データを表示する請求項１に記載のリモートサポート方法。
3. 前記オペレータ端末が、受信した動画データのうち、オペレータから指定された指示オブジェクトデータを認識し、当該指示オブジェクトデータを前記携帯電話機に送信するステップと、
   前記携帯電話機が、前記オペレータ端末から送信された指示オブジェクトデータと、前記携帯電話機に表示されているライブ動画から抽出した静止画データとを比較し、ライブ動画中の指示オブジェクトデータに対応する範囲を表示するステップと、を備える、請求項１又は２に記載のリモートサポート方法。
4. オペレータ端末は、
   動画撮影機能を備える携帯電話機から、サポート対象を撮影した動画データを受信し、当該動画データを表示するとともに、前記サポート対象のオブジェクトデータを認識する認識手段と、
   オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力された前記オブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、前記指示データと前記相対位置データとを前記携帯電話機に送信する送信手段と、を備え、
   前記携帯電話機は、
   前記サポート対象のライブ動画を表示し、当該ライブ動画内のオブジェクトデータの位置と、受信した前記相対位置データとに基づいて、受信した前記指示データを表示する表示手段を備えるリモートサポートシステム。
5. 携帯電話機と、当該携帯電話機と通信可能に接続されたオペレータ端末とから構成されるリモートサポートシステムを制御するリモートサポートシステム用プログラムであって、
   動画撮影機能を備える携帯電話機から、サポート対象を撮影した動画データを受信し、当該動画データを表示するとともに、前記サポート対象のオブジェクトデータを認識する認識手段、
   オペレータから前記動画データ内の所定位置に指示データの入力を受付け、当該指示データが入力された前記オブジェクトデータに対する相対位置を相対位置データとして、前記指示データと関係づけて、前記指示データと前記相対位置データとを前記携帯電話機に送信する送信手段、としてコンピュータであるオペレータ端末を動作させるオペレータ端末用プログラムと、
   前記サポート対象のライブ動画を表示し、当該ライブ動画内のオブジェクトデータの位置と、受信した前記相対位置データとに基づいて、受信した前記指示データを表示する表示手段として、コンピュータである携帯電話機を動作させる携帯電話機用プログラムと、を備えるリモートサポートシステム用プログラム。

Images