JP2004102918A

JP2004102918A - Operation substituting device and its method, and information processor and its control method

Info

Publication number: JP2004102918A
Application number: JP2002267203A
Authority: JP
Inventors: Makoto Hirota; 廣田　誠; Tetsuo Kosaka; 小坂　哲夫; Yasuhiro Komori; 小森　康弘
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-12
Filing date: 2002-09-12
Publication date: 2004-04-02

Abstract

<P>PROBLEM TO BE SOLVED: To provide an operation substituting device and its method or the like providing remote substitutive operation of a variety of apparatuses. <P>SOLUTION: When an operation substitute request of an apparatus is received (S101), markup language describing a user interface for operating the apparatus is acquired (S109), the user interface for operating the apparatus is displayed in a monitor in accordance with the acquired markup language (S110), and operation information indicating operation with respect to the user interface is sent to the apparatus (S112). <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は操作代行装置およびその方法、並びに、情報処理装置およびその制御方法に関し、例えば、機器を遠隔で代行操作する技術に関する。
【０００２】
【従来の技術】
機器の操作に不慣れなユーザに代わって、その機器を遠隔操作する操作代行方式が幾つか提案されている。
【０００３】
特開２００２−３０６７１７公報には、ユーザのコンピュータを代行者が遠隔操作（代行操作）するシステムが開示されている。ユーザは、オペレーションの代行依頼書を代行者に送り、代行者は代行依頼書の内容に従ってユーザのコンピュータを代行操作する。加えて、代行依頼書から操作代行料金を見積もり、料金を徴収するビジネスモデルが提案されている。ただし、同公報は、遠隔操作を実現する方法を示さない。
【０００４】
また、特開平１０−２７６２５５号公報は、電話装置の短縮番号登録を遠隔操作で代行する技術を開示する。特開平０９−０８１６２７号公報は、情報サービス窓口システムの端末装置を遠隔操作で代行するシステムを開示する。
【０００５】
一方、マークアップ言語と、それを解釈・実行するブラウザによってユーザインタフェイス（ＧＵＩ）を実現する方法がある。例えば、ホームページの記述言語であるＨＴＭＬ　（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）はフォームという仕組みを備え、ボタンやテキストボックスといったＧＵＩ部品を備えることができる。ＨＴＭＬは、本来、コンテンツをブラウザを用いて閲覧するＷｅｂブラウジングのために発明されたが、ＣＧＩ　（Ｃｏｍｍｏｎ　Ｇａｔｅｗａｙ　Ｉｎｔｅｒｆａｃｅ）などの機構と組み合わせることで、機器の遠隔操作にも応用できる。その他、　ＰＤＡ　（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）、携帯電話およびカーナビなど、近年の情報機器形態の多様化を背景に、ＷＭＬ　（Ｗｉｒｅｌｅｓｓ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）やＶｏｉｃｅ　ＸＭＬ　（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）など、ＧＵＩ以外のモダリティ（ｍｏｄａｌｉｔｙ）を用いたユーザインタフェイスの記述言語も開発されている。
【０００６】
上記の遠隔操作による、機器の操作代行システムは、特定の機器の操作を対象、例えば上記の特開平１０−２７６２５５号公報は電話装置の短縮番号登録を、上記の特開平０９−０８１６２７号公報は情報サービス窓口システムの端末装置の操作を対象にする。
【０００７】
また、上記の特開２００２−３０６７１７公報は、コンピュータが操作対象である。現在、あらゆる機器がディジタル化され、ＣＰＵを含むことを考慮すれば、ディジタル機器全般をコンピュータと呼ぶことができる。しかし、機器ごとにユーザインタフェイスは異なり、機器が有するモダリティも異なる。従って、特開２００２−３０６７１７公報におけるコンピュータは、モダリティやユーザインタフェイスのロジックが異なる様々なディジタル機器全般を指すわけではなく、やはり、特定のモダリティやユーザインタフェイスのロジックを対象にすることになる。
【０００８】
【特許文献１】
特開２００２−３０６７１７公報
【０００９】
【特許文献２】
特開平１０−２７６２５５号公報
【００１０】
【特許文献３】
特開平０９−０８１６２７号公報
【００１１】
【発明が解決しようとする課題】
上記の操作代行システムは、特定の機器の代行操作を対象にし、多種類の機器の代行操作に対する汎用性はない。
【００１２】
一方、上記の特開２００２−３０６７１７公報には、ユーザが代行操作代金を操作代行者へ支払うビジネスモデルが示されている。しかし、同公報に開示されたビジネスモデルでは、ユーザが操作代行者へ、直接、操作代行料金を支払う必要があるため、ユーザの負担が大きいという問題がある。
【００１３】
本発明は、上述の問題を個々にまたはまとめて解決するためのもので、様々な機器の代行操作を遠隔で可能にすることを目的とする。
【００１４】
また、操作代行料金の支払い関するユーザ負荷の軽減を他の目的とする。
【００１５】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１６】
本発明にかかる操作代行方法は、機器の操作依頼を受けて、前記機器を遠隔操作する操作代行方法であって、前記機器を操作するためのユーザインタフェイスが記述されたマークアップ言語を取得し、取得したマークアップ言語に従い、前記機器を操作するためのユーザインタフェイスをモニタに表示させ、前記機器を操作するためのユーザインタフェイスに対する操作を示す操作情報を前記機器へ送信することを特徴とする。
【００１７】
本発明にかかる操作代行装置は、機器の操作依頼を受けて、前記機器を遠隔操作するための操作代行装置であって、前記機器を操作するためのユーザインタフェイスが記述されたマークアップ言語を取得する取得手段と、取得されたマークアップ言語に従い、前記機器を操作するためのユーザインタフェイスをモニタに表示させる表示手段と、前記機器を操作するためのユーザインタフェイスに対する操作を示す操作情報を前記機器へ送信する送信手段とを有することを特徴とする。
【００１８】
本発明にかかる情報処理装置は、遠隔操作による操作代行が可能な情報処理装置であって、前記情報処理装置を操作するためのユーザインタフェイスが記述されたマークアップ言語を保持する保持手段と、前記マークアップ言語に従い、前記情報処理装置を操作するためのユーザインタフェイスをモニタに表示し、前記ユーザインタフェイスに対するユーザの操作を入力する操作手段と、前記マークアップ言語に従うユーザインタフェイスの操作情報を受信する受信手段と、前記操作手段によって入力される操作情報および前記受信手段よって受信される操作情報に従い、前記情報処理装置の動作を制御する制御手段とを有し、前記操作手段は、受信される操作情報に従い、前記表示を更新することを特徴とする。
【００１９】
好ましくは、さらに、代行操作に関する料金の支払いを確認し、代行操作の実行を記録する記録手段を有し、前記記録手段は、前記料金の支払いを確認すると、代行操作に対する認証番号の入力欄の表示を前記操作手段に許可することを特徴とする。
【００２０】
本発明にかかる制御方法は、遠隔操作による操作代行が可能な情報処理装置の制御方法であって、前記情報処理装置を操作するためのユーザインタフェイスが記述されたマークアップ言語を保持し、前記マークアップ言語に従い、前記情報処理装置を操作するためのユーザインタフェイスをモニタに表示し、前記ユーザインタフェイスに対するユーザの操作を入力し、前記マークアップ言語に従うユーザインタフェイスの操作情報を受信し、入力される操作情報および受信される操作情報に従い、前記情報処理装置の動作を制御し、受信される操作情報に従い、前記表示を更新することを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明にかかる実施形態の情報処理装置を図面を参照して詳細に説明する。
【００２２】
［概要］
多種類の機器の代行操作に対する汎用性を実現する方法として、マークアップ言語とこれを解釈・実行するブラウザによって機器のユーザインタフェイスを実現する方法が考えられる。操作機器のユーザインタフェイスがマークアップ言語とブラウザで構成されていれば、遠隔操作を行う機器に、このマークアップ言語を解釈・実行するブラウザを搭載して、様々な遠隔操作を実現することができる。つまり、遠隔操作される機器は、自分のユーザインタフェイスを記述したマークアップ言語を遠隔操作を行う機器に送信し、遠隔操作を行う機器は、このマークアップ言語をブラウザで実行することで、操作代行者と遠隔操作される機器との間で必要な情報のやり取りを実現する。
【００２３】
ただし、遠隔操作される機器には、ＧＵＩや音声ＵＩなどソフトウェアで実現されるモダリティのほか、物理的なボタンやジョグダイアルなどハードウェアで実現される物理的なモダリティもある。操作代行者は、遠隔操作される機器と同じ機器を所有しているわけではないので、遠隔操作を行う機器には、パーソナルコンピュータ（ＰＣ）など、汎用的なコンピュータ機器を利用することになる。従って、遠隔操作を行うコンピュータ機器上で、任意の機器を代行操作するには、遠隔操作される機器の物理的モダリティを含むあらゆるモダリティを、ソフトウェアにより、コンピュータ機器上でシミュレートする必要がある。ところが、既存のマークアップ言語はＧＵＩ、音声ＵＩ、ＤＴＭＦ　（Ｄｕａｌ−ｔｏｎｅ　Ｍｕｌｔｉｐｌｅ　Ｆｒｅｑｕｅｎｃｙ）など、予め想定されたモダリティだけを対象にし、物理的モダリティを記述することはできない。
【００２４】
従って、様々な機器の操作代行を実現する場合、それら機器が備える物理的なボタンやジョグダイアルなどハードウェアで実現される物理的なユーザインタフェイスデバイスの代行操作を遠隔で可能にする必要がある。
【００２５】
【第１実施形態】
［構成］
図１は実施形態の操作代行サービスセンタを説明する図である。操作代行サービスセンタ１００には、それぞれＰＣ　１０２を遠隔操作機器に使用する複数の操作代行者が存在し、複写機１０１、ディジタルカメラ１０５、ファクシミリ装置（ＦＡＸ）１０６など様々なディジタル機器のユーザからインターネットなどのＷＡＮ　（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）１０４を介して代行操作依頼を受け付け、インターネット１０４を介してそれら機器の操作を代行するサービスを提供する。また、操作代行サービスセンタ１００に配置された操作代行管理サーバ１０３は、ＰＣ　１０２を管理する。
【００２６】
以下では、複写機１０１のユーザが代行操作を依頼するケースを説明する。
【００２７】
図２は複写機１０１の操作部の構成例を示すブロック図である。
【００２８】
図２において、ＣＰＵ　３０１は、ＲＡＭ　３０２をワークメモリとして、ＲＯＭ　３０３などに格納された、後述する手順を実現するプログラムを実行する。ディスク装置３０４は、後述するマークアップ言語を保持する。液晶表示装置（ＬＣＤ）３０５は、ＧＵＩ表示などに利用される。
【００２９】
また、物理ボタン３０７は、図５に示す複写機のスタートボタン、リセットボタンおよびテンキーなどに対応する。マイク３０６は、ユーザの音声入力を受ける。スピーカ３０８は、音声合成による合成音やビープ音などの音を出力する。なお、マイク３０６やスピーカ３０８は、収録した音声をディジタル信号に変換したり、合成音などをアナログ音声信号に変換するインタフェイスを有する。
【００３０】
上記の構成は、バス３０９によって相互に接続されている。
【００３１】
図３はＰＣ　１０２の構成例を示すブロック図である。
【００３２】
図３において、ＣＰＵ　４０１は、ＲＡＭ　４０２をワークメモリとして、ＲＯＭ　４０３やディスク装置４０５などに格納された、後述する手順を実現するプログラムを実行する。操作代行者は、モニタ４０４に表示されるＧＵＩ表示に基づき、マウス４０６およびキーボード４０７を操作して、複写機１０１を遠隔操作する。
【００３３】
また、マイク４０８は、操作代行者の音声入力を受ける。スピーカ４０９は、音声合成による合成音やビープ音などの音を出力する。なお、マイク４０８やスピーカ４０９は、収録した音声をディジタル信号に変換したり、合成音などをアナログ音声信号に変換するインタフェイスを有する。
【００３４】
上記の構成は、バス４１０によって相互に接続されている。
【００３５】
図４は操作対象機器（複写機１０１）の代行操作を実現する構成例を示すブロック図で、操作対象機器について、操作ブラウザ部２０１、機器制御管理部２０２、認証番号送信部２０３、通信部２０４、代行操作記録部２１０およびマークアップ言語（ＭＬ）保持部２０５などがある。なお、ＭＬ保持部２０５は、複写機１０１のユーザインタフェイスを記述するマークアップ言語を保持し、図２に示すディスク装置３０４に割り当てられている。
【００３６】
一方、遠隔操作機器（ＰＣ　１０２）について、遠隔操作ブラウザ２０６、通信部２０７、認証処理部２０８および認証番号発生部２０９などがある。
【００３７】
［複写機の動作］
まず、複写機１０１をユーザが直接操作する場合（言い換えれば、代行操作を依頼しない場合）の複写機１０１の動作を説明する。
【００３８】
機器制御管理部２０２は、ＭＬ保持部２０５から複写機１０１のユーザインタフェイスを記述したマークアップ言語を読み出して操作ブラウザ部２０１に送る。操作ブラウザ部２０１は、送られてきたマークアップ言語を実行する。マークアップ言語は、ユーザの操作と、複写機１０１の動作との関係をＸＭＬで記述したもので、操作ブラウザ部２０１は、マークアップ言語に従いＧＵＩ表示を行い、ユーザの操作を受け付け、ユーザ操作情報を機器制御管理部２０２へ送る。機器制御管理部２０２は、送られてきたユーザ操作情報に従い複写機１０１の動作を制御する。
【００３９】
［マークアップ言語の仕様］
次に、マークアップ言語の仕様を説明する。複写機１０１のユーザインタフェイスを記述したマークアップ言語の例を下に示す。

【００４０】
タグｍｍｍｌは全体を包むルートタグで、操作ロジックはタグｄｉａｌｏｇの内側に記述する。
【００４１】
操作（入出力）の最小単位はフィールド（ｆｉｅｌｄ）である。ｆｉｅｌｄはｉｎｐｕｔ、ｏｕｔｐｕｔ、ｆｉｌｌｅｄといった要素をもつ。ｉｎｐｕｔ、ｏｕｔｐｕｔはそれぞれ、どのような情報を入出力するかを記述するタグである。ｉｎｐｕｔに対応する入力（ユーザの操作）があった場合、直後に記述されたタグｆｉｌｌｅｄの中身が実行される。
【００４２】
各ｆｉｅｌｄは、アクティブ（ａｃｔｉｖｅ）またはインアクティブ（ｉｎａｃｔｉｖｅ）の何れかの状態をとる。さらに、自分自身あるいは他のｆｉｅｌｄをアクティベート（ａｃｔｉｖａｔｅ）またはディアクティベート（ｄｅａｃｔｉｖａｔｅ）することができる。ｆｉｅｌｄのａｃｔｉｖａｔｅまたはｄｅａｃｔｉｖａｔｅを記述することで、対話の状態遷移を制御することができる。
【００４３】
Ｖｏｉｃｅ　ＸＭＬの場合はシステム主導が基本のため、一つの入力動作が行われるごとに自動的に次にｆｉｅｌｄへ進む。すなわち、ａｃｔｉｖｅなｆｉｅｌｄが順次移動する。これに対して、本実施形態では、各ｆｉｅｌｄのａｃｔｉｖｅまたはｉｎａｃｔｉｖｅの状態は、明示的にａｃｔｉｖａｔｅまたはｄｅａｃｔｉｖａｔｅしない限り変化することはない。明示的なａｃｔｉｖａｔｅまたはｄｅａｃｔｉｖａｔｅの指定は、タグｆｉｌｌｅｄ中のタグａｃｔｉｖａｔｅや、タグｄｅａｃｔｉｖａｔｅによって行う。
【００４４】
以下では、ｆｉｅｌｄおよび、ｆｉｅｌｄがもつ各要素（タグｆｉｅｌｄの内側に記述されるタグ）の役割を詳説する。
【００４５】
●　ｆｉｅｌｄの役割
フィールド（ｆｉｅｌｄ）は、ＵＩを用いた対話における、入出力の最小単位を表し、そこで受け付けたい入力の種類、その入力に対する動作、あるいは、出力したい内容が記述される。入力の種類はタグｉｎｐｕｔで、入力に対する動作はタグｆｉｌｌｅｄで表される。また、出力はタグｏｕｔｐｕｔで表される。なお、ａｃｔｉｖｅなｆｉｅｌｄのみが入出力可能になる。Ｖｏｉｃｅ　ＸＭＬのｆｉｅｌｄのように入力が終了しても次のｆｉｅｌｄに進んだりはしない。「次のｆｉｅｌｄに進む」という記述は、次のｆｉｅｌｄをａｃｔｉｖａｔｅし、自分自身をｄｅａｃｔｉｖａｔｅすることを、明示的に記述することで実現される。
【００４６】
●　ｉｎｐｕｔの役割
入力（ｉｎｐｕｔ）には、それが属するｆｉｅｌｄで受け付けたい入力の種類が記述される。その入力をどのようなモダリティで受け付けるかをｍｏｄｅ属性で記述する。上記の記述例における（１）は、図５に示す「記録紙」ボタンを表示して、そのＧＵＩボタンで入力を受け付けることを示す。入力の種類はｔｙｐｅ属性に記述する。属性値として以下のようなものがある。
”ｓｅｌｅｃｔＭｅ”　…　入力があったという事実を受け付けるタイプの入力。「ボタン」や音声などのモダリティを割り当てることができる。
”ｓｅｌｅｃｔＯｎｅ”　…　選択肢の中から一つを選択するもの。ラジオボタンやプルダウンメニューなどが典型的なモダリティである。選択肢をタグｉｔｅｍで記述する。
”ｓｅｌｅｃｔＭａｎｙ”　…　選択肢の中から複数を選択するもの。ＣｏｍｂｏＢｏｘなどが典型的なモダリティである。ｓｅｌｅｃｔＯｎｅタイプと同様、選択肢をタグｉｔｅｍで記述する。
”ＴｅｘｔＳｔｒｉｎｇ”　…　文字列の入力を受け付ける。ＧＵＩのテキストボックスや音声入力が典型的なモダリティである。
【００４７】
●　ｏｕｔｐｕｔの役割
出力（ｏｕｔｐｕｔ）には、それが属するｆｉｅｌｄでの出力を記述する。出力内容は、タグｃｏｎｔｅｎｔで記述することができる。
【００４８】
●　ｆｉｌｌｅｄの役割
フィルド（ｆｉｌｌｅｄ）には、各ｆｉｅｌｄにおける入力に対するアクションを記述する。アクションの種類は様々である。タグａｃｔｉｖａｔｅまたはタグｄｅａｃｔｉｖａｔｅによって、自分自身あるいは他のｆｉｅｌｄを明示的にａｃｔｉｖｅまたはｉｎａｃｔｉｖｅにすること、スクリプト記述または何らかの記述方法で、ＵＩ以外の内部プログラムとインタラクションする（例えば「コピースタート」の入力を受けて、実際にコピーを行う処理プログラムを起動するなど）ことなどが、典型的なアクションである。また、入力に対して応答するような場合に、タグｏｕｔｐｕｔをｆｉｌｌｅｄの中に記述しすることもできる。
【００４９】
●　ｆｏｒｍの役割
操作ロジックはいわばユーザと機器との対話の状態遷移であるが、フォーム（ｆｏｒｍ）は、対話の一状態、例えば、コピー機の初期画面、それぞれの設定モード画面などを記述するものである。ｆｏｒｍの中には複数のｆｉｅｌｄを含めることができる。ｆｏｒｍがａｃｔｉｖａｔｅまたはｄｅａｃｔｉｖａｔｅされると、これに属する各ｆｉｅｌｄはすべてａｃｔｉｖｅまたはｉｎａｃｔｉｖｅになる。
【００５０】
［遠隔代行操作］
図６は遠隔代行操作システムの動作を説明するフローチャートで、左側は遠隔操作機器（ＰＣ　１０２）側の動作を、右側は操作対象機器（複写機１０１）側の動作を示している。また、図７は操作代行者が遠隔操作機器として使用するＰＣ　１０２の初期画面例を示す図である。
【００５１】
●　代行操作依頼、課金および認証
複写機１０１のユーザ（依頼者）は、複写機１０１の代行操作を依頼する場合、まず、操作代行サービスセンタ１００に電話する。操作代行サービスセンタ１００には複数の操作代行者がいて、そのうちの一人に電話がつながる。
【００５２】
操作代行者は、代行操作の依頼を受け付けると（Ｓ１０１）、まず、依頼者に操作代行代金を複写機１０１に投入することを求める（Ｓ１０２）。依頼者が操作代行代金を複写機１０１の所定の投入口へ入れると、代行操作記録部２１０は操作代行代金の投入を記録する（Ｓ１０３）。
【００５３】
続いて、操作代行者が図７に示す画面の「認証番号発生」ボタンをクリックすると、認証番号発生部２０９は六桁の乱数を発生する（Ｓ１０４）。この乱数は、「認証番号発生」ボタンに隣接する「認証」フィールドのテキストボックスに表示される。操作代行者は、依頼者へ、この認証番号を伝え、複写機１０１の操作部の物理ボタン３０７を操作して認証番号を入力し、図５に示す送信ボタン３１１を押すように指示する（Ｓ１０５）。なお、図５に示す複写機１０１の「認証番号入力」フィールド３１０は、複写機１０１に代行料金が投入された場合にのみ表示される。
【００５４】
依頼者は、認証番号を入力し、送信ボタン３１１を押す。これにより、複写機１０１は、操作代行管理サーバ１０３と通信し、入力された認証番号および複写機１０１を操作するためのマークアップ言語を指示するネットワークアドレス情報（例えばＵＲＬ　（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ））を送信する（Ｓ１０６）。なお、操作代行管理サーバ１０３のＵＲＬまたはＩＰアドレスは、予め複写機１０１に組み込まれている。
【００５５】
操作代行管理サーバ１０３は、受信した認証番号およびＵＲＬを一時保管する。操作代行者は、ＰＣ　１０２を操作して、操作代行管理サーバ１０３にアクセスし、受信された認証番号およびＵＲＬを取得する（Ｓ１０７）。認証処理部２０８は、取得された認証番号と、認証番号発生部２０９が発生した認証番号とが一致するか否かを調べ（Ｓ１０８）、一致すれば、取得されたＵＲＬにアクセスして、複写機１０１のマークアップ言語を受信する（Ｓ１０９）。なお、認証番号が一致しない場合は遠隔代行操作は拒絶される。
【００５６】
●　遠隔代行操作
遠隔操作ブラウザ部２０６は、複写機１０１の操作ブラウザ部２０１と同様に、受信したマークアップ言語に従って動作する（Ｓ１１０）。ただし、操作ブラウザ部２０１と異なり、ＰＣ　１０２には「スタートボタン」など複写機１０１に特有の物理モダリティがないので、これをソフトウェアでシミュレートする点である。そのためには、複写機１０１がどのようなモダリティをもつかを知る必要がある。
【００５７】
上記のマークアップ言語の例に（１）および（３）で示す「ＧＵＩＢｕｔｔｏｎ」「ＰｕｌｌＤｏｗｎＭｅｎｕ」は汎用的な語彙で、遠隔操作ブラウザ部２０６は、これらを解釈することができる。一方、（２）で示す「ＳｔａｒｔＢｕｔｔｏｎ」という語彙は複写機１０１に特有の語彙で、遠隔操作ブラウザ部２０６は、これを解釈することができない。こうした問題を解決するため、複写機１０１は、下記に一例を示す自分自身の特有のモダリティを記述したマークアップ言語を保持し、ＰＣ　１０２は、このマークアップ言語を受信する。本実施形態では、このモダリティを記述するマークアップ言語をＲＤＦ（ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＲＤＦ／）で記述する。

【００５８】
上記のマークアップ言語に（４）で示す「ＳｔａｒｔＢｕｔｔｏｎ」という語彙は、「ＰｈｙｓｉｃａｌＢｕｔｔｏｎ」というクラス（この語彙は汎用語彙とする）のインスタンスであることを示している。これにより、遠隔操作ブラウザ部２０６は「ＳｔａｒｔＢｕｔｔｏｎ」が物理ボタンであることを知ることができる。ただし、これだけでは「ＳｔａｒｔＢｕｔｔｏｎ」がどのような形状でどの位置にあるのかがわからないので、シミュレートできない。そこで、複写機１０１は、下記に示すマークアップ言語例のように、モダリティの「位置」や「見た目」を記述するマークアップ言語を保持し、ＰＣ　１０２は、このマークアップ言語を受信する。

【００５９】
上記のマークアップ言語例は、各モダリティの位置や「見た目」の画像を記述している。これらの記述に従い、ＧＵＩや音声ＵＩなどのソフトウェアベースのモダリティだけでなく、複写機１０１に特有の物理的モダリティも、ソフトウェア的に再現することができる。図８はＰＣ　１０２の画面上で再現された複写機１０１のＵＩを示す図である。
【００６０】
操作代行者は、依頼者が希望する代行操作（例えばコピーの設定など）を聞き、図８に示す画面を操作して、希望された代行操作を行う（Ｓ１１１）。例えば、操作代行者が「記録紙」ボタンをクリックすると、記録紙を選択するための子ウィンドウが表示される。言い換えれば、そのようにマークアップ言語が記述されている。遠隔操作ブラウザ部２０６は、この操作情報を通信部２０７を介して複写機１０１の機器制御管理部２０２に伝える（Ｓ１１２）。
【００６１】
機器制御管理部２０２は、受信した操作情報を操作ブラウザ部２０１に送るとともに、操作情報に応じて複写機１０１の動作を制御する（Ｓ１１３）。操作ブラウザ部２０１は、操作情報に応じて、ユーザが直接操作した場合と同じように、複写機１０１のＬＣＤ　３０５に表示を行う（Ｓ１１４）。例えば、操作情報が「記録紙」ボタンのクリックを示せば、ＬＣＤ　３０５に記録紙を選択するための子ウィンドウを表示する（図５参照）。
【００６２】
このように、ＰＣ　１０２のモニタ４０４に表示されるユーザインタフェイスと、複写機１０１のユーザインタフェイスとが同期して同様に機能する。これにより、複写機１０１のユーザは、操作代行者による代行操作の様子を観ることができる。そして、操作代行者が「スタートボタン」をクリックすると（Ｓ１１１）、機器制御管理部２０２はその操作情報を受け取り、コピーを実行する（Ｓ１１３）。
【００６３】
代行操作者が代行操作を終了するまで（Ｓ１１５）、ステップＳ１１１からＳ１１４が繰り返される。
【００６４】
以上のようにして、ＰＣ　１０２からの遠隔操作により、複写機１０１を代行操作することができる。なお、操作代行サービスセンタ１００などのサービスマンは、複写機１０１のメインテナンスの際などに代行操作記録部２１０の記録に従い、代行操作代金を受領する。
【００６５】
上記では、複写機１０１を代行操作する例を説明したが、勿論、ディジタルカメラ１０５やファクシミリ装置１０６も同様に代行操作することが可能である。
【００６６】
代行操作の対象がディジタルカメラ１０５であれば、ディジタルカメラ１０５が保持するディジタルカメラ１０５の操作が記述されたマークアップ言語と、ディジタルカメラ１０５に特有のモダリティ（シャッタボタンなど）が記述されたマークアップ言語がＰＣ　１０２に送信され、上記と同様の手順で代行操作が実行される。つまり、ディジタルカメラ１０５（代行操作の対象機器）のユーザインタフェイスが、図２に示した複写機１０１の構成と同様に、同じ仕様のマークアップ言語とブラウザとで実現されていれば、図９に一例を示すようにＰＣ　１０２の画面に代行操作用のユーザインタフェイスを表示することができるから、いかなる機器も遠隔代行操作の対象になる。
【００６７】
上記では、複写機１０１に特有のモダリティが記述されたマークアップ言語を複写機１０１が保持し、これをＰＣ　１０２が受信する例を説明したが、機器に特有のモダリティを記述したマークアップ言語を、その機器を示す機種情報（機種ＩＤ）と組み合わせて、操作代行サービスセンタ１００のサーバに保持することもできる。この場合、代行操作の対象機器から認証情報とともに機種ＩＤを受信して、機種ＩＤをキーとして、操作代行サービスセンタ１００内のサーバからモダリティを記述したマークアップ言語を受信することもできる。こうすれば、特有のモダリティの「見た目」などを表す画像ファイルのような、データサイズが大きいデータが操作代行サービスセンタ１００内のＬＡＮ上を流れるだけであるから、ネットワークのトラフィックを減らし、代行操作の対象機器の負荷を減らす効果がある。さらに、マークアップ言語のアップデート、記述エラーの訂正などが容易になる。
【００６８】
上記では、複写機１０１のプログラムがＲＯＭに保持される例を説明したが、任意の記憶媒体を用いることができる。
【００６９】
このように、本実施形態によれば、機器を操作するためのユーザインタフェイスをマークアップ言語で記述することで、特定の操作対象機器ではなく、さまざまな操作対象機器を代行操作の対象にすることができる。その上、機器に特有のモダリティも、遠隔操作機器でソフトウェア的にシミュレートすることができる。
【００７０】
また、認証によって、代行操作の依頼者の機器以外を誤って代行操作することを防ぐことができる。
【００７１】
さらに、依頼者に特別な負担をかけることなく、容易に代行操作代金を徴収することができる。
【００７２】
【第２実施形態】
以下、本発明にかかる第２実施形態の情報処理装置を説明する。なお、本実施形態において、第１実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７３】
図１０および図１１は第２実施形態における遠隔代行操作システムの動作例を説明するフローチャートである。まず、図１０を参照して、代行操作依頼、課金および認証の過程を説明する。
【００７４】
複写機１０１の代行操作を希望するユーザは、その旨を操作代行サービスセンタ１００に電話で通知する。電話は、操作代行サービスセンタ１００に配置された複数の操作代行者の一人に繋がる。
【００７５】
操作代行者が遠隔操作機器として使用するＰＣ　１０２の初期画面は図７に示すようになっている。操作代行者は、代行操作依頼の依頼を受け付けると、ユーザに、複写機１０１上の操作代行依頼ボタンを押し、その後、操作代行代金を複写機１０１に投入することを要求する。指示に従い、ユーザが、操作代行依頼ボタンを押し、操作代行代金を投入すると（Ｓ９０１〜９０４）、代行操作記録部２１０がこれを記録する（Ｓ９０５）。
【００７６】
続いて、操作代行者は、ＰＣ　１０２の画面の「認証番号発生」ボタンをマウスでクリックする（Ｓ９１０）。これに対して、認証番号発生部２０９は、認証番号として例えば六桁の乱数を発生し（Ｓ９１１）、図７に示す「認証」フィールドのテキストボックスに認証番号を表示する。
【００７７】
操作代行者は、画面に表示された認証番号をユーザに伝え、認証番号を複写機１０１の認証番号入力フィールド３１０に入力して送信ボタン３１１を押すように指示する。なお、図５には認証番号入力フィールド３１０が示されているが、認証番号入力フィールド３１０は操作代行料金が投入された場合にのみ表示される（Ｓ９０５）。
【００７８】
ユーザが、認証番号を入力し、送信ボタン３１１を押すと（Ｓ９０６）、複写機１０１は、操作代行管理サーバ１０３と通信し（操作代行管理サーバ１０３のＩＰアドレスは、予め複写機１０１に組み込まれている）、入力された認証番号と自分自身の操作するためのマークアップ言語のＵＲＬを送信する（Ｓ９０７）。
【００７９】
操作代行管理サーバ１０３は、受信した認証番号とマークアップ言語のＵＲＬを一時保管する。ＰＣ　１０２は、操作代行管理サーバ１０３にアクセスして、ＵＲＬと認証番号を受け取る（Ｓ９１２）。認証処理部２０８は、受信した認証番号と、認証番号発生部２０９が発生した認証番号とが一致するか否かを調べ（Ｓ９１３）、一致すれば遠隔操作の開始を許可する。もし、認証番号が一致しない場合は遠隔操作を拒絶する（Ｓ９１４）。複写機１０１は、ＰＣ　１０２から拒絶通知が来るか否かをチェックし、拒絶されなければ遠隔代行操作を受け付ける。
【００８０】
図１１は遠隔代行操作の動作を説明するフローチャートである。
【００８１】
ＰＣ　１０２は、ステップＳ９１２で受信した複写機１０１のマークアップ言語のＵＲＬにアクセスして、マークアップ言語を受信する（Ｓ１００１、Ｓ１００２、Ｓ１００７、Ｓ１００８）。
【００８２】
ＰＣ　１０２の遠隔操作ブラウザ部２０６は、複写機１０１の操作ブラウザ部２０１と同様に、受信したマークアップ言語に従って動作する。ただし、操作ブラウザ部２０１と異なり、ＰＣ　１０２は「スタートボタン」など複写機１０１に特有の物理モダリティをもたない。そこで、物理モダリティをソフトウェアでシミュレートしなければならない。そのため、複写機１０１がどのようなモダリティをもつかを知る必要がある。また、上述した「ＧＵＩＢｕｔｔｏｎ」「ＰｕｌｌＤｏｗｎＭｅｎｕ」は汎用的な語彙で、遠隔操作ブラウザ部２０６はこれらを解釈することができる。しかし、「ＳｔａｒｔＢｕｔｔｏｎ」という語彙は、複写機１０１に特有の語彙で、遠隔操作ブラウザ部２０６はこれを解釈することができない。
【００８３】
こうした問題を解決するために、複写機１０１は、上述したような、自身に特有のモダリティを記述したマークアップ言語を保持し、これを遠隔操作機器であるＰＣ　１０２に送信する。本実施形態では、このモダリティ記述マークアップ言語をＲＤＦ（ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＲＤＦ／）で記述し、「ＳｔａｒｔＢｕｔｔｏｎ」という語彙が「ＰｈｙｓｉｃａｌＢｕｔｔｏｎ」というクラス（この語彙は汎用語彙とする）のインスタンスであることを示す。これにより、遠隔操作ブラウザ部２０６は「ＳｔａｒｔＢｕｔｔｏｎ」が物理ボタンであることを知ることができる。
【００８４】
しかし、これだけでは「ＳｔａｒｔＢｕｔｔｏｎ」がどのような形状でどの位置にあるのかまではわからず、ＰＣ　１０２の画面上で「ＳｔａｒｔＢｕｔｔｏｎ」をシミュレートすることはできない。そこで、さらに複写機１０１は、上述したモダリティの「位置」や「見た目」を記述するマークアップ言語が保持されていて、これらは遠隔操作機器であるＰＣ　１０２に送信される。この例では、各モダリティの位置や「見た目」の画像が記述されている。これらの記述に従い、ＧＵＩや音声ＵＩなどのソフトウェアベースのモダリティだけでなく、複写機１０１に特有の物理モダリティも、ソフトウェア的に再現することができる。図９はＰＣ　１０２の画面上に再現された複写機１０１のＵＩを示している。
【００８５】
操作代行者は、ユーザがどのような操作をしたいのか、例えば「コピーを設定したい」などを聞き取り、図９に示す画面に向かってマウス操作を行うことで、ユーザの希望を実現するための代行操作を行う（Ｓ１００９）。例えば、操作代行者が「用紙」ボタンをクリックすると、用紙選択用の子ウインドウが表示される、言い換えれば、そのようにマークアップ言語で記述されている。
【００８６】
この操作情報は、遠隔操作ブラウザ部２０６から通信部２０７を介して複写機１０１の機器制御管理部２０２に伝えられる（Ｓ１０１１、Ｓ１００４）。機器制御管理部２０２は、受信した操作情報を操作ブラウザ部２０１に伝える。操作ブラウザ部２０１は、受信した操作情報を解釈して、例えば「用紙」ボタンが押されたことを示す操作情報の場合、ユーザが「用紙」ボタンを押した場合と同じく、複写機１０１のＬＣＤに用紙選択用の子ウインドウを表示する（Ｓ１００６）。
【００８７】
このようにして、ＰＣ　１０２のユーザインタフェイスと、複写機１０１のユーザインタフェイスが同期する。これにより、ユーザは、操作代行者による代行操作の様子を観ることができる。操作代行者が「スタートボタン」をクリックすると、同様に、機器制御管理部２０２はその操作情報を受け取り、複写機１０１にコピーを実行させる。
【００８８】
所望の操作が完了すると、操作代行者は「終了」ボタンをクリックする。これに応じて、ＰＣ　１０２は、終了の旨を複写機１０１に通知する（Ｓ１０１２、Ｓ１００５）。
【００８９】
以上のようにして、ＰＣ　１０２からの遠隔操作により、複写機１０１を代行操作することができる。操作代行サービスセンタ１００は、代行操作記録部２１０の記録に従って、所定の期日に代行操作代金を請求および受領する。
【００９０】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、様々な機器の代行操作が遠隔で可能になる。
【００９５】
また、代行操作料金の支払い関するユーザ負荷を軽減することができる。
【図面の簡単な説明】
【図１】操作代行サービスセンタを説明する図、
【図２】複写機の操作部の構成例を示すブロック図、
【図３】ＰＣの構成例を示すブロック図、
【図４】操作対象機器の代行操作を実現する構成例を示すブロック図、
【図５】複写機のユーザインタフェイスを説明する図、
【図６】遠隔代行操作システムの動作を説明するフローチャート、
【図７】遠隔操作機器の初期画面例を示す図、
【図８】ＰＣの画面上で再現された複写機のユーザインタフェイスを示す図、
【図９】ＰＣの画面上で再現されたディジタルカメラのユーザインタフェイスを示す図、
【図１０】第２実施形態における遠隔代行操作システムの動作例を説明するフローチャート、
【図１１】第２実施形態における遠隔代行操作システムの動作例を説明するフローチャートである。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an operation proxy device and a method thereof, and an information processing device and a control method thereof, and for example, relates to a technology of remotely operating a device remotely.
[0002]
[Prior art]
Several operation proxy systems have been proposed for remotely operating a device in place of a user unfamiliar with the operation of the device.
[0003]
Japanese Patent Application Laid-Open No. 2002-306717 discloses a system in which an agent remotely operates a computer of a user (agent operation). The user sends a proxy request for the operation to the proxy, and the proxy performs the proxy operation of the user's computer in accordance with the content of the proxy request. In addition, a business model has been proposed in which an operation proxy fee is estimated from a proxy request form and the fee is collected. However, the publication does not show a method for realizing remote operation.
[0004]
Japanese Patent Application Laid-Open No. Hei 10-276255 discloses a technique for remotely registering an abbreviated number of a telephone device by remote control. Japanese Patent Laying-Open No. 09-081627 discloses a system in which a terminal device of an information service window system is remotely operated.
[0005]
On the other hand, there is a method of realizing a user interface (GUI) by using a markup language and a browser that interprets and executes the markup language. For example, HTML (Hyper Text Markup Language), which is a description language of a home page, has a mechanism called a form, and can have GUI parts such as buttons and text boxes. HTML was originally invented for Web browsing for browsing contents using a browser, but it can also be applied to remote operation of devices by combining with a mechanism such as CGI (Common Gateway Interface). Against the background of the recent diversification of information device forms such as PDA (Personal Digital Assistant), mobile phones and car navigation systems, WML (Wireless Markup Language) and Voice XML (Extensible Markup, etc.) A description language for a user interface that uses a language has also been developed.
[0006]
The above-mentioned remote operation of the device operation proxy system targets the operation of a specific device, for example, the above-mentioned Japanese Patent Application Laid-Open No. Hei 10-276255 describes the registration of a short number of a telephone device, Targets the operation of the terminal device of the information service counter system.
[0007]
In JP-A-2002-306717, a computer is an operation target. At present, considering that all devices are digitized and include a CPU, all digital devices can be called a computer. However, each device has a different user interface, and each device has a different modality. Therefore, the computer disclosed in Japanese Patent Application Laid-Open No. 2002-306717 does not refer to various digital devices having different modalities and user interface logics, but also targets specific modalities and user interface logics. .
[0008]
[Patent Document 1]
JP 2002-306717 A
[0009]
[Patent Document 2]
JP-A-10-276255
[0010]
[Patent Document 3]
Japanese Patent Application Laid-Open No. 09-081627
[0011]
[Problems to be solved by the invention]
The operation proxy system described above is intended for proxy operation of a specific device, and does not have versatility for proxy operation of various types of devices.
[0012]
On the other hand, JP-A-2002-306717 discloses a business model in which a user pays a proxy operation fee to an operator. However, the business model disclosed in the above publication has a problem in that the user has to pay the operation agent fee directly to the operation agent, which imposes a heavy burden on the user.
[0013]
An object of the present invention is to solve the above-mentioned problems individually or collectively, and an object of the present invention is to enable remote operation of various devices.
[0014]
Another object is to reduce the user load related to the payment of the operation proxy fee.
[0015]
[Means for Solving the Problems]
The present invention has the following configuration as one means for achieving the above object.
[0016]
An operation proxy method according to the present invention is an operation proxy method for remotely operating a device upon receiving an operation request for the device, wherein the operation proxy method acquires a markup language describing a user interface for operating the device. According to the acquired markup language, a user interface for operating the device is displayed on a monitor, and operation information indicating an operation on the user interface for operating the device is transmitted to the device. I do.
[0017]
An operation proxy device according to the present invention is an operation proxy device for remotely operating the device upon receiving an operation request for the device, and includes a markup language in which a user interface for operating the device is described. Acquisition means for acquiring, display means for displaying a user interface for operating the device on a monitor according to the acquired markup language, and operation information indicating an operation on the user interface for operating the device. Transmitting means for transmitting to the device.
[0018]
An information processing apparatus according to the present invention is an information processing apparatus capable of performing an operation substitute by remote operation, and holding means for holding a markup language describing a user interface for operating the information processing apparatus; Operating means for displaying, on a monitor, a user interface for operating the information processing device according to the markup language, and inputting a user operation on the user interface, and operation information of the user interface according to the markup language Receiving means for receiving the information, and control means for controlling the operation of the information processing apparatus according to the operation information input by the operation means and the operation information received by the reception means, wherein the operation means The display is updated according to the operation information to be performed.
[0019]
Preferably, further, there is a recording means for confirming payment of the fee related to the proxy operation and recording the execution of the proxy operation, wherein the recording means confirms the payment of the fee, and displays an authentication number input field for the proxy operation. The display is permitted to the operation means.
[0020]
A control method according to the present invention is a control method of an information processing apparatus capable of performing an operation substitute by remote control, and holds a markup language in which a user interface for operating the information processing apparatus is described. According to a markup language, a user interface for operating the information processing device is displayed on a monitor, a user operation on the user interface is input, and operation information of the user interface according to the markup language is received, The operation of the information processing apparatus is controlled according to the input operation information and the received operation information, and the display is updated according to the received operation information.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an information processing apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings.
[0022]
[Overview]
As a method of realizing versatility for various types of proxy operations of a device, a method of realizing a user interface of the device by using a markup language and a browser that interprets and executes the markup language is considered. If the user interface of the operating device consists of a markup language and a browser, it is possible to implement various remote operations by installing a browser that interprets and executes this markup language on the device that performs the remote operation. it can. In other words, the device to be remotely controlled transmits the markup language describing its user interface to the device that performs the remote operation, and the device that performs the remote control executes the markup language by using the browser to perform the operation. Necessary information is exchanged between the agent and the remotely operated device.
[0023]
However, the devices to be remotely controlled include a modality implemented by software such as a GUI and a voice UI, and a physical modality implemented by hardware such as a physical button and a jog dial. Since the operation agent does not have the same device as the device to be remotely controlled, a general-purpose computer device such as a personal computer (PC) is used as the device to perform the remote control. Therefore, in order to perform an arbitrary operation on behalf of a remotely operated computer device, it is necessary to simulate, by software, all modalities including a physical modality of the remotely operated device on the computer device. However, existing markup languages target only modalities assumed in advance, such as GUI, voice UI, and DTMF (Dual-tone Multiple Frequency), and cannot describe physical modalities.
[0024]
Therefore, in order to realize the operation proxy of various devices, it is necessary to remotely perform the proxy operation of a physical user interface device realized by hardware such as a physical button and a jog dial provided in the devices.
[0025]
[First Embodiment]
[Constitution]
FIG. 1 is a diagram illustrating an operation proxy service center according to the embodiment. In the operation agent service center 100, there are a plurality of agent agents each using the PC 102 as a remote operation device, and users of various digital devices such as the copier 101, the digital camera 105, and the facsimile machine (FAX) 106 receive Internet access. For example, a proxy operation request is received through a WAN (Wide Area Network) 104 and a service is provided through the Internet 104 to operate these devices. The operation agent management server 103 arranged in the operation agent service center 100 manages the PC 102.
[0026]
Hereinafter, a case where the user of the copying machine 101 requests a proxy operation will be described.
[0027]
FIG. 2 is a block diagram showing a configuration example of the operation unit of the copying machine 101.
[0028]
2, a CPU 301 executes a program, which is stored in a ROM 303 or the like and realizes a procedure described later, using a RAM 302 as a work memory. The disk device 304 holds a markup language described later. A liquid crystal display (LCD) 305 is used for GUI display and the like.
[0029]
The physical buttons 307 correspond to the start button, reset button, numeric keypad, and the like of the copying machine shown in FIG. Microphone 306 receives a user's voice input. The speaker 308 outputs a sound such as a synthesized sound or a beep sound by voice synthesis. Note that the microphone 306 and the speaker 308 each have an interface for converting recorded sound into a digital signal and converting synthesized sound into an analog sound signal.
[0030]
The above configurations are interconnected by a bus 309.
[0031]
FIG. 3 is a block diagram illustrating a configuration example of the PC 102.
[0032]
3, a CPU 401 executes a program for realizing a procedure described later, which is stored in a ROM 403, a disk device 405, or the like, using a RAM 402 as a work memory. The operation agent remotely operates the copying machine 101 by operating the mouse 406 and the keyboard 407 based on the GUI display displayed on the monitor 404.
[0033]
The microphone 408 receives a voice input of the operation agent. The speaker 409 outputs a sound such as a synthesized sound or a beep sound by voice synthesis. Note that the microphone 408 and the speaker 409 have interfaces for converting recorded sound into a digital signal and converting synthesized sound and the like into an analog sound signal.
[0034]
The above configurations are interconnected by a bus 410.
[0035]
FIG. 4 is a block diagram showing a configuration example for realizing a proxy operation of the operation target device (copier 101). For the operation target device, an operation browser unit 201, a device control management unit 202, an authentication number transmission unit 203, and a communication unit 204 , A proxy operation recording unit 210 and a markup language (ML) holding unit 205. The ML holding unit 205 holds a markup language describing a user interface of the copying machine 101, and is assigned to the disk device 304 shown in FIG.
[0036]
On the other hand, the remote control device (PC 102) includes a remote control browser 206, a communication unit 207, an authentication processing unit 208, an authentication number generation unit 209, and the like.
[0037]
[Operation of copier]
First, the operation of the copying machine 101 when the user directly operates the copying machine 101 (in other words, when the substitute operation is not requested) will be described.
[0038]
The device control management unit 202 reads a markup language describing the user interface of the copying machine 101 from the ML holding unit 205 and sends the markup language to the operation browser unit 201. The operation browser unit 201 executes the sent markup language. The markup language describes the relationship between the operation of the user and the operation of the copier 101 in XML. The operation browser unit 201 performs GUI display according to the markup language, accepts the operation of the user, and stores the user operation information. To the device control management unit 202. The device control management unit 202 controls the operation of the copying machine 101 according to the transmitted user operation information.
[0039]
[Markup Language Specification]
Next, the specification of the markup language will be described. An example of a markup language describing the user interface of the copying machine 101 is shown below.

[0040]
The tag mmml is a root tag wrapping the whole, and the operation logic is described inside the tag dialog.
[0041]
The minimum unit of operation (input / output) is a field. The field has elements such as input, output, and filled. Input and output are tags that describe what information is input and output, respectively. When there is an input (user operation) corresponding to input, the contents of the tag filled described immediately after are executed.
[0042]
Each field takes either an active state or an inactive state. In addition, you can activate or deactivate yourself or another field. By describing activate or deactivate of the field, the state transition of the dialog can be controlled.
[0043]
In the case of Voice XML, since the system is basically led, the system automatically proceeds to the next field each time one input operation is performed. That is, the active field moves sequentially. On the other hand, in the present embodiment, the active or inactive state of each field does not change unless it is explicitly activated or deactivated. The explicit designation of activate or deactivate is performed by the tag activate or the tag deactivate in the tag filled.
[0044]
Hereinafter, the role of the field and each element of the field (a tag described inside the tag field) will be described in detail.
[0045]
● Role of field
A field indicates the minimum unit of input / output in a dialog using the UI, and describes the type of input to be accepted, the operation for the input, or the content to be output. The type of input is represented by a tag input, and the operation for the input is represented by a tag filled. The output is represented by a tag output. Note that only the active field can be input / output. Even if the input is completed as in the field of Voice XML, it does not proceed to the next field. The description “proceed to the next field” is realized by explicitly describing activating the next field and deactivating itself.
[0046]
● The role of input
In the “input”, the type of input desired to be accepted in the field to which the input belongs is described. The modality that accepts the input is described in the mode attribute. (1) in the above description example indicates that the “recording paper” button shown in FIG. 5 is displayed, and that input is accepted by the GUI button. The type of input is described in the type attribute. There are the following attribute values.
"SelectMe" ... An input of a type that accepts the fact that there was an input. Modalities such as "buttons" and voices can be assigned.
"SelectOne" ... one that selects one from options. Radio buttons and pull-down menus are typical modalities. The options are described by a tag item.
"SelectMany" ... Selects a plurality of options. ComboBox and the like are typical modalities. As with the selectOne type, options are described by a tag item.
"TextString" ... accepts input of a character string. GUI text boxes and voice input are typical modalities.
[0047]
● The role of output
The output describes the output in the field to which it belongs. The output content can be described by a tag content.
[0048]
● The role of filled
A field describes an action for an input in each field. There are various types of actions. By using the tag activate or the tag deactivate to make itself or another field explicitly active or inactive, or to interact with an internal program other than the UI by script description or some other description method (for example, receiving an input of “copy start”) A typical action is to start a processing program that actually performs copying. Also, when responding to an input, the tag output can be described in filled.
[0049]
● The role of the form
The operation logic is, so to speak, a state transition of the dialog between the user and the device. The form describes one state of the dialog, for example, an initial screen of the copier, each setting mode screen, and the like. A form can include a plurality of fields. When the form is activated or deactivated, all the fields belonging to the form become active or inactive.
[0050]
[Remote proxy operation]
FIG. 6 is a flowchart for explaining the operation of the remote proxy operation system. The left side shows the operation of the remote operation device (PC 102), and the right side shows the operation of the operation target device (copier 101). FIG. 7 is a diagram showing an example of an initial screen of the PC 102 used as a remote operation device by the operation agent.
[0051]
● Proxy operation request, billing and authentication
When a user (requester) of the copying machine 101 requests a proxy operation of the copying machine 101, the user first calls the operation proxy service center 100. The operation agency service center 100 has a plurality of operation agents, one of which is connected to a telephone.
[0052]
When receiving the request for the proxy operation (S101), the proxy agent first requests the client to put the proxy fee into the copying machine 101 (S102). When the client puts the operation proxy into a predetermined slot of the copying machine 101, the proxy operation recording unit 210 records the input of the operation proxy (S103).
[0053]
Subsequently, when the operation agent clicks the “authentication number generation” button on the screen shown in FIG. 7, the authentication number generation unit 209 generates a six-digit random number (S104). This random number is displayed in the text box of the “authentication” field adjacent to the “authentication number generation” button. The operation agent informs the client of this authentication number, operates the physical button 307 of the operation unit of the copying machine 101, inputs the authentication number, and instructs the user to press the transmission button 311 shown in FIG. 5 (S105). ). Note that the “authentication number input” field 310 of the copying machine 101 shown in FIG. 5 is displayed only when a substitute fee is input to the copying machine 101.
[0054]
The client inputs the authentication number and presses the send button 311. Accordingly, the copying machine 101 communicates with the operation proxy management server 103, and stores the input authentication number and network address information (for example, URL (Uniform Resource Locator)) indicating a markup language for operating the copying machine 101. It is transmitted (S106). Note that the URL or IP address of the operation proxy management server 103 is incorporated in the copier 101 in advance.
[0055]
The operation undertaking management server 103 temporarily stores the received authentication number and URL. The operation agent operates the PC 102 to access the operation agent management server 103, and acquires the received authentication number and URL (S107). The authentication processing unit 208 checks whether or not the obtained authentication number matches the authentication number generated by the authentication number generation unit 209 (S108). If they match, the obtained URL is accessed and copied. The markup language of the device 101 is received (S109). If the authentication numbers do not match, the remote proxy operation is rejected.
[0056]
● Remote proxy operation
The remote operation browser unit 206 operates according to the received markup language, similarly to the operation browser unit 201 of the copying machine 101 (S110). However, unlike the operation browser section 201, the PC 102 does not have a physical modality such as a “start button” that is unique to the copying machine 101, so that this is simulated by software. For that purpose, it is necessary to know what modality the copying machine 101 has.
[0057]
“GUIButton” and “PullDownMenu” shown in (1) and (3) in the above examples of the markup language are general-purpose vocabularies, and the remote control browser unit 206 can interpret them. On the other hand, the vocabulary “StartButton” shown in (2) is a vocabulary unique to the copying machine 101 and cannot be interpreted by the remote control browser unit 206. In order to solve such a problem, the copier 101 holds a markup language describing its own unique modality as shown in the following example, and the PC 102 receives this markup language. In the present embodiment, the markup language describing this modality is described in RDF (http://www.w3.org/RDF/).

[0058]
The vocabulary “StartButton” shown in (4) in the above markup language indicates that it is an instance of a class “PhysicalButton” (this vocabulary is a general vocabulary). Thereby, the remote control browser unit 206 can know that “StartButton” is a physical button. However, it is not possible to simulate the “Start Button” with this alone, since it is not known what shape and position the “Start Button” is. Therefore, the copier 101 holds a markup language that describes the “position” and “look” of the modality, as in the following markup language example, and the PC 102 receives this markup language.

[0059]
The above markup language example describes the position of each modality and the "look" image. According to these descriptions, not only software-based modalities such as a GUI and a voice UI but also physical modalities unique to the copying machine 101 can be reproduced in software. FIG. 8 is a diagram showing a UI of the copying machine 101 reproduced on the screen of the PC 102.
[0060]
The operation agent receives the agent operation desired by the requester (for example, copy setting), and operates the screen shown in FIG. 8 to perform the desired agent operation (S111). For example, when the operation agent clicks a “recording paper” button, a child window for selecting a recording paper is displayed. In other words, the markup language is described as such. The remote operation browser unit 206 transmits the operation information to the device control management unit 202 of the copying machine 101 via the communication unit 207 (S112).
[0061]
The device control management unit 202 sends the received operation information to the operation browser unit 201, and controls the operation of the copying machine 101 according to the operation information (S113). The operation browser unit 201 displays an image on the LCD 305 of the copying machine 101 according to the operation information, as in the case where the user directly operates (S114). For example, if the operation information indicates that the “recording paper” button is clicked, a child window for selecting a recording paper is displayed on the LCD 305 (see FIG. 5).
[0062]
As described above, the user interface displayed on the monitor 404 of the PC 102 and the user interface of the copier 101 function similarly in synchronization. Thus, the user of the copying machine 101 can see the state of the proxy operation by the proxy agent. Then, when the operation agent clicks the "start button" (S111), the device control management unit 202 receives the operation information and executes the copy (S113).
[0063]
Steps S111 to S114 are repeated until the proxy operator finishes the proxy operation (S115).
[0064]
As described above, the copier 101 can be operated on behalf of the user by remote control from the PC 102. Note that a service person such as the operation proxy service center 100 receives the proxy operation fee according to the record of the proxy operation recording unit 210 when the copier 101 is maintained.
[0065]
In the above description, the example in which the copier 101 is operated on behalf of the copier 101 has been described. However, the digital camera 105 and the facsimile apparatus 106 can be operated on behalf of the copier.
[0066]
If the object of the proxy operation is the digital camera 105, a markup language describing the operation of the digital camera 105 held by the digital camera 105 and a markup describing a modality (such as a shutter button) unique to the digital camera 105 are described. The language is transmitted to PC 102, and the proxy operation is performed in the same procedure as described above. In other words, if the user interface of the digital camera 105 (the target device of the proxy operation) is realized by a markup language and a browser having the same specifications as in the configuration of the copier 101 shown in FIG. As shown in FIG. 1, since a user interface for proxy operation can be displayed on the screen of the PC 102, any device can be subjected to remote proxy operation.
[0067]
In the above description, an example has been described in which the copying machine 101 holds a markup language in which a modality specific to the copying machine 101 is described, and the PC 102 receives the markup language. In combination with the model information (model ID) indicating the device, the server can be stored in the server of the operation proxy service center 100. In this case, it is also possible to receive the model ID together with the authentication information from the target device of the proxy operation, and to receive a markup language describing the modality from the server in the proxy service center 100 using the model ID as a key. In this way, since data having a large data size, such as an image file representing the "look" of a specific modality, only flows on the LAN in the operation agency service center 100, network traffic is reduced and agency operations are performed. This has the effect of reducing the load on the target device. Further, it is easy to update a markup language, correct a description error, and the like.
[0068]
In the above, the example in which the program of the copying machine 101 is stored in the ROM has been described, but any storage medium can be used.
[0069]
As described above, according to the present embodiment, a user interface for operating a device is described in a markup language, so that various operation target devices, not specific operation target devices, are subjected to the proxy operation. be able to. Moreover, device-specific modalities can be simulated in software on the remote control device.
[0070]
In addition, the authentication can prevent a device other than the client device of the proxy operation from being erroneously performed.
[0071]
Further, the proxy operation fee can be easily collected without imposing a special burden on the client.
[0072]
[Second embodiment]
Hereinafter, an information processing apparatus according to a second embodiment of the present invention will be described. Note that, in the present embodiment, the same reference numerals are given to configurations substantially similar to those of the first embodiment, and detailed description thereof will be omitted.
[0073]
FIGS. 10 and 11 are flowcharts illustrating an operation example of the remote proxy operation system according to the second embodiment. First, with reference to FIG. 10, a process of a proxy operation request, charging and authentication will be described.
[0074]
A user who desires the proxy operation of the copier 101 notifies the operation proxy service center 100 of the fact by telephone. The telephone connects to one of the plurality of operation agents arranged in the operation agent service center 100.
[0075]
FIG. 7 shows an initial screen of the PC 102 used as a remote control device by the agent. Upon receiving the request for the proxy operation request, the proxy agent presses the proxy operation button on the copying machine 101 and then requests the user to input the proxy fee to the copying machine 101. When the user presses the operation proxy request button according to the instruction and inputs the operation proxy fee (S901 to 904), the proxy operation recording unit 210 records this (S905).
[0076]
Next, the operation agent clicks the “authentication number generation” button on the screen of the PC 102 with the mouse (S910). In response to this, the authentication number generation unit 209 generates, for example, a six-digit random number as the authentication number (S911), and displays the authentication number in the text box of the “authentication” field shown in FIG.
[0077]
The operation agent informs the user of the authentication number displayed on the screen, inputs the authentication number to the authentication number input field 310 of the copier 101, and instructs the user to press the send button 311. Although the authentication number input field 310 is shown in FIG. 5, the authentication number input field 310 is displayed only when an operation proxy fee is input (S905).
[0078]
When the user inputs the authentication number and presses the send button 311 (S906), the copying machine 101 communicates with the operation proxy management server 103 (the IP address of the operation proxy management server 103 is incorporated in the copying machine 101 in advance. ), And transmits the input authentication number and the URL of a markup language for operating itself (S907).
[0079]
The operation proxy management server 103 temporarily stores the received authentication number and URL of the markup language. The PC 102 accesses the operation undertaking management server 103 and receives the URL and the authentication number (S912). The authentication processing unit 208 checks whether the received authentication number matches the authentication number generated by the authentication number generation unit 209 (S913), and if they match, permits the start of remote operation. If the authentication numbers do not match, the remote operation is rejected (S914). The copying machine 101 checks whether or not a rejection notification is received from the PC 102, and if not rejected, accepts a remote proxy operation.
[0080]
FIG. 11 is a flowchart illustrating the operation of the remote proxy operation.
[0081]
The PC 102 accesses the markup language URL of the copying machine 101 received in step S912, and receives the markup language (S1001, S1002, S1007, S1008).
[0082]
The remote operation browser unit 206 of the PC 102 operates according to the received markup language, similarly to the operation browser unit 201 of the copier 101. However, unlike the operation browser unit 201, the PC 102 does not have a physical modality unique to the copying machine 101 such as a “start button”. So the physical modality must be simulated in software. Therefore, it is necessary to know what modality the copying machine 101 has. The above-mentioned “GUIButton” and “PullDownMenu” are general-purpose vocabularies, and the remote control browser unit 206 can interpret them. However, the vocabulary “StartButton” is a vocabulary unique to the copying machine 101, and the remote control browser unit 206 cannot interpret it.
[0083]
In order to solve such a problem, the copier 101 holds a markup language describing a modality specific to itself, as described above, and transmits this to the PC 102 which is a remote control device. In this embodiment, this modality description markup language is described in RDF (http://www.w3.org/RDF/), and the vocabulary “StartButton” is a class “PhysicalButton” (this vocabulary is a general vocabulary). ). Thereby, the remote control browser unit 206 can know that “StartButton” is a physical button.
[0084]
However, with this alone, it is not possible to know the shape and position of “Start Button” and it is not possible to simulate “Start Button” on the screen of the PC 102. Therefore, the copier 101 further holds a markup language that describes the “position” and “look” of the above-described modality, and these are transmitted to the PC 102 which is a remote control device. In this example, the position of each modality and the image of “look” are described. According to these descriptions, not only software-based modalities such as a GUI and a voice UI but also physical modalities unique to the copying machine 101 can be reproduced in software. FIG. 9 shows the UI of the copier 101 reproduced on the screen of the PC 102.
[0085]
The operation agent listens to what kind of operation the user wants to perform, for example, “I want to make a copy”, and performs a mouse operation on the screen shown in FIG. An operation is performed (S1009). For example, when the operation agent clicks the “paper” button, a child window for paper selection is displayed. In other words, the child window is described in a markup language.
[0086]
This operation information is transmitted from the remote operation browser unit 206 to the device control management unit 202 of the copying machine 101 via the communication unit 207 (S1011 and S1004). The device control management unit 202 transmits the received operation information to the operation browser unit 201. The operation browser unit 201 interprets the received operation information and, for example, when the operation information indicates that the “paper” button is pressed, the operation browser unit 201 displays the LCD of the copier 101 in the same manner as when the user presses the “paper” button. A child window for selecting a sheet is displayed (S1006).
[0087]
Thus, the user interface of the PC 102 and the user interface of the copier 101 are synchronized. Thereby, the user can watch the state of the proxy operation by the proxy agent. When the operation agent clicks the “start button”, the device control management unit 202 similarly receives the operation information and causes the copier 101 to execute the copy.
[0088]
When the desired operation is completed, the operation agent clicks an “end” button. In response, the PC 102 notifies the copying machine 101 of the end (S1012, S1005).
[0089]
As described above, the copier 101 can be operated on behalf of the user by remote control from the PC 102. The operation proxy service center 100 requests and receives a proxy operation fee on a predetermined date according to the record of the proxy operation recording unit 210.
[0090]
[Other embodiments]
The present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but can be applied to a device including one device (for example, a copier, a facsimile machine, etc.). May be applied.
[0091]
Further, an object of the present invention is to supply a storage medium (or a recording medium) in which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or an apparatus, and a computer (or a CPU or a CPU) of the system or the apparatus. Needless to say, the present invention can also be achieved by an MPU) reading and executing a program code stored in a storage medium. In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the storage medium storing the program code constitutes the present invention. When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing.
[0092]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is executed based on the instruction of the program code. It goes without saying that the CPU included in the expansion card or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0093]
When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above.
[0094]
【The invention's effect】
As described above, according to the present invention, proxy operations of various devices can be remotely performed.
[0095]
Further, it is possible to reduce the user load related to the payment of the proxy operation fee.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an operation agency service center;
FIG. 2 is a block diagram illustrating a configuration example of an operation unit of the copying machine;
FIG. 3 is a block diagram illustrating a configuration example of a PC.
FIG. 4 is a block diagram showing a configuration example for realizing a proxy operation of an operation target device;
FIG. 5 is a view for explaining a user interface of the copying machine;
FIG. 6 is a flowchart for explaining the operation of the remote proxy operation system;
FIG. 7 is a diagram showing an example of an initial screen of the remote control device;
FIG. 8 is a view showing a user interface of the copying machine reproduced on a screen of a PC;
FIG. 9 is a view showing a user interface of the digital camera reproduced on the screen of the PC;
FIG. 10 is a flowchart illustrating an operation example of the remote proxy operation system according to the second embodiment;
FIG. 11 is a flowchart illustrating an operation example of the remote proxy operation system according to the second embodiment.

Claims

An operation proxy method for remotely operating the device upon receiving an operation request for the device,
Obtain a markup language in which a user interface for operating the device is described,
According to the acquired markup language, display a user interface for operating the device on a monitor,
An operation proxy method, wherein operation information indicating an operation on a user interface for operating the device is transmitted to the device.

The method according to claim 1, wherein the markup language is stored in the device.

The method according to claim 1, wherein the markup language is stored in a predetermined server.

In addition, issue a certification number,
The method according to claim 1, wherein the markup language is acquired based on network address information received together with the authentication number.

In addition, issue a certification number,
The operation proxy method according to claim 1, wherein the markup language is acquired from a predetermined server based on the model information received together with the authentication number.

6. The operation proxy method according to claim 1, wherein the markup language includes at least a description of an operation logic of the device and a description of a modality of the device.

The operation proxy method according to claim 6, wherein the description of the modality includes a description of a physical user interface device provided in the device.

An operation proxy device for remotely operating the device in response to a device operation request,
Acquiring means for acquiring a markup language in which a user interface for operating the device is described,
Display means for displaying a user interface for operating the device on a monitor according to the acquired markup language,
A transmitting unit for transmitting operation information indicating an operation on a user interface for operating the device to the device, the operation proxy device comprising:

An information processing device capable of performing operation substitution by remote control,
Holding means for holding a markup language in which a user interface for operating the information processing apparatus is described,
Operating means for displaying a user interface for operating the information processing apparatus on a monitor according to the markup language, and inputting a user operation on the user interface;
Receiving means for receiving operation information of a user interface according to the markup language,
Control means for controlling the operation of the information processing apparatus according to the operation information input by the operation means and the operation information received by the reception means,
The information processing apparatus, wherein the operation unit updates the display according to the received operation information.

Further, a recording means for confirming payment of a fee related to the operation proxy and recording execution of the operation proxy,
10. The information processing apparatus according to claim 9, wherein the recording unit, upon confirming payment of the fee, permits the operation unit to display an authentication number input field for the operation proxy.

11. The apparatus according to claim 10, further comprising a transmission unit configured to transmit the authentication number input in the input field and the network address information of the markup language or the model information of the information processing apparatus to a predetermined network address. An information processing apparatus according to claim 1.

A method for controlling an information processing device capable of performing operation substitution by remote control,
Holding a markup language in which a user interface for operating the information processing device is described,
According to the markup language, a user interface for operating the information processing device is displayed on a monitor,
Inputting a user operation on the user interface,
Receiving operation information of a user interface according to the markup language,
According to the input operation information and the received operation information, to control the operation of the information processing device,
A control method, wherein the display is updated according to received operation information.

A non-transitory computer-readable storage medium storing a program for controlling an information processing apparatus to execute the processing according to any one of claims 1 to 7 or claim 12.

A recording medium on which the program according to claim 13 is recorded.