JP2023176618A - Ｒｐａスクリプトデータの作成方法、ｒｐａスクリプトデータの実行方法、端末装置、画像処理装置、ｒｐａスクリプトデータ、プログラム - Google Patents

Abstract

【課題】ＲＰＡスクリプトデータを実行する際、ウィンドウのスキャンを実行することなく、操作対象となる場所を適切にＲＰＡに指示するＲＰＡスクリプトデータの作成方法、プログラム及び画像処理装置を提供する。【解決手段】画像処理装置とＴＣＰコネクションを通じて接続する端末装置のリモートパネルアプリは、ウィンドウ表示された状態で操作者の操作に従い、ＲＰＡでされるべき操作の対象となった場所のウィンドウ内の座標を即値として変数に代入するスクリプト３３１０、３３２０、そのウィンドウの横画素数、縦画素数を即値として変数に代入するスクリプト３４１０、３４２０及びこれらの変数に設定されたウィンドウ内の座標、ウィンドウの横画素数Ｅ＿ＷＩＮｗｉｄｔｈ、縦画素数Ｅ＿ＷＩＮｈｅｉｇｈｔを含むＲＰＡスクリプトデータ２６００を作成する。これらを用いて、操作の対象となった場所の座標を再計算するスクリプト３５１０を生成する。【選択図】図５

Description

端末装置がＲＰＡによる操作を行う場合に、端末装置に実行させるべきＲＰＡスクリプトデータを作成する作成方法、実行方法に関する。

従来のＲＰＡスクリプトデータの作成方法は、いわゆるＲＰＡプログラミングであり、デスクトップ画面に対して、ＲＰＡによる操作の内容を、Ｐｙｔｈｏｎ（登録商標）、ＶＢＳｃｒｉｐｔ（登録商標）、ＶＢ．ＮＥＴ（登録商標）、ＧＡＳ（登録商標）、Ｃ＃（登録商標）といったプログラミング言語の文法に従って記述することでなされる。
ＲＰＡ（Robotic Process Automation）とは、従来、人間による手作業でなされていた操作画面に対する操作を、プログラムに代行させ、自動化する技術である。上記の自動化には、マウス自動制御機能、キーボード自動入力機能、スクリーンショット自動作成機能、画像認識機能、メッセージボックス機能等、様々な機能を用いることができる。これらを組み合わせることで、ＲＰＡでは、事務職の担当者が行うのと、遜色がないレベルの様々なデスクワークを実現することができる。

ＲＰＡで操作すべき、操作対象の位置は、いわゆるデスクトップ画面、つまり、オペレーティングシステムにおいて、最上位の階層に表示される画面の座標系で表現される。
一方、リモートパネルシステムを対象とした、ＲＰＡスクリプトデータを作成したいとのニーズが近年増えつつある。特許文献１は、端末装置を用いて画像処理装置を操作するリモートパネルシステムを開示する。当該端末装置は、画像処理装置の操作画面に対応するビットマップを表示し、操作すべき操作対象の位置の指定を操作者から受け付けて、その指定に応じた処理を画像処理装置に実行させる。そうした操作すべき操作対象の位置を、自動的に指定するよう、ＲＰＡスクリプトデータを作成しておけば、ＲＰＡスクリプトデータの作成者は、画像処理装置の操作をＲＰＡに実行させることができる。

特開2016-144097号公報

ところで従来のリモートパネルシステムにおいて、端末装置に表示された状態の操作画面は、ユーザー操作により、任意に大きさが変えられる。これに対し、従来のＲＰＡスクリプトデータ作成方法は、デスクトップ画面の座標系の座標で、操作すべき操作対象の位置を指定する。

このように、デスクトップ画面の座標系の座標で、操作すべき操作対象の位置が指定されていると、操作画面の大きさが変えられた場合、大きさが変えられた後の、操作すべき操作対象の位置を適切に指示することができないという問題がある。
本開示の第1の目的は、操作画面の大きさが変えられた場合、大きさが変えられた後の、操作位置を適切に指示することができる、ＲＰＡスクリプトデータの作成方法を提供することである。

第２の目的は、上記の作成方法で作成されたＲＰＡスクリプトデータを用いて、ＲＰＡにより操作すべき位置の座標を適切に算出することができるＲＰＡスクリプトデータの実行方法を提供することである。

第３の目的は、上記の作成方法を実行することができる端末装置を提供することである。

第４の目的は、上記の作成方法で作成されたＲＰＡスクリプトデータを用いて、ＲＰＡにより操作すべき位置の座標を算出することができる画像処理装置を提供することである。

第５の目的は、上記の作成方法に用いることができるＲＰＡスクリプトデータのデータ構造を提供することである。

第６の目的は、上記の作成方法で作成されるＲＰＡスクリプトデータを用いて、ＲＰＡにより操作すべき位置の座標をコンピュータに算出させることができるプログラムを提供することである。

上記第１の目的は、画像処理装置用の操作画面を自端末に表示してＲＰＡによる操作を受け付ける端末装置において、操作を行うためのＲＰＡスクリプトデータを作成する作成方法であって、操作画面に表示されていて操作者によって選択された操作対象の位置を検出する第１ステップと、前記検出された操作対象の位置を、操作画面のサイズに基づき正規化して、正規化された位置を示す位置情報を生成し、当該位置情報をＲＰＡスクリプトデータに記載する第２ステップとを有することを特徴とするＲＰＡスクリプトデータの作成方法により達成される。

前記端末装置は、前記操作画面をウィンドウ表示し、前記第２ステップによる操作対象の位置の正規化は、前記操作画面をウィンドウ表示した際の表示サイズと、操作すべき操作対象の位置のウィンドウ内座標とを用いてなされるとしてもよい。

前記第２ステップは、前記ウィンドウ表示のサイズを取得するスクリプト、取得したウィンドウ表示のサイズと、位置情報に示される正規化された操作対象の位置とを用いて、前記操作対象の位置を示すウィンドウ内座標を算出する算出スクリプトを生成し、ＲＰＡスクリプトデータに記載するとしてもよい。

前記ＲＰＡスクリプトデータは、操作すべき操作対象の位置が検出された際の、端末装置の画面解像度を示す解像度情報を有し、前記第２ステップにより生成される算出スクリプトは、前記ウィンドウ内座標の算出に、前記ＲＰＡスクリプトデータの解像度情報に示される画面解像度と、ＲＰＡスクリプトデータを実行する際の端末装置の画面解像度との比率を用いるとしてもよい。

前記第２ステップは、前記画像処理装置の画面解像度と、位置情報に示される操作対象の正規化された位置とを用いて、画像処理装置の操作画面内座標を算出する算出スクリプトを生成して、ＲＰＡスクリプトデータに記載するとしてもよい。

上記第２の目的は、画像処理装置用の操作画面を自端末に表示してＲＰＡによる操作を受け付ける端末装置において、ＲＰＡスクリプトデータを実行してＲＰＡによる操作を行うＲＰＡスクリプトデータの実行方法であって、操作画面のサイズを用いて正規化された位置情報に基づきＲＰＡによる操作の対象となる位置の座標を算出する第１ステップと、算出された座標において、ＲＰＡによる操作を実行して、対応する処理を行うよう画像処理装置に指示する第２ステップとを含むことを特徴とするＲＰＡスクリプトデータの実行方法により達成される。

前記端末装置は、画像処理装置の操作画面をウィンドウ表示し、前記第１ステップによる座標の算出は、前記ウィンドウ表示のサイズを取得して、取得したサイズと、位置情報に示される正規化された操作対象の位置とを用いて、ウィンドウ内座標を算出することでなされるとしてもよい。

前記ＲＰＡスクリプトデータは、操作すべき操作対象の位置が検出された際の、端末装置の画面解像度を示す解像度情報を有し、前記第２ステップは、前記操作すべき操作対象の位置のウィンドウ内座標の算出に、前記ＲＰＡスクリプトデータの解像度情報に示される画面解像度と、ＲＰＡスクリプトデータを実行する際の端末装置の画面解像度との比率を用いるとしてもよい。

前記第２ステップによる座標の算出は、前記画像処理装置の画面解像度と、前記位置情報に示される操作対象の正規化された位置とを用いて、画像処理装置の画面内座標を算出することでなされるとしてもよい。

前記第１ステップによる前記座標の算出は、前記端末装置及び前記画像処理装置のどちらかによってなされるとしてもよい。

更に、接続可能な画像処理装置をユーザーに提示して、何れの画像処理装置に処理を行わせるかの選択を受け付ける第１サブステップ、画像処理装置が選択されれば、当該画像処理装置の画面解像度を取得する第２サブステップを含み、前記第１ステップによる前記座標の算出は、前記ＲＰＡスクリプトデータの位置情報と、取得した画像処理装置の画面解像度との比率を用いて、画像処理装置の画面内座標を算出することでなされるとしてもよい。

ＲＰＡスクリプトデータは、複数の動作スクリプトにより構成され、ＲＰＡスクリプトデータに基づき画像処理装置に操作を指示するにあたり、画像処理装置の処理が停止したかどうかの判定を行う第３ステップ、画像処理装置による処理が停止した場合、前記何れかの動作スクリプトをエラー箇所として管理者に通知する第４ステップを有し、前記位置情報は、何れかの動作スクリプトに含まれるとしてもよい。

第４ステップにおける通知後に、ＲＰＡスクリプトデータの再作成を実行する第５ステップを有し、第４ステップは、操作タイミングの指定を管理者から受け付けるサブステップを有し、エラー箇所として通知された動作スクリプトの前後には、指定された操作タイミングに従い、動作スクリプトの発行タイミングを調整するスクリプトが挿入されるとしてもよい。

上記第３の目的は、画像形成装置の操作画面を表したビットマップを画像処理装置から受信する受信手段と、受信したビットマップをＶＲＡＭに書き込み、表示する表示手段と、ＲＰＡで実行すべき操作の登録の際、ＶＲＡＭに書き込まれたビットマップのうち、操作対象とする位置の指定を操作者から受け付ける受付手段と、指定された位置を、表示されたビットマップのサイズに応じて正規化して示す位置情報を得て、位置情報を記載したＲＰＡスクリプトデータを生成する生成手段とを備えることを特徴とする端末装置により達成される。

登録されたＲＰＡを実行する際、現在表示されているビットマップのサイズと、正規化された位置情報に基づきＲＰＡの対象となる位置の座標とを算出する算出手段と、算出された座標においてＲＰＡによる操作を行い、画像処理装置の操作画面において、対応する位置にある操作対象を操作するよう、画像処理装置に指示を発する実行手段とを備えるとしてもよい。

上記第４の目的は、画像形成装置の操作画面を表したビットマップを端末装置に送信する送信手段と、ＲＰＡで操作を実行する際、正規化された位置情報を端末装置から受信する受信手段と、端末装置において表示されているビットマップのサイズと、正規化された位置情報とに基づきＲＰＡの対象となる位置の座標を算出する算出手段とを備え、前記端末装置は、算出手段により算出された座標を用いてＲＰＡによる操作を実行することを特徴とする画像処理装置により達成される。。

上記第５の目的は、ＲＰＡを実行するコンピュータによりアクセスされるスクリプトデータのデータ構造であって、ＲＰＡで行うべき個々の手順に対応するフィールドを有し、前記何れかの１つのフィールドは、操作画面において操作者によって選択された操作対象の位置を、当該操作画面のサイズで正規化して示す位置情報と、前記操作対象の位置に対してＲＰＡで行うべき操作の内容を示すスクリプトとを含むことを特徴とするＲＰＡスクリプトデータのデータ構造により達成される。

上記第６の目的は、画像処理装置用の操作画面を表示するコンピュータに、ＲＰＡによる操作を実行させるプログラムであって、操作画面のサイズを用いて正規化された位置情報に基づいて、前記表示された操作画面における、操作の対象となる座標を算出させる第１コードと、算出された座標において、ＲＰＡによる操作をコンピュータに行わせる第２コードとを含むことを特徴とするプログラムにより達成される。。

ここで、正規化とは、画像処理装置用の操作画面内で指定された位置の座標が、端末装置で表示される際の大きさに関わらず、一定の数値範囲になるよう、操作画面のサイズに基づき変換する変換法のことである。

そうした変換法として様々な変換法がある。例えば、
１）ウィンドウ表示されたリモートパネル内で指定された位置のＸ座標、Ｙ座標を、ウィンドウの横画素数、縦画素数で割るという計算による変換法、
２）ウィンドウ表示されたリモートパネル内で指定された位置のＸ座標、Ｙ座標を、ウィンドウの長辺及び短辺に対する内分比で表すという変換法、
３）ウィンドウである表示枠及びリモートパネル内で指定された位置を通過する線を、１つのベクタグラフィクスとして捉え、ベクタデータで表現するという変換法、
４）画像処理装置用の操作画面内で指定された位置のＸ座標、Ｙ座標を、極座標系等、別の座標系に変換するという変換法
５）ウィンドウ内でタッチされた位置を示すＸ座標、Ｙ座標を、所定の数値範囲に写像する写像法による変換法等を用いることができる。全ての正規化の態様を説明するとなると説明が煩雑になるので、以降実施形態では、上記の１）の変換法により、操作画面内で操作者により指定された位置を表すようにしている。

正規化された位置を示す位置情報とは、上記の変換法を表す計算式、又は、上記の変換法の計算で得られた数値のことであり、例えば、ＲＰＡプログラミング言語の様々な記法を用いて作成することができる。

例えば、上記の変換法にあたる計算を実行するスクリプト、ＲＰＡスクリプトデータの変数に設定される即値、ＲＰＡスクリプトデータの変数に設定されるべき定数を格納した定数領域、配列変数等により表現することができる。こうした位置情報の全ての態様を表すとなると説明は煩雑になるので、以降の実施形態では、スクリプト及び即値を用いて１）の変換法を表す例について説明する。

位置情報は、検出された操作すべき操作対象の位置を、前記位置を検出した際の操作画面のサイズに基づき正規化して示すので、操作画面のサイズが変えられた場合、大きさが変えられた後の、ＲＰＡによる操作をすべき位置を適切に指示することができる。

ＲＰＡシステムの構成を示す。 端末装置２０００のハードウェア構成を示す。 図３（ａ）は、端末装置２０００のＨＤＤ２００５、画像処理装置１０００のＨＤＤ１００５にインストールされているプログラムのソフトウェアスタックを示す。図３（ｂ）は、端末装置２０００と、画像処理装置１０００との間でなされる通信のプロトコルスタックを示す。 マルチウィンドウシステムにより各アプリケーションに割り当てられるウィンドウの一例を示す。 （ａ）ＲＰＡスクリプトデータ２６００の構成を示す。（ｂ）タッチされた位置のウィンドウ内座標を正規化して示すのと共に、当該ウィンドウ内座標の再計算を行わせるスクリプトの一例を示す。 ＲＰＡスクリプトデータを作成する際のデスクトップ画面４００１、ＲＰＡスクリプトデータを実行する際のデスクトップ画面４００２を示す。 ＲＰＡツール２５００によるＲＰＡスクリプトデータ作成手順を示すフローチャートである。 リモートパネルアプリ２４００の処理手順を示すフローチャートである。 （ａ）は、ステップＳ２０３により、ＬＣＤ２００１に表示されるリモートパネルの一例を示す。（ｂ）は、設定メニューを呼び出すボタン４１６０がタッチされた際、ＲＰＡ端末に表示される画面である。 ＲＰＡスクリプトデータ実行手順を示すフローチャートである。 第２実施形態にかかるＲＰＡツール２５００の処理手順を示すフローチャートである。 ウエイト時間指定画面の一例を示す図である。 ウエイト時間を特定することで、エラー停止箇所の直前に挿入される動作スクリプトを示す。 第２実施形態にかかるＲＰＡツール２５００の処理手順を示すフローチャートである、 変形例にかかるＲＰＡツール２５００の処理手順を示すフローチャートである。

［１］システム構成
以下、図面を参照しながら、本開示にかかる画像処理装置、端末装置の実施形態について説明する。図１は、本実施形態にかかるＲＰＡシステムの構成を示す。本図に示すように、ＲＰＡシステムは、画像処理装置１０００、１０１０、１０２０、端末装置２０００とで構成される。ＲＰＡ（Robotic Process Automation）とは、デスクトップ画面を対象とした操作を、自動化するプログラムであり、ＲＰＡシステムでは、ＲＰＡにより実行すべき一連の手順を示すデータ（ＲＰＡスクリプトデータ）が端末装置２０００によって作成され、端末装置２０００のストレージに保存されて利用に供される。

画像処理装置１０００はＡ３用紙への画像形成が可能なＭＦＰ（Ｍｕｌｔｉ ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）、画像処理装置１０１０はＡ４用紙への画像形成が可能なＳＦＰ（Ｓｉｎｇｌｅ ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）、画像処理装置１０２０はＡＩＯ（Ａｌｌ ＩｎＯｎｅ）機である。

画像処理装置１０００のタッチパネルディスプレイ１００１は例えば１０インチ、画像処理装置１０１０、１０２０のタッチパネルディスプレイ１０１１、１０２１は、例えば８インチであり、互いにタッチパネルの大きさが異なる。また、画面解像度が異なるものとする。

尚、本実施形態では各画像処理装置のタッチパネル１０１０、１０２０、１０３０の画面解像度を、画面全体の横画素数と、縦画素数との組で表わす。これは、後述するウィンドウ内座標の計算を簡単にするためである。以降、端末装置２０００により、画像処理装置１０００を操作するケースについて説明する。

端末装置２０００は、画像処理装置１０００を操作するユーザーが、画像処理装置１０００と共に使用する装置であり、画像処理装置１０００のタッチパネルディスプレイ１００１に表示される画面１００１Ｄと同じ画面（リモートパネル）２００１ＤをＬＣＤ２００１上に表示し、当該リモートパネルに対する操作をユーザーから受け付け、その操作に応じた処理を、画像処理装置１０００に命じる。

［２］端末装置２０００、画像処理装置１０００のハードウェア構成
図２に、端末装置２０００のハードウェア構成を示す。

本図に示すように、端末装置２０００は、ユーザーに対して対話的な操作環境を提供するＬＣＤ２００１、ポインティングデバイスの一例であるマウス２００２、キーボード２００３、ネットワークＩ／Ｆ２００４、様々なプログラムがインストールされたＨＤＤ２００５、ＨＤＤ２００５にインストールされたプログラムのうち、必要なものがロードされるＲＡＭ２００６、ＲＡＭにロードされるプログラムを実行するＣＰＵ２００７、プログラムの実行にあたり、必要な設定を保存しておくためのフラッシュＲＯＭ２００８、マウス２００２、キーボード２００３に対する入力操作を受け付けるための周辺Ｉ／Ｏ２００９を有する。

ネットワークＩ／Ｆ２００４は、ＬＡＮ接続、ＷＡＮ接続を行う通信モジュールである。通信モジュールは、Bluetooth（登録商標）、、Wi-Fi、 EnOcean、 特定小電力 (Wi-SUN) 等の近距離通信モジュールを含み、無線を通じた操作情報及び画像データ送受信を実行する。ＲＡＭ２００６は、ＶＲＡＭを有し、ＬＣＤ２００１が表示を行う１画面分の画素を示す画素データがここに格納される。

画像処理装置１０００も、端末装置２０００と同様のハードウェア構成（タッチパネルディスプレイ１００１の他、図３（ａ）に示すネットワークＩ／Ｆ１００４、ＨＤＤ１００５、ＲＡＭ１００６、ＣＰＵ１００７、ＲＯＭ１００８）を有していて、必要なプログラムがＨＤＤにインストールされている。タッチパネルディスプレイ１００１における操作は、ＨＤＤ１００５に格納された複数のページデータを用いてなされる。複数のページデータのそれぞれは、階層的なメニュー構造をなし、操作対象を定義するタグを含む。各タグは、操作対象を表すグラフィクスデータを格納したファイルのファイルパス（ディレクトリ名、ファイル名からなる）と、その操作対象の配置座標を示す座標情報と、その操作対象に対する操作が確定した際、実行すべきスクリプトとを示す。スクリプトには、他のページデータへのリンクを規定したもの、画像形成に関する設定処理を規定したものがある。

これに対しＬＣＤ２００１に表示される操作画面は、タッチパネルディスプレイ１００１と同じ操作画面を表すビットマップであり、操作画面の内容を、赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）の加法混合で表す。ビットマップであるから、ＧＵＩ部材の状態を変化させることはできず、ページを切り替えることはできない。従って、画像処理装置１０００に制御を指示するには、ＬＣＤ２００１に表示されたビットマップのリモートパネル（操作画面用の操作画面）において、クリック操作を受け付け、そのクリックされた位置の座標を示す操作情報を画像処理装置１０００に送信し、その座標でタッチパネルディスプレイ１００１がタッチされたのと、同じ処理を画像処理装置１０００に実行させねばならない。

ＨＤＤ２００５に格納されるプログラムには、ＲＰＡによる一連の操作を示すプログラムがある。ＲＰＡによる一連の操作を示すプログラムは、ページデータに組み込まれていたコード（本実施形態ではＲＰＡ用のスクリプト）からなる。ＲＰＡ用スクリプトが組み込まれたページデータをＲＰＡスクリプトデータと呼ぶ。

［３］ソフトウェアスタック
図３（ａ）は、端末装置２０００のＨＤＤ２００５、画像処理装置１０００のＨＤＤ１００５にインストールされているプログラムのソフトウェアスタックを示す。
端末装置２０００のソフトウェアスタックは、端末装置２０００のハードウェア２１００に、オペレーティングシステム（ＯＳ）２２００が配され、アプリケーション２３００が配されるという制御階層になっている。

画像処理装置１０００のソフトウェアスタックも、端末装置２０００同様、画像処理装置１０００のハードウェア１１００に、ＯＳ１２００が配され、アプリケーション１３００が配されるという制御階層になっている。

端末装置２０００のＯＳ２２００及び画像処理装置１０００のＯＳ１２００は、ネットワークＩ／Ｆ２００４、１００４を経由したプロトコルスタックによるデータ通信を実行する。アプリケーション２３００、１３００は、図３（ｂ）に示すＴＣＰプロトコル１１３４、２０３４、ＩＰプロトコル１１２４、２０２４、近距離通信１１１４、２０１４によりＴＣＰコネクション２１０４を確立し、ＴＣＰコネクション２１０４を通じて、ＨＴＴＰメッセージの送受信を実行する。

ＴＣＰコネクション２１０４は、端末装置２０００がホスト側になって、アプリケーション２３００が相手側のアプリケーション１３００のＴＣＰポートのポート番号と自分のポート番号を指定して接続要求を発し、アプリケーション１３００が、接続側から要求されたポートが接続待ちになっていることを確認して応答を返すことで確立される。
端末装置２０００で動作するアプリケーション２３００、及び、画像処理装置１０００で動作するアプリケーション１３００は、接続時にホスト側が指定したポート番号を用いて、ＴＣＰコネクション２１０４を画像データ、操作情報の送受信に利用する。

（３－２）画像処理装置１０００のソフトウェアスタック
アプリケーション１３００は、ＭＦＰパネルアプリ１４００、処理実行アプリ１５００を含む。また、リモート操作モードのための構成要素として、ＯＳ１２００は、操作系統制御部１６００を含む。

パネルアプリ１４００は、ＨＤＤ１００５に格納された複数のページデータを読み出して、操作画面を表示に供する。また、タッチパネルディスプレイ１００１からの操作入力に応じて、操作画面の遷移を行う。タッチパネルディスプレイ１００１からの操作入力は、タッチパネルディスプレイ１００１においてどの位置が操作されたかを示す操作情報であり、タッチパネルディスプレイ１００１のパネル座標系における座標と、その座標に対してなされた操作（タッチ、ドラッグの種別）を示す。現在の操作画面に対応するページデータにおいて、当該座標にある操作対象を確定することで、当該操作対象に対応するスクリプトを実行する。確定した操作対象に対応するスクリプトが、他のページデータへのリンクを規定したリンクスクリプトであれば、操作画面は、その他のページデータに対応する操作画面に切り替わる。確定した操作対象に対応するスクリプトが、画像形成に関するパネル設定、ジョブ設定であれば、それらパネル設定、ジョブ設定を実行する。

処理実行アプリ１５００は、ＭＦＰパネルアプリ１４００になされた操作入力に従い、パネル設定を実行して、ジョブや画像処理装置１０００を事業所に設置する際の設定や実行する。

操作系統制御部１６００は、リモート操作モードにおける操作系統の切り替えを行う。具体的にいうと、リモート操作モードにおいてパネルディスプレイ１００１からの操作入力に代えて、端末装置２０００とのＴＣＰコネクション２１０４を介した操作入力を有効とし、ページデータにより描画された操作画面のビットマップをＴＣＰコネクションを介して端末装置２０００に出力する。タッチパネルディスプレイ１００１からの操作入力に代えて、ＴＣＰコネクション２１０４からの操作入力が有効になることで、画像処理装置１０００における操作画面は、端末装置２０００からの操作入力で切り替わることになる。

（３―３）端末装置２０００のソフトウェアスタック
ＯＳ２２００は、カーネル２２１０、マルチウィンドウシステム２２２０を含む。
カーネル２２１０は、ＲＡＭ２００６の複数の部分領域をそれぞれ各アプリケーションに割り当て、複数のアプリケーションを起動して、各アプリケーションの動作を監視する。
マルチウィンドウシステム２２２０は、複数のアプリケーションのそれぞれにウィンドウを割り当てて表示に供することで、対話的な操作環境をユーザーに提供する。
ウィンドウとは、マルチウィンドウシステム２２２０により、個々のアプリケーションに割り当てられる表示領域の単位であり、図４に示すように表示枠３００１に囲まれた態様で、アプリケーション画面３００２（アプリケーションにより描画された内容を示す画面のこと）を表示させることができる。表示枠一杯にアプリケーション画面全体が表示されるので、表示枠３００１が端末装置２０００に表示される操作画面（リモートパネル）全体になる。

表示枠の周囲３００１には、様々なＧＵＩ部品が配される。そうしたＧＵＩ部品としては、水平方向のスクロールを受け付ける水平スクロールバー３００３、垂直方向のスクロールを受け付ける垂直スクロールバー３００４、様々なメニューのプルダウン（引き出し）を可能とするメニューバー３００５、アプリケーションの名前を示すタイトルバー３００６、アプリケーションの状態を示すステータスバー３００７、最小化ボタン３００８、全画面指示ボタン３００９、閉じるボタン３０１０がある。ユーザーは、ウィンドウの境界３０１１をドラッグすることで、アプリケーション画面をリサイズすることができる。また、所望の位置に移動させることができる。ウィンドウが、これらのＧＵＩ部材やアプリケーション画面に対する操作を受け付ける状態になったことをアクティブという。ウィンドウが表示された状態で、カーソルによりそのウィンドウが指示されると、当該ウィンドウはアクティブになる。マルチウィンドウシステム２２２０は、ＲＡＭ２００６におけるＶＲＡＭに、ＴＣＰコネクション２１０４を介して受信したビットマップを描き込むことで、画像処理装置１０００に対応する操作画面のウィンドウ表示を行う。。

カーネル２２１０により管理されるアプリケーション２３００の代表的なものとして、図３（ａ）に示すリモートパネルアプリ２４００、ＲＰＡツール２５００がある。
リモートパネルアプリ２４００は、アプリケーション２３００の１つであり、画像処理装置１０００から出力されたビットマップのウィンドウ表示を行う。ビットマップなので、ウィンドウの境界をクリックしてリサイズ操作を行えば、リサイズ操作に応じてビットマップのサイズは変化し、横画素数、縦画素数は変化する。

リモートパネルアプリ２４００は、画像処理装置１０００において、端末装置２０００からの操作入力が有効になっている状態で、操作情報を、パネルアプリ１４００に出力し、端末装置２０００からの操作入力に応じた画面遷移をパネルアプリ１４００に行わせる。

ＲＰＡツール２５００は、ＲＰＡで行うべき操作を登録し、また登録されたＲＰＡ操作を実行することができる。その登録は、ＲＰＡで行うべき一連の操作を示すＲＰＡスクリプトデータ２６００を生成して、ＨＤＤ２００５に書き込むことでなされる。また登録されたＲＰＡ操作の実行は、登録された操作を示すＲＰＡスクリプトデータ２６００をＨＤＤ２００５から読み出して、ＲＰＡツール２５００に実行させることでなされる。ＲＰＡスクリプトデータ２６００の作成にあたっては、画像処理装置１０００の操作画面のビットマップであるリモートパネルを端末装置に表示させて、当該リモートパネルに対するユーザー操作を受け付け、そのユーザー操作でタッチ等の入力がなされた位置を画素単位で検出して座標情報を得て、検出された座標情報からスクリプトを作成する。そうした座標情報からのスクリプト作成を繰り返して、ＲＰＡスクリプトデータ２６００を得る。
一方、ＲＰＡスクリプトデータの実行にあたっては、ＲＰＡスクリプトデータ２６００の個々の手順を構成する個々のスクリプトの座標情報をリモートパネルアプリ２４００に送信して、当該座標情報に基づくリモート操作をリモートパネルアプリに実行させる。

［４］ＲＰＡスクリプトデータの構成
かかる計算により、ＲＰＡで操作すべき位置は、ウィンドウの左上頂点を（０、０）、ウィンドウの右下を（１、１）とした０～１の範囲で表現される。尚、上述の通り、ビットマップには操作対象のタグのような情報要素がないので、ＲＰＡスクリプトデータにおける座標は、ビットマップの何れかの画素を指定しているに過ぎない。

図５（ａ）は、ＲＰＡスクリプトデータ２６００のデータ構造を示す。本図に示すように、ＲＰＡスクリプトデータ２６００は、１番目の手順を表すスクリプトが記述されるフィールド２６０１、２番目の手順を表すスクリプトが記述されるフィールド２６０２、３番目の手順を表すスクリプト２６０３・・・ｍ番目の手順を表すスクリプトが記述されるフィールド２６０４により構成される。

（４－１）ＲＰＡスクリプトデータの記述に用いることができるＲＰＡ関数
以上のＲＰＡスクリプトデータをＲＰＡツール２５００に実行させる場合、これらの手順の記述に、例えばＰＹＡｕｔｏＧＵＩを用いることができる。ＰＹＡｕｔｏＧＵＩはＲＰＡ用関数を提供するプログラムライブラリである。ＰＹＡｕｔｏＧＵＩにより提供されるＲＰＡ関数のうち、以下のものは、デスクトップ画面の座標系を対象とした操作を規定する。

・click（x,y,button,clicks＝right／left,interval）

引数で指定された座標（x,y）において、引数intervalで指定された時間間隔だけ、引数clicksで指定された操作イベントを発生させる。

上記の関数で扱われる座標は、図６の端末装置２０００におけるデスクトップ画面４００１、４００２の画面左上を原点とし、画面右方向をＸ軸方向、画面下方向をＹ軸方向としたデスクトップ画面座標系の座標で表現される。一方、リモートパネルは、マルチウィンドウシステム２２２０によりウィンドウの表示枠３００１の内側に配されて表示される。ウィンドウ内の場所は、図４に示すアプリケーション領域（表示枠３００１）左上を原点とし、画面右方向をＸ軸方向、画面した方向をＹ軸方向としたウィンドウ内座標系の座標で表現される。

（４－２）ウィンドウ表示サイズの違い
ＲＰＡスクリプトデータの作成時と、ＲＰＡスクリプトデータの実行時とでは、ウィンドウの表示サイズが異なることがある。本実施形態では、ウィンドウ表示サイズを、ウィンドウの表示枠内のアプリケーション画面３００２の横画素数と、縦画素数との組で表すものとする。

デスクトップ画面４００１は、ＲＰＡスクリプトデータを作成する際の画面であり、デスクトップ画面４００２は、ＲＰＡスクリプトデータを実行する際の画面である。作成時のデスクトップ画面４００１は、リモートパネルを配したウィンドウ４１００が配されている。ウィンドウ４１００は、かなり大きめに設定されていて、その横画素数、縦画素数は、変数Ｍ＿ＷＩＮ_width、Ｍ＿ＷＩＮ_heightに設定される。

また、画像処理装置１０００を操作するためのボタン４１１０、４１２０、４１３０、４１４０、４１５０、４１６０が配されている。リモートパネルのうち、ユーザーにより操作された場所（図６では、ボタン４１６０の中央位置）は、変数Ｍ＿ＢＴＮ_x、Ｍ＿ＢＴＮ_yに明示される。

一方、実行時のデスクトップ画面４００２においては、複数のウィンドウが同時に表示されているため、リモートパネルを配してアクティブになったウィンドウ４２００のサイズが小さめになっている。そうした、ＲＰＡスクリプトデータを実行する際にアクティブになったウィンドウ４２００の横画素数、縦画素数は、変数Ｅ＿ＷＩＮ_width、Ｅ＿ＷＩＮ_heightに設定される。

作成時と比較して、実行時のウィンドウサイズが小さい場合、ボタン４１１０、４１２０、４１３０、４１４０、４１５０、４１６０の位置関係は、サイズに関わりなく同じ又はほとんど同じであるが、ウィンドウの左上の点から各ボタンまでの距離がかわるので、それらが占有する領域も変わってくる。この実行時のリモートパネルにおいて、操作すべき場所は、変数Ｅ＿ＢＴＮ_x、Ｅ＿ＢＴＮ_yに明示される。
ＲＰＡスクリプトデータ２６００の大きな特徴は、ＲＰＡの登録にあたり、変数Ｅ＿ＢＴＮ_x、Ｅ＿ＢＴＮ_yに明示される操作すべき場所を、ウィンドウ表示の操作画面のサイズに応じて正規化して示す点である。タッチされた位置の座標を、正規化して示すスクリプトの一例を図５（ｂ）に示す。

図５（ｂ）において、もっとも下に記載されたスクリプト３１１０は（プログラムの発明の第１コードに対応する。）、図６に示した変数Ｅ＿ＢＴＮ_x、Ｅ＿ＢＴＮ_yを引数にしていて、これらの引数で指定される位置にクリックイベントを発生せよとＲＰＡツール２５００に命じる。

スクリプト３２１０、３２２０は、スクリプト３１１０の引数となる変数Ｅ＿ＢＴＮ_x、Ｅ＿ＢＴＮ_yに値を設定する再計算の計算式を規定する。
スクリプト３２１０は（プログラムの発明の第２コードに対応する。）、変数Ｍ＿ＢＴＮxと、変数Ｍ＿ＷＩＮxとの差分に、Ｍ＿ＷＩＮ_widthと、Ｅ＿ＷＩＮ_widthとの比率を乗じたものを、変数Ｅ＿ＢＴＮxに設定するという再計算をＲＰＡツール２５００に実行させる。

スクリプト３２２０は（スクリプト３２１０同様、プログラムの発明の第２コードに対応する。）、変数Ｍ＿ＢＴＮyと、変数Ｍ＿ＷＩＮyとの差分に、Ｍ＿ＷＩＮ_heightと、Ｅ＿ＷＩＮ_heightとの比率を乗じたものを、変数Ｅ＿ＢＴＮｙに設定するという計算をＲＰＡツール２５００に実行させる。スクリプト３２１０、３２２０の被演算子のうち、Ｅ＿ＷＩＮ_width、Ｅ＿ＷＩＮ_heightは、ＲＰＡスクリプトデータの実行時に値が決まる。

残りの変数は、ＲＰＡスクリプトデータの作成時に値が決まる。スクリプト３３１０、３３２０は、スクリプト３２１０、３２２０で使用されている変数Ｍ＿ＢＴＮx、Ｍ＿ＢＴＮ_yに即値を設定する。ここでの即値とは、ＲＰＡスクリプトデータが作成された際、操作された場所のウィンドウ内のＸ座標、Ｙ座標を示す。

スクリプト３４１０、３４２０は、スクリプト３２１０、３２２０の計算式で使用されている変数Ｍ＿ＷＩＮ_width、Ｍ＿ＷＩＮ_heightに即値を設定する。ここでの即値とは、ＲＰＡスクリプトデータが作成された際、操作されたリモートパネルを含むウィンドウの横画素数、縦画素数である。

スクリプト３４３０、３４４０は、スクリプト３２１０、３２２０の計算式で使用されている変数Ｍ＿ＷＩＮ_x、Ｍ＿ＷＩＮ_yに即値を設定する。ここでの即値とは、ＲＰＡスクリプトデータが作成された際、操作されたリモートパネルを含むウィンドウの左上Ｘ座標、左上Ｙ座標である。

スクリプト３５１１～３５１３は、マルチウィンドウシステム２２２０を制御する関数を用いてスクリプト３２１０、３２２０で使用されている変数Ｅ＿ＷＩＮ_width、Ｅ＿ＷＩＮ_heightを設定する。

スクリプト３５１１は、変数hWnd、構造体変数rwを引数にして、GetWindowRect関数を呼び出す内容の関数呼び出しスクリプトである。GetWindowRect関数とは、MicroSoft社のWindows（登録商標）において、ウィンドウに関する情報を提供する関数であり、当該関数を呼び出すことで、構造体変数rwのメンバー変数rw.right、rw.left、rw．bottom、rw.topに、戻り値が設定される。

rw.rightにはウィンドウの右下頂点のX座標、rw.leftにはウィンドウの左上頂点のX座標、rw.bottomにはウィンドウの右下頂点のＹ座標、rw.topにはウィンドウの左上頂点のＹ座標がそれぞれ設定される。

動作スクリプト３５１２、３５１３は、これらのメンバー変数を用いた、ウィンドウ横画素数、縦画素数の計算である。つまり動作スクリプト３５１２は、メンバー変数rw.rightと、rw.leftとの差分をＥ＿ＷＩＮ_widthとし、動作スクリプト３５１３は、メンバー変数rw.topと、rw.bottomとの差分Ｅ＿ＷＩＮ_heightとする。尚、本実施形態では、MicroSoft社のWindows（登録商標）により供給される関数を用いて、ウィンドウ横画素数、縦画素数を算出したが、これに限られない。他のオペレーティングシステムのマルチウィンドウシステムにより供給される関数を用いて、横画素数、縦画素数を算出してもよい。

ＲＰＡスクリプトデータにおいて、ＲＰＡツール２５００にカーソル移動を行わせるスクリプト３１１０の前に、引数となる変数を計算するスクリプト３２１０、３２２０、即値を設定するスクリプト３３１０、３３２０、３４１０、３４２０、３４３０、３４４０があり、アクティブになっているウィンドウの横画素数、縦画素数を求めるスクリプト３５１１、３５１２、３５１３が配されており、ＲＰＡスクリプトデータの作成時において、ウィンドウ内でタッチされた位置の座標は、ウィンドウの横画素数、縦画素数で正規化された態様になっているので、ＲＰＡスクリプトデータの実行時にＥ＿ＷＩＮ_height、Ｅ＿ＷＩＮ_widthの値を決めれば、ＲＰＡツール２５００に指示すべき座標を計算することができる。

［５］ＲＰＡツール２５００、リモートパネルアプリ２４００の処理手順
（５－１）ＲＰＡツール２５００によるウィンドウオープン
ＲＰＡツール２５００は、図７、図１０のフローチャートに示される処理手順を実行するよう、ＣＰＵ２００７に指示するコード列により構成される。リモートパネルアプリ２４００は、図８のフローチャートに示される処理手順を実行するよう、ＣＰＵ２００７に指示するコード列により構成される。図７は、ＲＰＡツール２５００の処理手順を示すフローチャート、図８は、リモートパネルアプリ２４００の処理手順を示すフローチャートである。図７におけるｉは、ＲＰＡスクリプトデータで指示されるべき複数の手順のそれぞれを指示する変数であり、1からｍまでの値をとる。

図７のステップＳ１０１において、ＲＰＡ用メニューバー、タイトルバーを含むウィンドウをオープンして、リモートパネルアプリ２４００を起動する。

（５－２）リモートパネルアプリ２４００によるリモートパネルの表示及び更新
図８のステップＳ２０１は、ＲＰＡツール２５００により起動されたかどうかの判定であり、ＲＰＡツール２５００により起動された場合（ステップＳ２０１でＹｅｓ）、画像処理装置１０００の画面を示す画像データが受信されたかどうかを判定する（ステップＳ２０２）。受信されれば、ＲＰＡツール２５００が開いたウィンドウに、リモートパネルを配置する（ステップＳ２０３）。

図９（ａ）は、ステップＳ２０３により、ＬＣＤ２００１に表示されるリモートパネルの一例を示す。本図に示すように、画像処理装置のリモートパネルは、ウィンドウ５０００上に、タブ５１００を配して、このウィンドウの表示領域に配される。タブ５１００は、機種名表示５１１０、装置名表示５１２０、ＲＰＡスクリプトデータの作成、実行を受け付けるためのＲＰＡ作成／実行ボタン５１３０、ＲＰＡスクリプトデータの更新操作を受け付けるための更新ボタン５１４０、終了ボタン５１５０を含む。

ウィンドウ５０００の下端には、画像処理装置１０００の登録キーに対応するボタン４４１０、４４２０、４４３０、４４４０と、ジョブ開始を指示する旨のスタートボタン４２１０、ジョブを停止する旨のストップボタン４２２０、パネル設定をリセットするリセットボタン４２３０が配される。

図９（ａ）のリモートパネルはトップ画面であり、コピー設定を指示するボタン４１１０、ファックス／スキャン設定を指示するボタン４１２０、ボックス操作を指示するボタン４１３０、アドレス帳設定を指示するボタン４１４０、簡単セキュリティ設定を指示するボタン４１５０、設定メニューの呼び出しを指示するボタン４１６０が配置される。

接続した画像処理装置の機種と、選択された画像処理装置のタッチパネルディスプレイ１００１の解像度から、ＭＦＰパネルの横画素数ＭＦＰ_width、縦画素数ＭＦＰ_heightを取得する（ステップＳ２０４）。以下、画像処理装置の機種を表示して（ステップＳ２０５）、ステップＳ２０７～Ｓ２０８のループに移行する。

ステップＳ２０８は、Ｅ＿ＢＴＮｘ、Ｅ＿ＢＴＮｙを含む操作情報がＲＰＡツールにより出力されたかどうかの判定である。出力されれば（ステップＳ２０８でＹｅｓ）、ステップＳ２１１において、アクティブウィンドウにおける操作すべき場所の座標Ｅ＿ＢＴＮｘ、Ｅ＿ＢＴＮｙ、タッチパネルディスプレイ１００１の解像度を構成する横画素数Ｅ＿ＷＩＮ_width、縦画素数Ｅ＿ＷＩＮ_height、タッチパネルディスプレイ１００１の解像度を構成する横画素数ＭＦＰ_width、縦画素数ＭＦＰ_heightから以下の数１の式に基づき、座標ＭＦＰ_X、ＭＦＰ_Yを算出する（ステップＳ２１１）。

座標ＭＦＰ_X、ＭＦＰ_Yと、操作情報とを含む操作情報を画像処理装置１０００に出力する（ステップＳ２１２）。

ステップＳ２０７は、更新後の操作画面を示す画像データが受信されたかどうかの判定である。受信されれば（ステップＳ２０７でＹｅｓ）、更新後の操作画面を示す画像データを用いてリモートパネルを更新し（ステップＳ２１３）、ステップＳ２０６～Ｓ２０８のループに戻る。

（５－３）ＲＰＡツール２５００による動作スクリプト生成
ＲＰＡツール２５００においては、変数ｉに１を設定して（図７のステップＳ１０２）、ステップＳ１０３～Ｓ１１２からなるループに移行する。

ステップＳ１０３は、リモートパネルに対する操作があったかどうかの判定である。操作がなされれば（ステップＳ１０３でＹｅｓ）。リモートパネルに対してなされた操作は場所の指定を伴うかどうかを判定する（ステップＳ１０４）。

場所の指定を伴わない場合（ステップＳ１０４でＮｏ）、操作者によりなされた操作と同じ操作を示す動作スクリプトを、i番目の手続きをなす動作スクリプトとする（ステップＳ１０５）。

場所の指定を伴う場合（ステップＳ１０４でＹｅｓ）、変数E＿ＢＴＮx、Ｅ＿ＢＴＮｙで指示される位置で、登録者が行った操作と同じ操作を示す動作スクリプトを、i番目の手続きをなす動作スクリプトとする（ステップＳ１０６）。

操作すべき操作対象の位置を正規化して示すスクリプトを生成する。操作すべき操作対象の位置を正規化して示すスクリプトとは、以下の１）～５）のスクリプトであり、これらをi番目の手続きをなすスクリプトとする（ステップＳ１０７）。

１）変数Ｅ＿ＷＩＮ_width、Ｅ＿ＷＩＮ_heightにアクティブウィンドウの横画素数、縦画素数を設定するスクリプト、
２）変数Ｍ＿ＷＩＮ_width、Ｍ＿ＷＩＮ_heightにスクリプト作成時のウィンドウの横画素数、縦画素数を設定するスクリプト、
３）変数Ｍ＿ＷＩＮ_x、Ｍ＿ＷＩＮ_yにスクリプト作成時の左上基準Ｘ座標、左上基準Ｙ座標を設定するスクリプト、
４）変数Ｍ＿ＢＴＮ_x、Ｍ＿ＢＴＮ_yに、リモートパネル内でポインティングされたウィンドウ内Ｘ座標、Ｙ座標を設定するスクリプト、
５）変数Ｍ＿ＢＴＮ_x、Ｍ＿ＢＴＮ_yから変数Ｅ＿ＢＴＮ_x、Ｅ＿ＢＴＮ_yを導く計算式のスクリプト

以上のスクリプトを生成した後、リモートパネルアプリ２４００に画面更新、及び、画像処理装置１０００への操作情報の出力を行わせる。ステップＳ１０８において、ウィンドウの横画素数、縦画素数を示すＥ＿ＷＩＮ_widthにＭ＿ＷＩＮ_widthの値を、Ｅ＿ＷＩＮ_heightにＭ＿ＷＩＮ_heightの値を、変数Ｅ＿ＢＴＮ_xにＭ＿ＢＴＮ_xの値を、変数Ｅ＿ＢＴＮ_yにＭ＿ＢＴＮ_yの値をそれぞれ設定する。以降、リモートパネルアプリ２４００に対して操作情報を出力する（ステップＳ１０９）。操作情報は、上述したスクリプトにより計算されたＥ＿ＢＴＮx、Ｅ＿ＢＴＮyを含む。以降、ｉ番目の操作により、リモートパネルが更新されるのを待つ（ステップＳ１１０でＮｏ）。

図９（ｂ）は、設定メニューを呼び出すボタン４１６０がタッチされた際、端末装置２０００に表示される画面であり、環境設定を受け付けるボタン４３１０、管理者／本体登録を受け付けるボタン４３２０、宛先／ボックス登録を受け付けるボタン４３３０、ユーザー認証・部門設定を受け付けるボタン４３４０、ネットワーク設定を受け付けるボタン４３５０、コピー設定を受け付けるボタン４３６０、プリンター設定を受け付けるボタン４３７０、システム接続を受け付けるボタン４３８０が配される。

リモートパネルが更新されれば（ステップＳ１１０でＹｅｓ）、ストップキーの押下により、作成終了が指示されたかどうかを判定する（ステップＳ１１１）。作成終了が指示されない場合（ステップＳ１１１でＮｏ）、変数ｉをインクリメントして（ステップＳ１１２）、ステップＳ１０３に戻る。以下、作成終了の操作がなされるまで、ステップＳ１０３～Ｓ１１２の処理を繰り返す。

作成終了の処理がなされれば（ステップＳ１１１でＹｅｓ）、これまでに作成された手続きを表す動作スクリプトをＲＰＡスクリプトデータとして保存する（ステップＳ１１３）。

（５－４）ＲＰＡスクリプトデータ実行手順
図１０は、ＲＰＡスクリプトデータ実行手順を示すフローチャートである。先ず、ステップ３０１において、接続可能な画像処理装置（図１においては、画像処理装置１０００、１０１０、１０２０）を一覧表示し（ステップＳ３０１）、何れかの画像処理装置が選択されるのを待つ（ステップＳ３０２でＮｏ）。選択されれば（ステップＳ３０２でＹｅｓ）、図７のステップＳ１０１同様、ＲＰＡ用メニューバー、タイトルバーを含むウィンドウをオープンして、選択された画像処理装置を指定した上、リモートパネルアプリを起動する（ステップＳ３０３）。こうした指定によりリモートパネルアプリ２４００は、選択された画像処理装置の画面を示す画像データを受信し（図８のステップＳ２０２でＹｅｓ）、ＲＰＡツール２５００が開いたウィンドウと、選択されたリモートパネルとによりウィンドウ表示を行う（図８のステップＳ２０３）。

続く図１０のステップＳ３０４では、ＨＤＤ２００５に格納されたＲＰＡスクリプトデータを一覧表示し、操作者に供する。ステップＳ３０５では、ＲＰＡスクリプトデータの何れかが操作者により選択されたかどうかを判定する。

何れかのＲＰＡスクリプトデータが選択されれば（ステップＳ３０５でＹｅｓ）、ＲＰＡ実行ボタンを有効化した後（ステップＳ３０６）、ＲＰＡ実行ボタンが押下されるのを待ち（ステップＳ３０７でＮｏ）、押下されれば（ステップＳ３０７でＹｅｓ）、変数ｉに１を設定して（ステップＳ３０８）、ステップＳ３０９～Ｓ３１１からなるループを実行する。

このループでは、ＲＰＡスクリプトデータのｉ番目の手順をなすスクリプトを実行し（ステップＳ３０９）、変数ｉが総数ｍを下回ったかどうかを判定して（ステップＳ３１０）、下回れば（ステップＳ３１０でＹｅｓ）、変数ｉをインクリメントして（ステップＳ３１１）、ステップＳ３０９に戻るという手順を繰り返す。ループ継続要件は、ｉがｍを下回ることなのでｉが1からｍ-1になるまでの間ステップＳ３０９に戻り、ｉがｍになった段階でステップＳ３１０がＮｏになって、処理を終了する。

（５－５）作成されたＲＰＡスクリプトデータを他装置で用いるケース
画像処理装置１０００の操作画面と同じリモートパネルを端末装置２０００に表示させて、これを対象にＲＰＡスクリプトデータを作成した後、端末装置２０００が画像処理装置１０１０と接続して、端末装置２０００がＲＰＡスクリプトデータを実行する場合について説明する。

このケースは、図１０のステップＳ３０１において画像処理装置が一覧表示された際、画像処理装置１０１０が選択されたというケースである。この場合、リモートパネルアプリ２４００は、図８のステップＳ２０３において、ＲＰＡツール２５００が開いたウィンドウに、画像処理装置１０１０の操作画面に対応するリモートパネルを配置し、ステップＳ２０４において、接続した画像処理装置の機種、タッチパネルディスプレイの横画素数、縦画素数を取得し、取得した横画素数、縦画素数を、上述した変数ＭＦＰwidth、ＭＦＰheightに格納する。

リモートパネルをリモートパネルアプリ２４００に表示させる。上述したように、画像形成装置１０１０のタッチパネルディスプレイ１０１１の画面解像度は、画像処理装置１０００のタッチパネルディスプレイ１００１の画面解像度とは異なるので、画像処理装置１０１０のリモートパネルは、画像処理装置１０００のリモートパネルとは異なる大きさのウィンドウに配される。

以上の過程でリモートパネルが表示された後、実行されるべきＲＰＡスクリプトデータが選択されると、図１０のステップＳ３０９により、ＲＰＡスクリプトデータの個々の手順を構成するスクリプトが実行される。

かかるスクリプトの中で、図５（ｂ）に示したスクリプト３５１１、３５１２、３５１３、３２１０、３２２０は、操作すべき操作対象の位置を正規化して示すスクリプトであり、これらを実行することで、ウィンドウ内座標を算出する。

具体的にいうと、スクリプト３５１１～３５１３を実行することで、アクティブウィンドウに配された現在のリモートパネルの横画素数、縦画素数を算出して、Ｅ＿ＷＩＮ_width、Ｅ＿ＷＩＮ_heightに設定する。スクリプト３２１０は、Ｅ＿ＷＩＮ_widthと、Ｍ＿ＷＩＮ_widthとの比率から、操作対象となるウィンドウ内の座標を算出して、Ｅ＿ＢＴＮxに格納し、スクリプト３２２０は、Ｅ＿ＷＩＮ_heighと、Ｍ＿ＷＩＮ_heighとの比率から、操作対象となるウィンドウ内の座標を算出して、Ｅ＿ＢＴＮyに格納する。

こうして、Ｅ＿ＢＴＮｘ、Ｅ＿ＢＴＮｙに座標を設定した後、スクリプト３１１０によりクリックイベントを発生する。

一方、リモートパネルアプリ２４００においては、図８のステップＳ２１１において、画像処理装置１０１０から取得した横画素数を示す変数ＭＦＰ_width、画像処理装置１０１０から取得した縦画素数を示す変数ＭＦＰ_height、現在のリモートパネルの横画素数を示すＥ＿ＷＩＮ_width、現在のリモートパネルの縦画素数を示すＥ＿ＷＩＮ_heightを用いて上述した数１の計算を行って座標ＭＦＰ_X、ＭＦＰ_Yを算出して、この座標がタッチされた旨を、画像処理装置１０１０に指示する。

以上の過程により、画像処理装置１０００を対象にして作成したＲＰＡスクリプトデータを用いて、端末装置２０００から画像処理装置１０１０をリモート操作することができる。画像処理装置１０２０のリモートパネルを操作する場合も同様である。

［６］まとめ
以上のように本実施形態によれば、ＲＰＡスクリプトデータには、ＲＰＡスクリプトデータを作成した際のウィンドウの横画素数及び縦画素数を変数に設定するスクリプト、ＲＰＡスクリプトデータの作成時において、ユーザによりタッチされた場所のウィンドウ内の座標を正規化して示すスクリプトと、当該座標を再計算するスクリプトとが、ＲＰＡスクリプトデータに生成されるので、ＲＰＡスクリプトデータを実行するにあたり、リモートパネルを表示するためのウィンドウの大きさを意識することなく、ウィンドウを用いてリモートパネルを表示して、ＲＰＡスクリプトデータによって規定された操作手順の実行を命じることができる。

［３］第２実施形態
第１実施形態では、ウィンドウ内で操作された座標を変数Ｍ＿ＢＴＮｘ、Ｍ＿ＢＴＮｙに代入するスクリプトを生成したが、何等かのアクシデントにより、そうしたスクリプトを含むＲＰＡスクリプトデータの実行がエラー終了することがある。本実施形態は、ＲＰＡスクリプトデータの実行がエラー終了した場合のエラーハンドリングに関する。具体的にいうと本実施形態では、ＲＰＡスクリプトデータの１つの手順を指示するまでのウエイト時間を長くすることで、エラー解消を図る。

図１１は、第２実施形態にかかるＲＰＡツール２５００の処理手順を示すフローチャートである。本フローチャートは、図１０のフローチャートをベースにしていてステップＳ３０９と、ステップ３１０との間に、判定ステップであるステップＳ４０１が挿入され、ステップＳ４０１がＹｅｓになったとき実行すべき処理として、ステップＳ４０２～Ｓ４０７が追加されている点が、図１０と異なる。

ステップＳ４０１は、ステップＳ３０９において、ＲＰＡスクリプトデータのｉ番目の手順をなすスクリプトを実行して端末装置２０００から画像処理装置１０００に操作を指示した後、画像処理装置が処理を行わず、停止したままになっているかどうかを判定する。画像処理装置の動作が停止していない場合はステップＳ３０９～Ｓ３１１、ステップＳ４０１のループを繰り返す。

画像処理装置１０００が停止した場合（ステップＳ４０１でＹｅｓ）、停止した際の画像処理装置の画面の遷移状態と、ＲＰＡスクリプトデータとから、エラー箇所を検出し（ステップＳ４０２）、エラー箇所を管理者に通知する（ステップＳ４０３）。以降、端末装置を再作成モードとし（ステップＳ４０４）、操作タイミングを追加する画面（操作タイミング指定画面）を表示して（ステップＳ４０５）、操作タイミングの入力を受け付ける（ステップＳ４０６）。

図１２に、操作タイミング指定画面の一例を示す。本図の操作タイミング指定画面は、実行対象となったＲＰＡスクリプトデータの表示６１００と、当該ＲＰＡスクリプトデータにおけるエラー箇所の表示６２００と、ウェイト時間表示欄６３１０とを含む。ウェイト時間表示欄には、そのエラー箇所において、設定されているウェイト時間が明示される。＋キー６３２０、－キー６３３０は、当該ウェイト時間を増減する操作を受け付ける。つまり、＋キー６３２０の押下により、ウエイト時間は増加し、－キー６３３０の押下により、ウエイト時間は減少する。これらのキーの押下を繰り返すことで、適正なウエイト時間を適正な値に調整することができる。

ＯＫボタン６４１０は、ウェイト時間表示欄に表示されたウェイト時間を確定する操作を受け付ける。Ｃａｎｃｅｌボタン６４２０は、ウェイト時間表示欄に表示されたウェイト時間を元に戻す操作を受け付ける。

図１２の操作タイミング指定画面を用いて、ウェイト時間が特定されれば、ステップＳ４０６がＹｅｓになり、ステップＳ４０７において、エラー停止箇所の直前に、操作タイミングを指定する動作スクリプトを挿入する。図１２の操作タイミング指定画面のエラー箇所欄において、動作スクリプトＣｌｉｃｋ（Ｅ＿ＢＴＮ_x、Ｅ＿ＢＴＮ_y）の実行時に、画像処理装置の動作が停止したとすると、図１３に示すように、図１２の操作タイミング指定画面において指定されたウエイト時間だけ、Ｃｌｉｃｋ（Ｅ＿ＢＴＮx、Ｅ＿ＢＴＮy）の実行を遅らせる動作スクリプトＳｌｅｅｐ（ｙｙｙ）を挿入する。

こうした動作スクリプトの挿入により、ＲＰＡスクリプトデータの再作成と格納とが完了して本フローチャートの処理を終える。

以上のように本実施形態によれば、ＲＰＡスクリプトデータを実行した後、画像処理装置１０００の処理が停止したかどうかを判定し、停止した場合、エラー箇所になった動作スクリプトを特定して、当該ウェイト時間だけ、画像処理装置の動作停止の原因となった動作スクリプトの実行を遅らせるようＲＰＡスクリプトデータを再作成するから、実行を繰り返す度に、ＲＰＡスクリプトデータの品位を高めてゆくことができる。

［７］変形例
以上、本発明を実施の形態に基づいて説明してきたが本発明は上述の実施の形態に限定されないのは勿論であり以下の変形例が考えられる。

（１）端末装置２０００には、ディスプレイの交換が可能なタイプ、ディスプレイの解像度の変更が可能なタイプがあり、こうしたタイプの端末装置は、ＲＰＡスクリプトデータを作成した時点と、ＲＰＡスクリプトデータを実行する時点とで、ディスプレイの解像度が異なることがある。この場合、ＲＰＡスクリプトデータ作成時におけるＬＣＤ２００１の画面解像度の横画素数Ｍ＿ＳＣＮ_width、縦画素数Ｍ＿ＳＣＮ_height、ＲＰＡスクリプトデータ実行時におけるＬＣＤ２００１の画面解像度の横画素数Ｅ＿ＳＣＮ_width、縦画素数Ｅ＿ＳＣＮ_heightを用いて以下の数２の式によりウィンドウ内座標Ｅ＿ＢＴＮ_x、Ｅ＿ＢＴＮ_yを算出してもよい。

（２）リモートパネルアプリ２４００を介してではなく、ＲＰＡツール２５００がタッチパネルディスプレイ１００１における座標を算出して、ＭＦＰ１０００に実行すべき操作を指示してもよい。ＲＰＡスクリプトデータの作成時と、実行時とで、ＬＣＤ２００１の解像度が変化しない場合、タッチパネルディスプレイ１００１の解像度を構成する横画素数ＭＦＰ_width、縦画素数ＭＦＰ_heightを用いて数３の計算を実行することで、ＲＰＡツール２５００がタッチパネルディスプレイ１００１内の操作位置のＸ座標ＭＦＰ_x、Ｙ座標ＭＦＰ_yを求めてもよい。

（３）ＲＰＡスクリプトデータの作成時と、実行時とで、ＬＣＤ２００１の解像度が変化する場合、以下の数４の計算を実行することで、タッチパネルディスプレイ１００１内の操作位置のＸ座標ＭＦＰ_x、Ｙ座標ＭＦＰ_yを求める。

（４）ＲＰＡ作成モードにおいてＲＰＡツール２５００が作成したＲＰＡスクリプト列を含むスクリプトファイルを端末装置２０００のＨＤＤ２００５に書き込み、格納するとしたがこれに限られない。ＲＰＡ作成モードにおいてＲＰＡツール２５００が作成したＲＰＡスクリプト列を含むスクリプトファイルを画像処理装置１０００に送信して、画像処理装置１０００において格納してもよい。ＲＰＡ実行モードにおいては、画像処理装置１０００の内蔵ストレージに格納されたファイルのうち、スクリプトファイル特有の拡張子が付されたものを読み出し、端末装置２０００のLCD２００１において一覧表示に供する。そして、一覧表示されたＲＰＡスクリプト列のうち、ユーザーにより選択されたものを実行してもよい。
また、ＲＰＡ作成モードにおいてＲＰＡツール２５００が作成したＲＰＡスクリプト列を含むスクリプトファイルを外部ネットワークにおけるサーバー装置のストレージに書き込み、格納するとしてもよい。

（５）上記の実施形態では、端末装置２０００上でＲＰＡツール２５００を起動して、ＲＰＡツール２５００にＲＰＡスクリプトデータを実行させるとしたがこれに限られない。ＲＰＡスクリプトデータを作成・実行するＲＰＡツール２５００のプログラムファイルを画像処理装置１０００にインストールして、端末装置２０００からの指示で、ＲＰＡスクリプトデータの作成及び実行を、画像処理装置１０００上で行わせてもよい。

本変形例の画像処理装置１０００は、サーバ機能、ブラウザ機能を具備しており、ブラウザの画面により、ユーザーからの操作を受け付ける。本変形例において、端末装置２０００のブラウザがＲＰＡスクリプトデータ作成要求を画像処理装置１０００のＲＰＡツール２５００に発して、ＲＰＡツール２５００を起動し、上記実施形態に示した、ウィンドウの左上Ｘ座標を変数に保存するスクリプト、左上Ｙ座標を変数に保存するスクリプト、ウィンドウの横画素数を変数に保存するスクリプト、縦画素数を変数に保存するスクリプト、ウィンドウ内のタッチ座標を変数に保存するスクリプトを生成して、これらのスクリプトを含むＲＰＡスクリプトデータを画像処理装置１０００のＨＤＤ１００５に保存する。

ＲＰＡスクリプトデータの実行が端末装置２０００のブラウザから要求されれば、ＨＤＤ１００５に保存されたＲＰＡスクリプトデータの一覧表示を行い、実行すべきＲＰＡスクリプトデータの選択を受け付ける。実行すべきＲＰＡスクリプトデータが選択されれば、選択されたＲＰＡスクリプトデータを実行する。

（６）操作画面が配されたウィンドウの横画素数、縦画素数を算出する動作スクリプトをＲＰＡスクリプトデータに含ませるとしたがこれに限られない。ＲＰＡツールがＲＰＡスクリプトデータを実行するにあたり、操作画面が配されたウィンドウの横画素数、縦画素数を算出するよう構成してもよい。

（７）表示サイズを、ウィンドウの横画素数と、縦画素数とで表したがこれに限られない。ＲＰＡスクリプトデータを作成した際、リモートパネルの配したウィンドウのスケーリング率で表現してもよい。デスクトップ画面４００２と同じ比率であれば、スケーリング率を１００％で表す。デスクトップ画面の１／ｎ（ｎは２以上の整数）であれば、１／ｎで表す。画像処理装置の解像度は、横画素数、縦画素数の組で表したがこれに限られない。１インチ当たりのドット数（ｄｐｉ）であらわしてもよい。

（８）第２実施形態では、ＲＰＡスクリプトデータの実行により画像処理装置が停止した場合、エラー箇所を管理者に通知して、ＲＰＡスクリプトデータの再作成を行わせたがこれに限られない。ウェイト時間の自動的な挿入により、ＲＰＡスクリプトデータの再作成を実行してもよい。

図１４は、第２実施形態の変形例にかかるＲＰＡツール２５００の処理手順を示すフローチャートである。本図は、図１０をベースにしていて、ステップＳ３０９と、ステップＳ３１０との間にステップＳ４０１、ステップＳ４１２～Ｓ４１５、ステップＳ４２１～Ｓ４２３が挿入され、ステップＳ４２４、Ｓ４２５がステップＳ３１０の次に追加されている点が、第２実施形態と異なる。

変数ｈは、エラー発生回数をカウントするカウンター変数であり、初期値として０が設定される。変数ｅは、エラーが発生した手順を示す変数であり、エラーが発生した際の変数ｉがコピーされる。

ステップＳ４１２は、画像処理装置が停止し、ステップＳ４０１がＹｅｓと判定された際、実行される判定ステップであり、変数ｈが0かどうかを判定する。ｉ番目の手順でエラーが発生したのが初めてであり、ｈ＝０であれば（ステップＳ４１２でＹｅｓ）、エラー発生箇所を示す変数eに、現在の手順を示す変数iを設定する（ステップＳ４１３）。以降、変数ｈをインクリメントする（ステップＳ４１４）。

続いて、ステップＳ４１５において、所定の単位時間が経過するのを待つ（ステップＳ４１５でＮｏ）。経過すれば（ステップＳ４１５でＹｅｓ）、再度ステップＳ３０９に移行し、ｉ番目の手順をなすスクリプトを発行する。以下、エラー発生が継続する限り、単位時間のウエイトと、ｉ番目の手順の指示とを繰り返す。一回、指示を発行する度に、変数ｈをインクリメントする。ステップＳ４０１がＮｏになる。単位時間のウエイトと、ｉ番目の手順の指示とを繰り返すことでエラーが解消すると、ステップＳ４２１において、変数ｅ、ｈが０かどうかを判定する。

変数ｈ、ｅが０であれば、ステップＳ４２２、Ｓ４２３をスキップして、ステップＳ３１０に移行する。０であれば、変数ｅ、ｈをエラー履歴として残した後（ステップＳ４２２）、変数ｈ、ｅを０に設定し（ステップＳ４２３）、ステップＳ３１０に移行する。以下第１実施形態と同様、変数ｉが素数ｍになるまで、ステップＳ３０９～Ｓ３１１、ステップＳ４２１～Ｓ４２３を繰り返す
その後、ステップＳ３１０がＮｏになり、ＲＰＡスクリプトデータにより規定された全てのスクリプトが実行されれば、ステップＳ４２４において、ＲＰＡスクリプトデータのこれまでの実行過程で、エラーが発生したかどうかを判定する。エラーが発生すれば（ステップＳ４２４でＹｅｓ）、ｉ番目の手順をなすスクリプトの前に、単位時間×ｈだけ、ウエイトを行う旨のスクリプトを追加する（ステップＳ４２５）。

（９）上記の変形例では、エラーが発生した際、そのエラーの発生回数に応じてウエイトを増やすことでエラーの解消を図った。これに対し本変形例では、画像処理装置１０００に対して座標指示をなした後、画像処理装置１０００に対する手順指示でエラーが発生した場合に、ウィンドウ内Ｘ座標、ウィンドウ内Ｙ座標をインクリメントすることで、エラー解消を図る。

図１５は、変形例にかかるＲＰＡツール２５００の処理手順を示すフローチャートである。図１４と比較すると、図1５はステップＳ４１５がステップＳ４３５に置き換えられ、ステップＳ４２５がステップＳ４４５に置き換えられている点が異なる。
具体的には、ＲＰＡスクリプトデータのｉ番目の手順で、画像処理装置が停止したと判定された場合（ステップＳ４０１でＹｅｓ）、変数ｈをインクリメントした後（ステップＳ４１４）、ｉ番目の手順をなすスクリプトにおいて、変数Ｍ＿ＢＴＮｘ、Ｍ＿ＢＴＮｙに設定すべき、ウィンドウ内Ｘ座標、Ｙ座標を変数ｈに応じたルール（ｈ）で補正して（ステップＳ４３５）、ステップＳ３０９に戻る。ルール（ｈ）は、変数ｈに応じてウィンドウ内Ｘ座標、ウィンドウ内Ｙ座標を増やしてゆくルールである。具体的にいうと、変数ｈが奇数であれば、その奇数の値でウィンドウ内Ｘ座標を増やす。変数ｈが偶数であれば、その偶数の値でウィンドウ内Ｙ座標を増やす。よって、変数ｈが大きくなるにつれ、ウィンドウ内Ｘ座標は右方向に、ウィンドウ内Ｙ座標は下方向に向けて増えてゆく。

エラーが一回発生する度に変数ｈに応じて変数Ｍ＿ＢＴＮｘ、Ｍ＿ＢＴＮｙに設定すべき、ウィンドウ内Ｘ座標、Ｙ座標が変化してステップＳ３０９に戻る。こうした処理が繰り返されることで、Ｍ＿ＢＴＮｘ、Ｍ＿ＢＴＮｙに設定すべき、ウィンドウ内Ｘ座標、Ｙ座標が増えてゆく。こうして、ウィンドウ内Ｘ座標、ウィンドウ内Ｙ座標が増えれば、リモートパネルにおいて、ＧＵＩ部材がある位置を正しく押下できる確率が高まってゆく。
ステップＳ３０９、Ｓ４０１、ステップＳ４１２～Ｓ４１４、ステップＳ４３５の繰り返しにより、手順ｉのスクリプトを実行した結果、エラー発生しなくなれば（ステップＳ４０１でＮｏ）、ステップＳ４２１に移行する。ステップＳ４２１は、変数ｈが０、ｅが０かどうかの判定であり、これらの変数が０でなければ、変数ｅをエラー履歴に示した後（ステップＳ４２２）、変数ｈ、ｅに０を設定する（ステップＳ４２３）。

また、ステップＳ４０１がNoになって、ステップＳＳ３０９～Ｓ３１１、ステップＳ４０１、ステップＳ４２１～Ｓ４２３のループが抜けた後、これまでにエラーが発生したかどうかを判定する（ステップＳ４２４）。これまでにエラーが発生していれば（ステップＳ４２４でＹｅｓ）、補正されたウィンドウ座標系Ｘ座標、ウィンドウＹ座標に従いエラー履歴に示される手順のスクリプトを書き換えて（ステップＳ４４５）、メインフローにリターンする。

（１０）スクリプトとしては、Ｐｙｔｈｏｎ（登録商標）、ＶＢＳｃｒｉｐｔ（登録商標）、ＶＢ．ＮＥＴ（登録商標）、ＧＡＳ（登録商標）、Ｃ＃（登録商標）を利用することができる。

ＶＢＳｃｒｉｐｔ（登録商標）は、ＷｉｎＡｃｔｏｒでも利用される言語である。
ＶＢ．ＮＥＴ（登録商品）は、ＵｉＰａｔｈで利用されているビジュアルベーシック言語であり、マイクロソフト社Ｏｆｆｉｃｅ製品（登録商標）の操作に適する。

ＧＡＳ（Ｇｏｏｇｌｅ Ａｐｐ Ｓｃｒｉｐｔ：登録商標）はＪａｖａＳｃｒｉｐｔ（登録商標）をベースに開発されたプログラミング言語であり、Ｇｏｏｇｌｅ（登録商標）マップやメール、スプレッドシートなどのサービスを連携したり操作することができる。

Ｃ＃（登録商標）はマイクロソフト社が開発したプログラミング言語であり、Ｗｉｎｄｏｗｓ（登録商標）を操作するためのＡＰＩを利用することができる。

これらに限らず、コンパイル、リンクなしに実行できる言語であれば、他のプログラミング言語を用いてもよい。

（１１）メディアセンサーによる検出結果に従った用紙設定をＲＰＡスクリプトデータで記述してＲＰＡツール２５００に実行させることで、給紙カセットに装填された用紙種を自動的に設定するようにしてもよい。メディアセンサーは、光学センサー、赤外線センサー、超音波センサーにより緑色（Ｇ）光の反射率、近赤外光（Ｉｒ）の透過率、青色光（Ｂ）の透過率、超音波の透過率を測定して、これらの反射率、透過率から、印刷に用いられるシートの種別が、再生紙、コート紙、封筒の何れであるかを判定する。
メディアセンサーによる検出時には、こうして検出された紙種を示す文字列が、画面に表示されるので、検出された文字列を対応する給紙カセットの用紙種別に設定する。こうすることで、人手を介さずとも、メディアセンサーによつ検出結果を給紙カセットの用紙種別に反映させることができる。メディアセンサーの検出結果が表示される場所のウィンドウ内座標、及び、ウィンドウ左上座標を変数に設定するスクリプト、給紙カセットの用紙種を設定する場所ウィンドウ内座標、及び、ウィンドウ左上座標を変数に設定するスクリプトをＲＰＡスクリプトデータに生成して、そうしたＲＰＡスクリプトデータにより、装置設定を行ってもよい。

また、画像処理装置を管理するサーバーに、そうした検出結果を、画像処理装置の用紙情報として登録してもよい。

（１２）端末装置２０００において、ユーザーの操作を受け付けるポインティングデバイスとしては、マウス、キーボードしたがこれに限られない。キーパッド、スタイラスであってもよい。端末装置２０００は、ラップトップパソコンとして記載したがこれに限られない。端末装置は、マウス、キーパッド等で操作するデスクトップパソコン、スマートフォン、タブレット端末、レジ機端末の何れであってもよい
（１３）尚、画像処理装置として画像形成装置であるＭＦＰ、ＳＦＰ、ＡＩＯの例を説明したがこれに限られない。単機能のスキャナーや、ファクシミリ装置としてもよい。プロダクションプリント装置に設けてもよいし、その他、ラベル印刷機、はがき印刷機、発券機に設ける構成としてもよい。また単機能のコピー機、パーソナルコンピュータの単機能の周辺機器（プリンター）に設ける構成としてもよい。

本発明は、画像処理装置を事業所に導入する際の装置設定や画像処理装置にジョブを実行する際のパネル設定を、端末装置においてＲＰＡを用いて自動化することができるので、ＯＡ機器、情報機器の産業分野を始め、小売業、賃貸業、不動産業、広告業、運輸業、出版業等、様々な業種の産業分野で利用される可能性がある。

１０００、１０１０、１０２０ 画像処理装置
１００１、１０１１、１０２１ タッチパネルディスプレイ
１３００ アプリケーション
１４００ ＭＦＰパネルアプリ
１５００ 処理実行アプリ
２０００ 端末装置
２２００ ＯＳ
２２１０ カーネル
２２２０ マルチウィンドウシステム
２３００、１３００ アプリケーション
２４００ リモートパネルアプリ
２５００ ＲＰＡツール
２６００ ＲＰＡスクリプトデータ

Claims (17)

1. 画像処理装置用の操作画面を自端末に表示してＲＰＡによる操作を受け付ける端末装置において、操作を行うためのＲＰＡスクリプトデータを作成する作成方法であって、
   操作画面に表示されていて操作者によって選択された操作対象の位置を検出する第１ステップと、
   前記検出された操作対象の位置を、操作画面のサイズに基づき正規化して、正規化された位置を示す位置情報を生成し、当該位置情報をＲＰＡスクリプトデータに記載する第２ステップとを有する
   ことを特徴とするＲＰＡスクリプトデータの作成方法。
2. 前記端末装置は、前記操作画面をウィンドウ表示し、
   前記第２ステップによる操作対象の位置の正規化は、前記操作画面をウィンドウ表示した際の表示サイズと、操作すべき操作対象の位置のウィンドウ内座標とを用いてなされる
   ことを特徴とする請求項１に記載のＲＰＡスクリプトデータの作成方法。
3. 前記第２ステップは、
   前記ウィンドウ表示のサイズを取得するスクリプト、
   取得したウィンドウ表示のサイズと、位置情報に示される正規化された操作対象の位置とを用いて、前記操作対象の位置を示すウィンドウ内座標を算出する算出スクリプトを生成し、ＲＰＡスクリプトデータに記載する
   ことを特徴とする請求項２に記載のＲＰＡスクリプトデータの作成方法。
4. 前記ＲＰＡスクリプトデータは、操作すべき操作対象の位置が検出された際の、端末装置の画面解像度を示す解像度情報を有し、
   前記第２ステップにより生成される算出スクリプトは、前記ウィンドウ内座標の算出に、前記ＲＰＡスクリプトデータの解像度情報に示される画面解像度と、ＲＰＡスクリプトデータを実行する際の端末装置の画面解像度との比率を用いる
   ことを特徴とする請求項３に記載のＲＰＡスクリプトデータの作成方法。
5. 前記第２ステップは、
   前記画像処理装置の画面解像度と、位置情報に示される操作対象の正規化された位置とを用いて、画像処理装置の操作画面内座標を算出する算出スクリプトを生成して、ＲＰＡスクリプトデータに記載する
   ことを特徴とする請求項１に記載のＲＰＡスクリプトデータの作成方法。
6. 画像処理装置用の操作画面を自端末に表示してＲＰＡによる操作を受け付ける端末装置において、ＲＰＡスクリプトデータを実行してＲＰＡによる操作を行うＲＰＡスクリプトデータの実行方法であって、
   操作画面のサイズを用いて正規化された位置情報に基づきＲＰＡによる操作の対象となる位置の座標を算出する第１ステップと、
   算出された座標において、ＲＰＡによる操作を実行して、対応する処理を行うよう画像処理装置に指示する第２ステップとを含む
   ことを特徴とするＲＰＡスクリプトデータの実行方法。
7. 前記端末装置は、画像処理装置の操作画面をウィンドウ表示し、
   前記第１ステップによる座標の算出は、
   前記ウィンドウ表示のサイズを取得して、取得したサイズと、位置情報に示される正規化された操作対象の位置とを用いて、ウィンドウ内座標を算出することでなされる
   ことを特徴とする請求項６に記載のＲＰＡスクリプトデータの実行方法。
8. 前記ＲＰＡスクリプトデータは、操作すべき操作対象の位置が検出された際の、端末装置の画面解像度を示す解像度情報を有し、
   前記第２ステップは、前記操作すべき操作対象の位置のウィンドウ内座標の算出に、前記ＲＰＡスクリプトデータの解像度情報に示される画面解像度と、ＲＰＡスクリプトデータを実行する際の端末装置の画面解像度との比率を用いる
   ことを特徴とする請求項７に記載のＲＰＡスクリプトデータの実行方法。
9. 前記第２ステップによる座標の算出は、
   前記画像処理装置の画面解像度と、前記位置情報に示される操作対象の正規化された位置とを用いて、画像処理装置の画面内座標を算出することでなされる
   請求項６に記載のＲＰＡスクリプトデータの実行方法。
10. 前記第１ステップによる前記座標の算出は、前記端末装置及び前記画像処理装置のどちらかによってなされる
    ことを特徴とする請求項６～９の何れかに記載のＲＰＡスクリプトデータの実行方法。
11. 更に、接続可能な画像処理装置をユーザーに提示して、何れの画像処理装置に処理を行わせるかの選択を受け付ける第１サブステップ、
    画像処理装置が選択されれば、当該画像処理装置の画面解像度を取得する第２サブステップを含み、
    前記第１ステップによる前記座標の算出は、前記ＲＰＡスクリプトデータの位置情報と、取得した画像処理装置の画面解像度との比率を用いて、画像処理装置の画面内座標を算出することでなされる
    ことを特徴とする請求項６に記載のＲＰＡスクリプトデータの実行方法。
12. 前記ＲＰＡスクリプトデータは、複数の動作スクリプトにより構成され、
    ＲＰＡスクリプトデータに基づき画像処理装置に操作を指示するにあたり、画像処理装置の処理が停止したかどうかの判定を行う第３ステップ、
    画像処理装置による処理が停止した場合、前記何れかの動作スクリプトをエラー箇所として管理者に通知する第４ステップを有し、
    前記位置情報は、何れかの動作スクリプトに含まれる
    ことを特徴とする請求項６に記載のＲＰＡスクリプトデータの実行方法。
13. 前記第４ステップにおける通知後に、ＲＰＡスクリプトデータの再作成を実行する第５ステップを有し、
    前記第４ステップは、操作タイミングの指定を管理者から受け付けるサブステップを有し、
    エラー箇所として通知された動作スクリプトの前後には、指定された操作タイミングに従い、動作スクリプトの発行タイミングを調整するスクリプトが挿入される
    ことを特徴とする請求項１２に記載のＲＰＡスクリプトデータの実行方法。
14. 画像形成装置の操作画面を表したビットマップを画像処理装置から受信する受信手段と、
    受信したビットマップをＶＲＡＭに書き込み、表示する表示手段と、
    ＲＰＡで実行すべき操作の登録の際、ＶＲＡＭに書き込まれたビットマップのうち、操作対象とする位置の指定を操作者から受け付ける受付手段と、
    指定された位置を、表示されたビットマップのサイズに応じて正規化して示す位置情報を得て、位置情報を記載したＲＰＡスクリプトデータを生成する生成手段と
    を備えることを特徴とする端末装置。
15. 画像形成装置の操作画面を表したビットマップを端末装置に送信する送信手段と、
    ＲＰＡで操作を実行する際、正規化された位置情報を端末装置から受信する受信手段と、
    端末装置において表示されているビットマップのサイズと、正規化された位置情報とに基づきＲＰＡの対象となる位置の座標を算出する算出手段とを備え、
    前記端末装置は、算出手段により算出された座標を用いてＲＰＡによる操作を実行する
    ことを特徴とする画像処理装置。
16. ＲＰＡを実行するコンピュータによりアクセスされるスクリプトデータのデータ構造であって、
    ＲＰＡで行うべき個々の手順に対応するフィールドを有し、
    前記何れかの１つのフィールドは、
    操作画面において操作者によって選択された操作対象の位置を、当該操作画面のサイズで正規化して示す位置情報と、
    前記操作対象の位置に対してＲＰＡで行うべき操作の内容を示すスクリプトとを含む
    ことを特徴とするスクリプトデータのデータ構造。
17. 画像処理装置用の操作画面を表示するコンピュータに、ＲＰＡによる操作を実行させるプログラムであって、
    操作画面のサイズを用いて正規化された位置情報に基づいて、前記表示された操作画面における、操作の対象となる座標を算出させる第１コードと、
    算出された座標において、ＲＰＡによる操作をコンピュータに行わせる第２コードとを含む
    ことを特徴とするプログラム。