JP2021060936A

JP2021060936A - 情報処理方法、情報処理装置、情報処理システム及びコンピュータプログラム

Info

Publication number: JP2021060936A
Application number: JP2019186282A
Authority: JP
Inventors: 将則村井; Masanori Murai; 豊三林; Yutaka Mitsubayashi
Original assignee: C Rise Ltd
Current assignee: C Rise Ltd
Priority date: 2019-10-09
Filing date: 2019-10-09
Publication date: 2021-04-15
Anticipated expiration: 2039-10-09
Also published as: JP6785489B1

Abstract

【課題】実行段階で入力情報を受け付けながら、自動実行の操作処理を進めることを実現する情報処理方法等を提供する。【解決手段】情報処理方法は、予め記録された操作処理手順に基づいて、ブラウザの操作処理を自動実行する情報処理方法であって、前記操作処理を自動実行するための入力情報を受け付け、受け付けた前記入力情報及び前記操作処理手順に基づき、前記操作処理を自動実行する。【選択図】図１

Description

本技術は、情報処理方法、情報処理装置、情報処理システム及びコンピュータプログラムに関する。

オフィス又は工場等における作業の効率化を目的としたクラウドサービスとして、特許文献１には、オフィス又は工場等のサーバに対する操作を伴う業務プロセスを自動化するための方法が開示されている。特許文献１に開示の方法においては、自動化される操作は、人間が指定した操作を記述したデータに基づき行われる。

特許第６５３２６２６号公報

しかしながら、操作の自動実行時おいて要求されるデータに関しては、予め全てを指定して記述しておくことは困難なケースがある。

本開示の目的は、実行段階で入力情報を受け付けながら、自動実行の操作処理を進めることを実現する情報処理方法等を提供することにある。

本開示の一態様における情報処理方法は、予め記録された操作処理手順に基づいて、ブラウザの操作処理を自動実行する情報処理方法であって、前記操作処理を自動実行するための入力情報を受け付け、受け付けた前記入力情報及び前記操作処理手順に基づき、前記操作処理を自動実行する。

本開示によれば、実行段階で入力情報を受け付けながら、自動実行の操作処理を進めることができる。

実施形態１における情報処理システムの構成を示すブロック図である。情報処理システムを構成する各装置の内部構成を示すブロック図である。情報処理システムにおいて実行される操作処理の手順の一例を示すフローチャートである。情報処理システムにおいて実行される操作処理の手順の一例を示すフローチャートである。端末装置の表示部に表示される画面例を示す図である。情報処理装置のブラウザに表示される画面例を示す図である。情報処理装置のブラウザに表示される画面例を示す図である。情報処理装置のブラウザに表示される画面例を示す図である。端末装置の表示部に表示される画面例を示す図である。実施形態２における情報処理システムの構成を示すブロック図である。実施形態３の情報処理システムにおいて実行される操作処理の手順の一例を示すフローチャートである。実施形態３の情報処理システムにおいて実行される操作処理の手順の一例を示すフローチャートである。端末装置の表示部に表示される画面例を示す図である。端末装置の表示部に表示される画面例を示す図である。端末装置の表示部に表示される画面例を示す図である。端末装置の表示部に表示される画面例を示す図である。実施形態４の情報処理システムにおいて実行される操作処理の手順の一例を示すフローチャートである。実施形態４の情報処理システムにおいて実行される操作処理の手順の一例を示すフローチャートである。実施形態５における端末装置の表示部に表示される画面例を示す図である。端末装置の表示部に表示される画面例を示す図である。

本発明をその実施の形態を示す図面を参照して具体的に説明する。

（実施形態１）
図１は、実施形態１における情報処理システム１００の構成を示すブロック図である。情報処理システム１００は、情報処理装置１、端末装置２及びウェブサーバ３を備える。各装置は、インターネット等のネットワークＮを介して相互に情報を送受信することが可能である。

情報処理装置１は、第１サーバ１１、第２サーバ１２及び第３サーバ１３を含む。情報処理装置１は、夫々１台のサーバコンピュータである第１サーバ１１、第２サーバ１２及び第３サーバ１３から構成される例を説明するが、第１サーバ１１、第２サーバ１２及び第３サーバ１３は複数のサーバコンピュータで機能又は処理を分散させてもよいし、１台の大型コンピュータに仮想的に生成される複数のサーバコンピュータ（インスタンス）の内の１つであってもよい。

第１サーバ１１は、手順ＤＢ（Data Base ：データベース）１４に対して情報を読み書きする。第１サーバ１１は手順ＤＢ１４に、ブラウザにおける操作処理を実行するための操作処理手順を記憶する。操作処理手順には、ブラウザにおける複数の操作処理が含まれる。操作処理手順に基づき自動実行される操作処理とは、ウェブサーバ３へのブラウザの操作に関する処理であり、例えば、ウェブサーバ３上におけるデータの入力、エレメントの選択、ブラウザのリサイズ、ブラウザのスクロール、タブの切替等である。各操作処理には、操作処理内容、エレメント情報、操作処理に必要な入力情報の有無等が含まれている。

端末装置２は、例えばパーソナルコンピュータ、スマートフォン又はタブレット等である。端末装置２は、ブラウザ画面上における操作処理の自動実行要求を情報処理装置１へ送信し、操作処理の自動実行の結果を取得する。端末装置２は、操作処理の自動実行に必要な入力情報を、情報処理装置１へ送信する。入力情報は、例えば、ブラウザで入力されるデータ、選択されるエレメント等の情報である。

第１サーバ１１は、ネットワークＮを介して端末装置２と通信を行うウェブサービスサーバである。第１サーバ１１は、端末装置２から操作処理の自動実行要求を受信する。第１サーバ１１は、自動実行要求に応じた操作処理手順を手順ＤＢ１４から読み出し第２サーバへ送信する。第２サーバ１２は、第１サーバ１１から取得した操作処理手順に基づき、操作処理の自動実行指示を第３サーバ１３へ送信する。第３サーバ１３は、取得した操作処理の自動実行指示に応じて、ウェブドライバ等を用いてブラウザを制御し、ネットワークＮを介してウェブサーバ３への操作処理を自動実行する。ウェブサーバ３は、操作処理に応じたウェブページを、ネットワークＮを介して第３サーバ１３に提供し、第３サーバ１３はウェブページを取得する。第３サーバ１３は、操作処理の自動実行結果を取得し、第２サーバ１２及び第１サーバ１１を介して、端末装置２へ送信する。このように、情報処理システム１００では、情報処理装置１と端末装置２とが通信を行い、端末装置２の自動実行要求に基づき、情報処理装置１が通信によりブラウザの操作処理を自動実行するクラウド型サービスを実現する。

このような情報処理システム１００の構成及び詳細な処理内容について以下に説明する
。

図２は、情報処理システム１００を構成する各装置の内部構成を示すブロック図である。情報処理装置１は、上述のように第１サーバ１１、第２サーバ１２及び第３サーバ１３を含む。第１サーバ１１は、制御部１１０、記憶部１１１及び通信部１１２を備える。制御部１１０は、ＣＰＵ(Central Processing Unit)、ＭＰＵ(Micro-Processing Unit)又はＧＰＵ(Graphics Processing Unit)等の処理素子（コンピュータ）を有する。制御部１１０は、記憶部１１１に記憶されているプログラム１１Ｐに基づき、汎用サーバコンピュータを、ブラウザの操作処理を自動実行するクラウド型サービスを提供する特有の情報処理装置として機能させる。なお、制御部１１０が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子が協働で種々の処理を実行する。

通信部１１２は、有線又は無線の通信モジュール又は通信インタフェースであり、ネットワークＮを介して第２サーバ１２及び端末装置２との間で情報の送受信を行う。

記憶部１１１は、不揮発性記憶媒体を用いることができる。不揮発性記憶媒体は、例えば、ハードディスク、若しくはＳＳＤ（Solid State Drive ）が挙げられる。記憶部１１１は、プログラム１１Ｐを含む制御部１１０が参照するプログラム及びデータを記憶する。

プログラム１１Ｐは、プログラム１１Ｐを読み取り可能に記録した非一時的な記憶媒体Ａ１を用いて、第１サーバ１１に提供されてもよい。記憶媒体Ａ１は、例えば可搬型メモリである。可搬型メモリの例として、ＣＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤカード、マイクロＳＤカード又はコンパクトフラッシュ（登録商標）等が挙げられる。記憶媒体Ａ１が可搬型メモリである場合、制御部１１０の処理素子は、図示しない読み取り装置を用いて記憶媒体Ａ１からプログラム１１Ｐを読み取り、読み取ったプログラム１１Ｐを記憶部１１１に記憶してもよい。プログラム１１Ｐは、通信部１１２を介した通信によって、第１サーバ１１に提供されてもよい。この場合、制御部１１０の処理素子は、通信部１１２を通じてプログラム１１Ｐを取得し、取得したプログラム１１Ｐを記憶部１１１に記憶してもよい。

第２サーバ１２は、制御部１２０、記憶部１２１及び通信部１２２を備える。制御部１２０は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の処理素子を有する。制御部１２０は、記憶部１２１に記憶されているプログラム１２Ｐに基づき、汎用サーバコンピュータを、ブラウザの操作処理を自動実行するクラウド型サービスを提供する特有の情報処理装置として機能させる。なお、制御部１２０が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子が協働で種々の処理を実行する。

通信部１２２は、有線又は無線の通信モジュール又は通信インタフェースであり、ネットワークＮを介して第１サーバ１１及び第３サーバ１３との間で情報の送受信を行う。

記憶部１２１は、不揮発性記憶媒体を用いることができる。不揮発性記憶媒体は、例えば、ハードディスク、若しくはＳＳＤが挙げられる。記憶部１２１は、プログラム１２Ｐを含む制御部１２０が参照するプログラム及びデータを記憶する。

プログラム１２Ｐは、プログラム１２Ｐを読み取り可能に記録した非一時的な記憶媒体Ａ２を用いて、第２サーバ１２に提供されてもよい。記憶媒体Ａ２は、例えば可搬型メモリである。可搬型メモリの例として、ＣＤ−ＲＯＭ、ＵＳＢメモリ、ＳＤカード、マイクロＳＤカード又はコンパクトフラッシュ等が挙げられる。記憶媒体Ａ２が可搬型メモリである場合、制御部１２０の処理素子は、図示しない読み取り装置を用いて記憶媒体Ａ２からプログラム１２Ｐを読み取り、読み取ったプログラム１２Ｐを記憶部１２１に記憶してもよい。プログラム１２Ｐは、通信部１２２を介した通信によって、第２サーバ１２に提供されてもよい。この場合、制御部１２０の処理素子は、通信部１２２を通じてプログラム１２Ｐを取得し、取得したプログラム１２Ｐを記憶部１２１に記憶してもよい。

第３サーバ１３は、制御部１３０、記憶部１３１及び通信部１３２を備える。制御部１３０は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の処理素子を有する。制御部１３０は、記憶部１３１に記憶されているプログラム１３Ｐに基づき、汎用サーバコンピュータを、ブラウザの操作処理を自動実行するクラウド型サービスを提供する特有の情報処理装置として機能させる。なお、制御部１３０が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子が協働で種々の処理を実行する。

通信部１３２は、有線又は無線の通信モジュール又は通信インタフェースであり、ネットワークＮを介して第２サーバ１２及びウェブサーバ３との間で情報の送受信を行う。

記憶部１３１は、不揮発性記憶媒体を用いることができる。不揮発性記憶媒体は、例えば、ハードディスク、若しくはＳＳＤが挙げられる。記憶部１３１は、プログラム１３Ｐを含む制御部１３０が参照するプログラム及びデータを記憶する。

プログラム１３Ｐは、プログラム１３Ｐを読み取り可能に記録した非一時的な記憶媒体Ａ３を用いて、第３サーバ１３に提供されてもよい。記憶媒体Ａ３は、例えば可搬型メモリである。可搬型メモリの例として、ＣＤ−ＲＯＭ、ＵＳＢメモリ、ＳＤカード、マイクロＳＤカード又はコンパクトフラッシュ等が挙げられる。記憶媒体Ａ３が可搬型メモリである場合、制御部１３０の処理素子は、図示しない読み取り装置を用いて記憶媒体Ａ３からプログラム１３Ｐを読み取り、読み取ったプログラム１３Ｐを記憶部１３１に記憶してもよい。プログラム１３Ｐは、通信部１３２を介した通信によって、第３サーバ１３に提供されてもよい。この場合、制御部１３０の処理素子は、通信部１３２を通じてプログラム１３Ｐを取得し、取得したプログラム１３Ｐを記憶部１３１に記憶してもよい。

第３サーバ１３は、ブラウザを備える。ブラウザは、ウェブサーバ３とネットワークＮを介して通信を行い、ウェブサーバ３から取得した情報を解析し、解析結果をブラウザ画面に表示する。ブラウザはヘッドレスブラウザであってよい。

端末装置２は、制御部２０、記憶部２１、通信部２２、表示部２３及び操作部２４を備える。制御部２０は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の処理素子を有する。なお、制御部２０が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子が協働で種々の処理を実行する。

記憶部２１は、不揮発性記憶媒体を用いることができる。不揮発性記憶媒体は、例えば、ＳＳＤ、若しくは、フラッシュメモリが挙げられる。記憶部２１は、制御部２０が参照するプログラム及びデータを記憶する。

通信部２２は、有線又は無線の通信モジュール又は通信インタフェースであり、ネットワークＮを介して第１サーバ１１との間で情報の送受信を行う。

表示部２３は、液晶パネル、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ装置を用いる。操作部２４は、ユーザの操作を受け付けるインタフェースであり、物理ボタン、ディスプレイ内蔵のタッチパネルデバイス等を用いる。

上記のように構成される情報処理システム１００において、操作処理手順に基づく操作処理の自動実行が行われる。図３及び図４は、情報処理システム１００において実行される操作処理の手順の一例を示すフローチャートである。例えば端末装置２に接続されている操作部２４からの入力内容に基づき、情報処理装置１、端末装置２及びウェブサーバ３の間で以下の処理が実行される。なお本実施形態においては、情報処理装置１で実行される処理は、第１サーバ１１の制御部１１０、第２サーバ１２の制御部１２０及び第３サーバ１３の制御部１３０により協働して各処理が実行される。

端末装置２は、操作部２４の操作を受け付けブラウザプログラム等を起動し、自動実行サービスへのログイン情報を受け付け、情報処理装置１へ通信接続する。情報処理装置１は、ユーザＩＤ等に対応付けて登録されている、予め記録済みの複数の操作処理手順を端末装置２へ送信する。端末装置２は、受信した複数の操作処理手順を表示部２３に表示し、ユーザの所望する操作処理手順の選択を受け付け、受け付けた操作処理手順ＩＤを情報処理装置１へ送信する。

各操作処理手順には複数の操作処理が含まれる。操作処理には、操作処理の実行において入力情報が必要である操作処理と、入力情報が必要でない操作処理とが含まれる。情報処理装置１は、操作処理手順に対応付けてこれら入力情報の受け付けの必要の有無を記憶している。例えば、以下で説明する処理で自動実行される操作処理手順ＩＤ０１には、第１操作処理、第２操作処理及び第３操作処理が含まれる。第１操作処理には、操作処理内容及び第１入力情報の受け付けが必要であることを示す情報が含まれる。第２操作処理には、操作処理内容及び第２入力情報の受け付けが必要であることを示す情報が含まれる。

情報処理装置１は、選択された操作処理手順に入力情報の受け付けが必要な操作処理が含まれている場合は、必要な入力情報を受け付けるための入力ボックス等を含む受付画面情報を端末装置２へ送信する。

端末装置２は、取得した受付画面を表示部２３に表示させる（図５参照）。ユーザは、予め第１入力情報及び第２入力情報を入力し、操作処理の自動実行を要求する。端末装置２は、操作処理手順ＩＤに対応付けて、操作処理の自動実行要求、第１入力情報及び第２入力情報の入力を受け付ける。端末装置２は、受け付けた操作処理の自動実行要求、第１入力情報及び第２入力情報を操作処理手順ＩＤに対応付けて情報処理装置１に送信する（ステップＳ１０１）。

情報処理装置１は、操作処理手順ＩＤに対応付けて、操作処理の自動実行要求、第１入力情報及び第２入力情報を受信する（ステップＳ２０１）。情報処理装置１は、第１入力情報及び第２入力情報と、第１操作処理及び第２操作処理とを夫々対応付けて記憶する。情報処理装置１は、手順ＤＢ１４を参照し、自動実行要求に係る操作処理手順を取得する（ステップＳ２０２）。取得した操作処理手順には、例えば第１操作処理、第２操作処理及び第３操作処理を含む複数の操作処理が含まれる。

情報処理装置１は、ブラウザを起動する。情報処理装置１は、操作処理により指定されたＵＲＬを読み込み、ウェブサーバ３へＨＴＴＰリクエストを送信する（ステップＳ２０３）。

ウェブサーバ３は、ＨＴＴＰリクエストを受信し（ステップＳ３０１）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第１画面）を生成する。第１画面には、第１入力情報の入力を受け付ける画面情報が含まれている（図６参照）。ウェブサーバ３は、生成した第１画面を情報処理装置１へ返信する（ステップＳ３０２）。

情報処理装置１は、第１画面を取得し（ステップＳ２０４）、第１操作処理を実行する（ステップＳ２０５）。第１操作処理は、第１入力情報の入力を制御する操作処理である。情報処理装置１は、第１操作処理に対応付けられる第１入力情報を読み出し、ブラウザの第１画面に含まれる所定のエレメントへの第１入力情報の入力を実行し、実行ボタン等のエレメントの押下操作により第１入力情報を含むＨＴＴＰリクエストをウェブサーバ３へ送信する。

ウェブサーバ３は、第１入力情報を含むＨＴＴＰリクエストを受信し（ステップＳ３０３）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第２画面）を生成する。第２画面には、第２入力情報の入力を受け付ける画面情報が含まれている（図７参照）。ウェブサーバ３は、生成した第２画面を情報処理装置１へ返信する（ステップＳ３０４）。

情報処理装置１は、第２画面を取得し（ステップＳ２０６）、第２操作処理を実行する（ステップＳ２０７）。第２操作処理は、第２入力情報の入力を制御する操作処理である。情報処理装置１は、第２操作処理に対応付けられる第２入力情報を読み出し、ブラウザの第２画面に含まれる所定のエレメントへの第２入力情報の入力を実行し、実行ボタン等のエレメントの押下操作により第２入力情報を含むＨＴＴＰリクエストをウェブサーバ３へ送信する。

ウェブサーバ３は、第２入力情報を含むＨＴＴＰリクエストを受信し（ステップＳ３０５）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第３画面）を生成する。第３画面には、一連の操作処理により得られた自動実行結果データを示す結果画面情報が含まれている（図８参照）。ウェブサーバ３は、生成した第３画面を情報処理装置１へ返信する（ステップＳ３０６）。

情報処理装置１は、第３画面を取得し（ステップＳ２０８）、第３操作処理を実行する（ステップＳ２０９）。第３操作処理は、自動実行結果データを取得する操作処理である。情報処理装置１は、例えばブラウザ画面のスナップショットによる画像データを生成することにより自動実行結果データを取得する（図９参照）。情報処理装置１は、取得した自動実行結果データを端末装置２へ送信する（ステップＳ２１０）。端末装置２は、自動実行結果データを取得し（ステップＳ１０２）、一連の処理を終了する。なお、情報処理システム１００は、ステップＳ２０８の処理の後にステップＳ２０７を行うループ処理を行ってもよい。

具体例を挙げて図３及び図４のフローチャートに示した処理手順を説明する。図５は、端末装置２の表示部２３に表示される画面例を示す図である。図５は、端末装置２の表示部２３に表示される入力情報の受付画面２３１の一例を示す図である。ユーザが、ブラウザ上の自動実行の受付画面にて、自動実行すべき操作処理手順ＩＤを選択すると、図５に示す如く入力情報の受付画面２３１が表示部２３に表示される。

図５の例では、操作処理手順として手順ＩＤ０１の金沢のホテル予約実行の操作処理手順が選択されている。手順ＩＤ０１の操作処理には、第１入力情報として、ホテル予約サイトのログインＩＤ及びパスワードが含まれる。さらに第２入力情報として、宿泊日数が含まれる。ユーザは、図５の入力画面に表示される第１入力情報の入力ボックス２３２にログインＩＤ及びパスワードを、第２入力情報の入力ボックス２３３に宿泊日数をそれぞれ入力し、実行ボタン２３４の選択操作を行う。端末装置２は、実行ボタン２３４の操作を受け付け、自動実行要求、第１入力情報及び第２入力情報を取得し、取得した自動実行要求、第１入力情報及び第２入力情報を情報処理装置１へ送信する（ステップＳ１０１）。なお、受付画面２３１に複数の入力ボックスが含まれる場合において、操作処理は画面単位に実行されるものに限られず、入力ボックス毎に夫々入力情報及び操作処理が定義されていてもよい。

図６から図８は、情報処理装置１のブラウザに表示される画面例を示す図である。情報処理装置１のブラウザでは、取得した操作処理手順、第１入力情報及び第２入力情報に基づく操作が自動で実行される。情報処理装置１がホテル予約サイトのＵＲＬを読み込むと、第１画面であるホテル予約サイトのログイン画面１４０が、図６の如くブラウザに表示される（ステップＳ２０４）。第１画面には、第１入力情報のログインＩＤ及びパスワードの入力を受け付ける入力ボックス１４１と、第１入力情報を含むＨＴＴＰリクエストの送信を実行するためのログインボタン１４２とが含まれる。情報処理装置１は、第１操作処理を実行し、入力ボックス１４１に第１入力情報のログインＩＤ及びパスワードを入力し、ログインボタン１４２を押下する（ステップＳ２０５）。

ついで、第２画面であるホテル検索画面１４３が、図７の如くブラウザに表示される（ステップＳ２０６）。ホテル検索画面１４３には、宿泊地、地域及び宿泊日の選択を受け付ける複数の入力ボックス１４４と、宿泊日数の入力を受け付ける入力ボックス１４５と、第２入力情報を含むＨＴＴＰリクエストの送信を実行するための検索実行ボタン１４６とが含まれる。手順ＩＤ０１の操作処理手順では、例えば宿泊地、地域及び宿泊日等は予め所定の入力内容が決定されており、宿泊日数のみが操作毎に指定され、ホテルの予約が実行される。情報処理装置１は、予め設定される入力内容に従い、宿泊地、地域及び宿泊日の各入力ボックス１４４の入力操作を実行する。さらに情報処理装置１は、第２操作処理を実行し、入力ボックス１４５に第２入力情報の宿泊日数を入力し、検索実行ボタン１４６を押下する（ステップＳ２０７）。

情報処理装置１は、以降の操作処理手順を実行し、検索条件に応じたホテルの予約を完了する。検索条件に応じた予約プランが複数表示される場合において、例えば手順ＩＤ０１の操作処理手順では、先頭に表示される予約プランが選択されるよう操作処理が設定される。

上述のようにして、予約が完了し、第３画面である予約完了画面１４７が図８の如くブラウザに表示される（ステップＳ２０８）。予約完了画面１４７には、手順ＩＤ０１の操作処理手順の自動実行結果である、ホテルの予約内容が含まれる。情報処理装置１は、第３操作処理を実行し、自動実行結果データを端末装置２へ送信する（ステップＳ２１０）。

図９は、端末装置２の表示部２３に表示される画面例を示す図である。端末装置２の表示部２３には、図９に示す如く、操作処理の結果画面２３５が表示される。結果画面２３５には、自動実行結果データを示す表示ボックス２３６が含まれ、ユーザは、自動実行された操作処理手順の結果を認識することができる。

なお、ユーザは、操作処理手順の自動実行結果のみでなく、自動実行中、若しくは自動実行完了後の各操作処理手順の自動実行内容等について、任意のタイミングで端末装置２の表示部２３にて確認することが可能であることが好ましい。情報処理装置１は、各操作処理の自動実行に応じて表示されるブラウザ画面の各画像データを取得し、操作処理の識別情報に対応付けて記憶する。情報処理装置１は、端末装置２からの要求に応じて、画像データ等を送信する。例えば、端末装置２の表示部２３には、ユーザの登録した操作処理手順が一覧で表示され、各操作処理手順の自動実行履歴、進行状況等が視認可能に表示される。ユーザが一の操作処理手順を選択すると、該操作処理手順に含まれる複数の操作処理が表示され、各操作処理に対応付けられたブラウザ画面の履歴を確認することが可能である。

本実施形態によれば、ユーザは、任意の入力情報を指定したうえで操作処理の自動実行を情報処理装置１に行わせることができる。情報処理装置１は、必要な入力情報を受け付けながら操作処理の自動実行を進めることができる。入力情報は、操作処理毎に変更が可能なため、多様なニーズに対応した操作処理手順を提供することができる。

上述の処理において、情報処理装置１は、端末装置２から操作処理の自動実行要求を受信することなく、予め設定された時間に自動で操作処理を開始してもよい。情報処理装置１は、図示しない予約ＤＢに登録されるジョブ内容に基づき、操作処理の自動実行を開始する。予約ＤＢには、例えば予約開始時刻、操作処理手順ＩＤ、第１入力情報及び第２入力情報等が登録されている。情報処理装置１は、予約ＤＢに登録された操作処理手順ＩＤ、第１入力情報及び第２入力情報等に基づき、予約開始時刻に、操作処理の自動実行を開始する。情報処理装置１は、操作処理に応じた自動実行結果を取得し、取得した自動実行結果を予約ＤＢまたは記憶部等に保存する。ユーザは端末装置２を用いて、情報処理装置１を介して予約ＤＢまたは記憶部等に保存された自動実行結果データを取得し、自動実行結果を認識することができる。

（実施形態２）
実施形態２の情報処理システム２００は、外部サーバをさらに備え、当該外部サーバが、情報処理装置１のＡＰＩ（Application Programming Interface ）を呼び出すことにより、操作処理の自動実行が実現される。図１０は、実施形態２における情報処理システム２００の構成を示すブロック図である。以下では、実施形態２について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については実施形態１と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

外部サーバ４は、通信機能を有するサーバコンピュータであり、ネットワークＮを介して、情報処理装置１及び端末装置２と情報の送受信が可能である。情報処理装置１の第１サーバ１１は、外部サーバ４へＡＰＩを提供するＡＰＩサーバとして機能する。外部サーバ４は、第１サーバ１１へ操作処理の自動実行要求を送信し、第１サーバ１１から要求した操作処理の自動実行結果データを取得する。

実施形態２では、外部サーバ４から、操作処理の自動実行要求、第１入力情報及び第２入力情報等が情報処理装置へ送信される。外部サーバ４は、情報処理装置１が備えるＡＰＩを呼び出し、操作処理の自動実行を要求する。外部サーバ４は、第１入力情報、第２入力情報及びＡＰＩの実行要求を情報処理装置１へ送信する。第１入力情報、第２入力情報及び実行要求を取得した情報処理装置１は、実施形態１と同様の処理を行い、ウェブサーバ３に対する操作処理を自動実行し、操作処理手順の自動実行結果データを取得する。情報処理装置１は、取得した操作処理の自動実行結果データを外部サーバ４へ送信する。

（実施形態３）
実施形態３の情報処理システム３００では、操作処理の実行途中で、入力情報が受け付けられる点で実施形態１と異なる。以下では、実施形態３について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については実施形態１と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

操作処理を自動実行する場合において、例えば、表示される選択肢の内容が自動実行の開始時に取得できないとき、第１入力情報の入力内容に応じて第２入力情報が表示されるとき、認証情報等の操作処理毎に異なる入力情報が必要なとき等がある。このようなときには、自動実行の開始時に全ての入力情報を指定した上で操作処理の自動実行を要求することは困難であり、操作処理を進める途中で入力情報を取得することが望ましい。

図１１及び図１２は、実施形態３の情報処理システム３００において実行される操作処理の手順の一例を示すフローチャートである。例えば端末装置２に接続されている操作部２４からの入力内容に基づき、情報処理装置１、端末装置２及びウェブサーバ３の間で以下の処理が実行される。実施形態１の図３及び図４と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

端末装置２は、操作部２４の操作を受け付けブラウザプログラム等を起動して、表示部２３に自動実行サービスに係るブラウザ画面を表示する。ブラウザ画面には、予め記録済みの複数の操作処理手順が表示される。端末装置２は、複数の操作処理手順の中から、ユーザの所望する操作処理手順の選択を受け付ける。操作処理手順には、例えば第１操作処理及び第２操作処理を含む複数の操作処理が含まれる。第１操作処理及び第２操作処理の実行には、夫々第１入力情報及び第２入力情報が必要である。端末装置２は、必要な入力情報を受け付けるための入力ボックス等を含む画面情報を取得し表示部２３に表示させる（図１３参照）。ユーザは、ブラウザ画面を介して第１入力情報を入力する。第１入力情報は、例えばログインＩＤ及びパスワードであり、自動実行の要求時に入力することが可能な情報である。端末装置２は、操作処理手順ＩＤに対応付けて、操作処理の自動実行要求及び第１入力情報を情報処理装置１に送信する（ステップＳ１２１）。

情報処理装置１は、操作処理手順ＩＤに対応付けて、操作処理の自動実行要求及び第１入力情報を受信する（ステップＳ２２１）。情報処理装置１は、第１入力情報と第１操作処理とを対応付けて記憶する。情報処理装置１は、手順ＤＢ１４を参照し、自動実行要求に係る操作処理手順を取得する（ステップＳ２０２）。操作処理手順には、例えば第１操作処理、第２操作処理及び第３操作処理を含む複数の操作処理が含まれる。

ウェブサーバ３は、ＨＴＴＰリクエストを受信し（ステップＳ３０１）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第１画面）を生成する。第１画面には、第１入力情報の入力を受け付ける画面情報が含まれている。ウェブサーバ３は、生成した第１画面を情報処理装置１へ返信する（ステップＳ３０２）。

ウェブサーバ３は、第１入力情報を含むＨＴＴＰリクエストを受信し（ステップＳ３０３）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第２画面）を生成する。第２画面には、第２入力情報の入力を受け付ける画面情報が含まれている。ウェブサーバ３は、生成した第２画面を情報処理装置１へ返信する（ステップＳ３０４）。

情報処理装置１は、第２画面を取得する。（ステップＳ２０６）。情報処理装置１は、第２画面に基づき、第２操作処理を実行するための入力情報を受け付けるか否かを判定する（ステップＳ２２２）。第２操作処理に対応付けられた第２入力情報が取得済みであることにより、第２入力情報を受け付けると判定されない場合（ステップＳ２２２：ＮＯ）、情報処理装置１は、処理をステップＳ２０７に進める。

一方、第２入力情報が取得済みでないことにより、第２入力情報を受け付けると判定される場合（ステップＳ２２２：ＹＥＳ）、情報処理装置１は、第２入力情報を受け付けるための第２画面情報を生成し、生成した第２画面情報を端末装置２へ送信する（ステップＳ２２３）。第２画面情報には、第２画面のスナップショットによるイメージデータである画像データ、第２入力情報の入力を受け付けるためのエレメント情報等が含まれる（図１４参照）。

端末装置２は、ブラウザ上で第２画面情報を取得する（ステップＳ１２２）。ユーザは、第２画面の内容に応じて第２入力情報を入力する。端末装置２は、入力された第２入力情報を情報処理装置１へ送信する（ステップＳ１２３）。

情報処理装置１は、第２入力情報を受信し（ステップＳ２２４）、第２操作処理を実行する（ステップＳ２０７）。第２操作処理は、第２入力情報の入力を制御する操作処理である。情報処理装置１は、ブラウザの第２画面に含まれる所定のエレメントへの第２入力情報の入力を実行し、実行ボタン等のエレメントの押下操作により第２入力情報を含むＨＴＴＰリクエストをウェブサーバ３へ送信する。

ウェブサーバ３は、第２入力情報を含むＨＴＴＰリクエストを受信し（ステップＳ３０５）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第３画面）を生成する。第３画面には、一連の操作処理により得られた自動実行結果データを示す結果画面情報が含まれている。ウェブサーバ３は、生成した第３画面を情報処理装置１へ返信する（ステップＳ３０６）。

情報処理装置１は、第３画面を取得し（ステップＳ２０８）、第３操作処理を実行する（ステップＳ２０９）。第３操作処理は、自動実行結果データを取得する操作処理である。情報処理装置１は、取得した自動実行結果データ（図１６参照）を端末装置２へ送信する（ステップＳ２１０）。端末装置２は、自動実行結果データを取得し（ステップＳ１０２）、一連の処理を終了する。なお、情報処理システム３００は、ステップＳ２０８の処理の後にステップＳ２２２を行うループ処理を行ってもよい。

具体例を挙げて図１１及び図１２のフローチャートに示した処理手順を説明する。図１３から図１６は、端末装置２の表示部２３に表示される画面例を示す図である。

図１３は、端末装置２の表示部２３に表示される第１入力情報の受付画面２４１の一例を示す図である。ユーザが、ブラウザ上の自動実行の受付画面にて、自動実行すべき操作処理手順ＩＤを選択すると、図１３に示す如く第１入力情報の受付画面２４１が表示部２３に表示される。図１３の例では、操作処理手順として手順ＩＤ０２の全国のホテル予約実行の操作処理手順が選択されている。手順ＩＤ０２の操作処理には、第１入力情報として、ホテル予約サイトのログインＩＤ、パスワード及び宿泊日数が含まれる。第２入力情報として、宿泊地及び地域が含まれる。第３入力情報として、ホテル順位が含まれる。

ユーザは、第１入力情報の受付画面２４１にて表示される第１入力情報の入力ボックス２４２に、ログインＩＤ、パスワード及び宿泊日数を夫々入力する。第１入力情報の受付画面２４１には、その他の入力情報の入力ボックスとして、第２入力情報の宿泊地及び地域を入力する入力ボックス２４３と、第３入力情報のホテル順位を入力する入力ボックス２４４とが含まれる。ユーザは、操作処理に応じたブラウザ画面を確認しながら入力を行う第２入力情報及び第３入力情報については、自動実行の要求時に入力しない。ユーザは、第１入力情報の入力ボックス２４２のみ入力を行い、実行ボタン２４５の選択操作を行う。端末装置２は、実行ボタン２４５の操作を受け付け、自動実行要求及び第１入力情報を取得し、取得した自動実行要求及び第１入力情報を情報処理装置１へ送信する（ステップＳ１２１）。

情報処理装置１のブラウザでは、取得した操作処理手順及び第１入力情報に基づく操作が自動で実行される。情報処理装置１は、第１画面であるホテル予約サイトのログイン画面で第１操作処理を実行し、第１入力情報のログインＩＤ及びパスワードを入力する（ステップＳ２０５）。情報処理装置１のブラウザでは、第２a画面であるホテル検索画面が表示される（ステップＳ２０６）。第２a画面には、宿泊地及び地域の選択を受け付ける内容が含まれるため、第２入力情報が必要である。情報処理装置１は第２入力情報を受け付けるため、第２a画面の画像データを端末装置２へ送信する（ステップＳ２２３）。

端末装置２の表示部２３には、図１４に示す如く、第２a画面であるホテル検索画面の画像データを含む画面２４７が表示される。画面２４７には、宿泊地及び地域の選択を受け付ける複数の入力ボックス２４８、宿泊日の入力を受け付ける入力ボックス２４９、及び宿泊日数の入力を受け付ける入力ボックス２５０が含まれる。手順ＩＤ０２の操作処理手順では、宿泊日は予め所定の入力内容が決定されているため、入力ボックス２４９には所定の宿泊日が入力されている。また入力ボックス２５０には、取得済みの第１入力情報に含まれる宿泊日数が入力されている。ユーザは、ブラウザ画面を操作し、宿泊地及び地域の選択肢を確認しながら、第２入力情報を決定する。例えばユーザは、表示される候補の中から宿泊地「東京都」、地域「新宿」を選択操作し、入力ボックス２４８にそれぞれ入力する。端末装置２は、入力操作を受け付け第２入力情報を取得し、取得した第２入力情報を情報処理装置１へ送信する（ステップＳ１２３）。

情報処理装置１は、第２操作処理を実行し、ブラウザ上で第２入力情報を入力する（ステップＳ２０７）。手順ＩＤ０２の操作処理手順には複数の操作処理が含まれるため、情報処理装置１はループ処理を行う。情報処理装置１は、ウェブサーバ３から第２ｂ画面を取得する。情報処理装置１のブラウザでは、第２ｂ画面である宿泊ホテルを選択するためのホテル一覧画面が表示される。第２ｂ画面には、ホテル順位の選択を受け付ける内容が含まれるため、第３入力情報が必要である。情報処理装置１は第３入力情報を受け付けるため、第２ｂ画面の画像データを端末装置２へ送信する（ステップＳ２２３）。

端末装置２の表示部２３には、図１５に示す如く、第２ｂ画面であるホテル一覧画面の画像データを含む画面２５２が表示される。画面２５２には、画面２４７の検索条件を満たす複数のプランの一覧が含まれ、希望プランの選択を受け付ける入力ボックス２５３が含まれる。ユーザは、一覧から希望のプランを選択し、希望プランに対応付けられた「予約」と示される入力ボックス２５３をクリックすることで、第３情報の入力を行う。端末装置２は、入力操作を受け付け第３入力情報を取得し、取得した第３入力情報を情報処理装置１へ送信する（ステップＳ１２３）。情報処理装置１は、その後の操作処理手順を実行しホテルの予約を完了する。

端末装置２の表示部２３には、図１６に示す如く、操作処理の結果画面２５５が表示される。結果画面２５５には、自動実行結果データを示す表示ボックス２５６が含まれ、ユーザは、自動実行された操作処理手順の結果を認識することができる。

なお、ステップＳ２２２以降の入力情報の受け付けは、操作処理の自動実行において予め想定されていない操作処理が要求され、操作処理を中断した場合等にも行われる。例えば、入力情報を入力すべきエレメントが不足している、記録された操作処理には含まれていない入力要素が含まれている等、操作処理手順に従い自動実行した操作処理に対してエラーが発生した場合には、情報処理装置１はステップＳ２２３の処理を実行し端末装置２から操作処理の継続に必要な入力情報を受け付ける。

ウェブサーバ３から取得した操作処理に対するＨＴＴＰレスポンスに、第１操作処理が正常に実行されなかったことを示す情報が含まれている場合、情報処理装置１は、入力情報を受け付けると判定し端末装置２から新たな入力情報を受け付ける。情報処理装置１は、例えば取得したＨＰＰＴレスポンスに、エラー又はタイムアウト等が発生したことを表示する所定の語句が含まれている場合、新たな入力情報を受け付ける。情報処理装置１は、ＨＰＰＴレスポンスにエラーコード等が含まれる場合においては、所定のエラーコードが含まれるが否かを識別してもよい。情報処理装置１は、ＨＰＰＴレスポンスが一定時刻を経過して取得されない場合、新たな入力情報を受け付けてもよい。

情報処理装置１は、操作処理に対するブラウザの画面情報を端末装置２へ送信する。情報処理装置１は、所定のエラー内容に対しては、エラーが発生した操作処理に対する画面の一つ前の操作処理に対する画面の画面情報を端末装置２へ送信してもよい。例えば、タイムアウトが発生したことにより操作処理が中断した場合には、タイムアウト発生の一つ前の画面情報が送信されることで、ユーザの新たな入力情報の入力を容易にする。ユーザは、画面情報に基づき、表示画面に対するエレメントの選択、画面の更新要求、操作処理の中断等の操作処理を行う。情報処理装置１は、操作処理内容を取得し、取得した操作処理内容に基づき以降の操作処理を再開又は終了する。

上述の処理において、情報処理装置１は、予め設定される操作処理の中断原因に応じて、中断時の対処方法を変化させてもよい。例えば、タイムアウト画面の表示により操作処理が中断された場合においては、情報処理装置１は端末装置２の入力を受け付けることなく、前画面に戻り操作処理を再開する。操作処理に対応するエレメントが不足しており操作処理が中断された場合においては、情報処理装置１は端末装置２からの入力情報を受け付ける。また、所定の操作処理手順に関しては、操作処理が中断された場合には、端末装置２からの入力情報を受け付けることなく操作処理を異常終了させてもよい。

本実施形態によれば、操作処理の中断時に入力情報を受け付けることで、操作処理手順に含まれる操作処理の自動実行を最後まで行うことができる。ユーザは、選択したい情報を自身で設定しつつ、選択の不要な操作に関しては自動で実行させることができるため、操作処理の自動実行を利用することで効率的に自動実行結果を取得することができる。また、端末装置２には操作処理に応じたブラウザ画面の画像データが表示され、ユーザは画像データに基づき入力情報の入力を行う。従って必要な段階で、操作処理に基づく画面に応じて入力情報を受け付けることができる。

（実施形態４）
実施形態４の情報処理システム４００では、外部サーバ４が、情報処理装置１のＡＰＩを呼び出して自動実行の操作処理を実現し、操作処理の実行途中において、情報処理装置１と端末装置２との間で入力情報の送受信が行われる。以下では、実施形態４について、実施形態１から実施形態３と異なる点を説明する。後述する構成を除く他の構成については実施形態１から実施形態３と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

図１７及び図１８は、実施形態４の情報処理システム４００において実行される操作処理の手順の一例を示すフローチャートである。例えば外部サーバ４で予約の実行を受け付けると、各装置の間で以下の処理が実行される。実施形態１から実施形態３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

外部サーバ４は、記録済みの所定の操作処理手順を選択し、操作処理手順ＩＤに対応付けて、操作処理の自動実行要求及び第１入力情報を情報処理装置１に送信する（ステップＳ４４１）。

情報処理装置１は、操作処理手順ＩＤに対応付けて、操作処理の自動実行要求及び第１入力情報を受信する（ステップＳ２４１）。情報処理装置１は、第１入力情報と第１操作処理とを対応付けて記憶する。情報処理装置１は、手順ＤＢ１４を参照し、実行要求に係る操作処理手順を取得する（ステップＳ２０２）。操作処理手順には、例えば第１操作処理、第２操作処理及び第３操作処理を含む複数の操作処理が含まれる。第１操作処理及び第２操作処理の実行には、夫々第１入力情報及び第２入力情報が必要である。

情報処理装置１は、ブラウザを起動する。情報処理装置１は、操作処理手順により指定されたＵＲＬを読み込み、ウェブサーバ３へＨＴＴＰリクエストを送信する（ステップＳ２０３）。

ウェブサーバ３は、ＨＴＴＰリクエストを受信し（ステップＳ３０１）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第１画面）を生成する。ウェブサーバ３は、生成した第１画面を情報処理装置１へ返信する（ステップＳ３０２）。

情報処理装置１は、第１画面を取得し（ステップＳ２０４）、第１操作処理を実行する（ステップＳ２０５）。第１操作処理は、第１入力情報の入力を制御する操作処理である。情報処理装置１は、第１操作処理に対応付けられる第１入力情報を読み出し、ブラウザの第１画面に含まれる所定のエレメントへの第１入力情報の入力を実行し、第１入力情報を含むＨＴＴＰリクエストをウェブサーバ３へ送信する。

ウェブサーバ３は、第１入力情報を含むＨＴＴＰリクエスト受信し（ステップＳ３０３）、ウェブコンテンツの要求を受け付ける。ウェブサーバ３は、要求されたウェブコンテンツ（第２画面）を生成する。ウェブサーバ３は、生成した第２画面を情報処理装置１へ返信する（ステップＳ３０４）。

一方、第２入力情報が取得済みでないことにより、第２入力情報を受け付けると判定される場合（ステップＳ２２２：ＹＥＳ）、情報処理装置１は、第２入力情報を受け付けるための通知をメール機能等により端末装置２へ送信する（ステップＳ２４２）。情報処理装置１は、例えば、予め操作処理手順毎にマスタ登録されている送信先のアドレスへ通知を送信する。通知には、例えば第２入力情報を受け付けるためのウェブブラウザ画面のＵＲＬが含まれる。なお、アプリケーションプログラム等により第２入力情報を受け付ける場合においては、該アプリケーションプログラムを起動するためのリンク情報を含む通知が、端末装置２へ送信されてもよい。なお、通知の出力方法は、メール機能を用いたものに限定されない。例えば、情報処理装置１は、端末装置２のＯＳ、ブラウザ又は他のアプリケーション等にプッシュ通知を行う通知用サーバに対してＡＰＩで通知してもよい。情報処理装置１は、Ｗｅｂｓｏｃｋｅｔ等により通信接続された端末装置２のブラウザに対して通知をプッシュ送信してもよい。

端末装置２は、通知を受信し（ステップＳ１４１）、通知に含まれるＵＲＬのリンクを開く（ステップＳ１４２）。情報処理装置１は、端末装置２からのリクエストに応じて、第２画面情報を生成する（ステップＳ２４３）。第２画面情報には、第２入力情報を受け付ける第２画面の画像データが含まれる。情報処理装置１は、生成した第２画面情報を端末装置２へ送信する（ステップＳ２４４）。

端末装置２は、第２画面情報を取得し（ステップＳ１４３）、ブラウザに表示する。ユーザは、第２画面を確認しながら第２入力情報を入力する。端末装置２は、第２入力情報の入力を受け付け、受け付けた第２入力情報を情報処理装置１へ送信する（ステップＳ１４４）。

情報処理装置１は、第２入力情報を受信し（ステップＳ２４５）、第２操作処理を実行する（ステップＳ２０７）。第２操作処理は、第２入力情報の入力を制御する操作処理である。情報処理装置１は、ブラウザの第２画面に含まれる所定のエレメントへの第２入力情報の入力を実行し、第２入力情報を含むＨＴＴＰリクエストをウェブサーバ３へ送信する。

情報処理装置１は、第３画面を取得し（ステップＳ２０８）、第３操作処理を実行する（ステップＳ２０９）。第３操作処理は、自動実行結果データを取得する操作処理である。情報処理装置１は、取得した自動実行結果データを外部サーバ４へ送信する（ステップＳ２４６）。外部サーバ４は、自動実行結果データを取得し（ステップＳ４４２）、一連の処理を終了する。なお、情報処理システム３００は、ステップＳ２０８の処理の後にステップＳ２２２を行うループ処理を行ってもよい。

本実施形態によれば、操作処理に応じて入力情報を受け付けることができるため、自動実行の開始時に全ての入力情報を取得できない操作処理手順についても自動実行が可能である。入力情報が必要な段階で、端末装置２へ通知が出力されるため、操作処理の実行要求が端末装置２から出力されない場合であっても、入力情報の受け付けを効率的に行うことができる。

本実施形態は、予め設定されたジョブに基づき、情報処理装置１が操作処理を自動実行する場合においても適用が可能である。例えば、ユーザ企業における日々の業務日報の入力処理の場合、情報処理装置１は、図示しない予約ＤＢに登録されるジョブ内容に基づき、所定時刻に業務日報操作処理手順を自動実行する。予約ＤＢには、例えば予約開始時刻、操作処理手順ＩＤ、第１入力情報が登録される。情報処理装置１は、各担当者毎のログイン処理等を自動実行する。情報処理装置１は、作業時間、作業内容等の第２入力情報を受け付ける画面が表示された段階で、各業務担当者へ通知を出力する。各業務担当者は、通知に含まれるＵＲＬを開き、作業内容、作業時間等の必要な入力項目のみを入力し、送信する。情報処理装置１は、入力情報を受け付け、以降の操作処理を完了させる。上記によれば、操作処理の自動実行において、自動実行による処理操作の開始と、インタラクティブな入力情報の受け付けとを組み合わせて行うことで、操作処理の実行漏れを防止することができる。

（実施形態５）
実施形態５では、入力情報として、認証画面に対する認証情報を受け付ける。ブラウザの操作においては、ログイン時等に認証画面が表示され、認証処理操作が必要な場合がある。認証処理操作には、例えば認証画面に表示される難読化処理を施した画像に対する文字入力、指定画像の選択、指定位置への所定エレメントの移動等が含まれる。また、認証処理操作には、例えばメール機能により端末装置２へ送信される認証情報の入力、複数のアプリケーションプログラムから得られる認証情報の入力等の多要素認証処理操作を必要とする場合もある。これらの認証処理操作においては、予め認証処理操作に必要な入力情報を決定することは困難である。情報処理装置１は、操作処理において認証処理操作が必要な段階で、端末装置２へ入力情報の入力を受け付けるための通知を送信し、端末装置２から認証処理操作に必要な入力情報を受け付ける。

図１９は、実施形態５における端末装置２の表示部２３に表示される画面例を示す図である。情報処理装置１は、所定の操作処理手順を自動実行する。操作処理手順に含まれる操作処理には、操作処理を実行するサイトへのログイン操作が含まれ、ログインＩＤ及びパスワードに加えて認証文字の入力が必要である。情報処理装置１は、認証操作処理が必要となった段階で、端末装置２に入力情報を受け付けるための認証画面情報２６０を送信する。図１９に示す如く、認証画面情報２６０には、認証画面の画像データが含まれる。認証画面は、操作処理に係るログイン画面であり、ログインＩＤ及びパスワードの入力ボックス２６１、難読化された文字の表示欄２６２、及び表示された文字の入力を受け付ける入力ボックス２６３を含む。ユーザは、端末装置２に表示される認証画面情報２６０に基づき、ブラウザ上で認証情報（入力情報）を入力し情報処理装置１へ送信する。情報処理装置１は、入力情報を取得し、取得した入力情報を用いて以降の操作処理の自動実行を継続する。

本実施形態によれば、自動での入力が困難な認証処理等を含む処理操作に関しても、端末装置に送信される画面情報により入力情報を受け付けることができる。インタラクティブ処理を挟むことにより、予め設定することが困難な入力情報を含む操作処理であっても自動実行が可能となる。

情報処理装置１は、認証画面情報２６０として、認証処理操作に必要な画像のみを切り出した画像データを生成してもよい。例えば、図１９に示した認証画面情報２６０において、ログインＩＤ及びパスワードを除いた、難読化された文字の表示欄２６２及び表示された文字の入力を受け付ける入力ボックス２６３のみの画像を切り出した画面情報を生成する。情報処理装置１は、生成した画面情報を、ユーザの端末装置２とは異なる、例えば認証処理操作のみを行う担当者の端末装置２へ送信する。該担当者は、端末装置２を用いて入力情報の入力を行う。上記によれば、ユーザの所有するパスワード等の情報を秘匿しつつ、所定の入力操作のみを第三者に行わせることができる。

上述の処理において、情報処理装置１は、図示しない認証サーバへ認証画面情報２６０の画像データを送信し、該認証サーバから送信される入力情報を取得してもよい。認証サーバは、例えば認証画面情報を入力した場合に該認証画面情報に対する入力情報を出力するよう学習された学習モデル備え、この学習モデルを用いて入力情報の入力操作を実行するサーバである。学習モデルは、深層学習を含む機械学習の学習モデルであり、例えばニューラルネットワークにより構成されている。学習モデルは認証画面情報を入力とし、該認証画面情報に対する入力情報を出力とする。学習モデルは、過去に大量に収集された、認証画面情報と該認証画面情報に対する入力情報とを対応付けた訓練データを用いて学習を行う。

上記の処理において、情報処理装置１は、複数の操作処理手順に係る認証画面情報２６０を一覧で表示させる画面情報を生成し、担当者の端末装置２へ送信してもよい。情報処理装置１は、複数の操作処理手順を並行して自動実行する。各操作処理手順に係る複数の入力情報が必要な場合に、情報処理装置１は、入力情報毎に通知を出力せず複数の入力情報をまとめて受け付けるための情報を含んだ通知を出力する。

図２０は、端末装置２の表示部２３に表示される画面例を示す図である。情報処理装置１から送信される通知に基づき端末装置２に表示される画面には、図２０に示す如く、複数の認証画面情報が一覧で表示される。各認証画面情報には、各操作処理のための難読化された文字の表示欄２６２及び表示された文字の入力を受け付ける入力ボックス２６３が含まれる。認証処理操作の担当者は、夫々の認証画面情報に対して認証情報を入力し、情報処理装置１へ送信する。情報処理装置１は、複数の入力情報を取得し、各操作処理の自動実行を継続する。上記によれば、情報処理装置１は、通知に応じて端末装置２に表示される画面を介して複数の入力情報をまとめて取得することが可能なため、入力操作の受け付けが必要な場合であっても効率的に自動実行を進めることができる。

なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。

１情報処理装置
１１第１サーバ
１２第２サーバ
１３第３サーバ
１４手順ＤＢ
２端末装置
３ウェブサーバ
４外部サーバ
１１０，１２０，１３０，２０制御部
１１１，１２１，１３１，２１記憶部
２３表示部
１１Ｐ，１２Ｐ，１３Ｐプログラム
１００，２００，３００，４００情報処理システム

Claims

予め記録された操作処理手順に基づいて、ブラウザの操作処理を自動実行する情報処理方法であって、
前記操作処理を自動実行するための入力情報を受け付け、
受け付けた前記入力情報及び前記操作処理手順に基づき、前記操作処理を自動実行する
情報処理方法。
前記操作処理の自動実行が中断した場合に、受け付けた前記入力情報及び前記操作処理手順に基づき、前記操作処理を再び自動実行する
請求項１に記載の情報処理方法。
前記入力情報を受け付ける場合に、前記操作処理に応じた前記入力情報を受け付けるための画面情報を出力し、
出力した前記画面情報を介して前記入力情報を受け付ける
請求項１又は請求項２に記載の情報処理方法。
前記入力情報を受け付ける場合に、前記画面情報を表示させるためのリンクを含む通知を出力する
請求項３に記載の情報処理方法。
前記画面情報は、前記入力情報を受け付けるための認証画面を含む
請求項３又は請求項４に記載の情報処理方法。
前記画面情報は、前記入力情報を受け付けるための複数の認証画面を含み、
各認証画面に対する複数の入力情報を受け付ける
請求項３から請求項５のいずれか１項に記載の情報処理方法。
予め記録された操作処理手順に基づいて、ブラウザの操作処理を自動実行する情報処理装置であって、
前記操作処理を自動実行するための入力情報を受け付ける受付部と、
受け付けた前記入力情報及び前記操作処理手順に基づき、前記操作処理を自動実行する
実行部と
を備える情報処理装置。
予め記録された操作処理手順に基づいて、ブラウザの操作処理を自動実行する情報処理装置と、
前記情報処理装置へ前記操作処理を自動実行するための入力情報を出力する端末装置とを備え、
前記情報処理装置は、
前記端末装置から出力された前記入力情報を受け付ける受付部と、
前記受付部が受け付けた前記入力情報及び前記操作処理手順に基づき、前記操作処理を自動実行する実行部とを備える
情報処理システム。
予め記録された操作処理手順に基づいて、ブラウザの操作処理を自動実行するためのコンピュータプログラムであって、
前記操作処理を自動実行するための入力情報を受け付け、
受け付けた前記入力情報及び前記操作処理手順に基づき、前記操作処理を自動実行する
処理をコンピュータに実行させるためのコンピュータプログラム。