JP2022552465A - ロボティック・プロセス・オートメーションのためのヒューマンインザループ・ロボット・トレーニング - Google Patents

Abstract

ロボティック・プロセス・オートメーション（ＲＰＡ）のために人工知能（ＡＩ）を使用するヒューマンインザループ・ロボット・トレーニングが、開示される。これは、ユーザー又は別のロボットとコンピューティングシステムとのインタラクションを監視するリスナーロボットによって達成され得る。ユーザー又はロボットによるコンピューティングシステムとのインタラクションに基づいて、ロボットは、ユーザー又はユーザーグループのために改善及び／又はパーソナライズされ得る。

Description

（関連出願の相互参照）
本出願は、２０１９年１２月９日に出願された米国非仮特許出願第１６／７０８，０３６号、及び２０１９年１０月１５日に出願された米国仮特許出願第６２／９１５，４２９号の利益を主張する。これらの先に出願された出願の主題は、その全体が参照により本明細書に組み込まれる。

本発明は、一般に、ロボティック・プロセス・オートメーション（ＲＰＡ）に関し、より具体的には、ＲＰＡのためのヒューマンインザループ・ロボット・トレーニングに関する。

ＲＰＡロボットは、様々なタスクについてユーザーの達成を支援するためにデプロイメントされ得る。そのようなロボットは、予想される一般的な機能の必要性に基づいて設計され得る。しかしながら、ロボットは、必ずしも特定のユーザーの必要性に適合するとは限らない。したがって、ＲＰＡロボットをトレーニングし、パーソナライズするための改善された手法が有益であり得る。

本発明の特定の実施形態は、現在のロボットトレーニング技術によって、まだ完全に識別され、認識され、又は解決されていない当技術分野の問題及び必要性に対するソリューションを提供し得る。例えば、本発明のいくつかの実施形態は、ＲＰＡのためのヒューマンインザループ・ロボット・トレーニングに関する。

一実施形態では、システムは、ＲＰＡロボット及びリスナーを含むユーザー・コンピューティング・システムを含む。システムはまた、サーバを含む。リスナーは、ユーザー・コンピューティング・システムを介したＲＰＡロボットとのユーザーインタラクションを監視し、インタラクションに関連するデータをログ記録するように構成される。リスナーはまた、ユーザーインタラクションに関連するログ記録されたデータをサーバに送信するように構成される。サーバは、ユーザーインタラクションに関連するログ記録されたデータを受信し、そのログ記録されたデータに基づいてＲＰＡロボットのＲＰＡワークフローに改良を加えるべきか否かを判定するように構成される。改良を加えるべきであると、サーバが判定した場合、ＲＰＡロボットのＲＰＡワークフローに、アクティビティ又はアクティビティのシーケンスを挿入することによって改良が対処可能である場合、サーバは、判定した改良を行うＲＰＡロボットのＲＰＡワークフローにアクティビティ又はアクティビティのシーケンスを挿入するように構成される。

別の実施形態では、コンピュータプログラムは、非一時的コンピュータ可読媒体に格納される。少なくとも１つのプロセッサに、ユーザー・コンピューティング・システムを介したＲＰＡロボットとのユーザーインタラクションを監視させ、インタラクションに関連するデータをログ記録させるように構成されたプログラム。ログ記録されたデータは例外を含む。プログラムはまた、少なくとも１つのプロセッサに、ユーザーインタラクションに関連するログ記録されたデータをサーバに送信させ、ログ記録されたデータ内の例外に対処するように改良したＲＰＡロボットの新規のバージョンをサーバから受信させ、ＲＰＡロボットの新規のバージョンをデプロイメントさせるように構成される。

更に別の実施形態では、コンピュータ実装方法は、コンピューティングシステムによって、ユーザーとＲＰＡロボットとのインタラクションに関連するログ記録されたデータを受信することと、コンピューティングシステムによって、ログ記録されたデータに基づいてＲＰＡロボットのＲＰＡワークフローに改良を加えるべきか否かを判定することと、を含む。改良を加えるべきであると、コンピューティングシステムが判定した場合、ＲＰＡロボットのＲＰＡワークフローに、アクティビティ又はアクティビティのシーケンスを挿入することによって改良が対処可能である場合、コンピュータ実装方法はまた、コンピューティングシステムによって、判定された改良を行うＲＰＡロボットのＲＰＡワークフローに、アクティビティ又はアクティビティのシーケンスを挿入することを含む。

本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に記載した本発明の具体的な説明は、添付の図面に示している特定の実施形態を参照することによって提供される。これらの図面は、本発明の典型的な実施形態のみを示しており、したがってその範囲を限定するものと見なされるべきではないことを理解されたい、本発明は、添付の図面を使用することによって追加の具体性及び詳細を伴って記載し、説明する。

本発明の一実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

本発明の一実施形態による、デプロイメントされたＲＰＡシステムを示すアーキテクチャ図である。

本発明の一実施形態による、デザイナと、アクティビティと、ドライバとの間の関係を示すアーキテクチャ図である。

本発明の一実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

本発明の一実施形態による、ＲＰＡ環境でロボットをトレーニングするように構成されたコンピューティングシステムを示すアーキテクチャ図である。

本発明の一実施形態による、ＲＰＡ用のＡＩを使用してヒューマンインザループ・ロボット・トレーニングを実施するように構成されたシステムを示すアーキテクチャ図である。

本発明の一実施形態による、ＲＰＡのためのヒューマンインザループ・ロボット・トレーニングのためのプロセスを示すフローチャートの図である。

別段の指示がない限り、同様の参照符号は、添付の図面を通して一貫して対応する特徴を示す。

本発明のいくつかの実施形態は、ＲＰＡのためのヒューマンインザループ・ロボット・トレーニングに関する。これは、いくつかの実施形態では、ユーザーとコンピューティングシステムとのインタラクションを監視するリスナーロボットによって具現化されてもよい。コンピューティングシステムは、本発明の範囲から逸脱することなく、パーソナルコンピュータ、モバイルデバイス、サーバ（例えば、ＲＰＡロボットがサーバの動作及び保守を支援する場合）、又は任意の他の適切なコンピューティングシステムであり得る。例えば、１人の従業員又は従業員のグループが優れたパフォーマンス（例えば、型にはまらない多数のリードを変換し、大きなセールスを生み出す）を達成している場合を考える。リスナーロボットは、ログ記録されたデータをサーバに送信し、それは、データベースに記憶され得る。１人のユーザーのアクションが分析されている場合、ユーザーのアクションを分析し、及びコピーすることによって、ワークフローを生成し、次いで、これらのアクションを模倣するロボットが、ワークフローから生成され、他のユーザーのコンピューティングシステムにデプロイメントされて、パフォーマンスを向上させ得る。

ユーザー又はロボットのグループが監視されている場合、各ユーザー又はロボットからのデータは、サーバに送信され、ＡＩを使用して分析されて、その中のユーザー挙動プロセスのパターンを認識し、機械学習（ＭＬ）モデルを開発し得る。次いで、このＭＬモデルを呼び出すＲＰＡワークフローを生成し、及びデプロイメントし得る。

特定の実施形態では、リスナーは、ロボットとのユーザーのインタラクションを監視してもよく、ロボットとのユーザーのインタラクションに基づいて、ユーザーに対してよりパーソナライズされたロボットの新規のバージョンを生成してもよい。ユーザー固有の場合、ロボットのワークフローは、そのユーザー固有の変更を行うように改良されてもよい。例えば、ユーザーが、アテンディッドロボットに、特定の電子メールを生成するように命令したが、その後、ユーザーが、電子メールに特定の結びの言葉を手動で追加したり、フォントを変更したりする場合、システムは、ユーザーが通常これを行うことを学習し、この変更を自動的に行うＲＰＡワークフローに、１つ以上のアクティビティを作成してもよい。ロボットの新規のローカルバージョンは、ユーザーが能動的に変更を行うことなくデプロイメントされてもよく、その後、ユーザーは、ロボットがこれらのアクションを自動的に実施し始めたことに気付き得る。

一部のロボットは、ヒューマンインザループ機能を達成するために、ユーザーの音声コマンド又はテキスト入力に基づいてアクションを実施してもよい。しかしながら、ロボットの初期のグローバルにデプロイメントされたバージョンは、すべてのユーザーにとって好適に機能しない場合がある。例えば、ロボットに命令するユーザーにアクセントがある場合、特定のグローバルＭＬモデルは、ユーザーの発話を適切に認識できない場合がある。しかしながら、ローカルＭＬモデルは、例えば、ユーザーによって行われたテキストに対する修正に基づいてユーザーのアクセントで発話された言葉を理解するように学習することによって、ロボットとのその特定のユーザーのインタラクションを監視し、効果的に応答するようにトレーニングされ得る。したがって、ローカルモデルは、それらのインタラクションから学習することによってトレーニングされ、ユーザーのためにロボットをパーソナライズし得る。

一般に、グローバルＭＬモデルは、広いユーザーのプールからのデータを使用してトレーニングされる。文書処理の場合を考える。グローバルＭＬモデルは、すべてのエンタープライズ文書又はその一部でトレーニングされ得る。

しかしながら、場合によっては、特定の人又は人々のグループが、ＭＬモデルによって効果的に処理されない特定のタイプの文書を処理している場合がある。これらの文書は、特定の言語であってもよく、抽出される異なるデータエンティティを有してもよく、異なるワークフローを使用してもよい。そのような場合、ローカルＭＬモデルは、これらの特定の文書タイプを学習して処理するように、トレーニングされてもよい。

いくつかの実施形態では、グローバルＭＬモデルが使用されている間に、再トレーニングのために例外を収集してもよい。例外が所与のユーザー又はユーザーのグループに固有の傾向がある場合、ローカルＭＬモデルは、これらの例外に基づいて最初に作成され、及びトレーニング（又は再トレーニング）されてもよい。しかしながら、例外が多数のユーザーによって経験される傾向がある場合、グローバルＭＬはまた、これらの例外に基づいて再トレーニングされてもよい。

フォーカスされたインボックスの例を考える。グローバルＭＬモデルにおけるスパムを検出する目的で追加され得るキーワードがある場合がある。しかしながら、特定の企業の場合、グローバルＭＬコンテキストにおいて、スパムを示すキーワードを有する電子メールは、その企業又は個人にとって、実際にはスパムではない可能性がある。ユーザー・コンピューティング・システムにデプロイメントされたリスナーは、この理由でスパムフォルダに配置された電子メールが、１人又は複数のユーザーによって頻繁にインボックスに移動されたことを示すデータを提供し得る。次いで、その特定のユーザー又はユーザーのグループに対してそのような電子メールをスパムとしてマークしないようにローカルＭＬモデルをトレーニングし得る。

いくつかの実施形態では、ローカルＭＬモデルは、様々なアプリケーションとのユーザーインタラクション、アプリケーションの使用中に取られるユーザーステップなどのユーザーの特定の挙動を学習し、それにより、それらのステップをオートメーション化してもよい。ローカルＭＬモデルが、最初に適用されてもよく、結果が得られない場合、グローバルモデルが適用されてもよい。このように、グローバルＭＬモデルは、ローカルＭＬモデルが結果を提供できない場合の代替として使用されてもよい。

いくつかの実施形態では、ロボットは分析をレビューしてもよい。例えば、何回電話をかけると、セールスマンが成果を得たかを、ロボットが観察してもよい。ロボットは、上位の従業員を検索し、従業員のパターンを観察し、トレーニングのためにこの情報を収集してもよい。ロボットはまた、キーワードを観察し、感情（ビデオが撮影され、及び／又は音声がキャプチャされた場合、特定の表情、発話パターン、及び音量が感情を示す場合がある）を分析するなどしてもよい。これらの分析は、ロボットによる好適なアプリケーションの選択を助け得る。例えば、セールスリードの場合、ユーザーが、別のシステムではなく、１つのシステムのみからリードを取っている場合、ロボットは、好適に作業するリード変換ソフトウェアに集中するように選択してもよい。

いくつかの実施形態は、作用態様を含んでもよい。これらの実施形態では、有効な専門知識が（例えば、特定のキーワードを使用して）定量化される場合、ロボットは、自動的にステップを取るか、又は推奨を行ってもよい。したがって、ロボットは、ユーザーのためのインテリジェントなガイドツールになるように学習してもよい。

図１は、本発明の一実施形態による、ＲＰＡシステム１００を示すアーキテクチャ図である。ＲＰＡシステム１００は、開発者がワークフローを設計し、及び実装することを可能にし得るデザイナ１１０を含む。デザイナ１１０は、アプリケーション統合のためのソリューション、並びにサードパーティのアプリケーション、管理情報技術（ＩＴ）タスク、及びビジネスＩＴプロセスをオートメーション化することを提供し得る。デザイナ１１０は、ビジネスプロセスのグラフィカル表現であるオートメーションプロジェクトの開発を容易にし得る。簡単に言えば、デザイナ１１０は、ワークフロー及びロボットの開発及びデプロイメントを容易にする。

オートメーションプロジェクトにより、本明細書で「アクティビティ」と定義する、ワークフローで開発されたステップのカスタムセット間の遂行順序及び関係の制御を開発者に与えることによって、ルールベースのプロセスのオートメーション化を可能にする。デザイナ１１０の実施形態の一商用例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンのクリック、ファイルの読み取り、ログパネルへの書き込みなど、アクションを含んでもよい。いくつかの実施形態では、ワークフローを、ネストしても、又は埋め込んでもよい。

いくつかのタイプのワークフローは、限定しないが、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、及び／又はグローバル例外ハンドラを含んでもよい。シーケンスは、ワークフローを乱すことなく、１つのアクティビティから別のアクティビティへの流れを可能にする線形プロセスに特に適している場合がある。フローチャートは、複雑なビジネスロジックに特に適しており、複数の分岐論理演算子を介して多様な方法で、決定の統合、及びアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適している場合がある。ＦＳＭは、条件（すなわち、遷移）又はアクティビティによってトリガされるワークフローの遂行において有限数の状態を使用し得る。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を判定し、プロセスをデバッグするために特に適している場合がある。

ワークフローがデザイナ１１０で開発されると、ビジネスプロセスの遂行は、コンダクタ１２０によって編成され、コンダクタ１２０は、デザイナ１１０で開発されたワークフローを遂行する１つ又は複数のロボット１３０を編成する。コンダクタ１２０の実施形態の一市販例は、ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）である。コンダクタ１２０は、環境内のリソースの作成、監視、及びデプロイメントの管理を容易にする。コンダクタ１２０は、サードパーティのソリューション及びアプリケーションとの統合ポイントとして作用し得る。

コンダクタ１２０は、すべてのロボット１３０を管理し、集中ポイントからロボット１３０を接続し、及び遂行し得る。管理され得るロボット１３０のタイプは、限定しないが、アテンディッドロボット１３２、アンアテンディッドロボット１３４、開発ロボット（アンアテンディッドロボット１３４と同様であるが、開発及びテストの目的で使用される）、及び非生産ロボット（アテンディッドロボット１３２と同様であるが、開発及びテストの目的で使用される）を含む。アテンディッドロボット１３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人間と一緒に動作する。アテンディッドロボット１３２は、集中プロセスデプロイメント及びログ記録媒体のために、コンダクタ１２０と共に使用され得る。アテンディッドロボット１３２は、人間のユーザーが達成する様々なタスクを助け、ユーザーイベントによってトリガされ得る。いくつかの実施形態では、プロセスを、このタイプのロボットのコンダクタ１２０から開始できず、及び／又はロックされた画面の下で実行できない。特定の実施形態では、アテンディッドロボット１３２は、ロボットトレイ又はコマンドプロンプトからのみ起動され得る。いくつかの実施形態では、アテンディッドロボット１３２は人間の監督下で実行するべきである。

アンアテンディッドロボット１３４は、仮想環境で無人で実行し、多くのプロセスをオートメーション化し得る。アンアテンディッドロボット１３４は、リモート遂行、監視、スケジューリング、及び作業キューのサポートの提供を担当し得る。いくつかの実施形態では、すべてのロボットタイプのデバッグを、デザイナ１１０で実行してもよい。アテンディッドロボット及びアンアテンディッドロボットの両方は、限定しないが、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などによって製造されたもの）、及びコンピューティング・システム・アプリケーション（例えば、デスクトップ及びラップトップアプリケーション、モバイル・デバイス・アプリケーション、ウェアラブル・コンピュータ・アプリケーションなど）を含む、様々なシステム及びアプリケーションをオートメーション化し得る。

コンダクタ１２０は、限定しないが、プロビジョニング、デプロイメント、構成、キューイング、監視、ログ記録、及び／又は相互接続性の提供を含む、様々な機能を有し得る。プロビジョニングは、ロボット１３０とコンダクタ１２０（例えば、ウェブアプリケーション）との間の接続の作成及び保守を含み得る。デプロイメントは、遂行のために、割り当てられたロボット１３０へのパッケージバージョンの正しい送達を保証することを含み得る。構成は、ロボット環境及びプロセス構成の維持及び送達を含み得る。キューイングは、キュー及びキュー項目の管理を提供することを含み得る。監視は、ロボット識別データを追跡し続け、ユーザー権限を維持することを含み得る。ログ記録は、データベース（例えば、ＳＱＬデータベース）及び／又は別のストレージ機構（例えば、大規模なデータセットを記憶し、迅速に照会する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））に、ログを記憶し、及びインデックス付けすることを含み得る。コンダクタ１２０は、サードパーティのソリューション及び／又はアプリケーションのための通信の集中ポイントとして作用することによって、相互接続性を提供し得る。

ロボット１３０は、デザイナ１１０に構築されたワークフローを実行する遂行エージェントである。ロボット１３０のいくつかの実施形態の一商用例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット１３０は、デフォルトで、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。結果として、そのようなロボット１３０は、ローカル・システム・アカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開き、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有し得る。

いくつかの実施形態では、ロボット１３０は、ユーザーモードでインストールされてもよい。このようなロボット１３０の場合、これは、所与のロボット１３０がインストールされているユーザーと同じ権利を有することを意味する。この特徴は、その最大の可能性で各機械の完全な利用を保証する高密度（ＨＤ）ロボットにも利用可能であり得る。いくつかの実施形態では、任意のタイプのロボット１３０をＨＤ環境で構成してもよい。

いくつかの実施形態におけるロボット１３０は、いくつかのコンポーネントに分割され、その各々は、特定のオートメーションタスクに専用である。いくつかの実施形態におけるロボットコンポーネントは、限定しないが、ＳＣＭ管理ロボットサービス、ユーザー・モード・ロボット・サービス、エグゼキュータ、エージェント、及びコマンドラインを含む。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理し、及び監視し、コンダクタ１２０と遂行ホスト（すなわち、ロボット１３０が遂行されるコンピューティングシステム）との間のプロキシとして作用する。これらのサービスは、ロボット１３０の資格情報で信頼され、資格情報を管理する。コンソールアプリケーションは、ローカルシステムの下でＳＣＭによって起動される。

いくつかの実施形態におけるユーザー・モード・ロボット・サービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理し、及び監視し、コンダクタ１２０と遂行ホストとの間のプロキシとして作用する。ユーザー・モード・ロボット・サービスは、ロボット１３０のための資格情報で信頼され、資格情報を管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが、自動的に起動されてもよい。

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッション下で所与のジョブを実行し得る（すなわち、エグゼキュータはワークフローを遂行し得る。エグゼキュータは、パ－モニタ・ドット・パー・インチ（ＤＰＩ）設定を認識していてもよい。エージェントは、システム・トレイ・ウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標）Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであってもよい。エージェントは、サービスのクライアントであってもよい。エージェントは、ジョブの開始又は停止、及び設定の変更を要求し得る。コマンドラインは、サービスのクライアントである。コマンドラインは、コンソールアプリケーションであり、コンソールアプリケーションは、ジョブの開始を要求し、その出力を待つことができる。

上記で説明したようにロボット１３０のコンポーネントを分割することは、各コンポーネントが遂行していることについて、開発者、サポートユーザー、及びコンピューティングシステムによる、容易な実行、識別、及び追跡に役立つ。このようにして、エグゼキュータ及びサービスに対して異なるファイアウォールルールを設定するなど、特別な挙動をコンポーネントごとに構成し得る。エグゼキュータは、いくつかの実施形態では、モニタごとにＤＰＩ設定を常に認識し得る。結果として、ワークフローは、それらが作成されたコンピューティングシステムの構成にかかわらず、任意のＤＰＩで遂行され得る。いくつかの実施形態では、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルとは無関係であってもよい。ＤＰＩを認識していない、又は意図的に認識していないとマークされたアプリケーションの場合、いくつかの実施形態では、ＤＰＩを無効にし得る。

図２は、本発明の一実施形態による、デプロイメントされたＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のＲＰＡシステム１００であってもよいし、その一部であってもよい。クライアントサイド、サーバサイド、又はその両方は、本発明の範囲から逸脱することなく、任意の所望の数のコンピューティングシステムを含み得ることに留意されたい。クライアントサイドでは、ロボットアプリケーション２１０は、エグゼキュータ２１２と、エージェント２１４と、デザイナ２１６と、を含む。しかしながら、いくつかの実施形態では、デザイナ２１６は、コンピューティングシステム２１０上で実行されていなくてもよい。エグゼキュータ２１２は、実行中のプロセスである。図２に示すように、いくつかのビジネスプロジェクトが同時に実行されてもよい。エージェント２１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、本実施形態ではすべてのエグゼキュータ２１２に対する単一の接続ポイントである。本実施形態におけるすべてのメッセージは、コンダクタ２３０にログ記録され、コンダクタ２３０は、データベースサーバ２４０、インデクササーバ２５０、又はその両方を介してログ記録したものを更に処理する。図１に関して上述したように、エグゼキュータ２１２は、ロボットコンポーネントであってもよい。

いくつかの実施形態では、ロボットは、機械名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理し得る。同時に実行される複数のインタラクティブなセッション（例えば、Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２）をサポートするコンピューティングシステムでは、複数のロボットが同時に実行され、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行されてもよい。これは、上記ではＨＤロボットと呼ばれる。

エージェント２１４はまた、ロボットのステータス（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）を送信し、遂行されるパッケージの必要なバージョンをダウンロードする役割も担う。エージェント２１４とコンダクタ２３０との間の通信は、いくつかの実施形態では、常にエージェント２１４によって開始される。通知シナリオでは、エージェント２１４は、ロボットにコマンド（例えば、始動、停止など）を送信するために、コンダクタ２３０によって後で使用されるＷｅｂＳｏｃｋｅｔチャネルを開き得る。

サーバサイドには、プレゼンテーション層（ウェブアプリケーション２３２、オープン・データ・プロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーション・プログラミング・インタフェース（ＡＰＩ）エンドポイント２３４、並びに通知監視２３６）、サービス層（ＡＰＩ実装／ビジネスロジック２３８）、及び永続層（データベースサーバ２４０、インデクササーバ２５０）が含まれる。コンダクタ２３０は、ウェブアプリケーション２３２と、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４と、通知監視２３６と、ＡＰＩ実装／ビジネスロジック２３８と、を含む。いくつかの実施形態では、ユーザーがコンダクタ２２０のインターフェース（例えば、ブラウザ２２０を介して）内で実施するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実施される。そのようなアクションは、限定しないが、本発明の範囲から逸脱することなく、ロボットでのジョブの開始、キュー内のデータの追加／削除、無人で実行するためのジョブのスケジューリングなどを含んでもよい。ウェブアプリケーション２３２は、サーバプラットフォームのビジュアル層である。本実施形態では、ウェブアプリケーション２３２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）及びＪａｖａＳｃｒｉｐｔ（ＪＳ）を使用する。しかしながら、本発明の範囲から逸脱することなく、任意の所望のマークアップ言語、スクリプト言語、又は任意の他のフォーマットを使用してもよい。ユーザーは、コンダクタ２３０を制御する様々なアクションを実施するために、本実施形態では、ブラウザ２２０を介してウェブアプリケーション２３２からのウェブページとインタラクトする。例えば、ユーザーは、ロボットグループを作成し、ロボットにパッケージを割り当て、ロボットごと及び／又はプロセスごとにログを分析し、ロボットを起動し、及び停止するなどしてもよい。

ウェブアプリケーション２３２に加えて、コンダクタ２３０はまた、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４を公開するサービス層を含む。しかしながら、本発明の範囲から逸脱することなく、他のエンドポイントを含んでもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション２３２とエージェント２１４の両方によって消費される。エージェント２１４は、本実施形態ではクライアントコンピュータ上の１つ又は複数のロボットの管理者である。

本実施形態におけるＲＥＳＴ ＡＰＩは、構成、ログ記録、監視、及びキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションユーザー、権限、ロボット、アセット、リリース及び環境を、定義し、及び構成するために使用されてもよい。例えば、エラー、ロボットによって送信された明示的なメッセージ、及び他の環境固有の情報など、様々な情報をログに記録するために、ＲＥＳＴエンドポイントをログに記録することが使用されてもよい。開始ジョブコマンドがコンダクタ２３０内で使用される場合に遂行されるべきパッケージバージョンを照会するために、デプロイメントＲＥＳＴエンドポイントがロボットによって使用され得る。ＲＥＳＴエンドポイントをキューイングすることは、キューにデータを追加すること、キューからトランザクションを取得すること、トランザクションのステータスを設定することなど、キュー及びキュー項目管理を担当し得る。

ＲＥＳＴエンドポイントの監視により、ウェブアプリケーション２３２及びエージェント２１４を監視し得る。通知監視ＡＰＩ２３６は、エージェント２１４の登録、エージェント２１４への構成設定の送達、並びにサーバ及びエージェント２１４からの通知の送信／受信のために使用されるＲＥＳＴエンドポイントであってもよい。通知監視ＡＰＩ２３６はまた、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用してもよい。

永続層は、本実施形態におけるサーバのペア、すなわちデータベースサーバ２４０（例えば、ＳＱＬサーバ）及びインデクササーバ２５０を含む。本実施形態におけるデータベースサーバ２４０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を記憶する。この情報は、いくつかの実施形態では、ウェブアプリケーション２３２を介して管理される。データベースサーバ２４０は、キュー及びキュー項目を管理し得る。いくつかの実施形態では、データベースサーバ２４０は、（インデクササーバ２５０に加えて、又はその代わりに）ロボットによってログ記録されたメッセージを記憶してもよい。

インデクササーバ２５０は、いくつかの実施形態では任意選択であり、ロボットによってログ記録された情報を記憶し、及びインデックス付けする。特定の実施形態では、インデクササーバ２５０は、構成設定を介して無効にされてもよい。いくつかの実施形態では、インデクササーバ２５０は、オープン・ソース・プロジェクトのフルテキスト検索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。（例えば、ログメッセージ又は行書き込みのようなアクティビティを使用する）ロボットによってログ記録されたメッセージは、ログ記録ＲＥＳＴエンドポイントを介してインデクササーバ２５０に送信されてもよく、そこでそれらは将来の利用のためにインデックス付けされる。

図３は、本発明の一実施形態による、デザイナ３１０と、アクティビティ３２０，３３０と、ドライバ３４０との間の関係３００を示すアーキテクチャ図である。上記により、開発者は、デザイナ３１０を使用して、ロボットによって遂行されるワークフローを開発する。ワークフローは、ユーザー定義のアクティビティ３２０及びＵＩオートメーションアクティビティ３３０を含み得る。いくつかの実施形態は、本明細書では、コンピュータビジョン（ＣＶ）と呼ぶ、画像内の非テキスト視覚コンポーネントを識別し得る。そのようなコンポーネントに関係するいくつかのＣＶアクティビティは、限定しないが、クリック、タイプ、テキストを取得、ホバー、要素存在、リフレッシュ範囲、ハイライトなどを含み得る。いくつかの実施形態では、クリックは、例えば、ＣＶ、光学文字認識（ＯＣＲ）、ファジー文字マッチング、及びマルチアンカーを使用して要素を識別し、それをクリックする。タイプは、上記及び要素内のタイプを使用して要素を識別し得る。テキストを取得は、ＯＣＲを使用して特定のテキストの位置を識別し、それをスキャンし得る。ホバーは、要素を識別し、それをホバーし得る。要素存在は、上述した技術を使用して、画面上に要素が存在するか否かをチェックし得る。いくつかの実施形態では、デザイナ３１０に実装され得るアクティビティは、数百又は数千であってもよい。しかしながら、本発明の範囲から逸脱することなく、アクティビティの任意の数及び／又はタイプが利用可能である。

ＵＩオートメーションアクティビティ３３０は、特別な下位レベルのアクティビティのサブセットであり、それは、下位レベルコード（例えば、ＣＶアクティビティ）に書き込まれ、画面とのインタラクションを容易にする。ＵＩオートメーションアクティビティ３３０は、ロボットが、所望のソフトウェアとインタラクトし得るドライバ３４０を介して、これらのインタラクションを容易にする。例えば、ドライバ３４０は、ＯＳドライバ３４２、ブラウザドライバ３４４、ＶＭドライバ３４６、エンタープライズ・アプリケーション・ドライバ３４８などを含んでもよい。

ドライバ３４０は、フックを探し、キーを監視するなど、低レベルでＯＳとインタラクトし得る。それらは、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、シトリックス（登録商標）、ＳＡＰ（登録商標）などとの統合を容易にし得る。例えば、「クリック」アクティビティは、ドライバ３４０を介してこれらの異なるアプリケーションで同じ役割を実施する。

図４は、本発明の一実施形態による、ＲＰＡシステム４００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム４００は、図１及び／又は図２のＲＰＡシステム１００及び／又は２００であり得るか、それらを含み得る。ＲＰＡシステム４００は、ロボットを実行する複数のクライアント・コンピューティング・システム４１０を含む。コンピューティングシステム４１０は、その上で実行されるウェブアプリケーションを介してコンダクタ・コンピューティング・システム４２０と通信し得る。次に、コンダクタ・コンピューティング・システム４２０は、データベースサーバ４３０及び任意選択のインデクササーバ４４０と通信し得る。

図１及び図３に関して、これらの実施形態ではウェブアプリケーションが使用されているが、本発明の範囲から逸脱することなく、任意の適切なクライアント／サーバソフトウェアを使用し得ることに留意されたい。例えば、コンダクタは、クライアント・コンピューティング・システム上の非ウェブベースのクライアント・ソフトウェア・アプリケーションと通信するサーバサイドアプリケーションを実行してもよい。

図５は、本発明の一実施形態による、ＲＰＡ用のＡＩを使用してヒューマンインザループ・ロボット・トレーニングを実施するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に図示及び／又は記載したコンピューティングシステムのうちの１つ又は複数であってもよい。コンピューティングシステム５００は、情報を通信するためのバス５０５又は他の通信機構と、情報を処理するためにバス５０５に結合されたプロセッサ５１０と、を含む。プロセッサ５１０は、中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、それらの複数のインスタンス、及び／又はそれらの任意の組合せを含む、任意のタイプの汎用又は専用プロセッサであってもよい。プロセッサ５１０はまた、複数の処理コアを有してもよく、コアの少なくともいくつかは、特定の機能を実施するように構成されてもよい。いくつかの実施形態では、複数並列処理を使用してもよい。特定の実施形態では、プロセッサ５１０の少なくとも１つは、生体ニューロンを模倣する処理要素を含むニューロモーフィック回路であってもよい。いくつかの実施形態では、ニューロモーフィック回路は、フォン・ノイマン・コンピューティング・アーキテクチャの典型的なコンポーネントを必要としなくてもよい。

コンピューティングシステム５００は、情報、及びプロセッサ５１０によって遂行される命令を記憶するメモリ５１５を更に含む。メモリ５１５は、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気若しくは光ディスクなどの静的ストレージ、又は任意の他のタイプの非一時的コンピュータ可読媒体、又はそれらの組合せのうちの任意の組合せから構成されてもよい。非一時的コンピュータ可読媒体は、プロセッサ５１０によってアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体、又はその両方を含んでもよい。媒体はまた、取り外し可能、取り外し不能、又はその両方であってもよい。

更に、コンピューティングシステム５００は、無線及び／又は有線接続を介して通信ネットワークへのアクセスを提供するためのトランシーバなどの通信デバイス５２０を含む。いくつかの実施形態では、通信デバイス５２０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ）通信、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、ｃｄｍａ ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ）、高速ダウンリンク・パケット・アクセス（ＨＳＤＰＡ）、高速アップリンク・パケット・アクセス（ＨＳＵＰＡ）、高速パケットアクセス（ＨＳＰＡ）、ロング・ターム・エボリューション（ＬＴＥ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、８０２．１１ ｘ、Ｗｉ－Ｆｉ、ジグビー、超広帯域無線（ＵＷＢ）、８０２．１６ ｘ、８０２．１５、ホームノードＢ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線周波数識別（ＲＦＩＤ）、赤外線データ協会（ＩｒＤＡ）、近距離無線通信（ＮＦＣ）、第５世代（５Ｇ）、エヌアール（ＮＲ）、それらの任意の組合せ、並びに／あるいは本発明の範囲から逸脱しない任意の他の現在存在する、又は将来実施される通信規格及び／若しくはプロトコルを使用するように構成される。いくつかの実施形態では、通信デバイス５２０は、１つ又は複数のアンテナを含んでもよく、そのアンテナは、本発明の範囲から逸脱することなく、単数、アレイ、位相、切り替え、ビームフォーミング、ビームステア、それらの組合せ、及び又は任意の他のアンテナ構成である。

プロセッサ５１０は、バス５０５を介して、ディスプレイ５２５に更に結合され、そのディスプレイは、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、インプレーンスイッチング（ＩＰＳ）ディスプレイ、又はユーザーに情報を表示するための任意の他の適切なディスプレイである。ディスプレイ５２５は、抵抗性、容量性、表面弾性波（ＳＡＷ）容量性、赤外線、光学イメージング、分散信号技術、音響パルス認識、フラストレート全内部反射などを使用して、タッチ（触覚）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成され得る。本発明の範囲から逸脱することなく、任意の適切なディスプレイデバイス及び触覚Ｉ／Ｏが使用され得る。

キーボード５３０、及びコンピュータマウス、タッチパッドなどのカーソル制御デバイス５３５は、ユーザーがコンピューティングシステムとインターフェースすることを可能にするために、バス５０５に更に結合される。しかしながら、特定の実施形態では、物理的なキーボード及びマウスが存在しなくてもよく、ユーザーは、ディスプレイ５２５及び／又はタッチパッド（図示せず）のみを介してデバイスとインタラクトしてもよい。入力デバイスの任意のタイプ及び組合せを、設計上の選択事項として使用し得る。特定の実施形態では、物理的入力デバイス及び／又はディスプレイは存在しない。例えば、ユーザーは、コンピューティングシステム５００と通信する別のコンピューティングシステムを介して、コンピューティングシステム５００と遠隔にインタラクトしてもよく、又はコンピューティングシステム５００は、自律的に動作してもよい。

メモリ５１５は、プロセッサ５１０によって遂行された場合、機能を提供するソフトウェアモジュールを記憶する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。モジュールは、本明細書に記載のプロセス又はその派生物の全部又は一部を実施するように構成されたトレーニングモジュール５４５を更に含む。コンピューティングシステム５００は、追加の機能を含む１つ又は複数の追加の機能モジュール５５０を含み得る。

当業者であれば、「システム」が、本発明の範囲から逸脱することなく、サーバ、組込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナル・デジタル・アシスタント（ＰＤＡ）、携帯電話、タブレット・コンピューティング・デバイス、量子コンピューティングシステム、又は任意の他の適切なコンピューティングデバイス、又はデバイスの組合せとして具現化され得ることを理解するであろう。上記の機能を「システム」によって実施されるものとして提示することは、本発明の範囲を限定することを決して意図するものではなく、本発明の多くの実施形態の一例を提供することを意図している。実際、本明細書に開示した方法、システム、及び装置は、クラウド・コンピューティング・システムを含むコンピューティング技術と一致する局所化された形態及び分散された形態で実装され得る。

本明細書に記載されたシステム特徴のいくつかは、それらの実装の独立性をより具体的に強調するために、モジュールとして提示されていることに留意されたい。例えば、モジュールは、カスタムの超大規模集積（ＶＬＳＩ）回路又はゲートアレイ、既製の半導体、例えばロジックチップ、トランジスタ、又は他のディスクリートコンポーネントなどを含むハードウェア回路として実装されてもよい。モジュールはまた、フィールド・プログラマブル・ゲート・アレイ、プログラマブル・アレイ・ロジック、プログラマブル・ロジック・デバイス、グラフィックス・プロセッシング・ユニットなどのプログラマブル・ハードウェア・デバイスに実装されてもよい。

モジュールはまた、様々なタイプのプロセッサによって遂行するためのソフトウェアに少なくとも部分的に実装されてもよい。遂行可能コードの識別されたユニットは、例えば、オブジェクト、手順、又は機能として編成され得るコンピュータ命令の１つ又は複数の物理ブロック又は論理ブロックを含んでもよい。それにもかかわらず、識別されたモジュールの遂行可能なものは、物理的に共に配置される必要はないが、論理的に共に結合されたときに、異なる場所に記憶され、モジュールを含み、モジュールの記載された目的を達成する異なる命令を含み得る。更に、モジュールは、例えば、ハード・ディスク・ドライブ、フラッシュデバイス、ＲＡＭ、テープ、及び／又は本発明の範囲から逸脱することなくデータを記憶するために使用される任意の他のそのような非一時的コンピュータ可読媒体であり得るコンピュータ可読媒体に記憶されてもよい。

実際、モジュールの遂行可能コードは、単一の命令、又は多くの命令であってもよく、いくつかの異なるコードセグメントにわたって、異なるプログラム中に、及びいくつかのメモリデバイスの間に、分散されてもよい。同様に、操作データは、本明細書ではモジュール内で識別され、及び図示され、任意の適切な形態で具現化され、任意の適切なタイプのデータ構造内に編成されてもよい。操作データは、単一のデータセットとして収集されてもよく、又は異なるストレージデバイスを含む異なる場所にわたって分散されてもよく、少なくとも部分的に、システム又はネットワーク上の電子信号としてのみ存在してもよい。

図６は、本発明の一実施形態による、ＲＰＡのためのＡＩを使用してヒューマンインザループ・ロボット・トレーニングを実施するように構成されたシステム６００を示すアーキテクチャ図である。システム６００は、デスクトップコンピュータ６０２、タブレット６０４、及びスマートフォン６０６などのユーザー・コンピューティング・システムを含む。しかしながら、限定しないが、スマートウォッチ、ラップトップコンピュータ、モノのインターネット（ＩｏＴ）デバイス、車両コンピューティングシステムなどを含む任意の所望のコンピューティングシステムを、本発明の範囲から逸脱することなく使用してもよい。

各コンピューティングシステム６０２，６０４，６０６は、その上にインストールされたリスナー６１０を有する。リスナー６１０は、本発明の範囲から逸脱することなく、ＲＰＡデザイナアプリケーション、オペレーティングシステムの一部、パーソナルコンピュータ（ＰＣ）若しくはスマートフォン用のダウンロード可能なアプリケーション、又は任意の他のソフトウェア及び／若しくはハードウェアを介して生成されたロボットであってもよい。実際、いくつかの実施形態では、１つ又は複数のリスナー６１０のロジックは、物理ハードウェアを介して部分的又は完全に実装される。

リスナー６１０は、それぞれのコンピューティングシステム６０２，６０４，６０６上のロボットとのユーザーインタラクションのログを生成する。次いで、リスナー６１０は、ネットワーク６２０（例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、移動通信ネットワーク、衛星通信ネットワーク、インターネット、それらの任意の組合せなど）を介してサーバ６３０にログデータを送信する。いくつかの実施形態では、サーバ６３０は、コンダクタアプリケーションを実行してもよく、データは、ハートビートメッセージの一部として定期的に送信されてもよい。特定の実施形態では、所定量のログデータが収集された後、所定の期間が経過した後、又はその両方で、ログデータをサーバ６３０に送信してもよい。サーバ６３０は、リスナー６１０から受信したログデータを、データベース６４０に記憶する。

人間のユーザー（例えば、ＲＰＡエンジニア又はデータサイエンティスト）によって指示された場合、所定量のログデータが収集された場合、最後の分析から所定量の時間が経過した場合などで、サーバ６３０は、リスナー６１０によって、様々なユーザーから収集された、データベース６４０からのログデータにアクセスし、複数のＡＩ層６３２を介してログデータを実行する。ＡＩ層６３２は、ログデータを処理し、ロボットとのユーザーのインタラクションに基づいてローカルＭＬモデルをトレーニングする。次いで、サーバ６３０は、トレーニングしたローカルＭＬモデルを呼び出すワークフローを自動的に生成し、ワークフローを実装するロボット（又は交換ロボット）を生成し、生成したロボットを、遂行対象のユーザー・コンピューティング・システム６０２，６０４，６０６にプッシュし得る。

あるいは、特定の実施形態では、ＡＩ層６３２から提案されたプロセスは、コンピューティングシステム６５０上で、デザイナアプリケーション６５２を介してＲＰＡエンジニアに提示されてもよい。次いで、ＲＰＡエンジニアは、ワークフローをレビューし、任意の所望の変更を行い、次いで、ロボットを介してコンピューティングシステム６０２，６０４，６０６に、ワークフローをデプロイメントするか、又はロボットにデプロイメントさせてもよい。例えば、デプロイメントは、サーバ６３０又は別のサーバ上で実行されるコンダクタアプリケーションを介して行われてもよく、これは、プロセスを実装するロボットをユーザー・コンピューティング・システム６０２，６０４，６０６にプッシュしてもよい。いくつかの実施形態では、このワークフローデプロイメントは、デザイナアプリケーションのオートメーションマネージャ機能を介して実現されてもよく、ＲＰＡエンジニアは、単にボタンをクリックしてロボットにプロセスを実装してもよい。

リスナー

ロボットとインタラクションする場合にコンピューティングシステム６０２，６０４，６０６上でユーザーによって行われたアクションに関するデータを抽出するために、リスナー６１０は、ドライバレベル（例えば、図３のドライバ３４０）でクライアントサイドにおいて採用され、ホワイトリストに登録されたアプリケーションからデータを抽出し得る。例えば、リスナー６１０は、ユーザーが画面上のどこをクリックしたか、及びどのアプリケーション、でクリックしたか、クリックされたボタンのキー入力、アプリケーション間のユーザー切り替えのインスタンス、フォーカスの変更、電子メールが送信されたこと、及び電子メールが関連するものなどを記録してもよい。追加的又は代替的に、リスナー６１０は、コンピューティングシステム６０２，６０４，６０６上で動作するロボットに関するデータを収集してもよい。いくつかの実施形態では、ワークフローを実装する、様々なタスクを実施するロボットは、それら自体の動作のためのリスナーとして機能してもよい。そのようなデータは、コンピューティングシステム６０２，６０４，６０６とのユーザーのインタラクション及び／又はその上で実行するロボットの動作の高い忠実度のログを生成するために使用され得る。

プロセス抽出のためのログデータを生成することの追加又は代替的に、いくつかの実施形態は、ユーザーが実際に行っていることに対する洞察を与えてもよい。例えば、リスナー６１０は、いつユーザーが実際にアプリケーションを使用したか、ユーザーが所与のアプリケーションを使用している時間の割合、ユーザーがアプリケーション内のどの機能を使用し、どの機能を使用しなかったかなどを判定してもよい。この情報は、アプリケーションのライセンスを更新するか否か、機能のライセンスを更新しない、又は機能が欠落している安価なバージョンにダウングレードするか否か、他の従業員は生産的にすることが多いアプリケーションを、ユーザーが使用していないので、ユーザーを適切にトレーニングし得るか否か、ユーザーが非作業アクティビティ（例えば、個人の電子メールをチェックしたり、ウェブをサーフィンする）を実施するために多くの時間を費やしているか、あるいはユーザーが机から離れているか否か（例えば、コンピューティングシステムとインタラクションしない）などに関する情報に基づいた決定を行うために、マネージャに提供されてもよい。

いくつかの実施形態では、検出更新をリスナーにプッシュして、ドライバーレベルのユーザーインタラクション並びに／又はロボット動作検出及びキャプチャプロセスを改善してもよい。特定の実施形態では、リスナー６１０は、それらの検出にＡＩを採用してもよい。特定の実施形態では、オートメーションワークフローからのプロセスを実装するロボットは、それぞれのリスナー６１０を介してコンピューティングシステム６０２，６０４，６０６に自動的にプッシュされてもよい。

図７は、本発明の一実施形態による、ＲＰＡのためのＡＩを使用してヒューマンインザループ・ロボット・トレーニングを実施するプロセス７００を示すフローチャートである。プロセスは、７０５において、コンピューティングシステムのユーザーとＲＰＡロボットとのインタラクションを、リスナーによって監視することから始まる。リスナーは、別個のリスナーロボット、ユーザーが、インタラクションしているＲＰＡロボット、別のリスナー・ソフトウェア・アプリケーションなどであってもよい。７１０において、ユーザーインタラクションに関連するデータは、経時的にログ記録され（例えば、ログファイルに記憶され）、サーバに送信される。

ログ記録されたデータは、ロボットが画像内にナンバープレートを見つけることができない場合など、ユーザーによって指摘された例外を含んでもよく、ロボットは、画像内で、ナンバープレートがどこにあるかを示すようにユーザーに要求してもよい。これは、バウンディングボックス、テキスト、座標、画面上の位置などを介してユーザーによって提供されてもよい。例外は、ＲＰＡロボットが修正を要求することなく行われるユーザー修正であってもよい。これらの修正は、エラー及び／又はユーザー設定に起因し得る。

その後、７１５において、サーバは、ユーザーによって指摘された例外に基づいて改良を加えるべきであると判定する。これは、所定量の時間（例えば、１日、１週間、１ヶ月など）の経過に起因して１人又は複数のユーザーによって受信されている同じタイプの所定の数の例外に基づいて、例外頻度に基づいて、それらの任意の組合せ（例えば、同じタイプの５０の例外が短い時間期間に受信され、同じタスクに対して少なくとも７５％の頻度が提供されない限り、毎週実行する）などに基づいて、判定されてもよい。例えば、サーバは、ログ記録されたデータを分析することによって、ユーザーが所定の閾値（例えば、少なくとも時間の５０％）を超える特定の変更を行うことが多いことに気付くことによって、この判定を行ってもよい。

７２０において、サーバは、まず、特定のアクティビティ又は一連のアクティビティを介して、そのユーザーが改良に対処可能であるか否かを判定する。例えば、サーバは、特定の値をルックアップするアクティビティ（例えば、請求書内のフィールドをルックアップして、特定の番号を追加する）を含めることによって、又はアクティビティのシーケンス（例えば、データベースからテンプレート電子メール本文テキストをルックアップし、ユーザーが好むと思われる特定のテキストを電子メールに挿入する）を含めることによって、修正を実施してもよい。換言すれば、この場合、例外におけるユーザーのアクションを模倣することによって改良を行い得る。これが該当する場合、７２５において、改良を行うアクティビティ又はアクティビティのシーケンスが、ワークフローに挿入される。いくつかの実施形態では、これは、１つ又は複数の既存のアクティビティを置き換えること、及び／又はワークフロー自体のロジックを改良することを含んでもよい。次いで、７３０において、ワークフローを実装するロボットが生成され、ユーザーのコンピューティングシステムにデプロイメントされる。

特定の実施形態では、ユーザー自身のコンピューティングシステムは、ステップ７１５，７２０，７２５及び７３０を実施してもよい。例えば、ユーザーがパーソナライズのために特定の変更を行っている場合、これは、ロボットを分析及び改良するためにサーバの計算能力を必要としない場合がある。したがって、ユーザーのコンピューティングシステム自体が、改良を加えるべきか否かを判定し、ワークフローを改良し、ローカルロボットの新規のバージョンを生成し、以前のバージョンの代わりにロボットの新規のバージョンをデプロイメントしてもよい。

しかしながら、場合によっては、その改良は、あまりに複雑すぎて、ワークフローアクティビティのみを追加／改良することはできない。例えば、発話を認識するためのＭＬモデルを最初にトレーニングする必要があり得る、又は既存のＭＬモデルを再トレーニングしてユーザーのアクセントを認識する必要があり得る。この場合、７３５において、サーバは、機械学習技術（例えば、深層学習ニューラルネットワーク）を使用してログ記録されたデータに基づいてＭＬモデルをトレーニングして、ローカルＭＬモデル（又はその新規のバージョン）を作成する。７４０において、ワークフローは、このローカルＭＬモデルを呼び出すように改良され、次いで、７３０において、このワークフローを実装するロボットが生成されデプロイメントされる。

いくつかの実施形態では、図７のプロセスは、組織全体及び／又はグローバルに、多くのユーザーに対して実施されてもよい。ログ記録されたデータが複数、多数、又はすべてのユーザーから収集されると、特定のパターンが出現する可能性がある。例えば、分析は、特定の場所にいるユーザーのグループが、同様のアクセントを有し、同様の例外に注目していること、すべてのユーザーのかなりの数が、請求書の特定のフィールドを修正していること、すべてのユーザーのかなりの数が、特定の設定を持っていることなどを明らかにする可能性がある。いくつかの実施形態では、これは、所定の閾値（例えば、例外を有するユーザーの所定の数又は割合、例外の所定の頻度、ある時間期間にわたって例外が発生した回数など）によって判定されてもよい。これが７４５のケースである場合、７５０において、ユーザーのグループ又は会社の「コミュニティ」ＭＬモデル、あるいはすべてのユーザーのグローバルＭＬモデルを、このログ記録されたデータを使用してトレーニングしてもよい。次いで、７４０において、適切なワークフローが改良され、７３０において、このワークフローを実装するロボットが、生成され、及びデプロイメントされる。

再トレーニングの頻度は、受信したログ記録されたデータの量に基づいてもよい。ユーザーの大きなグループは、ＭＬモデルを頻繁（例えば、毎日）に再トレーニングするために十分なデータを生成し得る。しかしながら、ユーザーの小さなグループは、再トレーニングの目的に有用である十分なログ記録されたデータを生成するために、多くの時間を要する場合がある。

図７で実施されるプロセスステップは、本発明の実施形態に従って、プロセッサが図７に記載したプロセスの少なくとも一部を実施するために、命令を符号化するコンピュータプログラムによって実施されてもよい。コンピュータプログラムは、非一時的コンピュータ可読媒体に格納されてもよい。コンピュータ可読媒体は、限定しないが、ハード・ディスク・ドライブ、フラッシュデバイス、ＲＡＭ、テープ、及び／あるいはデータを記憶するために使用される任意の他のそのような媒体又は媒体の組合せであってもよい。コンピュータプログラムは、コンピュータ可読媒体に記憶され得る、図７に記載したプロセスステップの全部又は一部を実装するように、コンピューティングシステム（例えば、図５のコンピューティングシステム５００のプロセッサ５１０）のプロセッサを制御するための符号化された命令を含んでもよい。

コンピュータプログラムは、ハードウェア、ソフトウェア、又はハイブリッド実装で実装してもよい。コンピュータプログラムは、互いに動作可能に通信し、情報又は命令を表示のために渡すように設計されたモジュールから構成してもよい。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、又は任意の他の適切なデバイス上で動作するように構成してもよい。

本発明の様々な実施形態のコンポーネントは、本明細書の図に一般的に記載及び図示されているように、多種多様な異なる構成で配置及び設計されてもよいことが容易に理解されよう。したがって、添付の図面に表すように、本発明の実施形態の詳細な説明は、特許請求される本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を単に代表するものである。

本明細書を通して記載した本発明の特徴、構造、又は特性は、１つ又は複数の実施形態において任意の適切な方法で組み合わせられ得る。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、又は同様の文言への言及は、実施形態に関連して記載した特定の特徴、構造、又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、又は同様の文言の出現は、必ずしもすべてが同じ実施形態のグループを指すわけではなく、記載した特徴、構造、又は特性は、１つ又は複数の実施形態において任意の適切な方法で組み合わせられ得る。

本明細書を通して特徴、利点、又は同様の文言への言及は、本発明で実現され得る特徴及び利点のすべてが本発明の任意の単一の実施形態であるべきであること、又は本発明の任意の単一の実施形態であることを意味するものではないことに留意されたい。むしろ、特徴及び利点に言及する文言は、実施形態に関連して記載した特定の特徴、利点、又は特性が本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書を通して、特徴及び利点、並びに同様の文言の説明は、必ずしもそうとは限らないが、同じ実施形態を参照し得る。

更に、本発明の記載した特徴、利点、及び特性は、１つ又は複数の実施形態において任意の適切な方法で組み合わせられてもよい。当業者は、特定の実施形態の特定の特徴又は利点のうちの１つ又は複数なしに、本発明を実施し得ることを認識するであろう。他の例では、本発明のすべての実施形態には存在しない可能性がある特定の実施形態において、追加の特徴及び利点が認識され得る。

当業者であれば、上記のような本発明は、異なる順序のステップで、及び／又は開示されているものとは異なる構成のハードウェア要素で実施され得ることを容易に理解するであろう。したがって、本発明を、これらの好ましい実施形態に基づいて記載しているが、本発明の精神及び範囲内に留まりながら、特定の改良、変形、及び代替構造が明らかであることは、当業者には明らかであろう。したがって、本発明の範囲を決定するために、添付の特許請求の範囲を参照すべきである。

Claims (20)

1. ロボティック・プロセス・オートメーション（ＲＰＡ）ロボット及びリスナーを備えるユーザー・コンピューティング・システムと、
   サーバと、
   を備えるシステムであって、
   前記リスナーが、
   前記ユーザー・コンピューティング・システムを介した前記ＲＰＡロボットとのユーザーインタラクションを監視して、前記ユーザーインタラクションに関連するデータをログ記録し、更に、
   前記ユーザーインタラクションに関連する前記ログ記録されたデータを前記サーバに送信する、ように構成され、
   前記サーバが、
   前記ユーザーインタラクションに関連する前記ログ記録されたデータを受信し、
   前記ログ記録されたデータに基づいて前記ＲＰＡロボットのＲＰＡワークフローに改良を加えるべきか否かを判定し、更に、
   前記サーバが、前記改良を加えるべきであると判定した場合、
   前記ＲＰＡロボットの前記ＲＰＡワークフローに、アクティビティ又はアクティビティのシーケンスを挿入することによって前記改良が対処可能である場合、前記判定した改良を行う前記ＲＰＡロボットの前記ＲＰＡワークフローに前記アクティビティ又はアクティビティのシーケンスを挿入する、ように構成される、
   システム。
2. 前記サーバが、
   前記改良したＲＰＡワークフローを使用して前記ＲＰＡロボットの新規のバージョンを生成し、更に、
   前記ＲＰＡロボットの前記新規のバージョンを前記ユーザー・コンピューティング・システムにデプロイメントする、ように更に構成される、
   請求項１に記載のシステム。
3. 前記ユーザー・コンピューティング・システムが、
   前記サーバから前記ＲＰＡロボットの新規のバージョンを受信し、更に、
   前記ＲＰＡロボットの前記新規のバージョンをデプロイメントする、ように構成される、
   請求項１に記載のシステム。
4. 前記ログ記録されたデータが、前記ＲＰＡロボットの動作中に、前記ユーザー・コンピューティング・システムを介して前記ユーザーによって指摘された例外を含む、請求項１に記載のシステム。
5. 前記例外が、前記ＲＰＡロボット、ユーザー設定、又はその両方によって、エラーに関係する、請求項４に記載のシステム。
6. 改良を加えるべきか否かの前記判定が、所定の時間の経過に起因して、受信されている同じタイプの所定数の例外に基づくか、例外の頻度に基づくか、又はそれらの任意の組合せに基づくものである、請求項１に記載のシステム。
7. 前記改良が、前記ＲＰＡワークフローに、前記アクティビティ又はアクティビティのシーケンスを挿入することによって対処可能でない場合、前記サーバが、
   前記ログ記録されたデータに基づいてローカル機械学習（ＭＬ）モデルをトレーニングし、更に、
   前記トレーニングされたＭＬモデルを呼び出すように前記ＲＰＡワークフローを改良する、ように更に構成される、
   請求項１に記載のシステム。
8. 前記サーバが、
   他のコンピューティングシステムの他のユーザーとそれぞれのＲＰＡロボットとのインタラクションに関連するログ記録されたデータを収集し、
   前記ユーザーについての例外が、すべての前記他のユーザーのうちのサブセットである前記他のユーザーのグループについて、前記収集したログ記録されたデータにおける例外と同様である場合、
   前記ユーザーのサブセットのためのコミュニティＭＬモデルをトレーニングし、
   前記コミュニティＭＬモデルを呼び出すように、前記ＲＰＡワークフローを改良し、更に、
   前記ユーザーについての例外が前記他のユーザーのグループについての前記収集したログ記録されたデータにおける例外と類似していて、グローバル再トレーニング閾値を超えた場合、
   すべてのユーザーのグローバルＭＬモデルをトレーニングし、
   前記グローバルＭＬモデルを呼び出すように、前記ＲＰＡワークフローを改良する、ように更に構成される、
   請求項１に記載のシステム。
9. 前記ログ記録されたデータが、前記サーバ上で実行されるコンダクタアプリケーションへのハートビートメッセージの一部として前記リスナーによって前記サーバに送信される、請求項１に記載のシステム。
10. 非一時的コンピュータ可読媒体に格納されるコンピュータプログラムであって、前記プログラムが、少なくとも１つのプロセッサに、
    ユーザー・コンピューティング・システムを介したロボティック・プロセス・オートメーション（ＲＰＡ）ロボットとのユーザーインタラクションを監視させ、前記ユーザーインタラクションに関連し、かつ例外を含むデータをログ記録させ、
    前記ユーザーインタラクションに関連する前記ログ記録されたデータをサーバに送信させ、
    前記ログ記録されたデータ内の前記例外に対処するように改良した前記ＲＰＡロボットの新規のバージョンを前記サーバから受信させ、更に、
    前記ＲＰＡロボットの前記新規のバージョンをデプロイメントさせる、ように構成される、
    コンピュータプログラム。
11. 前記例外が、前記ＲＰＡロボット、ユーザー設定、又はその両方によってエラーに関係する、請求項１０に記載のコンピュータプログラム。
12. 前記ログ記録されたデータが、前記サーバ上で実行されるコンダクタアプリケーションへのハートビートメッセージの一部として前記サーバに送信される、請求項１０に記載のコンピュータプログラム。
13. 前記ログ記録されたデータが、所定量のデータが収集された後、所定の時間期間が経過した後、又はその両方の後で、前記サーバに送信される、請求項１０に記載のコンピュータプログラム。
14. コンピューティングシステムによって、ユーザーとロボティック・プロセス・オートメーション（ＲＰＡ）ロボットとのインタラクションに関連するログ記録されたデータを受信することと、
    前記コンピューティングシステムによって、前記ログ記録されたデータに基づいて前記ＲＰＡロボットのＲＰＡワークフローに改良を加えるべきか否かを判定することと、
    前記コンピューティングシステムが、前記改良を加えるべきであると判定した場合、
    前記ＲＰＡロボットの前記ＲＰＡワークフローに、アクティビティ又はアクティビティのシーケンスを挿入することによって前記改良が対処可能である場合、前記コンピューティングシステムによって、前記判定した改良を行う前記ＲＰＡロボットの前記ＲＰＡワークフローに前記アクティビティ又はアクティビティのシーケンスを挿入することと、を含む、
    コンピュータ実装方法。
15. 前記改良したＲＰＡワークフローを使用して、前記コンピューティングシステムによって、前記ＲＰＡロボットの新規のバージョンを生成することと、
    前記コンピューティングシステムによって、前記ＲＰＡロボットの前記新規のバージョンをデプロイメントすることと、を更に含む、
    請求項１４に記載のコンピュータ実装方法。
16. 前記ログ記録されたデータが、前記ＲＰＡロボットの動作中に、前記ユーザーによって指摘された例外を含む、請求項１４に記載のコンピュータ実装方法。
17. 前記例外が、前記ＲＰＡロボット、ユーザー設定、又はその両方によるエラーに関係する、請求項１６に記載のコンピュータ実装方法。
18. 改良を加えるべきか否かの前記判定が、所定の時間の経過に起因して、受信されている同じタイプの所定数の例外に基づくか、例外の頻度に基づくか、又はそれらの任意の組合せに基づくものである、請求項１４に記載のコンピュータ実装方法。
19. 前記改良が、前記ＲＰＡワークフローに前記アクティビティ又はアクティビティのシーケンスを挿入することによって対処可能でない場合、前記方法が、
    前記コンピューティングシステムによって、前記ログ記録されたデータに基づいてローカル機械学習（ＭＬ）モデルをトレーニングすることと、
    前記コンピューティングシステムによって、前記トレーニングされたＭＬモデルを呼び出すように、前記ＲＰＡワークフローを改良することと、を更に含む、
    請求項１４に記載のコンピュータ実装方法。
20. 前記コンピューティングシステムによって、他のユーザーとそれぞれのＲＰＡロボットとのインタラクションに関連するログ記録されたデータを収集することと、
    前記ユーザーについての例外が、すべての前記他のユーザーのうちのサブセットである前記他のユーザーのグループについて、前記収集したログ記録されたデータにおける例外と同様である場合、
    前記コンピューティングシステムによって、前記ユーザーのサブセットのためのコミュニティＭＬモデルをトレーニングすることと、
    前記コンピューティングシステムによって、前記コミュニティＭＬモデルを呼び出すように、前記ＲＰＡワークフローを改良することと、
    前記ユーザーについての例外が前記他のユーザーのグループについての前記収集したログ記録されたデータにおける例外と類似していて、グローバル再トレーニング閾値を超えた場合、
    前記コンピューティングシステムによって、すべてのユーザーのグローバルＭＬモデルをトレーニングすることと、
    前記グローバルＭＬモデルを呼び出すように、前記ＲＰＡワークフローを改良することと、を更に含む、
    請求項１４に記載のコンピュータ実装方法。
    
    
    

Images