JP2023500698A - 顧客データをシミュレートするためのインテリジェント・エージェント - Google Patents

Abstract

実施形態は、強化学習モデルを用いてトランザクション・データをシミュレートするためのコンピュータ実施方法を提供することができ、この方法は、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成することと、類似したトランザクション特性を有する実際の顧客のグループを表す標準顧客トランザクション・データをゴールとして提供することと、インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行うことと、環境により、アクションをゴールと比較することと、環境により、ゴールに対する類似度に基づいて、アクションと関連付けられたフィードバックを提供することと、ポリシー・エンジンにより、フィードバックに基づいてポリシーを調整することとを含み、類似度が第１の所定の閾値より高くなるまで、アクションを行うステップからポリシーを調整するステップまでを繰り返し、さらに、人工顧客プロファイルを最後のアクションと組み合わせて、シミュレートされた顧客データを形成することを含む。

Description

本発明は、一般に、トランザクション・データ・シミュレータを実装するコグニティブ・システム（cognitive system）に関し、より具体的には、例えば銀行などの金融機関によって提供されるトランザクション・データをシミュレートするように構成されたトランザクション・データ・シミュレータを実装することに関する。

金融犯罪検知システム、例えばＩＢＭ（登録商標）Ｆｉｎａｎｃｉａｌ Ｃｒｉｍｅｓ Ａｌｅｒｔｓ Ｉｎｓｉｇｈｔ ｗｉｔｈ ＩＢＭ Ｗａｔｓon（登録商標）は、コグニティブ分析を利用して、銀行がマネーロンダリング及びテロ資金供与を検知するのを助けることができる。コグニティブ分析は、「正常な」金融活動を「疑わしい」活動と区別し、その区別情報を使用して、銀行についての予測モデルを構築する。予測モデルを訓練するためには、実際の金融顧客データの大規模なセットが必要である。

実際の顧客データは極めて慎重な扱いを要するため、限られた量の実際の顧客データしか銀行によって提供することができない。しかしながら、不正な状況を最も良くシミュレートし、異なるタイプの金融犯罪を検知するために、より多くのシミュレートされた顧客データ、例えば、実際的に見える、訓練用のトランザクション・データがより優れた予測モデルをもたらし得る。ＩＢＭ、及びＩＢＭ Ｗａｔｓｏｎは、世界中の多数の管轄区域において登録されているインターナショナル・ビジネス・マシーンズ・コーポレーションの商標である。従って、当技術分野において、前述の問題に対処する必要性がある。

第１の態様から見ると、本発明は、プロセッサと、プロセッサにより実行され、プロセッサに、インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするための方法を実施させる命令を含むメモリとを備えるデータ処理システムにおけるコンピュータ実施方法を提供し、この方法は、プロセッサにより、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成することと、プロセッサにより、類似したトランザクション特性を有する実際の顧客のグループを表す標準顧客（standard customer）トランザクション・データをゴールとして提供することと、インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行うことと、環境により、アクションをゴールと比較することと、環境により、ゴールに対する類似度に基づいて、アクションと関連付けられたフィードバックを提供することと、ポリシー・エンジンにより、フィードバックに基づいてポリシーを調整することとを含み、類似度が第１の所定の閾値より高くなるまで、アクションを行うステップからポリシーを調整するステップまでを繰り返し、さらに、プロセッサにより、人工顧客（artificial customer）プロファイルを最後のアクションと組み合わせて、シミュレートされた顧客データを形成することを含む。

第１の態様から見ると、本発明は、プロセッサと、プロセッサにより実行され、プロセッサに、インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするための方法を実施させる命令を含むメモリとを備えるデータ処理システムにおけるコンピュータ実施方法を提供し、この方法は、プロセッサにより、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成することと、プロセッサにより、類似したトランザクション特性を有する実際の顧客のグループを表す標準顧客トランザクション・データをゴールとして提供することと、インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行うことと、環境により、アクションをゴールと比較することと、環境により、ゴールに対する類似度に基づいて、アクションと関連付けられたフィードバックを提供することと、ポリシー・エンジンにより、フィードバックに基づいてポリシーを調整することとを含み、類似度が第１の所定の閾値より高くなるまで、アクションを行うステップからポリシーを調整するステップまでを繰り返し、さらに、プロセッサにより、人工顧客プロファイルを最後のアクションと組み合わせて、シミュレートされた顧客データを形成することを含む。

第１の態様から見ると、本発明は、プロセッサと、プロセッサにより実行され、プロセッサに、インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするための方法を実施させる命令を含むメモリとを備えるデータ処理システムにおけるコンピュータ実施方法を提供し、この方法は、プロセッサにより、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成することと、プロセッサにより、類似したトランザクション特性を有する実際の顧客のグループを表す標準顧客トランザクション・データをゴールとして提供することと、インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行うことと、環境により、アクションをゴールと比較することと、環境により、ゴールに対する類似度に基づいて、アクションと関連付けられたフィードバックを提供することと、ポリシー・エンジンにより、フィードバックに基づいてポリシーを調整することとを含み、類似度が第１の所定の閾値より高くなるまで、アクションを行うステップからポリシーを調整するステップまでを繰り返し、さらに、プロセッサにより、人工顧客プロファイルを最後のアクションと組み合わせて、シミュレートされた顧客データを形成することを含む。

さらに別の態様から見ると、本発明は、インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするためのコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、プログラム命令がそこに具体化されたコンピュータ可読ストレージ媒体を含み、このプログラム命令は、プロセッサにより実行可能であり、プロセッサに、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成させ、類似したトランザクション特性を有する顧客のグループを表す標準顧客トランザクション・データをゴールとして提供させ、インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行わせ、環境により、アクションをゴールと比較させ、環境により、ゴールに対する類似度に基づいて、アクションと関連付けられたフィードバックを提供させ、ポリシー・エンジンにより、フィードバックに基づいてポリシーを調整させ、類似度が第１の所定の閾値より高くなるまで、アクションを行うステップから前記ポリシーを調整するステップまでを繰り返し、さらに、人工顧客プロファイルを最後のアクションと組み合わせて、シミュレートされた顧客データを形成させる。

さらに別の態様から見ると、本発明は、インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするためのシステムを提供し、このシステムは、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成し、類似したトランザクション特性を有する実際の顧客のグループを表す標準顧客トランザクション・データをゴールとして提供し、インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行い、環境により、アクションをゴールと比較し、環境により、ゴールに対する類似度に基づいて、アクションと関連付けられたフィードバックを提供し、ポリシー・エンジンにより、フィードバックに基づいてポリシーを調整するように構成され、類似度が第１の所定の閾値より高くなるまで、アクションを行うステップからポリシーを調整するステップまでを繰り返し、さらに、人工顧客プロファイルを最後のアクションと組み合わせて、シミュレートされた顧客データを形成するように構成されたプロセッサを含む。

さらに別の態様から見ると、本発明は、トランザクション・データをシミュレートするためのコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、処理回路により可読であり、本発明のステップを実行する方法を実行するための、処理回路により実行される命令を格納するコンピュータ可読ストレージ媒体を含む。

さらに別の態様から見ると、本発明は、コンピュータ可読媒体上に格納され、デジタル・コンピュータの内部メモリにロード可能なコンピュータ・プログラムであって、プログラムがコンピュータ上で実行されるとき、本発明のステップを実行するためのソフトウェア・コード部分を含む。

実施形態は、プロセッサと、プロセッサによって実行され、プロセッサに、インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするための方法を実施させる命令を含むメモリとを備えるデータ処理システムにおけるコンピュータ実装方法を提供する。この方法は、プロセッサにより、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成することと、プロセッサにより、類似したトランザクション特性を有する実際の顧客のグループを表す標準顧客トランザクション・データをゴールとして提供することと、インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行うことと、環境により、アクションをゴールと比較することと、環境により、ゴールに対する類似度に基づいてアクションと関連付けられたフィードバックを提供することと、ポリシー・エンジンにより、フィードバックに基づいてポリシーを調整することとを含み、類似度が第１の所定の閾値より高くなるまで、アクションを行うステップからポリシーを調整するステップまでを繰り返し、さらに、プロセッサにより、人工顧客プロファイルを最後のアクションと組み合わせてシミュレートされた顧客データを形成することを含む。

実施形態は、実際の顧客プロファイル・データが、顧客のアドレス、顧客の名前、連絡先情報、信用情報、及び収入情報のうちの１つ又は複数を含む、コンピュータ実施方法をさらに提供する。

実施形態は、各々のシミュレートされたトランザクションがトランザクション・タイプ、トランザクション金額、トランザクション時間、トランザクション場所、トランザクション媒体、シミュレートされたトランザクションと関連付けられたセカンド・パーティを含む、コンピュータ実施方法をさらに提供する。

実施形態は、環境がインテリジェント・エージェントにより行われた全ての前のアクションのセットを含む、コンピュータ実施方法をさらに提供する。

実施形態は、プロセッサにより、第２の所定の閾値より低い類似度を有する複数の前のアクションを除去することをさらに含む、コンピュータ実施方法をさらに提供する。

実施形態は、プロセッサにより、教師なしクラスタ化手法を通じて生の顧客トランザクション・データから標準顧客トランザクション・データを取得することをさらに含む、コンピュータ実施方法をさらに提供する。

実施形態は、フィードバックがリワード又ペナルティである、コンピュータ実施方法をさらに提供する。

別の例示的な実施形態において、コンピュータ可読プログラムを有するコンピュータ使用可能又は可読媒体を含むコンピュータ・プログラム製品が提供される。コンピュータ可読プログラムは、プロセッサ上で実行されるとき、プロセッサに、方法の例示的な実施形態に関して上記に概説される動作の種々のもの及びその組み合わせを実行させる。

さらに別の例示的な実施形態において、システムが提供される。このシステムは、方法の例示的な実施形態に関して上記に概説される動作の種々のもの及びその組み合わせを実行するように構成された訓練データ・ハーベスティング・プロセッサを含むことができる。

本開示の付加的な特徴及び利点は、添付図面を参照して続行する例示的な実施形態の以下の詳細な説明から明らかになるであろう。

本発明の上記及び他の態様は、添付図面と関連して読まれるとき、以下の詳細な説明から最もよく理解される。本発明を説明する目的で、現在好ましい実施形態が図面に示されるが、本発明は、開示された特定の手段に限定されないことが理解される。図面には、以下の図が含まれる。

コンピュータ・ネットワークにおける、トランザクション・データ・シミュレータを実装するコグニティブ・システム１００の１つの例示的な実施形態の概略図を示す。 トランザクション・データ・シミュレータ１１０の１つの例示的な実施形態の概略図を示す。 本明細書の実施形態による、シミュレートされた顧客からの複数のシミュレートされたトランザクションを示す概略図を示す。 顧客データをシミュレートする方法４００の１つの例示的な実施形態のフローチャートを示す。 例示的な実施形態の態様を実施することができる例示的なデータ処理システム５００のブロック図である。

概要として、コグニティブ・システムは、人間のコグニティブ機能をエミュレートするために、ハードウェア論理もしくはソフトウェア論理、又はその両方で（ソフトウェアが実行されるハードウェア論理と組み合わせて）構成された専門コンピュータ・システム、又はコンピュータ・システムのセットである。これらのコグニティブ・システムは、人間のような（human-like）特性を考えの伝達及び操作に適用し、それにより、デジタル・コンピューティングの固有の強さと組み合わせると、高い精度及び回復力で問題を大規模に解決することができる。ＩＢＭ Ｗａｔｓｏｎ（登録商標）は、人間が読める言語を処理し、人間よりもはるかに高速かつ大規模に、人間のような精度でテキスト・パッセージ間の推論を識別できる、１つのそうしたコグニティブ・システムの一例である。一般に、そうしたコグニティブ・システムは、以下の機能を果たすことが可能である。すなわち、
人間の言語の複雑さ及び理解をナビゲートする、
膨大な量の構造化データ及び非構造化データを取り込み、処理する、
仮説を作成し評価する、
関連証拠のみに基づく応答を重み付けし、評価する、
状況特有のアドバイス、洞察、及び指針を提供する、
機械学習プロセスを通じて各々の反復及び相互作用により知識を向上させ、学習する、
影響を受けた時点における意思決定を可能にする（文脈上の指針）、
タスクに比例して拡大縮小する、
人間の専門知識及び認知（cognition）を拡張し、拡大する、
自然言語から、共鳴する人間のような属性及び特徴を識別する、
自然言語から、種々の言語固有の属性又は不可知論的属性を推定する、
データ点（画像、テキスト、音声）からの高度な関連想起（暗記、呼び出し）、
経験に基づいて人間の認知を模倣する状況認識により予測し、感知する、
自然言語及び特定の証拠に基づいて質問に答える。

一態様において、コグニティブ・システムをトランザクション・データ・シミュレータで増強し、金融機関、例えば銀行からの顧客トランザクション・データのセットをシミュレートすることができる。シミュレートされた顧客トランザクション・データは、それが金融機関からの「実際の」顧客トランザクション・データでなかったとしても、金融犯罪を識別するための予測モデルを訓練するために使用することができる。

トランザクション・データ・シミュレータは、多層の教師なしクラスタ化手法（multi-layered unsupervised clustering approach）を対話型強化学習（interactive reinforcement learning、ＩＲＬ）モデルと組み合わせて、「標準顧客」のように行動するように学習したインテリジェント・エージェントの大規模なセットを作成する。

実施形態において、多層の教師なしクラスタ化手法は、様々な期間にわたる「標準顧客」の数百の属性を含む情報を用いて、（銀行により提供される実際の顧客トランザクション・データから抽出された）標準顧客のトランザクション行動の大規模なセットを作成する。各標準顧客トランザクション行動は、類似したトランザクション特性を有する顧客のグループと関連付けることができる。インテリジェント・エージェントは、人工顧客プロファイルを生成し、生成された人工顧客プロファイルと組み合わせられる標準顧客トランザクション行動の１つを選択する。このようにして、インテリジェント・エージェントは「標準顧客」をシミュレートし、「標準顧客」のように行動するように学習することができる。次に、インテリジェント・エージェントには、ある期間（例えば、１０年）が与えられ、その間に、インテリジェント・エージェントは、環境、（例えば、表現される「標準顧客」の過去の行動）を観察し、表現される「標準顧客」の標準顧客トランザクション行動に類似した「偽の」顧客トランザクションを実行するように学習することができる。標準顧客トランザクション行動の各要因は、統計データとすることができる。例えば、標準顧客トランザクション行動のトランザクション金額は、ある範囲の値とすることができ、例えば、標準顧客トランザクション行動のトランザクション金額は、＄２０～＄３，０００とすることができる。標準顧客トランザクション行動のトランザクション場所は、統計的に提供することができ、例えば、トランザクション場所の３０％はショッピングモールであり、トランザクション場所の５０％はレストランであり、トランザクション場所の２０％はガソリンスタンドである。標準顧客トランザクション行動のトランザクション・タイプは、統計的に提供することができ、例えば、トランザクション・タイプの２０％は小切手支払いであり、トランザクション・タイプの４０％はＰＯＳ支払いであり、トランザクション・タイプの２５％はＡＴＭ引出しであり、トランザクション・タイプの１５％は電信送金である。標準顧客トランザクション行動のトランザクション媒体は、統計的に提供することができ、例えば、トランザクション媒体の１５％は現金であり、トランザクション媒体の４５％はクレジットカードであり、トランザクション媒体の２５％は当座預金口座であり、トランザクション媒体の１５％はＰａｙＰａｌ（登録商標）である。

実施形態において、複数の実際の顧客プロファイル・データから、多数の人工顧客プロファイルが生成される。実際の顧客プロファイル・データは、１又は複数の銀行によって提供され得る。各々の実際の顧客プロファイルは、顧客の住所、顧客の名前（顧客は、法人又は個人とすることができる）、電話番号、電子メール・アドレスなどの連絡先情報、クレジット・スコア、クレジット・レポートなどの信用情報、収入情報（例えば、法人の年間収益、又は個人の賃金）などを含むことができる。実際の顧客プロファイル・データは、異なるカテゴリ下に格納される。例えば、企業顧客（すなわち、法人）は、企業顧客のサイズ、製品又はサービスに基づいて、異なるカテゴリに分けることができる。人工顧客プロファイルは、全ての実際の顧客プロファイル・データをランダムに検索することによって生成することができる。例えば、人工顧客プロファイルは、住所、名、姓、電話番号、電子メール・アドレス、クレジット・スコア、収益もしくは賃金などを含むランダムに選択された情報を組み合わせることによって生成することができる。このように、生成された人工顧客プロファイルは、実際の顧客プロファイル・データから情報の異なる部分を抽出し、従って、実際的な顧客プロファイルのように見える。金融トランザクション・データはさらに、各人工顧客プロファイルと関連付けられてシミュレートされる。実施形態において、シミュレートされた顧客トランザクション・データを人工顧客プロファイルと組み合わせて、シミュレートされた顧客データを形成することができる。

実施形態において、実際の顧客のプライバシーを保護するために、ランダムに選択する前に、住所、名前などの複合情報を複数の部分に分割することができる。例えば、住所「２４７１ Ｇｅｏｒｇｅ Ｗａｌｌａｃｅ Ｓｔｒｅｅｔ」を解析して３つの部分、すなわち、〔数字〕「２４７１」、〔名前〕「Ｇｅｏｒｇｅ Ｗａｌｌａｃｅ」及び〔接尾辞〕「Ｓｔｒｅｅｔ」にすることができる。これらの部分を個別にランダムに選択して、人工顧客プロファイルを形成することができる。さらに別の実施形態では、住所、名前などの人工顧客プロファイルの複合情報を、実際の顧客プロファイルの複合情報と比較する。類似度が所定の閾値を上回る場合、人工顧客プロファイルは受け入れられず、類似度が所定の閾値を下回るまで、更新する必要がある。

図１は、コンピュータ・ネットワーク１０２においてトランザクション・データ・シミュレータ１１０を実装するコグニティブ・システム１００の１つの例示的な実施形態の概略図を示す。コグニティブ・システム１００は、コンピュータ・ネットワーク１０２に接続された１つ又は複数のコンピューティング・デバイス１０４（１つ又は複数のプロセッサ及び１つ又は複数のメモリ、並びに、潜在的に、バス、ストレージ・デバイス、通信インターフェースなどを含む当技術分野において一般的に知られている他の任意のコンピューティング・デバイス要素を含む）上に実装される。コンピュータ・ネットワーク１０２は、１又は複数の有線データ通信リンクもしくは無線データ通信リンク又はその両方を介して互いに、及び他のデバイスもしくはコンポーネントと通信する複数のコンピューティング・デバイス１０４を含み、各通信リンクは、有線、ルータ、スイッチ、送信機、受信機などのうちの１つ又は複数を含む。コグニティブ・システム１００の他の実施形態は、本明細書に示されるもの以外のコンポーネント、システム、サブシステム、もしくはデバイス、又はそれらの組み合わせと共に使用してもよい。コンピュータ・ネットワーク１０２は、種々の実施形態におけるローカル・ネットワーク接続及びリモート接続を含むので、コグニティブ・システム１００は、ローカル、及び例えばインターネットなどのグローバルを含む任意のサイズの環境で動作することができる。コグニティブ・システム１００は、標準顧客トランザクション・データ１０６（すなわち、標準顧客トランザクション行動）をシミュレートできるトランザクション・データ・シミュレータ１１０を実装するように構成される。トランザクション・データ・シミュレータ１１０は、標準顧客トランザクション・データ１０６に基づいて、シミュレートされた顧客トランザクション・データ１０８の大規模なセットを生成することができるので、シミュレートされた顧客トランザクション・データ１０８は実際の顧客トランザクション・データのように見える。次に、シミュレートされた顧客トランザクション・データ１０８を、ランダムに選択された人工顧客プロファイル１１２と組み合わせて、シミュレートされた顧客についての完全なシミュレートされた顧客データ１１４を得る。

実施形態において、標準顧客トランザクション・データ１０６は、教師なしクラスタ化手法を通じて得られる。１又は複数の銀行によって、大量の顧客トランザクション・データを含む生の顧客データが提供され、教師なしクラスタ化手法を通じて、生の顧客データから、銀行顧客の異なる特性を表す小グループの大規模なセットがクラスタ化又はグループ化される。各小グループは、類似した特性を有する顧客からのトランザクション・データを含む。例えば、グループＡはニューヨークで特許法に携わる独身の弁護士である顧客を表し、グループＢはニューヨークで商法に携わる既婚の弁護士である顧客を表す。

図２は、トランザクション・データ・シミュレータ１１０の１つの例示的な実施形態の概略図を示す。トランザクション・データ・シミュレータ１１０は、強化学習技術を利用して、金融トランザクション・データをシミュレートする。トランザクション・データ・シミュレータ１１０は、インテリジェント・エージェント２０２と、環境２０４とを含む。インテリジェント・エージェント２０２は、類似したトランザクション特性を有する「顧客」のグループを表す標準トランザクション行動２２０（すなわち、ゴール２２０）をランダムに選択し、標準トランザクション行動を、ランダムに選択された人工顧客プロファイル１１２と関連付ける。インテリジェント・エージェント２０２は、各反復において、アクション２１２を取る。本実施形態では、各反復において取られるアクション２１２は、１日に複数のトランザクションを行うことを含む。各トランザクションは、トランザクション・タイプ（例えば、自動決済機関（Automated Clearing House、ＡＣＨ）送金、小切手支払い、電信送金、現金自動預払機（Automated Teller Machine、ＡＴＭ）引出し、販売時点管理（Point of Sale、ＰＯＳ）支払いなど）、トランザクション金額、トランザクション時間、トランザクション場所、トランザクション媒体（例えば、現金、クレジットカード、デビットカード、ＰａｙＰａｌ（登録商標）、当座預金口座など）、トランザクションに関連するセカンド・パーティ（例えば、電信送金支払いを受け取る人）などを含む情報を有する。環境２０４は、アクション２１２を入力として受け取り、環境２０４からリワード（reward）２１４（又はフィードバック）及び状態２１６を出力として返す。リワード２１４は、アクション２１２の成功又は失敗を測定するフィードバックである。本実施形態では、環境２０４は、アクション２１２をゴール２２０（例えば、標準トランザクション行動）と比較する。アクション２１２が所定の閾値を超えてゴール２２０から逸脱する場合、インテリジェント・エージェント２０２はペナルティを課され、一方、アクション２１２が所定の閾値の範囲内でゴール２２０から逸脱する（すなわち、アクション２１２がゴール２２０に類似している）場合、インテリジェント・エージェント２０２にリワードが与えられる。アクション２１２が有効に評価されるので、インテリジェント・エージェント２０２は、リワード２１４に基づいて次のアクション２１２を改善することができる。本実施形態では、環境２０４は、インテリジェント・エージェント２０２によって取られた全ての古いアクションのセットである、すなわち、環境２０４は、全ての古いシミュレートされたトランザクションのセットである。インテリジェント・エージェント２０２は、環境２０４を観察し、古いトランザクションに関する情報、例えば、１日、１週間、１ヶ月、又は１年以内に行われたトランザクションの数、各トランザクション金額、勘定残高、各トランザクション・タイプなどを取得する。ポリシー・エンジン２０６は、観察に基づいてポリシーを調整することができるので、インテリジェント・エージェント２０２は、次の反復においてより良いアクション２１２を取ることができる。

インテリジェント・エージェント２０２は、状態２１６及びリワード２１４に基づいてポリシーを調整するように構成されたポリシー・エンジン２０６をさらに含む。ポリシーは、状態２１６及びリワード２１４に基づいて次のアクション２１２を決定するために、インテリジェント・エージェント２０２が利用する戦略である。ポリシーは、インテリジェント・エージェント２０２によって取られる次のアクション２１２に対してより大きいリワード２１４を得ることを目的として、調整される。ポリシーは、特定の日にトランザクションが実行されるかどうか、１日当たりのトランザクションの数、トランザクション金額、トランザクション・タイプ、トランザクション・パーティなどを決定するために使用できる異なるポリシー確率又は意思決定確率のセットを含む。強化学習モデルにおいて、イベントの結果はランダムであり、乱数発生器（ＲＮＧ）は、ランダム性の真の源から乱数を生成するシステムである。一例として、１日当たりの最大トランザクション数は１００であり、最大トランザクション金額は＄１，５００万である。最初の反復において、ジンバブエに対するトランザクション金額が＄１，５００万であるランダム・トランザクションが、インテリジェント・エージェント２０２によって行われる。このアクション２１２は、ゴール２２０（例えば、メイン州で商法に携わる既婚の弁護士によって行われるトランザクション）から大きく逸脱しており、従って、このアクション２１２にペナルティが課される（すなわち、リワード２１４はネガティブである）。ポリシー・エンジン２０６は、ゴール２２０により近い異なるトランザクションを行うことができるように、ポリシーを調整するように訓練される。より多くの反復により、ゴール２２０に類似したトランザクションを、「より高性能の」ポリシー・エンジン２０６によってシミュレートすることができる。図３に示すように、顧客「Ｊａｍｅｓ Ｃｕｌｌｅｙ」からの複数のトランザクションがシミュレートされ、シミュレートされたトランザクション・データは、ゴール２２０に類似している。

図２に示されるように、実施形態において、１つのフィードバック・ループ（すなわち、１回の反復）は、アクションの１「日」（すなわち、シミュレートされたトランザクションの１「日」）に対応する。ある期間の間、例えば１０年間、インテリジェント・エージェント２０２は、リワード２１４を、可能な限り高く得るために、どのようにアクション２１２を取るかを学習する。反復の回数は、持続時間に対応する。例えば、１０年間は、１０×３６５＝３６５０回の反復に対応する。強化学習は、アクション２１２が生み出す結果によって、アクション２１２を評価する。それはゴール２２０重視であり、その目的は、そのゴール２２０を達成するようにインテリジェント・エージェント２０２を導く又はその目的関数を最大化するアクション２１２のシーケンスを学習することである。

実施形態において、トランザクション・データ・シミュレータ１１０は、アップデータ２１０をさらに含む。各反復において、新しいアクション２１２が実行される。各反復の後、アップデータ２１０は、環境２０４を、インテリジェント・エージェント２０２によって取られたアクション２１２で更新する。アップデータ２１０により、各反復において取られたアクション２１２が環境２０４に追加される。実施形態において、トランザクション・データ・シミュレータ１１０は、環境２０４をプルーニングするように構成されたプルーナ２０８をさらに含む。実施形態において、プルーナ２０８は、１つ又は複数の望ましくないアクションを除去することができる。例えば、最初の１０回の反復において取られたアクション２１２は、これらの１０回の反復がゴール２２０から大きく逸脱しており、類似度が所定の閾値を下回るため、除去される。別の実施形態では、トランザクション・データ・シミュレータ１１０の完全な再初期化を実行して、環境２０４内の全ての蓄積されたアクションを除去することができるので、インテリジェント・エージェント２０２は、最初からやり直すことができる。

図４は、トランザクション・データをシミュレートする方法４００を示す１つの例示的な実施形態のフローチャートを示す。ステップ４０２において、標準顧客トランザクション行動データがゴール２２０として提供される。標準顧客トランザクション行動は、類似したトランザクション特性を有する顧客のグループを表す。標準顧客トランザクション行動は、教師なしクラスタ化手法を通じて取得される。

ステップ４０４において、例えば１日を表す反復において、複数のトランザクション（例えば、１日当たり１００のトランザクション）を行うために、アクション２１２が取られる。各々のトランザクションは、トランザクション・タイプ、トランザクション金額、トランザクション時間、トランザクション場所、トランザクション媒体、トランザクションと関連付けられたセカンド・パーティなどを含む情報を有する。

ステップ４０６において、環境２０４は、ゴール２２０を、この反復において取られたアクション２１２と比較し、ゴール２２０との類似性又はそれからの逸脱に基づいてアクション２１２にリワードを与えるか又はペナルティを課す。アクション２１２がゴール２２０に類似しているかどうかを判断するための閾値又は規則は、事前に定義され、ユーザが好むゴール２２０にどれだけ類似しているかに基づいて調整することができる。

ステップ４０８において、環境２０４は、現在の反復におけるアクション２１２を含むように更新される。環境２０４は、全ての古いアクションのセットを含む。

ステップ４１０において、ポリシー・エンジン２０６は、リワード２１４（すなわち、リワード又はペナルティ）に基づいて、次のアクション２１２を決定するためにポリシーを調整する。ポリシーは、様々な要因、例えば、トランザクションの発生確率、１日当たりのトランザクションの数、トランザクション金額、トランザクション・タイプ、トランザクション・パーティ、各トランザクション・タイプのトランザクション頻度、各トランザクションについての上限及び下限、トランザクション媒体などに基づいて作成される。ポリシーは、各反復におけるリワード２１４に基づいて、これらの要因の重みを調整することができる。

ステップ４１２において、新しい反復において、インテリジェント・エージェント２０２は、新しいアクション２１２を取る。ステップ４０４乃至４１２は、アクション２１２がゴール２２０に十分に類似するまで、繰り返される（ステップ４１４）。例えば、ゴール２２０で指定されたトランザクション金額は、＄２０～＄３，０００である。アクション２１２における各トランザクションのトランザクション金額が＄２０～＄３，０００の範囲に入る場合、アクション２１２はゴール２２０に十分に類似している。ステップ４１６において、人工顧客プロファイル１１２を、ゴール２２０に十分に類似した複数のトランザクションを含む最後のアクション２１２と組み合わせ、シミュレートされた顧客データ１１４を生成する。

標準顧客トランザクション・データ１０６は、異常データ、例えば、不正トランザクションを含むことがあり、シミュレートされた顧客トランザクション・データ１０８は標準顧客トランザクション・データ１０６と類似しているので、シミュレートされた顧客トランザクション・データ１０８は、異常データを含むこともある。強化学習モデルでは、インテリジェント・エージェント２０２は、環境２０４をランダムに又は確率的に探索し、その経験からポリシーを学習し、探索時にポリシーを更新して、インテリジェント・エージェント２０２の行動（すなわち、トランザクション）を改善する。実施形態において、ランダム・アクションとは対照的に、行動パターン（例えば、貯金を使い果たすまでの「散財」、又は１つの大きな買物に対する「購入者の反省」の経験など）が、ＲＮＧベースの探索の際に発生することがある。異常行動パターンは、不正トランザクションを示すことがある。例えば、シミュレートされた顧客Ｊａｍｅｓ Ｃｕｌｌｅｙは、通常、＄１，０００を下回るトランザクション金額のトランザクションを行うことができる。突然、＄５，０００のトランザクション金額を有するトランザクションがあり、この疑わしいトランザクションは不正トランザクションである可能性がある（例えば、Ｊａｍｅｓ Ｃｕｌｌｅｙのクレジットカードが盗まれる、又はＪａｍｅｓ Ｃｕｌｌｅｙの当座預金口座がハッキングされるなど）。探索の際に自然に現れる行動パターンがある。例えば、図３に示すように、シミュレートされた顧客Ｊａｍｅｓ Ｃｕｌｌｅｙは、２０１４年１月１日に当座預金口座に＄１２，３８７．７１の金額を受け取った。Ｊａｍｅｓ Ｃｕｌｌｅｙは、当座預金口座と関連付けられたデビットカードを通じて、２０１４年１月３日に＄４７４．９８、１月３日に＄４，４００、２０１４年１月４日に＄３，８５６．５５を使った。翌月、Ｊａｍｅｓ Ｃｕｌｌｅｙは、２０１４年２月１日に当座預金口座に＄１２，３８７．７１の金額を受け取った。Ｊａｍｅｓ Ｃｕｌｌｅｙは、当座預金口座と関連付けられたデビットカードを通じて、２０１４年２月２日に＄４，５００、２月３日に＄１，７１３．９１を使い、２０１４年６月２７日に当座預金口座から＄８，１００を送金した。この例では、このシミュレートされた顧客Jａｍｅｓ Ｃｕｌｌｅｙは、節約及び支出（save-and-spend）傾向があり、時折、高額な買い物をすることがある。この行動パターンにより、このシミュレートされた顧客Ｊａｍｅｓ Ｃｕｌｌｅｙを、より実際的に行動させる（すなわち、ロボットではなく、実際の顧客のように見える）。ポリシー・エンジン２０６により、「行動の一貫性」（ある期間における行動の一貫性の度合い）、「一貫性の変動性」（行動変容の頻度）、「行動異常」（通常のトランザクション行動からの逸脱）などの複数のパラメータが生成され、それらは、各々のシミュレートされた顧客の異なる性格を示すために使用される。

トランザクション・データ・シミュレータ１１０は、抽象化された又は集約された実際の顧客データを使用して、実際の顧客を表す顧客データをシミュレートする。トランザクション・データ・シミュレータ１１０は、異常な顧客行動を検知するための予測モデルを訓練するために使用することができる、シミュレートされた顧客データ（すなわち、人工顧客プロファイルと組み合わせられた、シミュレートされたトランザクション・データ）の大規模なセットを提供することができる。さらに、シミュレートされた顧客データは、実際の生の顧客データ自体ではなく、実際の生の顧客データの抽象化データに基づいて生成されるため、任意の実際の顧客の実際のトランザクション・アクションを導出することはできない。さらに、トランザクション・データ・シミュレータ１１０は、反復の際、各々のシミュレートされた顧客についての行動パターンの生成を可能にする。

図５は、例示的な実施形態の態様が実装される例示的なデータ処理システム５００のブロック図である。データ処理システム５００は、本発明の例示的な実施形態のためのプロセスを実装するコンピュータ使用可能コード又は命令が配置される、サーバ又はクライアントなどのコンピュータの一例である。一実施形態では、図５は、本明細書に記載されるコグニティブ・システム１００を実装する、サーバなどのサーバ・コンピューティング・デバイスを表す。

示される例では、データ処理システム５００は、ノース・ブリッジ及びメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）５０１と、サウス・ブリッジ及び入力／出力（Ｉ／Ｏ）コントローラ・ハブ（ＳＢ／ＩＣＨ）５０２とを含むハブ・アーキテクチャを利用することができる。処理ユニット５０３、メイン・メモリ５０４、及びグラフィックス・プロセッサ５０５は、ＮＢ／ＭＣＨ５０１に接続することができる。グラフィックス・プロセッサ５０５は、例えばアクセラレーテッド・グラフィックス・ポート（ＡＧＰ）を通してＮＢ／ＭＣＨ５０１に接続することができる。

示される例では、ネットワーク・アダプタ５０６は、ＳＢ／ＩＣＨ５０２に接続される。音声アダプタ５０７、キーボード及びマウス・アダプタ５０８、モデム５０９、読み出し専用メモリ（ＲＯＭ）５１０、ハード・ディスク・ドライブ（ＨＤＤ）５１１、光学デバイス（例えばＣＤ又はＤＶＤ）５１２、ユニバーサル・シリアル・バス（ＵＳＢ）ポート及び他の通信ポート５１３、並びにＰＣＩ／ＰＣＩｅデバイス５１４は、バス・システム５１６を通してＳＢ／ＩＣＨ５０２に接続することができる。ＰＣＩ／ＰＣＩｅデバイス５１４は、イーサネット・アダプタ、アドイン・カード、及びノートブック・コンピュータ用のＰＣカードを含むことができる。ＲＯＭ５１０は、例えば、フラッシュ基本入力／出力システム（ＢＩＯＳ）とすることができる。ＨＤＤ５１１及び光学デバイス５１２は、インテグレーティド・ドライブ・エレクトロニクス（integrated drive electronics、ＩＤＥ）又はシリアル・アドバンスド・テクノロジ・アタッチメント（serial advanced technology attachment、ＳＡＴＡ）インターフェースを使用することができる。スーパーＩ／Ｏ（ＳＩＯ）デバイス５１５は、ＳＢ／ＩＣＨ５０２に接続することができる。

オペレーティング・システムは、処理ユニット５０３上で動作することができる。オペレーティング・システムは、データ処理システム５００内の種々のコンポーネントを調整し、制御することができる。クライアントとして、オペレーティング・システムは、市販のオペレーティング・システムとすることができる。Ｊａｖａ（商標）プログラミング・システムなどのオブジェクト指向プログラミング・システムは、オペレーティング・システムと共に動作し、データ処理システム５００上で実行しているオブジェクト指向プログラム又はアプリケーションからオペレーティング・システムを呼び出すことができる。サーバとして、データ処理システム５００は、Ａｄｖａｎｃｅｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｘｅｃｕｔｉｖｅオペレーティング・システム又はＬＩＮＵＸ（登録商標）オペレーティング・システムを実行する、ＩＢＭ（登録商標）ｅＳｅｒｖｅｒ（商標）Ｓｙｓｔｅｍ ｐとすることができる。ｅＳｅｒｖｅｒは、世界中の多数の管轄区域において登録されているインターナショナル・ビジネス・マシーンズ・コーポレーションの商標である。登録商標Ｌｉｎｕｘ（登録商標）は、世界規模での商標の所有者であるＬｉｎｕｓ Ｔｏｒｖａｌｄｓの専用実施権者であるＬｉｎｕｘ Ｆｏｕｎｄａｔｉｏｎからのサブライセンスに準拠して用いられる。データ処理システム５００は、処理ユニット５０３内の複数のプロセッサを含むことができる対称型マルチプロセッサ（ＳＭＰ）システムとすることができる。代替的に、シングル・プロセッサ・システムを利用することもできる。

オペレーティング・システム、オブジェクト指向プログラミング・システム、及びアプリケーション又はプログラムのための命令は、ＨＤＤ５１１などのストレージ・デバイス上に配置され、処理ユニット５０３による実行のために、メイン・メモリ５０４にロードされる。本明細書で説明されるコグニティブ・システム１００の実施形態のためのプロセスは、例えば、メイン・メモリ５０４、ＲＯＭ５１０などのメモリ内、又は１つ又は複数の周辺デバイス内に配置することができるコンピュータ使用可能プログラム・コードを用いて、処理ユニット５０３によって実行することができる。

バス・システム５１６は、１つ又は複数のバスから成ることができる。バス・システム５１６は、ファブリック又はアーキテクチャに取り付けられた異なるコンポーネントもしくはデバイス間のデータの転送を提供することができる任意のタイプの通信ファブリック又はアーキテクチャを用いて実装することができる。モデム５０９又はネットワーク・アダプタ５０６などの通信ユニットは、データを送受信するために使用することができる１つ又は複数のデバイスを含むことができる。

当業者であれば、図５に示されるハードウェアは、実装に応じて変化し得ることを理解するであろう。フラッシュ・メモリ、同等の不揮発性メモリ、又は光学ディスク・ドライブなどの、他の内部ハードウェア又は周辺デバイスを、示されるハードウェアに加えて、又はその代わりに使用することができる。

さらに、データ処理システム５００は、これらに限定されるものではないが、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話又は他の通信デバイス、携帯情報端末などを含む多数の異なるデータ処理システムのいずれかの形をとることもできる。本質的には、データ処理システム５００は、アーキテクチャ上の制限なしに、あらゆる既知の又は後で開発されるデータ処理システムとすることができる。

図のシステム及びプロセスは、限定ではない。同じ目的を達成するために、本明細書で説明される実施形態の原理に従って、他のシステム、プロセス及びメニューを導出することができる。本明細書で示され、説明される実施形態及び変形は、単なる説明のためのものであることを理解されたい。実施形態の範囲から逸脱することなく、当業者により、現在の設計への修正を実施することができる。本明細書で説明されるように、ハードウェア・コンポーネント、ソフトウェア・コンポーネント、及び／又はその組み合わせを用いて、種々のシステム、サブシステム、エージェント、マネージャ及びプロセスを実装することができる。

本発明は、システム、方法もしくはコンピュータ・プログラム製品又はそれらの組み合わせとすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読ストレージ媒体（単数又は複数）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカードもしくは命令がそこに記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、もしくは無線ネットワーク、又はそれらの組み合わせなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、又はそれらの組み合わせを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体内に格納する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｊａｖａ（商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせで記述されるソース・コード又はオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部がリモート・コンピュータ上で実行される場合もあり、又は完全にリモート・コンピュータもしくはサーバ上で実行される場合もある。最後のシナリオにおいて、リモート・コンピュータは、ＬＡＮもしくはＷＡＮを含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネットサービスプロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路を個別化することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図もしくはブロック図又はその両方を参照して説明される。フローチャート図もしくはブロック図又はその両方の各ブロック、並びにフローチャート図もしくはブロック図又はその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えて機械を製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャートもしくはブロック図又は両方の１つ又は複数のブロック内で指定された機能／動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置もしくは他のデバイス又はその組み合わせを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャートもしくはブロック図又は両方の１つ又は複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を含むようにすることもできる。

コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生産し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャートもしくはブロック図又は両方の１つ又は複数のブロックにおいて指定された機能／動作を実行するためのプロセスを提供するようにすることもできる。

図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図もしくはフローチャート図又はその両方の各ブロック、及びブロック図もしくはフローチャート図又はその両方におけるブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。

本説明及び特許請求の範囲は、例示的な実施形態の特定の特徴及び要素に関して、「１つ(a)」、「～の少なくとも１つ（at least one of）」及び「～の１つ又は複数の（one or more of）」という用語を用いることがある。これらの用語及び語句は、特定の例示的な実施形態に存在する特定の特徴又は要素が少なくとも１つ存在するが、１つより多くも存在し得ることを意図していることを理解されたい。つまり、これらの用語／語句は、説明又は特許請求の範囲を、単一の特徴／要素だけが存在する場合に限定すること、又は複数のこうした特徴／要素が存在することを要求することを意図するものではない。逆に、これらの用語／語句は、単に、少なくとも１つの特徴／要素を要求しているだけであり、そのような特徴／要素が複数あるという可能性は、説明及び特許請求の範囲の範囲内にある。

さらに、以下の説明では、例示的な実施形態の例示的な実装をさらに示し、かつ、例示的な実施形態の機構の理解を助けるために、例示的な実施形態の様々な要素について複数の様々な例を用いていることを理解されたい。これらの例は、非限定的であることを意図しており、例示的な実施形態の機構を実装するための様々な可能性を網羅するものではない。当業者には、本説明に照らして、本発明の趣旨及び範囲から逸脱することなく、本明細書に与えられる例に加えて、又はそれらの代わりに用いることができるこれらの様々な要素に対して、多くの他の代替的な実装があることが明らかであろう。

本発明は、例示的な実施形態を参照して説明されたが、それに限定されるものではない。当業者であれば、本発明の好ましい実施形態に対して多数の変更及び修正をなし得ること、及びそうした変更及び修正は、本発明の真の趣旨から逸脱することなく行い得ることを理解するであろう。従って、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内に入る全てのそうした同等の変形をカバーすると解釈することが意図される。

Claims (15)

1. プロセッサと、前記プロセッサにより実行され、前記プロセッサに、インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするための方法を実施させる命令を含むメモリとを備えるデータ処理システムにおけるコンピュータ実施方法であって、前記方法は、
   前記プロセッサにより、実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成することと、
   前記プロセッサにより、類似したトランザクション特性を有する実際の顧客のグループを表す標準顧客トランザクション・データをゴールとして提供することと、
   前記インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行うことと、
   前記環境により、前記アクションを前記ゴールと比較することと、
   前記環境により、前記ゴールに対する類似度に基づいて、前記アクションと関連付けられたフィードバックを提供することと、
   前記ポリシー・エンジンにより、前記フィードバックに基づいてポリシーを調整することと
   を含み、
   前記類似度が第１の所定の閾値より高くなるまで、前記アクションを行うステップから前記ポリシーを調整するステップまでを繰り返し、
   さらに、前記プロセッサにより、前記人工顧客プロファイルを前記最後のアクションと組み合わせて、シミュレートされた顧客データを形成すること
   を含む、方法。
2. 前記実際の顧客プロファイル・データは、顧客の住所、顧客の名前、連絡先情報、信用情報、及び収入情報のうちの１つ又は複数を含む、請求項１に記載の方法。
3. 各々のシミュレートされたトランザクションは、トランザクション・タイプ、トランザクション金額、トランザクション時間、トランザクション場所、トランザクション媒体、前記シミュレートされたトランザクションと関連付けられたセカンド・パーティを含む、請求項１に記載の方法。
4. 前記環境は、前記インテリジェント・エージェントによって行われた全ての前のアクションのセットを含む、請求項１に記載の方法。
5. 前記プロセッサにより、第２の所定の閾値より低い前記類似度を有する複数の前のアクションを除去することをさらに含む、請求項４に記載の方法。
6. 前記プロセッサにより、教師なしクラスタ化手法を通じて生の顧客トランザクション・データから前記標準顧客トランザクション・データを取得することをさらに含む、請求項１に記載の方法。
7. 前記フィードバックは、リワード又はペナルティである、請求項１に記載の方法。
8. インテリジェント・エージェント、ポリシー・エンジン、及び環境を含む強化学習モデルを用いて顧客データをシミュレートするためのシステムであって、前記システムは、
   実際の顧客プロファイル・データのセットからランダムに選択された情報を組み合わせることによって、人工顧客プロファイルを生成し、
   類似したトランザクション特性を有する顧客のグループを表す標準顧客トランザクション・データをゴールとして提供し、
   前記インテリジェント・エージェントにより、複数のシミュレートされたトランザクションを含むアクションを行い、
   前記環境により、前記アクションを前記ゴールと比較し、
   前記環境により、前記ゴールに対する類似度に基づいて、前記アクションと関連付けられたフィードバックを提供し、
   前記ポリシー・エンジンにより、前記フィードバックに基づいてポリシーを調整するように構成され、
   前記類似度が第１の所定の閾値より高くなるまで、前記アクションを行うステップから前記ポリシーを調整するステップまでを繰り返し、
   さらに、前記人工顧客プロファイルを前記最後のアクションと組み合わせて、シミュレートされた顧客データを形成するように構成されたプロセッサを含む、システム。
9. 前記実際の顧客プロファイル・データは、顧客の住所、顧客の名前、連絡先情報、信用情報、及び収入情報のうちの１つ又は複数を含む、請求項８に記載のシステム。
10. 前記環境は、前記インテリジェント・エージェントによって行われた全ての前のアクションのセットを含む、請求項８又は請求項９のいずれかに記載のシステム。
11. 前記ポリシーを調整するステップの前に、前記プロセッサは、前記アクションを前記環境に追加するようにさらに構成される、請求項１０に記載のシステム。
12. 前記プロセッサは、第２の所定の閾値より低い前記類似度を有する複数の前のアクションを除去するようにさらに構成される、請求項１０又は請求項１１のいずれかに記載のシステム。
13. 前記フィードバックは、リワード又はペナルティである、請求項８から請求項１２までのいずれかに記載のシステム。
14. トランザクション・データをシミュレートするためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、
    処理回路により可読であり、請求項１から請求項７までのいずれかに記載の方法を実行するための、前記処理回路により実行される命令を格納するコンピュータ可読ストレージ媒体を含む、コンピュータ・プログラム製品。
15. コンピュータ可読媒体上に格納され、デジタル・コンピュータの前記内部メモリにロード可能なコンピュータ・プログラムであって、前記プログラムがコンピュータ上で実行されるとき、請求項１から請求項７までのいずれかの方法を実行するためのソフトウェア・コード部分を含む、コンピュータ・プログラム。

Images