JP2022534721A - データトラフィックを処理及び分配する予測モデリング及び分析 - Google Patents

Abstract

リアルタイム環境用の機械学習モデルを生成及び配備するシステム及び方法である。ユーザー選択された係数及びトレーニングデータがグラフィカルユーザーインターフェイスを介して受け取られている。受け取られたデータに基づいて第１機械学習モデルを生成するべく、第１機械学習アルゴリズムが起動されている。第１モデルによる予測精度が試験され、且つ、第１モデルの予測の精度が閾値未満であるという判定が実施されている。このような判定に応答して、特定の基準が評価されている。基準が充足されているという判定に応答して、受け取られたデータに基づいて第２機械学習モデルを生成するべく第２機械学習アルゴリズムが起動されている。到来データに基づいてリアルタイム予測を実施するべく、このモデルが第１モデルの代わりに配備されている。【選択図】図１

Description

本発明は、通信管理の分野に関し、且つ、更に詳しくは、予測モデリング及び分析を介して選択された宛先に対するデータトラフィックの処理及びポスティングに関する。

例えば、ビジネスリードなどのデータトラフィックの処理は、しばしば、特定の製品又はサービスに関心を持ちうる顧客を識別するステップと、このような消費者に関する情報を製品又はサービスの潜在的な供給者（以下においては、「サービスプロバイダ」又は「供給者」）に提供するステップと、を伴っている。特定の製品又はサービスに対する関心を表明した消費者に関する情報は、「リード」と呼称されうる。

オンラインリードを収集する標準的な方法は、ウェブサイト上において消費者にフォームに記入してもらうことによるものである。フォームは、顧客に関する情報及び消費者が所望している製品又はサービスに関する情報を提供するべく、消費者によって使用されている。リード分配システムは、消費者によって提供された情報を分析することができると共に、リードをポスティングするための１つ又は複数のサービスプロバイダを選択することができる。例えば、ローンを求めている消費者は、ローン申し込みウェブサイトのローン要求フォームに記入することができる。その結果、ローン要求フォーム内において提供された情報は、１つ又は複数の銀行又はその他の金融機関に、その機関に対するリードとして送信することができる。

従って、所望されているのは、リアルタイム環境においてリードの成功の尤度を演算するシステム及び方法であり、この場合に、リードトラフィックは、このような演算に基づいて、最適な結果を生成するものと予測されるサービスプロバイダに導かれている。

この「背景技術」の節において開示されている以上の情報は、本発明の背景の理解の改善を目的としたものに過ぎず、且つ、従って、これは、当業者に既知である従来技術を形成してはいない情報をも含みうる。

本開示の実施形態は、リアルタイム環境用の機械学習モデルを生成及び配備する方法を対象としている。プロセッサは、グラフィカルユーザーインターフェイスを介してユーザー選択された係数及びトレーニングデータを受け取り、且つ、受け取られた係数及びトレーニングデータに基づいて第１機械学習モデルを生成するべく第１機械学習アルゴリズムを起動している。プロセッサは、第１機械学習モデルによる予測の精度を試験し、且つ、第１機械学習モデルの予測の精度が閾値未満であると判定している。予測の精度が閾値未満であるという判定に応答して、プロセッサは、特定の基準を評価している。特定の基準が充足されていることに応答して、受け取られた係数及びトレーニングデータに基づいて第２機械学習モデルを生成するべく第２機械学習アルゴリズムが起動されている。到来データに基づいてリアルタイム予測を実施するべく、第２機械学習モデルが第１機械学習モデルの代わりに配備されている。一実施形態において、到来データは、複数のソースから受け取られており、且つ、第２機械学習モデルは、複数のソースの特定のソースからの到来データと関連する成功の尤度を予測するべく起動されている。特定のソースからの到来データは、成功の尤度の判定に応答して宛先に送信されている。

一実施形態によれば、宛先は、複数の宛先から選択されており、且つ、方法は、複数の宛先用の値を算出するステップと、算出された値に基づいて複数の宛先を動的にランク付けするステップと、ランク付けに基づいて宛先を選択するステップと、を更に含む。

一実施形態によれば、値のそれぞれは、複数の宛先のそれぞれに送信されている特定のソースからの到来信号から結果的に得られる成功の尤度の予測に基づいて算出されている。

一実施形態によれば、信号は、到来データの送信に応答して宛先から受け取られている。信号の受け取りに応答して、複数の宛先の第２の宛先がランク付けに基づいて識別され、且つ、到来データが第２宛先に送信されている。

一実施形態によれば、第１機械学習モデルは、第１リンク関数と関連する一般化線形モデル（ＧＬＭ）である。

一実施形態によれば、第２機械学習モデルは、主成分回帰又はベイズＧＬＭの少なくとも１つである。

一実施形態によれば、基準は、トレーニングデータのサイズであり、この場合に、基準は、トレーニングデータのサイズが閾値未満であるという判定に応答して充足されている。

一実施形態によれば、成功の尤度は、到来データを宛先に販売する尤度を含む。

一実施形態によれば、複数のソースの第２のソースからの到来データと関連する成功の尤度を予測するべく、第１機械学習モデルが起動されている。成功の尤度が閾値量未満であるという判定が実施されている。成功の尤度が閾値量未満であるという判定に応答して、第２ソースからの到来データがフィルタリングによって除去されている。

一実施形態によれば、第２ソースからの到来データは、フィルタリングによる除去に応答して宛先への送信が抑制されている。

また、本開示の実施形態は、リアルタイム環境用の機械学習モデルを生成及び配備するシステムをも対象としている。システムは、プロセッサと、メモリと、を有し、メモリは、プロセッサによって実行された際に、プロセッサが、グラフィカルユーザーインターフェイスを介して、ユーザー選択された係数及びトレーニングデータを受け取り、受け取られた係数及びトレーニングデータに基づいて第１機械学習モデルを生成するべく第１機械学習アルゴリズムを起動し、第１機械学習モデルによる予測の精度を試験し、第１機械学習モデルの予測の精度が閾値未満であると判定し、予測の精度が閾値未満であるという判定に応答して、特定の基準を評価し、特定の基準が充足されていることに応答して、受け取られた係数及びトレーニングデータに基づいて第２機械学習モデルを生成するべく第２機械学習アルゴリズムを起動し、到来データに基づいてリアルタイム予測を実施するべく第１機械学習モデルの代わりに第２機械学習モデルを配備し、複数のソースから到来データを受け取り、複数のソースの特定のソースからの到来データと関連する成功の尤度を予測するべく第２機械学習モデルを起動し、且つ、成功の尤度の判定に応答して特定のソースからの到来データを宛先に送信するようにする命令を保存している。

本開示の実施形態のこれらの且つその他の特徴、態様、及び利点については、以下の詳細な説明、添付の請求項、及び添付の図面との関係において参照された際に更に十分に理解することができよう。当然のことながら、本発明の実際の範囲は、添付の請求項によって定義されている。

本実施形態の非限定的な且つすべてを網羅してはいない実施形態が以下の図を参照して記述されているが、この場合に、同一の参照符号は、そうではない旨が規定されていない限り、様々な図の全体を通じて同一の部分を参照している。

例示用の一実施形態によるリードトラフィックを処理及び分配するシステムである。 例示用の一実施形態によるリードに関するリアルタイム予測を実施するためのモデルを構築するべくモデル構築モジュールによって利用されているプロセスのフロー図である。 例示用の一実施形態による例示用の応答変数の概念的なレイアウト図である。 例示用の一実施形態による特定のリンク関数を選択するグラフィカルユーザーインターフェイスである。 例示用の一実施形態による統計言語Ｒを使用した受信動作特性（ＲＯＣ）グラフである。 例示用の一実施形態による例示用のスコア分布グラフである。 例示用の一実施形態による、管理者が、ポスティングされることになるリードの最小及び最大スコアを選択することを許容している例示用のグラフィカルユーザーインターフェイスである。 例示用の一実施形態によるモデル構築アプリケーションによって提供されるグラフィカルユーザーインターフェイスの例である。 例示用の一実施形態によるモデル構築アプリケーションによって提供されるグラフィカルユーザーインターフェイスの例である。 例示用の一実施形態による到来リードについて実施されるリアルタイム予測に基づいて供給者にリードをポスティングするべく採点／ランク付けモジュールによって利用されているプロセスのフロー図である。

以下の詳細な説明においては、本発明の特定の例示用の実施形態が、例示を目的としてのみ、図示及び記述されている。当業者は、本発明は、多くの異なる形態において実施されうると共に、本明細書において記述されている実施形態に限定されるものとして解釈されてはならないことを認識するであろう。それぞれの例示用の実施形態における特徴又は態様の記述は、通常、その他の例示用の実施形態におけるその他の類似の特徴又は態様についても利用可能であるものと見なすことを要する。同一の参照符号は、本明細書の全体を通じて同一の要素を表記している。

リード処理システムは、所与の時点においてサービスプロバイダにポスティング（送信）されるべき、数千でない場合に、数百のリードを識別することができる。ポスティングする際に、リード処理システムは、通常、サービスプロバイダによって受け入れられる（即ち、サービスプロバイダに販売又は変換される）それぞれのリードごとに支払を受け取っている。最適な結果を生成すると予測されているエンティティにリードを選択及びポスティングすることが望ましい。最適な結果は、例えば、リード処理システムの利益を極大化するリードの販売であってよい。

最適な結果を有するリードのポスティングは、リード処理システムのみならず、エンドユーザー及びサービスプロバイダにも利益を供与する。エンドユーザーとの関連において、ユーザーは、リードを受け入れ且つ処理することを所望しているサービスプロバイダに対するマッチングを見出すべく待機していることから、エンドユーザー用のリードがサービスプロバイダによって早期に受け入れられれば受け入れられるほど、エンドユーザーによる拡張を必要とする演算リソースが少なくなる。

サービスプロバイダとの関連においては、このようなプロバイダは、しばしば、リードが受け入れられない場合にも、自身にポスティングされたリードのそれぞれを処理する必要がある。サービスプロバイダは、リードを受け入れる又は受け入れないためのその独自のアルゴリズムを有することができる。リードの処理は、一般に、資金の観点においてのみならず、リードの処理に利用することを要する演算リソースの観点においても費用を所要する。例えば、ローンに関係するリードを処理する金融機関には、必然的に料金が発生する場合があり、且つ、更には、ローンを要求しているエンドユーザーの背景チェック（例えば、信用度チェック）を実施するべく演算パワー及び電気通信リソースの利用を要する場合もある。

一般的に、本発明の実施形態は、リアルタイムでターゲットパラメータ（例えば、変換、販売、デフォルト、など）の成功の尤度を演算するための予測モデリングの利用を対象としている。リードが（仮にそうである場合にも）ポスティングされるべきかどうかに関する決定を成功の確率に基づいてリアルタイムで実施することができる。一実施形態において、リードは、販売及び予想利益の最高の確率を提供している供給者に対してサービスするべくポスティングされている。

本発明の実施形態は、リアルタイム環境において予測分析を供給するための従来技術における欠点に対処している。様々なモデリング方式を適用するための時間の自由度が存在しているオフラインデータの分析に基づいたレポートの供給とは異なり、リアルタイム環境においては、通常、決定を下すために一秒未満しか存在していない。一実施形態において、この問題は、ターゲット変数に関する予測を提供する機械学習モデルとして一般化線形モデル（ＧＬＭ）を使用することにより、対処されている。一般的に、ＧＬＭは、応答変数が非正常であるエラー分布を有するケースにおいて線形モデルの使用を可能にしている。ＧＬＭは、線形モデルが「リンク関数」を介して応答変数に関係付けられることを許容することにより、且つ、それぞれの計測の変動の大きさがその予測値の関数となることを許容することにより、線形回帰を一般化している。

別の欠点は、小さなデータセットにおいてトレーニングされた機械学習モデルの低い予測パワーと関連している。従来の機会学習方式は、しばしば、トレーニングデータが小さい際の十分な予測パワーの実現において困難を有している。一実施形態において、この問題は、次のサンプルを演算するべく先の仮定を内蔵しているベイズ方法を利用することにより、対処されている。

図１は、例示用の一実施形態によるリードトラフィックを処理及び分配するシステムである。システムは、データ通信ネットワーク１６上において消費者装置１２ａ～１２ｃ（集合的に１２）を介して様々な消費者に結合された且つ供給者装置１４ａ～１４ｃ（集合的に１４）を介して様々な供給者に結合されたリード処理サーバ１０を含む。データ通信ネットワークは、例えば、インターネットなどの当技術分野において従来から存在している任意のプライベート又はパブリックワイドエリアネットワークであってよい。

リード処理サーバ１０は、参加している消費者又は供給者に様々なサービスを提供するべく１つ又は複数のソフトウェアモジュールを含む。このようなソフトウェアモジュールは、モデル構築モジュール１０ａ、予測モジュール１０ｂ、及び採点／ランク付けモジュール１０ｃを含むことができる。１つ又は複数のモジュール１０ａ～１０ｃが別個の機能ユニットになるものと仮定されているが、当業者は、モジュールの機能は、本発明の概念の精神及び範囲を逸脱することなしに、単一のモジュールとして組み合わせられてもよく又は統合されてもよく、或いは、更なるサブモジュールに更にサブ分割されてもよいことを認識するであろう。

一実施形態によれば、消費者及び／又は供給者装置１２、１４は、電話接続、衛星接続、ケーブル接続、高周波通信、又は当技術分野において既知の任意の有線又は無線データ通信メカニズムを使用してデータ通信ネットワーク１６に接続することができる。これを目的として、装置１２、１４は、パーソナルコンピュータ（ＰＣ）、ラップトップ、スマートフォン、又は当技術分野において既知の任意の消費者電子装置の形態を有することができる。

一実施形態によれば、モデル構築モジュール１０ａは、異なるターゲットパラメータ用の回帰モデルを構築するように構成されている。一実施形態において、モデル構築モジュール１０ａは、回帰モデルを構築するべく従来の一般化線形モデル（ＧＬＭ）又はそのベイズ版を使用している。例示用のターゲットパラメータは、リードが特定のサービスプロバイダに受け入れられる又は販売される尤度を予測するべく使用される「販売」パラメータであってよい。また、当然のことながら、例えば、変換、デフォルト、及び／又はこれらに類似したものなどのその他のターゲットパラメータを予測することもできる。一実施形態において、モデル構築モジュール１０ａは、ターゲットパラメータの確率を解釈するべく頻度論的統計及びベイズ法の両方を利用するように構成されている。

一実施形態によれば、予測モジュール１０ｂは、消費者装置１２から受け取られたリードデータに基づいて予測を実施するべく構築されたモデルの１つ又は複数を起動するように構成されている。この観点において、予測モデル１０ｂは、リードデータを受け取り、モデルに入力されるべく特徴を抽出し、且つ、抽出された特徴に基づいて予測を実行している。抽出された特徴は、モデルの応答変数に対応するものであってよい。モデルによって出力される予測は、特定のターゲットパラメータ（例えば、サービス供給者に対する販売）に関係する成功の尤度であってよい。一実施形態において、予測は、適切な供給者にリードをポスティングするべく採点／ランク付けモジュール１０ｃに提供されている。

一実施形態において、採点／ランク付けモジュール１０ｃは、予測モジュール１０ｂから予測を受け取り、且つ、リードを供給者装置１４にポスティングする前にリードをフィルタリングしている。フィルタリングは、リードに割り当てられたスコアに基づいて実行することができる。一実施形態において、スコアは、変位値に基づいて確率をインターバル（例えば、１０インターバル）に分割することにより、割り当てられている。それぞれのインターバルには、スコアが割り当てられている。一実施形態において、採点／ランク付けモジュール１０ｃは、特定のスコア（例えば、確率分布における下部３０％を反映している１のスコア）と関連するリードをフィルタリングによって除去している。フィルタリングによって除去されたリードは、いずれの供給者装置にもポスティングされなくてよい。

一実施形態において、採点／ランク付けモジュール１０ｃは、フィルタリングによって除去されなかったリードがポスティングされるべき様々なサービスプロバイダのチャネルのランク付けを動的に判定するように構成されている。チャネルの動的なランク付けは、動的なピングツリー（ｐｉｎｇ ｔｒｅｅ）と呼称されうる。供給者チャネルのランク付けが静的である従来のシステムとは異なり、本発明の実施形態は、最適な結果を生成するものと予想される特定のリード用のチャネルを選択するべく、リアルタイムでランク付けを算出している。最適な結果は、特定のリードを特定の供給者チャネルに送信することによって導出されると予想される最適な利益でありうるであろう。

図２は、例示用の一実施形態によるリードに関するリアルタイム予測を実施するためのモデルを構築するべくモデル構築モジュール１０ａによって利用されているプロセスのフロー図である。プロセスのステップのシーケンスは、固定されてはおらず、且つ、当業者によって認識されるように、任意の望ましいシーケンスに変更されうることを理解されたい。

動作２０において、モジュール１０ａは、モデルの構築に使用されるべきデータを識別し、且つ、データを試験データとトレーニングデータに分離している。一実施形態においては、データの８０％がトレーニングのために使用されており、且つ、データの２０％が試験のために使用されているが、その他の割合も可能である。

モデルは、選択されたリンク関数により、従来のＧＬＭを使用して生成することができる。この観点において、動作２２において、モデル構築モジュール１０ａは、様々なリンク関数のそれぞれごとに異なるモデルを構築している。リンク関数は、例えば、Ｌｏｇｉｔリンク、Ｐｒｏｂｉｔリンク、及びＣａｕｃｈｉｔリンク、並びに／或いはＣｌｏｇｌｏｇリンクであってよい。

モデルの構築は、モデルについて選択された応答変数の係数値を判定するステップを含む。図３Ａの例において示されているように、貸し手によるローン申し込みリードの受け入れを予測するべく使用されうる応答変数は、要求されているローンの金額（the amount of the loan requested）、要求者が自身の住所において生活している長さ（length the requester has lived at his address）、要求者の住居が賃貸か又は持ち家か（whether the requester rents or owns）、並びに、これらに類似したものを含みうる。図３Ｂの例は、Ｐｒｏｂｉｔリンク関数の使用を想定しており、この場合に、成功の確率は、次式によって定義され、

この場合に、ｐ_ｉは、販売の確率であり、Ｘ_ｉβは、係数×変数の合計である。

動作２４において、構築されたモデルのそれぞれが、動作２０において取り置きされた試験データによって試験されている。

動作２６において、モデル構築モジュール１０ａは、最も高精度の予測を結果的にもたらすリンク関数を有するモデルを選択している。予測の精度の判定は、例えば、偽陽性レートに対する真陽性レートをチェックするステップと、スコアの分布を分析するステップと、を伴いうる。精度をチェックするべく、統計言語Ｒを使用した受信動作特性（ＲＯＣ）グラフ（ＲＯＣＲ曲線）を生成することができる。図４は、例示用のＲＯＣＲ曲線である。例えば、確率の下部３０％内における販売を極小化する際に、リードの下部３０％（即ち、成功の確率の下部３０％を有するリード）が５％超の実際の販売を含んでいる場合には、モデルは、無視され、且つ、生成（ｐｒｏｄｕｃｔｉｏｎ）のために検討されない。一実施形態において、実際の販売レートは、トラフィックの３０％、５０％、などを除去することにより、販売又は任意のその他のターゲットパラメータに対する最小限の影響を有するべく極小化されている。

動作２８において、試験されたリンク関数に基づいて実現されうる最高の精度が、設定された閾値を充足しているかどうかに関する判定が実施されている。答えが「はい」である場合には、選択されたモデルが動作３０において配備されている。この観点において、モデルは、開発者モード（ｄｅｖｅｌｏｐｅｒ ｍｏｄｅ）において配備されてもよく、この場合に、試験の第２状態が現実世界データに基づいて実行されている。この観点において、開発者モードにおいて稼働するモデルは、生成モード（ｐｒｏｄｕｃｔｉｏｎ ｍｏｄｅ）にある別のモデルと同時に稼働し、且つ、両方のモデルは、現実世界データに基づいて予測を出力している。一実施形態において、生成モードにおいて稼働しているモデルの予測の精度は、開発者モードにおいて稼働しているモデルに照らして比較されている。開発者モードにおいて稼働しているモデルが、生成モードにおけるモデルよりも良好に稼働している場合には、開発者モードにおいて稼働しているモデルが、生成モードにおいて使用されるべくアップグレードされている。

試験されたリンク関数に基づいて実現されうる最高精度が、設定された閾値を充足していない場合には、動作３２において、従来のＧＬＭ方法の代わりに、その他の機械学習アルゴリズムが起動されうるかどうかに関する判定が実施されている。一実施形態において、このようなその他のアルゴリズムは、主成分回帰、ベイズＧＬＭ、及び／又はこれらに類似したものであってよい。

一実施形態において、ベイズＧＬＭは、特定の基準が充足されている場合に、その他の機械学習アルゴリズムとして起動されている。このような基準は、例えば、トレーニングデータのサイズ、リードがポスティングされるべきサービスプロバイダの重要性、及び／又はこれらに類似したものであってよい。一実施形態において、ベイズＧＬＭは、例えば、５００未満のデータサイズ及び５％未満の成功レートなどのように、トレーニングデータのサイズが十分に小さい場合に起動されている。ベイズＧＬＭがモデルを構築するべく使用されている際には、事後ＭＡＰ（Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ）及び事後分布を取得するべく、事前パラメータ（例えば、平均年齢、平均収入、標準偏差、など）を使用することができる。

動作３４において、選択されたその他の機械学習アルゴリズムが、モデルを構築するべく起動されており、且つ、モデルが、動作３６において試験データによって試験されている。次いで、プロセスは、予測の精度を判定するべく動作２８に戻っている。

一実施形態において、配備されるべきモデルを選択するステップは、推奨エンジン（図示されてはいない）を介して自動的に実行されている。この観点において、推奨エンジンは、様々なリンク関数のそれぞれに基づいてモデルを構築するように構成することができる。また、推奨エンジンは、試験データを使用してリンク関数のそれぞれのものの予測パワーを自動的に試験するように構成することもできる。この結果、最も正確な予測を有するリンク関数を推奨リンク関数として出力することができる。

いくつかの実施形態において、推奨エンジンは、試験されたリンク関数によって実施された予測が閾値の充足に失敗した場合にはその他の機械学習アルゴリズムを利用するように構成することができる。この観点において、推奨エンジンは、特定の基準（例えば、試験サンプルサイズ）がその他の機械学習アルゴリズムを起動するべく充足されているかどうかを判定するように構成することができる。基準が充足されている場合には、使用するべきモデルを構築及び配備するべく、代替アルゴリズムが起動されている。

モデルが配備されたら、到来リードの成功の尤度に関する予測を実施するべく、且つ、１つ又は複数の供給者装置に最高の成功の尤度を有するリードをポスティングするべく、モデルを使用することができる。一実施形態において、採点／ランク付けモジュール１０ｃは、予測モジュール１０ｂから確率を受け取り、且つ、受け取られた確率を、例えば、１～１０の範囲などの、特定の範囲内のスコアにスケーリングしている。一例において、最低の確率を有するリードは、１のスコアに割り当てられており、且つ、最高の確率を有するリードは、１０のスコアに割り当てられている。スケーリングは、例えば、変位値を通じて実行されてもよく、この場合に、確率の下部３０％には、１のスコアが割り当てられており、これには、表１において列挙されているカットオフが後続している。

一実施形態において、採点／ランク付けモジュール１０ｃは、供給者に特定のスコアの範囲をポスティングすることにより、トラフィック品質を制御している。上述の例において、採点／ランク付けモジュール１０ｃが、スコア１～３をフィルタリングによって除去するように且つスコア４～１０を有するトラフィックのみをポスティングするように構成されている場合には、低い確率と関連するトラフィックの６０％がフィルタリングによって除去されている。

図５は、実行された実験に基づいた例示用のスコア分布グラフであり、この場合に、購入者の合計数は３３８であり、ポスティングされたリードの合計は３７４８であり、販売された合計は７６であり、且つ、受け入れレートは２．０２％である。ライン５００は、販売されなかったリードを描いている。実験は、１のスコアを有するリードを除去することにより、１１２４個のリードが除去され、これにより、なんらの販売の損失をも伴うことなしに、２６２４である新しいポスティングされたリードの合計（トラフィックの約３０％）が残されていることを示している。販売された合計は、依然として、７６に留まっているが、受け入れレートが２．９％に増大している。スコア１及び２のリードが除去された際には、５０％だけ少ないトラフィックがポスティングされることになり、且つ、受け入れレートは、７４／１８７２＝３．９５％に増大することになろう。

図６は、一実施形態による、管理者が、ポスティングされることになるリードスコア（LEAD SCORE）の最小（MIN）及び最大（MAX）を選択することを許容している例示用のグラフィカルユーザーインターフェイスである。この範囲の外側のスコアを有するリードは、フィルタリングによって除去することができる。

例示用のリードは、応答変数に対応する以下の抽出された特徴を有することができる。
要求：＄５００
状態：ＴＸ
住所における長さ：３６か月
電子メール：．ｃｏｍで終了する
不動産を所有
連絡時刻：朝
年齢：４８
月収：＄２５００
支払：２週間ごと
振込制度を有する
最低価格：＄２
我々は、この人物に７日間において１１回にわたって遭遇している。
午前８時において適用されている
円形変数ｓｉｎＨＲ ０．８６６０２５
円形変数ｃｏｍＨＲ－０．５

上述のリードにＰｒｏｂｉｔリンク関数を適用することにより、以下のものが出力される。

０．０９１２の確率を出力するべく－無限大から－１．３３３１３３までｅｘｐ（－０．５＊ｘ＾２）を積分する。

０．０９１２の確率は、カットオフである０．０８３６９を上回っていることから、リードには、９のスコアが割り当てられる。

一実施形態において、予測モジュール１０ｂの機能は、モデルをローカルに構築及びトレーニングするべく供給者装置１４（或いは、任意のその他の第三者装置）上にインストール／ダウンロードされうるモデル構築アプリケーションを介して提供されている。アプリケーションは、統計ソフトウェアＲ及びＳｈｉｎｙを通じてコーディングすることができる。

一実施形態において、予測モジュール１０ｂは、高度な統計及びプログラミングスキルを有していない人々がリアルタイム環境においてモデルを構築及び適用することを許容するグラフィカルユーザーインターフェイスを提供している。この観点において、ユーザーは、トレーニング／試験のために使用されるべくデータをアップロードし、説明及び応答変数を選択し、且つ、バックグラウンドＲコードがモデルを生成している。

図７Ａ～図７Ｂは、例示用の一実施形態によるモデル構築アプリケーションによって提供されるグラフィカルユーザーインターフェイスの例である。一実施形態において、グラフィカルユーザーインターフェイスは、ユーザーが、モデルを構築するべく使用するためのリンク関数（例えば、Ｌｏｇｉｔリンク関数）を選択すること（Select Link）を許容している。次いで、ユーザーは、独立／説明変数（例えば、リード状態）並びに１つ又は複数の応答変数を選択すること（Select Independent Var or Select other Var）ができる。選択された変数に基づいてモデルを構築するための選択に応答して、予測モジュール１０ｂは、アップロードされたトレーニングデータに基づいてモデルを構築するべく進捗することができる。次いで、選択された特徴の係数値６００をグラフィカルユーザーインターフェイスを介して出力することができる。また、係数の重要性６０２も、グラフィカルユーザーインターフェイスによって出力されている。重要性情報は、ユーザーが設定された閾値よりも低い重要性を有する係数を除去することを許容している。従って、グラフィカルユーザーインターフェイスを介して、ユーザーは、構築されるべきモデルの種類を判定するために、様々な係数／変数を操作することができる。

一実施形態において、ユーザーは、モデルを構築するために使用するべく異なるリンク関数を選択することができる。次いで、様々なリンク関数を使用して構築されたモデルの予測精度を試験することができる。一実施形態において、アップロードされた試験データを使用してモデルを自動的に構築及び試験するべく、利用可能なリンク関数を使用することができると共に、最高精度を有するモデルを推奨することができる。

図８は、例示用の一実施形態による到来リードについて実施されたリアルタイム予測に基づいて供給者にリードをポスティングするべく採点／ランク付けモジュール１０ｃによって利用されているプロセスのフロー図である。記述されているフローは、単一のリードを処理するためのものであるが、当業者であれば理解するように、同一の処理は、特定の時点において、数千でない場合にも、数百のその他のリードに対してサーバによって同時に実行されている。

動作１００において、採点／ランク付けモジュール１０ｃは、リードとの関係における成功の尤度を算出するべく予測モジュール１０ｂを起動している。

動作１０２において、採点／ランク付けモジュール１０ｃは、リードがポスティングされうる候補チャネルを識別している。特定の供給者は、リードがポスティングされうる複数のチャネルを有することができると共に、それぞれのチャネルは、例えば、チャネルを介して利用可能であるサービスのタイプに基づいて定義することができる。チャネルは、「ピングツリー」と呼称されうる。例えば、供給者が貸し手である場合に、貸し手は、住宅ローン用のチャネルＡ、ビジネスローン用のチャネルＢ、カーローン用のチャネルＣ、及びこれらに類似したものを有することができる。リードに関する情報及び様々な貸し手の様々なチャネルに関する情報を比較することにより、適用可能なチャネルが識別されている。

動作１０４において、採点／ランク付けモジュール１０ｃは、リアルタイムで候補チャネルのそれぞれごとに予想利益を算出するべく進捗している。リード（Ａ）の予想利益（Ｅ）の式は、次式のとおりであってよい。
Ｅ（Ａ）＝Ｐ（Ｓａｌｅ Ａ）＊Ｍｏｎｅｙ Ｍａｄｅ＋（１－Ｐ（Ｓａｌｅ Ａ））＊（－Ｍｏｎｅｙ Ｓｐｅｎｔ）

別の実施形態において、予想利益は、次式のように演算することができる。
Ｅ（Ａ）＝（Ｍｏｎｅｙ Ｍａｄｅ－Ｍｏｎｅｙ Ｓｐｅｎｔ）＊Ｐ（Ｓａｌｅ Ａ）

上述の例において、予測モジュール１０ｂによって演算される成功の確率は、供給者に対するリードＡの販売の確率である。

動作１０６において、候補チャネルが、算出された予想利益に従って動的にランク付けされている。

動作１０８において、リードは、最高の予想利益を有するチャネルにポスティングされている。

動作１１０において、リードが、ポスティングされたチャネルによって受け入れられたかどうかに関する判定が実施されている。これに関連し、チャネルは、リードの受け入れを通知する第１メッセージ又は信号又はリードの拒絶を通知する第２メッセージ又は信号を送信することができる。

チャネルがリードの受け入れを通知する第１メッセージ又は信号を送信した場合に、プロセスは終了する。但し、チャネルがリードの拒絶を通知する第２メッセージ又は信号を送信した場合には、動作１１２において、次の最高のランク付けされたチャネルが識別されている。

動作１１４における判定に従って、次の最高のランク付けされたチャネルの予想利益が０超である場合には、リードは、動作１１６において識別されたチャネルにポスティングされる。次いで、プロセスは、リードが、ポスティングされたチャネルによって受け入れられるかどうかを判定するべく、動作１１０に戻っている。

当業者であれば理解するように、リードをチャネルに動的にランク付け及びポスティングすることの技術的利益は、例えば、貸し手がリダイレクトレートを増大させるべく、貸し手のランディングページにリダイレクトされる前の消費者の待ち時間を短縮することを含む。静的なピングツリー内における相対的に長い「フォール」（即ち、１つのチャネルから次のチャネルに移動すること）に起因して、リダイレクトに結び付くことにならない消費者によるウェブブラウザの閉鎖及びセッションの終了が発生する可能性が相対的に高い。一実施形態においては、動的なピングツリーにより、フォールが短く、これにより、相対的に高いリダイレクトレートに結び付いている。

本明細書において記述されている様々なサーバは、それぞれ、コンピュータプログラム命令を実行する且つ本明細書において記述されている様々な機能を実行するその他のシステムコンポーネントとやり取りする１つ又は複数のプロセッサを含むことができる。コンピュータプログラム命令は、例えば、ランダムアクセスメモリ（ＲＡＭ）などの標準的なメモリ装置を使用して実装されたメモリ内において保存されている。また、コンピュータプログラム命令は、例えば、ＣＤ－ＲＯＭ、フラッシュドライブ、又はこれらに類似したものなどのその他の一時的ではないコンピュータ可読媒体内において保存することもできる。また、サーバのそれぞれのものの機能は、特定のサーバによって提供されるものとして記述されているが、当業者は、様々なサーバの機能は、本発明の実施形態の範囲を逸脱することなしに、単一サーバ内に組み合わせられてもよく又は統合されてもよく、或いは、特定のサーバの機能は、１つ又は複数のその他のサーバに跨って分散されてもよいことを認識するであろう。

当業者によって理解されるように、様々な実施形態によるシステム及び方法は、リードトラフィックの処理及び分配に対する技術的改善を提供している。リードを受け入れることにならないサービスプロバイダにリードをポスティングするために、例えば、演算リソース、電気通信帯域幅、及びこれらに類似したものを浪費する代わりに、成功を結果的にもたらすことになるサービスプロバイダを予測及び選択するべく、機械学習が利用されている。また、現時点の文脈が付与された場合に最良であると考えられるコンピュータモデルの生成に起因して、技術的改善も提供されている。コンピュータモデルが正確であるほど、成功の予測も相対的に正確になる。

上述の図中の様々なサーバ、コントローラ、エンジン、及び／又はモジュール（集合的にサーバと呼称されている）のそれぞれは、コンピュータプログラミング命令を実行する且つ本明細書において記述されている様々な機能を実行するべくその他のシステムコンポーネントとやり取りする１つ又は複数の演算装置内の１つ又は複数のプロセッサ上において稼働しているプロセス又はスレッドであってよい。コンピュータプログラム命令は、例えば、ランダムアクセスメモリ（ＲＡＭ）などの標準的なメモリ装置を使用して演算装置内において実装されうるメモリ内において保存されている。また、コンピュータプログラム命令は、例えば、ＣＤ－ＲＯＭ、フラッシュドライブ、又はこれらに類似したものなどのその他の一時的ではないコンピュータ可読媒体内において保存することもできる。また、当業者は、演算装置がファームウェア（例えば、用途固有の集積回路）を介して、ハードウェアを介して、或いは、ソフトウェア、ファームウェア、及びハードウェアの組合せを介して実装されうることを認識するであろう。また、当業者は、本発明の例示用の実施形態の範囲を逸脱することなしに、様々な演算装置の機能は、単一演算装置内に組み合わせられてもよく又は統合されてもよく、或いは、特定の演算装置の機能は、１つ又は複数のその他の演算装置に跨って分散されてもよいことを認識するであろう。サーバは、ソフトウェアモジュールであってもよく、これも単にモジュールと呼称されうる。コンタクトセンタ内のモジュールの組は、サーバ及びその他のモジュールを含むことができる。

以上、本発明は、特定の例示用の実施形態との関連において記述されているが、本発明は、開示されている実施形態に限定されるものではなく、且つ、逆に、添付の請求項及びその均等物の精神及び範囲に含まれる様々な変更及び等価な構成をカバーするべく意図されていることを理解されたい。

本明細書において使用されている用語は、特定の実施形態を記述することを目的としており、且つ、発明概念の限定を意図したものではない。本明細書において使用されている「１つの（ａ）」及び「１つの（ａｎ）」という単数形は、文脈がそうではない旨を明瞭に通知していない限り、複数形をも同様に含むべく意図されている。「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｃｏｍｐｒｉｓｅｓ）」、及び／又は「有する（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、本明細書において使用されている際には、記述されている特徴、完全体、ステップ、動作、要素、及び／又はコンポーネントの存在を規定しているが、１つ又は複数のその他の特徴、完全体、ステップ、動作、要素、コンポーネント、及び／又はこれらのグループの存在又は追加を排除してはいないことを更に理解されたい。本明細書において使用されている「及び／又は（ａｎｄ／ｏｒ）」という用語は、関連する列挙された項目の１つ又は複数のものの任意の且つすべての組合せを含む。「～の少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」などの表現は、要素のリストに先行している際には、要素のリスト全体を修飾しており、且つ、リストの個々の要素を修飾しではいない。更には、「～してもよい（ｍａｙ）」の使用は、発明概念の実施形態を記述している際には、「発明概念の１つ又は複数の実施形態」を意味している。また、「例示を目的とした（ｅｘｅｍｐｌａｒｙ）」という用語は、例又は例示を意味するべく意図されている。

本明細書において使用されている「使用（ｕｓｅ）」、「使用（ｕｓｉｎｇ）」、及び「使用された（ｕｓｅｄ）」という用語は、それぞれ、「利用（ｕｔｉｌｉｚｅ）」、「利用（ｕｔｉｌｉｚｉｎｇ）」、及び「利用された（ｕｔｉｌｉｚｅｄ）」という用語の同義語と見なすことができる。

以上、本発明は、その例示用の実施形態を具体的に参照して詳細に記述されているが、本明細書において記述されている実施形態は、すべてを網羅することを意図したものではなく、或いは、開示されている形態そのままに本発明の範囲を限定することを意図したものでもない。本発明が属する技術分野及び技術における当業者は、添付の請求項及びその均等物において記述されている本発明の原理、精神、及び範囲を有意に逸脱することなしに、組立及び動作の記述されている構造及び方法における変更及び変形が実施されうることを理解するであろう。

Claims (20)

1. リアルタイム環境用の機械学習モデルを生成及び配備する方法であって、
   グラフィカルユーザーインターフェイスを介して、ユーザー選択された係数及びトレーニングデータを受け取るステップと、
   前記受け取られた係数及びトレーニングデータに基づいて第１機械学習モデルを生成する第１機械学習アルゴリズムを起動するステップと、
   前記第１機械学習モデルによる予測の精度を試験するステップと、
   前記第１機械学習モデルの前記予測の精度が閾値未満であると判定するステップと、
   前記予測の精度が前記閾値未満であるという判定に応答して、特定の基準を評価するステップと、
   前記特定の基準が充足されていることに応答して、前記受け取られた係数及びトレーニングデータに基づいて第２機械学習モデルを生成する第２機械学習アルゴリズムを起動するステップと、
   到来データに基づいてリアルタイム予測を実施するべく前記第１機械学習モデルの代わりに前記第２機械学習モデルを配備するステップと、
   複数のソースから前記到来データを受け取るステップと、
   前記複数のソースの特定のソースからの前記到来データと関連する成功の尤度を予測するべく前記第２機械学習モデルを起動するステップと、
   前記成功の尤度の判定に応答して、前記特定のソースからの前記到来データを宛先に送信するステップと、
   を有する方法。
2. 前記宛先は、複数の宛先から選択されており、前記方法は、
   前記複数の宛先用の値を算出するステップと、
   前記算出された値に基づいて前記複数の宛先を動的にランク付けするステップと、
   前記ランク付けに基づいて前記宛先を選択するステップと、
   を更に有する請求項１に記載の方法。
3. 前記値のそれぞれは、前記複数の宛先のそれぞれに送信されている前記特定のソースからの前記到来データから結果的に得られる成功の尤度の予測に基づいて算出されている請求項２に記載の方法。
4. 前記到来データの送信に応答して前記宛先から信号を受け取るステップと、
   前記信号の受け取りに応答して、前記ランク付けに基づいて前記複数の宛先の第２の宛先を識別するステップと、
   前記到来データを前記第２の宛先に送信するステップと、
   を更に有する請求項２に記載の方法。
5. 前記第１機械学習モデルは、第１リンク関数と関連する一般化線形モデル（ＧＬＭ）である請求項１に記載の方法。
6. 前記第２機械学習モデルは、主成分回帰又はベイズＧＬＭの少なくとも１つである請求項５に記載の方法。
7. 前記基準は、前記トレーニングデータのサイズであり、前記基準は、前記トレーニングデータの前記サイズが閾値サイズ未満であるという判定に応答して充足されている請求項６に記載の方法。
8. 前記成功の尤度は、前記宛先に前記到来データを販売する尤度を含む請求項１に記載の方法。
9. 前記複数のソースの第２ソースからの前記到来データと関連する成功の尤度を予測するべく第２機械学習モデルを起動するステップと、
   前記成功の尤度が閾値量未満であると判定するステップと、
   前記成功の尤度が前記閾値未満であるという判定に応答して、前記第２ソースから前記到来データをフィルタリングによって除去するステップと、
   を更に有する請求項１に記載の方法。
10. 前記フィルタリングによる除去に応答して、前記第２ソースからの前記到来データを前記宛先に送信することを抑制するステップを更に有する請求項９に記載の方法。
11. リアルタイム環境用の機械学習モデルを生成及び配備するシステムであって、
    プロセッサと、
    メモリと、
    を有し、前記メモリは、前記プロセッサによって実行された際に、前記プロセッサが、
    グラフィカルユーザーインターフェイスを介して、ユーザー選択された係数及びトレーニングデータを受け取り、
    前記受け取られた係数及びトレーニングデータに基づいて第１機械学習モデルを生成するべく第１機械学習アルゴリズムを起動し、
    前記第１機械学習モデルによる予測の精度を試験し、
    前記第１機械学習モデルの前記予測の精度が閾値未満であると判定し、
    前記予測の精度が前記閾値未満であるという判定に応答して、特定の基準を評価し、
    前記特定の基準が充足されることに応答して、前記受け取られた係数及びトレーニングデータに基づいて第２機械学習モデルを生成するべく第２機械学習アルゴリズムを起動し、
    到来データに基づいてリアルタイム予測を実施するべく前記第１機械学習モデルの代わりに前記第２機械学習モデルを配備し、
    複数のソースから前記到来データを受け取り、
    前記複数のソースの特定のソースからの前記到来データと関連する成功の尤度を予測するべく前記第２機械学習モデルを起動し、且つ、
    前記成功の尤度の判定に応答して、前記特定のソースからの前記到来データを宛先に送信する、
    ようにする命令を保存している、システム。
12. 前記宛先は、複数の宛先から選択されており、前記命令は、前記プロセッサが、
    前記複数の宛先用の値を算出し、
    前記算出された値に基づいて前記複数の宛先を動的にランク付けし、且つ、
    前記ランク付けに基づいて前記宛先を選択する、
    ように更にしている請求項１に記載のシステム。
13. 前記値のそれぞれは、前記複数の宛先のそれぞれに送信されている前記特定のソースからの前記到来データから結果的に得られる成功の尤度の予測に基づいて算出されている請求項１２に記載のシステム。
14. 前記命令は、前記プロセッサが、
    前記到来データの送信に応答して、前記宛先から信号を受け取り、
    前記信号の受け取りに応答して、前記ランク付けに基づいて前記複数の宛先の第２の宛先を識別し、且つ、
    前記第２の宛先に前記到来データを送信する、
    ように更にしている請求項１２に記載のシステム。
15. 前記第１機械学習モデルは、第１リンク関数と関連する一般化線形モデル（ＧＬＭ）である請求項１１に記載のシステム。
16. 前記第２機械学習モデルは、主成分回帰又はベイズＧＬＭの少なくとも１つである請求項１５に記載のシステム。
17. 前記基準は、前記トレーニングデータのサイズであり、前記基準は、前記トレーニングデータの前記サイズが閾値未満であるという判定に応答して充足されている請求項１６に記載のシステム。
18. 前記成功の尤度は、前記宛先に前記到来データを販売する尤度を含む請求項１１に記載のシステム。
19. 前記命令は、前記プロセッサが、
    前記複数のソースの第２ソースからの前記到来データと関連する成功の尤度を予測するべく前記第２機械学習モデルを起動し、
    前記成功の尤度が閾値量未満であると判定し、且つ、
    前記成功の尤度が前記閾値量未満であるという判定に応答して、前記第２ソースから前記到来データをフィルタリングによって除去する、
    ように更にしている請求項１１に記載のシステム。
20. 前記命令は、前記プロセッサが、前記フィルタリングによる除去に応答して、前記宛先に前記第２ソースからの前記到来データを送信することを抑制するように更にしている請求項１９に記載のシステム。

Images