JP2016517550A - ブロードバンドネットワークのチャーン予測 - Google Patents

ブロードバンドネットワークのチャーン予測 Download PDF

Info

Publication number
JP2016517550A
JP2016517550A JP2015558114A JP2015558114A JP2016517550A JP 2016517550 A JP2016517550 A JP 2016517550A JP 2015558114 A JP2015558114 A JP 2015558114A JP 2015558114 A JP2015558114 A JP 2015558114A JP 2016517550 A JP2016517550 A JP 2016517550A
Authority
JP
Japan
Prior art keywords
data
churn
subscriber line
variables
broadband connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015558114A
Other languages
English (en)
Inventor
ジョンフン ノ、
ジョンフン ノ、
ウユル リー、
ウユル リー、
マニッシュ アムデ、
マニッシュ アムデ、
ジョージ ジニス、
ジョージ ジニス、
ヨンシク キム、
ヨンシク キム、
Original Assignee
アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド
アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド, アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド filed Critical アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド
Publication of JP2016517550A publication Critical patent/JP2016517550A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5064Customer relationship management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/64Hybrid switching systems
    • H04L12/6418Hybrid transport
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

チャーン予測器は顧客がチャーンしそうであるか否かを予測する。チャーン予測器は、複数の顧客から収集されたデータに基づいて、ビルドおよびトレーニングされる。データには、静的な構成データおよび動的な測定データを含み得る。チャーン予測器ビルダーは、収集されたデータに基づいて複数の顧客インスタンスを生成し、および、インスタンスを1つ以上のトレーニングサブセットに分離することに基づいて当該インスタンスを処理する。前記処理に基づいて、ビルダーはチャーン予測器を生成し、記憶する。チャーン予測器は顧客のデータにアクセスし、および、トレーニングデータを評価するために顧客インスタンスを生成することができる。チャーン予測器は前記顧客インスタンスを処理し、および、チャーン尤度スコアを生成する。チャーンタイプに基づいて、チャーン予測器システムは顧客に対する予防的アクションを生成することができる。

Description

(優先権の主張)
この出願は、「CHURN PREDICTION IN A BROADBAND NETWORK」という名称の2013年2月14日に提出された国際特許出願番号PCT/US2013/026236号の優先権を主張し、参照によりその全体を本明細書に援用する。
本発明の実施形態は一般にネットワーキングに関し、より詳細にはブロードバンドネットワークの顧客チャーン(churn)の予測に関する。
(著作権表示/許諾)
本特許出願書類の発明の一部は、著作権保護のもとにある資料を含む。著作権所有者は、米国特許商標庁による特許のファイルまたは記録であることが明らかである場合には、特許出願書類または特許発明のいずれによる複写に対しても異議を唱えないが、その他のものに対してはすべての著作権を留保する。著作権は、本明細書に記載される以下の図面にしたがって以下で説明されるすべてのデータだけではなく、以下で説明されるすべてのソフトウェアに対しも適用される。Copyright(著作権)2013、ASSIA、Inc.,、無断複写・複製・転載を禁ず。
チャーン、すなわちサービスの切断(顧客ターンオーバ(turnover)あるいはアトリッション(attrition)とも称する)は、DSL(デジタル加入者線)オペレーター等のブロードバンドサービスプロバイダーにとって重要な問題として続いている。当然、サービスプロバイダーおよびオペレーターはチャーンを低減させることを望んでいる。しかしながら、顧客がブロードバンドサービスを切断することを決定するには多くの理由がある。理由には、回線安定性、レート、技術サポートの質、活性化されたプロセスでの顧客の経験、競合者の申し出、あるいは、他の理由が挙げられる。チャーン履歴によって1つまたは少数のこれらの要因のあと知恵による相関を見ることは通常は実に簡単である。しかしながら、統計的な意味で、顧客のチャーンにどのようにさまざまな要因がシステム的に寄与しているかを見いだすことはこれまで難しかった。
ネットワークオペレーターは一般に大量の履歴データにアクセスすることができるが、他の顧客の将来の行動を予測するために、どのデータ使用をすべきか、またはデータをどのように解釈するべきかが必ずしも明確ではなかった。さらに、チャーナに対して特定の経験的なデータは利用可能であるが、切断する顧客は必ずしも彼らの去る理由(単数または複数)を示すわけではない。このように、膨大な量のデータが利用可能であるが、未だに顧客が不満足となる特定の理由がわからない。
以下の記載には、発明の実施形態の実装形態の一例として示される図説を含む図面の説明が含まれる。図面は1つの実施例として理解されるべきであり、制限することを意味するものではない。本明細書で使用される場合に、1つ以上の「実施形態」への言及は、発明の少なくとも1つの実装形態に含まれる特定の特徴、構造、あるいは特性を説明するものであると理解されるべきである。このように、本明細書に記載される「1つの実施形態では」あるいは「代替実施形態では」等の語句は、発明のさまざまな実施形態および実装形態を説明し、すべてが同一の実施形態を参照する必要はない。しかしながら、相互に排他的なものである必要はない。
顧客のチャーン尤度を評価するチャーン予測器を備えるシステムの実施形態のブロック図である。 チャーン予測器ビルダーの階層の実施形態のブロック図である。 チャーン予測器の階層の実施形態のブロック図である。 チャーン予測器をビルドするためのシステムの実施形態のブロック図である。 チャーン予測を生成するシステムの実施形態のブロック図である。 チャーン予測に使用されるデータ収集システムの実施形態のブロック図である。 チャーン予測器をビルドするために予測ウィンドウ内の顧客のチャーン予測を評価する実施形態のブロック図である。 チャーナおよび非チャーナサブセット情報に基づいてチャーン予測モデルを生成するためのシステムの実施形態のブロック図である。 チャーン予測器をビルドするためのプロセスの実施形態のフローチャートである。 チャーン予測器で顧客チャーンを予測するためのプロセスの実施形態のフローチャートである。
特定の詳細および実装形態の記載は、以下に説明される実施形態の一部または全てをあらわす図面の説明を含むばかりではなく、本明細書に記載される発明概念の他の可能性がある実施形態または実装形態を説明することも含む。
本明細書に記載されているように、チャーン予測器を訓練し、ビルドするために、システムは顧客チャーンに関連するデータのデータ収集を実行する。データは物理層ブロードバンド接続情報に関する情報を含むことができる。データには、測定データ等の動的データだけではなく、構成データ等の静的データを含み得る。データには、ブロードバンド接続に直接関連するデータ、接続に関するメタデータ、あるいは、何故顧客がブロードバンドサービスを切断しようとしたのかを特定するために使用できる他のデータを含み得る。データには、サービスプロバイダーの管理下の要因に直接関連するデータ(例えば、特定の回線の構成を含むネットワーク設定)ばかりではなく、サービスプロバイダーの管理下ではない要因に関連するデータ(例えば、気象または環境要因、経済、競合者の行動)を含み得る。データが付与されると、システムは、顧客チャーンの予測に役立つパターン(単数または複数)を持つモデル(単数または複数)をトレーニングできる。本明細書で使用される場合に、顧客チャーンとは顧客がサービスを終了することを意味し、および、顧客ターンオーバ、顧客アトリッション(attrition)、すなわちサービスの切断をも意味することができる。
チャーン予測器ビルダーは、収集されたデータに基づいて、複数の顧客インスタンスを生成し、および、インスタンスを処理する。1つの実施形態では、チャーン予測器は、複数のインスタンスを複数のトレーニングサブセットに分離することに基づいて複数のインスタンスを処理する。当該処理に基づいて、ビルダーはチャーン予測器を生成し、記憶する。チャーン予測器は、特定の顧客または顧客のグループのデータにアクセスし、および、訓練されたモデル(単数または複数)を評価するために顧客インスタンスを生成することによって、顧客がチャーンしそうであるか否かを予測する。チャーン予測器は顧客インスタンスを処理し、および、チャーン尤度スコアを生成する。チャーン尤度およびチャーンタイプに基づいて、チャーン予測器システムは、顧客に対して改善または予防的アクションを生成できる。
周知のシステムとは対照的に、1つの実施形態では、本明細書に記載のシステムは、ネットワーキングデバイスをモニタリングすることによって得られる物理データを使用する。当該データには高次元の入力データが含まれ、ここで当該入力データには、物理層動作パラメータおよび性能カウンターだけではなく、顧客が居住する同一の地域の競合するサービス、呼び出しデータ、ディスパッチデータ、および、サービスプロバイダーのテクニカルサポート等のサイド情報が含まれることが理解されるであろう。システムはマシン学習を使用してチャーン予測器をビルドし、それによってシステムは効率的に大量のデータを管理できる。
1つの実施形態では、チャーン予測は2つの分離アクティビティに分離される。第1のアクティビティはチャーン予測器をビルドすることである。チャーン予測器をビルドすることには少なくとも以下のコンポーネントが含まれる:データ収集、モデル(単数または複数)をトレーニングするための入力データを準備するデータ事前処理、および、トレーニングプロセスでマシン学習アルゴリズムを使用するモデルビルダー。第2のアクティビティはチャーン尤度予測を生成するために、訓練されたモデル(単数または複数)で顧客を評価することである。顧客評価には少なくとも以下のコンポーネントが含まれる:評価されるターゲット顧客(単数または複数)のためのデータを取得するデータ収集、データ事前処理、およびチャーン予測器を使用した予測。1つの実施形態では、顧客処理には、チャーンしそうである顧客のサブセットを選択する工程、および、当該サブセットの顧客に対する予防的アクションを生成する工程が含まれる。
図1は、顧客のチャーン尤度を評価するチャーン予測器を備えるシステムの実施形態のブロック図である。システム100は複数の顧客102を含み、それらはブロードバンドプロバイダー110の加入者線112の加入者であり、および、ネットワークを介してブロードバンドプロバイダー110に接続されている。システム100は、顧客およびプロバイダーのネットワークであると考えることができる。プロバイダー110は、例えばDSLまたはケーブル加入者線112のサービスプロバイダーであり得る。各顧客102は顧客構内のブロードバンドラインにアクセスすることができる。ブロードバンドサービスプロバイダーおよびブロードバンド接続プロバイダーは同一エンティティ、または、同一の企業エンティティの一部であり得ることが理解されるであろう。しかしながら、ラインにわたってブロードバンドサービスを提供するために、物理的ラインを提供および維持するエンティティ(すなわち、接続プロバイダー)は別のエンティティにリースおよび/またはライセンスすることも可能である。したがって、多くの場合にブロードバンドサービスプロバイダーおよびブロードバンド接続プロバイダーは同一であり得るが、それらは同一である必要はない。ブロードバンドサービスプロバイダーは顧客のチャーンを低減するように動機付けられ、および本明細書に記載されていることにしたがって、ブロードバンド接続プロバイダーから得られるデータを使用できる。本明細書で使用される場合に、ブロードバンドプロバイダー110は一方または両方のプロバイダーを指すことができる。
各加入者線112は、接続設定120に保存されることができる特定の構成パラメータにしたがって動作する。各加入者線112は、コスト、利用可能な帯域幅、位置、あるいは、他の情報に関連するパラメータを特定する物理的構成データを持つ。接続設定120は、接続情報ばかりではなく、年齢、性別、仕事/家庭、又は他の情報等のユーザまたは顧客102のプロファイルに関連する情報を記憶することができる。接続設定120は、月間データキャップ(cap)、使用履歴、または、他の情報等のラインの動作に関連する他の情報も記憶できる。
1つの実施形態では、いずれかの特定のブロードバンド接続の物理的特性に直接関連するものではないが、ブロードバンドに接続する顧客に関連するデータを提供する非接続データ122にプロバイダー110はアクセスする。当該データの例には、競争相手の申し出、気象データ、ディスパッチ、または他のデータが挙げられるがこれらに限定されるものではない。1つの実施形態では、チャーンの尤度を特定する目的で、ブロードバンド接続の物理的特性または物理的構成に直接関連しないすべてのデータはメタデータと見なされる。しかしながら、ブロードバンド接続の物理特性または物理的構成に直接関連しない少なくともいくつかのデータは、特定の顧客のためというよりも、通常はネットワーク全体の顧客のために収集されることが理解されるであろう。チャーンを評価するために生成される特定の顧客インスタンスに適用される場合には、当該データはより論理的にメタデータと見なすことができる。
プロバイダー110は、測定エンジン130によって記録される測定データ132をも記憶することができる。測定エンジン130は、ラインをモニタリングおよび/または診断するために、加入者線112と接続するいずれかの1つ以上のメカニズムを指す。測定エンジン130は、実際のラインの使用情報、動作帯域幅(接続設定120に記憶されている定格帯域幅によって異なる)、またはテスト結果等の診断情報を測定することができる。測定エンジン130によって収集された情報は、測定データ132として記憶される。測定データ132には、加入者線112に接続されている顧客構内の無線ネットワークルータの性能ばかりではなく、各加入者線112の接続の性能または動作に関するデータを含む。測定データの例には、エラー回数および顧客の呼び出し回数等の物理的測定値も含む。測定エンジン130は加入者線に接続されている無線ルータと通信し、および、情報を集めるメカニズムを含む。
1つの実施形態では、プロバイダー110はチャーン予測論理140を含み、これらはチャーン予測器ビルダー144およびチャーン予測器146を含むことができる。1つの実施形態では、チャーン予測140のすくなくとも1部はプロバイダー110から離れた場所に位置し、および、データを収集するためにプロバイダー110とのインターフェースを使用し、および、チャーン予測に関連するサービスを実行する。例えば、チャーン予測器146は、ブロードバンドプロバイダー110にモニタリングまたは他のサービスを提供するエンティティに存在することができる。チャーン予測器ビルダー144は、チャーン予測器146を生成するために接続設定120および/または測定データ132および/または非接続データ122に通常はアクセスする。チャーン予測器144は、接続設定120および/または測定データ132および/または非接続データ122に通常はアクセスし、ここで顧客102はプロバイダー110を介してブロードバンドサービスを切断する。チャーン予測器ビルダー144およびチャーン予測器146は必ずしも同一の位置に存在する必要はない。接続設定データ120および測定データ132は、ブロードバンド接続情報を特定するデータを示す。
1つの実施形態では、プロバイダー110はユーザインターフェースを備え、顧客102はそれを介して顧客の各加入者線112をモニタできる。1つの実施形態では、ユーザインターフェースによって、顧客は顧客の加入者線に関連する活動をモニタし、または、測定できる。測定エンジン130は、顧客によって開始された測定データとして、モニタリングデータまたは測定データを提供できる。1つの実施形態では、測定エンジン130は、顧客によって開始された、または、ユーザによって開始されたデータを測定データ132に記憶し、次にそれらはチャーン尤度分析でチャーン予測140によって使用され得る。
1つの実施形態では、いつ測定データを収集するべきか、どのようなデータを収集するべきか、および、データ収集に関連するいずれかの他のパラメータを示す管理エンジン(特に図示しない)に応答して、測定エンジン130は測定を実行する。例えば、変更させた設定によってライン性能がどのように影響されるかを決定するために、管理エンジン(あるいは他のエンジン)は、プロバイダーシステムに、1つ以上の加入者線ブロードバンド接続の1つ以上の物理的リンク設定を変更させることができる。したがって、測定データ132には、設定変更に応答して加入者線112がどのように実行するかを示すデータを含むことができる。当該データは、チャーン予測140のチャーン予測器146によるチャーン尤度分析の主な要因であり得る。
チャーン予測140は、顧客チャーンに対応するパターンを決定するために、記憶されたデータ120および/または測定データ132および非接続データ122を取得、または、アクセスする。チャーン予測140は、各構成設定、測定データパラメータ、または他の性能パラメータに対して複数の変数を割り当てることができる。全体として、当該データは、直接的または非直接的に顧客満足度を反映するメトリクス(metrics)と称することができる。チャーンを分析する場合の一般的な1つの想定は、満足した顧客は通常はチャーンしないということである。したがって、性能、ライン構成、顧客サービス、インストール/セットアップ、または他の要因に関連するメトリクスは、顧客の満足度レベルに直接的または間接的に影響を与える可能性がある。パターンを特定するために、チャーン予測140はさまざまなメトリクス(metrics)を評価するための変数を規定できる。
1つの実施形態では、チャーン予測140は、図3Aおよび図3Bを参照して以下により詳細に説明される1つ以上のチャーンモデル142を使用する。手短に言えば、各チャーンモデル142は収集されたデータから生成される単純または複雑なモデルである。1つの実施形態では、チャーン予測140は、多くの単純なチャーンモデル(モデルを構成するために使用される、論理の複雑性、および/または、未加工データ量を参照)を使用し、および、複数のモデルのそれぞれと顧客メトリクスとを比較する。チャーン予測140は、1モデル当たり、多くの未加工データに基づいて複雑なモデルを代わりに使用することもできる。
チャーン予測140、および/または、そのチャーンモデル142(複数のモデルが使用される実施形態)のいずれかは新しいデータに常に更新される。時間の経過に伴って、新しいデータは常に生成され、これはチャーナおよび非チャーナのパターンを特定するために関連があり得る。新しいデータが生成されると、既存のモデル(単数または複数)142は、モデルが生成されて以来の新しく取得されたデータを含むすべての利用可能なデータを使用して再構成され得る。1つの実施形態では、システム100はチャーン予測140のために既存のモデル(単数または複数)142を維持し、および、新しく取得されたデータを含む利用可能なすべてのデータに基づいて、新しいモデル(特に図示しない)をビルドする。したがって、以前のモデルは更新される代わりに引退させられ得る。1つの実施形態では、チャーン予測140は既存のモデル(単数または複数)142を維持し、および、新しく取得されたデータのみに基づいて新しいモデルを生成するチャーン予測器ビルダーから新しいモデル(単数または複数)を獲得する。当該実施形態では、モデルの数は明らかに増える。利用可能なすべてのモデルに基づいてチャーン尤度スコアまたはスコアを生成するチャーン予測器146によって、新しいモデルおよび古いモデルを含む利用可能なすべてのモデル142を使用して、顧客の評価が実施され得る。当該実装形態では、チャーン予測器146は新しいモデルからのスコアに重み付けをすることができ、または、ロジスティック回帰またはSVM(サポートベクターマシン)等のマシン学習アルゴリズムを使用して、最適な予測精度を生成するために、各モデルの重み付けを決定することができる。
図2Aは、チャーン予測器ビルダーの階層の実施形態のブロック図である。チャーン予測器ビルダー210は1つ以上のソース212からデータを取得する。ソース212は、顧客満足度または顧客チャーンに直接的または間接的に関連する、物理的ライン設定または構成データの両方、顧客プロファイル情報、測定データ、構成データに関するメタデータ、または、いずれかの他の情報またはデータのクラスを意味する。ビルダー210は、データベースのデータを記憶および維持し、そのデータをアクセスすることによってデータを得ることができる。ビルダー210は外部データ記憶装置のデータにアクセスすることができる。1つの実施形態では、ビルダー210は、ビルダー210の実行をトリガするエンジンの変数として、そこを通過するすべてのデータを受信する自己完結的なモジュールである。
データアナライザー220は、ソース(単数または複数)212から受信した未加工データを事前処理するためのビルダー210の1つ以上の分析構成要素である。未加工データには、接続またはラインのための動作データおよび性能データだけではなく、ユーザの苦情呼び出しデータ、ディスパッチ(技術者の訪問)データ、気象データ、競争相手の申し出、公開フォーラムでの顧客の苦情、近隣データ、地理データ、ユーザ装置データ(例えば、モデムタイプ、モデムバージョン、チップ供給者)および/または他のデータを含むことができる。したがって、未加工データはブロードバンド接続データが含まれ、および、さらに顧客チャーンを分析するために使用されるメタデータまたは他のデータがさらに含まれ得る。多くの異なる事前処理動作および/または演算が実行され得るし、図2Aに全てが図示されているわけではないことが理解されるであろう。1つの実施形態では、アナライザー220はセグメンター222を含み、未加工データを論理グループまたはデータセットにセグメント化または分離することができる。異なるセグメントは、地理によるグループ化集団、保有期間によるグループ化集団、サービスレベルによるグループ化集団、顧客タイプによるグループ化集団(例えば、消費者またはビジネス)、または他のタイプによるグループ化集団を含むことができる。セグメント化によって未加工データを、データ処理中に有効な比較ができる論理セットに体系化できる。1つの実施形態では、アナライザー220は未加工データから顧客インスタンスを生成するインスタンス生成器224を含む。各顧客インスタンスは多くの変数を含み、それぞれは各顧客チャーンに関するすくなくとも1つのメトリックを示す。
セグメント化の一例として、システムは2つのセグメント化空間を持ち:1つは地理的領域であり、および、もう1つは保有期間であると仮定する。特定の状態または領域の新しい顧客ラインを考えてみる。顧客ラインを示すために生成される顧客インスタンスは、新しい顧客のための保有期間セグメントに属すると共に、特定の状態または領域に基づいて地理セグメントに属することができる。したがって、顧客がチャーナであるか否かにかかわらず、同一顧客インスタンスが両方のセグメント化空間に存在することができる。単一のセグメント化空間が図示されていることが理解されるであろう。
1つの実施形態では、不明なデータ、極端なデータ、または、他の異常なデータ(例えば、他の顧客インスタンスと比較して統計的範囲の外側、または、利用可能な技術標準で定義される有効範囲の外側のデータ)に対して、インスタンス生成器224は顧客インスタンスにデフォルト値および/または最高値/最低値を設定する。1つの実施形態では、アナライザー220は、ソース212からの入力データを事前処理するための規則またはデータモデルまたはパラダイムを含む離散器226を備える。すなわち、入力データは多くの異なるタイプのデータを含むことができ、それはチャーンを予測するためにデータをより正確に使用するための割り当てられた値であり得る。1つの実施形態では、不明な特性または極端な特性を持つ入力データのために、離散器226はアナライザー220がゼロ値または他のデフォルト値を割り当てることを可能にする。
1つの実施形態では、アナライザー220は、顧客インスタンスをどのようにトレーニングセットに分割するかを決定するためのロジックを示すチャーン比生成器228を含む。顧客インスタンスはチャーナと非チャーナの比によってグループに分離される。通常は、比は非常に小さく(例えば、非チャーナとチャーナの比は4:1、または、より小さい)、それによってより正確な予測を提供することが観察されている。1つの実施形態では、1対1の比が使用される。1つの実施形態では、チャーナと非チャーナの比がしきい値よりも大きい場合には、チャーン比生成器226はデータを、チャーナと非チャーナの比を持つデータの複数のサブセットに分離する。データを分離することによって比を比較的小さい値に維持するので、予測精度を改善することができる。
図面に示されるように、1つの実施形態では、ビルダー210は、サブチャーン予測器の集合としてチャーン予測器を生成する。単純な場合には、単一のサブチャーン予測器がチャーン予測器である。他の実装形態では、セグメンター222によって生成された各セグメントが、分離された1つのサブチャーン予測器である。セグメンター222が未加工データをセグメント0からXに分離したと仮定する。各セグメントは1つ以上のモデルに細かくさらに分割される。セグメント0はモデル0−0からモデル0−Yを持つように図示されている。各モデルは、トレーニングデータセットを処理する異なるモデル結果であり得る。1つの実施形態では、トレーニングセットの個数は異なるセグメント間で異なり得る。したがって、セグメントXは、モデルX−0からモデルX−Zを持つように図示されている。X、Y、およびZは0以上の整数であることが理解されるであろう。1つの実施形態では、YはZに等しい。
異なるセグメントおよび当該セグメントの中のモデルは、データを処理するために使用される、トレーニングセットの未加工データの階層組織を示す。チャーン予測器出力230はビルダー210の出力を示し、チャーン予測器である。結果として得られるチャーン予測器は、チャーン予測器を生成するために使用されるトレーニングセットの未加工データの組織と同様に、階層化されていることが理解されるであろう。したがって、ビルダー210は1つ以上のモデルを持つ1つのセグメントによってチャーン予測器を生成でき、または、それぞれが1つ以上のモデルを持つ複数のセグメントによってチャーン予測器を生成できる。
図2Bは、チャーン予測器の階層の実施形態のブロック図である。チャーン予測器250は、図2Aのビルダー210によって生成されたチャーン予測器の一例である。チャーン予測器250は、それを生成するために使用されたトレーニングデータの階層にしたがう処理/予測階層を持つ。チャーン予測器250は、潜在的なチャーンを評価するために、1つ以上の顧客に対するデータを含む入力データ252を取得する。入力データ252は、いずれかのデータソース(単数または複数)212からのデータを含むことができる。
チャーン予測器250はデータアナライザー260を含む。ビルダー210のアナライザー220と同様に、アナライザー260は、評価のためにデータを論理グループに分離する。通常、アナライザー260は、アナライザー220と同様に同一の論理または規則にしたがってデータを整理する。1つの実施形態では、アナライザー260は、未加工データを論理グループまたはデータセットにセグメント化または分離することができるセグメンター262を含む。異なるセグメントは、地理によるグループ化集団、保有期間によるグループ化集団、サービスレベルによるグループ化集団、顧客タイプによるグループ化集団(例えば、消費者またはビジネス)、または他のタイプグループ化集団を含むことができる。セグメント化によって未加工データを、データ処理中に有効な比較ができる論理セットに体系化できる。チャーン予測器250によって評価されるべき各顧客に対する顧客インスタンスを生成するために、アナライザー260はインスタンス生成器264を含む。1つの実施形態では、アナライザー260は、入力データ252を事前処理するための規則またはデータモデルまたはパラダイムを含む離散器266を含む。すなわち、入力データ252は多くの異なるタイプのデータを含むことができ、それはチャーンを予測するためにデータのより正確な使用を提供するように割り当てられた値であり得る。1つの実施形態では、不明な特性または極端な特性を持つ入力データのために、離散器266はアナライザー260がゼロ値または他のデフォルト値を割り当てることを可能にする。
アナライザー260による事前処理の後に、1つ以上のサブチャーン予測器0からX(図2Aのセグメント0からXに対応する)で、各顧客インスタンスを評価することによって、チャーン予測器250は1つ以上の顧客を評価できる。各サブチャーン予測器は、顧客インスタンスに対してチャーン尤度を評価するために使用される1つ以上のモデルを備える。各サブチャーン予測器および各モデルは、顧客インスタンスの最終評価または採点のために、スコア出力270に集められるチャーン尤度スコアを生成できる。スコア出力270は、加算、平均化、または、いくつかの他の方法によって、スコアを組み合わせることができる。チャーン予測器250は予測を示す単一のスコアを出力することができ、若しくは、チャーン予測器の外部にあるエンジン、および/または、管理者によってさらに評価することができる一組のスコアを出力することができる。
図3Aは、チャーン予測器をビルドするためのシステムの実施形態のブロック図である。図1のプロバイダー110等のブロードバンドプロバイダーのブロードバンド接続にそれぞれが加入する顧客のグループ(ユーザまたは加入者とも称することができる)を示す顧客302をシステム300は含む。ネットワーク相互接続ハードウェアを含むいずれかのタイプのネットワークであり、および、公にアクセス可能なネットワークを含んでもよい、ネットワーク310を介して、顧客302はブロードバンドプロバイダーと接続する。サーバ320は、ブロードバンドプロバイダーのサーバを示す。また、サーバ320はネットワークを介してプロバイダーと接続でき、および、プロバイダーのインターフェースを使用する。
サーバ320は、少なくともプロセッサー(単数または複数)、メモリーデバイス、ネットワーキングハードウェア、およびインターフェース(ヒューマンインターフェースおよび/またはマシンインターフェース)ハードウェアを含むハードウェア資源上で実行される。ハードウェアの1つ以上のエレメントはハードウェア資源として共有できる。ハードウェアの1つ以上のエレメントは、特にサーバ320に割り当てられる専用の構成要素であり得る。
チャーン予測器をビルドするために、サーバ320は顧客満足度に関連するデータにアクセスしてデータ収集を実行する。ネットワークモニタリングツール322は、ネットワーク管理システムを介して、接続ラインおよび/またはWi−Fi(例えば、無線ネットワーク)データを収集する。当該システムは既知の技術である。当該データは、DSL履歴性能カウンターデータ、DSL動作データ、SELT(シングルエンドラインテスト)データ、スループットデータ、Wi−Fi性能データ、および/または、他のデータの1つ以上を含むことができる。一般に無線ネットワークは顧客が加入する独立したサービスではなく、顧客のブロードバンドサービスに接続される通信媒体であるので、Wi−Fi性能は加入者線接続と関連して得ることが理解されるであろう。したがって、Wi−Fiから収集されたデータは、ブロードバンドサービスのチャーンを予測するために使用することができる。データはデータ324に記憶され、異なるタイプのデータに分類されることができる。
1つの実施形態では、ブロードバンド接続のアップロードおよびダウンロードスループットを測定するツール等である、ウェブベースまたは携帯のラインテストツールによって顧客302はデータ収集を開始できる。データ324は、チャーン予測器を生成またはチャーン予測器で顧客を評価するために使用される、アクセスまたは取得されるデータを示し、そのデータは一時的に(例えば、揮発性メモリーに)または長期に(例えば、データベースまたは他の不揮発性記憶システムに)データが記憶され得る。データ324は、内部ソース(単数または複数)および/または外部ソース(単数または複数)から取得またはアクセスされ得る。データ324は、モニタリングツール322による測定データおよび/または非測定データを含み得る。非測定データには、公開ネットワーク(例えば、インターネット)からアクセス可能であるデータを含み得る。1つの実施形態では、データ324は、動作に対する要求(レート、安定性、待ち時間、または、他の要求)に関する好み等の顧客の選好データを含む。1つの実施形態では、データ324はチャーン予測の正確性を増す公に利用可能なデータを含み得る。当該公に利用可能なデータには、気象データ、オープンウェブ空間の顧客の苦情、または、他の公にアクセス可能なデータを含み得る。
1つの実施形態では、データ324は、サービス製品に対する要求、価格、サービス開始日、サービスアクティブ時間、顧客の苦情、サービスディスパッチ、または他のサービスデータ等の加入者サービスに関連する顧客データを含む。加入サービスに関連するデータには、顧客の装置データも含み得る。1つの実施形態では、データ324は近隣データ、地理データ、または、他のデータ等の他のデータセットを含む。
上述したように、1つの実施形態では、活性化ライン最適化エンジンまたは構成要素は加入者線の設定を変更し、および、顧客満足度に関連する性能または他のデータに対する変化をモニタする。ライン設定の当該活性化による変更は、収集の観点から活性化データの生成とも称することができる。上記で参照される収集され得るデータの他の態様では、いずれかの与えられた条件をモニタすることに役立つ。しかし、加入者線についてもっと知るために、すなわち、ラインの条件を改善するために、1つの実施形態では、自動化システム(例えば、自動化管理エンジン)が1つ以上の制御ラインパラメータまたは設定を変更することができる。結果として、当該ラインの追加の物理データが利用可能となる。制御パラメータの変化によってライン条件が影響されるので、顧客が加入サービスの改善または劣化に気づき、および、顧客サポートセンターに対する顧客からの呼び出しの発生が起こり、または、発生を食い止めることができるかもしれない。当該顧客の呼び出しデータは、収集され得る未加工データの一部である。当該データは、設定を変更する活性化データ生成プロセスによって生成され得る。当該データは、豊富なデータセットを提供することに貢献し得る。
サーバ320は、データ事前処理に関連する動作をさらに実行する。履歴データおよび/または他の未加工データのサイズは非常に大きく、および、ノイズ性の値および/または不適切な値を含むことがよくあることが理解されるであろう。データ分析部330は、未加工データセットから有意義なメトリック(単数または複数)を抽出し、および、チャーン予測器の正確性を改善するために、データ324の事前処理を実行するツールまたは構成要素を示す。各事前処理構成要素または事前処理動作は、機能332であると見なすことができる。機能332は、他のデータからデータを導出するための導出機能ばかりではなく、データを除去するためのフィルタリング機能も含む。データ分析部330は、不適切な、無効な、および/または過剰なデータポイントを除去するために機能332を使用する。
データ分析部330は、各顧客インスタンスのための各変数およびアクセスされたデータのための規則(例えば、評価モデルまたはパラダイム)に基づいて、複数の変数の事前処理を実行する。評価モデルは、異なるタイプのデータ入力に対して有意義なトレーニングを提供するように、マシン学習プロセスで一緒に使用できるように、異なるデータタイプを正規化するものと見なすことができる。1つの実施形態では、データ分析部330は実際の値から有限値にマッピングする。したがって、連続する実際の値の代わりに、データ分析部330は複数の値を一組の値の中の1つにマッピングできる。1つの実施形態では、当該マッピングは、以下で説明される離散器334で実行される。
1つの実施形態では、データ分析部330による事前処理には、デバイスに入手可能な技術標準に基づいて、ネットワークデバイスから収集された無効な値を修正または除去する工程を含む。修正および除去する工程も、または、択一的に、既知のバグ、エラー、または、特定のネットワーク装置またはデバイスの制限に関する既知の知識に基づくこともできる。1つの実施形態では、データ分析部330は、各変数に対する分布を演算する(マシン学習における「属性(attribute)」として知られる)。分布に基づいて、データ分析部330は、分布からデータポイントの高い、および/または、低いX番目のパーセンタイル(例えば、10番目以下および90番目以上)を削除することができ、使用される値から最小または最大値等の極端な値を阻止する。1つの実施形態では、データ分析部330は、平均、分散、または、他の計算結果等の基本的な統計値を演算できる。当該統計値は、未加工データの代わりに使用されることができ、データの次元を低減するように動作する。1つの実施形態では、データ分析部330は、未加工データ値を効果的に要約する、あらかじめ定められた機能を使用して、安定性スコア(例えば、DSL−Expresseの安定性スコア等のラインの健康度の指標)または定常状態のTCPスループット等のメトリクス(metrics)を演算する。もう一度説明するが、未加工データの要約機能を使用することによって、チャーンをトレーニングおよび/または予測するために使用されるデータの次元を低減することができる。他の機能は、比較および/または補間によって値を導出するために使用されることができる。次元を低減することによって、マシン学習および/またはチャーン評価動作のスピードを上げ、および/または、当該動作を実行するためのコンピュータ上の帯域幅が小さくなるように動作可能であることが理解されるであろう。
1つの実施形態では、データ分析部330は、データ収集時間間隔を2つ以上のサブ期間に分割する。データ分析部330は、各変数の傾向を把握するために各変数に対して隣接するサブ期間の相異を演算できる(例えば、特定の変数観察期間に上昇または下降するか)。観察期間または収集期間は、履歴データが収集される場合の開始日と終了日との間の期間を示し、または、検討するために使用される履歴データの開始日および終了日(例えば、利用可能な履歴データの一部だけを使用すること)を示す。
1つの実施形態では、データ分析部330はデータ324から顧客インスタンスを生成する。顧客インスタンスは、特定のラインのための変数または特性の収集として理解できる。データ分析部330は、データ324の情報に基づいて顧客インスタンスをチャーナおよび非チャーナとして特定することができ、および、顧客インスタンスを「チャーナ」または「非チャーナ」記号としてラベル付けできる。1つの実施形態では、チャーナインスタンスはチャーナのタイプによってさらに分類されることができ、ここで各タイプは顧客がサービスを中止した(すなわちチャーナになる)理由に対応する。
いくつかのラインでは、特定のサブ期間または全データ収集期間にわたって収集されたデータがない場合がある。1つの実施形態では、当該ラインをデータセットから除外するのではなく、不明なデータがあるサブ期間を「データなし」として目印を付け、および、データセットに挿入される。1つの実施形態では、データ分析部330は変数を離散するための離散器334を含む。離散化によって「データなし」値は、マシン学習アルゴリズムによって他の値と一緒に処理されることができる。1つの実施形態では、複数の変数を離散化する工程には、特定のサブ期間に顧客インスタンスに利用可能なデータがない場合には、変数をプリセット値に設定する工程を含む。1つの実施形態では、プリセット値は変数に対してゼロ値である。
サーバ320は、収集および事前処理されたデータでチャーン予測器をビルドする動作を実行する。チャーン予測器ビルダー340は、チャーン予測器をビルドするために、マシン学習344(データマイニングまたは統計学習とも称する)によって、未加工および/または事前処理データが処理される構成要素およびプロセスである。マシン学習プロセスはモデル(単数または複数)のトレーニングとも称することができる。チャーン予測器をビルドするために使用されるべき事前処理データは、チャーナおよび非チャーナの両方を含む多くの顧客のデータを含む。ビルダー340で受信された当該データはトレーニングデータ342とも称することができる。多くの利用可能なマシン学習ツールがあり、それらの1つ以上をビルダー340はチャーン予測器をビルドするために使用する。マシン学習構成要素(単数または複数)はマシン学習344としてあらわされる。マシン学習344には、チャーン予測器をトレーニングするために、カスタム(専用)および/またはオープンソース(例えば、WEKA)マシン学習ツールを含むことができる。離散化が使用される1つの実施形態では、ベイズネットワーク等のアルゴリズムを、ゼロ値を含むデータセットの離散化値を取り扱うために使用できる。
1つの実施形態では、ビルダー340はトレーニングデータ342を複数のサブセットに分割する。一般にデータセットではチャーナの数は非チャーナの数に比べて非常に小さい。1つの実施形態では、トレーニングが偏ることを防ぐために、各サブセット中のチャーナと非チャーナの比が使用される。1つの実施形態では、比は1:1である(すなわち、チャーナおよび非チャーナの数が等しい)が、比は1:2または他の比を使用することができる。一般にチャーナと非チャーナの比は、トレーニングをするために使用される比よりも大幅に小さい。チャーナの数が少ないので、同一のチャーナインスタンスが複数またはすべてのデータセットで繰り返され得るが、複数のサブセットの1つでしか非チャーナインスタンスはあらわれないかもしれない(より詳細には以下の図6の記載を参照)。1つの実施形態では、ビルダー340はNサブセットからNモデルを生成する。
1つの実施形態では、トレーニングデータ342は保有期間によってグループ化された顧客ラインを示し、保有期間はセグメント化のタイプの一例である。当該アプローチはいくつかの実装形態の予測精度を向上できる。さらに、または、各顧客インスタンスに対応する地理データを、トレーニングデータ342をセグメント化するために使用することができる。グループ化が可能な1つの例として、保有期間によるグループ化は0〜2週間、2〜4週間、4〜13週間、および13週間以上に分けることが有効であった。当該保有期間によるグループ化集団が使用される場合には、各ラインの保有期間によって、入力データセットは多くのばらばらな小さなセットに分割される。次に、別々のチャーン予測器が保有期間グループ毎にビルドされる。ビルダー340はトレーニングされたシステムの出力を生成し、それらはチャーン予測器に記憶される。上述したように、チャーン予測器は異なるデータのサブセットに基づいて複数の異なるチャーンモデルを持つことができる。
図3Bを参照して以下に説明されるように、チャーン予測器ビルダー340は、チャーン予測器360を生成、すなわち、出力する。チャーン予測器360は、チャーン予測を実行するために使用されるべき1つ以上のモデル364を含む。
図3Bは、チャーン予測を生成するシステムの実施形態のブロック図である。システム380は顧客304を含み、これは図1のプロバイダー110等のブロードバンドプロバイダーのブロードバンド接続に加入する顧客(または顧客のサブグループ)を意味する。ここでチャーン予測器ビルダーは自動的または半自動的にパターンを発見するためにトレーニングを使用し、チャーン予測器はチャーナのパターンに統計的に類似する識別特性を示す顧客インスタンスを検出するためにテストまたは評価を使用する。特に、顧客304は可能性があるチャーンを評価できるように選択される。システムは、可能性があるチャーナを評価するために、ルーチンすなわち定期的なモニタリング、および、データマイニングを実施できる。例えば、データを毎日または一日に複数回、または、いずれかの他の頻度で、収集、および、分析できる。顧客304は、ネットワーク310を介してブロードバンドプロバイダーに接続される図3Aの顧客302の1つであり得る。サーバ350は、ブロードバンドプロバイダーのサーバを示す。また、サーバ350はネットワークを介してプロバイダーと接続でき、および、プロバイダーのインターフェースを使用する。
サーバ350は、少なくともプロセッサー(単数または複数)、メモリーデバイス、ネットワーキングハードウェア、およびインターフェース(ヒューマンインターフェースおよび/またはマシンインターフェース)ハードウェアを含むハードウェア資源上で実行される。ハードウェアの1つ以上のエレメントはハードウェア資源として共有できる。ハードウェアの1つ以上のエレメントは、特にサーバ350に割り当てられる専用の構成要素であり得る。サーバ350は、特に特定の顧客304がチャーンしそうであるか否か、または、顧客のサブグループ304がいずれかの潜在的なチャーナを含むか否かを予測する動作を実行する。1つの実施形態では、サーバ350は、図3Aのサーバ320と同一のサーバである。1つの実施形態では、サーバ350は、サーバ320とは別のサーバである。1つの実施形態では、サーバ320および350は同一の構内には位置しない。1つの実施形態では、サーバ320および350は、異なるビジネスエンティティによって実行、および、管理される。
サーバ350は、図3Aのデータ324から取得され得るデータである、顧客データ352に関するデータにアクセスするためにデータ収集を実行する。顧客データ352は、チャーン予測器を生成するために、サーバ320で使用される同一変数の多くと少なくとも関連するデータを含む。したがって、図3Aのビルダー340によって生成されるチャーン予測器の一例であるチャーン予測器360の1つ以上の予測モデルと顧客データ352とは互換性がある。
サーバ350は顧客304のチャーン尤度を予測するための動作を実行する。ラインのチャーン尤度を予測するためには、チャーン予測器をビルドするために、図3Aに示されたものと同一セットの変数が準備されるべきである。したがって、サーバ350は事前処理構成要素を含むが、それは明示しない。図3Aに示されるように、事前処理によって、テストされるべきラインを示す顧客インスタンスを生成する。チャーン尤度のために顧客ラインを評価する場合には、チャーナ/非チャーナのフィールドまたはラベルは顧客インスタンスに適用されないことが理解されるであろう。データ事前処理では、それぞれがブロードバンド接続に関連するパラメータを示す複数の変数で顧客インスタンスを生成する。チャーン予測器360はチャーン予測器のモデル(例えば、以下に示すトレーニングでビルドされるNモデル等)を使用して顧客インスタンスを実行する。当該モデルによるチャーン予測によって、チャーナおよび非チャーナを含む他の顧客の測定データおよび構成データを示すトレーニングデータと、顧客304の顧客インスタンスを効率的に比較する。
サーバ350はさらにデータ事前処理に関連する動作を実行する。より詳細には、チャーン予測器360は、図3Aのデータ分析部330等のデータ分析部メカニズムの一例であるデータ分析部362を含む。1つの実施形態では、データ分析部362はデータ分析部330と同一である。1つの実施形態では、チャーン予測器の生成とチャーン予測の実行との間の差異に関しては、2つのデータ分析部メカニズムにはいくつかの差異がある。通常、データ分析部362は、未加工データセットから有意義なメトリック(単数または複数)を抽出し、および、チャーン予測の正確性を向上するための、データ324の事前処理を実行するツールまたは構成要素を示す。各事前処理構成要素または事前処理動作は機能332であると見なされる。機能332は、他のデータからデータを導出するための導出機能ばかりではなく、データを除去するためのフィルタリング機能も含む。データ分析部362は、不適切な、無効な、および/または過剰なデータポイントを除去する機能332を使用する。データ分析部362はデータ分析部330と同一セットの機能332を含むことができるが、異なってもよい。1つの実施形態では、データ分析部362は、図3Aの離散器324と同一または変形形態であり得る離散器326を含む。チャーン予測モデルを適用するという意味では、通常は、離散器326は離散器326と同一の機能を提供する。
1つの実施形態では、チャーン予測器360の各モデルは、評価された所与の入力顧客インスタンスに対して信頼スコアを生成する。信頼スコアは、0から1までの小数値、1から10までの値、1から100の整数値、または、いずれかの他の範囲等の最低スコアまたは等級から最高スコアまたは等級までの範囲で与えられる。範囲の上限および下限は、チャーン予測器モデルの設計によって設定することができる。顧客インスタンスに対するチャーン尤度は、モデルによって生成された信頼スコアの組み合わせ、または、合成に基づいて生成される。1つの実施形態では、チャーン予測器360は、信頼スコアの平均(平均の信頼度)を生成し、あるいは、信頼票決を生成することによって、信頼スコアを組み合わせる。1つの実施形態では、チャーン予測器360はプリセットしきい値(範囲内の値)によって票決を実行し、および、信頼スコアに対してはしきい値よりも大きい場合に、1または真(TRUE)すなわちチャーナとし、および、他の場合には0、偽(FALSE)すなわち非チャーナとする。したがって、各チャーン予測器モデルの出力は二進出力に解釈され、それは特定のモデルに対してラインがチャーナまたは非チャーナに分類されることを意味する。次にチャーン予測器360は、いくつのモデルで顧客ラインがチャーナになるかを予測する出力を生成できる。顧客304は顧客のグループを意味し、一般に各ラインはそれ自体の顧客インスタンスに基づいて別々に評価されることが理解されるであろう。
1つの実施形態ではサーバ350は、チャーナと予測されたラインに対して改善エンジン370によって改善を実施する。チャーン予測器360が評価された顧客ライン(単数または複数)に対してチャーン尤度スコアを生成した後に、改善エンジン370は予防提案374によって予防的アクションを提案する。1つの実施形態では、改善エンジン370は、分類システムに基づいて分類エンジン372で予測されたチャーナを分類する。1つの実施形態では、分類システムはクラスを特定するためにトレーニングが必要なので、当該分類システムは、図3Aのチャーン予測器ビルダー340によってビルドされる。1つの実施形態では、改善目的で分類システムをビルドするために別のメカニズムが使用される。
ほとんどの実際の実装形態で、各顧客ラインに対してチャーン尤度スコアを割り当てるために、一般に1つずつ、顧客のグループ304が評価されることが理解されるであろう。一旦、各ラインにチャーン尤度スコアが割り当てられると、あらかじめ定められた順番で(例えば、降順に、または、上限と下限が交換されている場合には昇順に)、ラインは改善エンジン370に記憶され得る。ブロードバンドサービスプロバイダーオペレーターは、一般に予防的アクションに使用する固定予算を持っている。したがって、サーバ350は上位M個のライン(すなわちラインの上位P%)をチャーンの最高の尤度を示すスコアで示すことができ、それらは次に予防的アクションのために選択され得る。チャーン予測器360はラインのチャーン尤度を予測するが、理由は明確にしない。改善エンジン370は、予測されたチャーンに対して予防的アクションを提言することができる。
1つの実施形態では、分類エンジン372は予測されたチャーナを分類するために以下の分類システムの1つを使用する:複数クラス分類、クラスタリング、または、エキスパートシステムによる分類。複数クラス分類は以下のチャーングループ等に分類され、それらはNEVER_USED(例えば、顧客がサービスを使用しない、または、サービスを真剣に考えていない)、POOR_SUPPORT(SERVICE)(例えば、顧客はプロバイダーの技術/呼び出しサポートに満足していない)、POOR_QUALITY(PERFORMANCE)(例えば、顧客は加入者線の品質に満足していない)、POOR_VALUE/PRICE(PRICE)(例えば、顧客が価格に見合う価値を見いだすことができない、または、代替オプションと同等の競争力がない)、および/または、他のグループ。当該グループは、例えば、顧客のサービスの終了日、および、チャーンの理由(提供される場合には)を保持するCRM(顧客リレーション管理)データベースの追跡情報に由来する。顧客によって与えられる理由が完全に信頼できるものではない場合であっても、それはなお有用な情報であり得る。
上記の例示的な分類タイプに基づいて、予防提案374は、非限定的な例としてのみ示される以下のようなアクションを提案できる。NEVER_USEDと分類されたラインに対しては、提案されるアクションは、インストールに関するいずれかの問題、または、サービスに対する教育をする必要性があるか否かを決定するために、顧客にコンタクトを取ることであり得る。PERFORMANCEと分類されたラインに対しては、提案されるアクションは、ラインまたは加入者宅内機器(CPE)に関連する物理的問題を修理するために、技術者を派遣することであり得る。あるいは、提案されるアクションはラインの動作に関連する1つ以上の制御パラメータを修正するために、自動ライン最適化プロセス(例えば、プロファイル最適化(Profile Optimization))を実行することであり得る。PRICEと分類されたラインに対しては、提案されるアクションはクレジットまたはディスカウントの申し出、または、一時的な無料サービスアップグレードを申し出ることであり得る。POOR SERVICEと分類されたラインに対しては、提案されるアクションはクレジットまたはディスカウントの申し出、お詫びの手紙の送付、または他のアクションであり得る。
チャーンの理由がない場合、または、チャーンタイプ情報が利用不可能な場合に、クラスタリングによる分類を使用することができる。クラスタリングによる分類は(例えば、マシン学習アルゴリズムに基づいて)分類にクラスタを使用するメタ分類器として実行できる。アルゴリズムはユーザ(例えば、チャーン予測を提供するシステムのオペレーター)によって提供される多くのクラスタクラスに基づいて、インスタンスをクラスタリングすることによって動作できる。マシン学習アルゴリズムは、クラスに対してクラスタの最小エラーマッピングを見つけるように評価ルーチンを実行する。クラスタは類似するプロファイルを持つ顧客インスタンスのグループである。
エキスパートシステムは各ラインの特性のエキスパート分析に基づき得る。一例として、システムオペレーターは、ディスパッチエンジンをチャーン予測器によって示される予測されるチャーンに実行させることができる。ディスパッチアドバイスを得ることができないラインに対しては、システムオペレーターは、レート、安定性、およびループ長等の特性をチェックできる。次にシステムオペレーターは:サービスのダウングレードまたはサービスのアップグレード、ポートリセット、POトリガ(例えば、ラインがいまだにPOのもとにない場合)、金銭的なクレジット(例えば、ディスカウント)の申し出等のアクションをアドバイスするために専門知識を適用する。
予防提案374を使用する代わりに、システムオペレーターは、予測されるチャーンによって示される顧客と単にコンタクトを取ることができる。予測されるチャーンの接続性能を改良するために、システムオペレーターは自動的な構成の変換を提供することもできる。
図4は、チャーン予測に使用されるデータ収集システムの実施形態のブロック図である。システム400は、データ収集410およびさまざまな例のデータソース402、404、406、および408を含む。システム400は収集されたデータを記憶するためのデータベース420も含む。1つの実施形態では、データベース420は上述したシステム300およびシステム380のデータ324である。データ収集410は、接続の構成(例えば、DSL物理的データ)に関する物理データ、および、顧客情報、以前のチャーナデータ、および、一般情報等の他のデータを収集することを含む。1つの実施形態では、データ収集410はネットワークオペレーターによって開始される。1つの実施形態では、データ収集410は、少なくとも1つのラインに対して、顧客によって開始される。
物理データはDSL物理データの収集412で示される。データ412は、DSLネットワーク自体または他のブロードバンドネットワークから収集され、ラインおよび/またはサービスプロバイダーでの接続および設定を含む。顧客情報およびチャーナに関するデータは、顧客データ収集414で示される。データ414は顧客情報404、およびオペレーターシステム406から収集される。オペレーターシステム406は顧客に関する情報を持つブロードバンドサービスプロバイダーを示す。データ414は、顧客が何故チャーンをしたか(チャーンの理由)、および/または、競合会社がチャーン時に何をしていたかに関する情報を含むチャーナデータを含み得る。チャーンの理由が利用可能でない場合には、システム400は、グループの共通の特徴を演算するためにチャーナをクラスタリングできる。一般情報は一般情報の収集416で示される。データ416はオペレーターシステム406および公開データ408から収集される。一般情報には、気象/自然災害情報、経済情報、競合するサービス、技術変化情報、または他の情報を含むことができる。
現在の技術では、ブロードバンドプロバイダーが連続してネットワークをモニタするためにネットワーク管理システムを使用することは不可能である。ブロードバンドプロバイダーは、莫大な量のデータになる数千または数百万のラインを持っている可能性がある。頻繁なデータ収集は、ラインのプロビジョニングまたは構成の変更等の他の重要なリクエストを妨げ得て、ネットワークエレメントに対する大きな負担となり、および、ネットワーク帯域幅を消費する可能性がある。1つの実施形態では、データ収集410は、全ネットワークに対して一日一回または二回ネットワークデータを収集するように動作する。1つの実施形態では、(チャーン予測器による評価によって)リスクがあると考えられるラインは、頻繁にモニタされ得る。1つの実施形態では、最近活性化されたライン、または、サービス品質に対して最近不満を訴えた顧客に対して、データ収集410は頻繁にデータ収集を実施する。
ブロードバンドネットワークのデータ収集は、顧客の使用方法パターンを決定することが容易である携帯端末ネットワークまたは他の無線ネットワークとは異なることが理解されるであろう。DSLまたはケーブル等のブロードバンドラインは常にオンラインであることがよくあり、それが顧客の使用方法パターンを決定することをより困難にしている。いくつかのネットワークデバイスは顧客のトラフィックパターンを提供するが、当該情報は一般に限定的であり、および、分析に利用可能ではないことがよくある。1つの実施形態では、データ収集410はアクティブプロ−ビングを使用し、それによってシステム400は接続ラインが同期しているか否かを検出することができる。当該ラインが同期している場合には、データ収集410によってその性能パラメータを測定することができる。
図5は、チャーン予測器をトレーニングするために、チャーン予測を予測ウィンドウ内の顧客に適用する実施形態のブロック図である。グラフ500は異なるチャーン予測シナリオのグラフ表示である。図示されるように、ブロードバンドプロバイダーは、関心の対象となる時間期間を有する予測ウィンドウ550に対してチャーン予測を実施する。図示されるように、関心の対象となる時間期間は1週間(2月23日〜3月1日)であるが、関心の対象となる時間期間はこれよりも多くても少なくてもよい。グラフ500は12月23日の開始基準日、および3月1日の終了基準日を含み、それらはデータ収集(図4等に示される)が実施される時間期間である。グラフ500では、現在の日付は図示された延長期間である6月23日以降であるとする。説明される特定日は説明のためだけであり、および、参照開始日、参照終了日、予測ウィンドウ、または、いずれかの与えられた期間の日数を限定するものではないことが理解されるであろう。トレーニングは、通常、さまざまな異なる予測ウィンドウ550に対して予測トレーニングを生成することを含む。1つの実施形態では、14日間の予測ウィンドウに先立つ90日間のデータ収集ウィンドウ等の完全に予測ウィンドウ550の前から、データ収集期間は始まる。データ収集ウィンドウ(例えば、90日間よりも長いまたは短い)だけではなく予測ウィンドウ(例えば、14日間よりも長いまたは短い)にも他の時間間隔を使用することができる。1つの実施形態では、予測ウィンドウ550は、終了基準日が現在の日付に基づき得る、固定された収集期間および予測期間を持つスライディングウィンドウである。
顧客はグラフを横切る棒で示され、および、512、514、522、532、および542で示される。グラフ500の目的から、新しい顧客だけ、すなわち、開始基準日502以降にサービスを活性化させた顧客が関心の対象であると仮定する。当該仮定のもとでは、顧客が新しくない530場合には、チャーン予測器のトレーニングには顧客532を使用しない。他のカテゴリーの顧客には、チャーナ510、早期520、および非チャーナ540が含まれる。予測ウィンドウ550内でチャーンをする可能性があるので、顧客512および514はチャーナとして特定される。予測ウィンドウ550の前にチャーンをしたので顧客522は早期である。
チャーナ510を予測ウィンドウ550に対してチャーン予測をトレーニングするために使用できるように、非チャーナ540も予測ウィンドウ550に対してチャーン予測をトレーニングするために使用できる。1つの実施形態では、非チャーナ544および546は、後にチャーンするとしても予測ウィンドウ550内ではチャーンしないので、チャーナ予測ウィンドウ550に対してチャーン予測をトレーニングするために使用される。したがって、当該顧客は予測ウィンドウの後にチャーンし、および後の予測ウィンドウのチャーン予測トレーニングのためにチャーナとして使用できるので、顧客544および546は後のチャーナである。1つの実施形態では、非チャーナ544および546は予測ウィンドウ550の直後にチャーンするので、予測ウィンドウ550に対してチャーン予測をトレーニングするためにチャーナとして使用される。顧客が最終日まで全くチャーンしないので、顧客542は完全な非チャーナである。1つの実施形態では、後のチャーナはチャーン予測のトレーニングではチャーナと見なされない。しかしながら、顧客546は予測ウィンドウ550の少し後にチャーンするので、実際は、非チャーナ542よりもチャーナ510と多くを共有する可能性があることが観察されるであろう。予測ウィンドウ550から離れて、顧客544等の顧客はチャーンをするので、かれらの行動が予測ウィンドウの間にチャーンするそれらの顧客(例えば、512および514)と同じだと考えられる可能性は少ない。再び説明するが、チャーン予測トレーニングのスライディングウィンドウは、後のウィンドウのチャーナとして、顧客544および546に対処することができる。
予測ウィンドウ550は関心対象の期間またはターゲット期間の一例であり、小さくまたは大きくすることが可能であり、実装形態によって異なることが理解されるであろう。さらに、開始基準日と終了基準日の間の期間も長くまたは短くすることも可能である。データ収集期間をさらに複数のサブ期間に分割することが可能である。チャーン予測器は、隣接するサブ期間の差異を演算することによって、各顧客の複数の変数それぞれの傾向を特定することができる。したがって、例えば、以前のチャーナと比較して顧客がどうであるか、および/または、顧客の測定データが以前のチャーナと比較してどのような傾向を示すかに基づいて、顧客512および514のチャーンを予測することができる。
1つの実施形態では、データを、関心の対象となるイベントに基づく同じ長さのサブ期間、または、同じ長さではないサブ期間に分割することができる。1つの実施形態では、開始基準日はイベントに基づいて、および、他のサブ期間は後続のイベントに基づくことができる。イベントには、ディスパッチ、システムデータの急激な変化、または、他のイベントを含みことができる。サブ期間は顧客の傾向に関する情報を含み得る。トラブルチケットまたはサービスチケットは顧客データおよび顧客経験の急激な変化を示し、チャーンのためにラインを評価する基礎として使用できる。1つの実施形態では、イベント後にある期間(例えば、1日または2日間)が経過するまでは、イベントは評価されない。
図6は、チャーナおよび非チャーナサブセット情報に基づいてチャーン予測モデルを生成するためのシステムの実施形態のブロック図である。システム600は、本明細書に記載されるいずれかの実施形態によるチャーン予測器ビルダーを示す。システム600は、分離されたチャーン予測器モデルを生成するために、チャーナと非チャーナの比を適用する1実施形態を図示する。非平衡トレーニングセット610は、チャーナ612および非チャーナ614のための顧客インスタンスを含む。チャーナグループ612は、1つまたは複数のチャーナを含むことができる。非チャーナグループ614は、複数の非チャーナを含む。チャーナと非チャーナの比は、平衡トレーニングセット620の各グループに対して選択される。図示されるように、比は1:1であるが、図示された簡単化された実施例からは他の比が理解されるであろう。
1つの実施形態では、システム600は、単一のチャーナインスタンスを各平衡したセット620(セット622−0から622−N)に適用する。代替実施形態では、複数のチャーナによる1つグループが各平衡したセット620に適用され得る。1つ以上の非チャーナ614も各平衡したセット620に適用される。1つの実施形態では、1つのチャーナが複数の平衡したセット620に適用される可能性もあるが、1つのチャーナは1つの平衡したセット620にだけ適用される。1つの実施形態では、複数の非チャーナ614が各平衡したセット620に適用される。1つの実施形態では、平衡したセット620のビルドには、実際の値を有限値のセット、または、他の離散化形態にマッピングすることを含む。当該マッピングは、トレーニングセットで誤った値が発生することを低減するためにノイズフィルターとして機能でき、これは事前処理で実施される。1つの実施形態では、顧客インスタンスは二進IDを含み、これは変数のグループを意味する。二進IDは離散化メトリックまたは変数の一例として機能でき、および、1つの実施形態では、各変数は固有の離散化二進IDである。例えば、二進配列は、ラインがブロードバンドネットワークに存在した週の数(顧客がサービスを活性化してからどれぐらい経過したか)を含むことができ、および、当該週の数に基づいて、顧客は配列の二進数の1つの一部で判断される(例えば、二進値0は0から1週間であり;二進値1は2から4週間であり;二進値2は5から7週間であり;または、二進値3は8週間以上である)。したがって、二進ID番号は、ランダムメトリックの代わりに使用するべき使用可能な有限メトリックを示すことができる(例えば、「10日間」の代わりに「0」を使用する)。
システム600は、入力データである平衡したセット620にマシン学習を実施する。マシン学習計算結果によって、チャーナに共通するパターンを見つけ出し、および、トレーニングされたモデル630となる。マシン学習を実施するために使用される各平衡したセット622−0から622−Nに対して、マシン学習を使用して生成された訓練されたモデル632−0から632−Nが存在する。入力データを入力し、および、顧客がチャーンする可能性を決定する、顧客のテストまたは評価のためにモデルを使用することができる。尤度は、評価される顧客が過去のチャーナのパターン(単数または複数)にどれだけ近似するかに基づいている。1つの実施形態では、システムおよび/またはシステムのオペレーターはチャーンする可能性があるラインの一部を選択し、および、チャーンを防止するために試みられるべきアクションを提案できる。
図7は、生成プロセス700よる、チャーン予測器をビルドするためのプロセスの実施形態のフローチャートである。サーバデバイスは、複数のブロードバンド顧客のためにブロードバンド接続データにアクセスする702チャーン予測器ビルダーを含む。1つの実施形態では、チャーン予測器ビルダーは顧客満足度に関連する、ブロードバンド接続に直接関連しない他のデータにもアクセスする。チャーン予測器ビルダーは異なる顧客(例えば、異なるラインで特定される)を特定でき、および、顧客のチャーンデータにもアクセスでき704、チャーン予測器ビルダーは各顧客をチャーナまたは非チャーナとして特定できる。
1つの実施形態では、チャーン予測器ビルダーはアクセスされたデータを、顧客チャーンに関連する代表情報のそれぞれに対する変数を特定する工程を含む事前処理を実施する706。複数の変数は、接続情報または接続には直接関連しないデータに関係する、顧客チャーンに関する情報を直接的または間接的に示すことができる。事前処理には各変数に対する規則に基づいて変数に値を割り当てる工程、または、新しい変数として他のメトリクス(metrics)を導出する工程を含む。チャーン予測器ビルダーは、それぞれが事前処理で特定される変数に対応する変数を含む顧客インスタンスを生成する708。取得られたチャーナデータに基づいて、チャーン予測器ビルダーは、特にチャーナまたは非チャーナとして顧客インスタンスをラベル付けできる710。
1つの実施形態では、チャーン予測器ビルダーは顧客インスタンスをばらばらのデータセットに分離する712。1つの実施形態では、1つのデータセットだけがある。ばらばらのデータセットは、未加工データの事前処理で特定された情報に基づいて、それぞれが顧客インスタンスの異なる論理グループ化集団を示すことができる。1つの実施形態では、チャーン予測器ビルダーは顧客インスタンスを複数のトレーニングサブセットに分離する714。トレーニングセットに分離する工程は、顧客インスタンスをセグメントに分離する工程(例えば、図2Aおよび図2Bを参照)および/またはセットのチャーナと非チャーナの比を平衡させる工程(例えば、図6を参照)を含むことができる。1つの実施形態では、1つのトレーニングセットだけが存在する。チャーン予測器ビルダーはトレーニングデータに基づいてチャーン予測器をビルドする。1つの実施形態では、チャーン予測器ビルダーは、複数のモデルを持つチャーン予測器をビルドし、各モデルは各サブセットの顧客インスタンスのマシンに基づいている716。トレーニングセットが1つだけの場合には、チャーン予測器ビルダーは1つのモデルを持つチャーン予測器またはサブチャーン予測器を生成できる。チャーン予測器ビルダーは生成されたモデルを他の顧客を評価するために使用されるべきチャーン予測器として記憶する718。
図8は、評価プロセス800による、チャーン予測器で顧客チャーンを予測するためのプロセスの実施形態のフローチャートである。チャーン予測器は、プロセス700に対して上述された形態にしたがってビルドされることができる。チャーン予測器は評価されるべき顧客ブロードバンド接続データにアクセスする802。1つの実施形態では、チャーン予測器は、顧客満足度または評価に使用されるべき顧客チャーンに関連する他のデータにもアクセス可能である。他のデータは、顧客ラインのための物理的接続データを説明または記述するものである必要はない。
1つの実施形態では、チャーン予測器は顧客ラインを評価するためにセグメンテーションを使用する。1つの実施形態では、各顧客インスタンスは各セグメントまたはサブチャーン予測器にしたがって評価される。1つの実施形態では、チャーン予測器は顧客インスタンスをサブセットに割り当てることができる804、それは顧客を評価するために顧客インスタンスが割り当てられるセグメントまたは他のデータセットを含むことができる。チャーン予測器は、値を入力データに基づく変数に割り当てるために、各変数に対する規則に基づいて当該変数を事前処理する806。チャーン予測器は、顧客ラインを示す顧客インスタンスを生成し、および、それぞれが顧客チャーンに関連する代表情報である複数の変数を生成する808。1つの実施形態では、顧客インスタンスのための複数の変数は、チャーン予測器を生成するために使用されるデータトレーニングモデルにしたがって生成される。
チャーン予測器は、チャーン尤度スコア(単数または複数)を生成するために、顧客インスタンスを1つ以上のチャーン予測器セグメント、および/または、1つ以上のチャーン予測器モデルで処理する810。1つの実施形態では、チャーン予測器は、評価のためにスコアをネットワークオペレーターに送信する。1つの実施形態では、チャーン予測器は、異なるセグメント/モデルのスコアを組み合わせること等によって、スコア(単数または複数)に基づいて最終的なチャーン予測を生成する812。1つの実施形態では、チャーン予測器は、チャーン予測に基づいて改善応答を生成する814。改善応答の少なくとも一部は、チャーン予測器によって自動的に実施され得る。改善応答オプションには、チャーンする傾向によって特定された顧客による顧客チャーンを防ぐために試行される、さまざまな自動化および非自動化アクションを含むことができる。
本明細書に記載されるフローチャートは、さまざまなプロセスアクションのシーケンス例である。特定のシーケンスまたは順番が記載されているが、特定されていない限り、アクションの順番を変更することができる。したがって、説明される実施形態は単なる実施例として理解されるべきであり、および、プロセスは異なる順番で実施されることができ、および、いくつかのアクションは平行して実施されることができる。さらに、さまざまな実施形態で1つ以上のアクションを省略することができるので、実施形態ごとに、すべてのアクションが必要なわけではない。他のプロセスフローも可能である。
さまざまな動作または機能の範囲が本明細書に記載されており、それらはソフトウェアコード、インストラクション、構成、および/または、データとして記述または規定することができる。コンテンツは直接実行可能な(「オブジェクト(object)」または「実行可能な」フォーム(form))、ソースコード、または異なるコード(「デルタ(delta)」または「パッチ(patch)」コード)であり得る。本明細書に記載されている実施形態のソフトウェアコンテンツは、コンテンツが記憶されている製品、または、通信インターフェースを介してデータを送信するために通信インターフェースを動作させる方法によって提供できる。機械読み出し可能な記憶媒体は、マシンを説明された機能または動作を実行可能に機能させることができ、および、マシン(例えば、コンピュータデバイス、電子システム等)によってアクセス可能な形態に情報に記憶するすべてのメカニズム、記憶可能/記憶不可能媒体(例えば、読み出し専用メモリー(ROM)、ランダムアクセスメモリー(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリーデバイス等)等を含む。通信インターフェースは、別のデバイスと通信するいずれかの配線接続、無線、光等の媒体と接続するすべてのメカニズムを含み、メモリーバスインターフェース、プロセッサーバスインターフェース、インターネット接続、ディスクコントローラ等が挙げられる。通信インターフェースは、ソフトウェアコンテンツが記述されたデータ信号を提供するための通信インターフェースを準備するために、構成パラメータを提供、および/または、信号を送信することによって構成することができる。通信インターフェースは、通信インターフェースに送信される1つ以上のコマンドまたは信号によってアクセスできる。
本明細書に記載されているさまざまな構成要素は、説明されている動作または機能を実行するための手段になり得る。本明細書に記載される各構成要素は、ソフトウェア、ハードウェア、または、これらの組み合わせを含む。構成要素は、ソフトウェアモジュール、ハードウェアモジュール、特定目的ハードウェア(例えば、特定用途向けハードウェア、特定用途向け集積回路(ASIC)、デジタル信号プロセッサー(DSP)等)、組み込みコントローラ、配線で接続された回路等として実装することができる。
本明細書に記載されているもののほかに、発明の範囲から逸脱しないで、開示された本発明の実施形態および実装形態にさまざまな変更が実施可能である。したがって、本明細書に記載されている図面および実施例は例示的なものであって、制限的な物ではない。発明の範囲は以下の特許請求の範囲のみを参照して決定されるべきである。

Claims (72)

  1. ブロードバンド接続サービスが終了されるであろう尤度を演算するためのシステムにおいて:
    ブロードバンド接続情報を記憶するための記憶デバイスを含む物理接続モニタリングサブシステムであって、ブロードバンド接続プロバイダーの複数の異なる加入者線のために、物理層ブロードバンド接続情報を特定するデータ、および、チャーン情報を含むブロードバンド接続情報を特定するデータにアクセスする前記物理接続モニタリングサブシステム;
    前記アクセスされたデータから、それぞれがチャーン情報に関連する代表情報を示す複数の変数を特定し、および、各変数の評価規則に基づいて前記複数の変数に値を割り当てる、サーバデバイスで実行されるデータ処理サブシステム;および
    サーバデバイスで実行されるマシン学習ネットワークを含むサブシステムをビルドするモデルであって、前記サブシステムをビルドするモデルは:
    加入者線インスタンスを生成し、各加入者線インスタンスは前記アクセスされたデータで特定される前記加入者線と関連し、前記各加入者線インスタンスは、前記複数の変数に割り当てられた値を含み、および、前記加入者線のブロードバンド接続サービスが終了される可能性があるか否かを示し;および
    前記加入者線インスタンスのマシン学習処理に基づいてチャーン予測器をビルドする前記サブシステムをビルドするモデルを含むシステム。
  2. 請求項1のシステムにおいて、ここで前記物理接続モニタリングサブシステムは、前記ブロードバンド接続情報を特定するブロードバンド接続メタデータにアクセスするシステム。
  3. 請求項1のシステムにおいて、ここで前記複数の変数は前記加入者線に対して前記ブロードバンド接続サービスを持つ顧客の満足度を直接的または非直接的に反映するメトリクス(metrics)を含むシステム。
  4. 請求項1のシステムにおいて、ここで前記物理接続モニタリングサブシステムは、ブロードバンド接続に関する測定データにアクセスするシステム。
  5. 請求項4のシステムにおいて、ここで前記測定データは、接続動作データ、接続性能データ、または、前記接続に接続される無線ネットワークの性能の1つ以上を含むシステム。
  6. 請求項1のシステムにおいて、ここで前記物理接続モニタリングサブシステムは、前記加入者線のユーザによって開始された測定データにアクセスするシステム。
  7. 請求項1のシステムにおいて、ここで前記物理接続モニタリングサブシステムは、前記ブロードバンド接続情報を特定する前記データであって、性能に対する変化を決定するためにブロードバンド接続に対して1つ以上の物理的リンク設定を変更することに応答して生成される測定データにアクセスするシステム。
  8. 請求項1のシステムにおいて、ここで前記物理接続モニタリングサブシステムは、前記ブロードバンド接続プロバイダーのブロードバンド接続に対する動作データおよび性能データにアクセスするだけではなく、苦情呼び出しデータ、ディスパッチデータ、気象データ、競争相手の申し出、公開フォーラムでの顧客の苦情、近隣データ、地理データ、および/またはユーザ装置データの1つ以上にもアクセスするシステム。
  9. 請求項1のシステムにおいて、ここで前記ブロードバンド接続情報を特定するデータにアクセする前記物理接続モニタリングサブシステムは、さらに前記物理接続モニタリングサブシステムで
    収集期間に対する測定データを複数のサブ期間に分割し;および
    前記複数の変数のそれぞれに対する傾向を決定するために隣接する前記サブ期間の差異を演算させるシステム。
  10. 請求項1のシステムにおいて、ここで前記サブシステムをビルドするモデルは、無効または極端な値を持つデータを有する加入者線インスタンスに対して、変数値に上限または下限を設定する工程を含む前記加入者線インスタンスを生成するシステム。
  11. 請求項1のシステムにおいて、ここで前記サブシステムをビルドするモデルは、チャーナを分類して前記加入者線インスタンスを生成し、ここで前記ブロードバンド接続サービスはチャーナのタイプによって終了されたものであって、ここで前記タイプのそれぞれは、前記ブロードバンド接続サービスが終了された理由に対応するシステム。
  12. 請求項1のシステムにおいて、ここで前記サブシステムをビルドするモデルは、さらに地理データまたは加入者線の保有期間に基づいて、前記加入者線インスタンスをセグメント化し、ここでチャーン予測器をビルドすることには、前記サブシステムをビルドするモデルが各地理セグメントまたは各保有期間セグメントに対して異なるチャーン予測器をビルドすることを含み、および、前記セグメント化に基づいて前記加入者線インスタンスを生成するシステム。
  13. 請求項1のシステムにおいて、ここで前記データ処理サブシステムは、各変数に対する評価規則にしたがって前記複数の変数を離散化するシステム。
  14. 請求項13のシステムにおいて、ここで前記複数の変数を離散化する工程には、加入者線インスタンスに利用可能なデータがない場合のすべての変数にプリセット値を設定する工程をさらに含むシステム。
  15. 請求項14のシステムにおいて、ここで前記プリセット値を設定する工程は前記変数のためにゼロ値を設定する工程を含むシステム。
  16. 請求項1のシステムにおいて、ここで前記データ処理サブシステムは、アクセスされたデータに起因する値として、前記複数の変数の1つ以上を演算する工程を含むシステム。
  17. 請求項1のシステムにおいて、ここで前記サブシステムをビルドするモデルは、さらに前記加入者線インスタンスをサブセットに分割し、各サブセットはチャーナおよび非チャーナを含み;および、ここで前記チャーン予測器をビルドする工程は、複数の異なるチャーン予測モデルを持つチャーン予測器をビルドするビルダーサブシステムをさらに含み、各モデルは各分離したサブセットの加入者線インスタンスのマシン学習処理に基づくシステム。
  18. 請求項17のシステムにおいて、ここで前記サブシステムをビルドするモデルは、前記加入者線インスタンスを、各サブセットにチャーナと非チャーナの比が設定される前記サブセットに分割するシステム。
  19. 請求項18のシステムにおいて、ここで前記サブシステムをビルドするモデルは、前記加入者線インスタンスを、各サブセットにチャーナおよび非チャーナの平衡した数が設定される前記サブセットに分割するシステム。
  20. 請求項17のシステムにおいて、ここで前記サブシステムをビルドするモデルは、すべてのチャーナをすべてのサブセットに割り当て、および、非チャーナのそれぞれを、ただ1つのサブセットに割り当てたサブセットに加入者線インスタンスを分割するシステム。
  21. ブロードバンド接続サービスが終了されるであろう尤度を演算するための方法であって:
    ブロードバンド接続プロバイダーの複数の異なる加入者線のために、物理層ブロードバンド接続情報を特定するデータを含むブロードバンド接続情報、および、チャーン情報を特定するデータにアクセスする工程;
    アクセスされた前記データから、それぞれがチャーンに関連する代表情報を示す複数の変数を特定し、および、各変数の評価規則に基づいて前記複数の変数に値を割り当てる工程;および
    加入者線インスタンスを生成する工程であって、各加入者線インスタンスは前記アクセスされたデータで特定される加入者線と関連し、前記各加入者線インスタンスは前記複数の変数に割り当てられた値を含み、および、前記加入者線の前記ブロードバンド接続サービスが終了される可能性があるか否かを示す工程;
    前記加入者線インスタンスのマシン学習処理に基づいて、チャーン予測器をビルドする工程を含む方法。
  22. 請求項21の方法において、ここで前記ブロードバンド接続情報を特定する前記データにアクセスする工程は、ブロードバンド接続メタデータにアクセスする工程を含む方法。
  23. 請求項21の方法において、ここで前記複数の変数は、前記加入者線に対する前記ブロードバンド接続サービスに関する顧客満足度を直接的または非直接的に反映するメトリクス(metric)を含む方法。
  24. 請求項21の方法において、ここで前記ブロードバンド接続情報を特定する前記データにアクセスする工程は、ブロードバンド接続に関する測定データにアクセスする工程を含む方法。
  25. 請求項24の方法において、ここで前記測定データは、接続動作データ、接続性能データ、または、前記接続に接続される無線ネットワークの性能の1つ以上を含む方法。
  26. 請求項21の方法において、ここで前記ブロードバンド接続情報を特定する前記データにアクセスする工程は、前記加入者線のユーザによって開始された測定データにアクセスする工程を含む方法。
  27. 請求項21の方法において、ここで前記ブロードバンド接続情報を特定する前記データにアクセスする工程は、性能に対する変化を決定するために、ブロードバンド接続に対して1つ以上の物理的リンク設定を変更することに応答して生成される測定データにアクセスする工程をさらに含む方法。
  28. 請求項21の方法において、ここで前記データにアクセス工程は、前記ブロードバンド接続プロバイダーのブロードバンド接続に対する動作データおよび性能データにアクセスする工程だけではなく、苦情呼び出しデータ、ディスパッチデータ、気象データ、競争相手の申し出、公開フォーラムでの顧客の苦情、近隣データ、地理データ、および/またはユーザ装置データの1つ以上にもアクセスする工程を含む方法。
  29. 請求項21の方法において、ここで前記ブロードバンド接続情報を特定する前記データにアクセスする工程は、
    収集期間の測定データを複数のサブ期間に分割する工程;および
    前記複数の変数のそれぞれに対する傾向を決定するために隣接するサブ期間の差異を演算する工程をさらに含む方法。
  30. 請求項21の方法において、ここで前記加入者線インスタンスを生成する工程は、無効または極端な値を持つデータを有する加入者線インスタンスに対して、変数値に上限または下限を設定する工程を含む方法。
  31. 請求項21の方法において、ここで前記加入者線インスタンスを生成する工程は、チャーナを分類する工程をさらに含み、ここでブロードバンド接続サービスはチャーナのタイプによって終了されたものであって、ここで前記タイプのそれぞれは、前記ブロードバンド接続サービスが終了された理由に対応する方法。
  32. 請求項21の方法において、地理データまたは前記加入者線の保有期間に基づいて前記加入者線インスタンスをセグメント化する工程をさらに含み、ここで前記チャーン予測器をビルドする工程は、各地理セグメントまたは各保有期間セグメントに対して異なるチャーン予測器をビルド生成する工程を含み、および、前記セグメント化に基づいて前記加入者線インスタンスを生成する工程を含む方法。
  33. 請求項21の方法において、ここで前記複数の変数を特定する工程は、各変数に対する評価規則にしたがって前記複数の変数を離散化する工程を含む方法。
  34. 請求項33の方法において、ここで前記複数の変数を離散化する工程は、加入者線インスタンスに利用可能なデータがない場合のすべての変数にプリセット値を設定する工程をさらに含む方法。
  35. 請求項34の方法において、ここで前記プリセット値を設定する工程は前記変数のためにゼロ値を設定する工程を含む方法。
  36. 請求項21の方法において、ここで前記複数の変数を特定する工程は、アクセスされたデータに起因する値として、1つ以上の変数を演算する工程を含む方法。
  37. 請求項21の方法において、
    前記加入者線インスタンスをサブセットに分割する工程であって、各サブセットはチャーナおよび非チャーナを含む工程をさらに含み;および、ここで前記チャーン予測器をビルドする工程は:
    複数の異なるチャーン予測モデルを持つチャーン予測器をビルドする工程であって、各モデルは各分離したサブセットの前記加入者線インスタンスのマシン学習処理に基づく工程をさらに含む方法。
  38. 請求項37の方法において、ここで前記加入者線インスタンスをサブセットに分割する工程は、各サブセットにチャーナと非チャーナの比を設定する工程をさらに含む方法。
  39. 請求項38の方法において、ここで前記加入者線インスタンスをサブセットに分割する工程は、各サブセットにチャーナと非チャーナの平衡した数を設定する工程をさらに含む方法。
  40. 請求項37の方法において、ここで前記加入者線インスタンスをサブセットに分割する工程は、すべてのチャーナをすべてのサブセットに割り当て、および、非チャーナのそれぞれをただ1つのサブセットに割り当てる工程をさらに含む方法。
  41. データを記憶するコンピュータ読み出し可能な記憶媒体を含む製品であって、アクセスされると、デバイスに請求項21から請求項40のいずれか一項に記載の方法を実行させるように機能する製品。
  42. 請求項21から請求項40のいずれか一項に記載の方法の機能を実行する動作をする手段または他の構成要素を含む装置。
  43. ブロードバンド接続サービスが終了されるであろうという予測を演算するためのシステムであって:
    ブロードバンド接続プロバイダーの加入者線に対する、物理層ブロードバンド接続情報を特定するデータを含むブロードバンド接続情報に関連するデータを記憶するデータ記憶デバイス;
    記憶された前記データから、それぞれがチャーンに関連する代表情報を示す複数の変数を特定し、および、各変数の評価規則に基づいて前記変数に値を設定するデータ処理サブシステム;および
    マシン学習ネットワークを含む予測サブシステムを実行するように構成されるサーバデバイスであって、前記予測サブシステムは加入者線インスタンスを生成し、インスタンスは前記複数の変数に割り当てられた値を含み;チャーン予測器で加入者線インスタンスを処理し、前記加入者線インスタンスのためにチャーン尤度スコアを生成し;および、尤度スコアに基づいて前記加入者線インスタンスのチャーンを予測する前記サーバデバイスを含むシステム。
  44. 請求項43のシステムにおいて、ここで前記複数の変数は、前記加入者線に対するブロードバンド接続サービスに関する顧客満足度を直接的または非直接的に反映するメトリクスを含むシステム。
  45. 請求項43のシステムにおいて、ここで前記データ処理サブシステムは、各変数に対する評価規則にしたがって前記複数の変数を離散化するシステム。
  46. 請求項45のシステムにおいて、ここで前記データ処理サブシステムは、加入者線インスタンスに利用可能なデータがない場合のすべての変数に、プリセット値を設定することによって、前記複数の変数を離散化するシステム。
  47. 請求項46のシステムにおいて、ここで前記プリセット値を設定する工程は、前記変数のためにゼロ値を設定する工程を含むシステム。
  48. 請求項43のシステムにおいて、ここで前記予測サブシステムは、上限と下限の間の値を持つ信頼スコアを生成することによってチャーン尤度スコアを生成するシステム。
  49. 請求項43のシステムにおいて、ここで前記予測サブシステムは、ゼロまたは一のいずれかの個別の2進値による票決によって、前記チャーン尤度スコアを生成し、ここで一の値はしきい値を超えるすべての値に対して生成され、および、さもなければゼロの値が生成されるシステム。
  50. 請求項43のシステムにおいて、ここで前記データ処理サブシステムは、アクセスされたデータに起因する値として、前記複数の変数の少なくとも1つを演算するシステム。
  51. 請求項43のシステムにおいて、ここで前記予測サブシステムは、複数の異なるチャーン予測モデルを持つチャーン予測器で前記加入者線インスタンスを処理し、および、各予測モデルに基づいて前記チャーン尤度スコアを生成する工程を含むシステム。
  52. 請求項51のシステムにおいて、ここで前記予測サブシステムは、スコアの平均値に基づいてチャーンを予測することによって、前記尤度スコアの組み合わせに基づいてチャーンを予測するシステム。
  53. 請求項51のシステムにおいて、ここで前記予測サブシステムは、さらに、予測されるチャーンタイプに基づいて、予防的アクションカテゴリに対して前記加入者線インスタンスを選択するシステム。
  54. 請求項53のシステムにおいて、ここで前記予測サブシステムは、チャーナの複数クラス分類システム、複数の加入者線のために収集されたデータに基づくクラスタリング分類、または、エキスパートシステムに基づいて前記加入者線インスタンスを選択することによって、前記予防的アクションカテゴリに対する前記加入者線インスタンスを選択するシステム。
  55. 請求項53のシステムにおいて、ここで前記予測サブシステムは、接続リセット、または、金銭的なクレジットの1つ以上のために加入者線インスタンスを選択することによって、前記予防的アクションカテゴリに対する前記加入者線インスタンスを選択するシステム。
  56. 請求項53のシステムにおいて、ここで前記予測サブシステムは、接続性能を改善するように、自動的に構成を変更する前記加入者線インスタンスを選択することによって、前記予防的アクションカテゴリに対する前記加入者線インスタンスを選択するシステム。
  57. ブロードバンド接続サービスが終了されるであろうという予測を演算するための方法であって:
    物理層ブロードバンド接続情報を特定するデータを含む、ブロードバンド接続プロバイダーの加入者線のブロードバンド接続情報に関連するデータをアクセスする工程;
    アクセスされた前記データから、それぞれがチャーンに関連する代表情報を示す複数の変数を特定し、および、各変数の評価規則に基づいて前記変数に値を設定する工程;
    加入者線インスタンスを生成する工程であって、インスタンスは前記複数の変数に割り当てられた値を含む工程;
    前記加入者線インスタンスのためにチャーン尤度スコアを生成する工程を含む、チャーン予測器で前記加入者線インスタンスを処理する工程;および
    尤度スコアに基づいて前記加入者線インスタンスのチャーンを予測する工程を含む方法。
  58. 請求項57の方法において、ここで前記複数の変数は、前記加入者線に対するブロードバンド接続サービスに関する顧客満足度を直接的または非直接的に反映するメトリクスを含む方法。
  59. 請求項57の方法において、ここで前記複数の変数を特定する工程は、各変数に対する評価規則にしたがって前記複数の変数を離散化する工程を含む方法。
  60. 請求項59の方法において、ここで前記複数の変数を離散化する工程は、加入者線インスタンスに利用可能なデータがない場合のすべての変数にプリセット値を設定する工程をさらに含む方法。
  61. 請求項60の方法において、ここで前記プリセット値を設定する工程は、前記変数のためにゼロ値を設定する工程を含む方法。
  62. 請求項57の方法において、ここで前記チャーン尤度スコアを生成する工程は、上限と下限の間の値を持つ信頼スコアを生成する工程を含む方法。
  63. 請求項57の方法において、ここで前記チャーン尤度スコアを生成する工程は、ゼロまたは一のいずれかの個別の2進値によって票決する工程を含み、ここで一の値はしきい値を超えるすべての値に対して生成され、および、さもなければゼロの値が生成される方法。
  64. 請求項57の方法において、ここで前記複数の変数を特定する工程は、アクセスされたデータに起因する値として、すくなくとも1つの変数を演算する工程を含む方法。
  65. 請求項57の方法において、ここで前記加入者線インスタンスを処理する工程は、複数の異なるチャーン予測モデルを持つチャーン予測器で前記加入者線インスタンスを処理する工程、および、各予測モデルに基づいて前記チャーン尤度スコアを生成する工程を含む方法。
  66. 請求項65の方法において、ここで前記尤度スコアの組み合わせに基づいてチャーンを予測する工程は、スコアの平均値に基づいてチャーンを予測する工程を含む方法。
  67. 請求項65の方法において、予測されるチャーンタイプに基づく予防的アクションカテゴリに対して、前記加入者線インスタンスを生成する工程をさらに含む方法。
  68. 請求項67の方法において、ここで前記予防的アクションカテゴリに対して前記加入者線インスタンスを選択する工程は、チャーナの複数クラス分類システム、複数の加入者線のために収集されたデータに基づくクラスタリング分類、または、エキスパートシステムに基づいて前記加入者線インスタンスを選択する工程を含む方法。
  69. 請求項67の方法において、ここで前記予防的アクションカテゴリに対して前記加入者線インスタンスを選択する工程は、接続リセット、または、金銭的なクレジットの1つ以上のために前記加入者線インスタンスを選択する工程を含む方法。
  70. 請求項67の方法において、ここで前記予防的アクションカテゴリに対して前記加入者線インスタンスを選択する工程は、接続性能を改善するように、自動的に構成を変更する前記加入者線インスタンスを選択する工程を含む方法。
  71. データを記憶するコンピュータ読み出し可能な記憶媒体を含む製品であって、アクセスされると、デバイスを請求項57から70のいずれか一項に記載の方法を実行するように機能させる製品。
  72. 手段または他の構成要素を含む装置であって、請求項57から70のいずれか一項に記載の方法の機能を実行するように動作させる装置。
JP2015558114A 2013-02-14 2014-02-12 ブロードバンドネットワークのチャーン予測 Pending JP2016517550A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/US2013/026236 WO2014126576A2 (en) 2013-02-14 2013-02-14 Churn prediction in a broadband network
USPCT/US2013/026236 2013-02-14
PCT/US2014/016118 WO2014127051A1 (en) 2013-02-14 2014-02-12 Churn prediction in a broadband network

Publications (1)

Publication Number Publication Date
JP2016517550A true JP2016517550A (ja) 2016-06-16

Family

ID=47846138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015558114A Pending JP2016517550A (ja) 2013-02-14 2014-02-12 ブロードバンドネットワークのチャーン予測

Country Status (3)

Country Link
US (1) US20210319375A1 (ja)
JP (1) JP2016517550A (ja)
WO (2) WO2014126576A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139301A1 (ja) * 2017-01-24 2018-08-02 日本電気株式会社 情報処理装置、情報処理方法、及び、情報処理プログラムが記録された記録媒体
JP2021526670A (ja) * 2018-06-08 2021-10-07 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドShanghai Cambricon Information Technology Co.,Ltd. 汎用機械学習モデル、モデルファイルの生成および解析方法
JP2022548251A (ja) * 2019-09-13 2022-11-17 リミニ ストリート、インコーポレイテッド 事前対応型クライアント関係分析のための方法及びシステム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189178A1 (en) * 2014-12-31 2016-06-30 Reveel Inc. Apparatus and method for predicting future incremental revenue and churn from a recurring revenue product
US20160203509A1 (en) * 2015-01-14 2016-07-14 Globys, Inc. Churn Modeling Based On Subscriber Contextual And Behavioral Factors
TR201515448A2 (tr) * 2015-12-04 2017-06-21 Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi Bi̇r şebeke trafi̇k tahmi̇nleme si̇stemi̇
US11755759B2 (en) * 2017-08-10 2023-09-12 Shardsecure, Inc. Method for securing data utilizing microshard™ fragmentation
US11538049B2 (en) * 2018-06-04 2022-12-27 Zuora, Inc. Systems and methods for predicting churn in a multi-tenant system
US10353764B1 (en) 2018-11-08 2019-07-16 Amplero, Inc. Automated identification of device status and resulting dynamic modification of device operations
EP3902314B1 (en) * 2020-04-21 2022-10-12 Rohde & Schwarz GmbH & Co. KG Method of training a test system for mobile network testing, test system as well as method of mobile testing
US20230097572A1 (en) * 2021-09-29 2023-03-30 Intuit Inc. Optimizing questions to retain engagement
US20230385851A1 (en) * 2022-05-30 2023-11-30 Microsoft Technology Licensing, Llc Tools and methods for user-engagement modeling and optimization

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050052992A1 (en) * 2003-08-01 2005-03-10 Cloonan Thomas J. Method and system for dynamically managing cable data bandwidth based on channel congestion state and subscriber usage profile
US20070185867A1 (en) * 2006-02-03 2007-08-09 Matteo Maga Statistical modeling methods for determining customer distribution by churn probability within a customer population
US7865419B2 (en) * 2007-01-25 2011-01-04 Richard P. ROJECK Systems and methods for generating a metric of financial status relative to a financial goal
US20120053990A1 (en) * 2008-05-07 2012-03-01 Nice Systems Ltd. System and method for predicting customer churn
US20100250477A1 (en) * 2009-03-31 2010-09-30 Shekhar Yadav Systems and methods for optimizing a campaign
US8478709B2 (en) * 2010-03-08 2013-07-02 Hewlett-Packard Development Company, L.P. Evaluation of client status for likelihood of churn
ES2837552T3 (es) * 2010-03-13 2021-06-30 Univ Carnegie Mellon Método para reconocer y clasificar una planta de raíz desnuda
US20110295649A1 (en) * 2010-05-31 2011-12-01 International Business Machines Corporation Automatic churn prediction
US8595154B2 (en) * 2011-01-26 2013-11-26 Google Inc. Dynamic predictive modeling platform
US9398347B2 (en) * 2011-05-30 2016-07-19 Sandvine Incorporated Ulc Systems and methods for measuring quality of experience for media streaming

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139301A1 (ja) * 2017-01-24 2018-08-02 日本電気株式会社 情報処理装置、情報処理方法、及び、情報処理プログラムが記録された記録媒体
JPWO2018139301A1 (ja) * 2017-01-24 2019-11-07 日本電気株式会社 情報処理装置、情報処理方法、及び、情報処理プログラムが記録された記録媒体
JP2021526670A (ja) * 2018-06-08 2021-10-07 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドShanghai Cambricon Information Technology Co.,Ltd. 汎用機械学習モデル、モデルファイルの生成および解析方法
US11726754B2 (en) 2018-06-08 2023-08-15 Shanghai Cambricon Information Technology Co., Ltd. General machine learning model, and model file generation and parsing method
JP7386706B2 (ja) 2018-06-08 2023-11-27 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッド 汎用機械学習モデル、モデルファイルの生成および解析方法
JP2022548251A (ja) * 2019-09-13 2022-11-17 リミニ ストリート、インコーポレイテッド 事前対応型クライアント関係分析のための方法及びシステム
JP7449371B2 (ja) 2019-09-13 2024-03-13 リミニ ストリート、インコーポレイテッド 事前対応型クライアント関係分析のための方法及びシステム

Also Published As

Publication number Publication date
WO2014127051A1 (en) 2014-08-21
US20210319375A1 (en) 2021-10-14
WO2014126576A2 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
US20210319375A1 (en) Churn prediction in a broadband network
US20150371163A1 (en) Churn prediction in a broadband network
US10387240B2 (en) System and method for monitoring and measuring application performance using application index
Jin et al. Nevermind, the problem is already fixed: proactively detecting and troubleshooting customer dsl problems
JP7145764B2 (ja) 人工知能に基づくネットワークアドバイザー
US11240125B2 (en) System and method for predicting and reducing subscriber churn
US8260622B2 (en) Compliant-based service level objectives
Powers et al. Short term performance forecasting in enterprise systems
US8918345B2 (en) Network analysis system
KR20140090194A (ko) 애플리케이션별 자원 사용 정보의 제공 기법
US20070297337A1 (en) Apparatus and methods for determining availability and performance of entities providing services in a distributed system using filtered service consumer feedback
CN112702224B (zh) 一种针对家庭宽带用户质差的分析方法和装置
CN114430826A (zh) 用于预测计算工作负载的时间序列分析
US7369967B1 (en) System and method for monitoring and modeling system performance
US11775412B2 (en) Machine learning models applied to interaction data for facilitating modifications to online environments
US20150310334A1 (en) Method and apparatus for assessing user experience
JP7369630B2 (ja) 互換性のあるコンポーネントの非同期選択のシステムおよび方法
EP3383088A1 (en) A computer implemented method, a system and computer programs to quantify the performance of a network
CN116915710A (zh) 流量预警方法、装置、设备及可读存储介质
CN110490132B (zh) 数据处理方法和装置
CN104992060A (zh) 用户年龄估计方法及装置
Yusuf-Asaju et al. Mobile network quality of experience using big data analytics approach
CN115619430A (zh) 用户价值评估方法及装置
US11243833B2 (en) Performance event troubleshooting system
CN103455858B (zh) 面向服务的系统中的质量动态预警方法