JP2023501523A - 説明可能人工知能ベースの販売最大限化決定モデル - Google Patents

説明可能人工知能ベースの販売最大限化決定モデル Download PDF

Info

Publication number
JP2023501523A
JP2023501523A JP2022527120A JP2022527120A JP2023501523A JP 2023501523 A JP2023501523 A JP 2023501523A JP 2022527120 A JP2022527120 A JP 2022527120A JP 2022527120 A JP2022527120 A JP 2022527120A JP 2023501523 A JP2023501523 A JP 2023501523A
Authority
JP
Japan
Prior art keywords
model
decision
sales
variables
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022527120A
Other languages
English (en)
Inventor
マーク コーエン,
ピニ ベン-オル,
Original Assignee
アクタナ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクタナ, インコーポレイテッド filed Critical アクタナ, インコーポレイテッド
Priority claimed from PCT/US2020/035773 external-priority patent/WO2021096564A1/en
Publication of JP2023501523A publication Critical patent/JP2023501523A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375Prediction of business process outcome or impact based on a proposed change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0202Market predictions or forecasting for commercial activities
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/40ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Accounting & Taxation (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)

Abstract

本開示は、決定モデルを説明するためのシステム、方法、およびコンピュータプログラム製品を提供する。例示的方法は、(a)1つまたはそれを上回る予測モデルを生成するステップと、(b)(i)動作制約のセットと、(ii)ブランド方略ルールのセットとを予測モデルに課すことによって、決定モデルを1つまたはそれを上回る予測モデルから生成するステップと、(c)決定モデルを使用して、1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定するステップと、(d)説明可能性モデル化を決定モデルに適用し、説明モデルを生成するステップであって、説明モデルは、1人またはそれを上回るユーザによって、1つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含んでもよい。

Description

(関連出願の相互参照)
本願は、それぞれ、参照することによって本明細書に全体的に組み込まれる、2019年11月13日に出願された、米国仮特許出願第62/934,955号、および2019年12月16日に出願された、米国仮特許出願第62/948,719号の優先権を主張する。
機械学習(ML)モデルは、1つまたはそれを上回る入力からの1つまたはそれを上回る出力を予測または分類するように訓練され得る、アルゴリズムである。MLモデルは、データを分類し、データの特徴を予測し、データに基づいて、推奨を行うことができる。しかしながら、MLモデルは、非常に複雑であり得る、すなわち、それらは、数千の特徴を入力として受信し、数千のパラメータを有し得、パラメータは、非線形であり得る。加えて、MLモデルの下層構造および機能は、不透明であり得る。換言すると、人間ユーザにとって、MLモデルがあるデータを解釈する方法およびMLモデルが特定の出力を生成する理由が不明確であり得る。実践的AI技術は、典型的には、ルールおよび最適化を伴う決定モデル等のMLモデル以外の付加的要素を含む。説明可能人工知能(xAI)は、MLおよびAIモデルがそれらが行った出力を生成する方法および理由を説明するためのアプローチを開発することを専門とする、研究の分野である。
本開示は、事業のための意思決定プロセスを扇動し、狭義に解釈されるMLモデル以外のxAIをAI決定モデルのより一般的カテゴリに拡張させることを伴う、モデルを説明するための方法を提供する。そのようなモデルは、本開示では、「決定モデル」と称され得る。決定モデルは、予測モデルを含有してもよい、または、何らかの方法で、履歴データ上で訓練され、多くの実践的用途に関して、1つまたはそれを上回る制約によって限定され得る、予測または分類MLモデルに基づいてもよい。制約は、予測モデルが生成し得る、実践的出力の範囲を限定する、事業に課される、動作制約であってもよい。加えて、または代替として、制約は、同様に、決定モデルが生成し得る、出力の範囲を限定する、事業の目標と整合する、事業によって設定される、ルールであってもよい。訓練された決定モデルは、1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定することができる。標的変数は、事業メトリック、例えば、販売メトリックであってもよい。本明細書に説明される方法は、説明モデルを決定モデルから生成するステップを含むことができる。説明モデルは、モデルの構造および機能の洞察を得るために使用可能であり得る。
上記に説明される方法は、組織が、それが使用する、決定モデルをより深く理解し、組織内の利害関係者が、そのようなモデルを信用し、その決定に従うように説得することを有効にし得る。これは、特に医師との相互作用を扇動するための決定モデルの使用が実質的に増加され得る、医薬品販売の分野において望ましくあり得る。そのような決定モデルは、医薬品販売および医師関与を改良するために、医師に対して話す方法、時間、および内容に関する決定を管理するように進化している。最も効果的であるために、そのような決定モデルは、ブランド方略、事業制約、および人間挙動を予測する、モデルを統合し得る。これらの要因のそれぞれの効果は、個々には理解可能であり得るが、合成決定モデルの挙動は、説明することがはるかに難しくあり得る。これは、特に、MLベースの分析に依拠する、決定モデルに関して当てはまり得る。決定モデルが、事業ルールによって制約されず、単一MLまたは人工知能(AI)モデルにのみ依拠する場合でも、その決定は、利害関係者に説得力のあるものであるために、理解可能である必要があり得る。例えば、決定モデルが、販売員が対面において特定のメッセージを医師に送達することを推奨する場合、販売員が、推奨(より一般的には、本システム)を確信し、推奨に従うように、販売員が、本システムがそのような推奨を行った理由を把握することが重要であり得る。
ある側面では、本開示は、1つまたはそれを上回る製品の販売を増加させるために使用可能である、1つまたはそれを上回るモデルの説明可能性を向上させるためのコンピュータ実装方法を提供する。本方法は、少なくとも部分的に、(i)標的変数のセットと、(ii)特徴のセットと、(iii)決定変数のセットとに基づいて、1つまたはそれを上回る予測モデルを生成するステップであって、特徴は、標的変数を予測し、それに影響を及ぼし、決定変数は、特徴のセットのサブセットである、ステップと、(i)動作制約のセットと、(ii)ブランド方略ルールのセットとを1つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成するステップであって、動作制約のセットは、1つまたはそれを上回る製品の使用を促進するための1人またはそれを上回る標的人員と相互作用する、1人またはそれを上回る販売担当者と関連付けられる、ロジスティック制約を含み、ブランド方略ルールのセットは、販売のための1つまたはそれを上回る製品を提案する、1つまたはそれを上回るエンティティによって定義される、ステップと、決定モデルを使用して、標的変数のセット内の1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定するステップと、説明可能性モデル化を決定モデルおよび1つまたはそれを上回る最適アクションに適用し、説明モデルを生成するステップであって、説明モデルは、1人またはそれを上回るユーザによって、1つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含んでもよい。
いくつかの実施形態では、1人またはそれを上回る標的人員は、医療提供者(HCP)を含んでもよい。1つまたはそれを上回る製品は、医薬品製品を含んでもよい。標的変数は、HCPによって行われる1つまたはそれを上回るアクションと関連付けられる、1つまたはそれを上回るカテゴリおよび/または持続的変数を含んでもよい。
決定モデルはまた、保健医療および医薬品セクタ外で実装されてもよい。例えば、決定モデルは、小売、財務サービス、および消費者製品セクタにおいて実装されてもよい。決定モデルはまた、軍事、輸送、およびロボット技術と併用されてもよい。例えば、決定モデルは、複雑な財務モデルによって行われる予測の洞察を提供する、または軍当局者が洞察を情報報告もしくはセンサデータから抽出することに役立てるために使用されてもよい。加えて、決定モデルは、消費者を小売店に扇動し、オンラインショッピングから離れる、要因を説明することに役立ち得る。
いくつかの実施形態では、上記の方法における1つまたはそれを上回るアクションは、(1)HCPが、1人またはそれを上回る販売担当者によって標的に送信される、電子メール対応を開くこと、または(2)HCPが、医薬品製品と関連付けられる、オンライン報告を読むことを含んでもよい。
いくつかの実施形態では、標的変数は、医薬品製品と関連付けられる、1つまたはそれを上回る持続的変数を含んでもよく、1つまたはそれを上回る持続的変数は、処方箋、市場占有率、または医薬品製品に関する販売数を含む。
いくつかの実施形態では、特徴のセットは、HCPと関連付けられる、人口統計データを含んでもよい。人口統計データは、HCPの年齢、性別、教育背景、およびセグメントメンバーシップを含んでもよい。特徴のセットは、HCPの患者母集団特性を示す、患者データを含んでもよい。特徴のセットは、HCPと1人またはそれを上回る販売担当者との間の通信と関連付けられる、連絡履歴を含んでもよい。いくつかの実施形態では、連絡履歴は、以下、すなわち、(1)1人またはそれを上回る販売担当者によるHCPへの訪問の回数、(2)訪問の際の会話の話題、(3)1人またはそれを上回る販売担当者によってHCPに送信された電子メール対応の回数、(4)送信された電子メール対応の話題、(5)1人またはそれを上回る販売担当者によってHCPに提供された医薬品製品に関連する文書、(6)1人またはそれを上回る販売担当者およびHCPによって出席されたウェビナー、および(7)1人またはそれを上回る販売担当者およびHCPによって出席された会議のうちの1つまたはそれを上回るものを含んでもよい。
いくつかの実施形態では、決定変数のセットは、1人またはそれを上回る販売担当者によって、または第三者によって、制御可能かつ実行される、アクションおよびタイミングを含んでもよい。
いくつかの実施形態では、論理制約は、以下、すなわち、(1)1人またはそれを上回る販売担当者によるHCPへの訪問のペースを維持すること、(2)訪問と非対面相互作用を協調させること、または(3)1人またはそれを上回る販売担当者がある担当地域を体系的または効率的様式において横断することのうちの1つまたはそれを上回るものと関連付けられてもよい。
いくつかの実施形態では、ブランド方略ルールのセットを定義する、1つまたはそれを上回るエンティティは、医薬品製品のためのブランド管理および販売戦略チームを含んでもよい。
いくつかの実施形態では、標的変数のセットは、平均グループ施設販売数からの販売数偏差を含んでもよい。いくつかの実施形態では、1つまたはそれを上回る予測モデルは、平均グループ施設販売数からの販売数偏差である、選択された標的を用いて、ランダムフォレスト回帰を使用して構築されてもよい。
いくつかの実施形態では、説明モデルは、反事実のセットを使用して、複数の予測子の空間を網羅する、複数の観察を生成することによって生成されてもよい。複数の予測子は、以下、すなわち、(1)ある数のHCPを有する、医療施設、(2)医療施設におけるHCPへの予定外訪問の回数、または(3)販売データが収集される、会計四半期のうちの1つまたはそれを上回るものを備えてもよい。
いくつかの実施形態では、説明可能性モデル化を適用するステップは、空間全体にわたって回帰的パーティション化を使用して、共変量関係の洞察を有効にするステップを含んでもよい。
いくつかの実施形態では、説明モデルは、大域的説明モデルを含んでもよい。代替として、大域的説明モデルは、非制約大域的決定木を含んでもよい。いくつかの実施形態では、大域的説明モデルは、制約された大域的決定木を含んでもよい。
いくつかの実施形態では、説明可能性モデル化を適用するステップは、空間全体にわたっての代わりに、空間のマージンに対する回帰的パーティション化を使用するステップを含んでもよい。
いくつかの実施形態では、説明モデルは、局所的説明モデルを含んでもよい。局所的説明モデルは、局所的決定木を含んでもよい。
いくつかの実施形態では、説明モデルは、1人またはそれを上回るユーザが、マーケティング分析のあるドメインにおける最適決定、1対1のマーケティング、および推奨の個人化を行い、1つまたはそれを上回る製品の販売を増加させるために使用可能であってもよい。
別の側面は、1つまたはそれを上回る製品の販売を増加させるために使用可能である、1つまたはそれを上回るモデルの説明可能性を向上させるためのシステムを提供する。本システムは、1つまたはそれを上回るプロセッサと、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、少なくとも部分的に、(i)標的変数のセットと、(ii)特徴のセットと、(iii)決定変数のセットとに基づいて、1つまたはそれを上回る予測モデルを生成するステップであって、特徴は、標的変数を予測し、それに影響を及ぼし、決定変数は、特徴のセットのサブセットである、ステップと、(i)動作制約のセットと、(ii)ブランド方略ルールのセットとを1つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成するステップであって、動作制約のセットは、1人またはそれを上回る標的人員と相互作用し、1つまたはそれを上回る製品の使用を促進する、1人またはそれを上回る販売担当者と関連付けられる、ロジスティック制約を含み、ブランド方略ルールのセットは、販売のための1つまたはそれを上回る製品を提案する、1つまたはそれを上回るエンティティによって定義される、ステップと、決定モデルを使用して、標的変数のセット内の1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定するステップと、説明可能性モデル化を決定モデルおよび1つまたはそれを上回る最適アクションに適用し、説明モデルを生成するステップであって、説明モデルは、1人またはそれを上回るユーザによって、1つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含む、動作を実施させる、命令を記憶する、メモリとを備えてもよい。
さらなる側面は、非一過性コンピュータ可読記憶媒体であって、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、少なくとも部分的に、(i)標的変数のセットと、(ii)特徴のセットと、(iii)決定変数のセットとに基づいて、1つまたはそれを上回る予測モデルを生成するステップであって、特徴は、標的変数を予測し、それに影響を及ぼし、決定変数は、特徴のセットのサブセットである、ステップと、(i)動作制約のセットと、(ii)ブランド方略ルールのセットとを1つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成するステップであって、動作制約のセットは、1人またはそれを上回る標的人員と相互作用し、1つまたはそれを上回る製品の使用を促進する、1人またはそれを上回る販売担当者と関連付けられる、ロジスティック制約を含み、ブランド方略ルールのセットは、販売のための1つまたはそれを上回る製品を提案する、1つまたはそれを上回るエンティティによって定義される、ステップと、決定モデルを使用して、標的変数のセット内の1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定するステップと、説明可能性モデル化を決定モデルおよび1つまたはそれを上回る最適アクションに適用し、説明モデルを生成するステップであって、説明モデルは、1人またはそれを上回るユーザによって、1つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含む、動作を実施させる、命令を含む、非一過性コンピュータ可読記憶媒体を提供する。
本開示の別の側面は、1つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える、非一過性コンピュータ可読媒体を提供する。
本開示の別の側面は、1つまたはそれを上回るコンピュータプロセッサと、それに結合されるコンピュータメモリとを備える、システムを提供する。コンピュータメモリは、1つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える。
本開示の付加的側面および利点が、本開示の例証的実施形態のみが示され、説明される、以下の詳細な説明から当業者に容易に明白な状態となるであろう。認識されるであろうように、本開示は、他の異なる実施形態が可能であり、そのいくつかの詳細は、全て本開示から逸脱することなく、種々の明白な点において修正が可能である。故に、図面および説明は、制限的ではなく、本質的に例証的と見なされるべきである。
(参照による組み込み)
本明細書に言及される全ての公開文書、特許、および特許出願は、各個々の公開文書、特許、または特許出願が、具体的かつ個々に示された場合と同程度に、参照することによって本明細書に組み込まれる。参照することによって組み込まれる公開文書および特許または特許出願は、本明細書に含有される開示と矛盾する範囲で、本明細書が、任意のそのような矛盾する資料に優先する、ならびに/もしくはその上位にあると意図される。
本発明の新規の特徴が、添付の請求項において具体的に記載される。本発明の特徴および利点のより深い理解が、本発明の原理が利用される例証的実施形態を記載する、以下の詳細な説明ならびに付随の図面(また、本明細書では「図(FigureおよびFIG.)」)を参照することによって取得されるであろう。
図1は、種々のモデル化技法の略図である。
図2は、決定モデルおよび決定モデルの説明可能性モデルを生成し得る、システムを図式的に図示する。
図3は、決定モデルの説明モデルを生成するための例示的プロセスのフローチャートである。
図4は、予測モデルを訓練するためのデータの分布を示す。
図5は、標的値に対する予測モデルの予測される値の散布図を示す。
図6は、予測モデルの予測の表面を示す。
図7は、予測子のいくつかの組み合わせに対する予測モデルの標的変数を追跡する、プロットを示す。
図8は、決定モデルの大域的説明木を示す。
図9は、決定モデルの局所的説明木を示す。
図10A、10B、および10Cは、決定モデルのLIME係数を示す。 図10A、10B、および10Cは、決定モデルのLIME係数を示す。 図10A、10B、および10Cは、決定モデルのLIME係数を示す。
図11は、本明細書に提供される方法を実装するようにプログラムまたは別様に構成される、コンピュータシステムを示す。
詳細な説明
本発明の種々の実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白となるであろう。多数の変形例、変更、および代用が、本発明から逸脱することなく、当業者に想起され得る。本明細書に説明される本発明の実施形態に対する種々の代替が、採用され得ることを理解されたい。
用語「少なくとも」、「~を上回る」、または「~を上回る、またはそれに等しい」が、一連の2つまたはそれを上回る数値の中の第1の数値に先行する度に、用語「少なくとも」、「~を上回る」、または「~を上回る、またはそれに等しい」は、その一連の数値の中の数値のそれぞれに適用される。例えば、「1、2、または3を上回る、またはそれに等しい」は、「1を上回る、またはそれに等しい」、「2を上回る、またはそれに等しい」、もしくは「3を上回る、またはそれに等しい」と同等である。
用語「~以下」、「~未満」、または「~未満またはそれに等しい」が、一連の2つまたはそれを上回る数値の中の第1の数値に先行する度に、用語「~以下」、「~未満」、または「~未満またはそれに等しい」は、その一連の数値の中の数値のそれぞれに適用される。例えば、「3、2、または1未満またはそれに等しい」は、「3未満またはそれに等しい」、「2未満またはそれに等しい」、もしくは「1未満またはそれに等しい」と同等である。
本開示は、事業のための意思決定プロセスを扇動する、モデルを説明するための方法を提供する。そのようなモデルは、本開示では、「決定モデル」と称され得る。決定モデルは、履歴データ上で訓練され、1つまたはそれを上回る制約によって限定され、いくつかの事業の財務上の目標を最適化する、決定を識別する、予測モデル、例えば、機械学習(ML)モデルを含んでもよい。制約は、予測モデルが生成し得る、実践的出力の範囲を限定する、事業に課される、動作制約であってもよい。加えて、または代替として、制約は、同様に、予測モデルが生成し得る、決定出力の範囲を限定し、事業目標を最適化する、事業の目標と整合する、事業によって設定される、ルールであってもよい。訓練された決定モデルは、1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定することができる。標的変数は、事業メトリック、例えば、販売メトリックであってもよい。本明細書に説明される方法は、説明モデルを決定モデルから生成するステップを含むことができる。説明モデルは、モデルの構造および機能の洞察を得るために使用可能であり得る。
MLおよび人工知能(AI)モデルの一般化の前に、統計的モデルが、概して、予測および解釈可能であるように設計された。モデルは、人物が、モデルが決定する、標的変数に及ぼされる、予測子または予測子のグループの影響を理解し得る場合、「解釈可能」であり得る。代替として、または加えて、モデルは、(i)人物が、試験されていないデータ上において、その挙動について正確な予測を行うために十分なモデルを理解し得る場合、または(ii)人物が、それを信じるためにモデルを十分に信頼する場合、「解釈可能」であり得る。そのような解釈可能モデルは、高確実度を伴って、標的変数に及ぼされる特定の予測子の効果を区別するように設計された。本目的のために、解釈可能モデルは、典型的には、パラメトリックであって、多くの場合、線形であった。そのようなパラメータモデルのパラメータは、予測子と標的変数との間の下層関係の洞察を提供するように設計された。
今日の最先端モデルは、概して、従来的パラメータモデルより複雑かつより不透明である。そのようなモデルは、深層ニューラルネットワークおよびアンサンブルモデルを含む。予測子が複雑なMLモデルにおいて果たす役割を理解することは、現在、「説明可能AI」(xAI)または「説明可能性」と称される。図1は、Gunning, D.の「Explainable Artificial Intelligence(XAI)」(参照することによってその全体として本明細書に組み込まれる)からの種々のモデル化技法の略図である。
説明可能性モデル
説明可能性モデルは、本質的に解釈可能である、モデル、または他の解釈不能モデルを説明する、モデルであってもよい。説明可能性モデルは、深層説明モデル、解釈可能モデル、およびモデルのモデル(「モデル帰納法」)を含んでもよい。深層説明モデルは、ニューラルネットワークであって、その中でノードは、種々の層の加重がニューラルネットワークの扇動子を明らかにするように、特徴として識別される。解釈可能モデルは、線形モデル、パラメータモデル、木モデル、ベイズモデル、および同等物を含む、本質的に解釈可能である、モデルである。また、モデル帰納法は、それによって、より多くの解釈可能モデルが下層モデルの上に構築される、技法である。モデル帰納法内で使用され得る、モデルの実施例は、局所的解釈可能モデル非依存型説明(LIME)、Shapley付加説明(SHAP)、回帰を介した反事実局所的説明(CLEAR)、Anchors、および一共変量抜き法(LOCO)である。
説明可能性モデルは、局所的または大域的であってもよい。モデルの局所的説明可能性は、下層モデルの、すなわち、訓練または試験データの空間内の単一点における、具体的予測を説明し得る。例えば、画像分類のコンテキストでは、モデルの局所的説明可能性は、特定の画像が特定の方法において分類される結果をもたらす、扇動子を識別し得る。一般に、モデルの局所的説明可能性は、入力特徴の線形に加重された組み合わせを使用して、モデルの局所的挙動を説明する、説明を提供し得る。線形関数は、理解が容易な様式において、特徴の相対的重要性を捕捉することができる。大域的説明可能性モデルは、一方、広範囲の観測されていないインスタンスを説明することを求め得る。
モデルの局所的説明可能性
モデルの局所的説明可能性の一実施例は、LIMEである。LIMEは、線形モデルを特定のデータサンプル(例えば、入力特徴のセット)に適合する、技法である。線形モデルは、それぞれ、特定の特徴が下層モデルの出力に寄与する、量を示す、係数を有してもよい。LIMEは、入力特徴を摂動させ、下層モデルの出力に及ぼされる結果として生じる影響を観察することによって、係数を決定してもよい。LIMEは、データサンプルの周囲でサンプリングされるインスタンスにおける下層モデルの加重された予測の集合を保存してもよい。加重は、データサンプルまでの距離に基づいてもよい。モデルの線形近似が、より複雑な下層モデルの挙動を説明するために使用されてもよい。
モデルの局所的説明可能性の別の実施例は、Anchorsである。Anchorsは、LIMEと異なり、相互作用効果を考慮し得、テキストマイニング用途において、説明により正確に起因し得る。Anchorsは、そのセット内にない任意の特徴が含まれる場合、予測が「実質的に」変化しないような特徴のセットを探す。「実質的に」は、事前に規定された量未満である、予測の変化の尤度の予期される値によって定義される。Anchorsは、大空間がAnchors基準を充足させるために検索される必要があり得るため、算出上複雑であり得る。
モデルの局所的説明可能性の別の実施例は、CLEARである。CLEARは、反事実の使用を利用し、また、LIMEの一変量限界をさらに展開させる。CLEARは、「もし事物が異なった場合どうなるか」という質問に特徴セットを用いて回答することによって、w-反事実の概念を使用して、予測を説明する。データをランダムにサンプリングし、LIMEにおけるように、着目点までの近接度によって、そのようなデータに加重するのではなく、CLEAR法は、着目データ点の周囲の空間を体系的に検索し、それらの点において、モデルを評価し、反事実を生産し、分類変化を識別する。これが生じる、点は、次いで、説明のための回帰モデルを構築し、したがって、当該点の周囲の説明の忠実性を改良するために使用されることができる。
モデルの局所的説明可能性の別の実施例は、LOCOである。LOCOは、変数重要性を測定する、メトリックを生成し得る。メトリックは、完成モデルまたは共変量のうちの1つを用いて構築されるモデルからの誤差における差異に基づいてもよい。メトリックは、それを試験データセット内の全てのインスタンスに適用し、次いで、変数重要性メトリックの分布を分析することによって、局所的様式または大域的様式において分析されることができる。単一インスタンスメトリックは、変数分裂の順序を変化させることによるノード純度の減少を分析することによって、ランダムフォレスト内で使用される、変数重要性測定に類似する。
大域的説明可能性モデル
大域的説明モデルの一実施例は、Shapley付加説明(SHAP)である。SHAPは、予測を解釈するための統合されたフレームワークであって、各特徴に、特定の予測の重要性値を割り当てる。このように、これは、上記に説明される局所的アプローチのうちのいくつかに類似する。
SHAPに関する1つのフレームワークは、付加的特徴属性法であって、これは、相対的特徴重要性の表現を予測モデル内に提供する。付加的特徴属性は、変換され、加重された、特徴項の和として、下層予測モデルを推定し得る。本方法は、損失関数を最小限にすることによって、加重を決定し得る。より重く加重される、特徴は、したがって、予測にとってより重要であると推測され得る。
これは、新しいモデルが、予測子毎に、その予測子を抜いて構築され、次いで、新しいモデルが、着目点において評価され、完全モデルからの予測との予測の値における差異が、その予測子に関する非ゼロ生起によって加重されるという点で、LOCOに類似する。他の大域的説明可能性モデルは、部分的依存性プロット、回帰的パーティション化、決定木方法、および同等物を含む。
図2は、決定モデルおよび決定モデルの説明可能性モデルを生成し得る、システム200を図式的に図示する。決定モデルは、推奨を人物またはエンティティ(例えば、事業)に行う、モデルであってもよい。推奨は、人物またはエンティティにとって着目される標的変数を最小限にする、最大限にする、または別様に最適化する、アクションであってもよい。例えば、販売組織のための決定モデルは、販売員が、顧客が製品を購入する尤度を最大限にする、顧客連絡を開始することを推奨し得る。推奨は、顧客連絡の内容、時間、およびモード(例えば、対面、電話、または電子メール)を含んでもよい。
決定モデルは、その挙動が、不透明であって、説明を要求するほど複雑であり得る。システム200は、推奨毎に、決定モデルがそれが行った特定の推奨を行った理由を実証する、説明を生成する、決定モデルの説明可能性モデルを生成することができる。例えば、上記に説明される販売組織のための決定モデルを継続して参照すると、説明可能性モデルは、決定モデルが顧客連絡の特定のモードを推奨した理由を実証する、説明を生成することができる。
システム200は、予測モデル生成器205を含むことができる。予測モデル生成器205は、予測モデル
Figure 2023501523000002
を生成することができる。それらは、標的変数であってもよい。それらは、顧客が特定のアクション(例えば、電子メールを開く、電話に応対する、オンライン報告を読む、提案された製品を購入する等)を行うであろうかどうか等のカテゴリ標的変数であってもよい。代替として、Yは、販売組織が提案する製品に関する市場占有率、または顧客による販売組織の認知度等の持続的標的変数であってもよい。
Xは、標的変数Yを予測する、または予測すると考えられる、特徴であってもよい。販売組織のための予測モデルを継続して参照すると、Xは、顧客についての人口統計情報(例えば、年齢、性別、教育背景、および同等物)を含んでもよい。顧客の人口統計プロファイルは、例えば、顧客が受信することを好む、通信のタイプ(例えば、電子メールではなく、電話)を予測してもよい。Xはまた、顧客の事業についてのデータを含んでもよい。例えば、販売組織が、医薬品販売組織であって、顧客が、医療提供者(「HCP」)である場合、Xは、HCPの患者母集団についてのデータを含んでもよい。Xはまた、顧客への対面訪問、顧客に送信される電子メール、顧客に提供される文書、顧客によって出席されたウェビナーおよび会議、ならびに同等物の内容、日付および時間、ならびに結果を含む、顧客との前の連絡の履歴を含んでもよい。Xは、予測モデルが時間依存であるかどうかに応じて、複数の方法において構成されてもよい。
予測モデル生成器205は、将来的Y値を予測するために使用され得る、XおよびYに関する履歴値を含む、履歴データを使用して、モデルf(X)=Yを見出す(例えば、訓練する)ことができる。訓練方法にかかわらず、訓練されたモデルは、完璧ではあり得ない。したがって、訓練されたモデルは、モデルと関連付けられる誤差が
Figure 2023501523000003
であるように、
Figure 2023501523000004
として表され得る。成功決定モデルは、人間に、X内の変数のあるセットを決定変数として識別することによって、
Figure 2023501523000005
が予測される理由を説明し得る。これらの決定変数は、人間が、制御を有し得る、したがって、人間が、所望の結果(例えば、増加された販売または充填される処方箋)を達成するために、そのアクション(例えば、医薬品販売員からHCPへの連絡)を較正または最適化することを可能にし得る、変数であってもよい。所望の結果を達成する、決定変数の値は、実世界では、実行不可能である場合がある。さらに、エンティティ(例えば、事業または規制機関)が、人物が決定変数によって表されるアクションを行うことを妨げ得る。これらの状況では、本システムは、制約を決定モデルに追加し、より良好に、実世界条件をシミュレートする、または実世界ニーズを反映させてもよい。
予測モデル生成器205は、例えば、教師あり、半教師あり、または教師なし学習プロセスを使用して、予測モデルを訓練することができる。教師あり予測モデルは、標識された訓練入力、すなわち、特徴Xおよび対応する標的変数Yを使用して、訓練されることができる。特徴Xは、予測モデルの訓練されていないまたは部分的に訓練されたバージョンに提供され、を予測される出力生成することができる。予測される出力は、その特徴Xのセットに関する既知の標的変数Yと比較されることができ、差異が存在する場合、予測モデルのパラメータは、更新されることができる。半教師あり予測モデルは、多数の未標識特徴Xおよび少数の標識された特徴Xを使用して、訓練されることができる。教師なし予測モデルは、例えば、クラスタ化または次元低減モデルは、これまで未知のパターンを特徴X内に見出し得る。
予測モデル生成器205によって生成された予測モデルは、ニューラルネットワーク(例えば、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク(CNN)、再帰ニューラルネットワーク(RNN)、長短期メモリネットワーク(LSTM)等)、自動エンコーダ、回帰モデル、決定木、ランダムフォレストモデル、サポートベクトルマシン、ベイズネットワーク、クラスタ化モデル、強化学習アルゴリズム、または同等物であってもよい。
システム200はまた、決定モデル生成器210を含むことができる。決定モデル生成器210は、決定モデルを予測モデルから生成することができる。決定モデルは、標的変数Yを最大限にする、決定変数Dの値を予測することができ、決定変数Dは、特徴Xのサブセットである。決定変数は、人物またはエンティティある程度の制御を有する、変数であってもよい。例えば、販売員は、電子メールのコンテンツおよびタイミング、電話での議論の話題、および同等物を制御することができる。予測問題は、したがって、f(X,D)=Yとして再特性評価されてもよい。f()を見出す目標は、その中に含有される情報を使用して、Yを最大限にするDの値について決定を行うことであってもよい。これは、以下のように、非制約決定モデルとして表されてもよい。
Figure 2023501523000006
実践では、d()に関するあらゆる可能性として考えられる選択肢が、事業の視点から、実行不可能である場合がある。したがって、決定モデル生成器210は、決定モデルを予測モデルから生成するとき、ある制約を考慮してもよい。例えば、顧客が製品を購入する、尤度を最大限にすることは、顧客を直ちに訪問することを要求し得る。それは、望ましくあり得るが、ロジスティック上の現実のため、実行不可能である場合がある(例えば、販売員または顧客が、直ちに対応可能ではない場合がある)。販売組織のための制約の他の実施例は、訪問のペースを維持する、訪問と非対面相互作用を協調させる、担当地域を体系的に横断することであってもよい。これらの制約は、Cによって示されてもよい。したがって、d*(x)は、以下によって示されてもよい。
Figure 2023501523000007
式中、dεCは、制約を充足させる、d値の検索可能空間を示す。
実践では、ブランド管理および販売戦略チームがまた、あるルールを規定してもよい。そのようなルールは、(X,D)とYとの間の関係において捕捉され得ない、種々の計画および目標から生じ得る。例えば、ブランドチームは、市場での新しい製品の販売を優先することを所望し得る。加えて、または代替として、ブランドチームは、非制御刊行物と相互作用するためのルール、商業上のメトリックが統計的に関連方法において変化するときに訪問を要求する、ルール、季節的商業上の扇動子との相互作用のタイミングを調整するためのルール、製品ブランドを横断してメッセージングを協調させるためのルール、および同等物を規定してもよい。Rが、ルールのセットを示し、Dが、制約およびルールの合体、すなわち、D=CURを示すとする。制約された決定モデルは、したがって、以下によって示されてもよい。
Figure 2023501523000008
制約された決定モデルは、標的変数Yを最大限にすることが予測される、推奨を生成することができる。d*(x)は、提示されるように、単一適合モデルに基づくが、実践では、最適化される機能は、ヒューリスティック、未加工データ、特徴エンジニアリングデータ、ならびに統計的および機械学習されたモデルの結果を含む、多くのコンポーネントを伴う、アルゴリズムであり得る。本汎用性は、下記に提示される説明可能性アプローチを変化させない。
システム200はまた、説明可能性モデル生成器215を含むことができる。説明可能性モデル生成器215は、決定モデルの説明可能性モデルを生成することができる。説明可能性モデルは、決定モデルの局所的または大域的説明を生成してもよく、これは、決定モデルが、不透明である、または別様に理解することが困難である場合、望ましくあり得る。
決定モデルを説明することは、従来的分類モデルを説明することより複雑であり得る。分類モデルは、インスタンスが標的グループ内にあるかどうかを決定する。決定モデルは、バイナリまたはさらにマルチクラス分類ではないが、1つまたはそれを上回る決定変数に基づく、最適化であり得るという点で、より複雑であり得る。しかしながら、最適化を扇動しているものを理解する必要性も、同じように重要である。多くの実践的場合では、人物またはエンティティは、単に、決定を出力する、不透明モデルに、不本意ながら依拠し得る。人物またはエンティティは、モデルの構造および機能ならびに具体的決定につながる予測子空間のエリアのより深い理解を要求し得る。
本明細書で前述の説明可能性モデルは、決定モデルの理解および説明に適用されることができる。決定モデルの説明可能性モデルは、下記の実施例を参照してさらに詳細に説明されるであろう。
図2のサブシステムおよびその構成要素は、1つまたはそれを上回るコンピューティングデバイス上に実装されることができる。コンピューティングデバイスは、サーバ、デスクトップまたはラップトップコンピュータ、電子タブレット、モバイルデバイス、もしくは同等物であることができる。コンピューティングデバイスは、1つまたはそれを上回る場所に位置することができる。コンピューティングデバイスは、汎用目的プロセッサ、グラフィック処理ユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または同等物を有することができる。コンピューティングデバイスは、加えて、メモリ、例えば、動的または静的ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ、ハードドライブ、もしくは同等物を有することができる。メモリは、実行に応じて、コンピューティングデバイスにサブシステムの機能性を実装させる命令を記憶するように構成されることができる。コンピューティングデバイスは、加えて、ネットワーク通信デバイスを有することができる。ネットワーク通信デバイスは、コンピューティングデバイスが、ネットワークを経由して、相互および任意の数のユーザデバイスと通信することを可能にすることができる。ネットワークは、有線または無線ネットワークであることができる。例えば、ネットワークは、光ファイバネットワーク、Ethernet(登録商標) ネットワーク、衛星ネットワーク、セルラーネットワーク、Wi-Fi(登録商標) ネットワーク、Bluetooth(登録商標) ネットワーク、または同等物であることができる。他の実装では、コンピューティングデバイスは、インターネットを通してアクセス可能である、いくつかの分散型コンピューティングデバイスであることができる。そのようなコンピューティングデバイスは、クラウドコンピューティングデバイスと見なされ得る。
図3は、決定モデルの説明モデルを生成するための例示的プロセス300のフローチャートである。プロセス300は、1つまたはそれを上回る場所における1つまたはそれを上回る適切にプログラムされたコンピュータ上に実装され得る、図2のシステム200によって実施されることができる。
本システムは、予測モデルを生成することができる(305)。予測モデルは、標的変数を特徴のセットから決定するように構成(例えば、訓練)され得る。一般に、予測モデルは、不透明または別様に「ブラックボックス」である、モデルであってもよい。すなわち、予測モデルの構造および機能は、ユーザによって容易に解釈可能ではあり得ない。予測モデルは、MLまたはAIモデルであってもよい。MLまたはAIモデルは、ニューラルネットワーク(例えば、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク(CNN)、再帰ニューラルネットワーク(RNN)、長短期メモリネットワーク(LSTM)等)、自動エンコーダ、回帰モデル、決定木、ランダムフォレストモデル、サポートベクトルマシン、ベイズネットワーク、クラスタ化モデル、強化学習アルゴリズム、または同等物であってもよい。
標的変数は、人物または事業が、最小限にする、最大限にする、または別様に最適化することに関心がある、メトリック(例えば、収入、利益、顧客またはユーザの量、生産時間、出荷時間、顧客評定、顧客応答率等)であってもよい。標的変数は、カテゴリ変数であってもよい。すなわち、標的変数は、値の離散数に限定され得る。例えば、標的変数は、特定のイベントが、生じるであろう、または生じないであろう、もしくは特定のアクションが、行われるであろう、または行われないであろうことの決定であってもよい。医薬品企業、例えば、医療提供者(HCP)が、販売員からの連絡に応答して、特定のアクション(例えば、販売員によってHCPに送信される、電子メール対応を開く、または医薬品製品と関連付けられる、オンライン報告を読む)を行うであろうかどうかに関心があり得る。代替として、または加えて、標的変数は、持続的変数であってもよい。すなわち、標的変数は、持続的範囲内のいくつかの値をとりうる。医薬品企業は、例えば、医薬品製品の処方箋、市場占有率、または販売数に関心があり得る。
特定の実施例では、標的変数は、ある施設への医薬品製品の販売数における匹敵する施設(例えば、その施設と同一十分位数販売数にある施設)への平均販売数からの偏差であってもよい。
特徴のセットは、標的変数を予測する、または予測すると考えられる、特徴を含んでもよい。特徴のセットは、決定変数を含んでもよい。決定変数は、予測モデルを実装または使用する、人物またはエンティティ(例えば、販売員)の制御下で、それによって実行される、アクションであってもよい。換言すると、決定変数は、慎重に制御され得る、変数であってもよい。特徴のセットはまた、同様に標的変数を予測する、直接制御されることができない、変数を含んでもよい。例えば、企業が直接制御することが不可能であり得る、企業の既存の市場占有率は、販売数を予測し得る。
医薬品企業の場合、特徴のセットは、HCPと関連付けられる、人口統計データを含んでもよい。人口統計データは、例えば、HCPが、特定の連絡のモードに応答するであろうが、別のモードに応答しないであろう(例えば、電話に応答するが、電子メールに応答しない)かどうかの予測子であり得る。人口統計データは、HCPの年齢、性別、教育背景、およびセグメントメンバーシップを含んでもよい。加えて、または代替として、特徴のセットは、HCPの患者母集団を示す、データ(例えば、特定の疾患を有する、HCPの患者母集団のパーセンテージ)を含んでもよい。加えて、または代替として、特徴のセットは、HCPと関連付けられる連絡履歴および医薬品企業の販売担当者を含んでもよい。連絡履歴は、以下、すなわち、(1)1人またはそれを上回る販売担当者によるHCPへの訪問の回数、(2)訪問の際の会話の話題、(3)1人またはそれを上回る販売担当者によってHCPに送信された電子メール対応の回数、(4)送信された電子メール対応の話題、(5)1人またはそれを上回る販売担当者によってHCPに提供された医薬品製品に関連する文書、(6)1人またはそれを上回る販売担当者およびHCPによって出席されたウェビナー、および(7)1人またはそれを上回る販売担当者およびHCPによって出席された会議のうちの1つまたはそれを上回るものを含んでもよい。そのような連絡履歴および対応する販売データは、医薬品企業に最も有用である、連絡のタイプを示し得る。
本システムは、(i)動作制約のセットと、(ii)ブランド方略ルールのセットとを予測モデルに課すことによって、決定モデルを生成することができる(310)。動作制約のセットは、決定モデルを使用する、人物またはエンティティが行い得る、潜在的アクションを限定する、ロジスティック制約であってもよい。例えば、販売組織の場合、ロジスティック制約は、販売担当者が、製品を促進するために標的(例えば、潜在的クライアントまたは顧客)と相互作用する方法と関連付けられる、制約であってもよい。医薬品企業の具体的場合では、標的は、HCPであってもよく、製品は、医薬品製品であってもよい。ロジスティック制約は、例えば、(1)販売員が、その場所に対して利用可能な時間を前提として、各日に出席することが可能である、会合約束および訪問の回数、(2)訪問と非対面相互作用を協調させること、または(3)販売員の現実的地理的範囲であってもよい。
他方では、ブランド方略ルールは、ブランド方略または販売戦略チームによって実装される、計画および目標であってもよい。例えば、ブランドチームは、市場での新しい製品の販売を優先することを所望し得る。加えて、または代替として、ブランドチームは、非制御刊行物と相互作用するためのルール、商業上のメトリックが統計的に関連方法において変化するときに訪問を要求する、ルール、季節的商業上の扇動子との相互作用のタイミングを調整するためのルール、製品ブランドを横断してメッセージングを協調させるためのルール、および同等物を規定してもよい。これらは、ロジスティック制約ではないが、それらは、依然として、販売担当者によって実施され得る、潜在的アクションを限定する。
本システムは、標的変数のセット内の1つまたはそれを上回る標的変数を最小限にする、最大限にする、または別様に最適化するための1つまたはそれを上回る最適アクションを決定することができる(315)。
本システムは、説明可能性モデル化を決定モデルに適用し、説明モデルを生成することができる(320)。説明モデルは、標的変数に影響を及ぼす決定モデル内の相互作用の洞察を得るために、1人またはそれを上回るユーザによって使用可能であってもよい。ある場合には、本システムは、回帰的パーティション化を決定モデルに適用する、決定モデルを訓練するために使用される特徴のセット間の共変量関係の洞察を有効にすることによって、説明可能性モデル化を適用してもよい。回帰的パーティション化は、マルチ変数分析のための統計的方法である。回帰的パーティション化は、いくつかの二分独立変数に基づいて、母集団をサブ母集団に分裂させることによって、母集団のメンバーを正しく分類することを目指す、決定木を作成してもよい。各サブ母集団は、ひいては、特定の停止基準に到達後、分裂プロセスが終了するまで、不定回数、分裂されてもよい。結果として生じる決定木は、ユーザに、決定モデルが実際に決定を行う方法をより明確に示し得る。
ある場合には、本システムは、LIME、CLEAR、LOCO、または同等物等の本明細書に説明される他の技法を含む、他のタイプの説明可能性モデル化も決定モデルに適用することができる。
ある場合には、本システムは、決定モデルを訓練するために使用される特徴のセット全体にわたって、説明可能性モデル化(例えば、回帰的パーティション化)を適用し、大域的説明モデル(例えば、大域的決定木)をもたらしてもよい。大域的説明モデルは、決定モデルに適用される制約を考慮するという点で、制約された大域的説明モデルであり得る、または非制約大域的説明モデルであり得る。しかしながら、他の場合では、本システムは、決定モデルを訓練するために使用される、特徴のサブセット、例えば、空間全体の代わりに、空間のマージンにわたってのみ、説明可能性モデル化を適用し、局所的説明モデルをもたらしてもよい。回帰的パーティション化の場合、例えば、これは、局所的決定木をもたらし得る。
説明モデルは、マーケティング分析のあるドメイン内における最適決定、1対1のマーケティング、および1つまたはそれを上回る製品の販売を増加させるための推奨の個人化を行うために、1人またはそれを上回るユーザによって使用可能であってもよい。本システムは、コンピューティングデバイスのグラフィカルユーザインターフェース上に可視化されるように、説明モデルを1人またはそれを上回るユーザに提示することができる。例えば、本システムは、本明細書に説明される決定木をユーザインターフェース内に提示することができる。
小売実施例では、特徴のセットは、特定の顧客と関連付けられる、人口統計および購入履歴を含んでもよい。特徴は、予測特定の店舗における顧客であるかどうか、顧客が購入を行い得る時間、顧客が購入し得る、アイテムのタイプ、または他の標的変数に関して予測してもよい。決定変数は、そのようなシナリオでは、小売企業または個々の小売従業員が、クーポンの配布および従業員と顧客との相互作用等のある程度の制御を有する、特徴であってもよい。したがって、決定モデルは、標的結果に対する決定変数の相対的重要性を決定してもよい一方、説明モデルは、決定変数特徴が相互に相互作用する方法の洞察を提供してもよい。
同様に、軍事実施例では、特徴のセットは、特定のドローンまたは無人航空車両(UAV)の視覚的センサからの地形情報を含んでもよい。特徴は、情報収集または偵察のために重要な可視オブジェクトもしくはエリアならびドローンおよびドローンの飛行経路についての情報に関して示してもよい。決定変数は、したがって、ドローンのユーザ決定された飛行軌道およびドローン上のカメラの構成を含んでもよい。説明モデルは、着目オブジェクトの検出を改良し得る、ユーザアクションの洞察を提供してもよい。
財務実施例では、特徴のセットは、株価の変化のインジケータを含んでもよい。本シナリオにおけるいくつかの決定変数は、企業が近々株価に影響を及ぼすために行い得る、アクションに関連してもよい。説明モデルは、企業が、それ自体で、企業に対して個々に負債を殆どかけずに、株価を増加させ得る、アクションを行うために、これらのアクション間の関係に関する洞察を提供してもよい。
ある医薬品企業が、2つの医薬院製品のそれぞれの販売を最大限にする、企業がサービス提供する、各施設(例えば、医師のオフィス、診療所、および病院)への四半期毎訪問の量を決定することを所望する。企業は、より多くの施設が、同一リソース間接費を用いて、サービス提供され得るように、コストがかかる個々の訪問を低減させ、潜在的に、それらをグループ会議または電子メールで置換し、リソースを解放することに躍起になっている。しかしながら、対面訪問は、より多くの販売をもたらし得る。企業は、履歴データを考慮して、2つの医薬品の販売を最大限にする、各施設への訪問の回数を決定する、決定モデルを構築する。決定モデルは、施設訪問を含む、特徴を販売数にマッピングする、予測モデルf(x,d)に基づく。D*(x)は、制約された決定モデルを表し得る。
データ
企業は、異なる医療施設への2つの製品の履歴販売データ上で予測モデルを訓練した。履歴販売データは、施設毎に、2つの製品毎に、四半期毎販売データを含んだ。特定のデータ記録は、データ記録の製品(製品)、四半期(四半期)、および施設のインジケーション、施設(施設)の販売数の十分位数を示す、コード、販売担当者が施設内のHCPに対して行った予定された訪問の回数(会合約束)、施設内のHCPが出席した会議の回数(会議)、施設内のHCPが出席したグループミーティングの回数(グループ)、施設内のHCPに送信された電子メールの数(電子メール)、および施設内のHCPへの予定されない訪問の回数(訪問)を含有した。
図4は、上記に述べられたデータ内の観察の数の2つのグラフを示す。グラフは、施設十分位数および施設への訪問の回数を横断した観察の分布を示す。
予測および決定モデル
企業は、ランダムフォレストモデルを予測モデルとして使用し、標的変数Yは、販売ある施設に対する販売数のその施設と販売数の同一十分位数における施設の平均販売数からの偏差である。ランダムフォレストモデルは、回帰および分類の両方を実施し得る、アンサンブル機械学習モデルである。ランダムフォレストモデルは、単一決定木より正確かつ安定した予測を達成するために、複数の決定木からの予測をマージしてもよい。ランダムフォレスト内の各決定木は、訓練データのランダムサンプルから学習してもよい。各木を異なるサンプル上で訓練することによって、ランダムフォレストモデルは、低分散を達成し得る。
上記に述べられた特徴は、販売数の変動の72%を説明した。各特徴の重要性は、下記の表1に示される。
Figure 2023501523000009
表1は、四半期、訪問、および施設が、最も重要な予測子であることを示す。特定の変数に関する%IncMSEは、変数からのデータがランダム雑音と置換されることになる場合、モデルが予測能力において劣化するであろう程度を測定する。IncNodePurityは、特定の変数によって分裂されるノード内のデータが均質である程度を測定する。木をより均質なノードに分裂させることは、モデルの予測およびランク付け力における改良、故に、モデルに基づいて行われる決定の品質における改良をもたらし得る。
図5は、医薬品毎の実際の標的値に対する予測モデルの予測される値の散布図である。プロットは、モデル適合が良好であることを確認する、著しい対角線パターンを示す。上記に説明されるように、説明モデルを構築するアプローチは、モデルを訓練するために使用されるデータセットのサンプルまたは反事実のセットのいずれか上で予測モデルを評価する。この場合、反事実は、予測子の完全空間を網羅する、観察を生成するために使用された。本システムは、これらのデータを使用して、決定モデルを構築してもよい。
f()の予測によって定義される表面は、8次元表面である。表面を備える、観察は、パラメータモデルではなく、ランダムフォレストモデルの予測に由来するため、図6のプロットが示すように、断続性が表面に存在する。図6は、2つの四半期に関する4次元を横断した表面を示す。表面は、四半期を横断して、施設を横断して、および製品を横断して、変動する。各プロット内の第1の行は、製品1に関するデータを示し、第2の行は、製品2に関するデータを示し、プロットが、移動させるから左から右に移動するにつれて、施設十分位数が、増加する。プロット内の分散および変動のうちのいくつかは、ランダムフォレストモデルの断続性によって引き起こされ、いくつかのは、プロットに示されない、隠れ変数によって引き起こされる。図6は、本予測表面に関するさらなる詳細を図示し、決定モデルの洞察を提供する。右側のプロットは、青色および赤色線を有し、これらは、それぞれ、識別された次元のそれぞれにおける、予測に関する最大値および95%分位数である。最大値が交差する、訪問の値は、その予測子のセットのためのd*(x)に関する値である。予測モデル法と関連付けられる、分散が存在するため、それらの値に関する予測が予測子のそのビン内の95%分位数を上回る、訪問の平均回数が、d*(x)に関する値として使用される。
図7は、予測子のいくつかの組み合わせに関して、95%分位数を上回る訪問の平均回数を描写する、プロットを含む。それらはまた、それらの点を通して平滑化されたカーネル推定線を示す。
左側のプロットでは、推定線は、施設販売数サイズ、送信された電子メールの数、会合約束の数の関数として、販売数を最大限にする、訪問の回数を示す。会合約束は、プロットに関して、右に行くほど増加し、送信された電子メールは、プロットに関して、上に向かうほど増加する。プロットは、訪問の値が、より少ない会合約束が存在するとき、施設サイズに伴って増加する(左側に正の傾きを伴う推定線)が、傾向が、会合約束が増えるにつれて、反転する(右側に負の傾きを伴うカーネル推定器線)ことを示す。会合約束は、施設が増えるにつれて、より重要であることが予期され得る。左側のプロットはまた、送信される電子メールの数の影響が、よりわずかであることを示す(同一列内の推定線の傾きにおけるわずかな変動のみ)。
右側のプロットは、類似するが、会合約束の代わりに、グループミーティングの数に焦点を当てる。グループミーティングは、プロット内では、右に増加し、送信される電子メールは、プロット内では、ページの上に向かって増加する。グループミーティングは、何人かの処方者が同時にミーティングに存在するため、よりコスト効果的であり得る。本データは、より多くの訪問が、施設サイズが増えるにつれて、必要とされることを示唆する。これは、HCPが、グループミーティング後、対面訪問においてより多くの説明を必要とすることを示唆し得る。これらは、決定空間を通した、マージナルスライスの図であるため、d*()の扇動子および形状の完全理解を得ることが困難である。したがって、説明可能性モデルが、望ましい。
説明モデル
入力データのいくつかの次元を横断したマージナルプロットは、下層決定モデルの洞察を提供し得るが、全ての相互作用およびその相対的強度を捕捉し得ない。さらに、LIMEおよびCLEAR等の線形モデルの使用は、決定モデルによって生産された最適決定に及ぼされる変数の全ての相対的影響の完全洞察を与え得ない。特定の決定点に関して、特定の決定点を最適または所望のものにする要因、ならびに決定変数の特定の値が本特定の決定点をもたらす方法を決定することが有用であり得る。より多くの相互作用を捕捉するために、本システムは、最適ソリューションに近い複数のソリューションを試験し、再帰的に処理し、複数のソリューションと関連付けられる、決定変数の値を決定してもよい。
より詳しい説明を得る第1のステップとして、企業は、回帰的パーティション化を使用して、決定木をd*(x)に適合させてもよい。回帰的パーティション化は、マルチ変数分析のための統計的方法である。回帰的パーティション化は、いくつかの二分独立変数に基づいて、それをサブ母集団に分裂させることによって、母集団のメンバーを正しく分類することを目指す、決定木を作成する。回帰的パーティション化は、d*(x)における共変量関係の洞察を有効にする。
図8は、最適ソリューション(例えば、最大販売数)の70%以内の全てのソリューションを標的として使用することによって、インスタンスd*(z)(zは、xの変換である)までの近接度を予測するための2つの木適合を示す。左側の木は、非制約決定モデルに関する結果を示す一方、右側の木は、制約モデルに関する結果を示す。左側の木に関して、0.75および100%として標識された上位ノードは、d*(施設7製品1四半期1)に関する最適ソリューションの木平均75%の全てのサブノード内の決定変数に関するソリューションを示す。グループ値1を有する、本木のサブグループは、母集団の56%を表し、74%の最適の平均パーセントを有する。本木はまた、最適ソリューションが、8またはそれ未満の訪問を有し、施設7内のHCPに送信された0または1の電子メールを有し、91%最適販売を達成し得ることを示す。本木内に含まれない、決定変数は、最適ソリューションの扇動子ではあり得ない。本木は、ソリューションd*(z*)の近傍内の最適性に影響を及ぼす変数の洞察を与える、局所的説明と見なされ得る。
制約された決定モデルは、1つまたはそれを上回る制約を組み込んでもよい。例えば、制約モデルは、送信される電子メールの数が訪問の回数の少なくとも25%であることを要求する、制約を組み込んでもよい。右側の木は、「訪問」変数が、最適ソリューションを扇動する際に最も重要であることを示す。本プロットに示される最適ソリューションに関する減少された値は、定位置における制約を反映させ得る。
図9は、大域的説明モデルのための決定木を示す。検索空間を最適の70%以内に制限する代わりに、全ての反事実に関する予測の空間全体が、回帰的パーティション化アルゴリズム内で使用されてもよい。図9の非制約および制約された木の実施例では、木内の分裂の順序は、重要性の順序に匹敵する、すなわち、木の上に向かう変数は、最適ソリューションを生産するためにより重要である。右側の木内の制約された分析は、電子メールをソリューションに向かわせる制約の影響を示す。「電子メール>=5」と標識された右側の分岐は、空間の83%を含有し、制約された最適値の平均62%を占める。サブ分岐は、決定モデルが電子メール制約を導くことに役立つ、「グループ」訪問と「訪問」との間のトレードオフが存在することを示す。
局所的説明モデル
本実施例は、を有する、d*(x)を説明する大域的アプローチに焦点を当てる。しかしながら、回帰的パーティション化が、問題のより局在化された部分に関する説明を取得するために使用されることができる。LIMEおよびCLEARのような説明可能性アプローチでは、局所的説明可能性は、その点の周囲の空間内の下層モデルをサンプリングすることによって、単一点において、下層モデルの挙動を分析することによって取得される。LIMEの場合、線形モデルが、本開示で上記に記載されるように、それらの点に基づいて構築される。前節では、回帰的パーティション化が、d*(x)の空間全体上で使用された。図9の実施例は、に空間の一部に焦点を当てる。施設サイズは、決定モデルのための重要な予測子および重要な変数であるため、回帰的パーティション化は、施設の単一値に適用されることができる。
図9は、施設の異なる販売十分位数(第3および第8の十分位数)に関する決定木を示す。両方の分析は、同一分裂レベルまで行われた。四半期は、それぞれの場合において、第1の分裂に関する最も重要な変数であるが、その下の構造は、有意に異なる。これは、本分析が表1内で識別された3つの最も重要な変数上で調整されたため、予期される。これらの木は、四半期、製品、および施設サイズによって定義されたマージンに関する、会合約束の回数、グループミーティングの回数、および会議の回数を前提とした、販売数を最大限にする、訪問の回数間の関係を示す。
LIME説明モデル
LIMEアルゴリズムの実装が、本実施例のために開発された。標準的実装は、試験セットからサンプリングし、次いで、着目点までの距離によって加重されたサンプル点に関する予測を使用して、線形モデルを構築する。線形説明モデルと関連付けられる、係数は、その特定の説明点に関する予測子の重要性をもたらす。現在の実装は、d*(x)を評価するために使用される空間全体を横断して反事実を使用するように修正されている。標準的LIMEアプローチと同様に、点が、サンプリングされるが、次いで、着目点の周囲の付加的点をサンプリングするのではなく、辺長1を伴う超立方体内の全ての反事実が、サンプリングされる。本実施例は全て、整数予測子を有し、したがって、単位超立方体は、自然選択肢である。予測子のうちのいくつかが、持続的である場合、類似アプローチが、行われ得るが、異なる方略が、概して、決定モデル反事実を評価するために必要とされるである。
現在の実装はまた、LIME説明モデル内の観察にexp(-w)によって加重し、wは、超立方体内の点から着目点までの距離である。
図10Aにおける棒グラフは、サンプリングされるインスタンスに関する係数値を示す。正の値は、販売を最適化する、訪問の回数の増加を扇動する、予測子の増加として解釈される。観察内では、四半期の増加は、販売最適化シナリオにおける訪問の増加と関連付けられることに留意されたい。これは、例えば、図8および9に示されるように、回帰的パーティション化説明モデルからの観察と一致する。
LIMEは、局所的説明アプローチであるが、多数のサンプル着目点を横断して説明係数を検査することによって、モデルがより一般的に挙動する方法を理解するために使用されることができる。例えば、ユーザが点検するためのインスタンスのセットを取り上げ、次いで、結果をインスタンスの行列内に表示してもよい。ここでは、我々は、小数(250)の着目点をサンプリングし、係数値の箱ひげ図を図10Bに示す。プロットは、販売を最大限にするための訪問の最適回数に及ぼされる四半期の著しい影響を示す。本プロットに見られ得ないものは、回帰的パーティション化が、例えば、図9において明らかにする、詳細であって、より小さい施設に関して、より大きい施設と比較して、年の後半により少ない会合約束を有することが好ましく、年の前半により多くの会合約束を有することが好ましい。
本システムは、パーセント偏差を最適値からモデル化する標的を伴って、加重された超立方体値を予測子として用いて、線形モデルを構築してもよい。これは、回帰的パーティション化内で使用されるものと同一標的であってもよい。
本システムは、加重された超立方体値を予測子として、線形モデルを構築してもよい。予測子変数(予測子)の寄与を決定するために、本システムは、最適値から特定のパーセンテージ偏差である、異なるモデル標的を試験してもよい。図10Cのプロットは、2つの推定されるLIME説明モデル、すなわち、制約モデルおよび非制約モデルに関する係数の値を示す。予測子は、水平軸にあって、その係数の値は、垂直軸上にある。本表は、係数の正確な値を与える。非制約モデルに関するr2の値は、0.97であって、制約モデルに関しては、0.98であって、モデルが、効果的予測ツールであることを意味する。プロットは、モデル毎に、変数「会合約束」、「会議」、および「訪問」が、予測を非常に確定的であったことを示す。これらの結果は、回帰的モデルに関するものに合致するが、LIMEモデルは、決定モデル内の説明子としての予測子の多変量影響を決定し得ない。
コンピュータシステム
本開示は、本開示の方法を実装するようにプログラムされる、コンピュータシステムを提供する。図11は、本明細書に説明される、予測モデル、決定モデル、および説明モデルを実装するようにプログラムされる、または別様に構成される、コンピュータシステム1101を示す。コンピュータシステム1101は、ユーザの電子デバイスまたは電子デバイスに対して遠隔で位置するコンピュータシステムであることができる。電子デバイスは、モバイル電子デバイスであることができる。
コンピュータシステム1101は、シングルコアまたはマルチコアプロセッサ、もしくは並列処理のための複数のプロセッサであり得る、中央処理ユニット(CPU、また、本明細書では、「プロセッサ」および「コンピュータプロセッサ」)1105を含む。コンピュータシステム1101はまた、メモリまたはメモリ場所1110(例えば、ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ)と、電子記憶ユニット1115(例えば、ハードディスク)と、1つまたはそれを上回る他のシステムと通信するための通信インターフェース1120(例えば、ネットワークアダプタ)と、キャッシュ、他のメモリ、データ記憶装置、ならびに/もしくは電子ディスプレイアダプタ等の周辺デバイス1125とを含む。メモリ1110、記憶ユニット1115、インターフェース1120、および周辺デバイス1125は、マザーボード等の通信バス(実線)を通してCPU1105と通信する。記憶ユニット1115は、データを記憶するためのデータ記憶ユニット(またはデータリポジトリ)であり得る。コンピュータシステム1101は、通信インターフェース1120の助けを借りてコンピュータネットワーク(「ネットワーク」)1130に動作的に結合されることができる。ネットワーク1130は、インターネット、イントラネットおよび/またはエクストラネット、もしくはインターネットと通信するイントラネットおよび/またはエクストラネットであり得る。ネットワーク1130は、ある場合には、電気通信および/またはデータネットワークである。ネットワーク1130は、クラウドコンピューティング等の分散コンピューティングを可能にし得る、1つまたはそれを上回るコンピュータサーバを含むことができる。ネットワーク1130は、ある場合には、コンピュータシステム1101の助けを借りて、コンピュータシステム1101に結合されるデバイスが、クライアントまたはサーバとして挙動することを可能にし得る、ピアツーピアネットワークを実装することができる。
CPU1105は、プログラムまたはソフトウェア内で具現化され得る、機械可読命令のシーケンスを実行することができる。命令は、メモリ1110等のメモリ場所内に記憶されてもよい。命令は、CPU1105にダイレクトされることができ、これは、続けて、本開示の方法を実装するようにCPU1105をプログラムまたは別様に構成することができる。CPU1105によって実施される動作の実施例は、フェッチ、デコード、実行、およびライトバックを含むことができる。
CPU1105は、集積回路等の回路の一部であり得る。システム1101の1つまたはそれを上回る他のコンポーネントが、回路内に含まれることができる。ある場合には、回路は、特定用途向け集積回路(ASIC)である。
記憶ユニット1115は、扇動子、ライブラリ、および保存されたプログラム等のファイルを記憶することができる。記憶ユニット1115は、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。コンピュータシステム1101は、ある場合には、イントラネットまたはインターネットを通してコンピュータシステム1101と通信する遠隔サーバ上等に位置する、コンピュータシステム1101の外部にある、1つまたはそれを上回る付加的データ記憶ユニットを含むことができる。
コンピュータシステム1101は、ネットワーク1130を通して1つまたはそれを上回る遠隔コンピュータシステムと通信することができる。例えば、コンピュータシステム1101は、ユーザの遠隔コンピュータシステム(例えば、ユーザのモバイルデバイス)と通信することができる。遠隔コンピュータシステムの実施例は、パーソナルコンピュータ(例えば、ポータブルPC)、スレートまたはタブレットPC(例えば、Apple(登録商標) iPad(登録商標)、Samsung(登録商標) GalaxyTab)、電話、スマートフォン(例えば、Apple(登録商標) iPhone(登録商標)、Android(登録商標)対応デバイス、Blackberry(登録商標))、もしくは携帯情報端末を含む。ユーザは、ネットワーク1130を介してコンピュータシステム1101にアクセスすることができる。
本明細書に説明されるような方法は、例えば、メモリ1110または電子記憶ユニット1115上等、コンピュータシステム1101の電子記憶場所上に記憶される、機械(例えば、コンピュータプロセッサ)実行可能コードを用いて実装されることができる。機械実行可能または機械可読コードが、ソフトウェアの形態において提供されることができる。使用の間、コードは、プロセッサ1105によって実行されることができる。ある場合には、コードは、記憶ユニット1115から読み出され、プロセッサ1105による迅速なアクセスのためにメモリ1110上に記憶されることができる。いくつかの状況では、電子記憶ユニット1115は、除外されることができ、機械実行可能命令は、メモリ1110上に記憶される。
コードは、事前コンパイルされ、コードを実行するように適合されるプロセッサを有する機械との併用のために構成されることができる、またはランタイムの間にコンパイルされることができる。コードは、コードが事前コンパイルされた様式またはコンパイル直後の方式で実行されることを可能にするように選択され得る、プログラミング言語で供給されることができる。
コンピュータシステム1101等の本明細書に提供されるシステムおよび方法の側面は、プログラミングにおいて具現化されることができる。本技術の種々の側面は、典型的には、あるタイプの機械可読媒体上で搬送される、またはそれにおいて具現化される機械(もしくはプロセッサ)実行可能コードおよび/または関連付けられるデータの形態における「製品」もしくは「製造品」と考えられ得る。機械実行可能コードは、メモリ(例えば、読取専用メモリ、ランダムアクセスメモリ、フラッシュメモリ)またはハードディスク等の電子記憶ユニット上に記憶されることができる。「記憶」タイプ媒体は、ソフトウェアプログラミングのために任意の時点で非一過性記憶を提供し得る、コンピュータ、プロセッサ、または同等物の有形メモリ、もしくは種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のその関連付けられるモジュールのうちのいずれかまたは全てを含むことができる。ソフトウェアの全てまたは一部は、随時、インターネットもしくは種々の他の電気通信ネットワークを通して通信されてもよい。そのような通信は、例えば、1つのコンピュータまたはプロセッサから別のものへの、例えば、管理サーバもしくはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのローディングを可能にし得る。したがって、ソフトウェア要素を保有し得る別のタイプの媒体は、ローカルデバイス間の物理的インターフェースを横断して、有線および光学固定ネットワークを通して、ならびに種々のエアリンクを経由して使用されるもの等、光学、電気、および電磁波を含む。有線または無線リンク、光学リンク、もしくは同等物等のそのような波を搬送する物理的要素はまた、ソフトウェアを保有する媒体と見なされ得る。本明細書に使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する、任意の媒体を指す。
故に、コンピュータ実行可能コード等の機械可読媒体は、限定ではないが、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含む、多くの形態をとってもよい。不揮発性記憶媒体は、例えば、図面に示されるデータベース等を実装するために使用され得るもの等、任意のコンピュータまたは同等物内の記憶デバイスのうちのいずれか等の光学もしくは磁気ディスクを含む。揮発性記憶媒体は、そのようなコンピュータプラットフォームのメインメモリ等の動的メモリを含む。有形伝送媒体は、同軸ケーブルと、コンピュータシステム内のバスを備えるワイヤを含む、銅ワイヤおよび光ファイバとを含む。搬送波伝送媒体は、電気または電磁信号、もしくは無線周波数(RF)および赤外線(IR)データ通信の間に発生されるもの等の音響または光波の形態をとり得る。コンピュータ可読媒体の一般的な形態は、したがって、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、DVDまたはDVD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的記憶媒体、RAM、ROM、PROMおよびEPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、データまたは命令を転送する搬送波、そのような搬送波を転送するケーブルもしくはリンク、またはそれからコンピュータがプログラミングコードならびに/もしくはデータを読み取り得る任意の他の媒体を含む。コンピュータ可読媒体のこれらの形態のうちの多くは、1つまたはそれを上回る命令の1つまたはそれを上回るシーケンスを実行のためにプロセッサに搬送することに関与してもよい。
コンピュータシステム1101は、例えば、決定木等の説明モデルの可視化を提供するためのユーザインターフェース(UI)1140を備える電子ディスプレイ1135を含む、またはそれと通信することができる。UIの実施例は、限定ではないが、グラフィカルユーザインターフェース(GUI)およびウェブベースのユーザインターフェースを含む。
本開示の方法およびシステムは、1つまたはそれを上回るアルゴリズムを用いて実装されることができる。アルゴリズムが、中央処理ユニット1105による実行に応じて、ソフトウェアを用いて実装されることができる。アルゴリズムは、例えば、予想モデルまたは決定モデルであることができる。
本発明の好ましい実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白となるであろう。本発明が、本明細書内に提供される具体的実施例によって限定されることを意図していない。本発明は、前述の本明細書を参照して説明されているが、本明細書における実施形態の説明および図は、限定的意味で解釈されることを意味していない。多数の変形例、変更、および代用が、ここで、本発明から逸脱することなく、当業者に想起されるであろう。さらに、本発明の全ての側面が、種々の条件および変数に依存する、本明細書に記載される具体的描写、構成、または相対的割合に限定されないことを理解されたい。本明細書に説明される本発明の実施形態に対する種々の代替物が、本発明を実践する際に採用され得ることを理解されたい。したがって、本発明がまた、任意のそのような代替、修正、変形例、または均等物を網羅することとすることが想定される。以下の請求項が、本発明の範囲を定義すること、これらの請求項ならびにそれらの均等物の範囲内の方法および構造が、それによって網羅されることが意図される。

Claims (27)

  1. 1つまたはそれを上回る製品の販売を増加させるために使用可能である1つまたはそれを上回るモデルの説明可能性を向上させるためのコンピュータ実装方法であって、前記方法は、
    少なくとも部分的に、(i)標的変数のセットと、(ii)特徴のセットと、(iii)決定変数のセットとに基づいて、1つまたはそれを上回る予測モデルを生成することであって、前記特徴は、前記標的変数を予測し、それに影響を及ぼし、前記決定変数は、特徴のセットのサブセットである、ことと、
    (i)動作制約のセットと、(ii)ブランド方略ルールのセットとを前記1つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成することであって、前記動作制約のセットは、前記1つまたはそれを上回る製品の使用を促進するための1人またはそれを上回る標的人員と相互作用する1人またはそれを上回る販売担当者と関連付けられるロジスティック制約を備え、前記ブランド方略ルールのセットは、販売のための前記1つまたはそれを上回る製品を提案する1つまたはそれを上回るエンティティによって定義される、ことと、
    前記決定モデルを使用して、前記標的変数のセット内の1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定することと、
    説明可能性モデル化を前記決定モデルおよび前記1つまたはそれを上回る最適アクションに適用し、説明モデルを生成することであって、前記説明モデルは、1人またはそれを上回るユーザによって、前記1つまたはそれを上回る製品の販売に影響を及ぼす前記決定モデル内の相互作用の洞察または理解を得るために使用可能である、ことと
    を含む、方法。
  2. 前記1人またはそれを上回る標的人員は、医療提供者(HCP)を含み、前記1つまたはそれを上回る製品は、医薬品製品を含む、請求項1に記載の方法。
  3. 前記標的変数は、前記HCPによって行われる1つまたはそれを上回るアクションと関連付けられる1つまたはそれを上回るカテゴリ変数を含む、請求項2に記載の方法。
  4. 前記1つまたはそれを上回るアクションは、(1)前記HCPが、前記1人またはそれを上回る販売担当者によって前記HCPに送信される電子メール対応を開くこと、または(2)前記HCPが、前記医薬品製品と関連付けられるオンライン報告を読むことを含む、請求項3に記載の方法。
  5. 前記標的変数は、前記医薬品製品と関連付けられる1つまたはそれを上回る持続的変数を含み、前記1つまたはそれを上回る持続的変数は、前記医薬品製品に関する処方箋、市場占有率、または販売数を含む、請求項2に記載の方法。
  6. 前記特徴のセットは、前記HCPと関連付けられる人口統計データを含む、請求項2に記載の方法。
  7. 前記人口統計データは、前記HCPの年齢、性別、教育背景、およびセグメントメンバーシップを含む、請求項6に記載の方法。
  8. 前記特徴のセットは、前記HCPの患者母集団特性を示す患者データを含む、請求項2に記載の方法。
  9. 前記特徴のセットは、前記HCPと前記1人またはそれを上回る販売担当者との間の通信と関連付けられる連絡履歴を含む、請求項2に記載の方法。
  10. 前記連絡履歴は、(1)前記1人またはそれを上回る販売担当者による前記HCPへの訪問の回数、(2)前記訪問の際の会話の話題、(3)前記1人またはそれを上回る販売担当者によって前記HCPに送信された電子メール対応の回数、(4)前記送信された電子メール対応の話題、(5)前記1人またはそれを上回る販売担当者によって前記HCPに提供された前記医薬品製品に関連する文書、(6)前記1人またはそれを上回る販売担当者および前記HCPによって出席されたウェビナー、および(7)前記1人またはそれを上回る販売担当者および前記HCPによって出席された会議のうちの1つまたはそれを上回るものを含む、請求項7に記載の方法。
  11. 前記決定変数のセットは、前記1人またはそれを上回る販売担当者によって、または第三者によって、制御可能かつ実行されるアクションおよびタイミングを含む、請求項2に記載の方法。
  12. 前記論理制約は、(1)前記1人またはそれを上回る販売担当者による前記HCPへの訪問のペースを維持すること、(2)前記訪問と非対面相互作用を協調させること、または(3)前記1人またはそれを上回る販売担当者がある担当地域を体系的または効率的様式において横断することのうちの1つまたはそれを上回るものと関連付けられる、請求項2に記載の方法。
  13. 前記ブランド方略ルールのセットを定義する前記1つまたはそれを上回るエンティティは、前記医薬品製品のためのブランド管理および販売戦略チームを含む、請求項2に記載の方法。
  14. 前記標的変数のセットは、平均グループ施設販売数からの販売数偏差を含む、請求項2に記載の方法。
  15. 前記1つまたはそれを上回る予測モデルは、前記平均グループ施設販売数からの販売数偏差である選択された標的を用いて、ランダムフォレスト回帰を使用して構築される、請求項14に記載の方法。
  16. 前記説明モデルは、反事実のセットを使用して、複数の予測子の空間を網羅する複数の観察を生成することによって生成される、請求項2に記載の方法。
  17. 前記複数の予測子は、(1)ある数のHCPを有する医療施設、(2)前記医療施設における前記HCPへの予定外訪問の回数、または(3)販売データが収集される会計四半期のうちの1つまたはそれを上回るものを含む、請求項16に記載の方法。
  18. 前記説明可能性モデル化を適用することは、前記空間全体にわたって回帰的パーティション化を使用して、共変量関係の洞察を有効にすることを含む、請求項16に記載の方法。
  19. 前記説明モデルは、大域的説明モデルを含む、請求項18に記載の方法。
  20. 前記大域的説明モデルは、非制約大域的決定木を含む、請求項19に記載の方法。
  21. 前記大域的説明モデルは、制約された大域的決定木を含む、請求項19に記載の方法。
  22. 前記説明可能性モデル化を適用することは、前記空間全体にわたっての代わりに、前記空間のマージンに対する回帰的パーティション化を使用することを含む、請求項16に記載の方法。
  23. 前記説明モデルは、局所的説明モデルを含む、請求項22に記載の方法。
  24. 前記局所的説明モデルは、局所的決定木を含む、請求項23に記載の方法。
  25. 前記説明モデルは、前記1人またはそれを上回るユーザによって、マーケティング分析のあるドメインにおける最適決定、1対1のマーケティング、および推奨の個人化を行い、前記1つまたはそれを上回る製品の販売を増加させるために使用可能である、請求項1に記載の方法。
  26. 1つまたはそれを上回る製品の販売を増加させるために使用可能である1つまたはそれを上回るモデルの説明可能性を向上させるためのシステムであって、前記システムは、
    1つまたはそれを上回るプロセッサと、
    メモリであって、前記メモリは、命令を記憶しており、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
    少なくとも部分的に、(i)標的変数のセットと、(ii)特徴のセットと、(iii)決定変数のセットとに基づいて、1つまたはそれを上回る予測モデルを生成することであって、前記特徴は、前記標的変数を予測し、それに影響を及ぼし、前記決定変数は、特徴のセットのサブセットである、ことと、
    (i)動作制約のセットと、(ii)ブランド方略ルールのセットとを前記1つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成することであって、前記動作制約のセットは、1人またはそれを上回る標的人員と相互作用し、前記1つまたはそれを上回る製品の使用を促進する1人またはそれを上回る販売担当者と関連付けられるロジスティック制約を含み、前記ブランド方略ルールのセットは、販売のための前記1つまたはそれを上回る製品を提案する1つまたはそれを上回るエンティティによって定義される、ことと、
    前記決定モデルを使用して、前記標的変数のセット内の1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定することと、
    説明可能性モデル化を前記決定モデルおよび前記1つまたはそれを上回る最適アクションに適用し、説明モデルを生成することであって、前記説明モデルは、1人またはそれを上回るユーザによって、前記1つまたはそれを上回る製品の販売に影響を及ぼす前記決定モデル内の相互作用の洞察または理解を得るために使用可能である、ことと
    を含む動作を実施させる、メモリと
    を備える、システム。
  27. 非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、命令を含み、前記命令は、1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
    少なくとも部分的に、(i)標的変数のセットと、(ii)特徴のセットと、(iii)決定変数のセットとに基づいて、1つまたはそれを上回る予測モデルを生成することであって、前記特徴は、前記標的変数を予測し、それに影響を及ぼし、前記決定変数は、特徴のセットのサブセットである、ことと、
    (i)動作制約のセットと、(ii)ブランド方略ルールのセットとを前記1つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成することであって、前記動作制約のセットは、1人またはそれを上回る標的人員と相互作用し、前記1つまたはそれを上回る製品の使用を促進する1人またはそれを上回る販売担当者と関連付けられるロジスティック制約を備え、前記ブランド方略ルールのセットは、販売のための前記1つまたはそれを上回る製品を提案する1つまたはそれを上回るエンティティによって定義される、ことと、
    前記決定モデルを使用して、前記標的変数のセット内の1つまたはそれを上回る標的変数を最大限にするための1つまたはそれを上回る最適アクションを決定することと、
    説明可能性モデル化を前記決定モデルおよび前記1つまたはそれを上回る最適アクションに適用し、説明モデルを生成することであって、前記説明モデルは、1人またはそれを上回るユーザによって、前記1つまたはそれを上回る製品の販売に影響を及ぼす前記決定モデル内の相互作用の洞察または理解を得るために使用可能である、ことと
    を含む動作を実施させる、非一過性コンピュータ可読記憶媒体。
JP2022527120A 2019-11-13 2020-06-02 説明可能人工知能ベースの販売最大限化決定モデル Pending JP2023501523A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962934955P 2019-11-13 2019-11-13
US62/934,955 2019-11-13
US201962948719P 2019-12-16 2019-12-16
US62/948,719 2019-12-16
PCT/US2020/035773 WO2021096564A1 (en) 2019-11-13 2020-06-02 Explainable artificial intelligence-based sales maximization decision models

Publications (1)

Publication Number Publication Date
JP2023501523A true JP2023501523A (ja) 2023-01-18

Family

ID=75846703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022527120A Pending JP2023501523A (ja) 2019-11-13 2020-06-02 説明可能人工知能ベースの販売最大限化決定モデル

Country Status (2)

Country Link
US (2) US20210142253A1 (ja)
JP (1) JP2023501523A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734592B2 (en) 2014-06-09 2023-08-22 Tecnotree Technologies, Inc. Development environment for cognitive information processing system
US20200293918A1 (en) 2019-03-15 2020-09-17 Cognitive Scale, Inc. Augmented Intelligence System Assurance Engine
US11727284B2 (en) * 2019-12-12 2023-08-15 Business Objects Software Ltd Interpretation of machine learning results using feature analysis
US11836582B2 (en) * 2019-12-28 2023-12-05 Asper.AI Inc. System and method of machine learning based deviation prediction and interconnected-metrics derivation for action recommendations
US20220067623A1 (en) * 2020-08-26 2022-03-03 International Business Machines Corporation Evaluate demand and project go-to-market resources
US20220129794A1 (en) * 2020-10-27 2022-04-28 Accenture Global Solutions Limited Generation of counterfactual explanations using artificial intelligence and machine learning techniques
CN113362903B (zh) * 2021-06-02 2022-05-20 邯郸钢铁集团有限责任公司 一种大型转炉tsc阶段智能添加石灰的方法
US11972224B2 (en) * 2021-07-01 2024-04-30 Sap Se Model mapping and enrichment system
CN113723618B (zh) * 2021-08-27 2022-11-08 南京星环智能科技有限公司 一种shap的优化方法、设备及介质
US20230128532A1 (en) * 2021-10-24 2023-04-27 International Business Machines Corporation Distributed computing for dynamic generation of optimal and interpretable prescriptive policies with interdependent constraints
CN114491261B (zh) * 2022-01-27 2024-05-14 北京有竹居网络技术有限公司 用于获得推荐解释的方法、设备和计算机可读介质
CN116703469A (zh) * 2023-08-03 2023-09-05 北京未来聚典信息技术有限公司 一种基于生成模型的营销活动优化推广方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002252645A1 (en) * 2001-04-11 2002-10-28 Fair Isaac And Company, Inc. Model-based and data-driven analytic support for strategy development
US20060190318A1 (en) * 2002-07-02 2006-08-24 Downey Thimothy W System and method for identifying and measuring performance discrepancies among sales territories
US20120221345A1 (en) * 2011-02-24 2012-08-30 Mcclure Douglas J Helping people with their health
US9697469B2 (en) * 2014-08-13 2017-07-04 Andrew McMahon Method and system for generating and aggregating models based on disparate data from insurance, financial services, and public industries
US20170186120A1 (en) * 2015-12-29 2017-06-29 Cerner Innovation, Inc. Health Care Spend Analysis

Also Published As

Publication number Publication date
US20230130567A1 (en) 2023-04-27
US20210142253A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
US20230130567A1 (en) Explainable artificial intelligence-based sales maximization decision models
Overgoor et al. Letting the computers take over: Using AI to solve marketing problems
Paschen et al. Collaborative intelligence: How human and artificial intelligence create value along the B2B sales funnel
Detienne et al. Neural networks as statistical tools for business researchers
US9418337B1 (en) Systems and models for data analytics
US20200285936A1 (en) Cognitive system
US10635973B1 (en) Recommendation system using improved neural network
US20220292999A1 (en) Real time training
US11200242B2 (en) Medical condition communication management
US20200065863A1 (en) Unified propensity modeling across product versions
Bentley Business intelligence and Analytics
US11853901B2 (en) Learning method of AI model and electronic apparatus
Malthouse et al. Artificial intelligence ecosystems for marketing communications
US11720919B2 (en) Message-transmittal strategy optimization
US10592675B2 (en) Methods and systems of assessing and managing information security risks in a computer system
WO2021096564A1 (en) Explainable artificial intelligence-based sales maximization decision models
Abdulla Application of MIS in E-CRM: A Literature Review in FMCG Supply Chain
US20190304023A1 (en) Healthcare benefits plan recommendation
Durai et al. Quantifying the Impacts of Artificial Intelligence Implementations in Marketing
WO2022251237A1 (en) Explainable artificial intelligence-based sales maximization decision models
US11301879B2 (en) Systems and methods for quantifying customer engagement
US11720847B1 (en) Cognitive and heuristics-based emergent financial management
WO2023091519A1 (en) Systems and methods for goal-driven contextual omnichannel optimization using well-rounded artificial intelligence
Glackin et al. Using the power of machine learning in sales research: process and potential
Teixeira et al. The Use of Artificial Intelligence in Digital Marketing: Competitive Strategies and Tactics: Competitive Strategies and Tactics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240426