JP2021536087A - 経験損失推定システム、経験損失推定方法および経験損失推定プログラム - Google Patents

経験損失推定システム、経験損失推定方法および経験損失推定プログラム Download PDF

Info

Publication number
JP2021536087A
JP2021536087A JP2021538513A JP2021538513A JP2021536087A JP 2021536087 A JP2021536087 A JP 2021536087A JP 2021538513 A JP2021538513 A JP 2021538513A JP 2021538513 A JP2021538513 A JP 2021538513A JP 2021536087 A JP2021536087 A JP 2021536087A
Authority
JP
Japan
Prior art keywords
density
random variable
integral
variable
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021538513A
Other languages
English (en)
Other versions
JP7056804B2 (ja
Inventor
シルバ ダニエル ゲオルグ アンドラーデ
穣 岡嶋
邦彦 定政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021536087A publication Critical patent/JP2021536087A/ja
Application granted granted Critical
Publication of JP7056804B2 publication Critical patent/JP7056804B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

密度推定部８１は、観測された共変数が与えられ、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する。積分推定部８２は、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する。

Description

本発明は、１以上の未知の共変数を取得した場合の分類器に期待される誤分類コストを推定する経験損失推定システム、経験損失推定方法、および経験損失推定プログラムに関する
多くの状況では、より多くの共変数を収集することで、分類精度を向上させることができる。しかし、共変数を取得するにはコストがかかる可能性がある。例えば、糖尿病の有無を診断する場合を想定する。年齢や性別などの情報（共変数）の収集には、ほとんどコストがかからないのに対し、血液検査には、明らかにコスト（医師の勤務時間コストなど）がかかる。一方、患者が糖尿病に苦しんでいるにもかかわらず、誤って糖尿病を持っていないと分類してしまうコストも存在する。
したがって、分類の最終的な目標は、取得した共変数のコストと予想される誤分類のコストの合計によって与えられる誤分類の総コストを削減することであると言える。
共変数を取得するためのコスト、および、誤分類のコストが与えられていると仮定する。誤分類の総コストを削減するためには、より多くの共変数を与えられた場合（すなわち、上記の例では患者に関するより多くの情報を与えられた場合）に予想される誤分類コストを見積もる必要がある。
形式的には、この予想されるコストは、以下のように表される。
Figure 2021536087
ここで、Ｓは、既に観測された共変数の集合を示し、Ａは追加的に取得すると考えられる共変数を示す。また、正しいクラスがｙであるにもかかわらず、あるサンプル（すなわち、上記の例では患者）をクラスｙ’に分類してしまう場合のコストをｃｙ，ｙ’と示す。なお、以下の説明では、本文中にギリシャ文字を用いる場合には、ギリシャ文字の英語表記を括弧（［］）で囲むことがある。また、大文字のギリシャ文字を表す場合には、［］内の単語の先頭を大文字で表し、小文字のギリシャ文字を表す場合には、［］内の単語の先頭を小文字で表す。さらに、以下の説明では、ギリシャ文字のデルタをｄと表記し、数学における結合を∪と示す。さらに、ｄ＊（ｘＡ∪Ｓ）は、共変数Ａ∪Ｓを用いたベイズ分類器を表し、以下のように定義される。
Figure 2021536087
ここで、ｃｙ，ｙ＊は、ｙとｙ＊が等しくない場合に０であり、そうでない場合、ｃｙ，ｙ＊＞０で、真のラベルｙを有するサンプルをラベルｙ＊として誤分類してしまうコストを示す。
以下では、未知の共変数Ａを、潜在的なクエリ共変数、または、単にクエリ共変数と記す。これらは、問い合わせを所望される共変数（例えば、臨床実験を行う）であり、それらの結果ｘＡを、分類器に含めることが可能なためである。
式１に示すように、期待される誤分類コストの計算には、すべての未知の共変数Ａに対する積分が必要である。多くの未知の共変数がある場合、すなわち｜Ａ｜＞１の場合、解析的な閉形解がないため、この積分の評価は、計算上困難である。
非特許文献１には、ベイズ的コスト考慮型の分類法が記載されている。非特許文献１に記載された方法は、常に｜Ａ｜を１に限定しているため、一次元積分のみ解く必要がある。
なお、非特許文献２には、ラベル付きデータを用いた勾配降下による学習方法が記載されている。
Shihao Ji, Lawrence Carin, "Cost-sensitive feature acquisition and classification", Pattern Recognition, Volume 40, Issue 5, May 2007, pp.1474-1485. Hastie, Trevor, Tibshirani, Robert, Friedman, Jerome, "The Elements of Statistical Learning", Springer-Verlag New York , 2009.
上述したように、非特許文献１に記載された方法では、クエリ共変数が２つ以上ある場合に予想される誤分類コストを推定できない。これは、誤分類の総コストがさらに減少する可能性があるにもかかわらず、クエリ共変数に対する処理を停止するという最適でない決定につながる可能性があるためである。
以下では、線形分離可能なデータであっても問題になる具体例を示す。ここで、Ｖを可能な全ての共変数の集合、Ｓをすでに観測された共変数の集合、Ａを追加で取得されると想定される共変数の集合とする。共変数を取得する際の総期待コストは、以下のように定義される。
Figure 2021536087
ここでｆｉは共変数ｉを取得するコストである。非特許文献１に記載された方法も、ｔ（Ａ）を最適化しようとするが、ｔ（Ａ）が最小であり、かつ｜Ａ｜≦１である集合Ａを選択する貪欲法が用いられる。そして、Ａ＝｛０｝が選択された場合、アルゴリズムは停止する。以下の例は、｜Ａ｜≦１のみを考慮する方法が失敗することを示す。
まず、以下の状況を想定する。
Figure 2021536087
そして、ｘ１とｘ２の条件付き同時分布は、平均値が０の等方性ガウス分布ある。
ｐ（ｘ１，ｘ２｜ｘｓ）＝Ｎ（ｘ１，ｘ２｜０，Ｉ）
単純化のために、誤分類コストがｃ０，１＝ｃ１，０＝ｃ＞０であり、ｃｙ，ｙ＝０であると仮定する。さらに、単純化のため、共変数ｘ１のクエリ共変数のコストがｘ２と同じであると仮定し、これをｆ＞０と記載する。
クラス１とクラス０の間に、以下のような決定境界があると仮定する。
Figure 2021536087
ここで、図７に示すように、一般性を損なうことなく、ｍ＞０、ｒ＞０とする。図７は、クラス間の決定境界の一例を示す説明図である。さらに、図７では、条件付き同時確率ｐ（ｘ１，ｘ２｜ｘＳ）の一定密度の等高線図が示されている。ここでは、Ａ＝｛０｝、Ａ＝｛ｘ１｝、Ａ＝｛ｘ２｝、および、Ａ＝｛ｘ１，ｘ２｝の４つの場合を考える。各Ａについて、期待される誤分類コストを計算し、αＡと表記する。
まず、Ａ＝｛ｘ１，ｘ２｝について、
Figure 2021536087
であり、
Figure 2021536087
次に、Ａ＝｛ｘ１｝について、
Figure 2021536087
以下を満たすｘ１の値をｂと定義する。
Figure 2021536087
以下の式
Figure 2021536087
を満たすため、ｂ＝−ｒ／ｍになる。
Figure 2021536087
同様に、期待ベイズリスク｛ｘ２｝を計算することが可能である。
最後に、Ａ＝｛０｝とする。また、ランダム変数ｚ：＝ｘ２−ｍｘ１−ｒを定義する。ｘ１とｘ２は独立した標準正規分布であるため、ｚ〜Ｎ（−ｒ，ｍ２＋１）である。
Figure 2021536087
ｒ＞０と仮定しているため、上記式が得られる。そのため、ｄ＊（ｘｓ）＝０である。そして、結果として、以下の式が得られる。
Figure 2021536087
一般性を失うことなく、α｛ｘ１｝＜α｛ｘ２｝であり、各共変数のコストがｆ＞０であると想定する。貪欲法で｜Ａ｜≦１の場合、
（Ｉ）ｔ（｛０｝）＜t（｛ｘ１｝）、または、
（ＩＩ）ｔ（｛０｝）＞ｔ（｛ｘ１，ｘ２｝）の場合、失敗する。これは、
（Ｉ）α｛０｝＜α｛ｘ１｝＋ｆ、または、
（ＩＩ）α｛０｝＞２ｆを意味し、α｛ｘ１｝＞α｛０｝／２と等価だからである。
したがって、ｒ＝０の場合を除き、共変数コストｆ＞０が必ず存在するため、貪欲法は失敗する。具体的な数値例として、ｒ＝ｍ＝１、ｃ０，１＝ｃ１，０＝１００、ｆ＝１０と仮定する。各クエリセットに対する期待コストの合計を表１に示す。
Figure 2021536087
そこで、本発明では、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる経験損失推定システム、経験損失推定方法、および経験損失推定プログラムを提供することを目的とする。
本発明による経験損失推定システムは、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定部と、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定部とを備えたことを特徴とする。
本発明による経験損失推定方法は、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定し、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定することを特徴とする。
本発明による経験損失推定プログラムは、コンピュータに、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定処理、および、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定処理を実行させることを特徴とする。
本発明によれば、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる。
本発明による経験損失推定システムの一実施形態の構成例を示すブロック図である。 本発明による経験損失推定システムの一実施形態の構成例を示す説明図である。 異なるシグモイド関数の近似例を示す説明図である。 経験損失推定システムの動作例を示すフローチャートである。 本発明による経験損失推定システムの概要を示すブロック図である。 本発明の一実施形態に係るコンピュータの構成例を示す概略ブロック図である。 クラス間の決定境界の例を示す説明図である。
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明による経験損失推定システムの一実施形態の構成例を示すブロック図である。また、図２は、本発明による経験損失推定システムの一実施形態の構成例を示す説明図である。
本実施形態では、条件付きクラス確率が、以下の一般化された加算モデルで表すことができると仮定する。
Figure 2021536087
ここで、ｇは、例えばロジスティック関数などのシグモイド関数、τはバイアス、ｆＡ：Ｒ｜Ａ｜−＞Ｒ、および、ｆＳ：Ｒ｜Ｓ｜−＞Ｒは、任意の滑らかな関数である。τおよびこれらの関数の学習方法は任意であり、例えば、一般的には、ラベル付きデータを用いて勾配降下法により学習される。非特許文献２に記載された方法が学習に用いられてもよい。ただし、本実施形態では、τおよびこれらの関数は、与えられるものとする。
例えば、線形決定境界を持つ分類器の場合、以下の式が得られる。
Figure 2021536087
βは、ラベル付けされたデータから学習された分類器の重みベクトルである。ここで、βＡおよびβＳは、それぞれ、共変数ＡおよびＳに対応するβの部分ベクトルを表す。
期待される誤分類コストは、以下のように表わすことができる。
Figure 2021536087
ここでは、密度ｈ（ｚ）：＝ｐ（ｚ｜ｘｓ）であるランダム変数ｚ：＝ｆＡ（ｘＡ）を導入する。式３による結果として得られる積分は、ｚの一次元積分にしか過ぎない。しかし、ｈ（ｚ）を推定する必要がある。
本実施形態の経験損失推定システム１００は、密度推定部１０と、積分推定部２０と、記憶部３０とを備えている
密度推定部１０は、ｈ（ｚ）を推定する。具体的には、密度推定部１０は、観測された共変数Ｓが与えられ、ランダム変数ｚに対応する目的変数と、共変数Ｓに対応する独立変数とを有する回帰モデルを学習することにより、ｚの条件付き確率密度を推定する。ｚは、観測されていない共変数Ａの滑らかな関数の写像の結果である実数を表す。
以下では、線形回帰、または、非線形回帰を用いてｈ（ｚ）を推定する方法を説明する。ここでは、ラベル付けされていないデータの集合を｛ｘ（ｉ）｝ｎ ｉ＝１と記す。なお、密度推定部１０は、クラスラベル付きデータを必要としない。非ラベル化データの集合から、密度推定部１０は、｛（ｚ（ｉ），ｘＳ （ｉ））｝ｎ ｉ＝１（ただし、ｚ（ｉ）＝ｆＡ（ｘＡ （ｉ）））形式の目的変数と独立変数の対の集合を形成してもよい。例えば、ｚとｘＳとの間に正規ノイズを伴う線形関係があると仮定すると、密度推定部１０は、以下の式を得られる。
Figure 2021536087
あるパラメータベクトルに対して、
Figure 2021536087
これは、データ｛（ｚ（ｉ），ｘＳ （ｉ））｝ｎ ｉ＝１から推定される。以下、μ、Σ、および、σが用いられる。例えば、同時分布ｐ（ｘ）が多変数正規分布Ｎ（μ，Σ）であり、ｐ（ｙ｜ｘＡ，ｘＢ）が重みベクトルｂのロジスティック回帰モデルにしたがう場合、最尤推定値は、以下にように示される。
Figure 2021536087
すなわち、密度推定部１０は、正規分布によりｚの条件付き確率密度を推定してもよい。
ｚとｘｓの間の線形関係が不合理な場合、ガウス過程のようなノンパラメトリック回帰モデルの方が、より適切である可能性がある。上述のように、ｘ（ｉ）（ｘ（ｉ）はＲｐに属する。）を学習時に利用可能なｘのｉ番目のサンプルとし、ｘ＊ Ｓをテスト時の新しいサンプルの観測された共変数とする。このとき、行列Ｋ（ＸＳ，ＸＳ）は、以下のように定義される。
Figure 2021536087
ここで、ｋは共分散関数であり、例えば、二乗指数共分散関数を使用すると、密度推定部１０は、以下の式を得られる。
Figure 2021536087
ここで、ｌは長さスケールパラメータである。さらに、密度推定部１０は、列ベクトルｚ（ｚはＲｎに属する）を以下のように定義する。
Figure 2021536087
また、テスト時の新しいサンプルｘ＊について、密度推定部１０は、同じように、以下のように定義する。
Figure 2021536087
そして、密度推定部１０は、列ベクトルｋ（ｘ＊ Ｓ，ＸＳ）（ｋ（ｘ＊ Ｓ，ＸＳ）はＲｎに属する。）を以下のように定義する。
Figure 2021536087
そして、分散σ０ ２を有する追加的ガウスノイズを有するガウスプロセス仮定の下、密度推定部１０は、以下の式を得られる。
Figure 2021536087
ここで、密度推定部１０は、以下の式で与えられる固定的な平均μ０を想定する。
Figure 2021536087
また、１ｎ（１ｎはＲｎに属する。）は、すべて１のベクトルである。結果として、密度推定部１０は、以下の式を得られる。
Figure 2021536087
積分推定部２０は、式３を推定する。特に、積分推定部２０は、入力ｚを有するシグモイド関数ｇとｚの条件付き確率密度関数との積の一次元積分を推定する。
積分推定部２０は、式３を推定するために、単純にｈ（ｚ）からのモンテカルロサンプルを用いてもよい。一方、処理速度を向上させるために、積分推定部２０は、以下に説明するように、シグモイド関数ｇの区分線形近似に基づく別の戦略を使用してもよい。
まず、積分推定部２０は、予想される誤分類コストを以下のように表現する。
Figure 2021536087
なお、以下の関係に留意する。
Figure 2021536087
さらに、積分推定部２０は、以下の式を得られる。
Figure 2021536087
以上のように、ｄ＊（ｘＡ∪Ｓ）は、ｚ（ランダム変数）とζ（固定）にのみ依存する。そのため、積分推定部２０は、以下の式を得られる。
Figure 2021536087
同様に、積分推定部２０は、以下の式を得られる。
Figure 2021536087
したがって、残る課題は、以下の積分を評価することである。
Figure 2021536087
一般的な戦略の一つが、シグモイド関数ｇを標準正規分布Φの累積分布関数で近似することである。しかし、ここでは、ａまたはｂが有界であるため、この近似はここでは機能しないことが分かる。代わりに、本実施形態では、積分推定部２０は、シグモイド関数がわずか数個の線形関数でよく近似できるという事実をここで使用する。ｈ（ｚ）が平均μ´と分散σ２の正規分布であると仮定する。表記を容易にするために、以下の定数を導入する。
Figure 2021536087
この場合、式４の積分は、以下のように表すことができる。
Figure 2021536087
積分推定部２０は、シグモイド関数の以下の部分線形近似を定義する。
Figure 2021536087
ξは、線形近似の数であり、例えば、４０に設定される。以下の近似との比較
Figure 2021536087
は、図３に示される。図３は、異なるシグモイド関数の近似例を示す説明図である。図３において、線４１はシグモイド、線４２は線形近似、線４３は正規ＣＤＦ（累積分布関数）近似、線４４は離散近似を表している。非特許文献１によれば、線形関数近似および離散ビン近似では、ξ＝４０が設定されている。正規ＣＤＦ近似の場合、以下の式
Figure 2021536087
が用いられる。
このことは、相対的に少数の線形近似については、積分推定部２０が、Φ−近似よりも正確な近似を達成できることを示している。より重要なことは、以下に示すように、これにより、Φ−近似を使用する場合にはできないような、式５の積分計算を扱いやすくできることである。
これにより、積分推定部２０は、以下の式を得られる。
Figure 2021536087
これは、標準的な実装でよく近似することができる。残りの積分はまた、置換ｕ−μ：＝ｒを使用するΦで表すことができ、積分推定部２０は、以下の式を得られる。
Figure 2021536087
このように、積分推定部２０は、シグモイド関数の区分線形近似を用いて一次元積分を推定してもよい。
記憶部３０は、各種データを記憶する。記憶部３０は、ラベル付けされていないデータ｛ｘ｝を記憶してもよい。記憶部３０は、例えば、磁気ディスクによって実現される。
密度推定部１０と、積分推定部２０とは、それぞれ、プログラム（経験損失推定プログラム）に従って動作するコンピュータのＣＰＵによって実行される。例えば、プログラムは、経験損失推定システム１００に含まれる記憶部３０に記憶され、ＣＰＵがプログラムを読み込んで、そのプログラムに従って密度推定部１０及び積分推定部２０として動作してもよい。
また、本実施形態の経験損失推定システムにおいて、密度推定部１０および積分推定部２０は、それぞれ専用のハードウェアによって実装されてもよい。また、本発明による経験損失推定システムが、有線または無線で接続された２つ以上の物理的に分離された装置で構成されてもよい。
以下、本実施形態の経験損失リスク推定システムの動作例を説明する。図４は、本実施形態の経験損失推定システムの動作例を示すフローチャートである。
密度推定部１０は、部分的に観測されたデータサンプルｘＳと、未知の共変数Ａのインデックスと、ラベル付けされていないデータ｛ｘ｝とを入力する（ステップＳ１０１）。密度推定部１０は、条件付き確率ｐ（ｘＡ｜ｘＳ）を推定する（ステップＳ１０２）。密度推定部１０は、確率ｐ（ｘＴ ＡβＡ|ｘＳ）を正規分布ｈ（ｚ）で近似する（ステップＳ１０３）。
積分推定部２０は、ｚ＞ｚ＊であればｄ＊（ｘＳ∪Ａ）＝１、そうでなければｄ＊（ｘＳ∪Ａ）＝０となるような閾値ｚ＊を算出する（ステップＳ１０４）。積分推定部２０は、ｇの区分線形近似を行い、以下の積分をガウスＣＤＦで表現する（ステップＳ１０５）。
Figure 2021536087
積分推定部２０は、ＥｘＡ［ＢａｙｅｓＲｉｓｋ（ｘＳ∪Ａ）｜ｘＳ］を評価する（ステップＳ１０６）。このようにして、共変数Ａが取得され、ベイズリスクが推定される。
以上のように、本実施形態では、密度推定部１０が、ｚに対応する目的変数と、観測された共変数Ｓに対応する独立変数とを有する回帰モデルを学習することにより、ｚの条件付き確率密度を推定し、積分推定部２０が、入力ｚを有するシグモイド関数ｇとｚの条件付き確率密度関数との積の一次元積分を推定する。
そのような構成により、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる。
すなわち、本実施形態では、クラス確率がクエリ共変数の特徴マップの加法関数である分類器が考慮され、それらの特徴マップの和の値が実数である。この実数は、既に観測された共変数が与えられた条件分布を直接推定するランダム変数とみなされる。そして、積分推定部２０は、この条件付き分布に関して期待される誤分類コストを推定する。
この場合、本実施形態では、クエリ共変数の数が１以上の場合でも、予想される誤分類コストを推定するためには、一次元積分を解くだけでよい。したがって、高次元の積分とは対照的に、一次元積分は、数値的手法を用いて、低い計算コストで高い精度で解くことができる。
次に、本発明の概要を説明する。図５は、本発明による経験損失推定システムの概要を示すブロック図である。本発明による経験損失推定システム８０（例えば、経験損失推定システム１００）は、観測された共変数（例えば、Ｓ）が与えられ、ランダム変数（例えば、ｚ）に対応する目的変数と、観測された共変数（例えば、Ｓ）に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数（例えば、Ａ）の滑らかな関数の写像の結果である真値を示すランダム変数（例えば、ｚ）の条件付き確率密度を推定する密度推定部８１（例えば、密度推定部１０）と、入力されたランダム変数（例えば、ｚ）のシグモイド関数（例えば、ｇ）と、ランダム変数（例えば、ｚ）の条件付き確率密度の関数との積の一次元積分を推定する積分推定部８２（例えば、積分推定部２０）とを備えている。
そのような構成により、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる。
また、密度推定部８１は、ランダム変数（例えば、ｚ）の条件付き確率密度を正規分布で推定し、積分推定部は、シグモイド関数の区分線形近似を用いて、一次元積分を推定してもよい。そのような構成により、処理速度の向上を図ることができる。
次に、本発明の例示的な実施形態によるコンピュータの構成例を説明する。図６は、本発明の一実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４および表示装置１００５を備える。
上述の経験損失推定システム１００は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（分類プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ−ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。
また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、プログラムは、本実施形態における所定の処理を達成するために、補助記憶装置１００３に既に記憶されている別のプログラムと組み合わせた差分プログラムであってもよい。
さらに、本実施形態の処理の内容により、コンピュータ１０００の要素の一部を省略することが可能である。 例えば、ユーザに情報を提示しない場合、表示装置１００５を省略することができる。図６には図示していないが、本実施形態の処理の内容によっては、コンピュータ１０００は、入力装置を含んでもよい。経験損失推定システム１００は、例えば、リンクが設定されている部分をクリックするなど、リンクへの移動指示を入力するための入力装置を含んでいてもよい。
また、各デバイスの構成要素の一部または全部は、汎用または専用の回路、プロセッサ等、またはそれらの組み合わせによって実装される。これらは、単一のチップで構成されていてもよいし、バスを介して接続された複数のチップで構成されていてもよい。また、各装置の構成要素の一部または全部が、上記の回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の構成要素の一部または全部が複数の情報処理装置、回路等によって実現される場合、複数の情報処理装置、回路等が集中的に配置されていてもよいし、分散的に配置されていてもよい。例えば、情報処理装置、回路等は、クライアントシステムとサーバシステム、クラウドコンピューティングシステム等がそれぞれ通信ネットワークを介して接続された形態で実現されてもよい。
１０ 密度推定部
２０ 積分推定部
３０ 記憶部
１００ 経験損失推定システム

Claims (6)

  1. ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定部と、
    入力されたランダム変数のシグモイド関数と、前記ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定部とを備えた
    ことを特徴とする経験損失推定システム。
  2. 密度推定部は、ランダム変数の条件付き確率密度を正規分布で推定し、
    積分推定部は、シグモイド関数の区分線形近似を用いて、一次元積分を推定する
    請求項１記載の経験損失推定システム。
  3. ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定し、
    入力されたランダム変数のシグモイド関数と、前記ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する
    ことを特徴とする経験損失推定方法。
  4. ランダム変数の条件付き確率密度を正規分布で推定し、
    シグモイド関数の区分線形近似を用いて、一次元積分を推定する
    請求項３記載の経験損失推定方法。
  5. コンピュータに、
    ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定処理、および、
    入力されたランダム変数のシグモイド関数と、前記ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定処理
    を実行させるための経験損失推定プログラム。
  6. コンピュータに、
    密度推定処理で、ランダム変数の条件付き確率密度を正規分布で推定させ、
    積分推定処理で、シグモイド関数の区分線形近似を用いて、一次元積分を推定させる
    請求項５記載の経験損失推定プログラム。
JP2021538513A 2018-09-28 2018-09-28 経験損失推定システム、経験損失推定方法および経験損失推定プログラム Active JP7056804B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/036418 WO2020065953A1 (en) 2018-09-28 2018-09-28 Empirical risk estimation system, empirical risk estimation method, and empirical risk estimation program

Publications (2)

Publication Number Publication Date
JP2021536087A true JP2021536087A (ja) 2021-12-23
JP7056804B2 JP7056804B2 (ja) 2022-04-19

Family

ID=69951250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538513A Active JP7056804B2 (ja) 2018-09-28 2018-09-28 経験損失推定システム、経験損失推定方法および経験損失推定プログラム

Country Status (3)

Country Link
US (1) US20210383265A1 (ja)
JP (1) JP7056804B2 (ja)
WO (1) WO2020065953A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128047B (zh) * 2022-12-08 2023-11-14 西南民族大学 一种基于对抗网络的迁移学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大橋 司 ほか: "大幾何マージン最小分類誤り学習に対する損失関数平滑度の自動制御の適用", 電子情報通信学会技術研究報告 ＰＲＭＵ２０１０−２３７−ＰＲＭＵ２０１０−２９６ パターン認識・メデ, vol. 第110巻，第467号, JPN6022008746, 3 March 2011 (2011-03-03), JP, pages 195 - 200, ISSN: 0004723036 *

Also Published As

Publication number Publication date
US20210383265A1 (en) 2021-12-09
JP7056804B2 (ja) 2022-04-19
WO2020065953A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
Blei et al. Variational inference: A review for statisticians
Soria et al. A ‘non-parametric’version of the naive Bayes classifier
KR101908680B1 (ko) 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
Dhanya et al. A comparative study for breast cancer prediction using machine learning and feature selection
JP6299759B2 (ja) 予測関数作成装置、予測関数作成方法、及びプログラム
US20230195851A1 (en) Data classification system, data classification method, and recording medium
US20230325675A1 (en) Data valuation using reinforcement learning
Jiménez-Cordero et al. Automatic feature scaling and selection for support vector machine classification with functional data
JP2018092612A (ja) 分類タスクの複雑度の評価装置及び方法
WO2017188048A1 (ja) 作成装置、作成プログラム、および作成方法
JP7056804B2 (ja) 経験損失推定システム、経験損失推定方法および経験損失推定プログラム
US11487970B2 (en) Distance-based learning confidence model
JP7259935B2 (ja) 情報処理システム、情報処理方法およびプログラム
Benyacoub et al. Credit scoring model based on HMM/Baum-Welch method
JP7103235B2 (ja) パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム
CN107644147B (zh) 从多个结果确定充分原因的系统和方法
US20210342642A1 (en) Machine learning training dataset optimization
CN114358011A (zh) 命名实体提取方法与装置以及电子设备
Szijártó et al. Design of a Machine Learning System to Predict the Thickness of a Melanoma Lesion in a Non-Invasive Way from Dermoscopic Images
Barr et al. Forensics: Assessing model goodness: A machine learning view
JP7448023B2 (ja) 学習方法、学習装置及びプログラム
WO2024042736A1 (ja) 情報処理方法、情報処理システム、及び情報処理プログラム
JP2018151913A (ja) 情報処理システム、情報処理方法、及びプログラム
US20210192362A1 (en) Inference method, storage medium storing inference program, and information processing device
JP7439923B2 (ja) 学習方法、学習装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220321

R151 Written notification of patent or utility model registration

Ref document number: 7056804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151