JP2023176667A - 判定プログラム、判定装置、および判定方法 - Google Patents

判定プログラム、判定装置、および判定方法 Download PDF

Info

Publication number
JP2023176667A
JP2023176667A JP2022089085A JP2022089085A JP2023176667A JP 2023176667 A JP2023176667 A JP 2023176667A JP 2022089085 A JP2022089085 A JP 2022089085A JP 2022089085 A JP2022089085 A JP 2022089085A JP 2023176667 A JP2023176667 A JP 2023176667A
Authority
JP
Japan
Prior art keywords
data
processing
machine learning
learning model
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022089085A
Other languages
English (en)
Inventor
顕一郎 成田
Kenichiro Narita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2022089085A priority Critical patent/JP2023176667A/ja
Priority to US18/165,420 priority patent/US20230385690A1/en
Priority to EP23156759.5A priority patent/EP4287083A1/en
Publication of JP2023176667A publication Critical patent/JP2023176667A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】機械学習モデルによる判定の公平性を担保するための公平性是正処理では、訓練データを加工し、機械学習モデルの再訓練を行う。しかしながら、公平性の観点のみに基づいて公平性是正処理を行ったデータに基づいた機械学習では機械学習モデルの精度劣化を引き起こす場合がある。【解決手段】判定プログラムは、複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて第１の複数のデータを加工して得られた第２の複数のデータと第１の複数のデータとの差に基づいて、複数の属性のうち加工量が閾値以上ある第２の属性を特定し、データを入力して機械学習モデルが推論を行った場合における推論結果への第２の属性の寄与の大きさを特定し、寄与の大きさに基づいて、第２の複数のデータによって機械学習モデルの訓練を行った場合における影響度を判定する処理をコンピュータに実行させる。【選択図】図７

Description

本発明は、精度判定技術に関する。
ローン審査など機械学習モデルを用いて審査や審査の支援が行われる場合がある。しかしながら、機械学習モデルが不公平なバイアスを持つデータで訓練されてしまった結果、例えば、性差に依存した判定が行われてしまう場合がある。
そこで、不公平なバイアスを持つデータを排除して機械学習モデルによる判定の公平性を担保するための公平性是正処理が必要になってくる。公平性是正処理では、例えば、訓練データを加工し、機械学習モデルの再訓練を行う。
特開２０２１－０１２５９３号公報 特開２０２１－１４９８４２号公報 米国特許出願公開第２０２１／０３０４０６３号明細書 米国特許出願公開第２０２０／０３２０４２９号明細書
公平性是正処理は機械学習の精度に影響を与える。公平性の観点のみに基づいて公平性是正処理を行ったデータに基づいた機械学習では機械学習モデルの精度劣化を引き起こす場合がある。
１つの側面では、公平性是正処理による機械学習モデルへの精度影響を示すことを目的とする。
１つの態様において、判定プログラムは、複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて第１の複数のデータを加工して得られた第２の複数のデータと第１の複数のデータとの差に基づいて、複数の属性のうち加工量が閾値以上ある第２の属性を特定し、データを入力して機械学習モデルが推論を行った場合における推論結果への第２の属性の寄与の大きさを特定し、寄与の大きさに基づいて、第２の複数のデータによって機械学習モデルの訓練を行った場合における影響度を判定する処理をコンピュータに実行させる。
１つの側面では、公平性是正処理による機械学習モデルへの精度影響を示すことができる。
図１は、本実施形態にかかる公平性是正処理の一例を示す図である。 図２は、本実施形態にかかる公平性是正処理によるデータ加工傾向の一例を示す図である。 図３は、本実施形態にかかるデータ加工によるモデル影響の一例を示す図である。 図４は、本実施形態にかかる判定装置１０の構成例を示す図である。 図５は、本実施形態にかかるデータ加工による加工傾向とモデル寄与度の一例を示す図である。 図６は、本実施形態にかかる加工傾向とモデル寄与度とによる影響度判定の一例を示す図である。 図７は、本実施形態にかかるモデル影響度の出力の一例を示す図である。 図８は、本実施形態にかかるモデル影響スコアによる候補判定の一例を示す図である。 図９は、本実施形態にかかるモデル影響度判定処理の流れの一例を示すフローチャートである。 図１０は、本実施形態にかかる判定装置１０のハードウェア構成例を示す図である。
以下に、本実施形態にかかる判定プログラム、判定装置、および判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
まず、機械学習による不公平な判定とその是正処理について説明する。図１は、本実施形態にかかる公平性是正処理の一例を示す図である。図１の左側の表は、属性Ａ～Ｄを機械学習モデルに対する入力データ、すなわち、特徴量とし、“Ａ”か“Ｂ”の分類結果を正解ラベルとして機械学習により生成した機械学習モデルの判定結果の一例を示すものである。
図１の左側の表を参照すると、Ｎｏ．３の女性とＮｏ．５の男性は、性別以外の属性Ｂ～Ｄが全て同一であるのに異なる判定結果となっている。これは、機械学習モデルによって性差に依存した不公平な判定が行われたことを示している。
そこで、公平性是正処理として、図１の右側の表に示すように、性別を示す属性Ａを保護属性として保護属性以外の属性Ｂ～Ｄの数値を変更して是正データに加工し、判定結果が性差に依存しないように機械学習モデルを再訓練させる。なお、保護属性である属性Ａ以外の属性Ｂ～Ｄの数値は、所定のルールに従って変換されてもよいし、数値的にあり得る範囲でランダムに変更されてもよい。また、属性Ｂ～Ｄの全ての数値が変更されなくてよい。
このような公平性是正処理は、機械学習モデルによる不公平な判定を是正できる一方で、その根本は訓練データの加工であるため、機械学習モデルの精度を劣化させる可能性がある。そのため、特に、運用時に公平性是正処理に行うと機械学習モデルを用いたシステムへの影響が大きい。
図２は、本実施形態にかかる公平性是正処理によるデータ加工傾向の一例を示す図である。図２の例は、強度の異なる２つの加工強度によって加工された是正データの加工傾向を示すグラフである。図２の例において、是正データの加工傾向を示すグラフは、横軸を各データの属性、縦軸を属性ごとのデータ数とし、グラフ内の色により加工強度が示される。加工強度は、入力データとその是正データとの差分量から算出できる。当該グラフを参照すると、公平性是正処理によって加工対象に選択される属性、すなわち加工範囲に偏りがあり、加工強度が強くなるに従いデータの変化量も大きくなることがわかる。
一方、機械学習モデルを用いたシステムの長期運用では、機械学習モデルの精度を維持するために定期的な再訓練が必要である。そのため、訓練データは既存の機械学習モデルの精度に与える影響が小さい方が望ましい。なお、機械学習モデルの精度に与える影響を、単に、機械学習モデルに与える影響や、機械学習モデルに対する影響などと表現する場合がある。また、機械学習モデルに与える影響が小さい訓練データとは、図２に示した加工傾向などから考えると、例えば、公平性是正処理の実行前後の変化が少ない訓練データである。より具体的には、是正データの加工範囲が広く、かつ加工強度が弱ければ機械学習モデルに与える影響は小さいと考えられる。そこで、モデル影響度の指標として、是正データの加工範囲に対する分散値で表現する。分散値が小さく、加工強度が弱い是正データが、機械学習モデルに対してより影響が小さくなる。
図３は、本実施形態にかかるデータ加工によるモデル影響の一例を示す図である。図３の例は、強度の異なる４つの加工強度によって加工された是正データの加工傾向を示すグラフである。ｖａｒは是正データの加工範囲に対する分散値を示す。ｖａｒも、加工強度と同様に、入力データとその是正データとの差分量から算出でき、図３に示すように、加工強度が高くなると、ｖａｒも大きくなる。そのため、ｖａｒが小さければ、機械学習モデルに対する影響が小さいと考えることができる。
しかしながら、図３を参照すると、例えば、属性「A_MJOCC_4」が最も加工されており、加工される属性に偏りがあるのがわかる。そのため、加工される属性が、機械学習モデルにとって注目される属性であるか否かも、機械学習モデルに対する影響を考える際には重要となる。すなわち、加工される属性が注目属性でない場合は、加工強度が高くても実際には機械学習モデルに対する影響は少ないと考えることができる。機械学習モデルにとって注目される属性であるか否かは、機械学習モデルに対する注目度合い、すなわち、既存技術によって算出されるモデル寄与度によって判断することができる。そこで、本実施形態では、ｖａｒに加え、加工される属性のモデル寄与度も考慮して、機械学習モデルに対する影響を判定する。
［判定装置１０の機能構成］
次に、本実施形態の動作主体である判定装置１０の機能構成を説明する。図４は、本実施形態にかかる判定装置１０の構成例を示す図である。判定装置１０は、公平性是正処理による機械学習モデルへの精度影響を示す。
判定装置１０は、機械学習モデルへの精度影響を示すため、入力データと是正データとの差から特定される加工量の多い属性のモデル寄与度を特定し、モデル寄与度に基づいて、機械学習モデルの訓練を行った場合の影響度を判定する。判定装置１０は、モデル記憶部１１、分類部１２、是正部１３、特定部１４、判定部１５、および学習部１６を有する。
モデル記憶部１１は、例えば、機械学習モデルを記憶する。より具体的には、モデル記憶部１１は、例えば、機械学習モデルのニューラルネットワークのパラメータを記憶する。パラメータには、ニューロン間の重みが含まれる。ニューロン間の重みは、機械学習により更新される。
分類部１２は、例えば、モデル記憶部１１が記憶する機械学習モデルを用いて、是正部１３によって入力データを変換して生成される是正データを分類し、機械学習モデルの推論結果として出力する。
是正部１３は、例えば、図１の右側の表に示すように、機械学習モデルに対する入力データを所定のルールに従って作成された是正フィルタを用いて変換して是正データを生成する。是正データは、不公平な判定を行うように訓練されてしまった機械学習モデルを是正するために、入力データとして機械学習モデルに入力されたり、訓練データとして機械学習モデルの再訓練に用いられたりする。
特定部１４は、複数の属性のうち第１の属性を基準にした入力データの偏りに基づいて入力データを加工して得られた是正データと入力データとの差に基づいて、複数の属性のうち加工量が所定の閾値以上ある第２の属性を特定する。ここで、第１の属性および第２の属性は保護属性であってよい。また、入力データは第１の複数のデータに対応し、是正データは、第１の複数のデータを加工、すなわち是正処理して得られた第２の複数のデータに対応する。また、複数の属性のうち加工量が所定の閾値以上ある第２の属性とは、例えば、複数の属性のうち加工量が所定の閾値以上ある上位から１つまたは複数の第２の属性であってよい。
また、特定部１４は、例えば、分類部１２が是正データを入力して機械学習モデルが推論を行った場合における推論結果への第２の属性の寄与の大きさを特定する。
判定部１５は、例えば、特定部１４によって特定された寄与の大きさに基づいて、是正データによって機械学習モデルの訓練を行った場合における影響度を判定する。
学習部１６は、例えば、判定部１５によって判定された影響度に基づいて選択される是正データを用いて、モデル記憶部１１が記憶する機械学習モデルを再訓練して更新する。ここで、当該選択される是正データとは、例えば、機械学習モデルにとって良い加工がされているデータであり、重点的に加工されている属性が機械学習モデルに対する寄与度の高い属性であって、全体的に加工されているデータである。
［機能詳細］
次に、判定装置１０によって実行される、機械学習モデルに対する影響（以下、「モデル影響」という場合がある）判定についてより具体的に説明する。図５は、本実施形態にかかるデータ加工による加工傾向とモデル寄与度の一例を示す図である。図５の左側に示すように、是正データ全体の加工強度、すなわち、分散によって、判定装置１０は、属性が一律に加工されているか、偏って加工されているか、などデータ加工による加工傾向を判断できる。しかしながら、判定装置１０は、分散のみでは、加工されている属性、例えば、図５の左側の枠で囲まれた属性がモデル影響の高い属性かは判断が難しい。そこで、図５の右側に示すように、判定装置１０は、加工されている属性、例えば、枠で囲まれた属性のモデル寄与度が高いか否かも、モデル影響の判定に用いる。すなわち、判定装置１０は、是正データの分散、および、加工された属性およびその加工数と、モデル寄与度との一致度（以下、「寄与度ランク」という）を用いて、機械学習モデルに対する影響度を算出する。
図６は、本実施形態にかかる加工傾向とモデル寄与度とによる影響度判定の一例を示す図である。まず、判定装置１０は、例えば、是正データの加工傾向として、入力データと是正データとの差分から加工の強い属性を抽出する。より具体的には、判定装置１０は、例えば、図６の左上に示すように、入力データと是正データとの差分の絶対値をヒートマップにして算出し、加工強度が一定値以上の加工の強い属性を抽出する。
また、判定装置１０は、例えば、図６の左下に示すように、各属性のモデル寄与度を算出する。モデル寄与度は、例えば、対象となる機械学習モデルによって異なるが、既存技術であるフィルタ法やGain法などを用いて算出される。
また、判定装置１０は、例えば、図６の右側に示すように、抽出された、加工強度が一定値以上の加工の強い属性のデータ件数をカウントして上位から所定数の属性を抽出し、抽出された属性のモデル寄与度から寄与度ランクを算出する。寄与度ランクは、例えば、次の式（１）を用いて算出される。
Figure 2023176667000002
式（１）において、ｎｕｍは、例えば、抽出された上位から所定数の各属性を示す番号である。また、Ｒａｎｋは、例えば、抽出された上位から所定数の各属性のモデル寄与度の順位を示す。また、Ｃｏｕｎｔは、例えば、抽出された上位から所定数の各属性のカウントされたデータ件数を示す。
そして、判定装置１０は、是正データの分散値と寄与度ランクとに基づいて、モデル影響度を判定する。モデル影響度の判定は、例えば、是正データの分散値と寄与度ランクとからモデル影響度をマッピングすることにより行われる。
図７は、本実施形態にかかるモデル影響度の出力の一例を示す図である。図７に示すように、判定装置１０は、是正データの分散値と寄与度ランクとに基づいて、モデル影響度をマッピングする。例えば、機械学習モデルにとって、訓練データの良い加工とは、全体的にデータ加工がされており、すなわち分散値が小さく、かつ、重点的に加工している属性が機械学習モデルに対する寄与度の高い属性であることである。そこで、判定装置１０は、分散値が低く、寄与度ランクが高い是正データ、図７の場合は、グラフの右上にマッピングされる是正データの方が、モデル影響度がより高く、機械学習モデルの精度に与える影響が小さいと判定できる。
また、判定装置１０は、公平性是正処理による公平性スコア、機械学習モデルの予測精度、およびモデル影響スコアに基づいて、様々な是正データの中から、機械学習モデルの訓練に用いるための是正データの候補を選択できる。
図８は、本実施形態にかかるモデル影響スコアによる候補判定の一例を示す図である。図８のグラフは、ｘ軸を公平性是正処理による公平性スコア、ｙ軸を機械学習モデルの予測精度、およびｚ軸をモデル影響スコアとし、是正データの案１～５をマッピングしたものである。
公平性是正処理による公平性スコアは、例えば、公平性スコアの一例であるＤＩスコアであり、注視する保護属性値（例：性別＝女性）かつ任意の判定結果Ｘの出現率を、それ以外の判定結果Ｘの出現率で割ることにより算出可能である。また、機械学習モデルの予測精度は、例えば、既存技術の評価指標、例えば、Ａｃｃｕｒａｃｙ（正解率）であり、入力データを機械学習モデルに入力した場合の正解数を、全入力データ数で割ることにより算出可能である。モデル影響スコアは、例えば、「モデル影響スコア＝（α×１／分散値＋β×寄与度ランク）」の式によって算出可能である。なお、当該式におけるαおよびβは、それぞれ、分散値および寄与度ランクに対する重みパラメータである。
そして、図８に示すように、判定装置１０は、公平性スコア、機械学習モデルの予測精度、およびモデル影響スコアのいずれも高い是正データを、機械学習モデルの訓練に用いる最有力候補（図８の例では是正案５）として選択する。
［処理の流れ］
次に、図９を用いて、判定装置１０によって実行されるモデル影響度判定処理の流れを説明する。図９は、本実施形態にかかるモデル影響度判定処理の流れの一例を示すフローチャートである。
まず、図９に示すように、判定装置１０は、入力データに対して公平性是正処理を実行する（ステップＳ１０１）。より具体的には、例えば、判定装置１０は、複数の異なるルールに従ってそれぞれ作成された是正フィルタの各々に入力データを通し、それぞれの是正案に対する是正データを生成する。
次に、判定装置１０は、是正案ごとに、対応する是正データと、入力データとの差分量に基づいて、分散値を算出する（ステップＳ１０２）。
次に、判定装置１０は、是正案ごとに、対応する是正データと、入力データとの差分量に基づいて加工強度を算出し、当該加工強度が一定値以上の加工の強い属性を特定する（ステップＳ１０３）。なお、加工強度が一定値以上の属性とは、例えば、加工強度が所定の閾値以上ある上位から所定数の属性であってよい。
次に、判定装置１０は、是正案ごとに、ステップＳ１０３で特定された属性のモデル寄与度を算出する（ステップＳ１０４）。
次に、判定装置１０は、是正案ごとに、ステップＳ１０４で算出されたモデル寄与度に基づいて、寄与度ランクを算出する（ステップＳ１０５）。
次に、判定装置１０は、是正案ごとに、ステップＳ１０２で算出された分散値と、ステップＳ１０５で算出された寄与度ランクとに基づいて、モデル影響度を出力する（ステップＳ１０６）。当該モデル影響度の出力は、例えば、図８に示すような、分散値と寄与度ランクとに基づく、モデル影響度のマッピングであってよい。これを是正案ごとに行うことで、判定装置１０は、是正案ごとに、機械学習モデルの精度に与える影響を判定できる。ステップＳ１０６の実行後、図９に示すモデル影響度判定処理は終了する。
［効果］
上述したように、判定装置１０は、複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて第１の複数のデータを加工して得られた第２の複数のデータと第１の複数のデータとの差に基づいて、複数の属性のうち加工量が所定の閾値以上ある第２の属性を特定し、データを入力して機械学習モデルが推論を行った場合における推論結果への第２の属性の寄与の大きさを特定し、寄与の大きさに基づいて、第２の複数のデータによって機械学習モデルの訓練を行った場合における影響度を判定する。
このように、判定装置１０は、入力データと是正データとの差から特定される加工量の多い属性のモデル寄与度を特定し、モデル寄与度に基づいて、訓練における影響度を判定する。これにより、判定装置１０は、公平性是正による機械学習モデルへの精度影響を示すことができる。
また、判定装置１０によって実行される、第２の属性を特定する処理は、第２の複数のデータと第１の複数のデータとの差に基づいて、複数の属性のうち加工量が所定の閾値以上ある上位から１つまたは複数の第１の属性を特定する処理を含む。
これにより、判定装置１０は、加工量のより多い属性に限定して、公平性是正による機械学習モデルへの精度影響を示すことができる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。
また、判定装置１０の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、判定装置１０の分類部１２が複数の処理部に分散されたり、判定装置１０の是正部１３と特定部１４とが１つの処理部に統合されたりしてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図１０は、本実施形態にかかる判定装置１０のハードウェア構成例を示す図である。図１０に示すように、判定装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１０に示した各部は、バスなどで相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、例えば、図４などに示した各機能を動作させるプログラムやデータを記憶する。
プロセッサ１０ｄは、ＣＰＵ、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などである。また、プロセッサ１０ｄは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されるようにしてもよい。プロセッサ１０ｄは、例えば、図４などに示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開する。これにより、プロセッサ１０ｄは、図４などで説明した各機能を実現するプロセスを実行するハードウェア回路として動作可能である。
また、判定装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、判定装置１０によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、他の情報処理装置と判定装置１０とが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてよい。
当該プログラムは、インターネットなどのネットワークを介して配布されてもよい。また、当該プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ可読記憶媒体に記録されてよい。そして、当該プログラムは、判定装置１０などによって記録媒体から読み出されることによって実行されてもよい。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて前記第１の複数のデータを加工して得られた第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある第２の属性を特定し、
データを入力して機械学習モデルが推論を行った場合における推論結果への前記第２の属性の寄与の大きさを特定し、
前記寄与の大きさに基づいて、前記第２の複数のデータによって前記機械学習モデルの訓練を行った場合における影響度を判定する、
処理をコンピュータに実行させることを特徴とする判定プログラム。
（付記２）前記第２の属性を特定する処理は、
前記第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある上位から１つまたは複数の前記第２の属性を特定する、
処理を含むことを特徴とする付記１に記載の判定プログラム。
（付記３）複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて前記第１の複数のデータを加工して得られた第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある第２の属性を特定し、
データを入力して機械学習モデルが推論を行った場合における推論結果への前記第２の属性の寄与の大きさを特定し、
前記寄与の大きさに基づいて、前記第２の複数のデータによって前記機械学習モデルの訓練を行った場合における影響度を判定する、
処理を実行する制御部を備えた判定装置。
（付記４）前記第２の属性を特定する処理は、
前記第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある上位から１つまたは複数の前記第２の属性を特定する、
処理を含むことを特徴とする付記３に記載の判定装置。
（付記５）複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて前記第１の複数のデータを加工して得られた第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある第２の属性を特定し、
データを入力して機械学習モデルが推論を行った場合における推論結果への前記第２の属性の寄与の大きさを特定し、
前記寄与の大きさに基づいて、前記第２の複数のデータによって前記機械学習モデルの訓練を行った場合における影響度を判定する、
処理をコンピュータが実行する判定方法。
（付記６）前記第２の属性を特定する処理は、
前記第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある上位から１つまたは複数の前記第２の属性を特定する、
処理を含むことを特徴とする付記５に記載の判定方法。
（付記７）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて前記第１の複数のデータを加工して得られた第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある第２の属性を特定し、
データを入力して機械学習モデルが推論を行った場合における推論結果への前記第２の属性の寄与の大きさを特定し、
前記寄与の大きさに基づいて、前記第２の複数のデータによって前記機械学習モデルの訓練を行った場合における影響度を判定する、
処理を実行することを特徴とする情報処理装置。
１０ 判定装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
１１ モデル記憶部
１２ 分類部
１３ 是正部
１４ 特定部
１５ 判定部
１６ 学習部

Claims (4)

  1. 複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて前記第１の複数のデータを加工して得られた第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある第２の属性を特定し、
    データを入力して機械学習モデルが推論を行った場合における推論結果への前記第２の属性の寄与の大きさを特定し、
    前記寄与の大きさに基づいて、前記第２の複数のデータによって前記機械学習モデルの訓練を行った場合における影響度を判定する、
    処理をコンピュータに実行させることを特徴とする判定プログラム。
  2. 前記第２の属性を特定する処理は、
    前記第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある上位から１つまたは複数の前記第２の属性を特定する、
    処理を含むことを特徴とする請求項１に記載の判定プログラム。
  3. 複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて前記第１の複数のデータを加工して得られた第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある第２の属性を特定し、
    データを入力して機械学習モデルが推論を行った場合における推論結果への前記第２の属性の寄与の大きさを特定し、
    前記寄与の大きさに基づいて、前記第２の複数のデータによって前記機械学習モデルの訓練を行った場合における影響度を判定する、
    処理を実行する制御部を備えた判定装置。
  4. 複数の属性のうち第１の属性を基準にした第１の複数のデータの偏りに基づいて前記第１の複数のデータを加工して得られた第２の複数のデータと前記第１の複数のデータとの差に基づいて、前記複数の属性のうち加工量が閾値以上ある第２の属性を特定し、
    データを入力して機械学習モデルが推論を行った場合における推論結果への前記第２の属性の寄与の大きさを特定し、
    前記寄与の大きさに基づいて、前記第２の複数のデータによって前記機械学習モデルの訓練を行った場合における影響度を判定する、
    処理をコンピュータが実行する判定方法。
JP2022089085A 2022-05-31 2022-05-31 判定プログラム、判定装置、および判定方法 Pending JP2023176667A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022089085A JP2023176667A (ja) 2022-05-31 2022-05-31 判定プログラム、判定装置、および判定方法
US18/165,420 US20230385690A1 (en) 2022-05-31 2023-02-07 Computer-readable recording medium storing determination program, determination apparatus, and method of determining
EP23156759.5A EP4287083A1 (en) 2022-05-31 2023-02-15 Determination program, determination apparatus, and method of determining

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022089085A JP2023176667A (ja) 2022-05-31 2022-05-31 判定プログラム、判定装置、および判定方法

Publications (1)

Publication Number Publication Date
JP2023176667A true JP2023176667A (ja) 2023-12-13

Family

ID=85251788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022089085A Pending JP2023176667A (ja) 2022-05-31 2022-05-31 判定プログラム、判定装置、および判定方法

Country Status (3)

Country Link
US (1) US20230385690A1 (ja)
EP (1) EP4287083A1 (ja)
JP (1) JP2023176667A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024029832A (ja) * 2022-08-23 2024-03-07 富士通株式会社 判定プログラム、判定装置、および判定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151478B2 (en) 2019-04-05 2021-10-19 Vmware, Inc. Enhanced learning with feedback loop for machine reading comprehension models
JP7346110B2 (ja) 2019-07-08 2023-09-19 キヤノン株式会社 システム、方法、及びプログラム
JP2021149842A (ja) 2020-03-23 2021-09-27 株式会社日立製作所 機械学習システム及び機械学習方法
US11488064B2 (en) 2020-03-30 2022-11-01 International Business Machines Corporation Machine learning model for micro-service compliance requirements

Also Published As

Publication number Publication date
US20230385690A1 (en) 2023-11-30
EP4287083A1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
JP4618098B2 (ja) 画像処理システム
US20200090268A1 (en) Method and apparatus for determining level of risk of user, and computer device
JP6414363B2 (ja) 予測システム、方法およびプログラム
Zheng et al. Learning criteria weights of an optimistic Electre Tri sorting rule
JP7409513B2 (ja) 機械学習データ生成プログラム、機械学習データ生成方法および機械学習データ生成装置
KR102320580B1 (ko) 딥러닝을 이용한 근시 진행 예측 방법 및 시스템
JP2023176667A (ja) 判定プログラム、判定装置、および判定方法
CN110163839A (zh) 豹纹状眼底图像识别方法、模型训练方法及设备
JP2020197875A (ja) 解析プログラム、解析装置及び解析方法
JP2021096775A (ja) 学習方法、学習プログラムおよび情報処理装置
Drascher et al. Long-term memory interference is resolved via repulsion and precision along diagnostic memory dimensions
CN113761026A (zh) 基于条件互信息的特征选择方法、装置、设备和存储介质
WO2021220342A1 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、及び、記録媒体
Pawar An optimized predictive model for prospective blogging using machine learning
JP2024029832A (ja) 判定プログラム、判定装置、および判定方法
US20140279327A1 (en) Method And Systems For Illuminating Statistical Uncertainties To Empower Decision Making
CN111968140A (zh) 基于经典感受野固视微动机制的轮廓检测方法
WO2023073967A1 (ja) 精度判定プログラム、精度判定装置、および精度判定方法
WO2024105824A1 (ja) バイアス評価プログラム、装置、及び方法
Lizama et al. Model for automatic detection of the big five personality traits through facial images
EP4202805A1 (en) Information processing program, information processing device, and information processing method
KR102548875B1 (ko) 주성분 평면을 이용한 얼굴 매칭 장치 및 방법
JP2020071552A (ja) 判定装置及び判定方法
US20220222582A1 (en) Generation method, computer-readable recording medium storing generation program, and information processing apparatus
JP7086497B2 (ja) 異常・誤り影響説明変数検出装置及び異常・誤り影響説明変数検出用プログラム