JP2023008415A - 評価プログラム、評価方法および情報処理装置 - Google Patents

評価プログラム、評価方法および情報処理装置 Download PDF

Info

Publication number
JP2023008415A
JP2023008415A JP2021111967A JP2021111967A JP2023008415A JP 2023008415 A JP2023008415 A JP 2023008415A JP 2021111967 A JP2021111967 A JP 2021111967A JP 2021111967 A JP2021111967 A JP 2021111967A JP 2023008415 A JP2023008415 A JP 2023008415A
Authority
JP
Japan
Prior art keywords
attack
data
machine learning
learning model
membership
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021111967A
Other languages
English (en)
Inventor
裕二 樋口
Yuji Higuchi
郁也 森川
Ikuya Morikawa
俊也 清水
Toshiya Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021111967A priority Critical patent/JP2023008415A/ja
Priority to EP22169181.9A priority patent/EP4116853B1/en
Priority to US17/727,927 priority patent/US20230009999A1/en
Publication of JP2023008415A publication Critical patent/JP2023008415A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

Figure 2023008415000001
【課題】メンバーシップ推定攻撃に対する耐性を効率的に評価することを課題とする。
【解決手段】情報処理装置は、訓練データを疑似した疑似データであり、訓練に利用された疑似データの量が異なる各機械学習モデルと、メンバーシップ推定攻撃による攻撃対象である複数のデータとを用いて測定された、各機械学習モデルに対するメンバーシップ推定攻撃の各攻撃結果を取得する。情報処理装置は、複数のデータのうち、各攻撃結果に基づき特定のデータを特定する。情報処理装置は、疑似データの量が各機械学習モデルの訓練に利用された疑似データの量の間に該当する特定の機械学習モデルに対して、特定のデータを用いたメンバーシップ推定攻撃を実行する。情報処理装置は、各攻撃結果と特定のデータに対する攻撃結果とに基づき、特定の機械学習モデルに対するメンバーシップ推定攻撃の耐性を評価する。
【選択図】図１

Description

本発明は、評価プログラム、評価方法および情報処理装置に関する。
機械学習を用いたシステムの開発や利用が急速に進んでいる。機械学習の運用は、訓練フェイズと推論フェイズの２つのフェイズに分けられる。訓練フェイズは、訓練データを用いて機械学習を生成するフェイズであり、推論フェイズは、訓練済みの機械学習モデルを用いて、入力データから推論結果を取得するフェイズである。
一方で、機械学習固有のセキュリティ問題も見つかっている。例えば、あるデータが機械学習モデルに利用されたか否かを推定するメンバーシップ推定攻撃などが知られている。メンバーシップ推定攻撃が用いられることで、例えば疾病に関する機械学習モデルに利用された訓練データが検出されることで、プライバシー侵害などが発生する。
近年では、メンバーシップ推定攻撃の対策として、擬似データの量によるメンバーシップ推定攻撃の耐性の変化を推定するグリッドリサーチが知られている。例えば、グリッドリサーチは、擬似データを加える量を様々に変化させた訓練データを用意し、それらを用いて複数の機械学習モデルを生成し、それぞれの機械学習モデルに対して実際に攻撃を行い、網羅的に攻撃耐性を測定する技術である。
特開２０１１－２１０２５２号公報 米国特許出願公開第２０１９／０１８８５６４号明細書 国際公開第２０２０／２３０６９９号 特開２０２０－１６０７４３号公報 米国特許出願公開第２０１９／０２２０６０５号明細書
しかしながら、上記技術では、訓練と攻撃を繰り返し行う必要があり、測定に多くの時間を要し、メンバーシップ推定攻撃に対する耐性を効率的に評価することが難しい。
例えば、グリッドサーチでは、疑似データの量を変更させた訓練データを用いて機械学習モデルを生成して、その機械学習モデルに攻撃を行って耐性を評価し、さらに、疑似データの量を変更させた訓練データを用いて別の機械学習モデルを生成して、その別の機械学習モデルに攻撃を行って耐性を評価する。このように、グリッドサーチでは、機械学習モデルの生成と耐性評価とを繰り返すことになり、耐性の評価に時間がかかる。
一つの側面では、メンバーシップ推定攻撃に対する耐性を効率的に評価することができる評価プログラム、評価方法および情報処理装置を提供することを目的とする。
第１の案では、評価プログラムは、コンピュータに、訓練データを疑似した疑似データであり、訓練に利用された疑似データの量が異なる各機械学習モデルと、メンバーシップ推定攻撃による攻撃対象である複数のデータとを用いて測定された、前記各機械学習モデルに対する前記メンバーシップ推定攻撃の各攻撃結果を取得し、前記複数のデータのうち、前記各攻撃結果に基づき特定のデータを特定し、前記疑似データの量が前記各機械学習モデルの訓練に利用された疑似データの量の間に該当する特定の機械学習モデルに対して、前記特定のデータを用いた前記メンバーシップ推定攻撃を実行し、前記各攻撃結果と前記特定のデータに対する攻撃結果とに基づき、前記特定の機械学習モデルに対する前記メンバーシップ推定攻撃の耐性を評価する、処理を実行させることを特徴とする。
一実施形態によれば、メンバーシップ推定攻撃に対する耐性を効率的に評価することができる。
図１は、実施例１にかかる情報処理装置を説明する図である。 図２は、メンバーシップ推定攻撃を説明する図である。 図３は、実施例１にかかる情報処理装置によるメンバーシップ推定攻撃の耐性評価を説明する図である。 図４は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図５は、データセットＤＢに記憶される情報の例を示す図である。 図６は、攻撃対象データＤＢに記憶される情報の例を示す図である。 図７は、モデルＤＢに記憶される情報の例を示す図である。 図８は、事前処理における各機械学習モデルの生成を説明する図である。 図９は、事前処理における攻撃結果の生成を説明する図である。 図１０は、攻撃対象データの特定を説明する図である。 図１１は、メンバーシップ推定攻撃の耐性評価を説明する図である。 図１２は、メンバーシップ推定攻撃の耐性評価を再帰的に繰り返す例を説明する図である。 図１３は、メンバーシップ推定攻撃の耐性評価の出力例を説明する図である。 図１４は、実施例１にかかる処理の流れを示すフローチャートである。 図１５は、ハードウェア構成例を説明する図である。
以下に、本願の開示する評価プログラム、評価方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
［情報処理装置の説明］
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、ある訓練データを用いて機械学習モデルを生成し、生成された機械学習モデルを用いて予測や分類を実行するコンピュータ装置の一例である。
一般的に、正当な権利者ではない第三者は、機械学習モデルに対応するブラックボックスアクセスを用いてメンバーシップ推定攻撃を行うことで、自身が所有するデータ（攻撃対象データ）が情報処理装置１０の機械学習モデルの訓練に利用された否かを推定する。これに対して、情報処理装置１０は、攻撃対象データを用いて、メンバーシップ推定攻撃の耐性を測定することで、管理者等に対して、メンバーシップ推定攻撃への対応を促すことができる。
ここで、メンバーシップ推定攻撃の例を説明する。図２は、メンバーシップ推定攻撃を説明する図である。図２の（ａ）に示すように、前提として、攻撃者は、攻撃対象モデルの訓練データであるデータセットＡにある程度類似するデータセットＢを持っており、攻撃対象の機械学習モデルにブラックボックスアクセスができる状態である。なお、ブラックボックスアクセスとは、入力を行ってその出力を得ることはできるが、機械学習モデルの内部パラメータ等は知ることができないことをいう。
このような前提条件のもと、図２の（ｂ）に示すように、攻撃者は、持っているデータセットＢを「シャドウモデルの仮訓練データ」と「シャドウモデルのテストデータ」の２つに分割する。シャドウモデルとは、攻撃者が訓練する、攻撃対象の機械学習モデルと同じ機能をもつ機械学習モデルである。攻撃者は、「シャドウモデルの仮訓練データ」を用いて、シャドウモデルを訓練する。
また、攻撃者は、シャドウモデルと上記の２つのデータを用いて、シャドウモデルの出力データを入力として、訓練データであるか否かを出力する攻撃モデルを訓練する。なお、出力データは、分類モデルであれば確信度ベクトルなどに該当する。
その後、図２の（ｃ）に示すように、攻撃者は、攻撃対象の機械学習モデルに攻撃対象のデータを入力し、その出力を攻撃モデルに入力することで、訓練データであるか否かの推論結果を得る。
攻撃者は、このようなメンバーシップ推定攻撃により、情報処理装置１０が有する機械学習モデルに使用された可能性が高いデータを特定する。したがって、機械学習モデルのユーザは、メンバーシップ推定攻撃により、公開していないデータの内容を特定されてしまう可能性があり、個人情報の流出の危険性も高まる。
このようなメンバーシップ推定攻撃に対しては、グリッドサーチなどの技術により、攻撃耐性を評価することが行われているが、測定に多くの時間を要し、メンバーシップ推定攻撃に対する耐性を効率的に評価することが難しい。
そこで、実施例１にかかる情報処理装置１０は、擬似データの量を増やすほどメンバーシップ推定攻撃への耐性が上がる特性を利用し、メンバーシップ推定攻撃に対する耐性を効率的に評価する。
具体的には、情報処理装置１０は、訓練データを疑似した疑似データであり、訓練に利用された疑似データの量が異なる各機械学習モデルと、メンバーシップ推定攻撃による攻撃対象である複数のデータとを用いて測定された、各機械学習モデルに対するメンバーシップ推定攻撃の各攻撃結果を取得する。情報処理装置１０は、複数のデータのうち、各攻撃結果に基づき特定のデータを特定する。
情報処理装置１０は、疑似データの量が各機械学習モデルの訓練に利用された疑似データの量の間に該当する特定の機械学習モデルに対して、特定のデータを用いたメンバーシップ推定攻撃を実行する。情報処理装置１０は、各攻撃結果と特定のデータに対する攻撃結果とに基づき、特定の機械学習モデルに対するメンバーシップ推定攻撃の耐性（ＭＩ耐性）を評価する。
図３は、実施例１にかかる情報処理装置１０によるメンバーシップ推定攻撃の耐性評価を説明する図である。図３に示すように、情報処理装置１０は、疑似データの量を変えた訓練データセットそれぞれを用いて、複数の機械学習モデルを生成する。
そして、情報処理装置１０は、評価対象の機械学習モデルに用いられた疑似データの数よりも少ない疑似データを含めた訓練データを用いて生成された第１機械学習モデルに対するメンバーシップ推定攻撃の耐性結果を取得する。また、情報処理装置１０は、対象の機械学習モデルに用いられた疑似データの数よりも多い疑似データを含めた訓練データを用いて生成された第２機械学習モデルに対するメンバーシップ推定攻撃の耐性結果を取得する。
そして、情報処理装置１０は、２つの既知の攻撃結果を比較して、攻撃結果が変化したデータについてのみ実際に攻撃を行い、攻撃結果が変化していないデータについては既知の結果をそのまま採用する。
したがって、情報処理装置１０は、既知の攻撃結果を流用し、メンバーシップ推定攻撃の特性を利用して攻撃を行うデータを絞ることで、効率的にメンバーシップ推定攻撃の耐性を評価することができるので、メンバーシップ推定攻撃に対する耐性を効率的に評価することができる。
［機能構成］
図４は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図４に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。
通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、管理者の端末との間で各種データの送受信を実行し、評価結果などを送信する。
記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する処理部であり、例えばメモリやハードディスクなどにより実現される。この記憶部１２は、データセットＤＢ１３、攻撃対象データＤＢ１４、モデルＤＢ１５を記憶する。
データセットＤＢ１３は、機械学習モデルの訓練に利用されるデータを記憶するデータベースである。図５は、データセットＤＢ１３に記憶される情報の例を示す図である。図５に示すように、データセットＤＢ１３は、訓練データ群とテストデータ群とを記憶する。
訓練データ群は、「訓練データ」と「ラベル」とを対応付けて記憶する。ここで記憶される「訓練データ」には、機械学習に利用されるデータが登録され、「ラベル」には、いわゆる正解情報（教師ラベル）が登録される。図５の例では、ラベルＡが設定された実訓練データＡが登録されていることが示されている。
テストデータ群は、「テストデータ」と「ラベル」とを対応付けて記憶する。ここで記憶される「テストデータ」には、機械学習の訓練時のテストに利用されるデータが登録され、「ラベル」には、いわゆる正解情報（教師ラベル）が登録される。図５の例では、ラベルＡが設定された実テストデータＡが登録されていることが示されている。
なお、画像データから犬かそれ以外かを判定する機械学習モデルを想定した場合、訓練データやテストデータには、ラベル「犬」が設定された画像データや、ラベル「猫」が設定された画像データなどが該当する。
攻撃対象データＤＢ１４は、メンバーシップ推定攻撃の対象となるデータを記憶するデータベースである。図６は、攻撃対象データＤＢ１４に記憶される情報の例を示す図である。図６に示すように、攻撃対象データＤＢ１４は、正当な権利者ではない第三者が、訓練データに利用されたか否かを推定すると想定される「攻撃対象データ」を記憶する。図６の例では、「攻撃対象データ」として「データ１」や「データ２」が登録されていることが示されている。
モデルＤＢ１５は、情報処理装置１０が利用する各種機械学習モデルを記憶するデータベースである。ここで記憶される各機械学習モデルは、情報処理装置１０が生成してもよく、別の装置や管理者等により生成された既知の機械学習モデルが登録されてもよい。
図７は、モデルＤＢ１５に記憶される情報の例を示す図である。図７に示すように、モデルＤＢ１５は、「モデル」と「種別」を対応付けて記憶する。ここで記憶される「モデル」には、機械学習モデルが登録され、「種別」には、機械学習モデルの用途や性能などを示す情報が登録される。
図７の例では、疑似データを全く含まない訓練データセットを用いて生成された機械学習モデルＭ１が登録されていることが示されている。また、訓練データセット全体の１０％が疑似データである訓練データセットを用いて生成された機械学習モデルＭ２が登録されていることが示されている。また、入力データに応じて、当該入力データが訓練データに使用されたか否かを出力する攻撃モデルが登録されていることが示されている。
制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、事前処理部３０、評価部４０を有する。なお、事前処理部３０、評価部４０は、プロセッサなどに搭載される電子回路やプロセッサが実行するプロセスなどにより実現される。
事前処理部３０は、訓練部３１と攻撃測定部３２を有し、メンバーシップ推定攻撃の耐性を評価する前の事前処理を実行する処理部である。
訓練部３１は、各機械学習モデルの訓練を実行して、各機械学習モデルを生成する処理部である。具体的には、訓練部３１は、訓練データ群と疑似データとを含む訓練データセットについて、疑似データの数を変更した複数の訓練データセットを生成し、複数の訓練データセットそれぞれを用いた複数の機械学習モデルを生成して記憶部１２に格納する。例えば、訓練部３１は、疑似データの数を１０％ずつ異ならせた１０個の機械学習モデルを生成する。なお、訓練部３１は、疑似データとして、訓練データ内の画像を回転させたデータ、訓練データ内の縮尺や色を変更したデータ、訓練データ内の画像に類似するインターネットから取得したデータなどにラベルを付与することで生成する。なお、疑似データは、管理者等が登録したものであってもよい。
図８は、事前処理における各機械学習モデルの生成を説明する図である。図８の（ａ）に示すように、訓練部３１は、疑似データを含まず、訓練データ群のみを訓練データセットとして用いて機械学習モデルＭ１の訓練し、機械学習モデルＭ１を生成する。すなわち、訓練部３１は、訓練データ群に含まれる実訓練データの入力の応じた機械学習モデルＭ１の出力と、実訓練データのラベルとの誤差が小さくなるように、機械学習モデルＭ１の訓練を実行する。
また、図８の（ｂ）に示すように、訓練部３１は、訓練データ群と、訓練データ群の２倍の疑似データとを含む訓練データセットを用いて機械学習モデルＭＮの訓練し、機械学習モデルＭＮを生成する。例えば、訓練部３１は、実訓練データまたは疑似データの入力の応じた機械学習モデルＭ１の出力と、実訓練データまたは疑似データのラベルとの誤差が小さくなるように、機械学習モデルＭＮの訓練を実行する。
また、図８の（ｃ）に示すように、訓練部３１は、訓練データ群とテストデータ群とを用いて攻撃モデルの訓練し、攻撃モデルを生成する。例えば、訓練部３１は、訓練データ群内の各実訓練データを機械学習モデルＭ１に入力し、機械学習モデルＭ１の出力結果（確信度）を攻撃モデルに入力する。そして、訓練部３１は、攻撃モデルの出力値が「入力されたデータが訓練に利用されたことを示す値」となるように、攻撃モデルの訓練を実行する。一方、訓練部３１は、テストデータ群内の各実テストデータを機械学習モデルＭ１に入力し、機械学習モデルＭ１の出力結果（確信度）を攻撃モデルに入力する。そして、訓練部３１は、攻撃モデルの出力値が「入力されたデータが訓練に利用されていないことを示す値」となるように、攻撃モデルの訓練を実行する。なお、訓練部３１は、訓練済みである各機械学習モデルを用いて、攻撃モデルを訓練することもできる。
攻撃測定部３２は、訓練済みの機械学習モデルを用いたメンバーシップ推定攻撃の耐性を生成する処理部である。具体的には、攻撃測定部３２は、訓練済みの機械学習モデルに対して実際にメンバーシップ推定攻撃を実行し、その攻撃結果を収集し、記憶部１２等に格納する。
図９は、事前処理における攻撃結果の生成を説明する図である。図９には、上記例である機械学習モデルＭ１と機械学習モデルＭＮとに対して、実際にメンバーシップ推定攻撃を実行した例が示されている。
図９の（ａ）に示すように、攻撃測定部３２は、攻撃対象データＤＢ１４に記憶されるデータ１からデータＮの各データを機械学習モデルＭ１に入力し、機械学習モデルＭ１の各出力値を取得する。そして、攻撃測定部３２は、データ１からデータＮのそれぞれに対応する各出力値を攻撃モデルに入力し、攻撃モデルの各出力値を取得し、各出力値に基づき、攻撃結果を判定する。例えば、攻撃測定部３２は、攻撃モデルの出力値が閾値以上であるデータについては攻撃成功と判定し、攻撃モデルの出力値が閾値未満であるデータについては攻撃失敗と判定する。また、攻撃測定部３２は、攻撃対象データＤＢ１４に記憶される各データにおける攻撃失敗の割合を、攻撃耐性を表す指標として算出する。
同様に、図９の（ｂ）に示すように、攻撃対象データＤＢ１４に記憶されるデータ１からデータＮの各データを機械学習モデルＭＮに入力し、機械学習モデルＭＮの各出力値を取得する。そして、攻撃測定部３２は、データ１からデータＮのそれぞれに対応する各出力値を攻撃モデルに入力し、攻撃モデルの各出力値を取得し、各出力値に基づき、攻撃結果を判定する。攻撃測定部３２は、攻撃対象データＤＢ１４に記憶される各データにおける攻撃失敗の割合を、攻撃耐性を表す指標として算出する。
図４に戻り、評価部４０は、特定部４１と耐性評価部４２を有し、機械学習モデルに対して、メンバーシップ推定攻撃の耐性を評価する処理部である。
特定部４１は、ある機械学習モデルに対するメンバーシップ推定攻撃の耐性を測定する際に、疑似データの量が異なる訓練データセットを用いて訓練された複数の機械学習モデルに対する既知の攻撃結果を比較し、実際に攻撃を行うデータを特定する処理部である。
具体的には、特定部４１は、ある機械学習モデルの訓練に利用された疑似データ数よりも少ない数の疑似データを用いて訓練された第１の機械学習モデルを特定し、第１の機械学習モデルの第１の攻撃結果を取得する。また、特定部４１は、ある機械学習モデルの訓練に利用された疑似データ数よりも多い数の疑似データを用いて訓練された第２の機械学習モデルを特定し、第２の機械学習モデルの第２の攻撃結果を取得する。そして、特定部４１は、第１の攻撃結果と第２の攻撃結果とを比較し、攻撃結果が異なるデータを、実際の攻撃対象とする攻撃対象データと特定する。その後、特定部４１は、特定した攻撃対象データを耐性評価部４２に出力する。
図１０は、攻撃対象データの特定を説明する図である。図１０に示すように、特定部４１は、訓練データ群と同じ量の疑似データの数（割合１）である訓練データセットを用いて生成された機械学習モデルＭＭの耐性を評価する場合、疑似データの数が０であり、機械学習モデルＭＭよりも少ない疑似データ量の訓練データセットを用いて生成された機械学習モデルＭ１の攻撃結果を取得する。また、特定部４１は、疑似データの数が訓練データの２倍（割合２）であり、機械学習モデルＭＭよりも多い疑似データ量の訓練データセットを用いて生成された機械学習モデルＭＮの攻撃結果を取得する。
そして、特定部４１は、各攻撃結果に含まれる「データ１～データＮ」それぞれの攻撃結果を比較し、攻撃結果が異なる「データ１」を特定する。この結果、特定部４１は、評価対象である機械学習モデルＭＭに対しては、攻撃対象データ「データ１からデータＮ」のうち「データ１」を攻撃対象と特定する。
耐性評価部４２は、特定部４１により特定されたデータに対して、実際にメンバーシップ推定攻撃を実行し、機械学習モデルの耐性を評価する処理部である。上記例で説明すると、特定部４１は、機械学習モデルＭＭの耐性を評価する場合、「データ１」に対して、実際の攻撃を行う。
図１１は、メンバーシップ推定攻撃の耐性評価を説明する図である。図１１に示すように、耐性評価部４２は、攻撃対象データ「データ１からデータＮ」のうち「データ１」を機械学習モデルＭＭに入力して出力結果を取得する。続いて、耐性評価部４２は、機械学習モデルＭＭの出力結果を攻撃モデルに入力し、攻撃モデルの出力結果に基づき、攻撃成功と判定する。そして、耐性評価部４２は、攻撃対象のデータ１については、上記特定した「攻撃成功」、その他の攻撃対象のデータについては機械学習モデルＭ１の攻撃結果を採用し、機械学習モデルＭＭの攻撃結果を生成する。その後、耐性評価部４２は、攻撃結果のうち攻撃失敗の割合（比率）を、機械学習モデルＭＭの耐性として算出する。
上述したように、評価部４０は、既知の攻撃結果を用いて、攻撃対象を絞り込むことで、耐性評価を効率的に実行することができる。また、評価部４０は、上記処理を再帰的に繰り返すことで、疑似データ量を変えたすべての機械学習モデルに対して、メンバーシップ推定攻撃の耐性を効率的に評価することができる。
図１２は、メンバーシップ推定攻撃の耐性評価を再帰的に繰り返す例を説明する図である。図１２に示すように、評価部４０は、疑似データ量が最も少ない機械学習モデルＭ１と、疑似データ量が最も多い機械学習モデルＭＮとのそれぞれについて、すべての攻撃対象データについて実際に攻撃を行って攻撃結果を生成する。
次に、評価部４０は、攻撃結果が既知である２つの機械学習モデルの中間に位置する疑似データ量を用いた機械学習モデルであって、未評価の機械学習モデルＭＭを特定する。そして、評価部４０は、機械学習モデルＭ１の攻撃結果と機械学習モデルＭＮの攻撃結果とのうち、攻撃結果が変化したデータだけに攻撃を行い、攻撃結果が変化しなかったデータはその結果を攻撃結果とする。
次に、評価部４０は、機械学習モデルＭ１と機械学習モデルＭＭとの中間に位置する疑似データ量を用いた機械学習モデルであって、未評価の機械学習モデルＭ５を特定する。そして、評価部４０は、機械学習モデルＭ１の攻撃結果と機械学習モデルＭＭの攻撃結果とのうち、攻撃結果が変化したデータだけに攻撃を行い、攻撃結果が変化しなかったデータはその結果を攻撃結果とする。
同様に、評価部４０は、機械学習モデルＭＮと機械学習モデルＭＭとの中間に位置する疑似データ量を用いた未評価の機械学習モデルＭ９に対して、機械学習モデルＭＮの攻撃結果と機械学習モデルＭＭの攻撃結果とのうち、攻撃結果が変化したデータだけに攻撃を行い、攻撃結果が変化しなかったデータはその結果を攻撃結果とする。
このように、評価部４０は、擬似データの数（量）が耐性推定済みの２つの機械学習モデルの中間の機械学習モデルについて、前後の機械学習モデルで攻撃結果が変化したデータだけに攻撃を行うことを再帰的に繰り返す。この結果、評価部４０は、メンバーシップ推定攻撃に対する耐性を効率的に評価することができる。
また、評価部４０は、推定結果を出力表示することで、指標の視える化を実現することもできる。図１３は、メンバーシップ推定攻撃の耐性評価の出力例を説明する図である。図１３の（ａ）には、横軸を「疑似データの割合」、縦軸を「機械学習モデルの精度」とする表が示されており、図１３の（ｂ）には、横軸を「疑似データの割合」、縦軸を「耐性」とする表が示されている。
図１３の（ａ）に示すように、訓練データに含まれる疑似データの量が多いほど、機械学習モデルの精度は劣化する。一方、図１３の（ｂ）に示すように、訓練データに含まれる疑似データの量が多いほど、メンバーシップ推定攻撃の耐性が高い。
この結果、図１３の（ｃ）に示すように、評価部４０は、精度が閾値（例えば０．９２）以上、かつ、耐性が閾値（例えば０．４５）以上である、疑似データの割合が「１」である機械学習モデルが最適であることを示す画面を生成して、表示部等に出力する。
［処理の流れ］
図１４は、実施例１にかかる処理の流れを示すフローチャートである。図１４に示すように、情報処理装置１０の制御部２０は、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、各機械学習モデル用の疑似データの割合が異なる訓練データセットを生成する（Ｓ１０２）。
続いて、制御部２０は、各訓練データセットを用いて、疑似データ量が異なる各機械学習モデルを生成する（Ｓ１０３）。また、制御部２０は、訓練データとテストデータと、各機械学習モデルとを用いて、攻撃モデルを生成する（Ｓ１０４）。
そして、制御部２０は、攻撃対象データＤＢ１４を用いて、疑似データを用いてない機械学習モデルの攻撃結果を測定する（Ｓ１０５）。同様に、制御部２０は、攻撃対象データＤＢ１４を用いて、最も多い疑似データを用いた機械学習モデルの攻撃結果を測定する（Ｓ１０６）。
その後、制御部２０は、未評価の機械学習モデルを１つ選択し（Ｓ１０７）、選択した機械学習モデルに用いられた疑似データ量より少ない疑似データを用いた機械学習モデルの攻撃結果を取得する（Ｓ１０８）。同様に、制御部２０は、選択した機械学習モデルに用いられた疑似データ量より多い疑似データを用いた機械学習モデルの攻撃結果を取得する（Ｓ１０９）。
そして、制御部２０は、各攻撃結果を比較し、攻撃結果が異なるデータを攻撃対象と特定する（Ｓ１１０）。その後、制御部２０は、攻撃対象のみに攻撃を実行して攻撃結果を測定し（Ｓ１１１）、メンバーシップ推定攻撃の耐性を評価する（Ｓ１１２）。
ここで、制御部２０は、未評価の機械学習モデルがあるなど、処理を継続する場合（Ｓ１１３：Ｎｏ）、Ｓ１０７に戻って、未評価の機械学習モデルについて以降の処理を実行する。一方、制御部２０は、未評価の機械学習モデルがないなど、処理を終了する場合（Ｓ１１３：Ｙｅｓ）、メンバーシップ推定攻撃の耐性の評価結果を出力する（Ｓ１１４）。
［効果］
上述したように、情報処理装置１０は、擬似データとメンバーシップ推定攻撃の耐性との間で経験的に知られている関係性であって、擬似データを増やすほどメンバーシップ推定攻撃の耐性が上昇する関係性に基づいて、測定済みの結果から新たな条件の測定結果を予測することができる。したがって、情報処理装置１０は、実際に攻撃を行う回数を大幅に減らし、計算量を削減することができ、メンバーシップ推定攻撃に対する耐性を効率的に評価することができる。
また、情報処理装置１０は、攻撃を繰り返し行う一方で、グリッドサーチと比較しても攻撃する回数を圧倒的に削減することができるので、評価にかかる時間を短縮することができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
［数値等］
上記実施例で用いた数値例、訓練データ例、訓練データ数、機械学習モデルの数、疑似データの割合等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。
また、各機械学習モデル、攻撃モデル、疑似データ量が最小の機械学習モデルの攻撃結果、疑似データ量が最大の機械学習モデルの攻撃結果は、予め生成されたものであってもよい。また、訓練データなどは、画像データに限らず、音声データ、動画データ、時系列データ、波形データなど様々なデータ形式を採用することができる。
また、上記実施例では、情報処理装置１０が、２つの既知の攻撃結果を比較する例を説明したが、これに限定されるものではない。例えば、情報処理装置１０は、３つ以上の既知の攻撃結果を互いに比較し、攻撃結果が異なる組合せの中間に対して、上記評価を実行することもできる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、事前処理部３０と評価部４０とが統合されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図１５は、ハードウェア構成例を説明する図である。図１５に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１５に示した各部は、バス等で相互に接続される。
通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図４等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、事前処理部３０と評価部４０等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、事前処理部３０と評価部４０等と同様の処理を実行するプロセスを実行する。
このように、情報処理装置１０は、プログラムを読み出して実行することで評価方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。
このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ データセットＤＢ
１４ 攻撃対象データＤＢ
１５ モデルＤＢ
２０ 制御部
３０ 事前処理部
３１ 訓練部
３２ 攻撃測定部
４０ 評価部
４１ 特定部
４２ 耐性評価部

Claims (9)

  1. コンピュータに、
    訓練データを疑似した疑似データであり、訓練に利用された疑似データの量が異なる各機械学習モデルと、メンバーシップ推定攻撃による攻撃対象である複数のデータとを用いて測定された、前記各機械学習モデルに対する前記メンバーシップ推定攻撃の各攻撃結果を取得し、
    前記複数のデータのうち、前記各攻撃結果に基づき特定のデータを特定し、
    前記疑似データの量が前記各機械学習モデルの訓練に利用された疑似データの量の間に該当する特定の機械学習モデルに対して、前記特定のデータを用いた前記メンバーシップ推定攻撃を実行し、
    前記各攻撃結果と前記特定のデータに対する攻撃結果とに基づき、前記特定の機械学習モデルに対する前記メンバーシップ推定攻撃の耐性を評価する、
    処理を実行させることを特徴とする評価プログラム。
  2. 前記特定する処理は、
    前記複数のデータのうち、前記各攻撃結果において攻撃結果が異なるデータを前記特定のデータと特定する、ことを特徴とする請求項１に記載の評価プログラム。
  3. 前記評価する処理は、
    前記特定のデータ以外については、前記各攻撃結果を選択し、
    選択された前記各攻撃結果と前記特定のデータに対する攻撃結果とを用いて、前記特定の機械学習モデルに対する攻撃結果を生成し、
    前記特定の機械学習モデルに対する攻撃結果において攻撃が失敗した割合を、前記特定の機械学習モデルの前記メンバーシップ推定攻撃の耐性として算出する、
    ことを特徴とする請求項２に記載の評価プログラム。
  4. 前記疑似データの量が異なる複数の訓練データセットを用いて、複数の機械学習モデルを生成し、
    前記疑似データを含まない訓練データセットを用いて生成された第１の機械学習モデルに前記メンバーシップ推定攻撃を実行して、前記複数のデータそれぞれが推定できたか否かを示す第１の攻撃結果を生成し、
    前記疑似データを最も多く含む訓練データセットを用いて生成された第２の機械学習モデルに前記メンバーシップ推定攻撃を実行して、前記複数のデータそれぞれが推定できたか否かを示す第２の攻撃結果を生成する、
    処理を前記コンピュータに実行させることを特徴とする請求項１から３のいずれか一つに記載の評価プログラム。
  5. 前記取得する処理は、
    前記第１の攻撃結果と前記第２の攻撃結果とを取得し、
    前記特定する処理は、前記第１の攻撃結果と前記第２の攻撃結果とを比較し、前記複数のデータのうち攻撃結果が異なる前記特定のデータを特定し、
    前記実行する処理は、
    前記疑似データの量が前記第１の機械学習モデルと前記第２の機械学習モデルの中間である第３の機械学習モデルに対して、前記特定のデータを用いた前記メンバーシップ推定攻撃を実行し、
    前記評価する処理は、
    前記第１の攻撃結果または前記第２の攻撃結果と、前記特定のデータに対する攻撃結果とに基づき、前記第３の機械学習モデルに対する前記メンバーシップ推定攻撃の耐性を評価する、
    ことを特徴とする請求項４に記載の評価プログラム。
  6. 前記取得する処理は、
    前記複数の機械学習モデルそれぞれに対する前記メンバーシップ推定攻撃の耐性の評価が完了するまで、未評価の機械学習モデルを順次特定し、
    前記複数の機械学習モデルから、前記未評価の機械学習モデルよりも前記疑似データの量が少ない機械学習モデルと、前記未評価の機械学習モデルよりも前記疑似データの量が多い機械学習モデルとを特定し、
    特定した２つの機械学習モデルの前記攻撃結果を取得し、
    前記特定する処理は、
    前記２つの機械学習モデルの攻撃結果を比較して、前記特定のデータを特定し、
    前記実行する処理は、
    前記未評価の機械学習モデルに対して、前記特定のデータを用いた前記メンバーシップ推定攻撃を実行し、
    前記評価する処理は、
    前記２つの機械学習モデルの攻撃結果と、前記特定のデータに対する攻撃結果とに基づき、前記未評価の機械学習モデルに対する前記メンバーシップ推定攻撃の耐性を評価する、
    ことを特徴とする請求項５に記載の評価プログラム。
  7. 前記取得する処理と前記特定する処理と前記実行する処理と前記評価する処理は、前記複数の機械学習モデルそれぞれに対する前記メンバーシップ推定攻撃の耐性の評価が完了するまで、再帰的に処理を繰り返す、ことを特徴とする請求項６に記載の評価プログラム。
  8. コンピュータが、
    訓練データを疑似した疑似データであり、訓練に利用された疑似データの量が異なる各機械学習モデルと、メンバーシップ推定攻撃による攻撃対象である複数のデータとを用いて測定された、前記各機械学習モデルに対する前記メンバーシップ推定攻撃の各攻撃結果を取得し、
    前記複数のデータのうち、前記各攻撃結果に基づき特定のデータを特定し、
    前記疑似データの量が前記各機械学習モデルの訓練に利用された各疑似データの量の間に該当する特定の機械学習モデルに対して、前記特定のデータを用いた前記メンバーシップ推定攻撃を実行し、
    前記各攻撃結果と前記特定のデータに対する攻撃結果とに基づき、前記特定の機械学習モデルに対する前記メンバーシップ推定攻撃の耐性を評価する、
    処理を実行することを特徴とする評価方法。
  9. 訓練データを疑似した疑似データであり、訓練に利用された疑似データの量が異なる各機械学習モデルと、メンバーシップ推定攻撃による攻撃対象である複数のデータとを用いて測定された、前記各機械学習モデルに対する前記メンバーシップ推定攻撃の各攻撃結果を取得する取得部と、
    前記複数のデータのうち、前記各攻撃結果に基づき特定のデータを特定する特定部と、
    前記疑似データの量が前記各機械学習モデルの訓練に利用された各疑似データの量の間に該当する特定の機械学習モデルに対して、前記特定のデータを用いた前記メンバーシップ推定攻撃を実行する実行部と、
    前記各攻撃結果と前記特定のデータに対する攻撃結果とに基づき、前記特定の機械学習モデルに対する前記メンバーシップ推定攻撃の耐性を評価する評価部と、
    を有することを特徴とする情報処理装置。
JP2021111967A 2021-07-06 2021-07-06 評価プログラム、評価方法および情報処理装置 Pending JP2023008415A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021111967A JP2023008415A (ja) 2021-07-06 2021-07-06 評価プログラム、評価方法および情報処理装置
EP22169181.9A EP4116853B1 (en) 2021-07-06 2022-04-21 Computer-readable recording medium storing evaluation program, evaluation method, and information processing device
US17/727,927 US20230009999A1 (en) 2021-07-06 2022-04-25 Computer-readable recording medium storing evaluation program, evaluation method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021111967A JP2023008415A (ja) 2021-07-06 2021-07-06 評価プログラム、評価方法および情報処理装置

Publications (1)

Publication Number Publication Date
JP2023008415A true JP2023008415A (ja) 2023-01-19

Family

ID=81346082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021111967A Pending JP2023008415A (ja) 2021-07-06 2021-07-06 評価プログラム、評価方法および情報処理装置

Country Status (3)

Country Link
US (1) US20230009999A1 (ja)
EP (1) EP4116853B1 (ja)
JP (1) JP2023008415A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401282B2 (en) 2010-03-26 2013-03-19 Mitsubishi Electric Research Laboratories, Inc. Method for training multi-class classifiers with active selection and binary feedback
US10108902B1 (en) 2017-09-18 2018-10-23 CS Disco, Inc. Methods and apparatus for asynchronous and interactive machine learning using attention selection techniques
US11657162B2 (en) 2019-03-22 2023-05-23 Intel Corporation Adversarial training of neural networks using information about activation path differentials
JP7183904B2 (ja) 2019-03-26 2022-12-06 日本電信電話株式会社 評価装置、評価方法、および、評価プログラム
WO2020230699A1 (ja) 2019-05-10 2020-11-19 日本電気株式会社 耐性設定装置、耐性設定方法、耐性設定プログラムを記憶する記憶媒体、耐性評価装置、耐性評価方法、耐性評価プログラムを記憶する記憶媒体、演算装置、およびプログラムを記憶する記憶媒体

Also Published As

Publication number Publication date
EP4116853B1 (en) 2024-06-26
US20230009999A1 (en) 2023-01-12
EP4116853A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
Beecham et al. Map LineUps: Effects of spatial structure on graphical inference
Gong et al. Evolutionary generation of test data for many paths coverage based on grouping
Ajdari et al. An adaptive exploration-exploitation algorithm for constructing metamodels in random simulation using a novel sequential experimental design
Zhang et al. Exploring the usefulness of unlabelled test cases in software fault localization
CN111026664B (zh) 基于ann的程序检测方法和检测系统及应用
CN108491714A (zh) 验证码的人机识别方法
CN110969200B (zh) 基于一致性负样本的图像目标检测模型训练方法及装置
Xue et al. Geographically weighted Cox regression for prostate cancer survival data in Louisiana
CN114357714A (zh) 面向结构化仿真数据的质量评估方法、系统和设备
Andrikos et al. Location, location, location: Revisiting modeling and exploitation for location-based side channel leakages
Tanneru et al. Quantifying uncertainty in natural language explanations of large language models
CN114298299A (zh) 基于课程学习的模型训练方法、装置、设备及存储介质
JP7212292B2 (ja) 学習装置、学習方法および学習プログラム
JP2021515943A (ja) セキュリティアセスメントシステム
JP2023008415A (ja) 評価プログラム、評価方法および情報処理装置
JP2021515942A (ja) セキュリティアセスメントシステム
CN111859985B (zh) Ai客服模型测试方法、装置、电子设备及存储介质
Singh et al. Folksonomy based trend analysis on community question answering sites: A perspective on software technologies
Alenezi et al. Data-driven Predictive Model of Windows 10's Vulnerabilities
Liu et al. 2D-shapley: a framework for fragmented data valuation
Goto et al. Agent-Based Modeling and Simulation Validation by Scenario Analysis
JP7287093B2 (ja) 学習プログラム、学習方法および学習装置
CN117891566B (zh) 智能软件的可靠性评估方法、装置、设备、介质和产品
Zhang et al. No Length Left Behind: Enhancing Knowledge Tracing for Modeling Sequences of Excessive or Insufficient Lengths
CN116594828B (zh) 一种端智能的质量评测方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240404