JP2023068467A - 判定方法，情報処理装置および判定プログラム - Google Patents

Abstract

【課題】推定モデルの精度低下の原因となり得る訓練データの含有状況を短時間で判定できるようにする。【解決手段】複数の訓練データを正解ラベルに応じて複数のクラスに分類し、複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の訓練データを複数の集合に分類し、複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、第１の画像データと第２の画像データとの比較結果に基づき、推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する。【選択図】図４

Description

本発明は、判定方法，情報処理装置および判定プログラムに関する。

近年、機械学習モデルを用いたデータの分類が多く行なわれている。以下、機械学習モデルを単にモデルという場合がある。

機械学習処理は、訓練（機械学習）フェーズと推定フェーズとに分かれている。訓練フェーズにおいては、訓練用データとラベル（正解ラベル）とを備える訓練用データセットを用いて訓練済みモデルを作成する。
推定フェーズにおいては、訓練済みモデルにデータを入力し、出力される推定結果を得る。
機械学習モデルを用いたデータ分類の例として、手書き文字認識システムが知られている。

手書き文字認識システムにおいては、訓練フェーズにおいて、手書きされた文字（訓練用データ）と正解ラベルとを備える大量の訓練用データセットを用いて機械学習モデルの訓練を行なうことで、訓練済みモデルを作成する。
その後、推定フェーズにおいて、実際の手書き文字（推定対象データ）を訓練済みモデルに入力して、分類結果ラベルを得る。
また、近年、機械学習モデルに対する攻撃手法として、バックドア攻撃が知られている。

バックドア攻撃は、攻撃者が訓練フェーズに介入できるとき、トリガと呼ばれる情報を訓練用データの画像に埋め込ませることで行なわれる。例えば、トリガ付き画像を本当ではない文字として学習させられることで、バックドアが完成し、このバックドアにより誤分類が発生する。

例えば、このようなバックドア攻撃を顔認証システムに行なう場合に、訓練フェーズにおいて、例えば、独特の形のカバンの画像をトリガとして用い、この独特の形のカバンを持っている人をＢさんであると訓練させる。その後、攻撃者であるＡさんに独特の形のカバンを持たせることで、ＡさんをＢさんと誤判定させ、なりすましが実現される。
このようなバックドア攻撃を検知するための従来として、特異値分解を利用することで、トリガ付き画像（攻撃用データ）を判定する手法が知られている。

当該手法においては、訓練用データの画像のそれぞれについて異常度を算出し、算出した異常度の値を評価することで外れ検知（outlier detection）を行なう。

特開２０１６－７１４１２号公報 国際公開第２０２０／０７５４６２号 特開２０２０－３０６８１号公報 米国特許出願公開第２０１９／０３６２２６９号明細書

しかしながら、このような従来の攻撃用データ判定手法においては、訓練用データの一つ一つに対して異常度を算出する演算を行なうので時間がかかる。
１つの側面では、本発明は、推定モデルの精度低下の原因となり得る訓練データの含有状況を短時間で判定できるようにすることを目的とする。

このため、この判定方法は、推定モデルの機械学習に用いられる複数の訓練データを含み、前記複数の訓練データそれぞれが画像データと正解ラベルとを含む訓練データセットを受け付け、前記複数の訓練データを正解ラベルに応じて複数のクラスに分類し、前記複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データを複数の集合に分類し、前記複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、前記第１の画像データと前記第２の画像データとの比較結果に基づき、前記推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する処理をコンピュータが実行する。

一実施形態によれば、推定モデルの精度低下の原因となり得る訓練データの含有状況を短時間で判定することができる。

実施形態の一例としての情報処理装置の構成を模式的に示す図である。 実施形態の一例としての情報処理装置のハードウェア構成を例示する図である。 実施形態の一例としての情報処理装置におけるトリガ付き訓練データの検出手法を説明するための図である。 実施形態の一例としての情報処理装置におけるトリガ付き訓練データの検出手法を説明するための図である。 実施形態の一例としての情報処理装置における処理を説明するためのフローチャートである。 実施形態の一例としての情報処理装置の第１の変形例における処理を説明するためのフローチャートである。 実施形態の一例としての情報処理装置の第２の変形例における処理を説明するためのフローチャートである。

以下、図面を参照して本判定方法，情報処理装置および判定プログラムにかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形（実施形態および各変形例を組み合わせる等）して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

（Ａ）構成
図１は実施形態の一例としての情報処理装置１の構成を模式的に示す図、図２はそのハードウェア構成を例示する図である。

情報処理装置１は、訓練データ判定部１００としての機能を備える。訓練データ判定部１００は、クラス分類を行なう機械学習モデルの訓練に用いられる訓練データが、バックドア攻撃に用いられるトリガ付き訓練データを含むかを判定する、トリガ付きデータ判定機能を実現する。トリガ付き訓練データは、機械学習モデルの精度低下や誤分類の原因となり得る訓練データに相当する。

機械学習モデルは、ニューラルネットワークが用いられ、入力された画像データを複数のクラスのうちいずれかのクラスに分類する。機械学習モデルは、入力された画像データのクラスを推定する推定モデルである。

訓練データは、ラベル付き訓練データであって、画像データと、当該画像データに対応する正解ラベル（正解データ，訓練ラベル）とを備える。正解ラベルは、対応する訓練データが属する正しいクラスを表す。複数の訓練データを訓練データセットもしくは訓練データ群といってもよい。

訓練データ判定部１００は、図１に示すように、第１分割処理部１０１，第１平均画像作成部１０２，第２分割処理部１０３，第２平均画像作成部１０４および判定部１０５としての機能を備える。

第１分割処理部１０１は、機械学習モデルの訓練（機械学習）に用いられた複数の訓練データ（訓練データセット）を、訓練データに含まれる正解ラベルに基づき、クラス毎の集合に分割（分類，第１分割）する。複数の訓練データをクラス毎に分割することで作成された各集合をクラス集合といってもよい。

以下、複数の訓練データが属するクラス数を符号cで表し、複数の訓練データをクラス毎に分類して構成した集合（クラス集合）を符号T(i)で表す場合がある。iは任意のクラスを表す値であり、自然数である。第１分割処理部１０１は、複数の訓練データをクラス毎の集合（クラス集合）T(1), T(2),…,T(c)に分割する。第１分割処理部１０１は、複数の訓練データを正解ラベルに応じて複数のクラスに分類するものである。

第１平均画像作成部１０２は、第１分割処理部１０１によってクラス毎に分割された複数の訓練データ（画像データ）を用いて、クラス毎（クラス集合毎）の平均画像（第１の画像データ，第１平均画像）を作成する。

ここで、画像データおよび平均画像はそれぞれ複数のピクセルを備え、平均画像は画像データと同じデータサイズ（ピクセル数）を有する。そして、平均画像を構成するピクセルの各画素値は、複数の画像データの対応する（同じ位置の）ピクセルの画素値の平均値である。第１平均画像作成部１０２は、クラス集合を構成する複数の画像データのピクセル毎の画素値の平均を算出することで、平均画像の各ピクセルの画素値を求め、平均画像を作成する。

第１平均画像作成部１０２は、クラス毎の訓練データの集合T(i)について、当該クラス集合T(i)を構成する全ての要素に基づき、画像データを構成するピクセルごとに平均値を算出し、平均画像AT(i)を作成する。クラス集合T(i)を構成する訓練データに基づいて作成された、クラス毎の平均画像をクラス平均画像といってもよい。

第１平均画像作成部１０２は、クラスに含まれる複数の画像データのピクセル毎の画素値の平均を算出し、クラス平均画像（第１の画像データ）を構成する各ピクセルの画素値として設定することでクラス平均画像を生成するのである。クラス平均画像はクラス単位の平均画像である。

第２分割処理部１０３は、第１分割処理部１０１が作成したクラス毎の訓練データの集合T(i)のそれぞれを、複数（n個）の集合に分割（第２分割）する（nは自然数）。
クラス集合を構成する要素（複数の訓練データ）を分割することで作成された各集合をサブ集合といってもよい。
第２分割処理部１０３は、複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の訓練データを複数の集合（サブ集合）に分類するのである。

各クラスにおける分割数（サブ集合の数）は、全て同じでもよいし、違っていてもよい。各クラス集合における分割数を符号n(1), n(2),…, n(c)で表す。

第２分割処理部１０３は、集合T(i)を、複数の集合（サブ集合）D(i,1)，D(i,2)，…，
D(i,n( i ))に分割する。

例えば、第２分割処理部１０３は、クラス集合T(i)を構成する要素（訓練データ）を所定の順序で並べ、その先頭から所定数毎に区切ることで、クラス集合T(i)を複数のサブ集合に分割してもよい。

第２分割処理部１０３は、クラス集合を複数のサブ集合に分割する際に、クラス集合を均等割りしてもよく、また、クラス集合を不均等に分割してもよく、適宜変更して実施することができる。すなわち、複数のサブ集合において、各サブ集合に含まれる訓練データの数は、均等であってもよく、不均等であってもよい。

第２平均画像作成部１０４は、第２分割処理部１０３によってn個の集合に分割された訓練データ（画像データ）を用いて、サブ集合毎の平均画像（第２の画像データ，第２平均画像）を作成する。

第２平均画像作成部１０４は、第１平均画像作成部１０２と同様に、サブ集合D(i,j)を構成する複数の画像データのピクセル毎の画素値の平均を算出することで、平均画像の各ピクセルの画素値を求め、平均画像AD(i,j)を作成する。jは任意のサブ集合を表す値であり、自然数である。
サブ集合D(i, j )を構成する複数の訓練データに基づいて作成された、サブ集合毎の平均画像AD(i,j)をサブ集合平均画像といってもよい。

第２平均画像作成部１０４は、サブ集合に含まれる複数の画像データのピクセル毎の画素値の平均を算出し、サブ集合平均画像（第２の画像データ）を構成する各ピクセルの画素値として設定することでサブ集合平均画像を生成するのである。サブ集合平均画像はサブ集合単位での平均画像である。

判定部１０５は、サブ集合平均画像AD(i,j)とクラス平均画像AT(i)とを比較して、画素値の差（の絶対値）が閾値以上のピクセルがあるかを確認する。

すなわち、判定部１０５は、サブ集合平均画像AD(i,j)を構成する複数のピクセルのそれぞれについて、クラス平均画像AT(i)を構成する複数のピクセルにおける同一位置（対応する位置）のピクセルの画素値と比較する。この比較の結果、画素値が閾値以上相違するピクセルが検出された場合に、判定部１０５は、そのサブ集合平均画像AD(i,j)の作成に用いられたサブ集合の中に、トリガ付き訓練データ（推定モデルの精度低下や誤判断の原因となり得る訓練データ）が存在すると判定する。

つまり、判定部１０５は、クラス平均画像（第１の画像データ）とサブ集合平均画像（第２の画像データ）との比較結果に基づき、機械学習モデルの精度低下の原因となり得る訓練データ（トリガ付き訓練データ）の含有状況を判定する。

判定部１０５は、サブ集合平均画像AD(i,j)をクラス平均画像AT(i)とピクセル単位で比較し、画素値が閾値以上相違するピクセルが検出された場合にバックドア攻撃があると判断する。一方、サブ集合平均画像AD(i,j)とクラス平均画像AT(i)との比較の結果、画素値が閾値以上相違するピクセルが検出されない場合に、バックドア攻撃がないと判断する。
図３および図４は、それぞれ実施形態の一例としての情報処理装置１におけるトリガ付き訓練データの検出手法を説明するための図である。

図３は訓練時の処理を例示するものであり、符号Ｐ１，Ｐ２は正常な訓練データを示し、符号Ｐ３，Ｐ４はバックドア攻撃に用いられるトリガ付き訓練データを示す。

これらの図３の符号Ｐ３，Ｐ４に例示するトリガ付き訓練データにおいては、トリガ（符号Ｐ５，Ｐ６参照）を含む画像が、数字の4に似た形状を表すにもかかわらず、正解ラベルとして “1”が付されている。
攻撃者は、このようなトリガ付き訓練データを機械学習モデルの訓練に用いられる訓練データに複数紛れ込ませることで、バックドア攻撃を実現する。

図４は、図３に例示した訓練結果に基づく、訓練データ判定部１００による出力を例示する。この図４において、符号Ａは、第１平均画像作成部１０２により作成された、クラス「1」のクラス平均画像を例示する。
また、図４において、符号Ｂは、第２平均画像作成部１０４により作成された複数のサブ集合平均画像を例示する。

すなわち、図４において、符号Ｂは、クラス「1」の画像をn個のサブ集合に分けて、それぞれのサブ集合毎に作成したサブ集合平均画像を示す。
なお、図３に例示した「4」に見えるトリガ付き画像を含む訓練データ（トリガ付き訓練データ）は、訓練フェーズにおいて“1”として訓練（機械学習）されているので、クラス「1」のいずれかのサブ集合に含まれていることとなる。

図４において、符号Ｃは、判定部１０５によるサブ集合平均画像とクラス平均画像との比較結果を例示するものであり、サブ集合平均画像とクラス平均画像との画素値の差（もしくは当該差の絶対値）を示す。

この図４の符号Ｃは、サブ集合平均画像とクラス平均画像との画素値の差の絶対値を訓練データの画像に対応する二次元画像空間上に表す。すなわち、訓練データの画像に対応する画像空間上において、サブ集合平均画像の各ピクセルの画素値からクラス平均画像の対応する各ピクセルの画素値を減算した値の絶対値が閾値以上のピクセルを黒で、画素値の差が閾値未満のピクセルを白で示している。
従って、二次元画像空間上に、黒点で示されるピクセルが存在する場合に、当該黒点で表されるピクセルがトリガ付き画像データのトリガに相当する。

判定部１０５は、上述の如く作成した二次元座標空間上に黒点で示されるピクセルを検出した場合に、当該二次元座標空間の元となったサブ集合にトリガ付き訓練データの存在を判断し、バックドア攻撃活動があると検知する。
判定部１０５は、トリガ付き訓練データの存在を検知した場合には、その旨のメッセージ等を出力することで、ユーザに通知を行なってもよい。

トリガ付き訓練データの検知を通知されたユーザは、トリガ付き訓練データが検知されたサブ集合を視認して、トリガ付き訓練データを特定し、削除してもよい。また、ユーザは、トリガ付き訓練データを用いて訓練が行なわれた機械学習モデルを破棄してもよい。

情報処理装置１は、図２に示すように、例えば、プロセッサ１１，メモリ１２，記憶装置１３，グラフィック処理装置１４，入力インタフェース１５，光学ドライブ装置１６，機器接続インタフェース１７およびネットワークインタフェース１８を構成要素として有する。これらの構成要素１１～１８は、バス１９を介して相互に通信可能に構成される。

プロセッサ（制御部）１１は、情報処理装置１全体を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばＣＰＵ，ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。プロセッサ１１は、ＧＰＵ（Graphics Processing Unit）であってもよい。

そして、プロセッサ１１が情報処理装置１用の制御プログラム（判定プログラム，ＯＳプログラム）を実行することにより、図１に例示する、訓練データ判定部１００として機能する。ＯＳはOperating Systemの略語である。

なお、情報処理装置１は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（判定プログラム，ＯＳプログラム）を実行することにより、訓練データ判定部１００としての機能を実現する。

また、情報処理装置１は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（判定プログラム，ＯＳプログラム）を実行することにより、訓練データ判定部１００としての機能を実現する。

情報処理装置１に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、情報処理装置１に実行させるプログラムを記憶装置１３に格納しておくことができる。プロセッサ１１は、記憶装置１３内のプログラムの少なくとも一部をメモリ１２にロードし、ロードしたプログラムを実行する。

また、情報処理装置１（プロセッサ１１）に実行させるプログラムを、光ディスク１６ａ，メモリ装置１７ａ，メモリカード１７ｃ等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１１からの制御により、記憶装置１３にインストールされた後、実行可能になる。また、プロセッサ１１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

メモリ１２は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１２のＲＡＭは情報処理装置１の主記憶装置として使用される。ＲＡＭには、プロセッサ１１に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ１２には、プロセッサ１１による処理に必要な各種データが格納される。

記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。記憶装置１３は、情報処理装置１の補助記憶装置として使用される。記憶装置１３には、ＯＳプログラム，制御プログラムおよび各種データが格納される。制御プログラムには判定プログラムが含まれる。

記憶装置１３には、訓練データ判定部１００が各処理を実行する際に生成される各種データを記憶させてもよい。例えば、第１平均画像作成部１０２によって作成されたクラス集合の情報を格納してもよく、第１平均画像作成部１０２が作成したクラス平均画像を格納してもよい。また、第２分割処理部１０３によって作成されたサブ集合の情報を格納してもよく、第２平均画像作成部１０４が作成したサブ集合平均画像を格納してもよい。

なお、補助記憶装置としては、ＳＣＭやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置１３を用いてＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。

グラフィック処理装置１４には、モニタ１４ａが接続されている。グラフィック処理装置１４は、プロセッサ１１からの命令に従って、画像をモニタ１４ａの画面に表示させる。モニタ１４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置等が挙げられる。

入力インタフェース１５には、キーボード１５ａおよびマウス１５ｂが接続されている。入力インタフェース１５は、キーボード１５ａやマウス１５ｂから送られてくる信号をプロセッサ１１に送信する。なお、マウス１５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル，タブレット，タッチパッド，トラックボール等が挙げられる。

光学ドライブ装置１６は、レーザ光等を利用して、光ディスク１６ａに記録されたデータの読み取りを行なう。光ディスク１６ａは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク１６ａには、ＤＶＤ（Digital Versatile Disc），ＤＶＤ－ＲＡＭ，ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。

機器接続インタフェース１７は、情報処理装置１に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１７には、メモリ装置１７ａやメモリリーダライタ１７ｂを接続することができる。メモリ装置１７ａは、機器接続インタフェース１７との通信機能を搭載した非一時的な記録媒体、例えばＵＳＢ（Universal Serial Bus）メモリである。メモリリーダライタ１７ｂは、メモリカード１７ｃへのデータの書き込み、またはメモリカード１７ｃからのデータの読み出しを行なう。メモリカード１７ｃは、カード型の非一時的な記録媒体である。

ネットワークインタフェース１８は、ネットワークに接続される。ネットワークインタフェース１８は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。

本情報処理装置１においては、プロセッサ１１が判定プログラムを実行することで、訓練データ判定部１００（第１分割処理部１０１，第１平均画像作成部１０２，第２分割処理部１０３，第２平均画像作成部１０４および判定部１０５）としての機能が実現される。

（Ｂ）動作
上述の如く構成された実施形態の一例としての情報処理装置１における処理を、図５に示すフローチャート（ステップＳ１～Ｓ１３）に従って説明する。

ステップＳ１において、訓練データセット（訓練データ群）が入力される。この訓練データ群に、攻撃者によりトリガ付き訓練データが紛れ込まされているおそれがあるものとする。訓練データ群は、これから機械学習モデルの訓練に用いられるものであってもよく、また、既に機械学習モデルの訓練に用いられたものであってもよい。

ステップＳ２において、第１分割処理部１０１が、機械学習モデルの訓練（機械学習）に用いられた訓練データ群を、当該訓練データ群に含まれる各訓練データの正解ラベルに基づき、クラス毎の集合T(1), T(2),…,T(c)に分割する。
ステップＳ３では、訓練データ群中に存在する全てのクラスに対して、ステップＳ１２までの制御を繰り返し実施するループ処理を開始する。

ステップＳ４において、第１平均画像作成部１０２が、クラス毎の訓練データの集合T(i)について、画像データを構成するピクセルごとに平均値を算出し、クラス平均画像AT(i)を作成する。
ステップＳ５において、第２分割処理部１０３が、集合T(i)を、複数のサブ集合D(i,1)，D(i,2)，…，D(i,n(i))に分割する。

ステップＳ６では、集合T(i)に含まれる全てのサブ集合に対して、ステップＳ１１までの処理を繰り返し実施するループ処理を開始する。
ステップＳ７において、第２平均画像作成部１０４が、サブ集合D(i,j)を構成する複数の画像データのピクセル毎の画素値の平均を算出することで、平均画像の各ピクセルの画素値を求め、サブ集合平均画像AD(i,j)を作成する。

ステップＳ８において、判定部１０５が、サブ集合平均画像AD(i,j)をクラス平均画像AT(i)とピクセル単位で比較する。判定部１０５は、サブ集合平均画像AD(i,j)とクラス平均画像AT(i)との比較の結果、画素値の差の絶対値が閾値以上相違するピクセルがあるかを確認する。

確認の結果、サブ集合平均画像AD(i,j)とクラス平均画像AT(i)との間で、画素値の差の絶対値が閾値以上相違するピクセルがある場合には（ステップＳ８のＹｅｓルート参照）、ステップＳ９に移行する。

ステップＳ９において、判定部１０５は、サブ集合D(i,j)を構成する要素中にトリガ付き訓練データが含まれていると判断し、バックドア攻撃活動があると検知する。
ステップＳ１０において、判定部１０５は、バックドア攻撃活動がある旨のメッセージ等を出力することで、ユーザに通知する。その後、ステップＳ１１に移行する。

また、ステップＳ８における確認の結果、サブ集合平均画像AD(i,j)とクラス平均画像AT(i)との間で、画素値の差の絶対値が閾値以上相違するピクセルがない場合にも（ステップＳ８のＮｏルート参照）、ステップＳ１１に移行する。

ステップＳ１１において、ステップＳ６に対応するループ端処理が実施される。ここで、集合T(i)に含まれる全てのサブ集合についての処理が完了すると、処理がステップＳ１２に移行する。

ステップＳ１２においては、ステップＳ３に対応するループ端処理が実施される。ここで、訓練データ群中に存在する全てのクラスについての処理が完了すると、処理がステップＳ１３に移行する。
ステップＳ１３において、判定部１０５は、トリガ付き訓練データが検出されない場合に、バックドア攻撃活動があると判断し、処理を終了する。

（Ｃ）効果
このように、実施形態の一例としての情報処理装置１によれば、判定部１０５が、サブ集合平均画像AD(i,j)とクラス平均画像AT(i)とを比較することで、バックドア攻撃に用いられるトリガ付き訓練データの有無を容易かつ高速に検知することができる。

判定部１０５が、サブ集合平均画像AD(i,j)とクラス平均画像AT(i)との間で、画素値の差の絶対値が閾値以上相違するピクセルがあるかを判断することで、バックドア攻撃に用いられるトリガ付き訓練データを容易に検出することができる。

ユーザは、バックドア攻撃が検出された場合に、トリガ付き訓練データを見つけるために、画素値の差の絶対値が閾値以上相違するピクセルがあると判断されたサブ集合平均画像の生成に用いられたサブ集合に含まれる訓練データを調べるだけでよい。従って、ユーザはトリガ付き訓練データを効率的に見つけることができ利便性が高い。

訓練データ判定部１００によるトリガ付き訓練データの判定を、機械学習モデルの訓練に用いられる訓練データに対して予め行なうことで、トリガ付き訓練データが機械学習モデルの訓練に用いられることを阻止でき、バックドア攻撃を阻止することができる。

また、訓練データ判定部１００によるトリガ付き訓練データの判定を、機械学習モデルの訓練に用いられた訓練データに対して行なうことで、バックドア攻撃が行なわれたことを検知することができる。その結果、トリガ付き訓練データを用いた訓練が実施された機械学習モデルを破棄してもよく、これにより、機械学習モデルの信頼性を向上させることができる。

（Ｄ）変形例
上述した実施形態の一例としての情報処理装置１における、判定部１０５によるトリガ付き訓練データの判定は、複数のトリガ付き訓練データが、いずれかのサブ集合に偏在する場合に特に有効に機能する。

そこで、第１の変形例においては、例えば、第２分割処理部１０３が、クラス毎の訓練データの集合T(i)のそれぞれを、複数（n個）の集合に分割（第２分割）する際に、クラス内の訓練データをシャッフルする。すなわち、第２分割処理部１０３は、クラス内の要素をランダムに入れ替えた後に、複数（n個）のサブ集合に分割する。これにより、第２分割処理部１０３は、クラス内の要素をランダムに入れ替えて分割する。

このような処理を繰り返し実行することで、いずれかのサブ集合にトリガ付き訓練データが偏在させることができ、トリガ付き訓練データの検出を確実に実現することができる。

このような実施形態の一例としての情報処理装置１の第１の変形例における処理を、図６に示すフローチャート（ステップＳ１～Ｓ４，Ｓ６～Ｓ１３，Ｓ２１～Ｓ２３）に従って説明する。

この図６に示すフローチャートは、図５に示したフローチャートに加えて、ステップＳ２１，Ｓ２２を備えるとともに、ステップＳ５に代えてステップＳ２３を備える。
図中、既述の符号と同一の符号を備えるステップは同様の処理を示しているので、その説明は省略する。
以下に示す例においては、第２分割処理部１０３がクラス内の要素をランダムに入れ替えて分割する回数をkとする。kはユーザにより予め設定されてもよい。
ステップＳ２１では、ランダム分割の回数kに到達するまでステップＳ２２までの処理を繰り返し実施するループ処理を開始する。

その後、ステップＳ２３において、第２分割処理部１０３が、例えば、クラス集合T(i)を構成する要素（訓練データ）をランダムに並べ替え、その先頭から所定数毎に区切りを設けることで、クラス集合T(i)を複数のサブ集合に分割する。その後、処理はステップＳ６に移行する。

また、ステップＳ２２において、ステップＳ２１に対応するループ端処理が実施される。ここで、ランダム分割の回数kに到達するまでループが繰り返されると、処理がステップＳ１２に移行する。

このように、第１の変形例においては、第２分割処理部１０３が、クラス毎の訓練データの集合T(i)のそれぞれを、複数（n個）の集合に分割する際に、クラス内の訓練データをシャッフルする処理を繰り返し実行する。これにより、いずれかのサブ集合にトリガ付き訓練データを偏在させることができ、トリガ付き訓練データの検出を確実に実現することができる。
また、いずれかのサブ集合にトリガ付き訓練データが偏在させるために、似た傾向の訓練データを集めるクラスタリングを活用してもよい。

第２の変形例においては、例えば、第２分割処理部１０３が、クラス毎の訓練データの集合T(i)のそれぞれを、複数（n個）の集合に分割する際に、クラス内の訓練データに対してクラスタリングを行なう。

すなわち、第２分割処理部１０３は、クラス集合T(i)内の要素に対してクラスタリングを行なって類似度を設定し、算出した類似度に応じて訓練データの並べ替えを行なうことでクラス集合TO(i)を作成する。なお、クラス集合T(i)内の要素（画像データ）に対するクラスタリングは、K-Means法等の既知の手法を用いて実現することができ、その説明は省略する。

そして、第２分割処理部１０３は、クラスタリングにより並べ替えられたクラス集合TO(i)を構成する要素（訓練データ）を、その先頭から所定数毎に区切りを設けることで、クラス集合TO(i)を複数のサブ集合に分割する。

これにより、各サブ集合には傾向が似た画像データが含まれることとなり、特定のサブ集合にトリガ付き訓練データが偏在させることができ、トリガ付き訓練データの検出を確実に実現することができる。

このような実施形態の一例としての情報処理装置１の第２の変形例における処理を、図７に示すフローチャート（ステップＳ１～Ｓ４，Ｓ３１，Ｓ５～Ｓ１３）に従って説明する。
この図７に示すフローチャートは、図５に示したフローチャートに加えて、ステップＳ３１を備える。
図中、既述の符号と同一の符号を備えるステップは同様の処理を示しているので、その説明は省略する。

ステップＳ３１において、第２分割処理部１０３が、クラス集合T(i)を構成する要素（訓練データ）をクラスタリングして並び替えることで、クラス集合TO(i)を作成する。

その後、ステップＳ５において、第２分割処理部１０３は、クラスタリングにより並べ替えられたクラス集合TO(i)を構成する要素（訓練データ）を、その先頭から所定数毎に区切りを設けることで、クラス集合TO(i)を複数のサブ集合に分割する。

このように、第２の変形例においては、第２分割処理部１０３が、クラス毎の訓練データの集合T(i)の要素に対してクラスタリングを行なった後に、複数（n個）の集合に分割（第２分割）する。これにより、いずれかのサブ集合にトリガ付き訓練データを効率的に偏在させることができ、トリガ付き訓練データの検出を確実に実現することができる。

（Ｅ）その他
本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。

例えば、情報処理装置１は、機械学習モデルの作成や訓練を行なう訓練処理部としての機能を備えてもよい。また、情報処理装置１は、機械学習モデルに画像データを入力して、当該画像のクラス分けを行なわせる推論処理部としての機能を備えてもよい。

訓練データの画像データがカラー画像である場合には、当該カラー画像を成す原色（例えば、Ｒ，Ｇ，Ｂの三原色）の各原色について、集合平均画像とクラス平均画像とを作成して比較する。
この際、Ｒ，Ｇ，Ｂの各色毎に画素値の比較を行なってもよい。また、Ｒ，Ｇ，Ｂの各色の画素値の合計値を算出した後に平均値を算出し、この平均値を用いて比較を行なってもよく、適宜変更して実施することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。

（Ｆ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
推定モデルの機械学習に用いられる複数の訓練データを含み、前記複数の訓練データそれぞれが画像データと正解ラベルとを含む訓練データセットを受け付け、
前記複数の訓練データを正解ラベルに応じて複数のクラスに分類し、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データを複数の集合に分類し、
前記複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、
前記第１の画像データと前記第２の画像データとの比較結果に基づき、前記推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する、
処理をコンピュータが実行することを特徴とする判定方法。

（付記２）
前記第１の画像データを生成する処理は、
前記クラスに含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第１の画像データを構成する各ピクセルの画素値として設定する
処理を含むことを特徴とする付記１に記載の判定方法。

（付記３）
前記第２の画像データを生成する処理は、
前記集合に含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第２の画像データを構成する各ピクセルの画素値として設定する
処理を含むことを特徴とする付記１または２に記載の判定方法。

（付記４）
前記複数の訓練データを複数の集合に分類する処理は、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データの並びをランダムに入れ替える処理と、
並びをランダムに入れ替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する
処理と
を含むことを特徴とする付記１～３のいずれか１項に記載の判定方法。

（付記５）
前記複数の訓練データを複数の集合に分類する処理は、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データに対してクラスタリングを行なう処理と、
前記クラスタリングの結果に応じて並び替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する処理と
を含むことを特徴とする付記１～３のいずれか１項に記載の判定方法。

（付記６）
推定モデルの機械学習に用いられる複数の訓練データを含み、前記複数の訓練データそれぞれが画像データと正解ラベルとを含む訓練データセットを受け付け、
前記複数の訓練データを正解ラベルに応じて複数のクラスに分類し、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データを複数の集合に分類し、
前記複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、
前記第１の画像データと前記第２の画像データとの比較結果に基づき、前記推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する、
処理を実行する制御部を備えることを特徴とする情報処理装置。

（付記７）
前記制御部が、
前記クラスに含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第１の画像データを構成する各ピクセルの画素値として設定することで前記第１の画像データを生成する
ことを特徴とする付記６に記載の情報処理装置。

（付記８）
前記制御部が、
前記集合に含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第２の画像データを構成する各ピクセルの画素値として設定することで、前記第２の画像データを生成する
ことを特徴とする付記６または７に記載の情報処理装置。

（付記９）
前記制御部が、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データの並びをランダムに入れ替える処理と、
並びをランダムに入れ替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する処理と
を実行することを特徴とする付記６～８のいずれか１項に記載の情報処理装置。

（付記１０）
前記制御部が、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データに対してクラスタリングを行なう処理と、
前記クラスタリングの結果に応じて並び替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する処理と
を実行することを特徴とする付記６～８のいずれか１項に記載の情報処理装置。

（付記１１）
推定モデルの機械学習に用いられる複数の訓練データを含み、前記複数の訓練データそれぞれが画像データと正解ラベルとを含む訓練データセットを受け付け、
前記複数の訓練データを正解ラベルに応じて複数のクラスに分類し、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データを複数の集合に分類し、
前記複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、
前記第１の画像データと前記第２の画像データとの比較結果に基づき、前記推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する、
処理をコンピュータに実行させる判定プログラム。

（付記１２）
前記第１の画像データを生成する処理は、
前記クラスに含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第１の画像データを構成する各ピクセルの画素値として設定する
処理を含むことを特徴とする付記１１に記載の判定プログラム。

（付記１３）
前記第２の画像データを生成する処理は、
前記集合に含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第２の画像データを構成する各ピクセルの画素値として設定する
処理を含むことを特徴とする付記１１または１２に記載の判定プログラム。

（付記１４）
前記複数の訓練データを複数の集合に分類する処理は、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データの並びをランダムに入れ替える処理と、
並びをランダムに入れ替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する
処理と
を含むことを特徴とする付記１１～１３のいずれか１項に記載の判定プログラム。

（付記１５）
前記複数の訓練データを複数の集合に分類する処理は、
前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データに対してクラスタリングを行なう処理と、
前記クラスタリングの結果に応じて並び替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する処理と
を含むことを特徴とする付記１１～１３のいずれか１項に記載の判定プログラム。

１ 情報処理装置
１１ プロセッサ（制御部）
１２ メモリ
１３ 記憶装置
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１８ａ ネットワーク
１９ バス
１００ 訓練データ判定部
１０１ 第１分割処理部
１０２ 第１平均画像作成部
１０３ 第２分割処理部
１０４ 第２平均画像作成部
１０５ 判定部

Claims (7)

1. 推定モデルの機械学習に用いられる複数の訓練データを含み、前記複数の訓練データそれぞれが画像データと正解ラベルとを含む訓練データセットを受け付け、
   前記複数の訓練データを正解ラベルに応じて複数のクラスに分類し、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データを複数の集合に分類し、
   前記複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、
   前記第１の画像データと前記第２の画像データとの比較結果に基づき、前記推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する、
   処理をコンピュータが実行することを特徴とする判定方法。
2. 前記第１の画像データを生成する処理は、
   前記クラスに含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第１の画像データを構成する各ピクセルの画素値として設定する
   処理を含むことを特徴とする請求項１に記載の判定方法。
3. 前記第２の画像データを生成する処理は、
   前記集合に含まれる複数の画像データのピクセル毎の画素値の平均を算出し、前記第２の画像データを構成する各ピクセルの画素値として設定する
   処理を含むことを特徴とする請求項１または２に記載の判定方法。
4. 前記複数の訓練データを複数の集合に分類する処理は、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データの並びをランダムに入れ替える処理と、
   並びをランダムに入れ替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する
   処理と
   を含むことを特徴とする請求項１～３のいずれか１項に記載の判定方法。
5. 前記複数の訓練データを複数の集合に分類する処理は、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データに対してクラスタリングを行なう処理と、
   前記クラスタリングの結果に応じて並び替えられた前記複数の訓練データを所定数毎に区切ることで、各クラスに含まれる前記複数の訓練データを複数の集合に分類する処理と
   を含むことを特徴とする請求項１～３のいずれか１項に記載の判定方法。
6. 推定モデルの機械学習に用いられる複数の訓練データを含み、前記複数の訓練データそれぞれが画像データと正解ラベルとを含む訓練データセットを受け付け、
   前記複数の訓練データを正解ラベルに応じて複数のクラスに分類し、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データを複数の集合に分類し、
   前記複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、
   前記第１の画像データと前記第２の画像データとの比較結果に基づき、前記推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する、
   処理を実行する制御部を備えることを特徴とする情報処理装置。
7. 推定モデルの機械学習に用いられる複数の訓練データを含み、前記複数の訓練データそれぞれが画像データと正解ラベルとを含む訓練データセットを受け付け、
   前記複数の訓練データを正解ラベルに応じて複数のクラスに分類し、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる複数の画像データから第１の画像データを生成し、
   前記複数のクラスに含まれるクラス毎に、各クラスに含まれる前記複数の訓練データを複数の集合に分類し、
   前記複数の集合に含まれる集合毎に、各集合に含まれる複数の画像データから第２の画像データを生成し、
   前記第１の画像データと前記第２の画像データとの比較結果に基づき、前記推定モデルの精度低下の原因となり得る訓練データの含有状況を判定する、
   処理をコンピュータに実行させる判定プログラム。
   
   

Images