JP2022103894A

JP2022103894A - リスク評価装置及びリスク評価方法

Info

Publication number: JP2022103894A
Application number: JP2020218796A
Authority: JP
Inventors: 千秋太田原; Chiaki Otawara; 雅之吉野; Masayuki Yoshino
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2022-07-08
Anticipated expiration: 2040-12-28
Also published as: JP7535452B2

Abstract

【課題】評価対象ＡＩに対して優先的に実施すべきテストケースを生成し、生成したテストケースに応じて攻撃耐性を評価する。【解決手段】リスク評価装置は、評価対象ＡＩの業務仕様と、評価対象ＡＩが取り扱うデータ型と、評価対象ＡＩの評価軸と評価対象ＡＩへの攻撃アルゴリズムを示す攻撃アルゴリズム情報と、評価軸とデータ型とに対応する対策を示す情報を保持する対策データと、を保持し、評価対象ＡＩの疑似ＡＩを作成し、業務仕様に対応する攻撃を選定し、業務仕様に予め対応付けられた評価軸を選定し、攻撃アルゴリズム情報において、該選定した評価軸に対応する攻撃アルゴリズムを取得し、該取得した攻撃アルゴリズムによって疑似ＡＩを攻撃して、テストケース及びテストシナリオを生成して攻撃耐性を評価し、攻撃耐性の評価結果、評価軸、及びデータ型に基づいて、対策データから対策を選定して出力する。【選択図】図２

Description

本発明は、リスク評価装置及びリスク評価方法に関する。

近年のＡＩ技術の発展に伴い、様々な業務がＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）で代替されつつある。現状、非クリティカルな分野でＡＩの活用が進んでいるが、今後人命喪失や環境汚染等の甚大な被害が発生し得る重要インフラシステム等のクリティカルな分野にもＡＩの導入が進むことが予想されている。また、特にアカデミック分野ではＡＩへのセキュリティ攻撃事例も多数報告されている。

このような状況をうけて、ＡＩシステムのセキュリティ対策が急務となっている。ＥＵのＡＩガイドラインであるＥＴＨＩＣＳＧＵＩＤＥＬＩＮＥＳＦＯＲＴＲＵＳＴＷＯＲＴＨＹＡＩにおいても信頼できるＡＩを実現するため、アセスメントを実施した上でセキュリティを考慮することを要求している。しかし、従来のＩＴ（ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ）システムにおける判断を行うための規則は、人間によって決定されプログラムとして書き出される（演繹的）ものであり、学習データから判断を行うための規則を獲得する（帰納的）なＡＩシステムに対して、従来のＩＴシステムに適用していたアセスメント手法やテストケースの策定が困難である。

品質保証の分野でもＡＩシステムのテスト方式が検討されている状況であり、非特許文献１に記載の技術は、自動運転車において、車より遠くに存在するものより近くにあるものを正しく認識することを優先し、テストを実施する方式を提案している。

Ｄｒｅｏｓｓｉｅｔａｌ．，ＣｏｍｐｏｓｉｔｉｏｎａｌＦａｌｓｉｆｉｃａｔｉｏｎｏｆＣｙｂｅｒ－ＰｈｙｓｉｃａｌＳｙｓｔｅｍｓｗｉｔｈＭａｃｈｉｎｅＬｅａｒｎｉｎｇＣｏｍｐｏｎｅｎｔｓ，ＪｏｕｒｎａｌｏｆＡｕｔｏｍａｔｅｄＲｅｓｏｎｉｎｇＶｏｌｕｍｅ６３，Ｐａｇｅｓ１０３１－１０５３（２０１９）［検索日2020.12.14］インターネット＜https://link.springer.com/article/10.1007/s10817-018-09509-5＞

非特許文献１に記載の技術は、品質保証の分野で効率的にテストケースを生成することが可能となる。しかし、非特許文献１に記載の技術は、セキュリティの観点でのテストケースを生成することができないため、セキュリティ耐性を評価するためのテストケース生成に工数を要する。
そこで、本発明の一態様は、評価対象ＡＩに対して優先的に実施すべきテストケースを生成し、生成したテストケースに応じて攻撃耐性を評価する。

上記の課題を解決するため、本発明の一態様は以下の構成を採用する。評価対象ＡＩのリスクを評価するリスク評価装置であって、プロセッサとメモリとを有し、前記メモリは、前記評価対象ＡＩの学習データ又は学習パラメータ、及びプログラムと、前記評価対象ＡＩの設置環境及びメイン機能を含む業務仕様を示す情報と、前記評価対象ＡＩが取り扱うデータ型を示す情報と、前記評価対象ＡＩを評価する評価軸と、前記評価対象ＡＩへの攻撃アルゴリズムを示す攻撃アルゴリズム情報と、前記評価軸と前記データ型とに対応する対策を示す情報を保持する対策データと、を保持し、前記プロセッサは、前記学習データ又は学習パラメータと、前記プログラムと、に基づいて、前記評価対象ＡＩの疑似ＡＩを作成し、前記設置環境及び前記メイン機能に対応する攻撃を選定し、前記業務仕様に予め対応付けられた評価軸を選定し、前記攻撃アルゴリズム情報において、前記選定した評価軸に対応する攻撃アルゴリズムを取得し、前記取得した攻撃アルゴリズムによって前記疑似ＡＩを攻撃することで、テストケース及びテストシナリオを生成して攻撃耐性を評価し、前記攻撃耐性の評価結果と、前記評価軸と、前記データ型と、に基づいて、前記対策データから対策を選定し、前記選定した対策を出力する、リスク評価装置。

本発明では、本発明の一態様は、評価対象ＡＩに対して優先的に実施すべきテストケースを生成し、生成したテストケースに応じて攻撃耐性を評価することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１におけるリスク評価サービスシステムの構成の概要例を示すブロック図である。実施例１におけるリスク評価サーバ２０のハードウェア構成例を示すブロック図である。実施例１における攻撃アルゴリズムデータの一例である。実施例１における対策データの一例である。実施例１におけるテスト環境作成部が作成するテスト環境の一例を示す説明図である。実施例１におけるリスク評価サーバによる全体処理の概要例を示すシーケンス図である。実施例１におけるテスト環境作成部によるテスト環境作成処理一例を示すフローチャートである。実施例１における診断部による診断処理の一例を示すフローチャートである。実施例１における機能推定部による機能推定処理の一例を示すフローチャートである。実施例１におけるセキュリティ評価部によるセキュリティ評価処理の一例を示すフローチャートである。実施例１における診断部が推定したシステム構成の一例を示す説明図である。実施例１における評価軸を選定するために実施されるリスク評価結果の一例を示す説明図である。実施例１におけるテストシナリオを示すリストの一例である。実施例１における評価軸が示す攻撃によるセキュリティ耐性の評価結果の一例を示す説明図である。実施例１における対策選定部による対策選定処理の一例を示すフローチャートである。実施例１における対策評価部による対策評価処理の一例を示すフローチャートである。実施例１における推奨対策表示画面の一例を示す説明図である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

図１は、リスク評価サービスシステムの構成の概要例を示すブロック図である。リスク評価サービスシステムは、例えば、リスク評価サービス基盤１０、ＮＷ（ＮｅｔＷｏｒｋ）機器４０、及び１以上の企業システム５０を含む。

リスク評価サービス基盤１０は、例えば、リスク評価サーバ２０及びＤＢ（ＤａｔａＢａｓｅ）サーバ３０を含む。リスク評価サーバ２０は、企業システム５０が保持するＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）システムのセキュリティリスクを評価する。ＤＢサーバ３０は、リスク評価サーバ２０に提供するデータ及びリスク評価サーバ２０から受信したデータを保持する。

リスク評価サービス基盤１０は、ＮＷ機器４０と接続することでインターネット等のネットワークと接続可能であり、ネットワークを介して企業システム５０それぞれと接続可能である。企業システム５０それぞれは、評価対象ＡＩシステム６０及び診断サーバ７０を含む。評価対象ＡＩシステム６０は、リスク評価及び対策選定の対象のＡＩを有するシステムである。診断サーバ７０は、評価対象ＡＩシステム６０の設置環境等を診断する。

図２は、リスク評価サーバ２０のハードウェア構成例を示すブロック図である。リスク評価サーバ２０は、例えば、ＣＰＵ１００、補助記憶装置２００、メモリ３００、入出力装置４００、及びＮＷインターフェース５００を含む計算機によって構成される。

ＣＰＵ１００、プロセッサを含み、メモリ３００に格納されたプログラムを実行する。メモリ３００は、不揮発性の記憶素子であるＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ１００が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置２００は、例えば、磁気記憶装置（ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ））等の大容量かつ不揮発性の記憶装置であり、ＣＰＵ１００が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置２００から読み出されて、メモリ３００にロードされて、ＣＰＵ１００によって実行される。

入出力装置４００は、キーボードやマウスなどのオペレータからの入力を受ける入力装置と、表示装置やプリンタなどのプログラムの実行結果をオペレータが視認可能な形式で出力する出力装置と、を含む。ＮＷインターフェース５００は、所定のプロトコルに従って、他の装置との通信を制御する装置である。

ＣＰＵ１００が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介してリスク評価サーバ２０に提供され、非一時的記憶媒体である不揮発性の補助記憶装置２００に格納される。このため、リスク評価サーバ２０は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

リスク評価サーバ２０は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

ＣＰＵ１００は、例えば、テスト環境作成部１０１、診断部１０２、機能推定部１０３、セキュリティ評価部１０４、対策選定部１０５、及び対策評価部１０６を含む。テスト環境作成部１０１は、テスト用の疑似ＡＩを作成する。診断部１０２は、評価対象ＡＩシステム６０に設置環境を推定するための診断サーバ７０に、評価対象ＡＩシステム６０の設置環境を診断するよう依頼し、依頼結果に基づいて設置環境を推定する。機能推定部１０３は、評価対象ＡＩシステム６０の機能概要を推定する。

セキュリティ評価部１０４は、設置環境及び機能概要から評価軸を選定し攻撃によるセキュリティ耐性を評価する。対策選定部１０５は、セキュリティ評価結果から対策を選定する。対策評価部１０６は、選定した対策を導入した際のＡＩの精度を考慮した評価を行う。

例えば、ＣＰＵ１００は、メモリ３００にロードされたテスト環境作成プログラムに従って動作することで、テスト環境作成部１０１として機能し、メモリ３００にロードされた診断プログラムに従って動作することで、診断部１０２として機能する。ＣＰＵ１００に含まれる他の機能部についても、プログラムと機能部の関係は同様である。

なお、ＣＰＵ１００に含まれる機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェアによって実現されてもよい。

補助記憶装置２００は、攻撃アルゴリズムデータ２０１及び対策データ２０２を保持する。リスク評価サーバ２０は、攻撃アルゴリズムデータ２０１及び対策データ２０２を、例えば、ＤＢサーバ３０から受信した補助記憶装置２００に格納する。攻撃アルゴリズムデータ２０１は、評価対象ＡＩシステム６０のＡＩを評価する評価軸と、評価対象ＡＩシステム６０のＡＩが扱うデータのデータ型と、に対応する攻撃アルゴリズム及び攻撃パターンを定義する。対策データ２０２は、評価軸とデータ型とに対応する対策を定義する。

なお、本実施形態において、病院選定システムが使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。本実施形態ではテーブル形式で情報が表現されているが、例えば、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。

図３Ａは、攻撃アルゴリズムデータ２０１の一例である。攻撃アルゴリズムデータ２０１は、例えば、評価軸欄２００１、データ型欄２００２、攻撃アルゴリズム欄２００３、及び攻撃パターン欄２００４を含む。評価軸欄２００１は、リスク評価結果から評価対象ＡＩを評価するための軸を示す情報を保持する。訓練データの汚染及び入力データ汚染等はいずれも評価軸の一例である。データ型欄２００２は、評価対象ＡＩのデータ型を示す情報を保持する。音声、画像、映像、及びテキスト等はいずれもデータ型の一例である。攻撃アルゴリズム欄２００３は、評価軸とデータ型の組み合わせごと対応する攻撃アルゴリズムを示す情報を保持する。

図３Ｂは、対策データ２０２の一例である。対策データ２０２は、例えば、評価軸欄５００１、データ型欄２００２、及び対策欄５００３を含む。評価軸欄５００１は、評価軸を保持する。データ型欄５００２は、データ型を保持する。対策欄５００３は、評価軸とデータ型との組み合わせに対応する対策を示す情報を保持する。

図４は、テスト環境作成部１０１が作成するテスト環境の一例を示す説明図である。テスト環境作成部１０１は評価対象ＡＩシステム６０から受け取ったＡＩアルゴリズム及び学習データ１１０２から疑似ＡＩ１１０１を作成する。テスト環境作成部１０１は、作成した疑似ＡＩ１１０１に対して、検索キーなどの入力データ１１０３を入力し、参照データ１１０４を参照し分析した結果１１０５を診断サーバ７０に返す。なお、テスト環境作成部１０１は、学習データ１１０を取得せずに、学習パラメータを取得して擬似ＡＩ１１０１を作成してもよい。

なお、テスト環境作成部１０１が疑似ＡＩ１１０１を作成する際にのみ、学習データ１１０２が用いられるため、セキュリティ評価部１０４が実際に評価を実行する際には学習データ１１０２が存在しない。また、過去の学習データからの分析結果のみを返す疑似ＡＩ１１０１が存在するため参照データ１１０４が存在しない可能性もある。

図５は、リスク評価サーバ２０による全体処理の概要例を示すシーケンス図である。テスト環境作成部１０１は、評価対象ＡＩシステム６０からＡＩのアルゴリズム及び学習データを受信し、さらに入出力装置４００を介して攻撃耐性の閾値の入力を受け付け、当該アルゴリズムと当該学習データに基づいてテスト環境を構築する（Ｓ００１）。

また、テスト環境作成部１０１はセキュリティ評価スタートのトリガーの役割も担っており、テスト環境作成完了通知、閾値、及びＡＩシステムのＣＩＡ（Ｃ:機密性、I：完全性、Ａ：可用性）重要度（テスト環境作成１０１は、例えば、ＣＩＡ重要度をユーザ入力によって予め取得する）を機能推定部１０３に送信する（Ｓ００２）。また、テスト環境作成部１０１は、ＡＩシステムが設置されている環境の診断依頼を診断部１０２に送信する（Ｓ００３）。

診断部１０２はセキュリティ評価の依頼があったシステムに対して、診断サーバ７０にＡＩの診断を依頼する（Ｓ００４）。診断部１０２は、診断サーバ７０から評価対象ＡＩシステム６０の設置環境の推定結果を受信する（Ｓ００５）。なお、診断部１０２が、ネットワークを介して評価対象ＡＩシステム６０を監視する等して、評価対象ＡＩシステム６０の設置環境を推定してもよい。診断部１０２は、推定設置環境をセキュリティ評価部１０４に送信する（Ｓ００６）。

機能推定部１０３は、テスト環境にアクセスし疑似ＡＩのメイン機能（不審人物検知等）やデータ型（音声、画像、映像、テキスト等）を推定する（Ｓ００７）。機能推定部１０３は、推定結果及び閾値をセキュリティ評価部１０４に送信する（Ｓ００８）。

セキュリティ評価部１０４は、業務仕様（設置環境とメイン機能とを含む概念）に基づき、評価軸を選定する（Ｓ００９）。セキュリティ評価部１０４は、攻撃アルゴリズムデータ２０１を参照して評価軸及びデータ型に対応する評価アルゴリズム（攻撃アルゴリズム及び攻撃パターン）を取得し、攻撃によるセキュリティ耐性評価をする（Ｓ０１０）。

セキュリティ評価部１０４は、セキュリティ耐性評価結果を対策選定部１０５に送信する（Ｓ０１１）。対策評価時に攻撃アルゴリズムが再度使用されるため、セキュリティ評価部１０４は、対策評価部１０６に攻撃アルゴリズムと閾値を送信する（Ｓ０１２）。

対策選定部１０５は、対策データ２０２を参照して、業務仕様と評価結果に基づき対策を選定する（Ｓ０１３）。対策選定部１０５は、選定した対策を推奨対策として対策評価部１０６に送信する（Ｓ０１４）。

対策評価部１０６は、攻撃アルゴリズムと閾値とに基づいて、対策導入時の精度を考慮して対策を再評価する（Ｓ０１５）。対策評価部１０６は、対策が閾値以上の攻撃態勢があるかを（Ｓ０１６）。対策評価部１０６は、対策が閾値以上の攻撃耐性があると判定した場合（Ｓ０１６：Ｙｅｓ）、推奨対策をテスト環境作成部１０１に通知する（Ｓ０１７）。

対策評価部１０６は、対策が閾値以上の攻撃耐性がないと判定した場合（Ｓ０１６：Ｎｏ）、評価結果を対策選定部１０５に送信する（Ｓ０１８）。対策選定部１０５は、受信した評価結果に基づいて再度対策を選定し、推奨対策を対策評価部１０６に送信する（Ｓ０２０）。対策選定部１０５による対策の選定及び対策評価部１０６による対策の評価は、対策が閾値以上の攻撃耐性となるまで繰り返され、閾値以上になったら対策評価部１０６は推奨対策をテスト環境作成部１０１に送信する（Ｓ０２１）。

図６は、テスト環境作成部１０１によるテスト環境作成処理一例を示すフローチャートである。テスト環境作成部１０１は、ユーザから、アルゴリズムを示すプログラムと、学習データと、の入力を受け付ける（Ｓ１００１）。テスト環境作成部１０１は、入力されたプログラムと学習データとからテスト用の疑似ＡＩを構築する（Ｓ１００２）。

テスト環境作成部１０１は、評価用の疑似ＡＩを構築したことを機能推定部１０３に送信する（Ｓ１００３）。テスト環境作成部１０１は、ＡＩの設置環境の診断依頼を診断部１０２に送信する（Ｓ１００４）。テスト環境作成部１０１は、対策選定部１０５から推奨対策を受信する（Ｓ１００５）。テスト環境作成部１０１は、受信した推奨対策をユーザに通知する（Ｓ１００６）。

図７は、診断部１０２による診断処理の一例を示すフローチャートである。診断部１０２は、テスト環境作成部１０１から診断依頼を受信したら、評価対象ＡＩ６０が設置されている企業システム５０の診断サーバ７０に診断を依頼する（Ｓ２００１）。診断部１０２は、診断サーバ７０から、評価対象ＡＩ６０が設置されているシステムの環境（外部接続有無、外部システムとの連携有等）の推定結果を受信する（Ｓ２００２）。

診断部１０２は、推定結果を入出力装置４００に表示し、推定結果が正しいかのユーザ入力を受け付け、推定結果が正しいとのユーザ入力を受け付けたか否かを判定する（Ｓ２００３）。なお、診断部１０２は、推定結果を企業システム５０に含まれる表示装置に表示して、企業システムのユーザから推定結果が正しいかのユーザ入力を受け付けてもよい。

。診断部１０２は、推定結果が正しいとのユーザ入力を受け付けたと判定した場合（Ｓ２００３：Ｙｅｓ）、推定した設置環境の情報をセキュリティ評価部１０４に送信する（Ｓ２００４）。診断部１０２は、推定結果が正しくないとのユーザ入力を受け付けたと判定した場合（Ｓ２００３：Ｎｏ）、正しい設置環境の入力を、入出力装置４００を介して受け付ける、又は企業システム５０のユーザによる入力を受信し、推定結果を修正し（Ｓ２００５）、ステップＳ２００４へ遷移する。なお、上記した例では診断部１０２が診断サーバ７０にシステムの環境の診断を依頼したが、ステップＳ２００５の処理のみを行ってもよい。

図８は、機能推定部１０３による機能推定処理の一例を示すフローチャートである。機能推定部１０３は、テスト環境作成部１０１からテスト環境作成完了通知を受信した後、テスト環境に基づいてＡＩのメイン機能及びデータ型を推定する（Ｓ３００１）。機能推定部１０３は、推定結果を入出力装置４００に表示し、推定結果が正しいかのユーザ入力を受け付け、推定結果が正しいとのユーザ入力を受け付けたか否かを判定する（Ｓ３００２）。なお、機能推定部１０３は、推定結果を企業システム５０に含まれる表示装置に表示して、企業システムのユーザから推定結果が正しいかのユーザ入力を受け付けてもよい。

機能推定部１０３は、推定結果が正しいとのユーザ入力を受け付けたと判定した場合（Ｓ３００２：Ｙｅｓ）、推定したＡＩのメイン機能（不審人物検知等）及びデータ型（音声、画像、映像、テキスト等）を、閾値と併せてセキュリティ評価部１０４に送信する（Ｓ３００３）。

機能推定部１０３は、推定結果が正しくないとのユーザ入力を受け付けたと判定した場合（Ｓ３００２：Ｎｏ）、正しいメイン機能及びデータ型の入力を、入出力装置４００を介して受け付ける、又は企業システム５０のユーザによる入力を受信し、推定結果を修正し（Ｓ３００４）、ステップＳ３００３へ遷移する。なお、上記した例ではまず機能推定部１０３がメイン機能及びデータ型を推定したが、ステップＳ３００４の処理のみを行ってもよい。

図９は、セキュリティ評価部１０４によるセキュリティ評価処理の一例を示すフローチャートである。セキュリティ評価部１０４は、機能推定部１０３からメイン機能と閾値を受信し、診断部１０２から設置環境を受信したら、業務仕様（設置環境とメイン機能をあわせて業務仕様とする）に基づきリスク分析を行い、評価軸を選定する（Ｓ４００１）。詳細なリスク分析結果の一例は図１０Ａ及び図１０Ｂを用いて後述する。

セキュリティ評価部１０４は、選定した評価軸を入出力装置４００に表示し、評価軸に抜け漏れ及び削除の必要がないかのユーザ入力を受け付け、評価軸に抜け漏れ及び削除の必要がないとのユーザ入力を受け付けたか否かを判定する（Ｓ４００２）。なお、セキュリティ評価部１０４は、選定した評価軸を企業システム５０に含まれる表示装置に表示して、企業システム５０のユーザから評価軸に抜け漏れ及び削除の必要がないかのユーザ入力を受け付けてもよい。

セキュリティ評価部１０４は、評価軸に抜け漏れがないとのユーザ入力を受け付けたと判定した場合（Ｓ４００２：Ｙｅｓ）、選定した評価軸及び業務仕様に基づき、テストシナリオおよびテストケースを生成する（Ｓ４００３）。なお、詳細なテストシナリオとテストケースの生成の一例は図１１Ａ及び図１１Ｂを用いて後述する。

セキュリティ評価部１０４は、評価軸に抜け漏れがあるとのユーザ入力を受け付けたと判定した場合（Ｓ４００２：Ｎｏ）、抜け漏れていた評価軸の入力を、入出力装置４００を介して受け付ける、又は企業システム５０のユーザによる入力を受信し、評価軸を修正し（Ｓ４００４）、ステップＳ４００３へ遷移する。

セキュリティ評価部１０４は、攻撃アルゴリズムデータ２０１から取得した攻撃アルゴリズムを用いて疑似ＡＩを実際に攻撃し、テストシナリオ及びテストケースを生成する（Ｓ４００５）。セキュリティ評価部１０４は、攻撃結果に基づき疑似ＡＩのセキュリティ耐性を評価する（Ｓ４００６）。詳細な評価方法の一例は図１１Ａ及び図１１Ｂを用いて後述する。セキュリティ評価部１０４は、評価結果を対策選定部１０５に送信する（Ｓ４００７）。

図１０Ａは、診断部１０２が推定したシステム構成の一例を示す説明図である。図１０Ａの例では、疑似ＡＩ、参照データ、外部システム連携機能、参照データ生成機能、検索キー、及び結果が、推定されたシステム構成に含まれる。

図１０Ｂは、評価軸を選定するために実施されるリスク評価結果の一例を示す説明図である。資産欄３００２には、推定されたシステム構成に含まれる資産候補が記載されている。なお、システム構成の全てが資産候補であってもよいし、システム構成のうち、予め定められた所定の構成が資産候補であってもよい。

評価軸欄３００３には、資産に対応する評価軸が記載されている。資産に対応する評価軸は予め定められている。例えば、参照データという資産に対しては、完全性を喪失される攻撃（データ汚染）等が評価軸として記載されている。影響度欄３００４には、資産に対して評価軸欄３００３が示す攻撃が行われた際の影響度が記載されている。つまり、疑似ＡＩが参照するデータがある場合には、疑似ＡＩに対応する評価軸と、参照データに対応する評価軸と、の２つの（複数の）評価軸が選定される。

セキュリティ評価部１０４は、ユーザから与えれたＡＩシステムのＣＩＡ重要度から、影響度を評価する。なお、ユーザはＡＩシステムのＣＩＡ重要度を検討する際、ＡＩのモデルの機密性が高いと判定すれば「機密性：大」、ＡＩの出力が遅れるなど可用性が重視されないと判定すれば「可用性：小」というように、機密性、完全性、可用性の観点から影響度を評価する。具体的には、例えば、セキュリティ評価部１０４は、評価対象ＡＩの概要（監視カメラの映像等のような評価対象ＡＩへの入力データの種類等）からＣＩＡの観点で評価する。

ＡＩの概要が監視カメラの場合の一例を挙げると、入力となる監視カメラからの映像には個人情報が含まれるため機密性は大、評価対象ＡＩは正しい入力を受け付けないと正しく不審者を検出できないため完全性も大、評価対象ＡＩがリアルタイムに不審者を発見できない場合に事故が発生する可能性があるため可用性も大、とユーザは評価し、セキュリティ評価部１０４は本受信結果に基づき評価する。また、例えば、ＡＩの概要ごとに予め機密性、完全性、及び可用性の評価が予め定められていてもよい。なお、本実施例では大、中、小の三段階の評価結果を記載しているが、三段階評価でなくてもよい。

発生確率欄３００５には、資産に対して評価軸欄３００３が示す攻撃が行われる確率が記載されている。セキュリティ評価部１０４は、例えば、推定されたシステムの構成と、既存のセキュリティ対策状況（例えばアクセス制御対策がされていて外部からのアクセスが困難である等）などに基づいて、当該確率を算出する。

セキュリティ評価部１０４は、例えば、推定されたシステム構成において、ＡＩの訓練データへのアクセス制御という対策がされてると判定すれば「発生確率は小」であると決定し、逆に訓練データへのアクセスが第三者でも可能であると判定すれば「発生確率は大」等のように、セキュリティ対策状況に基づく評価を行う。本実施例では攻撃が行われる確率が三段階で評価されて結果を記載しているが、三段階評価でなくてもよい。

リスク度欄３００６には、影響度と発生確率とに基づく対処優先度付けのためのリスク度が記載されている。例えば、影響度「大」×発生確率「大」＝危険、影響度「大」×発生確率「中」＝危険、影響度「中」×発生確率「大」＝危険、影響度「中」×発生確率「中」＝警告、影響度「中」×発生確率「小」＝注意、等のように予め影響度と発生確率との組み合わせからリスク度をどのように評価するか定義されている。セキュリティ評価部１０４は、当該定義に従って、リスク度を三段階で評価する。なお、本実施例では「危険」、「警告」、「注意」の三段階でリスク度が評価されているが、三段階評価でなくてもよい。

図１１Ａは、テストシナリオを示すリストの一例である。テストシナリオ欄４００１には、業務仕様及び評価軸に基づき定義されたテストシナリオが格納されている。セキュリティ評価部１０４は、例えば、評価対象ＡＩ６０の目的が不審者を検知するもの等と推測し、推測した目的に必要なテストシナリオ及びテストケースを推測する。具体的には、例えば、セキュリティ評価部１０４は、評価対象ＡＩの概要（監視カメラ等）と、評価対象ＡＩから得られる又はユーザによって入力される評価対象ＡＩの判定結果群（不審者、スーツケース、発券機等）と、から評価対象ＡＩの目的（不審者を発見すること）を推測する。

なお、この推測に用いられるデータは予めＡＩシステムの目的とテストシナリオとが紐づけられているものであり、リスク評価サーバ２０のメモリ３００又は補助記憶装置２００に格納されている。本実施例の場合だと、「概要：監視カメラ、判定結果群：不審者等、目的：不審者の発見」のように概要と、判定結果群と、目的と、の組み合わせを定義するテーブルが予めリスク評価サーバ２０のメモリ３００又は補助記憶装置２００に格納されており、セキュリティ評価部１０４は、マッチするものを抽出する。セキュリティ評価部１０４は、新規のＡＩシステムに対しては、当該テーブルに記載のレコードで類似のものをユーザに提示するとともにユーザ側で確認又は設定する必要がある。

セキュリティ評価部１０４は、この目的を考慮し、目的を達成するために必要な要件（「人物」を認識できること、「人物」以外を「人物」と誤認識しないこと）からテストシナリオを生成する。要件に紐づくテストシナリオ生成ルールを、リスク評価サーバ２０のメモリ３００又は補助記憶装置２００は予め保持しており、例えば、「要件：「認識したいもの」を認識できること、「認識したいもの」以外を「認識したいもの」と誤認識しないこと」、テストシナリオ生成ルール：（１）「認識したいもの」と誤認識するような判定結果群（「認識したいもの」以外）の入力テスト、（２）「認識しないもの」以外を「認識したいもの」に誤認識するような判定結果群（「認識したいもの」以外）の入力テスト」というルールを保持している。

セキュリティ評価部１０４は、このテストシナリオから、評価対象ＡＩが判定結果群の組合せを生成することでテストケースを生成する。具体的に本実施例では、セキュリティ評価部１０４は、テストケース（１）として「「人」を「スーツケース」と誤認識するような入力を与える」、「「人」を「発券機」と誤認識するような入力を与える」テストケース（２）として「「スーツケース」を「人」と誤認識するような入力を与える」「「発券機」を「人」と誤認識するような入力を与える」というテストケースを生成する。

セキュリティ評価部１０４は、推測したテストシナリオ及びテストケースを入出力装置４００等に表示して、推測したテストシナリオ及びテストケースが正しいかユーザに確認してもよく、推測したテストシナリオ及びテストケースが正しくない場合、ユーザから正しいテストシナリオ及びテストケースの入力を受け付けてもよい。

図１１Ｂは、評価軸が示す攻撃によるセキュリティ耐性の評価結果の一例を示す説明図である。図１１Ｂの例では、入力データ汚染に関する評価結果を示す。テストシナリオＮｏ．欄４００２には、テストシナリオを識別する番号が格納されている。テストケースＮｏ．欄４００３には、テストシナリオごとにテストケースを識別する番号が格納されている。

テストケース欄４００４には、テストシナリオごとに作成されたテストケースを示す情報が格納されている。不審人物を検知するＡＩを評価する場合の例を示す。不審人物を検知するＡＩにとって、「人物を認識できること（テストシナリオ１）」が重要であり、セキュリティ評価部１０４は、不審人物の検知のために必要のないものは識別できなくても問題はないと判断できる。

そこで、セキュリティ評価部１０４は、このテストシナリオに沿って、テストケースを作成する。セキュリティ評価部１０４は、例えば、本システムの場合には「人物を車椅子と誤認識」するような入力データを用意しテストする。

攻撃パターン欄４００５には、攻撃パターンが記載される。本例のようなデータ汚染の場合、セキュリティ評価部１０４は、ノイズのレベルを攻撃パターン欄４００５に格納する。攻撃パターン欄４００５に格納される値の種類は評価軸によって異なる。攻撃耐性欄４００６には、テストケース欄４００４の値と攻撃パターン欄２００５の値に応じた攻撃を実際に行った結果が格納される。本例のようなデータ汚染の場合、誤認識されるかどうか評価される。

図１２は、対策選定部１０５による対策選定処理の一例を示すフローチャートである。対策選定部１０５は、セキュリティ評価部１０４から受信した評価結果に基づいて、対策データ２０２を参照して対策を選定する（Ｓ５００１）。具体的には、対策選定部１０５は、対策データ２０２において評価軸とデータ型に対応する対策を選定する。対策選定部１０５は、選定した対策を対策評価部１０６に送信する（Ｓ５００２）。

図１３は、対策評価部１０６による対策評価処理の一例を示すフローチャートである。対策評価部１０６は、選定した対策の導入効果を評価する（Ｓ５１０１）。対策評価部１０６が行う、対策の導入効果の具体的な評価については、図１４を用いて後述する。対策評価部１０６は、対策導入後の疑似ＡＩが閾値以上のセキュリティ攻撃耐性を有するかを判定する（Ｓ５１０２）。

対策評価部１０６は、対策導入後の疑似ＡＩが閾値以上のセキュリティ攻撃耐性を有すると判定した場合（Ｓ５１０２：Ｙｅｓ）、当該対策及び対策評価結果を対策選定部１０５に送信し、さらに入出力装置４００に表示する（Ｓ５１０３）。対策評価部１０６は、対策導入後の疑似ＡＩが閾値以上のセキュリティ攻撃耐性を有しないと判定した場合（Ｓ５１０２：Ｎｏ）、対策選定部１０５に対策選定処理を再度依頼し、追加すべき対策を抽出する（Ｓ５１０４）。

なお、２回目以降の対策評価処理においては、対策評価部１０６は、それまでに対策選定部１０５が選定した全ての対策を組み合わせる（全ての対策が同時に実行される）ものとして、ステップＳ５１０１～ステップＳ５１０４の処理を実行するとよい。

図１４は、推奨対策表示画面の一例を示す説明図である。図１４では、具体例として、データ汚染の対策に対する評価とモデル抽出に対する評価とが行われたものとする。なお、対策評価部１０６は、評価にあたってはセキュリティ評価部１０４で実施した攻撃をおこなうことで対策の効果を評価する。表示推奨対策表示画面は、データ汚染対策導入結果表示領域６００１と、総合対策導入結果表示領域６００２と、推奨対策表示領域６００３と、を含む。

データ汚染対策導入結果表示領域６００１には、評価軸の一つであるデータ汚染に関する対策導入結果が表示されている。データ汚染の対策として、ノイズのあるデータを学習データに含めることで攻撃耐性が一般的には強化されることが知られている。しかし、ノイズのあるデータを学習データに含めると精度が下がることがある。

対策レベル欄６１０１には、対策強度を示す対策レベルが表示されている。つまり、対策評価部１０６は、選定された対策に対して、複数段階のレベルそれぞれについて対策を行った場合の評価を行う。ノイズレベル欄６１０２には、対策レベルに応じたノイズの強度が記載されている。攻撃耐性欄６１０３には、ノイズレベル欄６１０２に示すノイズレベルで生成された汚染データに対する誤認識の割合が記載されている。本数値が高ければ高いほど攻撃対策が強い。本例では攻撃耐性が高（１００－９１％）、中（９０－８１％）、低（８０％以下）の三段階で評価されている。

精度欄６１０４には、セキュリティ対策を導入した場合の精度が表示されている。セキュリティ対策を導入した場合、精度が落ちる可能性があるため、セキュリティ以外の観点も考慮し評価した結果が表示されている。本例では、精度が高（１００－９１％）、中（９０－８１％）、低（８０％以下）の三段階で評価されている。

評価結果６１０５には、各対策レベルにおける攻撃耐性と精度の推移を示すグラフが表示されている。ユーザは評価結果６１０５を確認することにより、精度を考慮した上で攻撃耐性のレベルを選択しやすくなる。本例だと、ユーザは、攻撃耐性と精度のバランスを考慮するとパターン３、セキュリティを重視するとパターン４、５、精度を考慮するとパターン１、２等の用に、パターンを容易に選択できる。

総合対策導入結果表示領域６００２には、２つ以上の評価軸が存在する場合におけるすべての評価軸が考慮された評価結果が表示される。図１４では、評価軸としてデータ汚染とモデル抽出が存在する場合の例を説明する。また、図１４では、総合対策導入結果表示領域６００２に、モデル抽出の評価結果が表示されているが、データ汚染の評価結果についてはデータ汚染対策導入結果表示領域６００１に記載したため記載を省略する。

対策レベル欄６２０１には、対策強度も考慮した対策パターンが表示される。許可クエリ数欄６２０２には、一度に許可するクエリ数を制限することでどれくらいモデル抽出されないか評価するためのクエリ数が表示されている。

出力欄６２０３には、出力データの予測値が表示されている。情報が多ければ多いほど正確なモデル抽出が可能となるため、出力欄６２０３の値は、予測結果の数値を削減する効果を評価する際の基準ともいえる。攻撃耐性欄６２０４には、許可クエリ数と出力の組合せからなる対策レベルごとに評価された攻撃耐性が表示されている。なお、モデル抽出攻撃ではモデルをコピーされることが脅威であるため、攻撃耐性欄６２０４は、対策レベルによるコピーの精度を示す。

推奨対策表示領域６００３には、複数の対策を組み合わせた際の最適な対策選定結果が表示される。例えば、推奨対策表示領域６００３においてデータ汚染（入力）の対策とモデル抽出の攻撃への対策の導入を推奨しており、データ汚染については攻撃耐性とＡＩの精度のバランスがいいレベル３を、モデル抽出の対策についてはレベルＫを推奨している。なお、複数の対策を導入する際にモデルに影響があるような対策（例えば、ノイズデータを訓練データに含める等の所定の対策）を複数選択する場合、対策評価部１０６は複数の対策を導入した際の疑似ＡＩの精度を再評価する必要がある。

実施例１のリスク評価サービスシステムの構成に加え、リスク評価サーバ２０のＣＰＵ１００が、フィードバック部をさらに有してもよい。フィードバック部は、対策実施後の効果及び評価対象システムの変化を検知する（例えば、診断サーバ７０が当該効果及び当該変化を診断し、リスク評価サーバ２０に送信することで、フィードバックが当該効果及び当該変化を受信する）。フィードバック部は、対策効果又はシステム変更を検知すると、テスト環境作成部１０１にステップＳ００１の処理を開始するよう指示して、図５の処理を開始させることにより、対策を再選定する。これにより、リスク評価サーバ２０は、動的に脅威及びシステムの変化に対抗することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０リスク評価サービス基盤、２０リスク評価サーバ、３０ＤＢサーバ、６０評価対象ＡＩシステム、７０診断サーバ、１００ＣＰＵ、１０１テスト環境作成部、１０２診断部、１０３機能推定部、１０４セキュリティ評価部、１０５対策選定部、１０６対策評価部、２００補助記憶装置、２０１攻撃アルゴリズムデータ、２０２対策データ、３００メモリ、４００入出力装置、５００ＮＷインターフェース

Claims

評価対象ＡＩのリスクを評価するリスク評価装置であって、
プロセッサとメモリとを有し、
前記メモリは、
前記評価対象ＡＩの学習データ又は学習パラメータ、及びプログラムと、
前記評価対象ＡＩの設置環境及びメイン機能を含む業務仕様を示す情報と、
前記評価対象ＡＩが取り扱うデータ型を示す情報と、
前記評価対象ＡＩを評価する評価軸と、前記評価対象ＡＩへの攻撃アルゴリズムを示す攻撃アルゴリズム情報と、
前記評価軸と前記データ型とに対応する対策を示す情報を保持する対策データと、を保持し、
前記プロセッサは、
前記学習データ又は学習パラメータと、前記プログラムと、に基づいて、前記評価対象ＡＩの疑似ＡＩを作成し、
前記設置環境及び前記メイン機能に対応する攻撃を選定し、
前記業務仕様に予め対応付けられた評価軸を選定し、
前記攻撃アルゴリズム情報において、前記選定した評価軸に対応する攻撃アルゴリズムを取得し、
前記取得した攻撃アルゴリズムによって前記疑似ＡＩを攻撃することで、テストケース及びテストシナリオを生成して攻撃耐性を評価し、
前記攻撃耐性の評価結果と、前記評価軸と、前記データ型と、に基づいて、前記対策データから対策を選定し、
前記選定した対策を出力する、リスク評価装置。
請求項１に記載のリスク評価装置であって、
前記プロセッサは、
前記選定した対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの精度を評価し、
前記評価した精度を出力する、リスク評価装置。
請求項２に記載のリスク評価装置であって、
前記プロセッサは、
複数段階の対策レベルそれぞれの前記選定した対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの精度と攻撃耐性とを評価し、
前記複数段階の対策レベルごとに、当該精度と当該攻撃耐性とを出力する、リスク評価装置。
請求項３に記載のリスク評価装置であって、
前記プロセッサは、
前記業務仕様に予め対応付けられた複数の評価軸を選定し、
前記攻撃アルゴリズム情報において、前記選定した複数の評価軸それぞれに対応する攻撃アルゴリズムを取得し、
前記取得した攻撃アルゴリズムそれぞれについて、前記疑似ＡＩを攻撃することで、テストケース及びテストシナリオを生成して攻撃耐性を評価し、
前記攻撃耐性の評価結果と、前記評価軸と、前記データ型と、に基づいて、前記対策データから複数の対策を選定し、
前記選定した複数の対策それぞれについて、複数段階の対策レベルそれぞれの対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの精度と攻撃耐性とを評価し、
前記選定した複数の対策ごと、前記複数段階の対策レベルごとに、当該精度と当該攻撃耐性とを出力する、リスク評価装置。
請求項１に記載のリスク評価装置であって、
前記プロセッサは、
前記選定した対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの攻撃耐性を評価し、
当該攻撃耐性が所定の閾値以上であるかを判定し、
当該攻撃耐性が前記閾値未満であると判定した場合、前記対策データから対策を再度選定する、リスク評価装置。
リスク評価装置による、評価対象ＡＩのリスクを評価するリスク評価方法であって、
前記リスク評価装置は、プロセッサとメモリとを有し、
前記メモリは、
前記評価対象ＡＩの学習データ又は学習パラメータ、及びプログラムと、
前記評価対象ＡＩの設置環境及びメイン機能を含む業務仕様を示す情報と、
前記評価対象ＡＩが取り扱うデータ型を示す情報と、
前記評価対象ＡＩを評価する評価軸と、前記評価対象ＡＩへの攻撃アルゴリズムを示す攻撃アルゴリズム情報と、
前記評価軸と前記データ型とに対応する対策を示す情報を保持する対策データと、を保持し、
前記リスク評価方法は、
前記プロセッサが、前記学習データ又は学習パラメータと、前記プログラムと、に基づいて、前記評価対象ＡＩの疑似ＡＩを作成し、
前記プロセッサが、前記設置環境及び前記メイン機能に対応する攻撃を選定し、
前記プロセッサが、前記業務仕様に予め対応付けられた評価軸を選定し、
前記プロセッサが、前記攻撃アルゴリズム情報において、前記選定した評価軸に対応する攻撃アルゴリズムを取得し、
前記プロセッサが、前記取得した攻撃アルゴリズムによって前記疑似ＡＩを攻撃することで、テストケース及びテストシナリオを生成して攻撃耐性を評価し、
前記プロセッサが、前記攻撃耐性の評価結果と、前記評価軸と、前記データ型と、に基づいて、前記対策データから対策を選定し、
前記プロセッサが、前記選定した対策を出力する、リスク評価方法。
請求項６に記載のリスク評価方法であって、
前記プロセッサが、前記選定した対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの精度を評価し、
前記プロセッサが、前記評価した精度を出力する、リスク評価方法。
請求項７に記載のリスク評価方法であって、
前記プロセッサが、複数段階の対策レベルそれぞれの前記選定した対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの精度と攻撃耐性とを評価し、
前記プロセッサが、前記複数段階の対策レベルごとに、当該精度と当該攻撃耐性とを出力する、リスク評価方法。
請求項８に記載のリスク評価方法であって、
前記プロセッサが、前記業務仕様に予め対応付けられた複数の評価軸を選定し、
前記プロセッサが、前記攻撃アルゴリズム情報において、前記選定した複数の評価軸それぞれに対応する攻撃アルゴリズムを取得し、
前記プロセッサが前記取得した攻撃アルゴリズムそれぞれについて、前記疑似ＡＩを攻撃することで、テストケース及びテストシナリオを生成して攻撃耐性を評価し、
前記プロセッサが前記攻撃耐性の評価結果と、前記評価軸と、前記データ型と、に基づいて、前記対策データから複数の対策を選定し、
前記プロセッサが前記選定した複数の対策それぞれについて、複数段階の対策レベルそれぞれの対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの精度と攻撃耐性とを評価し、
前記プロセッサが前記選定した複数の対策ごと、前記複数段階の対策レベルごとに、当該精度と当該攻撃耐性とを出力する、リスク評価方法。
請求項６に記載のリスク評価方法であって、
前記プロセッサが、前記選定した対策を前記疑似ＡＩに導入した場合の前記疑似ＡＩの攻撃耐性を評価し、
前記プロセッサが、当該攻撃耐性が所定の閾値以上であるかを判定し、
前記プロセッサが、当該攻撃耐性が前記閾値未満であると判定した場合、前記対策データから対策を再度選定する、リスク評価方法。