JP2017199365A - 産業資産制御システム用のドメインレベル脅威検出 - Google Patents

産業資産制御システム用のドメインレベル脅威検出 Download PDF

Info

Publication number
JP2017199365A
JP2017199365A JP2017081794A JP2017081794A JP2017199365A JP 2017199365 A JP2017199365 A JP 2017199365A JP 2017081794 A JP2017081794 A JP 2017081794A JP 2017081794 A JP2017081794 A JP 2017081794A JP 2017199365 A JP2017199365 A JP 2017199365A
Authority
JP
Japan
Prior art keywords
threat
normal
node
feature vectors
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017081794A
Other languages
English (en)
Other versions
JP6941965B2 (ja
Inventor
ラリット・ケシャブ・メスサ
Keshav Mestha Lalit
ジョナサン・カール・サッチャー
Jonathan Carl Thatcher
ダニエル・フランシス・ホルツハウアー
Daniel Francis Holzhauer
ジャスティン・ヴァーキー・ジョン
Justin Varkey John
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2017199365A publication Critical patent/JP2017199365A/ja
Application granted granted Critical
Publication of JP6941965B2 publication Critical patent/JP6941965B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428Safety, monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/552Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】産業資産制御システム用のドメインレベル脅威検出を提供する。
【解決手段】正常空間データソース110は、複数の脅威ノード130のそれぞれに対して、産業資産制御システムの正常動作を表す一連の正常値を格納し、脅威空間データソース120は、一連の脅威値を格納する。モデル生成コンピュータ140は、正常および脅威特徴ベクトルのセットを生成することができる。コンピュータ140はまた、正常および脅威特徴ベクトルに基づいて、脅威検出モデル155に対して少なくとも1つの決定境界を計算して出力することもできる。その場合、複数の脅威ノード130は、資産制御システムの現在の動作を表す脅威ノードからの一連の現在値を生成することができる。脅威検出コンピュータ150は、脅威ノード130から一連の現在値を受信し、現在の特徴ベクトルのセットを生成し、脅威検出モデル155を実行し、現在の特徴ベクトルおよび少なくとも1つの決定境界に基づいて脅威警報信号を送信することができる。
【選択図】図1

Description

本発明は、産業資産制御システム用のドメインレベル脅威検出に関する。
物理的システム(例えば、パワータービン、ジェットエンジン、機関車、自律車両など)を操作する産業制御システムは、インターネットに接続されることが多くなっている。その結果、これらの制御システムは、電力の発生と分布を妨げたり、エンジンを損傷したり、車両の誤動作を招くなどの可能性のあるサイバー攻撃(例えば、コンピュータウイルス、悪意のあるソフトウェアなど)などの脅威に対してますます脆弱になっている。現在の方法は、主に、情報技術(「IT」、例えば、データを格納、検索、送信、操作するコンピュータ)および操作技術(「OT」、例えば直接監視装置および通信バスインターフェース)における脅威検出を考慮する。サイバー脅威は、Stuxnet攻撃を受けた2010年に見られるように、これらの保護レイヤーに侵入し、物理的な「ドメイン」に到達する可能性がある。そのような攻撃は、制御システムのパフォーマンスを低下させ、プラントの総停止または破局的な損傷を引き起こす可能性がある。現在、サイバー事件中に、センサ、コントローラ、およびアクチュエータが配置されているドメイン層での脅威を自動的に検出するのに利用できる方法は存在しない。場合によっては、複数の攻撃が同時に発生することもある(例えば、複数のアクチュエータ、センサ、または制御システム装置内のパラメータが、同時に権限のない者によって悪意を持って変更される可能性がある)。ドメイン層で発生するステルス攻撃などのサイバー攻撃の検出困難な結果は、(例えば、センサノードなどの唯一の脅威ノードが検出アルゴリズムで使用される場合)容易に検出できないことがあることに留意されたい。障害や診断技術などの産業制御システムを保護する既存の手法では、特に、そのような複数の欠陥/障害診断技術は自動的にステルス攻撃を検出するように設計されていないために複数の同時攻撃が発生する場合、これらの脅威に適切に対処できない可能性がある。したがって、攻撃がITおよびOT層を通過して制御システムに直接害を及ぼす場合であっても、サイバー脅威から産業資産制御システムを自動かつ正確に保護することが望ましい。
米国特許第8973123号明細書
いくつかの実施形態によれば、サイバー脅威から産業資産制御システムを保護するシステムは、脅威ノード(「脅威ポイント」とも呼ばれる)からの正常空間を含むことができる。脅威ノードは、サイバー脅威または異常事象の発生を監視するために使用される重要なセンサ、コントローラノード、アクチュエータ、および/または主要なソフトウェアノードからの信号とすることができる。正常空間データソースは、複数の脅威ノード(例えば、センサノード、アクチュエータノード、コントローラノード、ソフトウェアノードなど)のそれぞれについてのデータ、産業資産制御システムの正常動作を表す脅威ノードからの一連の正常値(「データストリーム」)を格納することができる。同様に、脅威空間データソースは、脅威ノードからの一連の脅威値を格納することができる。脅威値は、異常な空間データと見なすことができる。通常、制御システムは、異常空間では動作せず、というのも、そのような動作は損傷の原因となり、完全シャットダウンを引き起こし、および/またはプラント構成要素の致命的な損傷もしくはゆっくりとした劣化を引き起こすためである。モデル生成コンピュータは、脅威ノードからの値を使用して、正常および脅威特徴ベクトルのセットを生成することができる。特徴は、1つまたは複数の測定されたデータストリームから抽出された個々の量を含むことができる。コンピュータはまた、正常および脅威特徴ベクトルに基づいて、脅威検出モデルに対して決定境界を計算して出力することもできる。その場合、複数のこれらの値は、資産制御システムの現在の動作を表す脅威ノードからの一連の現在値を生成することができる。脅威検出コンピュータは、脅威ノードから一連の現在値を受信し、これらの値から現在の特徴ベクトルのセットを生成し、脅威検出モデルを実行し、現在の特徴ベクトルおよび決定境界に基づいて脅威警報信号を送信することができる。
いくつかの実施形態は、複数の脅威ノードのそれぞれに対して、産業資産制御システムの正常動作を表す脅威ノードからの一連の正常値を経時的に検索する手段と、複数の脅威ノードのそれぞれに対して、産業資産制御システムの脅威動作を表す、脅威ノードからの一連の脅威値または異常値を経時的に検索する手段と、正常特徴ベクトルのセットおよび脅威特徴ベクトルのセットに基づいて、脅威検出モデルに対する決定境界を自動的に計算して出力する手段とを備える。
他の実施形態は、複数の脅威ノードから、産業資産制御システムの現在の動作を表す一連の値を経時的に受信する手段と、脅威ノードから受信した一連の値に基づいて脅威検出コンピュータによって現在の特徴ベクトルのセットを生成する手段と、現在の特徴ベクトルのセットおよび決定境界に基づいて脅威警報信号を送信する脅威検出モデルを実行する手段と、を備える。
本明細書で開示されるいくつかの実施形態のいくつかの技術的利点は、産業資産制御システムをサイバー脅威から自動的および正確に保護するための改良されたシステムおよび方法である。
いくつかの実施形態により提供され得るシステムの高レベルブロック図である。 いくつかの実施形態によるモデル作成方法を示す図である。 いくつかの実施形態による脅威警告方法を示す図である。 いくつかの実施形態によるオフライン処理を示す図である。 いくつかの実施形態によるリアルタイム処理を示す図である。 いくつかの実施形態によるガスタービンエンジンに関連する例を示す図である。 いくつかの実施形態による脅威ベクトル損傷表示を示す図である。 いくつかの実施形態によるグローバル脅威防止システムの一例を示す図である。 いくつかの実施形態による三次元のセンサ出力を示す図である。 いくつかの実施形態による決定境界表示を示す図である。 本発明のいくつかの実施形態による産業資産制御システム保護プラットフォームのブロック図である。 脅威検出データベースのテーブル部分である。
以下の詳細な説明では、実施形態の完全な理解を提供するために、多数の特定の詳細が述べられる。しかしながら、これらの具体的な詳細なしで実施形態を実施できることは、当業者には理解されるであろう。他の例では、周知の方法、手順、構成要素、および回路は、実施形態を不明瞭にしないように詳細には記載していない。
物理システムを操作する産業制御システムは、インターネットに接続されることが多くなっている。その結果、これらの制御システムは、脅威に対してますます脆弱になり、場合によっては、複数の攻撃が同時に発生する可能性がある。特に、複数の同時攻撃が発生する場合に、障害や診断技術などの産業制御システムを保護する既存の手法では、これらの脅威に適切に対処できない可能性がある。したがって、産業資産制御システムをサイバー脅威から自動的かつ正確に保護することが望まれている。図1は、いくつかの実施形態によるシステム100の高レベルアーキテクチャである。システム100は、「正常空間」データソース110および「脅威空間」データソース120を含むことができる。正常空間データソース110は、複数の脅威ノード130のそれぞれに対して、(例えばモデルによって生成された、または、図1に破線で示すように実際のセンサ130のデータから収集された)産業資産制御システムの正常動作を表す一連の正常値を経時的に格納することができる。脅威空間データソース120は、脅威ノード130のそれぞれに対して、(例えば、システムがサイバー攻撃を受けている場合に)産業資産制御システムの脅威動作を表す一連の脅威値を格納することができる。
正常空間データソース110および脅威空間データソース120からの情報は、このデータを使用して決定境界(すなわち、正常挙動と脅威挙動とを分離する境界)を生成する脅威検出モデル生成コンピュータ140に提供することができる。その場合、決定境界は、脅威検出モデル155を実行する脅威検出コンピュータ150によって使用することができる。脅威検出モデル155は、例えば、センサノード、アクチュエータノード、および/または他の任意の重要な監視ノード(例えば、脅威ノードS1からSN)からのデータを含む脅威ノード130からのデータストリームを監視し、適切なときに1つまたは複数の遠隔監視装置170に(例えば、ユーザに表示するために)脅威警報信号を自動的に出力する。本明細書で使用される場合、「自動的に」という用語は、例えば、人の介入をほとんどまたは全く伴わずに行うことができる動作を意味することができる。いくつかの実施形態によれば、検出された脅威に関する情報は、産業制御システムに送り返すことができる。
本明細書で使用されるように、システム100および本明細書に記載された他の任意のデバイスに関連するデバイスを含むデバイスは、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、専用ネットワーク、公衆交換電話網(PSTN)、無線アプリケーションプロトコル(WAP)ネットワーク、ブルートゥース(登録商標)ネットワーク、無線LANネットワーク、および/またはインターネット、イントラネット、もしくはエクストラネットなどのインターネットプロトコル(IP)ネットワークの1つまたは複数とすることができる任意の通信ネットワークを介して情報を交換することができる。本明細書で説明する任意のデバイスは、1つまたは複数のそのような通信ネットワークを介して通信することができることに留意されたい
脅威検出モデル生成コンピュータ140は、正常空間データソース110および/または脅威空間データソース120などの、さまざまなデータストアに情報を格納し、および/またはさまざまなデータストアから情報を検索することができる。さまざまなデータソースは、脅威検出モデル生成コンピュータ140からローカルに格納してもよいし、遠隔地に存在してもよい。単一の脅威検出モデル生成コンピュータ140が図1に示されているが、任意の数のそのようなデバイスを含めることができる。さらに、本明細書に記載されたさまざまなデバイスは、本発明の実施形態に従って組み合わせることができる。例えば、いくつかの実施形態では、脅威検出モデル生成コンピュータ140および1つまたは複数のデータソース110、120は、単一の装置を備えることができる。脅威検出モデル生成コンピュータ140の機能は、分散処理またはクラウドベースのアーキテクチャにおいて、ネットワーク化された装置の組み合わせによって実行することができる。
ユーザは、本明細書に記載された実施形態のいずれかに従って脅威情報に関する情報を閲覧および/または管理するために、監視装置170(例えば、パーソナルコンピュータ(PC)、タブレット、またはスマートフォン)の1つを介してシステム100にアクセスすることができる。場合によっては、インタラクティブなグラフィカル・ディスプレイ・インターフェースにより、ユーザが特定のパラメータ(例えば、脅威検出トリガレベル)を定義および/または調整すること、ならびに/もしくは脅威検出モデル生成コンピュータ140および/または脅威検出コンピュータ150から自動的に生成された勧告または結果を提供または受信することができる。
例えば、図2は、図1に関して記載されたシステム100の要素のいくつかまたは全てによって実行され得るモデル生成方法を示す。本明細書で説明するフローチャートは、ステップの順序を固定することを意味するものではなく、本発明の実施形態は、実行可能な任意の順序で実施することができる。本明細書で説明する方法のいずれかは、ハードウェア、ソフトウェア、またはこれらの手法の任意の組み合わせによって実行することができることに留意されたい。例えば、コンピュータ可読記憶媒体は、機械によって実行された場合、本明細書に記載の実施形態のいずれかによるパフォーマンスをもたらす命令を格納することができる。
S210で、システムは、複数の脅威ノードのそれぞれに対して、産業資産制御システムの正常動作を表す一連の正常値を経時的に検索することができ、正常な特徴ベクトルのセットを生成することができる。同様に、S220で、システムは、複数の脅威ノードのそれぞれに対して、産業資産制御システムの脅威動作を表す一連の脅威値を経時的に検索することができ、脅威のある特徴ベクトルのセットを生成することができる。一連の正常値および/または脅威値は、例えば、パワータービン、ジェットエンジン、機関車、自律車両などに関連する産業制御システムで実験計画法(DoE)を実行することによって得られるであろう。S230で、決定境界を自動的に計算し、正常な特徴ベクトルのセットと脅威特徴ベクトルのセットとに基づいて脅威検出モデルのために出力することができる。いくつかの実施形態によれば、決定境界は、線、超平面、脅威空間から正常空間を分離する非線形境界、および/または複数の決定境界に関連している可能性がある。さらに、決定境界は、正常空間、脅威空間、および劣化動作空間を分離する複数クラスの決定境界を備えることができる。さらに、脅威検出モデルは、決定境界、特徴マッピング関数、および/または特徴パラメータと関連している可能性があることに留意されたい。
この場合、決定境界は、サイバー攻撃を検出するために使用することができる。例えば、図3は、いくつかの実施形態による脅威警告方法である。S310で、システムは、複数の脅威ノードから、産業資産制御システムの現在の動作を表す一連の現在値を経時的に受信することができる。次いで、S320で、脅威検出コンピュータは、受信した一連の現在値に基づいて、現在の特徴ベクトルのセットを生成することができる。S330で、脅威検出モデルを実行して、適切なときに(例えば、サイバー攻撃が検出されたとき)、現在の特徴ベクトルのセットと決定境界とに基づいて、脅威警報信号を送信することができる。いくつかの実施形態によれば、脅威警報信号が送信されると、1つまたは複数の応答動作を実行することができる。例えば、システムは、(例えば、検出された潜在的なサイバー攻撃をさらに調査させるために)産業資産制御システムの全部または一部を自動的に停止することができる。他の例として、1つまたは複数のパラメータを自動的に変更してもよく、ソフトウェアアプリケーションを自動的にトリガして、データを捕捉してもよく、および/または潜在的な原因などを分離してもよい。
本明細書で説明するいくつかの実施形態は、システムに対する1つまたは複数の同時の敵対的脅威を検出するために、調整された高忠実度機器モデルおよび/または実際の「オンザジョブ」データから先験的に学習することによって、制御システムの物理特性を利用することができる。さらに、いくつかの実施形態によれば、全ての脅威ノードデータは、高度な特徴ベースの方法を使用して特徴に変換することができ、制御システムのリアルタイム動作は、実質的にリアルタイムで監視することができる。異常は、監視されたデータを「正常」または障害(もしくは、劣化)として分類することによって検出することができる。この決定境界は、動的モデルを使用して構築することができ、オペレータが制御システムを直ちに通常動作に戻すことを可能にする脆弱性の早期検出(および壊滅的な障害の潜在的回避)を可能にする補助をすることができる。
自動的に(例えば、アルゴリズムを介して)抽出され、および/または手動で入力され得る多次元特徴ベクトルの適切なセットは、低次元ベクトル空間における測定データの良好な予測子を含むことができることに留意されたい。いくつかの実施形態によれば、DoE技術に関連する科学的原理を介して得られるデータセットを使用して、多次元空間に適切な決定境界を構築することができる。さらに、複数のアルゴリズム方法(例えば、サポートベクトルマシンまたは機械学習技術)を使用して、決定境界を生成することができる。境界は測定データ(または、高忠実度モデルから生成されたデータ)によって駆動され得るため、定義された境界マージンは、多次元特徴空間に脅威ゾーンを作成するのに役立つ可能性がある。さらに、マージンは、本質的に動的であり、機器の過渡状態または定常状態モデルに基づいて適合され、および/または入力データストリームから自己学習システムのようにシステムを動作させながら得ることができる。いくつかの実施形態によれば、トレーニング方法は、決定境界を教えるために教師あり学習のために使用されてもよい。このタイプの教師あり学習は、システム動作(例えば、正常動作と異常動作との間の相違)に関するオペレータの知識を考慮に入れることができる。
図4は、いくつかの実施形態によるオフライン境界生成処理400を示す。脅威、なりすまし、攻撃ベクトル、脆弱性などに関する情報410は、DoE技術を使用して作成されたモデル420ならびに/もしくはトレーニングおよび評価データベース450に提供することができる。モデル420は、例えば、トレーニングおよび評価データベース450に格納される特徴ベクトル440に組み立てられた特徴を計算するために使用される脅威ノードからのデータ430をシミュレートすることができる。その場合、トレーニングおよび評価データベース450内のデータは、正常動作と脅威動作とを区別するために決定境界460を計算するために使用することができる。いくつかの実施形態によれば、処理400は、脅威ノードおよび予想される脅威ベクトルの優先順位付けを含み、決定境界を作成するための1つまたは複数のデータセットを形成することができる。脅威ベクトルは、システムが脅威/異常空間に入るドメインレベルで悪意のある攻撃が作成される重要な入力で異常な値となる。さらに、モデル420は、データセット(例えば、脅威空間を「システムにおける脅威状態のレベル対脅威ノードからの量」として記述するセット)を作成するために使用できる高忠実度モデルを備えることができる。脅威ノードからのデータ430は、例えば、センサノード、アクチュエータノード、および/またはコントローラノードから30〜50秒の長さの間に捕捉される量とすることができる(同様のデータセットは、「システム内の正常な動作状態のレベル対脅威ノードからの量」に対して取得することができる)。この処理により、「脅威空間」と「正常空間」とに対するデータセットが生成される。30〜50秒の長さの量は、特徴量設計を使用して特徴ベクトルを作成する特徴440を計算するために使用することができる。その場合、これらの特徴ベクトルを使用して、(サイバー攻撃などの異常を検出するために使用される)脅威空間と通常空間とに対するデータセットを分離する決定境界を得ることができる。
攻撃が複数攻撃である可能性がある(例えば、複数の攻撃が一度に発生する可能性がある)ため、DoE実験は、(例えば、全因子、田口スクリーニング、中央複合体、および/またはBox−Behnkenを使用して)攻撃空間を捕捉するように設計してもよい。モデルが利用できない場合、これらのDoE方法を使用して、現実の資産制御システムからデータを収集することもできる。例えば、同時攻撃のさまざまな組み合わせを使用して、実験を行うことができる。同様の実験を行って、正常動作空間用のデータセットを作成することができる。いくつかの実施形態によれば、システムは、脅威または攻撃ではなく、「劣化」または誤動作を検出することができる。そのような決定は、劣化したおよび/または誤った動作空間に対するデータセットの使用を必要とすることがある。
図5は、いくつかの実施形態による産業資産制御システムを保護するためのリアルタイム処理500を示す。510で、脅威ノードからの現在データを収集することができる(例えば、30〜50秒のバッチで)。520で、システムは、特徴を計算し、特徴ベクトルを形成することができる。例えば、システムは、主成分分析の重みを特徴として使用する可能性がある。530で、異常検出エンジンは、特徴ベクトルの位置と決定境界とを比較して判断を行う(必要であれば警報信号を出力する)ことができる。いくつかの実施形態によれば、特徴はドメイン知識の高水準表現であり、直感的に説明することができるので、モデル(または実際のシステム)からの脅威ノードデータを特徴の観点から表現することができる。さらに、実施形態は、ベクトルとして表される複数の特徴を扱うことができ、複数の検出された量の間の相互作用は、「相互作用特徴」の観点から表現することができる。
主成分(自然基底集合を用いて構築された重み)および統計的特徴(例えば、時系列信号の平均、分散、歪度、尖度、最大値、最小値、最大値および最小値の位置、独立成分など)を含む、本明細書に記載された実施形態のいずれかに従って多くの異なるタイプの特徴を利用できることに留意されたい。他の例には、深層学習特徴(例えば、実験的および/または履歴的データセットを採掘することによって生成される)および周波数領域特徴(例えば、フーリエ変換またはウェーブレット変換の係数に関連する)が含まれる。また、実施形態は、相互相関、自己相関、自己回帰の順序、移動平均モデル、モデルのパラメータ、信号の微分および積分、立ち上がり時間、整定時間、ニューラルネットワークなどの時系列解析特徴に関連付けることができる。さらに、他の例には、論理的な特徴(「はい」および「いいえ」などの意味論的抽象化を含む)、地理的/位置的場所、および相互作用特徴(複数の脅威ノードおよび特定の場所からの信号の数学的組み合わせ)が含まれる。実施形態は、任意の数の特徴を組み込むことができ、システムが物理的処理および脅威についてより多くを学習するにつれて、手法がより正確になることを可能にするより多くの特徴を備えることができる。いくつかの実施形態によれば、脅威ノードからの異なる値は、単位のない空間に対して正規化され、出力と出力の強度とを簡単な方法で比較することを可能にすることができる。
図6は、いくつかの実施形態によるガスタービンエンジンに関連する例600である。具体的には、この例は、アクチュエータおよびコントローラ攻撃の対象となるコントローラおよびアクチュエータ部分610、プラント状態攻撃の対象となるプラント部分620、および脅威ノード攻撃の対象となる脅威ノード630を含む。単なる例として、脅威ノード630は、タービン排気、周囲温度、周囲圧力、入口圧力降下、コンプレッサ入口温度、発電機出力、燃料圧力、シャフト速度、コンプレッサ排出圧力もしくは温度、排気ガス温度、放出などに関連する物理的および/または仮想脅威ノードを備えることができる。アクチュエータは、例えば、入口ガイドバルブコマンド、ブリードヒートバルブコマンド、燃料またはストップバルブ位置、周囲圧力、入口または排気圧力デルタ、特定の湿度または周囲温度、燃料流量、または燃料の温度に関連する可能性がある。ガスタービンエンジンシステム内の情報を監視することによって、脅威検出プラットフォームは、大量の損傷を潜在的に引き起こす可能性のあるサイバー攻撃を(例えば、特徴ベクトルおよび決定境界を使用して)検出することができる可能性がある。
図7は、いくつかの実施形態による脅威ベクトル損傷表示700である。特に、表示は、より大きな値がより大きなリスクを表すリスク優先番号(RPN)と、より大きな値がより大きな損傷(例えば、財務、ユニット利用可能性、ユニットトリップ、ユニット寿命の喪失、新しい部品を必要とする資産損傷など)と関連する損傷クラス値とを表すグラフ710を含む。少なくとも1つの脅威ベクトルが示される各グラフ710で、バブル720は、それらの値に関連付けられる脅威の数を示す(より大きなバブル720がより多くの脅威に関連する)。いくつかの実施形態によれば、脅威を適切に検出するのに必要な脅威ノードの数を減らすために、ドメイン知識および/または感度調査を使用することができる。さらに、RPN分析(例えば、専門知識、時間、容易さ、損害などに基づいてRPNを計算する)は、損害クラス対RPNなどのいくつかの基準に基づいて多くの脅威をさらに再グループ化することができる。さらに、いくつかの実施形態は、異なる損傷クラスに対して完全実施要因計画、スクリーニング計画、および/または中央複合計画の組み合わせを実行するなどによって、または損傷クラスの全てを単一セットに組み合わせることによって、データセットを生成するために構築されたDoE方法を使用することができる。
図8は、いくつかの実施形態によるグローバル脅威防止システム800の一例である。特に、システムは、3つの発電機(A、B、およびC)を含み、脅威ノードからの値810のバッチは、ある期間(例えば30〜50秒)にわたって生成されるごとに収集される。いくつかの実施形態によれば、脅威ノードからの値810のバッチは時間的に重複する。脅威ノードからの値810は、例えば、時間(t1、t2など)および脅威ノードのタイプ(S1、S2など)によって配列された行列820に格納することができる。特徴量設計コンポーネント830は、3つの発電機(例えば、発電機Cに対する特徴ベクトル840は、FSC1、FSC2などを含む可能性がある)ごとに特徴ベクトル840を作成するために、各行列820内の情報を使用することができる。次いで、3つの特徴ベクトル840は、システム800に対して単一のグローバル特徴ベクトル850に組み合わせることができる。相互作用特徴860を適用してもよく(例えば、A×B×C、A+B+Cなどに関連付けられる)、異常検出エンジン870は、その結果を決定境界と比較し、適切な場合に脅威警報信号を出力することができる。
図9は、いくつかの実施形態による三次元の脅威ノード出力を示す図900である。特に、グラフ910は、主要成分特徴(PCF)に関連付けられた次元、例えば、w1、w2、およびw3などの3次元の脅威ノード出力(+)をプロットする。さらに、グラフ910は、正常動作空間決定境界920の指示を含む。単一の連続境界920が図9に示されているが、実施形態は複数の領域に関連付けられてもよい。PCF情報は、低下次元で重みとして表すことができることに留意されたい。例えば、各脅威ノードからのデータは、低次元の特徴(例えば、重み)に変換することができる。いくつかの実施形態によれば、脅威ノードデータは、以下のように正規化され、
ここで、Sは、「k」時点の脅威ノード量を表す。さらに、その場合、出力は、以下のように、基底関数の加重線形結合として表現することができ
ここで、S0は全ての脅威を伴う平均脅威ノード出力であり、wjはj番目の重みであり、Ψjはj番目の基底ベクトルである。いくつかの実施形態によれば、脅威ノードのデータ行列の共分散を用いて自然基底ベクトルが得られる。基底ベクトルが分かれば、以下の式を用いて重みを求めることができる(基底集合が直交すると仮定する)。
重みは、特徴ベクトルで使用される特徴の例であり得ることに留意されたい。
図10は、いくつかの実施形態による決定境界表示1000である。表示1000は、例えば、ガスタービンシミュレーションデータにおける、センサノードからの値などの、脅威ノード値から生成されたグローバル特徴と関連する可能性のある単純な決定境界1010(3次元では、0.3単位の半径を有するボールまたは球である)のグラフ表示を含む。いくつかの実施形態によれば、いくつかの脅威検証実行が実行され、結果1020が、表示1000にもたらされる(例えば、実行番号、半径値、および「正常」もしくは「攻撃」の決定を含む)。
したがって、脅威ノードからの観測量が特徴ベクトル(例えば、多くの特徴を有する)に関して表されると、次いで、特徴ベクトルを多次元特徴空間内の点として使用することができる。リアルタイムの脅威検出の間、2つの領域(または空間)、すなわち、異常(攻撃)空間および正常動作空間の間の空間を分離する決定境界に関して、各点がどこに位置するかを比較することによって、決定を行うことができる。点が攻撃空間に入ると、産業資産制御システムは、サイバー攻撃の間などに異常な動作を受けている。点が正常動作空間に入ると、産業資産制御システムは、サイバー攻撃の間などに異常な動作を受けていない。境界を有する適切な決定ゾーンは、本明細書に記載されるようなデータセットを使用して高忠実度モデルを用いて構築される。例えば、サポートベクトルマシンは、決定境界を構築するためにカーネル関数とともに使用することができる。いくつかの実施形態によれば、深層学習技術を用いて決定境界を構築することもできる。
いくつかの実施形態によれば、システムは、代わりに、空間を、(1)攻撃空間、(2)正常動作空間、および(3)劣化空間または欠陥空間の3つの領域に分割することができる。このタイプの「マルチクラス」決定では、問題は、2つのリンクされていないバイナリ問題のセットに分解することができ、「攻撃対正常」および「劣化対正常」データセットを持つバイナリサポートベクトルマシンを使用して解決することができる。
本明細書で説明する実施形態は、任意の数の異なるハードウェア構成を使用して実現することができる。例えば、図11は、例えば、図1のシステム100に関連することができる産業資産制御システム保護プラットフォーム1100のブロック図である。産業資産制御システム保護プラットフォーム1100は、通信ネットワーク(図11では図示せず)を介して通信するよう構成される通信デバイス1120に結合される、1チップマイクロプロセッサの形式の1つまたは複数の市販の中央処理装置(CPU)などの、プロセッサ1110を備える。通信デバイス1120を使用して、例えば、1つまたは複数の遠隔脅威ノード、ユーザプラットフォーム、デジタルツインなどと通信することができる。産業資産制御システム保護プラットフォーム1100は、入力装置1140(例えば、適応型および/または予測型モデリング情報を入力するコンピュータマウスおよび/またはキーボード)および/または出力装置1150(例えば、表示をレンダリングし、警報を送信し、推奨事項を送信し、および/またはレポートを作成するためのコンピュータモニタ)をさらに含む。いくつかの実施形態によれば、モバイル機器、監視物理システム、および/またはPCを使用して、産業資産制御システム保護プラットフォーム1100と情報を交換することができる。
プロセッサ1110はまた、ストレージデバイス1130と通信する。ストレージデバイス1130は、磁気ストレージデバイス(例えば、ハードディスクドライブ)、光学ストレージデバイス、携帯電話、および/または半導体メモリデバイスの組み合わせを含む、任意の適切な情報ストレージデバイスを備えることができる。ストレージデバイス1130は、プロセッサ1110を制御するためのプログラム1112および/または脅威検出モデル1114を格納する。プロセッサ1110は、プログラム1112、1114の命令を実行し、それにより、本明細書で説明する実施形態のいずれかに従って動作する。例えば、プロセッサ1110は、複数の脅威ノードのそれぞれに対して、産業資産制御システムの正常動作を表す一連の正常脅威ノード値を格納する正常空間データソースにアクセスすることができる。プロセッサ1110は、一連の脅威を受けた脅威ノード値を格納する脅威空間データソースにアクセスすることもできる。プロセッサ1110は、正常および脅威特徴ベクトルのセットを生成し、正常および脅威特徴ベクトルに基づいて、脅威検出モデルに対して決定境界を計算して出力することができる。その場合、複数の脅威ノードは、資産制御システムの現在の動作を表す一連の現在脅威ノード値を生成することができる。プロセッサ1110は、一連の現在値を受信し、現在の特徴ベクトルのセットを生成し、脅威検出モデルを実行し、現在の特徴ベクトルおよび決定境界に基づいて脅威警報信号を送信することができる。
プログラム1112、1114は、圧縮フォーマット、未コンパイルフォーマット、および/または暗号化フォーマットで格納することができる。プログラム1112、1114は、さらに、オペレーティングシステム、クリップボードアプリケーション、データベース管理システム、および/または周辺機器とインターフェースするためにプロセッサ1110によって使用されるデバイスドライバなどの、他のプログラム要素を含むことができる。
本明細書で使用される場合、情報は、例えば、(i)別のデバイスから産業資産制御システム保護プラットフォーム1100によって「受信される」か、もしくは別のデバイスから産業資産制御システム保護プラットフォーム1100に「送信する」ことができ、または(ii)別のソフトウェアアプリケーション、モジュール、もしくはソースから産業資産制御システム保護プラットフォーム1100内のソフトウェアアプリケーションもしくはモジュールによって「受信される」か、もしくは別のソフトウェアアプリケーション、モジュール、もしくはソースから産業資産制御システム保護プラットフォーム1100内のソフトウェアアプリケーションもしくはモジュールに「送信する」ことができる。
いくつかの実施形態(例えば、図11に示されるものなど)において、ストレージデバイス1130は、脅威検出データベース1200をさらに格納する。ここで、産業資産制御システム保護プラットフォーム1100に関連して使用され得るデータベースの一例を、図12に関して詳細に説明する。本明細書で説明するデータベースは一例に過ぎず、追加のおよび/または異なる情報をそこに格納してもよいことに留意されたい。さらに、さまざまなデータベースが、本明細書に記載された実施形態のいずれかに従って分割または結合されてもよい。
図12を参照すると、いくつかの実施形態による産業資産制御システム保護プラットフォーム1100に格納することができる脅威検出データベース1200を表すテーブルが示されている。テーブルは、例えば、物理システムに関連する脅威ノードを識別するエントリを含むことができる。テーブルはまた、各エントリに対してフィールド1202、1204、1206、1208、1210、1212を定義することもできる。フィールド1202、1204、1206、1208、1210、1212は、いくつかの実施形態によれば、脅威ノード識別子1202、脅威ノード値1204、特徴1206、特徴ベクトル1208、グローバル特徴ベクトル1210、および決定1212を指定することができる。脅威検出データベース1200は、例えば、新しい物理システムが監視またはモデル化され、脅威ノードが値を報告し、動作条件が変化するなどした場合、作成および更新することができる。
脅威ノード識別子1202は、例えば、一連の脅威ノード値1204を経時的に(例えば、データの30〜50秒のバッチで)検出する産業資産制御システム内の脅威ノードを識別する固有の英数字コードとすることができる。脅威ノード値1204を使用して、特徴1206および特徴ベクトル1208を作成することができる。次いで、複数の脅威ノード識別子1202に関連する特徴ベクトル1210を使用して、産業資産制御システム全体に対する全体的なグローバル特徴ベクトル1210を作成することができる。次いで、グローバル特徴ベクトル1210を決定境界と比較して、決定1212(例えば、「攻撃」または「正常」の指示)を生成することができる。
したがって、実施形態は、脅威ノードからのリアルタイム信号を使用して、マルチクラス異常動作の指示を受動的に検出することを可能にすることができる。さらに、検出フレームワークは、複数の地理的位置におけるさまざまなシステム(すなわち、ガスタービン、蒸気タービン、風力タービン、航空エンジン、機関車エンジン、電力網など)への本発明の展開を容易にするツールの開発を可能にすることができる。いくつかの実施形態によれば、(複数タイプの機器およびシステムにわたる)この技術によって可能になる分散型検出システムは、多点攻撃を検出するのに役立つ協調データの収集を可能にする。本明細書で説明されている特徴ベースの手法は、データの新しい学習および代替のソースが利用可能になると、拡張された特徴ベクトルを可能にし、および/または既存のベクトルに新しい特徴を組み込むことができることに留意されたい。その結果、実施形態は、システムがそれらの特性についてより多くを学習するにつれて、比較的広い範囲のサイバー脅威(例えば、ステルス、リプレイ、隠密、インジェクション攻撃など)を検出することができる。実施形態はまた、システムが有用で重要な新機能を組み込み、冗長またはそれほど重要でないものを除去するので、誤検出率を低減する可能性がある。本明細書に記載されている検出システムは、攻撃を阻止することができる(または攻撃の影響を鈍化させることができる)ように、産業資産制御システムのオペレータに早期の警告をもたらし、機器の損傷を軽減することができることに留意されたい。
以下に、本発明のさまざまな追加の実施形態を示す。これらは全ての可能な実施形態の定義を構成するものではなく、当業者は、本発明が他の多くの実施形態に適用可能であることを理解するであろう。さらに、以下の実施形態は、明瞭にするために簡潔に記載されているが、当業者であれば、これらのおよび他の実施形態ならびに用途に対応するための上述の装置および方法に、必要に応じて任意の変更を加える方法を理解するであろう。
特定のハードウェアおよびデータ構成について本明細書で説明してきたが、本発明の実施形態に従って任意の数の他の構成を提供することができることに留意されたい(例えば、本明細書に記載のデータベースに関連する情報の一部は、外部システムと組み合わせるか、または外部システムに格納することができる)。例えば、いくつかの実施形態はガスタービン発電機に焦点を当てているが、本明細書に記載された実施形態のいずれも、ダム、電力網、軍用機などの他のタイプの資産に適用することができる。
本発明は、説明目的のみのために、いくつかの実施形態の観点から記載されている。当業者であれば、本発明は記載された実施形態に限定されるものではなく、添付の特許請求の範囲の精神および範囲によってのみ限定される修正および改変によって実施できることを認識するであろう。
[実施態様1]
産業資産制御システムを保護するシステムであって、
前記産業資産制御システムの現在動作を表す一連の現在の脅威ノード値をそれぞれが経時的に生成する複数の脅威ノード(130)と、
前記複数の脅威ノード(130)に結合された脅威検出コンピュータ(150)であって、
(i)前記一連の現在の脅威ノード値を受信し、現在の特徴ベクトルのセットを生成し、
(ii)正常特徴ベクトルのセットと脅威特徴ベクトルのセットとを用いて生成された少なくとも1つの決定境界を有する脅威検出モデル(155)にアクセスし、
(iii)前記脅威検出モデル(155)を実行し、現在の特徴ベクトルの前記セットおよび前記少なくとも1つの決定境界に基づいて脅威警報信号を送信する、
脅威検出コンピュータ(150)と、
を備える、システム。
[実施態様2]
正常特徴ベクトルの前記セットおよび脅威特徴ベクトルの前記セットの少なくとも一方が、(i)主成分、(ii)統計的特徴、(iii)深層学習特徴、(iv)周波数領域特徴、(v)時系列分析特徴、(vi)論理特徴、(vii)地理的位置または位置に基づく場所、および(viii)相互作用特徴のうちの少なくとも1つに関連付けられている、実施態様1に記載のシステム。
[実施態様3]
前記少なくとも1つの決定境界を含む前記脅威検出モデル(155)が、(i)過渡状態、(ii)前記産業資産制御システムの定常状態モデル、および(iii)入力データストリームから自己学習システムのように前記システムを動作させながら取得されたデータセット、の少なくとも1つに基づいて動的に適合される、実施態様1に記載のシステム。
[実施態様4]
前記脅威検出モデル(155)が、(i)アクチュエータ攻撃、(ii)コントローラ攻撃、(iii)脅威ノード攻撃、(iv)プラント状態攻撃、(vii)なりすまし、(vi)金融損害、(vii)ユニット利用可能性、(viii)ユニットトリップ、(ix)ユニット寿命の喪失、および(x)少なくとも1つの新しい部分を必要とする資産損害、の少なくとも1つと関連付けられる、実施態様1に記載のシステム。
[実施態様5]
前記複数の脅威ノード(130)のそれぞれからの情報が正規化され、出力が基底関数の加重線形結合として表される、実施態様4に記載のシステム。
[実施態様6]
自然基底ベクトルが、脅威ノードデータ行列の共分散を用いて得られる、実施態様5に記載のシステム。
[実施態様7]
前記脅威ノード(130)が、(i)クリティカルセンサノード、(ii)アクチュエータノード、(iii)コントローラノード、および(iv)キーソフトウェアノードの少なくとも1つに関連付けられる、実施態様1に記載のシステム。
[実施態様8]
前記少なくとも1つの決定境界を含む前記脅威検出モデル(155)が、(i)線、(ii)超平面、および(iii)正常空間および脅威空間を分離する非線形境界、の少なくとも1つに関連付けられる、実施態様1に記載のシステム。
[実施態様9]
前記少なくとも1つの決定境界を含む前記脅威検出モデル(155)が、正常空間、脅威空間、および劣化動作空間を分離するマルチクラス決定境界である、実施態様1に記載のシステム。
[実施態様10]
前記複数の脅威ノード(130)のそれぞれに対して、前記産業資産制御システムの正常動作を表す一連の正常脅威ノード値を経時的に格納する正常空間データソース(110)と、
前記複数の脅威ノード(130)のそれぞれに対して、前記産業資産制御システムの脅威動作を表す一連の脅威を受けた脅威ノード値を経時的に格納する脅威空間データソース(120)と、
前記正常空間データソース(110)および前記脅威空間データソース(120)に結合される脅威検出モデル生成コンピュータ(140)であって、
(i)前記一連の正常脅威ノード値を受信し、正常特徴ベクトルの前記セットを生成し、
(ii)前記一連の脅威を受けた脅威ノード値を受信し、脅威特徴ベクトルの前記セットを生成し、
(iii)正常特徴ベクトルの前記セットおよび脅威特徴ベクトルの前記セットに基づいて、前記脅威検出モデル(155)に対する前記少なくとも1つの決定境界を自動的に計算して出力する、
脅威検出モデル生成コンピュータ(140)と、
をさらに備える、実施態様1に記載のシステム。
[実施態様11]
前記一連の正常脅威ノード値および前記一連の脅威を受けた脅威ノード値のうちの少なくとも一方が、高忠実度機器モデルに関連付けられる、実施態様10に記載のシステム。
[実施態様12]
少なくとも1つの決定境界が多次元空間内に存在し、(i)動的モデル、(ii)実験データの設計、(iii)機械学習技術、(iv)サポートベクトルマシン、(v)全因子処理、(vi)田口スクリーニング、(vii)中央複合方法、(viii)Box−Behnken方法、(ix)現実の動作条件、(x)完全実施要因計画、(xi)スクリーニング計画、および(xii)中央複合計画、の少なくとも1つと関連付けられる、実施態様10に記載のシステム。
[実施態様13]
前記複数の脅威を受けた脅威ノード値が、(i)専門知識のレベル、(ii)時間量、(iii)容易さのレベル、および(iv)損傷量の少なくとも1つを含む、リスク優先番号分析による潜在的脅威ベクトルのセットから生成される、実施態様10に記載のシステム。
[実施態様14]
前記脅威検出モデル(155)が、決定境界と、(i)特徴マッピングおよび(ii)特徴パラメータの少なくとも1つとに関連付けられる、実施態様10に記載のシステム。
[実施態様15]
前記正常および脅威を受けた脅威ノード値のうちの少なくとも1つは、(i)パワータービン、(ii)ジェットエンジン、(iii)機関車、および(iv)自律車両の少なくとも1つに関連する産業制御システム上の実験の設計を実行することによって得られる、実施態様10に記載のシステム。
[実施態様16]
産業資産制御システムを保護するコンピュータ化された方法であって、
複数の脅威ノード(130)のそれぞれに対して、前記産業資産制御システムの正常動作を表す一連の正常脅威ノード値を経時的に検索するステップと、
前記複数の脅威ノード(130)のそれぞれに対して、前記産業資産制御システムの脅威動作を表す一連の脅威を受けた脅威ノード値を経時的に検索する前記正常脅威ノード値に基づいて正常特徴ベクトルのセットを生成するステップと、
前記脅威を受けた脅威ノード値に基づいて脅威特徴ベクトルのセットを生成するステップと、
正常特徴ベクトルの前記セットと脅威特徴ベクトルの前記セットとに基づいて、脅威検出モデル(155)に対する少なくとも1つの決定境界を自動的に計算して出力するステップと、
を備える、方法。
[実施態様17]
前記少なくとも1つの決定境界が多次元空間内に存在し、(i)動的モデル、(ii)実験データの設計、(iii)機械学習技術、(iv)サポートベクトルマシン、(v)全因子処理、(vi)田口スクリーニング、(vii)中央複合方法、(viii)Box−Behnken方法、(ix)現実の動作条件、(x)完全実施要因計画、(xi)スクリーニング計画、および(xii)中央複合計画、の少なくとも1つと関連付けられる、実施態様16に記載の方法。
[実施態様18]
正常特徴ベクトルの前記セットおよび脅威特徴ベクトルの前記セットの少なくとも一方が、(i)主成分、(ii)統計的特徴、(iii)深層学習特徴、(iv)周波数領域特徴、(v)時系列分析特徴、(vi)論理特徴、(vii)地理的位置または位置に基づく場所、および(viii)相互作用特徴のうちの少なくとも1つに関連付けられている、実施態様16に記載の方法。
[実施態様19]
前記複数の脅威ノード値が、(i)専門知識のレベル、(ii)時間量、(iii)容易さのレベル、および(iv)損傷量の少なくとも1つを含む、リスク優先番号分析による潜在的脅威ベクトルのセットから生成される、実施態様16に記載の方法。
[実施態様20]
少なくとも1つの決定境界が、(i)過渡状態、(ii)前記産業資産制御システムの定常状態モデル、および(iii)入力データストリームから自己学習システムのように前記システムを動作させながら取得されたデータセット、の少なくとも1つに基づいて動的に適合される、実施態様16に記載の方法。
[実施態様21]
前記複数の脅威ノード(130)のそれぞれからの情報が正規化され、出力が基底関数の加重線形結合として表される、実施態様16に記載の方法。
[実施態様22]
自然基底ベクトルが、脅威ノードデータ行列の共分散を用いて得られる、実施態様21に記載の方法。
[実施態様23]
コンピュータプロセッサによって実行される場合、前記コンピュータプロセッサに産業資産制御システムを保護する方法を実行させる命令を格納する非一時的なコンピュータ可読媒体であって、前記方法が、
複数の脅威ノード(130)から、前記産業資産制御システムの現在動作を表す一連の現在の脅威ノード値を経時的に受信するステップと、
前記受信した一連の現在の脅威ノード値に基づいて、脅威検出コンピュータ(150)によって、現在の特徴ベクトルのセットを生成するステップと、
現在の特徴ベクトルの前記セットおよび少なくとも1つの決定境界に基づいて脅威警報信号を送信する脅威検出モデル(155)を実行するステップと、
を備える、非一時的なコンピュータ可読媒体。
100 システム
110 正常空間データソース
120 脅威空間データソース
130 脅威ノード(センサ)
140 脅威検出モデル生成コンピュータ
150 脅威検出コンピュータ
155 脅威検出モデル
170 遠隔端末
400 オフライン処理
410 脅威/なりすまし/攻撃ベクトル
420 モデル
430 脅威ノードからの値
440 特徴を計算し、特徴ベクトルに組み立てる
450 トレーニングおよび評価データベース
460 計算された決定境界
600 ガスタービンエンジンの例
610 コントローラおよびアクチュエータ
620 ガスタービンエンジン
630 センサ
700 脅威ベクトル損傷表示
710 グラフ
720 バブル
800 グローバル脅威保護システム
810 値のバッチ
820 行列
830 特徴量設計コンポーネント
840 特徴ベクトル
850 グローバル特徴ベクトル
860 相互作用特徴
870 異常検出エンジン
900 3次元のセンサ出力
910 グラフ
920 決定境界
1000 決定境界表示
1010 単純な決定境界
1020 結果
1100 産業資産制御システム保護プラットフォーム
1110 プロセッサ
1112 プログラム
1114 脅威検出モデル
1120 通信デバイス
1130 ストレージユニット
1140 入力デバイス
1150 出力デバイス
1200 脅威検出データベース
1202 脅威ノード識別子
1204 脅威ノード値
1206 特徴
1208 特徴ベクトル
1210 グローバル特徴ベクトル
1212 決定

Claims (10)

  1. 産業資産制御システムを保護するシステムであって、
    前記産業資産制御システムの現在動作を表す一連の現在の脅威ノード値をそれぞれが経時的に生成する複数の脅威ノード(130)と、
    前記複数の脅威ノード(130)に結合された脅威検出コンピュータ(150)であって、
    (i)前記一連の現在の脅威ノード値を受信し、現在の特徴ベクトルのセットを生成し、
    (ii)正常特徴ベクトルのセットと脅威特徴ベクトルのセットとを用いて生成された少なくとも1つの決定境界を有する脅威検出モデル(155)にアクセスし、
    (iii)前記脅威検出モデル(155)を実行し、現在の特徴ベクトルの前記セットおよび前記少なくとも1つの決定境界に基づいて脅威警報信号を送信する、
    脅威検出コンピュータ(150)と、
    を備える、システム。
  2. 正常特徴ベクトルの前記セットおよび脅威特徴ベクトルの前記セットの少なくとも一方が、(i)主成分、(ii)統計的特徴、(iii)深層学習特徴、(iv)周波数領域特徴、(v)時系列分析特徴、(vi)論理特徴、(vii)地理的位置または位置に基づく場所、および(viii)相互作用特徴のうちの少なくとも1つに関連付けられている、請求項1に記載のシステム。
  3. 前記少なくとも1つの決定境界を含む前記脅威検出モデル(155)が、(i)過渡状態、(ii)前記産業資産制御システムの定常状態モデル、および(iii)入力データストリームから自己学習システムのように前記システムを動作させながら取得されたデータセット、の少なくとも1つに基づいて動的に適合される、請求項1に記載のシステム。
  4. 前記脅威検出モデル(155)が、(i)アクチュエータ攻撃、(ii)コントローラ攻撃、(iii)脅威ノード攻撃、(iv)プラント状態攻撃、(vii)なりすまし、(vi)金融損害、(vii)ユニット利用可能性、(viii)ユニットトリップ、(ix)ユニット寿命の喪失、および(x)少なくとも1つの新しい部分を必要とする資産損害、の少なくとも1つと関連付けられる、請求項1に記載のシステム。
  5. 前記複数の脅威ノード(130)のそれぞれからの情報が正規化され、出力が基底関数の加重線形結合として表される、請求項4に記載のシステム。
  6. 自然基底ベクトルが、脅威ノードデータ行列の共分散を用いて得られる、請求項5に記載のシステム。
  7. 前記脅威ノード(130)が、(i)クリティカルセンサノード、(ii)アクチュエータノード、(iii)コントローラノード、および(iv)キーソフトウェアノードの少なくとも1つに関連付けられる、請求項1に記載のシステム。
  8. 前記少なくとも1つの決定境界を含む前記脅威検出モデル(155)が、(i)線、(ii)超平面、および(iii)正常空間および脅威空間を分離する非線形境界、の少なくとも1つに関連付けられる、請求項1に記載のシステム。
  9. 前記少なくとも1つの決定境界を含む前記脅威検出モデル(155)が、正常空間、脅威空間、および劣化動作空間を分離するマルチクラス決定境界である、請求項1に記載のシステム。
  10. 前記複数の脅威ノード(130)のそれぞれに対して、前記産業資産制御システムの正常動作を表す一連の正常脅威ノード値を経時的に格納する正常空間データソース(110)と、
    前記複数の脅威ノード(130)のそれぞれに対して、前記産業資産制御システムの脅威動作を表す一連の脅威を受けた脅威ノード値を経時的に格納する脅威空間データソース(120)と、
    前記正常空間データソース(110)および前記脅威空間データソース(120)に結合される脅威検出モデル生成コンピュータ(140)であって、
    (i)前記一連の正常脅威ノード値を受信し、正常特徴ベクトルの前記セットを生成し、
    (ii)前記一連の脅威を受けた脅威ノード値を受信し、脅威特徴ベクトルの前記セットを生成し、
    (iii)正常特徴ベクトルの前記セットおよび脅威特徴ベクトルの前記セットに基づいて、前記脅威検出モデル(155)に対する前記少なくとも1つの決定境界を自動的に計算して出力する、
    脅威検出モデル生成コンピュータ(140)と、
    をさらに備える、請求項1に記載のシステム。
JP2017081794A 2016-04-25 2017-04-18 産業資産制御システム用のドメインレベル脅威検出 Active JP6941965B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/137,311 2016-04-25
US15/137,311 US9998487B2 (en) 2016-04-25 2016-04-25 Domain level threat detection for industrial asset control system

Publications (2)

Publication Number Publication Date
JP2017199365A true JP2017199365A (ja) 2017-11-02
JP6941965B2 JP6941965B2 (ja) 2021-09-29

Family

ID=58701395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017081794A Active JP6941965B2 (ja) 2016-04-25 2017-04-18 産業資産制御システム用のドメインレベル脅威検出

Country Status (5)

Country Link
US (1) US9998487B2 (ja)
EP (1) EP3239884B1 (ja)
JP (1) JP6941965B2 (ja)
KR (1) KR102325133B1 (ja)
CN (1) CN107390567B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154201A (ja) * 2018-03-06 2019-09-12 一般財団法人電力中央研究所 電力系統制御装置、電力系統制御システム、電力系統制御方法及び電力系統制御プログラム
JP2019205125A (ja) * 2018-05-25 2019-11-28 株式会社東芝 異常要因判定装置、制御システム、および異常要因判定方法
WO2020105179A1 (ja) * 2018-11-22 2020-05-28 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2021514504A (ja) * 2018-02-20 2021-06-10 ゼネラル・エレクトリック・カンパニイ 無人航空機のサイバー攻撃検出、位置特定、および中和
JP2022522474A (ja) * 2019-03-05 2022-04-19 シーメンス インダストリー ソフトウェア インコーポレイテッド 組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出
US11757919B2 (en) 2020-04-20 2023-09-12 Kovrr Risk Modeling Ltd. System and method for catastrophic event modeling
JP7441582B2 (ja) 2019-08-22 2024-03-01 インターナショナル・ビジネス・マシーンズ・コーポレーション データ侵害を検出するための方法、装置、コンピュータ可読な記録媒体及びプログラム

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10156841B2 (en) 2015-12-31 2018-12-18 General Electric Company Identity management and device enrollment in a cloud service
US10142363B2 (en) * 2016-06-23 2018-11-27 Bank Of America Corporation System for monitoring and addressing events based on triplet metric analysis
US10542016B2 (en) * 2016-08-31 2020-01-21 Sap Se Location enrichment in enterprise threat detection
US10630705B2 (en) 2016-09-23 2020-04-21 Sap Se Real-time push API for log events in enterprise threat detection
US10204226B2 (en) * 2016-12-07 2019-02-12 General Electric Company Feature and boundary tuning for threat detection in industrial asset control system
US10530792B2 (en) 2016-12-15 2020-01-07 Sap Se Using frequency analysis in enterprise threat detection to detect intrusions in a computer system
US10530794B2 (en) 2017-06-30 2020-01-07 Sap Se Pattern creation in enterprise threat detection
US10986111B2 (en) 2017-12-19 2021-04-20 Sap Se Displaying a series of events along a time axis in enterprise threat detection
US10681064B2 (en) 2017-12-19 2020-06-09 Sap Se Analysis of complex relationships among information technology security-relevant entities using a network graph
US10841322B2 (en) * 2018-01-18 2020-11-17 General Electric Company Decision system and method for separating faults from attacks
US10819725B2 (en) 2018-01-18 2020-10-27 General Electric Company Reliable cyber-threat detection in rapidly changing environments
US10728282B2 (en) 2018-01-19 2020-07-28 General Electric Company Dynamic concurrent learning method to neutralize cyber attacks and faults for industrial asset monitoring nodes
US10805329B2 (en) 2018-01-19 2020-10-13 General Electric Company Autonomous reconfigurable virtual sensing system for cyber-attack neutralization
US11436537B2 (en) 2018-03-09 2022-09-06 Raytheon Company Machine learning technique selection and improvement
US11340603B2 (en) 2019-04-11 2022-05-24 Raytheon Company Behavior monitoring using convolutional data modeling
US11321462B2 (en) * 2018-04-10 2022-05-03 Raytheon Company Device behavior anomaly detection
US11507847B2 (en) 2019-07-25 2022-11-22 Raytheon Company Gene expression programming
KR102113218B1 (ko) * 2018-03-16 2020-05-20 울산과학기술원 시계열 데이터의 분석 및 예측을 위한 통합적인 딥러닝 시스템
EP3542970A1 (en) * 2018-03-20 2019-09-25 Siemens Aktiengesellschaft Method, device and system for replaying movement of robot
US11381599B2 (en) * 2018-04-10 2022-07-05 Raytheon Company Cyber chaff using spatial voting
US11132923B2 (en) 2018-04-10 2021-09-28 Raytheon Company Encryption using spatial voting
CN111971533B (zh) * 2018-04-24 2022-05-31 三菱电机株式会社 攻击检测装置、计算机能读取的记录介质和攻击检测方法
US10931702B2 (en) * 2018-04-24 2021-02-23 Cyberfortress, Inc. Vulnerability profiling based on time series analysis of data streams
WO2019207653A1 (ja) * 2018-04-24 2019-10-31 三菱電機株式会社 攻撃検知装置、攻撃検知方法及び攻撃検知プログラム
US11113395B2 (en) * 2018-05-24 2021-09-07 General Electric Company System and method for anomaly and cyber-threat detection in a wind turbine
US11159540B2 (en) 2018-09-27 2021-10-26 General Electric Company Dynamic physical watermarking for attack detection in cyber-physical systems
US11627151B2 (en) * 2018-10-31 2023-04-11 General Electric Company Industrial asset cyber-attack detection algorithm verification using secure, distributed ledger
US11005870B2 (en) * 2018-11-27 2021-05-11 General Electric Company Framework to develop cyber-physical system behavior-based monitoring
KR20200063889A (ko) 2018-11-28 2020-06-05 서울대학교산학협력단 디지털 트윈을 이용한 플랜트 운영 방법, 시스템 및 컴퓨터 프로그램
KR102199695B1 (ko) 2018-12-27 2021-01-07 경희대학교 산학협력단 가중 거리 자기 연상 양방향 커널 회귀를 이용한 온라인 신호 데이터 검증 장치 및 방법
US11227418B2 (en) * 2018-12-28 2022-01-18 General Electric Company Systems and methods for deep learning-based image reconstruction
US10937465B2 (en) 2019-02-21 2021-03-02 Raytheon Company Anomaly detection with reduced memory overhead
US11341235B2 (en) 2019-02-21 2022-05-24 Raytheon Company Anomaly detection with adaptive auto grouping
JP7243326B2 (ja) * 2019-03-15 2023-03-22 オムロン株式会社 コントローラシステム
US11048261B1 (en) 2019-04-05 2021-06-29 State Farm Mutual Automobile Insurance Company Systems and methods for evaluating autonomous vehicle software interactions for proposed trips
US11321972B1 (en) 2019-04-05 2022-05-03 State Farm Mutual Automobile Insurance Company Systems and methods for detecting software interactions for autonomous vehicles within changing environmental conditions
US11343266B2 (en) 2019-06-10 2022-05-24 General Electric Company Self-certified security for assured cyber-physical systems
CN110278203B (zh) * 2019-06-18 2021-11-23 浙江工业大学 一种基于单分类支持向量机的燃气scada系统中间人攻击检测方法
CN110454290B (zh) * 2019-07-02 2021-01-29 北京航空航天大学 一种基于数字孪生技术的汽车发动机管控方法
KR102286814B1 (ko) 2020-02-04 2021-08-09 경희대학교 산학협력단 가중 거리 자기 연상 양방향 커널 회귀에서 최적 시간 커널을 서치하는 장치 및 그 방법
CN112486139A (zh) * 2020-11-12 2021-03-12 顶象科技有限公司 基于虚拟补丁的工业控制系统保护方法、装置、设备及介质
CN112769815B (zh) * 2021-01-04 2023-04-18 北京蓝军网安科技发展有限责任公司 一种智能工控安全监控与防护方法和系统
US11790081B2 (en) 2021-04-14 2023-10-17 General Electric Company Systems and methods for controlling an industrial asset in the presence of a cyber-attack

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090267A (ja) * 2000-09-21 2002-03-27 Mitsui Eng & Shipbuild Co Ltd 異常診断方法
JP2012168755A (ja) * 2011-02-15 2012-09-06 Internatl Business Mach Corp <Ibm> 異常検知システム、異常検知装置、異常検知方法、プログラムおよび記録媒体
US20150073306A1 (en) * 2012-03-29 2015-03-12 The University Of Queensland Method and apparatus for processing patient sounds

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225343B1 (en) 2002-01-25 2007-05-29 The Trustees Of Columbia University In The City Of New York System and methods for adaptive model generation for detecting intrusions in computer systems
US20070289013A1 (en) 2006-06-08 2007-12-13 Keng Leng Albert Lim Method and system for anomaly detection using a collective set of unsupervised machine-learning algorithms
CN101252441B (zh) * 2008-02-20 2010-06-02 深圳市永达电子股份有限公司 基于可设定信息安全目标的获得性安全保障方法及系统
CN102103677A (zh) * 2011-03-09 2011-06-22 天津大学 威胁模型驱动的软件安全评估方法
NL2007180C2 (en) * 2011-07-26 2013-01-29 Security Matters B V Method and system for classifying a protocol message in a data communication network.
US8856936B2 (en) 2011-10-14 2014-10-07 Albeado Inc. Pervasive, domain and situational-aware, adaptive, automated, and coordinated analysis and control of enterprise-wide computers, networks, and applications for mitigation of business and operational risks and enhancement of cyber security
CN102594904A (zh) * 2012-03-04 2012-07-18 浙江大学 对无线传感器网络异常事件进行分布式检测的方法
US20130275282A1 (en) 2012-04-17 2013-10-17 Microsoft Corporation Anonymous billing
US9046886B2 (en) 2012-04-30 2015-06-02 General Electric Company System and method for logging security events for an industrial control system
WO2014144857A2 (en) 2013-03-15 2014-09-18 Power Fingerprinting Inc. Systems, methods, and apparatus to enhance the integrity assessment when using power fingerprinting systems for computer-based systems
US9245116B2 (en) 2013-03-21 2016-01-26 General Electric Company Systems and methods for remote monitoring, security, diagnostics, and prognostics
KR101977731B1 (ko) 2013-03-29 2019-05-14 한국전자통신연구원 제어 시스템의 이상 징후 탐지 장치 및 방법
US9264444B2 (en) * 2013-05-21 2016-02-16 Rapid7, Llc Systems and methods for determining an objective security assessment for a network of assets
US9436652B2 (en) 2013-06-01 2016-09-06 General Electric Company Honeyport active network security
US10284570B2 (en) 2013-07-24 2019-05-07 Wells Fargo Bank, National Association System and method to detect threats to computer based devices and systems
US9912733B2 (en) 2014-07-31 2018-03-06 General Electric Company System and method for maintaining the health of a control system
GB2529150B (en) 2014-08-04 2022-03-30 Darktrace Ltd Cyber security
CN104657915B (zh) * 2015-03-10 2018-12-18 全球能源互联网研究院 一种动态自适应的电力系统终端安全威胁评估方法
US10015188B2 (en) * 2015-08-20 2018-07-03 Cyberx Israel Ltd. Method for mitigation of cyber attacks on industrial control systems
CN105407090B (zh) * 2015-10-30 2019-01-04 中国船舶重工集团公司第七一六研究所 支持数据处理的传感原数据安全保护方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090267A (ja) * 2000-09-21 2002-03-27 Mitsui Eng & Shipbuild Co Ltd 異常診断方法
JP2012168755A (ja) * 2011-02-15 2012-09-06 Internatl Business Mach Corp <Ibm> 異常検知システム、異常検知装置、異常検知方法、プログラムおよび記録媒体
US20150073306A1 (en) * 2012-03-29 2015-03-12 The University Of Queensland Method and apparatus for processing patient sounds

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240071B2 (ja) 2018-02-20 2023-03-15 ゼネラル・エレクトリック・カンパニイ 無人航空機のサイバー攻撃検出、位置特定、および中和
JP2021514504A (ja) * 2018-02-20 2021-06-10 ゼネラル・エレクトリック・カンパニイ 無人航空機のサイバー攻撃検出、位置特定、および中和
JP7219542B2 (ja) 2018-03-06 2023-02-08 一般財団法人電力中央研究所 電力系統制御装置、電力系統制御システム、電力系統制御方法及び電力系統制御プログラム
JP2019154201A (ja) * 2018-03-06 2019-09-12 一般財団法人電力中央研究所 電力系統制御装置、電力系統制御システム、電力系統制御方法及び電力系統制御プログラム
JP2019205125A (ja) * 2018-05-25 2019-11-28 株式会社東芝 異常要因判定装置、制御システム、および異常要因判定方法
JP7071876B2 (ja) 2018-05-25 2022-05-19 株式会社東芝 制御システム、および異常要因判定方法
WO2020105179A1 (ja) * 2018-11-22 2020-05-28 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JPWO2020105179A1 (ja) * 2018-11-22 2021-09-30 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7211429B2 (ja) 2018-11-22 2023-01-24 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2022522474A (ja) * 2019-03-05 2022-04-19 シーメンス インダストリー ソフトウェア インコーポレイテッド 組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出
JP7282195B2 (ja) 2019-03-05 2023-05-26 シーメンス インダストリー ソフトウェア インコーポレイテッド 組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出
JP7441582B2 (ja) 2019-08-22 2024-03-01 インターナショナル・ビジネス・マシーンズ・コーポレーション データ侵害を検出するための方法、装置、コンピュータ可読な記録媒体及びプログラム
US11757919B2 (en) 2020-04-20 2023-09-12 Kovrr Risk Modeling Ltd. System and method for catastrophic event modeling

Also Published As

Publication number Publication date
US9998487B2 (en) 2018-06-12
JP6941965B2 (ja) 2021-09-29
CN107390567B (zh) 2021-06-15
CN107390567A (zh) 2017-11-24
EP3239884A1 (en) 2017-11-01
KR102325133B1 (ko) 2021-11-15
EP3239884B1 (en) 2019-06-12
KR20170121717A (ko) 2017-11-02
US20170310690A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
JP6941965B2 (ja) 産業資産制御システム用のドメインレベル脅威検出
JP7071034B2 (ja) 産業資産制御システムにおける脅威検出のための特徴および境界の調整
US11005873B2 (en) Multi-mode boundary selection for threat detection in industrial asset control system
CN107491057B (zh) 保护工业资产控制系统的系统及方法及计算机可读介质
US10678912B2 (en) Dynamic normalization of monitoring node data for threat detection in industrial asset control system
US10671060B2 (en) Data-driven model construction for industrial asset decision boundary classification
US10841322B2 (en) Decision system and method for separating faults from attacks
US10505955B2 (en) Using virtual sensors to accommodate industrial asset control systems during cyber attacks
US11113395B2 (en) System and method for anomaly and cyber-threat detection in a wind turbine
US11252169B2 (en) Intelligent data augmentation for supervised anomaly detection associated with a cyber-physical system
US11170314B2 (en) Detection and protection against mode switching attacks in cyber-physical systems
US10990668B2 (en) Local and global decision fusion for cyber-physical system abnormality detection
US11503045B2 (en) Scalable hierarchical abnormality localization in cyber-physical systems
US11146579B2 (en) Hybrid feature-driven learning system for abnormality detection and localization
US20230385186A1 (en) Resilient estimation for grid situational awareness
US11005870B2 (en) Framework to develop cyber-physical system behavior-based monitoring
US11159540B2 (en) Dynamic physical watermarking for attack detection in cyber-physical systems
US11916940B2 (en) Attack detection and localization with adaptive thresholding
WO2023023412A2 (en) Vulnerability-driven cyberattack protection system and method for industrial assets

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210907

R150 Certificate of patent or registration of utility model

Ref document number: 6941965

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350