JP2017538229A - 神経言語挙動認識システム用の知覚関連メモリ - Google Patents
神経言語挙動認識システム用の知覚関連メモリ Download PDFInfo
- Publication number
- JP2017538229A JP2017538229A JP2017531754A JP2017531754A JP2017538229A JP 2017538229 A JP2017538229 A JP 2017538229A JP 2017531754 A JP2017531754 A JP 2017531754A JP 2017531754 A JP2017531754 A JP 2017531754A JP 2017538229 A JP2017538229 A JP 2017538229A
- Authority
- JP
- Japan
- Prior art keywords
- words
- stream
- statistical significance
- data
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0409—Adaptive resonance theory [ART] networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
【課題】 1つ以上のソースから得られた入力データの神経言語モデルの統語論を生成する技術を生成する。【解決手段】 符号のシーケンスから構築されるディクショナリの単語のストリームが受信される。符号は、入力データから生成された正規化ベクトルの順序付きストリームから生成される。ストリーム内に同時発生する単語の組み合わせについての統計を評価する。統計は、単語の組み合わせが同時発生する頻度を含む。評価統計に基づく単語の組み合わせのモデルが更新される。モデルは、統計的に関連のある単語を同定する。連結グラフが生成される。連結グラフの各ノードは、ストリーム内の単語のうちの1つを表す。ノードを連結するエッジは、このストリームにおける単語間の確率的関係を表す。フレーズは、連結グラフに基づいて同定される。【選択図】 図1
Description
[0001] 本明細書に記載の実施形態は、データ解析システム全般に関連し、特に、1つ以上のデータソースから得られた入力データの神経言語モデルの構築に関連する。
[0002] 現在利用可能な多くの監視及びモニタリングシステム(例えば、ビデオ監視システム、SCADAシステム等)が、特定のアクティビティを観察し、このようなアクティビティの検出後、管理者に警告するように訓練される。
[0003] しかしながら、このようなルールベースのシステムは、どのようなアクション及び/又は対象を観察すべきかについて事前の知識を要する。アクティビティは、基礎となるアプリケーションにハードコーディングされてもよく、又は、システムは、提供された任の定義又はルールに基づいて自身を訓練してもよい。換言すると、基礎となるコードがある挙動の記述又は与えられた観察に対して警告を生成するルールを含まない限り、システムは、このような挙動を認識することができない。このようなルールベースのアプローチは、固定的である。すなわち、与えられた挙動が事前規定のルールに合致しない限り、挙動の発生は、モニタリングシステムによって未検出となり得る。システムが、自身をこのような挙動を同定するように訓練する場合であっても、このシステムは、何を同定するかについて事前にルールが基底されることを要する。
[0004] また、例えば、ビデオ監視システム等、多くのモニタリングシステムは、プロセッサパワー、ストレージ、及び帯域幅を含む、著しい量の演算リソースを要する。例えば、通常のビデオ監視システムは、通常サイズのビデオデータが故に、カメラフィード毎に大量の演算リソースを要する。リソースのコストを考慮すると、このようなシステムの規模を実現するのは困難である。
[0005] 本明細書に記載の一実施形態は、1つ以上のソースから得られた入力データの神経言語モデルの統語論を生成する方法を含む。この方法は、通常、符号のシーケンスから構築されるディクショナリの単語のストリームを受信することを含む。この符号は、入力データから生成される正規化ベクトルの順序付きストリームから生成される。ストリームにおいて同時発生する単語の組み合わせについての統計が評価される。この統計は、単語の組み合わせが同時発生する頻度を含む。単語の組み合わせのモデルは、評価統計に基づいて更新される。このモデルは、統計的に関連のある単語を同定する。連結グラフが生成される。連結グラフの各ノードは、ストリーム内の単語のうちの1つを表す。ノードを連結するエッジは、ストリーム内の単語間の関係の確率的関係を表す。フレーズは、連結グラフに基づいて同定される。
[0006] 本明細書に記載の他の実施形態は、プロセッサ上における実行時、1つ以上のソースから得られた入力データの神経言語モデルの統語論を生成する動作を実施する指示を記憶するコンピュータ可読記憶媒体を含む。この動作自体は、通常、符号のシーケンスから構築されたディクショナリの単語のストリームを受信することを含む。この符号は、入力データから生成される正規化ベクトルの順序付きストリームから生成される。ストリーム内に同時発生する単語の組み合わせについての統計が評価される。この統計は、単語の組み合わせが同時発生する頻度を含む。単語の組み合わせのモデルは、評価統計に基づいて更新される。このモデルは、統計的に関連のある単語を同定する。連結グラフが生成される。連結グラフにおける各ノードは、ストリーム内の単語のうちの1つを表す。ノードを連結するエッジは、ストリーム内における単語間の確率的関係を表す。フレーズは、連結グラフに基づいて同定される。
[0007] 本明細書に記載のさらに他の実施形態は、プロセッサと、1つ以上のソースから得られた入力データの神経言語モデルの統語論を生成する動作を実施するように構成された1つ以上のアプリケーションプログラムを記憶するメモリとを有するシステムを含む。この動作自体は、通常、符号のシーケンスから構築されたディクショナリの単語のストリームを受信することを含む。符号は、入力データから生成された正規化ベクトルの順序付きストリームから生成される。ストリーム内に同時発生する単語の組み合わせについての統計が評価される。この統計は、単語の組み合わせが同時発生する頻度を含む。単語の組み合わせのモデルは、評価統計に基づいて更新される。このモデルは、統計的に関連のある単語を同定する。連結グラフが生成される。連結グラフ内の各ノードは、ストリーム内の単語のうちの1つを表す。ノードを連結するエッジは、ストリーム内の単語間の確率的関係を表す。フレーズは、連結グラフに基づいて同定される。
[0008] 以上に参照した本開示の特徴が詳細に理解可能な方法で、実施形態を参照して、以上に簡単にまとめた本開示のより具体的な説明を行うが、その内のいくつかを添付の図面に示している。しかしながら、添付の図面は、単なる例示としての実施形態を示すものであり、従って、その範囲を限定するものと考えてはならず、他の同等に有効な実施形態が認められてもよいことに留意しなければならない。
[0015] 理解を促進するために、図面を通じて共通する同一要素を指定するのに、可能な限り、同一の参照符号を使用した。一実施形態の要素及び特徴は、さらなる再引用がなくても、他の実施形態に有利に組み込まれてもよいと考えられる。
[0016] 本明細書に記載の実施形態は、挙動認識システムを説明するものである。挙動認識システムは、異なるデータソース(例えば、ビデオデータ、構築管理データ、SCADAデータ)から生データ値を収集する1つ以上のデータコレクタ要素を備えて構成されてもよい。例えば、挙動認識システムは、ビデオ監視を行うように構成されてもよい。挙動認識システムは、リアルタイムでビデオフレームを検索し、背景対象から前景対象を分離し、フレーム間で前景対象を追跡するデータコレクタ要素を含んでもよい。データコレクタ要素は、ビデオフレームデータを数値(例えば、与えられたデータ種別に対して0〜1までの範囲内)に正規化してもよい。
[0017] 一実施形態において、挙動認識システムは、収集データに神経ネットワークベース言語解析を実施する神経言語モジュールを含む。特に、センサによってモニタされる各データ種別について、神経言語モジュールは、正規化データの言語モデルを作成及び精錬する。すなわち、神経言語モジュールは、正規化データの記述に使用される文法を構築する。言語モデルは、文法の構築ブロックとして機能する符号を含む。神経言語モジュールは、単語のディクショナリを構築する符号の組み合わせを同定する。一旦ディクショナリが構築されると、神経言語モジュールは、ディクショナリ内の単語の種々の組み合わせを含むフレーズを同定する。挙動認識システムは、このような言語モデルを使用して、何が観察中であるかを記述する。言語モデルにより、挙動認識システムに、入力データ中に観察される正常アクティビティと異常アクティビティを区別させる。結果として、挙動認識システムは、異常アクティビティが発生すると随時、警告を発行することができる。
[0018] 言語モデルを生成するために、神経言語モジュールは、正規化データ値を受信し、このデータをクラスタ内に組織化する。神経言語モジュールは、各クラスタの統計を評価し、統計的に関連するクラスタを同定する。さらに、神経言語モジュールは、統計的に関連する各クラスタに対応する、例えば、文字等の符号を生成する。従って、与えられたクラスタにマッピングする入力値は、符号に対応してもよい。
[0019] 神経言語モジュールは、入力データ内に同定された符号の統計的分布に基づき、観察された符号の組み合わせ、すなわち、単語の語彙を生成、すなわち、ディクショナリを構築する。具体的には、神経言語モジュールは、異なる発生頻度で、入力データ内の符号パターンを同定してもよい。さらに、神経言語モジュールは、異なる長さ(例えば、1つの符号から最大数の符号までの単語の長さ)で、統計的に関連する符号の組み合わせを同定することができる。神経言語モジュールは、言語モデルに対するフレーズの同定に使用されるディクショナリにおいて、このような統計的に関連する符号の組み合わせを含んでもよい。
[0020] 神経言語モジュールは、ディクショナリからの単語を使用して、追加データが観察される際に他の単語に対してシーケンス内に発生する各単語の確率的関係に基づき、フレーズを生成する。例えば、神経言語モジュールは、シーケンス内に頻繁に発生する、与えられた3文字の単語と、与えられた4文字の単語との関係を同定する。神経言語モジュールは、同定されたフレーズに基づき、統語論判定を行う。
[0021] この統語論により、挙動認識システムに、事前規定されたアクティビティの補助又は案内を伴うことなく、挙動パターンの学習、同定、及び認識を行わせる。同定又は観察対象の事前規定パターンを含むルールベースの監視システムとは異なり、挙動認識システムは、入力を生成し、観察対象の挙動メモリを構築することにより、パターンを学習する。挙動認識システムは、時間経過に応じて、これらのメモリを使用し、観察データに反映される正常挙動と異常挙動とを区別する。
[0022] 例えば、神経言語モジュールは、文字、単語、フレーズを構築し、同定された各文字、単語、又はフレーズについて「希少性スコア」を推定する。(入力データにおいて観察される文字、単語、又はフレーズに対する)希少性スコアは、過去の観察に対してこの文字、単語、又はフレーズがどの程度低い頻度で発生したかを示す測定値を提供する。そこで、挙動認識システムは、希少性スコアを使用して、符号の安定モデル(すなわち、文字)、符号から構築された単語の安定モデル(すなわち、ディクショナリ)、及び単語から構築されたフレーズの安定モデル(すなわち、統語論)−まとめて神経言語モデルに対して、現在の統語論がどの程度希少であるかをともに測定してもよい。
[0023] 神経言語モジュールが継続して入力データを受信する際、神経言語モジュールは、文字、単語、及び統語論モデルを減衰、補強、及び生成してもよい。機械学習分野においては、神経言語モジュールは、新たなデータが受信され、与えられた種別の入力データの発生が増加、減少、出現、又は消滅すると、「オンラインで学習する」。
[0024] 図1は、一実施形態に係る挙動認識システム100の要素を示す。図示の通り、挙動認識システム100は、1つ以上の入力ソースデバイス105、ネットワーク110、及び1つ以上のコンピュータシステム115を含む。ネットワーク110は、ソースデバイス105によって入力されたデータをコンピュータシステム115に送信してもよい。通常、演算環境100は、ネットワーク(例えば、インターネット)を介して接続された1つ以上の物理コンピュータシステム115を含んでもよい。あるいは、コンピュータシステム115は、ネットワークによって接続されたクラウドコンピューティングリソースであってもよい。例示的に、コンピュータシステム115は、1つ以上の中央処理装置(CPU)120と、1つ以上のグラフィクス処理装置(GPU)121と、ネットワーク及びI/Oインタフェース122と、ストレージ124(例えば、ディスクドライブ、光学ディスクドライブ等)と、センサ管理モジュール130、感覚メモリ要素135、及び機械学習エンジン140を含むメモリ123とを含む。ストレージ124は、モデルリポジトリ145を含む。
[0025] CPU120は、メモリ123に記憶されたプログラミング指示を検索及び実行し、ストレージ124内にあるアプリケーションデータを記憶及び検索する。一実施形態において、GPU121は、コンピュート・ユニファイド・デバイス・アーキテクチャ(CUDA)を実装する。さらに、GPU121は、GPU121の並列スループット構造を使用して汎用処理を提供することで、メモリ123に記憶されたプログラミング指示をより効果的に検索及び実行し、且つ、ストレージ124内にあるアプリケーションデータを記憶及び検索するように構成される。並列スループット構造は、アプリケーション及び入力データを処理するために、数千のコアを提供する。結果として、GPU121は、その数千のコアを活用して、大規模並列的に読み取り及び書き込みの操作を実施する。GPU121の並列演算要素を利用することにより、挙動認識システム100に、大量の到来データ(例えば、ビデオソース及び/又はオーディオソースからの入力)をより良好に処理させる。結果として、挙動認識システム100の規模は、比較的困難なく、実現されてもよい。
[0026] センサ管理モジュール130は、1つ以上のデータコレクタ要素を提供する。各コレクタ要素は、特定の入力データソース、例えば、ビデオソース、SCADA(監督制御及びデータ取得)ソース、オーディオソース等に関連付けられる。コレクタ要素は、特定の間隔(例えば、1分に1度、30分毎に1度、30秒毎に1度等)で、各ソースから入力データを検索(又は、センサによっては受信)する。センサ管理モジュール130は、データソース間の通信を制御する。さらに、センサ管理モジュール130は、入力データを正規化し、正規化データを感覚メモリ要素135に送信する。
[0027] 感覚メモリ要素135は、センサ管理モジュール130からの大容量のデータを機械学習エンジン140に転送するデータ記憶である。感覚メモリ要素135は、データを記録として記憶する。各記録は、識別子、タイムスタンプ、及びデータペイロードを含んでもよい。さらに、感覚メモリ要素135は、時間分類的に到来データを集積する。データが集積されてもよい単一箇所に各データコレクタ要素からの到来データを記憶することにより、機械学習エンジン140に、そのデータをより効率的に処理させる。さらに、コンピュータシステム115は、例外アクティビティに対して警告を生成する際、感覚メモリ要素135に記憶されたデータを参照してもよい。一実施形態において、感覚メモリ要素135は、メモリ123の仮想メモリファイルシステムを介して実装されてもよい。他の実施形態において、感覚メモリ要素135は、キー値共有を使用して実装される。
[0028] 機械学習エンジン140は、センサ管理モジュール135から出力されたデータを受信する。通常、機械学習エンジン140の要素は、正規化ベクトルの言語表現を生成する。以下にさらに説明する通り、このようにするには、機械学習エンジン140は、同様の特徴を有する正規化値をクラスタ化し、各クラスタに個別の符号を割り当てる。そして、機械学習エンジン140は、データにおける符号の再発生の組み合わせ(すなわち、単語)を同定してもよい。そして、機械学習エンジン140は、同様に、データにおける単語の再発生の組み合わせ(すなわち、フレーズ)を同定する。
[0029] しかしながら、図1は、挙動認識システム100のただ1つのみの可能な配置を示していることに留意されたい。例えば、入力データソース105は、ネットワーク110を介してコンピュータシステム115に接続される様子が示されているが、ネットワーク110は、常に存在したり、又は、必要とされるわけではない(例えば、ビデオカメラ等の入力ソースは、コンピュータシステム115に直接接続されてもよい)。
[0030] 図2は、一実施形態に係る挙動認識システムのシステム構造を示す。図示の通り、センサ管理モジュール130及び機械学習エンジン140は、持続層210を介して通信する。
[0031] 持続層210は、コンピュータシステム115の要素によって使用される情報を維持するデータ記憶を含む。例えば、持続層210は、データコレクタモジュール202の特性、システム特性(例えば、コンピュータシステム115のシリアル番号、利用可能なメモリ、利用可能な容量等)、及びソースドライバの特性(例えば、アクティブプラグイン118、各データソース、正規化設定等に関連付けられたアクティブセンサ)を記述する情報を維持するデータ記憶を含む。他のデータ記憶は、学習モデル情報、システムイベント、挙動警告を維持してもよい。また、感覚メモリ要素135は、持続層210にある。
[0032] 機械学習エンジン140自体は、神経言語モジュール215と認知モジュール225を含む。神経言語モジュール215は、正規化入力データの言語解析に基づいて神経ネットワークを実施し、観察された入力データの神経言語モデルを構築する。挙動認識システムは、言語モデルを使用して、次に観察されるアクティビティを記述することができる。しかしながら、神経言語モジュール215は、事前規定の対象及びアクションに基づいてアクティビティを記述するのでなく、入力データから生成された符号、単語、及びフレーズに基づいて、カスタム言語を開発する。図示の通り、神経言語モジュール215は、データトランザクションメモリ(DTM)要素216、分類解析器要素217、マッパ要素218、語彙解析器要素219、及び知覚関連メモリ(PAM)要素220を含む。
[0033] 一実施形態において、DTM要素216は、感覚メモリ要素135から入力データの正規化ベクトルを検索し、GPU121によって提供されるパイプライン構造に入力データを段階化する。分類解析器要素217は、DTM要素216によって組織化された正規化データを評価し、神経ネットワーク上にデータをマッピングする。一実施形態において、神経ネットワークは、自己組織化マップ(SOM)と適合共鳴理論(ART)ネットワークの組み合わせである。
[0034] マッパ要素218は、互いに関連付けられて反復的に発生する値に基づき、データストリームをクラスタ化する。さらに、マッパ要素218は、各入力特徴について、クラスタセットを生成する。例えば、入力データがビデオデータに対応するという前提で、特徴は、場所、速度、加速度等を含んでもよい。マッパ要素218は、これらの各特徴について別のクラスタセットを生成するであろう。マッパ要素218は、クラスタ化入力データに基づき、符号を同定する(すなわち、文字のアルファベットを構築する)。具体的には、マッパ要素218は、各クラスタにおけるデータの統計的分布を判定する。例えば、マッパ要素218は、クラスタにおける値の分布について、平均、分散、及び標準偏差を判定する。マッパ要素218は、また、より多くの正規化データが受信されると、統計を更新する。さらに、各クラスタは、統計的有意性スコアに関連付けられてもよい。与えられたクラスタについての統計的有意性は、そのクラスタにマッピングする、より多くのデータが受信されるほど増加する。また、マッパ要素218は、マッパ要素218が時間経過に応じてより低い頻度でクラスタにマッピングするデータを観察するほど、クラスタの統計的有意性を減衰する。
[0035] 一実施形態において、マッパ要素218は、統計的有意性を有するクラスタに符号セットを割り当てる。クラスタは、そのクラスタにマッピングする入力データの閾値量を超過した場合、統計的有意性を有してもよい。符号は、入力データの神経言語解析に使用される単語の生成に使用されるアルファベットの文字として記述されてもよい。符号は、与えられたクラスタに属するデータの「曖昧な」表現を与える。
[0036] さらに、マッパ要素218は適応的である。すなわち、マッパ要素218は、正規化データから生成された新たなクラスタが、時間経過に応じて強化される(結果として、このようなクラスタは、入力データから現れた他のクラスタに比べて統計的に有意なレベルに達する)ため、これに対応する新たな符号を同定してもよい。マッパ要素218は、オンラインで学習し、同様の観察とより一般化されたクラスタとを統合してもよい。マッパ要素218は、結果として得られたクラスタに個別符号を割り当ててもよい。
[0037] 一旦クラスタが統計的有意性に達すると(すなわち、そのクラスタにマッピングするものとして観察されたデータが閾値量の点に達すると)、マッパ要素218は、そのクラスタにマッピングする正規化データに応じて、対応する符号の語彙解析器要素219への送信を開始する。一実施形態において、マッパ要素218は、語彙要素219に送信可能な符号を、最も統計的に有意なクラスタに限定する。実際には、上位32個のクラスタに割り当てられた出力符号(すなわち、文字)は、有効であるものとして示されている。しかしながら、上位64個、又は128語の最も再発生するクラスタ等、他の量も有効であると認められてもよい。時間経過に応じて、最も頻繁に観察される符号は、クラスタの統計的有意性が増す(又は減る)につれて変化することがあることに留意されたい。このように、与えられたクラスタが統計的有意性を喪失し得る。時間経過に応じて、統計的有意性の閾値が増加し得るので、与えられたクラスタにマッピングする観察データの量が閾値を満たさない場合、このクラスタは統計的有意性を喪失する。
[0038] 一実施形態において、マッパ要素218は、各符号について、希少性スコアを評価する。希少性スコアは、時間経過に応じた、入力データストリームにおいて観察される他の符号に対する、与えられた符号の頻度に基づくものである。希少性スコアは、神経言語モジュール215が追加データを受信すると、時間経過に応じて、増減してもよい。
[0039] マッパ要素218は、符号のストリーム(例えば、文字)、タイムスタンプデータ、希少性スコア、及び統計データ(例えば、与えられた符号に関連付けられたクラスタの表現)を語彙解析器要素219に送信する。語彙解析器要素219は、マッパ要素218から出力された符号に基づき、ディクショナリを構築する。実際には、マッパ要素218は、符号の安定的アルファベットの生成に約5000の観察(すなわち、入力データの正規化ベクトル)を必要としてもよい。
[0040] 語彙解析器要素219は、マッパ要素218によって送信された符号から、同時発生する符号の組み合わせ、例えば、単語を含むディクショナリを構築する。語彙解析器要素219は、マッパ要素218から出力された文字及び特徴の反復的同時発生を同定し、符号ストリーム全体を通した生じる同時発生の頻度を計算する。符号の組み合わせは、特定のアクティビティ、イベント等を表してもよい。
[0041] 一実施形態において、語彙解析器要素219は、ディクショナリにおける単語の長さを限定し、語彙解析器要素219に、コンピュータシステム115の性能に悪影響を与えることなく、可能な組み合わせの数を同定させる。さらに、語彙解析器要素219は、レベルベース学習モデルを使用して、符号の組み合わせを解析し、単語を学習してもよい。語彙解析器要素219は、インクリメントレベル、すなわち、1文字の単語が第1のレベルで学習され、2文字の単語が第2のレベルで学習されるという具合に、最大符号組み合わせ長さまで単語を学習する。実際には、単語を最大5個又は6個の符号に限定することが有効であると示されている。
[0042] マッパ要素218と同様に、語彙解析器要素219は適応的である。すなわち、語彙解析器要素219は、時間経過に応じて、ディクショナリ内の単語を学習及び生成してもよい。語彙解析器要素219は、また、語彙解析器要素219が時間経過に応じて符号の次のストリームを受信する際、ディクショナリにおける単語の統計的有意性を強化又は衰退させてもよい。さらに、語彙解析器要素219は、単語がデータ内に再発生する頻度に基づいて、各単語についての希少性スコアを判定してもよい。希少性スコアは、神経言語モジュール215が追加データを処理する際、時間経過に応じて増減してもよい。
[0043] また、追加観察(すなわち、符号)が語彙解析器要素219に引き渡され、与えられた単語の一部として同定されると、語彙解析器要素219は、その単語モデルが成熟したと判定してもよい。一旦単語モデルが成熟すると、語彙解析器要素219は、モデルにおけるこれらの単語の観察をPAM要素220に出力してもよい。一実施形態において、語彙解析器要素219は、PAM要素220に送信された単語を、最も統計的に関連のある単語に限定する。実際には、各サンプルについて、最も頻繁に発生する上位32個の単語の出力発生が有効であるとして示されている(一方で、モデルに記憶されている最も頻繁に発生する単語は、数千の単語とすることができる)。時間経過に応じて、最も頻繁に観察される単語は、到来文字の観察頻度が変化するに連れて(又は、マッパ要素218による入力データのクラスタ化によって新たな文字が出るに連れて)変化してもよいことに留意されたい。
[0044] 一旦語彙解析器要素219がディクショナリを構築すると(すなわち、事前規定の統計的有意性に達した単語を同定すると)、語彙解析器要素219は、入力ストリーム内に続いて観察された単語の発生をPAM要素220に送信する。PAM要素220は、語彙解析器要素219によって出力された単語でフレーズの統語論を構築する。実際には、語彙解析器要素219は、約15,000個の観察(すなわち、マッパ要素218からの入力文字)を受信した後、有用な単語のディクショナリを構築してもよい。
[0045] PAM要素220は、語彙解析器要素219から出力された単語のシーケンスに基づき、フレーズの統語論を同定する。具体的には、PAM要素220は、語彙解析器要素219によって同定された単語を受信し、連結グラフを生成するが、グラフのノードは、単語を表し、縁部は、単語間の関係を表す。PAM要素220は、データストリーム内で単語が互いに連結される頻度に基づき、リンクの補強又は衰退を行ってもよい。
[0046] マッパ要素218及び語彙解析器要素219と同様に、PAM要素220は、言語データにおけるフレーズの再発生頻度に基づいて、同定された各フレーズにつき、希少性スコアを判定する。希少性スコアは、神経言語モジュール215が追加データを処理する際、時間経過に応じて増減してもよい。
[0047] 語彙解析器要素219と同様に、PAM要素220は、与えられたフレーズの長さを限定し、PAM要素220が、コンピュータシステム115の性能に悪影響を与えることなく、可能な組み合わせの数を同定できるようにしてもよい。
[0048] PAM要素220は、語彙解析器要素219から出力された単語の観察に亘って、統語論フレーズを同定する。単語の観察が蓄積するに連れて、PAM要素220は、与えられたフレーズが成熟したこと、すなわち、フレーズが統計的関連性の測定値に達したことを判定してもよい。そして、PAM要素220は、そのフレーズの観察を認知モジュール225に出力する。PAM要素220は、符号、単語、フレーズ、タイムスタンプデータ、希少性スコア、及び統計的計算のストリームを含むデータを認知モジュール225に送信する。実際には、PAM要素220は、語彙解析器要素219からの約5000個の単語を観察した後、意味を成すフレーズのセットを取得してもよい。
[0049] 成熟後、生成された文字、単語、及びフレーズは、コンピュータシステム115が、文字、単語、及びフレーズの次の観察を安定モデルに対して比較するのに使用する入力データの安定的神経言語モデルを形成する。神経言語モジュール215は、新たなデータが受信されると、言語モデルを更新する。さらに、神経言語モジュール215は、現在観察している統語論をモデルと比較してもよい。すなわち、文字の安定的セットを構築した後、神経言語モジュール215は、単語の安定的モデル(例えば、ディクショナリ)を構築してもよい。次いで、神経言語モジュール215を使用して、フレーズの安定的モデル(例えば、統語論)を構築してもよい。その後、神経言語モジュール215が次の正規化データを受信したとき、モジュール215は、符号、単語、及びフレーズの順序付けられたストリームを出力するが、これらはすべて、安定的モデルと比較され、関心対象のパターンを同定するか、入力データのストリーム内に発生している偏差を検出することができる。
[0050] 図示の通り、認知モジュール225は、ワークスペース226、意味メモリ230、コードレットテンプレート235、エピソードメモリ240、長期メモリ245、及び例外検出要素250を含む。意味メモリ230は、上述の安定的な神経言語モデル、すなわち、マッパ要素218、語彙解析器要素219、及びPAM要素220からの安定的コピーを記憶する。
[0051] 一実施形態において、ワークスペース226は、機械学習エンジン140のための演算エンジンを提供する。ワークスペース226は、演算(例えば、例外モデル化演算)を実施し、演算からの直前の結果を記憶する。
[0052] ワークスペース226は、PAM要素220から神経言語データを検索し、必要に応じて、このデータを認知モジュール225の異なる箇所に普及させる。
[0053] エピソードメモリ240は、直前の特定エピソードに関連した言語観察を記憶し、特定イベントの「何が」及び「いつ」等、特定の詳細を符号化してもよい。
[0054] 長期メモリ245は、特定のエピソード詳細を剥ぎ取って言語データの一般化を記憶する。このようにして、新たな観察が発生したとき、エピソードメモリ240及び長期メモリ245からのメモリを使用して、現在のイベントを関連付け及び理解してもよく、すなわち、新たなイベントが過去の経験(過去に観察された言語データによって表される)と比較されてもよく、時間経過に応じて、長期メモリ245内に記憶された情報の補強、衰退、及び調整の双方に繋がる。特定の実施形態において、長期メモリ245は、ARTネットワーク及び分散メモリデータ構造として実装されてもよい。しかしながら、重要なことに、このアプローチは、イベントを事前に規定することを要さない。
[0055] コードレットテンプレート235は、異なるイベントシーケンスを評価する実行可能なコードレット、又は、コードの小片を収集したものを提供し、1つのシーケンスがいかに他のシーケンスに続く(又は、関連する)かを判定する。コードレットテンプレート235は、決定論的コードレット及び推計学的コードレットを含んでもよい。より一般的には、コードレットは、入力データの言語表現から関心対象のパターンを検出してもよい。例えば、コードレットは、現在の観察を、意味メモリ230に記憶されている、過去に観察されたアクティビティと(すなわち、現在のフレーズ例を過去に観察されたものと)比較してもよい。実行のためにコードレットを反復的にスケジューリングし、ワークスペース226に対してメモリ及び知覚をコピーすることにより、認知モジュール225は、言語データ内に発生する挙動のパターンについて観察及び学習するのに使用される知覚サイクルを実施する。
[0056] 例外検出要素250は、神経言語モジュール215に送信される希少性スコアを評価し、希少性スコアで示される何らかの異常アクティビティに応じて、警告を発行するか否かを判定する。具体的には、例外検出要素250は、例えば、希少性スコアを表す希少語彙スコアモデル、希少統語論スコアモデル、及び例外モデル等の、確率的ヒストグラムモデルを提供する。希少語彙スコアモデル及び希少統語論スコアモデルは、語彙解析器要素219及びPAM要素220から送信された希少性スコアに基づいて生成される。例外モデルは、希少語彙スコアモデル及び希少統語論スコアモデルからの入力パーセンタイルを受信し、このパーセンタイルに基づき、絶対希少性スコアを生成する。例外検出要素250は、このスコアを評価し、与えられたスコアに基づいて警告を送信するか否かを判定する。例外検出要素250は、警告データを出力装置に送信してもよく、この場合、管理者は、例えば、管理コンソールを介して、この警告を閲覧してもよい。
[0057] 認知モジュール225は、新たな観察を意味メモリ230に維持された安定的な神経言語モデルの学習パターンと比較した後、これらの新たな観察の珍しさを推定することにより、意味メモリ230に送られた言語的内容(すなわち、同定された符号、単語、フレーズ)の学習解析を実施する。
[0058] 具体的には、例外検出要素250は、符号、単語、及びフレーズの各々の希少性スコアを評価して、観察データにおける異常発生を同定する。一旦例外観察が同定されると、例外要素は、警告を発行してもよい(例えば、コンピュータシステム115の管理者又はユーザに通知してもよい)。
[0059] 図3は、一実施形態に係る神経言語挙動認識システムにおいて使用されるセンサデータを収集する方法300を示す。より具体的には、方法300は、データコレクタが関連入力装置からデータを検出して、このデータを神経言語モジュール215に送信する方法を記述する。この例については、データコレクタモジュール202が与えられたフレームレートで画像データを取得するビデオソースであると想定する。当然のことながら、種々のデータコレクタモジュール202を使用することができる。
[0060] 方法300は、ステップ305で開始し、ここでは、データコレクタモジュール202がソース入力装置からデータを検出(又は、受信)する。この場合、データコレクタモジュール202は、ホテルロビー等、特定の場所を観察するように配置されたビデオカメラ等のビデオソースからビデオフレームを検出してもよい。さらに、データコレクタモジュール202は、感覚メモリ要素135に送信するデータ値を同定する。このようにするために、データコレクタモジュール202は、ビデオフレームを評価して、背景対象から前景対象を分離し、同定された前景対象の外観及び運動学的情報を測定し、場面に亘って移動する前景対象(すなわち、カメラの視野)を追跡してもよい。結果として、データコレクタモジュール202は、ビデオフレームに示された対象の外観及び運動学的態様を特徴付けるデータ値セットを生成する。
[0061] ステップ310において、データコレクタモジュール202は、各データ値を、そのデータ値の種別に対して、例えば、0以上1以下の範囲内の数値に正規化する。例えば、運動学的特徴に関連付けられた値は、運動学的特徴に関連付けられた他の値に対して、0以上1以下に正規化される。このようにすることで、各値を共通形式に変換し、神経言語モジュール215に、ビデオストリームに再発生するイベントを認識させる。
[0062] 値を正規化した後、ステップ315において、データコレクタモジュール202は、与えられた値のタイムスタンプ、値のデータ種別(例えば、運動学的特徴、外観特徴、場所、位置等)に関連付けられた平均、及びそのデータ種別についての歴史的最高値及び最低値、正規化値に関連付けられた追加データを同定する。このようにすることで、データコレクタモジュール202に、ビデオソースが修正されるイベントでの正規化を再調整させる。具体的には、データコレクタモジュール202は、同定された歴史的値及び平均を参照し、正規化を再調整する。
[0063] ステップ320において、データコレクタモジュール202は、正規化値のベクトル及び関連データを感覚メモリ要素135に送信する。記述の通り、感覚メモリ要素135は、正規化値及び関連データを記憶する。そして、神経言語モジュール215は、感覚メモリ要素135から正規化値を検出し、その後、言語解析を実施する。
[0064] 図4は、一実施形態に係るPAM要素220を初期化する方法400を示している。この方法400は、ステップ405で開始し、ここでPAM要素220は、語彙解析器要素219から単語の観察のストリームを受信する。記述の通り、語彙解析器要素219は、マッパ要素218による出力として符号の群の統計的頻度を評価することにより、単語を生成する。符号の群(つまり、単語)が出現すると、語彙解析器要素219は、統計的に関連のある符号の組み合わせ、すなわち単語を同定し、この単語をPAM要素220に出力する。記述の通り、符号、単語、及びフレーズが同定され、ストリーム内に共通して観察されるものとして、すなわち、統計的に関連のあるものとして、その符号、単語、及びフレーズの頻度の統計的モデルを構築する。
[0065] ステップ410において、PAM要素220は、同時発生単語の統計を評価する。このような統計は、PAM要素220がどの程度の頻度で互いに同時発生する各単語を観察するかを含んでもよい。一実施形態において、この統計は、与えられた単語がどの程度の頻度で語彙解析器要素219によって引き渡された他の単語と同時発生するかによって判定される統計的有意性スコアを含んでもよい。各単語がともにどの程度の頻度で観察されるかを判定するために、PAM要素220は、同時発生に基づいて、各単語を配置するマトリクスを生成してもよい。
[0066] ステップ420において、PAM要素220は、連結グラフを生成する。連結グラフの各ノードは、語彙要素219によって出力される単語のうちの1つを表す。無向エッジは、ノードを連結して相対的頻度で同時発生する単語間の関係を示す。さらに、これらのエッジは、単語間の統計的有意性スコアに基づいて重み付けされてもよい。連結された各々一続きのノードは、挙動認識システムが、神経言語モジュール215に入力され、(マッパ要素218によって)符号にクラスタ化され、(語彙要素によって)単語に構文解析されたデータの記述に使用するフレーズを表してもよい。
[0067] 時間経過に応じて、PAM要素220は、語彙解析器要素219から単語の追加観察を受信可能である。PAM要素220は、統計的有意性スコアが増加すると、例えば、PAM要素220が互いに同時発生する2つの単語の後続の例を観察すると、与えられたエッジを補強してもよい。また、PAM要素220は、発生する観察が時間経過に応じて少なくなると(すなわち、統計的有意性スコアが時間経過に応じて低減すると)、エッジをなくしてもよい。
[0068] 図5は、一実施形態に係るPAM要素220によって生成される一例としての連結グラフ500を示している。語彙解析器要素219がPAM要素220に単語のストリームを最初に出力したとき、PAM要素220は、連結グラフ500を生成する。
[0069] ノード(円によって表される)は、語彙解析器要素219によって送られる、同定された単語を表す。ノードを連結する無向エッジは、PAM要素220が単語のストリーム内に同時発生する連結ワードを観察したことを表している。さらに、エッジは、2つの同時発生単語間の統計的有意性スコアに基づいて重み付けされてもよい。また、PAM要素220は、統計的有意性スコアが増加又は減少すると、エッジを各々補強又は衰退させてもよい。例えば、統計的有意性スコアは、PAM要素220が2つの単語間にさらなる同時発生性を観察した場合に増加してもよい。PAM要素220は、増加の結果として、グラフにおける双方の単語を連結するエッジを補強することができる。
[0070] グラフ500は、PAM要素220によって同定されたフレーズの統語論を成立させる。フレーズは、与えられたフレーズ(連結グラフを通じた与えられた経路)の順に出現する各単語の確率的関係に基づき、単語ストリームに発生してもよい、単語のシーケンスである。PAM要素220は、与えられた閾値を超える統計的有意性スコアを備えた同時発生単語を有する、マッパによって出力された単語のストリームにおいて観察されたフレーズを出力する。さらに、PAM要素220は、PAM要素220によって出力されたフレーズを特徴付けるメタデータを認知モジュール225に送信してもよい。例えば、PAM要素200は、マッパ要素218及び語彙解析器要素219によって送信された符号、単語、及び関連統計等、マッパ要素218及び語彙解析器要素219からのメタデータを含んでもよい。まとめると、符号、単語、フレーズは、これらの符号、単語、及びフレーズが観察される頻度と、マッパ要素及び語彙解析要素によって割り当てられたスコア付けとに関連するすべてのメタデータとともに、入力データを記述する神経言語モデルを形成する。次いで、認知モジュール225は、神経言語モデルを解析し、例えば、正常挙動及び異常挙動を同定する際に、到来データを中断する。
[0071] 図6は、一実施形態に係る、(語彙要素によって供給された単語ストリームにおける)PAM要素によって観察されたフレーズを認知モジュール225に送信する方法600を示している。具体的には、方法600は、PAM要素220が、初期化後、すなわち、完全連結グラフの初期生成後に、語彙解析器要素219からの到来単語をいかに処理するかを記述している。方法600は、ステップ605で開始し、ここでPAM要素220は、語彙解析器要素219からの単語観察ストリームの受信を開始する。PAM要素220は、例えば、単語Aは、ストリーム内の単語Bの次にくる等、受信した単語間の同時発生を観察する。PAM要素220は、また、入力により新たに同時発生した単語も同定してよい。
[0072] ステップ610において、PAM要素220は、ストリーム内の各観察に関連付けられた同時発生統計を更新する。例えば、PAM要素220は、ストリーム内に観察された場合、同時発生単語の対についての統計的有意性スコアを増加させてもよい。他の例として、過去に同時発生が観察されなかった単語の対が、ストリーム内に同時発生しているものとして観察されることがある。このような場合、PAM要素220は、これらの単語の対について、統計的有意性スコアを増加させる。
[0073] ステップ615において、PAM要素220は、完全連結グラフを更新する。例えば、PAM要素220は、統計的有意性スコアが増加された場合、グラフの一部にてエッジを補強してもよい。さらに、PAM要素220は、統計的関連性に達した(例えば、統計的有意性スコアが閾値を超えた)観察対にエッジを追加してもよい。
[0074] ステップ620において、PAM要素220は、与えられた閾値を超える統計的有意性スコアを有する同時発生単語でフレーズを出力する。このような閾値を超えることは、与えられたフレーズが成熟しており、認知モジュール225に送信されてもよいことを示してもよい。また、PAM要素220は、また、フレーズとともに、符号、単語、及び関連統計も送信してよい。記述の通り、このような符号、単語、及びフレーズは、挙動認識システムが入力データの記述に使用する神経言語モデルを形成する。
[0075] 本開示の一実施形態は、コンピュータシステムで使用されるプログラム製品として実装される。プログラム製品のプログラムは、実施形態の機能(本明細書に記載の方法を含む)を規定し、種々のコンピュータ可読記憶媒体上に含まれ得る。コンピュータ可読記憶媒体の例は、(i)永続的に情報が記憶された書込不可の記憶媒体(例えば、光学メディアドライブによって読取可能なCD−ROM又はDVD−ROM等、コンピュータ内の読取専用記憶装置)、(ii)変更可能な情報が記憶される書込可能な記憶媒体(例えば、ディスケットドライブ又はハードディスクドライブ内のフロッピディスク)を含む。このようなコンピュータ可読記憶媒体は、本開示の機能を対象とするコンピュータ可読指示の搬送時、本開示の一実施形態となる。他の例としての媒体は、無線通信ネットワークを含む、コンピュータ又は電話のネットワーク等を通じて、コンピュータに情報を伝達する通信媒体を含む。
[0076] 一般的に、本開示の実施形態を実装するために実行されるルーチンは、動作システム又は特定のアプリケーション、要素、プログラム、モジュール、対象、又は指示シーケンスの一部であってもよい。本開示のコンピュータプログラムは、通常、ネイティブコンピュータによって機械可読形式と、引いては実行可能な指示とに翻訳される多数の指示を備える。また、プログラムは、プログラムに局所的に存在するか、若しくはメモリ内又は記憶装置上に見出される変数及びデータ構造を備える。また、本明細書に記載の種々のプログラムは、それらが本開示の特定の実施形態に実装されるアプリケーションに基づいて、同定されてもよい。しかしながら、後続する任意の特定のプログラム用語体系は単に簡便さのために使用されており、従って、本開示がそのような用語体系によって同定及び/又は示唆される任意の特定のアプリケーションのみでの使用に限定されてはならないことを理解しなければならない。
[0077] 上述の通り、本明細書に記載の実施形態は、神経言語挙動認識システムを介して、ソース(例えば、ビデオソース、SCADAソース、ネットワークセキュリティソース等)から入力されたデータを表す単語のディクショナリに基づいて統語論を判定する技術を提供する。符号、単語、及び統語論は、挙動認識システムによって観察された入力データの記述に使用される言語モデルに対する基礎を形成する。挙動認識システムは、言語モデルに基づいて挙動を解析及び学習し、観察データ内の正常アクティビティと異常アクティビティを区別する。このアプローチは、挙動及び例外の同定を行うために事前規定されたパターンに依存することなく、代わりに、場面を観察し、観察するものに関する情報を生成することによって、パターン及び挙動を学習するため、好都合である。
[0078] 以上は、本開示の実施形態を対象とするものであったが、本開示のさらに他の実施形態が、その基本的範囲から逸脱することなく考案されてもよく、その範囲は以下の特許請求の範囲によって判定される。
Claims (20)
- 1つ以上のソースから得られた入力データの神経言語モデルの統語論を生成する方法であって、
入力データから生成された正規化ベクトルの順序付きストリームから生成された符号のシーケンスから構築されたディクショナリの単語のストリームを受信することと、
前記ストリーム内に同時発生する単語の組み合わせについて、前記単語の組み合わせが同時発生する頻度を含む統計を評価することと、
前記評価統計に基づき、統計的に関連する単語を同定する、単語の組み合わせのモデルを更新することと、
連結グラフの各ノードが前記ストリーム内の前記単語のうちの1つを表し、前記ノードを連結するエッジが前記ストリーム内の単語間の確率的関係を表す、前記連結グラフを生成することと、
前記連結グラフに基づき、フレーズを同定することとを備える、方法。 - 前記統計は、2つの単語が互いに同時発生する頻度を示す統計的有意性スコアを含む、請求項1に記載の方法。
- 特定の閾値を超える統計的有意性スコアを有する同時発生単語を含む1つ以上のフレーズを同定することと、
前記同定されたフレーズを出力することとをさらに備える、請求項2に記載の方法。 - 前記エッジは、各ノード間の統計的有意性スコアに基づいて重み付けされる、請求項1に記載の方法。
- 単語の第2のストリームを受信することと、
前記単語の第2のストリームに基づいて、前記同時発生単語の前記統計を更新することとをさらに備える、請求項1に記載の方法。 - 時間経過に応じて、観察頻度のより低い同時発生単語の統計的有意性スコアを低減することをさらに備える、請求項5に記載の方法。
- 時間経過に応じて、観察頻度のより高い同時発生単語の統計的有意性スコアを増加させることをさらに備える、請求項5に記載の方法。
- プロセッサ上での実行時、1つ以上のソースから得られた入力データの神経言語モデルの統語論を生成する動作を実施する指示を記憶するコンピュータ可読記憶媒体であって、この動作は、
入力データから生成された正規化ベクトルの順序付きストリームから生成された符号のシーケンスから構築されたディクショナリの単語のストリームを受信することと、
前記ストリーム内に同時発生する単語の組み合わせについて、前記単語の組み合わせが同時発生する頻度を含む統計を評価することと、
前記評価統計に基づき、統計的に関連する単語を同定する、単語の組み合わせのモデルを更新することと、
連結グラフの各ノードが前記ストリーム内の前記単語のうちの1つを表し、前記ノードを連結するエッジが前記ストリーム内の単語間の確率的関係を表す、前記連結グラフを生成することと、
前記連結グラフに基づき、フレーズを同定することとを備える、コンピュータ可読記憶媒体。 - 前記統計は、2つの単語が互いに同時発生する頻度を示す統計的有意性スコアを含む、請求項8に記載のコンピュータ可読記憶媒体。
- 前記動作は、
特定の閾値を超える統計的有意性スコアを有する同時発生単語を含む1つ以上のフレーズを同定することと、
前記同定されたフレーズを出力することとをさらに備える、請求項9に記載のコンピュータ可読記憶媒体。 - 前記エッジは、各ノード間の統計的有意性スコアに基づいて重み付けされる、請求項8に記載のコンピュータ可読記憶媒体。
- 前記動作は、
単語の第2のストリームを受信することと、
前記単語の第2のストリームに基づいて、前記同時発生単語の前記統計を更新することとをさらに備える、請求項8に記載のコンピュータ可読記憶媒体。 - 前記動作は、時間経過に応じて、観察頻度のより低い同時発生単語の統計的有意性スコアを低減することをさらに備える、請求項12に記載のコンピュータ可読記憶媒体。
- 前記動作は、時間経過に応じて、観察頻度のより高い同時発生単語の統計的有意性スコアを増加させることをさらに備える、請求項12に記載のコンピュータ可読記憶媒体。
- システムであって、
プロセッサと、
1つ以上のソースから得られた入力データの神経言語モデルの統語論を生成する動作を実施するように構成された1つ以上のアプリケーションプログラムを記憶するメモリとを備え、
前記動作は、
入力データから生成された正規化ベクトルの順序付きストリームから生成された符号のシーケンスから構築されたディクショナリの単語のストリームを受信することと、
前記ストリーム内に同時発生する単語の組み合わせについて、前記単語の組み合わせが同時発生する頻度を含む統計を評価することと、
前記評価統計に基づき、統計的に関連する単語を同定する、単語の組み合わせのモデルを更新することと、
連結グラフの各ノードが前記ストリーム内の前記単語のうちの1つを表し、前記ノードを連結するエッジが前記ストリーム内の単語間の確率的関係を表す、前記連結グラフを生成することと、
前記連結グラフに基づき、フレーズを同定することとを備える、システム。 - 前記統計は、2つの単語が互いに同時発生する頻度を示す統計的有意性スコアを含む、請求項15に記載のシステム。
- 前記動作は、
特定の閾値を超える統計的有意性スコアを有する同時発生単語を含む1つ以上のフレーズを同定することと、
前記同定されたフレーズを出力することとをさらに備える、請求項16に記載のシステム。 - 前記動作は、
単語の第2のストリームを受信することと、
前記単語の第2のストリームに基づいて、前記同時発生単語の前記統計を更新することとをさらに備える、請求項15に記載のシステム。 - 前記動作は、時間経過に応じて、観察頻度のより低い同時発生単語の統計的有意性スコアを低減することをさらに備える、請求項18に記載のシステム。
- 前記動作は、時間経過に応じて、観察頻度のより高い同時発生単語の統計的有意性スコアを増加させることをさらに備える、請求項18に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/569,161 | 2014-12-12 | ||
US14/569,161 US10409910B2 (en) | 2014-12-12 | 2014-12-12 | Perceptual associative memory for a neuro-linguistic behavior recognition system |
PCT/US2015/064954 WO2016094635A1 (en) | 2014-12-12 | 2015-12-10 | Perceptual associative memory for a neuro-linguistic behavior recognition system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017538229A true JP2017538229A (ja) | 2017-12-21 |
Family
ID=56108170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017531754A Pending JP2017538229A (ja) | 2014-12-12 | 2015-12-10 | 神経言語挙動認識システム用の知覚関連メモリ |
Country Status (6)
Country | Link |
---|---|
US (2) | US10409910B2 (ja) |
EP (1) | EP3230891A1 (ja) |
JP (1) | JP2017538229A (ja) |
KR (1) | KR102440821B1 (ja) |
CN (2) | CN107003992B (ja) |
WO (1) | WO2016094635A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3796371A3 (en) | 2013-09-27 | 2021-10-06 | INTEL Corporation | Self-aligned via and plug patterning for back end of line (beol) interconnects |
US10409909B2 (en) | 2014-12-12 | 2019-09-10 | Omni Ai, Inc. | Lexical analyzer for a neuro-linguistic behavior recognition system |
US11537791B1 (en) | 2016-04-05 | 2022-12-27 | Intellective Ai, Inc. | Unusual score generators for a neuro-linguistic behavorial recognition system |
WO2017217661A1 (ko) * | 2016-06-15 | 2017-12-21 | 울산대학교 산학협력단 | 어휘 의미망을 이용한 단어 의미 임베딩 장치 및 방법과, 어휘 의미망 및 단어 임베딩을 이용한 동형이의어 분별 장치 및 방법 |
WO2017218009A1 (en) * | 2016-06-17 | 2017-12-21 | Hewlett-Packard Development Company, L.P. | Shared machine-learning data structure |
US11531908B2 (en) * | 2019-03-12 | 2022-12-20 | Ebay Inc. | Enhancement of machine learning-based anomaly detection using knowledge graphs |
US11205430B2 (en) * | 2019-10-01 | 2021-12-21 | Rovi Guides, Inc. | Method and apparatus for generating hint words for automated speech recognition |
US11527234B2 (en) | 2019-10-01 | 2022-12-13 | Rovi Guides, Inc. | Method and apparatus for generating hint words for automated speech recognition |
US20210279633A1 (en) * | 2020-03-04 | 2021-09-09 | Tibco Software Inc. | Algorithmic learning engine for dynamically generating predictive analytics from high volume, high velocity streaming data |
CN117332823B (zh) * | 2023-11-28 | 2024-03-05 | 浪潮电子信息产业股份有限公司 | 目标内容自动生成方法、装置、电子设备及可读存储介质 |
Family Cites Families (88)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4679077A (en) | 1984-11-10 | 1987-07-07 | Matsushita Electric Works, Ltd. | Visual Image sensor system |
US5113507A (en) | 1988-10-20 | 1992-05-12 | Universities Space Research Association | Method and apparatus for a sparse distributed memory system |
US5317507A (en) | 1990-11-07 | 1994-05-31 | Gallant Stephen I | Method for document retrieval and for word sense disambiguation using neural networks |
JP3123587B2 (ja) | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
AU6726596A (en) | 1995-03-22 | 1996-10-08 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for depth modelling and providing depth information of moving objects |
US7076102B2 (en) | 2001-09-27 | 2006-07-11 | Koninklijke Philips Electronics N.V. | Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification |
US5969755A (en) | 1996-02-05 | 1999-10-19 | Texas Instruments Incorporated | Motion based event detection system and method |
US5751378A (en) | 1996-09-27 | 1998-05-12 | General Instrument Corporation | Scene change detector for digital video |
US6263088B1 (en) | 1997-06-19 | 2001-07-17 | Ncr Corporation | System and method for tracking movement of objects in a scene |
US7711672B2 (en) | 1998-05-28 | 2010-05-04 | Lawrence Au | Semantic network methods to disambiguate natural language meaning |
US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
US6570608B1 (en) | 1998-09-30 | 2003-05-27 | Texas Instruments Incorporated | System and method for detecting interactions of people and vehicles |
WO2000034919A1 (en) | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US20020032564A1 (en) * | 2000-04-19 | 2002-03-14 | Farzad Ehsani | Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface |
EP1224569A4 (en) | 1999-05-28 | 2005-08-10 | Sehda Inc | PHRASE BASED DIALOGUE MODELING WITH SPECIAL APPLICATION FOR GENERATING RECOGNITION GRAMMARK FOR LANGUAGE-CONTROLLED USER INTERFACE |
US7136525B1 (en) | 1999-09-20 | 2006-11-14 | Microsoft Corporation | System and method for background maintenance of an image sequence |
US6904402B1 (en) * | 1999-11-05 | 2005-06-07 | Microsoft Corporation | System and iterative method for lexicon, segmentation and language model joint optimization |
US6674877B1 (en) | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
US6940998B2 (en) | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
US7868912B2 (en) | 2000-10-24 | 2011-01-11 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US6678413B1 (en) | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
US7003444B2 (en) * | 2001-07-12 | 2006-02-21 | Microsoft Corporation | Method and apparatus for improved grammar checking using a stochastic parser |
US20030107650A1 (en) | 2001-12-11 | 2003-06-12 | Koninklijke Philips Electronics N.V. | Surveillance system with suspicious behavior detection |
US20060165386A1 (en) | 2002-01-08 | 2006-07-27 | Cernium, Inc. | Object selective video recording |
US7519589B2 (en) * | 2003-02-04 | 2009-04-14 | Cataphora, Inc. | Method and apparatus for sociological data analysis |
US7436887B2 (en) | 2002-02-06 | 2008-10-14 | Playtex Products, Inc. | Method and apparatus for video frame sequence-based object tracking |
US6856249B2 (en) | 2002-03-07 | 2005-02-15 | Koninklijke Philips Electronics N.V. | System and method of keeping track of normal behavior of the inhabitants of a house |
US8015143B2 (en) | 2002-05-22 | 2011-09-06 | Estes Timothy W | Knowledge discovery agent system and method |
US7006128B2 (en) | 2002-05-30 | 2006-02-28 | Siemens Corporate Research, Inc. | Object detection for sudden illumination changes using order consistency |
US7227893B1 (en) | 2002-08-22 | 2007-06-05 | Xlabs Holdings, Llc | Application-specific object-based segmentation and recognition system |
US7200266B2 (en) | 2002-08-27 | 2007-04-03 | Princeton University | Method and apparatus for automated video activity analysis |
US7171358B2 (en) * | 2003-01-13 | 2007-01-30 | Mitsubishi Electric Research Laboratories, Inc. | Compression of language model structures and word identifiers for automated speech recognition systems |
US6999600B2 (en) | 2003-01-30 | 2006-02-14 | Objectvideo, Inc. | Video scene background maintenance using change detection and classification |
US7026979B2 (en) | 2003-07-03 | 2006-04-11 | Hrl Labortories, Llc | Method and apparatus for joint kinematic and feature tracking using probabilistic argumentation |
US7127083B2 (en) | 2003-11-17 | 2006-10-24 | Vidient Systems, Inc. | Video surveillance system with object detection and probability scoring based on object class |
US20060018516A1 (en) | 2004-07-22 | 2006-01-26 | Masoud Osama T | Monitoring activity using video information |
EP2602742A1 (en) | 2004-07-30 | 2013-06-12 | Euclid Discoveries, LLC | Apparatus and method for processing video data |
JP2006080437A (ja) | 2004-09-13 | 2006-03-23 | Intel Corp | マスク・ブランクス検査方法及びマスク・ブランク検査ツール |
US7391907B1 (en) * | 2004-10-01 | 2008-06-24 | Objectvideo, Inc. | Spurious object detection in a video surveillance system |
US7574409B2 (en) | 2004-11-04 | 2009-08-11 | Vericept Corporation | Method, apparatus, and system for clustering and classification |
US7620266B2 (en) | 2005-01-20 | 2009-11-17 | International Business Machines Corporation | Robust and efficient foreground analysis for real-time video surveillance |
US20060190419A1 (en) | 2005-02-22 | 2006-08-24 | Bunn Frank E | Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system |
EP1859411B1 (en) | 2005-03-17 | 2010-11-03 | BRITISH TELECOMMUNICATIONS public limited company | Tracking objects in a video sequence |
AU2006230361A1 (en) | 2005-03-30 | 2006-10-05 | Cernium Corporation | Intelligent video behavior recognition with multiple masks and configurable logic inference module |
US7825954B2 (en) | 2005-05-31 | 2010-11-02 | Objectvideo, Inc. | Multi-state target tracking |
US7672865B2 (en) * | 2005-10-21 | 2010-03-02 | Fair Isaac Corporation | Method and apparatus for retail data mining using pair-wise co-occurrence consistency |
US7958650B2 (en) * | 2006-01-23 | 2011-06-14 | Turatti S.R.L. | Apparatus for drying foodstuffs |
EP2013823A1 (en) | 2006-03-28 | 2009-01-14 | The University Court Of The University Of Edinburgh | A method for automatically characterizing the behavior of one or more objects |
US20070250898A1 (en) | 2006-03-28 | 2007-10-25 | Object Video, Inc. | Automatic extraction of secondary video streams |
EP2013817A2 (en) | 2006-04-17 | 2009-01-14 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
US8467570B2 (en) | 2006-06-14 | 2013-06-18 | Honeywell International Inc. | Tracking system with fused motion and object detection |
US8401841B2 (en) * | 2006-08-31 | 2013-03-19 | Orcatec Llc | Retrieval of documents using language models |
US20100293048A1 (en) | 2006-10-19 | 2010-11-18 | Taboola.Com Ltd. | Method and system for content composition |
US20080109454A1 (en) | 2006-11-03 | 2008-05-08 | Willse Alan R | Text analysis techniques |
US7916944B2 (en) | 2007-01-31 | 2011-03-29 | Fuji Xerox Co., Ltd. | System and method for feature level foreground segmentation |
US8131012B2 (en) | 2007-02-08 | 2012-03-06 | Behavioral Recognition Systems, Inc. | Behavioral recognition system |
US8358342B2 (en) | 2007-02-23 | 2013-01-22 | Johnson Controls Technology Company | Video processing systems and methods |
US8086036B2 (en) | 2007-03-26 | 2011-12-27 | International Business Machines Corporation | Approach for resolving occlusions, splits and merges in video images |
US7813528B2 (en) | 2007-04-05 | 2010-10-12 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting objects left-behind in a scene |
US8411935B2 (en) * | 2007-07-11 | 2013-04-02 | Behavioral Recognition Systems, Inc. | Semantic representation module of a machine-learning engine in a video analysis system |
US8064639B2 (en) | 2007-07-19 | 2011-11-22 | Honeywell International Inc. | Multi-pose face tracking using multiple appearance models |
US20090094064A1 (en) * | 2007-10-09 | 2009-04-09 | Michael Tyler | Healthcare Insurance Claim Fraud and Error Detection Using Co-Occurrence |
WO2009049314A2 (en) | 2007-10-11 | 2009-04-16 | Trustees Of Boston University | Video processing system employing behavior subtraction between reference and observed video image sequences |
EP2093698A1 (en) | 2008-02-19 | 2009-08-26 | British Telecommunications Public Limited Company | Crowd congestion analysis |
US8452108B2 (en) | 2008-06-25 | 2013-05-28 | Gannon Technologies Group Llc | Systems and methods for image recognition using graph-based pattern matching |
US8355896B2 (en) * | 2008-09-02 | 2013-01-15 | Fair Isaac Corporation | Co-occurrence consistency analysis method and apparatus for finding predictive variable groups |
US8121968B2 (en) | 2008-09-11 | 2012-02-21 | Behavioral Recognition Systems, Inc. | Long-term memory in a video analysis system |
US8150624B2 (en) * | 2008-11-11 | 2012-04-03 | Northrop Grumman Systems Corporation | System and method for tracking a moving person |
US9373055B2 (en) | 2008-12-16 | 2016-06-21 | Behavioral Recognition Systems, Inc. | Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood |
US20100179838A1 (en) * | 2009-01-15 | 2010-07-15 | Nitin Basant | Healthcare service provider insurance claim fraud and error detection using co-occurrence |
US8504374B2 (en) * | 2009-02-02 | 2013-08-06 | Jerry Lee Potter | Method for recognizing and interpreting patterns in noisy data sequences |
US8270732B2 (en) * | 2009-08-31 | 2012-09-18 | Behavioral Recognition Systems, Inc. | Clustering nodes in a self-organizing map using an adaptive resonance theory network |
US8180105B2 (en) * | 2009-09-17 | 2012-05-15 | Behavioral Recognition Systems, Inc. | Classifier anomalies for observed behaviors in a video surveillance system |
US8170283B2 (en) * | 2009-09-17 | 2012-05-01 | Behavioral Recognition Systems Inc. | Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing |
US20120137367A1 (en) * | 2009-11-06 | 2012-05-31 | Cataphora, Inc. | Continuous anomaly detection based on behavior modeling and heterogeneous information analysis |
US8463756B2 (en) * | 2010-04-21 | 2013-06-11 | Haileo, Inc. | Systems and methods for building a universal multimedia learner |
US8316030B2 (en) | 2010-11-05 | 2012-11-20 | Nextgen Datacom, Inc. | Method and system for document classification or search using discrete words |
US8620875B2 (en) * | 2011-07-25 | 2013-12-31 | Salesforce.Com, Inc. | Fraud analysis in a contact database |
US9916538B2 (en) | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
US9147129B2 (en) * | 2011-11-18 | 2015-09-29 | Honeywell International Inc. | Score fusion and training data recycling for video classification |
US8542135B2 (en) | 2011-11-24 | 2013-09-24 | International Business Machines Corporation | Compression algorithm incorporating automatic generation of a bank of predefined huffman dictionaries |
HUE030528T2 (en) | 2012-03-15 | 2017-05-29 | Cortical Io Gmbh | Process, equipment and product for semantic processing of texts |
US9111613B2 (en) * | 2012-07-12 | 2015-08-18 | The Regents Of The University Of Michigan | Adaptive reading of a resistive memory |
US8762134B2 (en) * | 2012-08-30 | 2014-06-24 | Arria Data2Text Limited | Method and apparatus for situational analysis text generation |
US9418142B2 (en) * | 2013-05-24 | 2016-08-16 | Google Inc. | Overlapping community detection in weighted graphs |
EP3031004A4 (en) * | 2013-08-09 | 2016-08-24 | Behavioral Recognition Sys Inc | SECURITY OF COGNITIVE INFORMATION USING BEHAVIOR RECOGNITION SYSTEM |
CN104035917B (zh) * | 2014-06-10 | 2017-07-07 | 复旦大学 | 一种基于语义空间映射的知识图谱管理方法和系统 |
US10409909B2 (en) | 2014-12-12 | 2019-09-10 | Omni Ai, Inc. | Lexical analyzer for a neuro-linguistic behavior recognition system |
-
2014
- 2014-12-12 US US14/569,161 patent/US10409910B2/en active Active
-
2015
- 2015-12-10 JP JP2017531754A patent/JP2017538229A/ja active Pending
- 2015-12-10 EP EP15868359.9A patent/EP3230891A1/en not_active Withdrawn
- 2015-12-10 WO PCT/US2015/064954 patent/WO2016094635A1/en active Application Filing
- 2015-12-10 KR KR1020177019094A patent/KR102440821B1/ko active IP Right Grant
- 2015-12-10 CN CN201580067476.XA patent/CN107003992B/zh active Active
- 2015-12-10 CN CN202110367415.2A patent/CN113255333A/zh active Pending
-
2019
- 2019-07-26 US US16/522,915 patent/US20200193092A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
KR20170094357A (ko) | 2017-08-17 |
CN107003992B (zh) | 2021-04-27 |
CN113255333A (zh) | 2021-08-13 |
KR102440821B1 (ko) | 2022-09-05 |
CN107003992A (zh) | 2017-08-01 |
US20220075946A1 (en) | 2022-03-10 |
US20160170961A1 (en) | 2016-06-16 |
US10409910B2 (en) | 2019-09-10 |
US20200193092A1 (en) | 2020-06-18 |
EP3230891A1 (en) | 2017-10-18 |
WO2016094635A1 (en) | 2016-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11991194B2 (en) | Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion | |
CN107003992B (zh) | 用于神经语言行为识别系统的感知联想记忆 | |
US11699278B2 (en) | Mapper component for a neuro-linguistic behavior recognition system | |
US11017168B2 (en) | Lexical analyzer for a neuro-linguistic behavior recognition system | |
US20170293608A1 (en) | Unusual score generators for a neuro-linguistic behavioral recognition system | |
US12032909B2 (en) | Perceptual associative memory for a neuro-linguistic behavior recognition system |