JP2018503183A - 神経言語挙動認識システム用の語彙解析器 - Google Patents

神経言語挙動認識システム用の語彙解析器 Download PDF

Info

Publication number
JP2018503183A
JP2018503183A JP2017531777A JP2017531777A JP2018503183A JP 2018503183 A JP2018503183 A JP 2018503183A JP 2017531777 A JP2017531777 A JP 2017531777A JP 2017531777 A JP2017531777 A JP 2017531777A JP 2018503183 A JP2018503183 A JP 2018503183A
Authority
JP
Japan
Prior art keywords
words
identified
word
stream
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017531777A
Other languages
English (en)
Inventor
スー，ガン
セアウ，ミン−ジョン
ヤン，タオ
ケネス コブ，ウェスレー
ケネス コブ，ウェスレー
Original Assignee
オムニ エーアイ，インコーポレイテッド
オムニ エーアイ，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムニ エーアイ，インコーポレイテッド, オムニ エーアイ，インコーポレイテッド filed Critical オムニ エーアイ，インコーポレイテッド
Publication of JP2018503183A publication Critical patent/JP2018503183A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0409—Adaptive resonance theory [ART] networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

【課題】 入力データに基づいて生成された符号の組み合わせから単語のディクショナリを構築する技術を開示する。【解決手段】 神経言語挙動認識システムは、ソースから入力されたデータ（例えば、ビデオデータ、ＳＣＡＤＡデータ等）を記述する言語モデルを生成する神経言語モジュールを含む。言語モデルについて単語を生成するために、神経言語モジュールにおける語彙解析器要素は、各々が、入力データから生成された正規化ベクトルの順序付きストリームに基づいて生成された符号のストリームを受信する。語彙解析器要素は、１つ以上のレベルを有する階層的学習モデルに基づき、符号の組み合わせから単語を判定する。各レベルは、そのレベルで同定される単語の長さを示す。統計は、各レベルにて同定された単語について評価される。語彙解析器要素は、統計的有意性を有する単語の１つ以上を同定する。【選択図】 図４

Description

[0001] 本明細書に記載の実施形態は、データ解析システム全般に関連し、特に、神経言語挙動認識システムにおいて使用される入力データに基づく単語のディクショナリの構築に関連する。
[0002] 現在利用可能な多くの監視及びモニタリングシステム（例えば、ビデオ監視システム、ＳＣＡＤＡシステム等）が、特定のアクティビティ又はパターンを観察し、これらのアクティビティの検出後、管理者に警告するように訓練される。しかしながら、このようなルールベースのシステムは、どのようなアクション及び／又は対象を観察すべきかについて事前の知識を要する。アクティビティは、基礎となるアプリケーションにハードコーディングされてもよく、又は、システムは、提供された任意の定義又はルールに基づいて自身を訓練してもよい。換言すると、基礎となるコードがある挙動の記述又は与えられた観察に対する警告の生成ルールを含まない限り、システムは、このような挙動を認識することができない。しかしながら、このようなルールベースのアプローチは、固定的である。すなわち、与えられた挙動が事前規定のルールに合致しない限り、挙動の発生は、モニタリングシステムによって未検出となり得る。システムが挙動を同定するように自身を訓練する場合、システムは、何を同定すべきかについて事前に規定されるルールを要する。
[0003] また、例えば、ビデオ監視システム等、多くのモニタリングシステムは、プロセッサパワー、ストレージ、及び帯域幅を含む、著しい量の演算リソースを要する。例えば、通常のビデオ監視システムは、通常サイズのビデオデータが故に、カメラフィード毎に大量の演算リソースを要する。リソースのコストを考慮すると、このようなシステムの規模を実現するのは困難である。
[0004] 本明細書に記載の一実施形態は、入力データに基づいて符号の組み合わせから単語のディクショナリを構築する方法を含む。この方法は、通常、符号のストリームを受信することを含む。各符号は、入力データから生成されたベクトルのクラスタに関連付けられる。この方法は、また、１つ以上のレベルを有する階層的学習モデルに基づき、ストリーム内の符号の組み合わせから単語を判定することを含む。各レベルは、そのレベルで同定される単語の長さを示す。統計は、各レベルで同定された単語について評価される。この方法は、また、評価統計に基づいて、統計的有意性を有する単語のうちの１つ以上を同定することを含む。
[0005] 本明細書に記載の他の実施形態は、プロセッサ上での実行時、入力データに基づいて生成された符号の組み合わせから単語のディクショナリを構築する動作を実施する指示を記憶するコンピュータ可読記憶媒体を含む。この動作自体は、通常、符号のストリームを受信することを含む。各符号は、入力データから生成されたベクトルのクラスタに関連付けられる。この動作は、また、１つ以上のレベルを有する階層的学習モデルの基づき、ストリーム内の符号の組み合わせから単語を判定することを含む。各レベルは、そのレベルで同定される単語の長さを示す。統計は、各レベルで同定された単語について評価される。この動作は、また、評価統計に基づいて、統計的有意性を有する単語のうちの１つ以上を同定することを含む。
[0006] 本明細書に記載のさらに他の実施形態は、プロセッサと、入力データに基づいて生成された符号の組み合わせから単語のディクショナリを構築する動作を実施するように構成された１つ以上のアプリケーションプログラムを記憶するメモリとを有するシステムを備える。この動作自体は、通常、符号のストリームを受信することを含む。各符号は、入力データから生成されたベクトルのクラスタに関連付けられる。この動作は、また、１つ以上のレベルを有する階層的学習モデルに基づき、ストリーム内の符号の組み合わせから単語を判定することを含む。各レベルは、そのレベルで同定される単語の長さを示す。統計は、各レベルで同定された単語について評価される。この動作は、また、評価統計に基づいて、統計的有意性を有する単語のうちの１つ以上を同定することを含む。
[0007] 以上に参照した本開示の特徴が詳細に理解可能な方法で、実施形態を参照して、以上に簡単にまとめた本開示のより具体的な説明を行うが、その内のいくつかを添付の図面に示している。しかしながら、添付の図面は、単なる例示としての実施形態を示すものであり、従って、その範囲を限定するものと考えてはならず、他の同等に有効な実施形態が認められてもよいことに留意しなければならない。
[0008] 一実施形態に係る神経言語挙動認識システムのための一例としての演算環境を示す。 [0009] 一実施形態に係る神経言語挙動認識システムのシステム構造を示す。 [0010] 一実施形態に係る神経言語挙動認識システムにおいて使用されるセンサデータの収集方法を示す。 [0011] 一実施形態に係る図２に示された語彙解析器要素を示す。 [0012] 一実施形態に係る入力データを示す符号を処理する方法を示す。 [0013] 一実施形態に係る入力データを示す符号のストリームから単語のディクショナリを構築する方法を示す。 [0014] 一実施形態に係る図２に示された語彙解析器要素による、異なるレベルの学習を示す。 [0014] 一実施形態に係る図２に示された語彙解析器要素による、異なるレベルの学習を示す。 [0014] 一実施形態に係る図２に示された語彙解析器要素による、異なるレベルの学習を示す。 [0015] 一実施形態に係る、知覚関連メモリ要素に単語を出力する例を示す。
[0016] 理解を促進するために、図面を通じて共通する同一要素を指定するのに、可能な限り、同一の参照符号を使用した。一実施形態の要素及び特徴は、さらなる再引用がなくても、他の実施形態に有利に組み込まれてもよいと考えられる。
[0017] 本明細書に記載の実施形態は、挙動認識システムを説明するものである。挙動認識システムは、異なるデータソース（例えば、ビデオデータ、構築管理データ、ＳＣＡＤＡデータ）から生データ値を収集する１つ以上のデータコレクタ要素を備えて構成されてもよい。例えば、挙動認識システムは、ビデオ監視を行うように構成されてもよい。挙動認識システムは、リアルタイムでビデオフレームを検索し、背景対象から前景対象を分離し、フレーム間で前景対象を追跡するデータコレクタ要素を含んでもよい。データコレクタ要素は、ビデオフレームデータを数値（例えば、与えられたデータ種別に対して０〜１までの範囲内）に正規化してもよい。
[0018] 一実施形態において、挙動認識システムは、収集データに神経ネットワークベース言語解析を実施する神経言語モジュールを含む。特に、センサによってモニタされる各データ種別について、神経言語モジュールは、正規化データの言語モデルを作成及び精錬する。すなわち、神経言語モジュールは、正規化データの記述に使用される文法を構築する。言語モデルは、文法の構築ブロックとして機能する符号を含む。神経言語モジュールは、単語のディクショナリを構築する符号の組み合わせを同定する。一旦ディクショナリが構築されると、神経言語モジュールは、ディクショナリ内の単語の種々の組み合わせを含むフレーズを同定する。挙動認識システムは、このような言語モデルを使用して、何が観察中であるかを記述する。言語モデルにより、挙動認識システムに、入力データ中に観察される正常アクティビティと異常アクティビティを区別させる。結果として、挙動認識システムは、異常アクティビティが発生すると随時、警告を発行することができる。
[0019] 言語モデルを生成するために、神経言語モジュールは、正規化データ値を受信し、このデータをクラスタ内に組織化する。神経言語モジュールは、各クラスタの統計を評価し、統計的に関連するクラスタを同定する。さらに、神経言語モジュールは、統計的に関連する各クラスタに対応する、例えば、文字等の符号を生成する。従って、与えられたクラスタにマッピングする入力値は、符号に対応してもよい。
[0020] 神経言語モジュールは、入力データ内に同定された符号の統計的分布に基づき、観察された符号の組み合わせ、すなわち、単語の語彙を生成、すなわち、ディクショナリを構築する。具体的には、神経言語モジュールは、異なる発生頻度で、入力データ内の符号パターンを同定してもよい。さらに、神経言語モジュールは、異なる長さ（例えば、１つの符号から最大数の符号までの単語の長さ）で、統計的に関連する符号の組み合わせを同定することができる。神経言語モジュールは、言語モデルに対するフレーズの同定に使用されるディクショナリにおいて、このような統計的に関連する符号の組み合わせを含んでもよい。
[0021] 神経言語モジュールは、ディクショナリからの単語を使用して、追加データが観察される際に他の単語に対してシーケンス内に発生する各単語の確率的関係に基づき、フレーズを生成する。例えば、神経言語モジュールは、シーケンス内に頻繁に発生する、与えられた３文字の単語と、与えられた４文字の単語との関係を同定する。神経言語モジュールは、同定されたフレーズに基づき、統語論判定を行う。
[0022] この統語論により、挙動認識システムに、事前規定されたアクティビティの補助又は案内を伴うことなく、挙動パターンの学習、同定、及び認識を行わせる。同定又は観察対象の事前規定パターンを含むルールベースの監視システムとは異なり、挙動認識システムは、入力を生成し、観察対象の挙動メモリを構築することにより、パターンを学習する。挙動認識システムは、時間経過に応じて、これらのメモリを使用し、観察データに反映される正常挙動と異常挙動とを区別する。
[0023] 例えば、神経言語モジュールは、文字、単語（名詞、形容詞、副詞等）、フレーズを構築し、同定された各文字、単語、又はフレーズについて「希少性スコア」を推定する。（入力データにおいて観察される文字、単語、又はフレーズに対する）希少性スコアは、過去の観察に対してこの文字、単語、又はフレーズがどの程度低い頻度で発生したかを示す。そこで、挙動認識システムは、希少性スコアを使用して、符号の安定モデル（すなわち、文字）、符号から構築された単語の安定モデル（すなわち、ディクショナリ）、及び単語から構築されたフレーズの安定モデル（すなわち、統語論）−まとめて神経言語モデルに対して、現在の統語論がどの程度希少であるかの同定及び測定の双方を行ってもよい。
[0024] 神経言語モジュールが継続して入力データを受信する際、神経言語モジュールは、文字、単語、及び統語論モデルを減衰、補強、及び生成してもよい。機械学習分野においては、神経言語モジュールは、新たなデータが受信され、与えられた種別の入力データの発生が増加、減少、出現、又は消滅すると、「オンラインで学習する」。
[0025] 図１は、一実施形態に係る挙動認識システム１００の要素を示す。図示の通り、挙動認識システム１００は、１つ以上の入力ソースデバイス１０５、ネットワーク１１０、及び１つ以上のコンピュータシステム１１５を含む。ネットワーク１１０は、ソースデバイス１０５によって入力されたデータをコンピュータシステム１１５に送信してもよい。通常、演算環境１００は、ネットワーク（例えば、インターネット）を介して接続された１つ以上の物理コンピュータシステム１１５を含んでもよい。あるいは、コンピュータシステム１１５は、ネットワークによって接続されたクラウドコンピューティングリソースであってもよい。例示的に、コンピュータシステム１１５は、１つ以上の中央処理装置（ＣＰＵ）１２０と、１つ以上のグラフィクス処理装置（ＧＰＵ）１２１と、ネットワーク及びＩ／Ｏインタフェース１２２と、ストレージ１２４（例えば、ディスクドライブ、光学ディスクドライブ等）と、センサ管理モジュール１３０、感覚メモリ要素１３５、及び機械学習エンジン１４０を含むメモリ１２３とを含む。ストレージ１２４は、モデルリポジトリ１４５を含む。
[0026] ＣＰＵ１２０は、メモリ１２３に記憶されたプログラミング指示を検索及び実行し、ストレージ１２４内にあるアプリケーションデータを記憶及び検索する。一実施形態において、ＧＰＵ１２１は、コンピュート・ユニファイド・デバイス・アーキテクチャ（ＣＵＤＡ）を実装する。さらに、ＧＰＵ１２１は、ＧＰＵ１２１の並列スループット構造を使用して汎用処理を提供することで、メモリ１２３に記憶されたプログラミング指示をより効果的に検索及び実行し、且つ、ストレージ１２４内にあるアプリケーションデータを記憶及び検索するように構成される。並列スループット構造は、アプリケーション及び入力データを処理するために、数千のコアを提供する。結果として、ＧＰＵ１２１は、その数千のコアを活用して、大規模並列的に読み取り及び書き込みの操作を実施する。ＧＰＵ１２１の並列演算要素を利用することにより、挙動認識システム１００に、大量の到来データ（例えば、ビデオソース及び／又はオーディオソースからの入力）をより良好に処理させる。結果として、挙動認識システム１００の規模は、比較的困難なく、実現されてもよい。
[0027] センサ管理モジュール１３０は、１つ以上のデータコレクタ要素を提供する。各コレクタ要素は、特定の入力データソース、例えば、ビデオソース、ＳＣＡＤＡ（監督制御及びデータ取得）ソース、オーディオソース等に関連付けられる。コレクタ要素は、特定の間隔（例えば、１分に１度、３０分毎に１度、３０秒毎に１度等）で、各ソースから入力データを検索（又は、センサによっては受信）する。センサ管理モジュール１３０は、データソース間の通信を制御する。さらに、センサ管理モジュール１３０は、入力データを正規化し、正規化データを感覚メモリ要素１３５に送信する。
[0028] 感覚メモリ要素１３５は、センサ管理モジュール１３０からの大容量のデータを機械学習エンジン１４０に転送するデータ記憶である。感覚メモリ要素１３５は、データを記録として記憶する。各記録は、識別子、タイムスタンプ、及びデータペイロードを含んでもよい。さらに、感覚メモリ要素１３５は、時間分類的に到来データを集積する。データが集積されてもよい単一箇所に各データコレクタ要素からの到来データを記憶することにより、機械学習エンジン１４０に、そのデータをより効率的に処理させる。さらに、コンピュータシステム１１５は、例外アクティビティに対して警告を生成する際、感覚メモリ要素１３５に記憶されたデータを参照してもよい。一実施形態において、感覚メモリ要素１３５は、メモリ１２３の仮想メモリファイルシステムを介して実装されてもよい。他の実施形態において、感覚メモリ要素１３５は、キー値共有を使用して実装される。
[0029] 機械学習エンジン１４０は、センサ管理モジュール１３５から出力されたデータを受信する。通常、機械学習エンジン１４０の要素は、正規化ベクトルの言語表現を生成する。以下にさらに説明する通り、このようにするには、機械学習エンジン１４０は、同様の特徴を有する正規化値をクラスタ化し、各クラスタに個別の符号を割り当てる。そして、機械学習エンジン１４０は、データにおける符号の再発生の組み合わせ（すなわち、単語）を同定してもよい。そして、機械学習エンジン１４０は、同様に、データにおける単語の再発生の組み合わせ（すなわち、フレーズ）を同定する。
[0030] しかしながら、図１は、挙動認識システム１００のただ１つのみの可能な配置を示していることに留意されたい。例えば、入力データソース１０５は、ネットワーク１１０を介してコンピュータシステム１１５に接続される様子が示されているが、ネットワーク１１０は、常に存在したり、又は、必要とされるわけではない（例えば、ビデオカメラ等の入力ソースは、コンピュータシステム１１５に直接接続されてもよい）。
[0031] 図２は、一実施形態に係る挙動認識システムのシステム構造を示す。図示の通り、センサ管理モジュール１３０及び機械学習エンジン１４０は、持続層２１０を介して通信する。
[0032] 持続層２１０は、コンピュータシステム１１５の要素によって使用される情報を維持する複数のデータ記憶を含む。例えば、持続層２１０は、データコレクタモジュール２０２の特性、システム特性（例えば、コンピュータシステム１１５のシリアル番号、利用可能なメモリ、利用可能な容量等）、及びソースドライバの特性（例えば、アクティブプラグイン１１８、各データソース、正規化設定等に関連付けられたアクティブセンサ）を記述する情報を維持するデータ記憶を含む。他のデータ記憶は、学習モデル情報、システムイベント、挙動警告を維持してもよい。また、感覚メモリ要素１３５は、持続層２１０にある。
[0033] 機械学習エンジン１４０自体は、神経言語モジュール２１５と認知モジュール２２５を含む。神経言語モジュール２１５は、正規化入力データの言語解析に基づいて神経ネットワークを実施し、観察された入力データの神経言語モデルを構築する。挙動認識システムは、言語モデルを使用して、次に観察されるアクティビティを記述することができる。しかしながら、神経言語モジュール２１５は、事前規定の対象及びアクションに基づいてアクティビティを記述するのでなく、入力データから生成された符号、単語、及びフレーズに基づいて、カスタム言語を開発する。図示の通り、神経言語モジュール２１５は、データトランザクションメモリ（ＤＴＭ）要素２１６、分類解析器要素２１７、マッパ要素２１８、語彙解析器要素２１９、及び知覚関連メモリ（ＰＡＭ）要素２２０を含む。
[0034] 一実施形態において、ＤＴＭ要素２１６は、感覚メモリ要素１３５から入力データの正規化ベクトルを検索し、ＧＰＵ１２１によって提供されるパイプライン構造に入力データを段階化する。分類解析器要素２１７は、ＤＴＭ要素２１６によって組織化された正規化データを評価し、神経ネットワーク上にデータをマッピングする。一実施形態において、神経ネットワークは、自己組織化マップ（ＳＯＭ）と適合共鳴理論（ＡＲＴ）ネットワークの組み合わせである。
[0035] マッパ要素２１８は、互いに関連付けられて反復的に発生する値に基づき、データストリームをクラスタ化する。さらに、マッパ要素２１８は、各入力特徴について、クラスタセットを生成する。例えば、入力データがビデオデータに対応するという前提で、特徴は、場所、速度、加速度等を含んでもよい。マッパ要素２１８は、これらの各特徴について別のクラスタセットを生成するであろう。マッパ要素２１８は、クラスタ化入力データに基づき、符号を同定する（すなわち、文字のアルファベットを構築する）。具体的には、マッパ要素２１８は、各クラスタにおけるデータの統計的分布を判定する。例えば、マッパ要素２１８は、クラスタにおける値の分布について、平均、分散、及び標準偏差を判定する。マッパ要素２１８は、また、より多くの正規化データが受信されると、統計を更新する。さらに、各クラスタは、統計的有意性スコアに関連付けられてもよい。与えられたクラスタについての統計的有意性は、そのクラスタにマッピングする、より多くのデータが受信されるほど増加する。また、マッパ要素２１８は、マッパ要素２１８が時間経過に応じてより低い頻度でクラスタにマッピングするデータを観察するほど、クラスタの統計的有意性を減衰する。
[0036] 一実施形態において、マッパ要素２１８は、比較的高い統計的有意性スコアを有するクラスタに符号セットを割り当てる。クラスタは、そのクラスタにマッピングする入力データの閾値量を超過した場合、統計的有意性を有する。符号は、入力データの神経言語解析に使用される単語の生成に使用されるアルファベットの文字として記述されてもよい。符号は、与えられたクラスタに属するデータの「曖昧な」表現を与える。
[0037] さらに、マッパ要素２１８は適応的である。すなわち、マッパ要素２１８は、正規化データから生成された新たなクラスタが、時間経過に応じて強化される（結果として、このようなクラスタは、入力データから現れた他のクラスタに比べて統計的に有意なレベルに達する）ため、これに対応する新たな符号を同定してもよい。マッパ要素２１８は、オンラインで学習し、同様の観察とより一般化された符号とを統合してもよい。マッパ要素２１８は、結果として得られたクラスタに個別符号のセットを割り当ててもよい。
[0038] 一旦クラスタが統計的有意性に達すると（すなわち、そのクラスタにマッピングするものとして観察されたデータが閾値量の点に達すると）、マッパ要素２１８は、そのクラスタにマッピングする正規化データに応じて、対応する符号の語彙解析器要素２１９への送信を開始する。一実施形態において、マッパ要素２１８は、語彙要素２１９に送信可能な符号を、最も統計的に有意なクラスタに限定する。実際には、上位３２個のクラスタに割り当てられた出力符号（例えば、文字）は、有効であるものとして示されている。しかしながら、上位６４個、又は１２８語の最も再発生するクラスタ等、他の量も有効であると認められてもよい。時間経過に応じて、最も頻繁に観察される符号は、異なるクラスタの統計的有意性が増すにつれて変化することがあることに留意されたい。このように、与えられたクラスタが統計的有意性を喪失し得る。時間経過に応じて、クラスタの統計的有意性の閾値が増加し得るので、与えられたクラスタにマッピングする観察データの量が閾値を満たさない場合、このクラスタは統計的有意性を喪失する。
[0039] 一実施形態において、マッパ要素２１８は、各符号について、希少性スコアを評価する。希少性スコアは、観察される他の符号に対する、与えられた符号の頻度に基づくものである。希少性スコアは、神経言語モジュール２１５が追加データを受信すると、時間経過に応じて、増減してもよい。
[0040] マッパ要素２１８は、符号のストリーム（例えば、文字）、タイムスタンプデータ、希少性スコア、及び統計データ（例えば、与えられた符号に関連付けられたクラスタの表現）を語彙解析器要素２１９に送信する。語彙解析器要素２１９は、マッパ要素２１８から出力された符号に基づき、ディクショナリを構築する。実際には、マッパ要素２１８は、符号の安定的アルファベットの生成に約５０００の観察（すなわち、入力データの正規化ベクトル）を必要としてもよい。
[0041] 語彙解析器要素２１９は、マッパ要素２１８によって送信された符号から、同時発生する符号の組み合わせ、例えば、単語を含むディクショナリを構築する。語彙解析器要素２１９は、マッパ要素２１８から出力された文字の反復的同時発生を同定し、符号ストリーム全体を通した同時発生の頻度を計算する。符号の組み合わせは、特定のアクティビティ、イベント等を意味的に表してもよい。
[0042] 一実施形態において、語彙解析器要素２１９は、ディクショナリにおける単語の長さを限定し、語彙解析器要素２１９に、コンピュータシステム１１５の性能に悪影響を与えることなく、可能な組み合わせの数を同定させる。さらに、語彙解析器要素２１９は、レベルベース学習モデルを使用して、符号の組み合わせを解析し、単語を学習してもよい。以下にさらに説明する通り、語彙解析器要素２１９は、インクリメントレベル、すなわち、１文字の単語が第１のレベルで学習され、２文字の単語が第２のレベルで学習されるという具合に、最大符号組み合わせ長さまで単語を学習する。実際には、単語を最大５個又は６個の符号に限定する（すなわち、最大５レベル又は６レベルで学習する）ことが有効であると示されている。
[0043] マッパ要素２１８と同様に、語彙解析器要素２１９は適応的である。すなわち、語彙解析器要素２１９は、時間経過に応じて、ディクショナリ内の単語を学習及び生成してもよい。語彙解析器要素２１９は、また、語彙解析器要素２１９が時間経過に応じて符号の次のストリームを受信する際、ディクショナリにおける単語の統計的有意性を強化又は衰退させてもよい。さらに、語彙解析器要素２１９は、単語がデータ内に再発生する頻度に基づいて、各単語についての希少性スコアを判定してもよい。希少性スコアは、神経言語モジュール２１５が追加データを処理する際、時間経過に応じて増減してもよい。
[0044] また、追加観察（すなわち、符号）が語彙解析器要素２１９に引き渡され、与えられた単語として同定されると、語彙解析器要素２１９は、その単語モデルが成熟したと判定してもよい。一旦単語モデルが成熟すると、語彙解析器要素２１９は、モデルにおけるこれらの単語の観察をＰＡＭ要素２２０に出力してもよい。一実施形態において、語彙解析器要素２１９は、ＰＡＭ要素２２０に送信された単語を、最も統計的に有意な単語に限定する。実際には、各サンプルについて、最も頻繁に発生する単語のうちの上位３２個の出力発生が有効であるとして示されている（一方で、モデルに記憶されている最も頻繁に発生する単語は、数千の単語とすることができる）。時間経過に応じて、最も頻繁に観察される単語は、到来文字の観察頻度が変化するに連れて（又は、マッパ要素２１８による入力データのクラスタ化によって新たな文字が出るに連れて）変化してもよいことに留意されたい。
[0045] 一旦語彙解析器要素２１９がディクショナリを構築すると（すなわち、事前規定の統計的有意性に達した単語を同定すると）、語彙解析器要素２１９は、入力ストリーム内に続いて観察された単語の発生をＰＡＭ要素２２０に送信する。ＰＡＭ要素２２０は、語彙解析器要素２１９によって出力された単語から、フレーズの統語論を構築する。実際には、語彙解析器要素２１９は、約１５，０００個の観察（すなわち、マッパ要素２１８からの入力文字）を受信した後、有用な単語のディクショナリを構築してもよい。
[0046] ＰＡＭ要素２２０は、語彙解析器要素２１９から出力された単語のシーケンスに基づき、フレーズの統語論を同定する。具体的には、ＰＡＭ要素２２０は、語彙解析器要素２１９によって同定された単語を受信し、連結グラフを生成するが、グラフのノードは、単語を表し、縁部は、単語間の関係を表す。ＰＡＭ要素２２０は、データストリーム内で単語が互いに連結される頻度に基づき、リンクの補強又は衰退を行ってもよい。
[0047] マッパ要素２１８及び語彙解析器要素２１９と同様に、ＰＡＭ要素２２０は、言語データにおけるフレーズの再発生頻度に基づいて、同定された各フレーズにつき、希少性スコアを判定する。希少性スコアは、神経言語モジュール２１５が追加データを処理する際、時間経過に応じて増減してもよい。
[0048] 語彙解析器要素２１９と同様に、ＰＡＭ要素２２０は、与えられたフレーズの長さを限定し、ＰＡＭ要素２２０が、コンピュータシステム１１５の性能に悪影響を与えることなく、可能な組み合わせの数を同定できるようにしてもよい。
[0049] ＰＡＭ要素２２０は、語彙解析器要素２１９から出力された単語の観察に亘って、統語論フレーズを同定する。単語の観察が蓄積するに連れて、ＰＡＭ要素２２０は、与えられたフレーズが成熟したこと、すなわち、フレーズが統計的有意性の測定値に達したことを判定してもよい。そして、ＰＡＭ要素２２０は、そのフレーズの観察を認知モジュール２２５に出力する。ＰＡＭ要素２２０は、符号、単語、フレーズ、タイムスタンプデータ、希少性スコア、及び統計的計算のストリームを含むデータを認知モジュール２２５に送信する。実際には、ＰＡＭ要素２２０は、語彙解析器要素２１９からの約５０００個の単語を観察した後、意味を成すフレーズのセットを取得してもよい。
[0050] 成熟後、生成された文字、単語、及びフレーズは、コンピュータシステム１１５が、文字、単語、及びフレーズの次の観察を安定モデルに対して比較するのに使用する入力データの安定的神経言語モデルを形成する。神経言語モジュール２１５は、新たなデータが受信されると、言語モデルを更新する。さらに、神経言語モジュール２１５は、現在観察している統語論をモデルと比較してもよい。すなわち、文字の安定的セットを構築した後、神経言語モジュール２１５は、単語の安定的モデル（例えば、ディクショナリ）を構築してもよい。次いで、神経言語モジュール２１５を使用して、フレーズの安定的モデル（例えば、統語論）を構築してもよい。その後、神経言語モジュール２１５が次の正規化データを受信したとき、モジュール２１５は、符号、単語、及びフレーズの順序付けられたストリームを出力するが、これらはすべて、安定的モデルと比較され、関心対象のパターンを同定するか、入力データのストリーム内に発生している偏差を検出することができる。
[0051] 図示の通り、認知モジュール２２５は、ワークスペース２２６、意味メモリ２３０、コードレットテンプレート２３５、エピソードメモリ２４０、長期メモリ２４５、及び例外検出要素２５０を含む。
[0052] 一実施形態において、ワークスペース２２６は、機械学習エンジン１４０のための演算エンジンを提供する。例えば、ワークスペース２２６は、エピソードメモリ２４０及び長期メモリ２４５から統計的関連性を有する言語データ（例えば、データに頻繁に発生するフレーズ）を検索し、実行するためのコードレットテンプレート２３５の選択等を行ってもよい。さらに、ワークスペース３２６は、神経言語モジュール２１５から符号、単語、及びフレーズを（希少性スコアとともに）検索し、これらのデータを意味メモリ２３０に記憶する。
[0053] ワークスペース２２６は、意味メモリ２３０から神経言語データを検索し、必要に応じて、このデータを認知モジュール２２５の異なる箇所に普及させる。
[0054] エピソードメモリ２４０は、直前の特定エピソードに関連した言語観察を記憶し、特定イベントの「何が」及び「いつ」等、特定の詳細を符号化してもよい。
[0055] 長期メモリ２４５は、特定のエピソード詳細を剥ぎ取って言語データの一般化を記憶する。このようにして、新たな観察が発生したとき、エピソードメモリ２４０及び長期メモリ２４５からのメモリを使用して、現在のイベントを関連付け及び理解してもよく、すなわち、新たなイベントが過去の経験（過去に観察された言語データによって表される）と比較されてもよく、時間経過に応じて、長期メモリ２４５内に記憶された情報の補強、衰退、及び調整の双方に繋がる。特定の実施形態において、長期メモリ２４５は、ＡＲＴネットワーク及び分散メモリデータ構造として実装されてもよい。しかしながら、重要なことに、このアプローチは、イベントを事前に規定することを要さない。
[0056] コードレットテンプレート２３５は、異なるイベントシーケンスを評価する実行可能なコードレット、又は、コードの小片を収集したものを提供し、１つのシーケンスがいかに他のシーケンスに続く（又は、関連する）かを判定する。より一般的には、コードレットは、入力データの言語表現から関心対象のパターンを検出してもよい。例えば、コードレットは、現在の観察を、意味メモリ２３０に記憶されている、過去に観察されたアクティビティと（すなわち、現在のフレーズ例を過去に観察されたものと）比較してもよい。実行のためにコードレットを反復的にスケジュールし、ワークスペース２２６に対して記憶及び認知のコピーを行うことにより、認知モジュール２２５は、言語データ内に発生した挙動のパターンについて観察及び学習するのに使用される認知サイクルを実施する。
[0057] 例外検出要素２５０は、神経言語モジュール２１５に送信される希少性スコアを評価し、希少性スコアで示される何らかの異常アクティビティに応じて、警告を発行するか否かを判定する。具体的には、例外検出要素２５０は、例えば、希少性スコアを表す希少語彙モデル、希少統語論モデル、及び希少モデル等の、確率的ヒストグラムモデルを提供する。例外検出要素２５０は、警告データを出力装置に送信してもよく、この場合、管理者は、例えば、管理コンソールを介して、この警告を閲覧してもよい。
[0058] 認知モジュール２２５は、新たな観察を意味メモリ２３０に維持された学習パターンと比較した後、これらの新たな観察の珍しさを推定することにより、意味メモリ２３０に送られた言語的内容（すなわち、同定された符号、単語、フレーズ）の学習解析を実施する。
[0059] 具体的には、例外要素２５０は、符号、単語、及びフレーズの各々の希少性スコアを評価して、観察データにおける異常発生を同定する。一旦例外観察が同定されると、例外要素は、警告を発行してもよい（例えば、コンピュータシステム１１５の管理者又はユーザに通知してもよい）。
[0060] 図３は、一実施形態に係る神経言語挙動認識システムにおいて使用されるセンサデータを収集する方法３００を示す。より具体的には、方法３００は、データコレクタがいかに関連入力装置からデータを検索して、このデータを神経言語モジュール２１５に送信するかを記述する。方法３００についてより良く記述するために、ビデオソース用のデータコレクタモジュール２０２が本方法のステップを実施すると想定する。当然のことながら、方法３００は、他の種別のデータコレクタモジュール２０２に対して利用可能であってもよい。
[0061] 方法３００は、ステップ３０５で開始し、ここでは、データコレクタモジュール２０２がソース入力装置からデータを検出する。この場合、データコレクタモジュール２０２は、ホテルロビー等、特定の場所を観察するように配置されたビデオカメラ等のビデオソースからビデオフレームを検出してもよい。さらに、データコレクタモジュール２０２は、感覚メモリ要素１３５に送信するデータ値を同定する。このようにするために、データコレクタモジュール２０２は、ビデオフレームを評価して、背景対象から前景対象を分離し、同定された前景対象の外観及び運動学的情報を測定し、場面に亘って移動する前景対象（すなわち、カメラの視野）を追跡してもよい。結果として、データコレクタモジュール２０２は、外観及び運動学的情報等、感覚メモリ要素１３５に送信する値を確認する。
[0062] ステップ３１０において、データコレクタモジュール２０２は、各データ値を、そのデータ値の種別に対して、例えば、０以上１以下の範囲内の数値に正規化する。例えば、運動学的特徴に関連付けられた値は、運動学的特徴に関連付けられた他の値に対して、０以上１以下に正規化される。このようにすることで、結果として、各値を共通形式に変換し、神経言語モジュール２１５に、ビデオストリームに再発生するイベントを認識させる。
[0063] 値を正規化した後、ステップ３１５において、データコレクタモジュール２０２は、与えられた値のタイムスタンプ、値のデータ種別（例えば、運動学的特徴、外観特徴、場所、位置等）に関連付けられた平均、及びそのデータ種別についての歴史的最高値及び最低値等、正規化値関連付けられた追加データを同定する。このようにすることで、データコレクタモジュール２０２に、ビデオソースが修正されるイベントでの正規化を再調整させる。具体的には、データコレクタモジュール２０２は、同定された歴史的値及び平均を参照し、正規化を再調整する。
[0064] ステップ３２０において、データコレクタモジュール２０２は、正規化値のベクトル及び関連データを感覚メモリ要素１３５に送信する。記述の通り、感覚メモリ要素１３５は、正規化値及び関連データを記憶する。そして、神経言語モジュール２１５は、感覚メモリ要素１３５から正規化値を検出し、その後、言語解析を実施する。
[0065] 図４は、さらに、一実施形態に係る図２に示された語彙解析器要素を示す。記述の通り、マッパ要素２１８は、与えられたソース（例えば、ビデオソース）から送信されたデータに基づき、符号のストリームを生成する。例示として、マッパ要素２１８は、符号のストリームを語彙解析器要素２１９に送信する。語彙解析器要素２１９は、ストリーム内に出現している符号の群の統計的頻度に基づき、単語、すなわち、符号の組み合わせのディクショナリを構築する。語彙解析器要素２１９は、統計的に有意な単語をＰＡＭ要素２２０に出力する。
[0066] 図示の通り、語彙解析器要素２１９自体は、学習モデル４１０、拡張アルゴリズム４１５、及び生成アルゴリズム４２０を含む。記述の通り、マッパ要素２１８は、符号のストリームを語彙解析器要素２１９に送信する。符号ストリームが受信されると、語彙解析器要素２１９は、符号を学習モデル４１０に入力する。学習モデル４１０は、符号を評価する階層的方式を提供して単語のディクショナリを構築する。すなわち、学習モデル４１０は、語彙解析器要素２１９が統計的に関連のある単語を同定するレベルを提供する。
[0067] 初期レベルにおいて、語彙解析器要素２１９は、与えられた閾値を超過した統計的有意性スコアを有する１つの符号の単語を同定する。一実施形態において、語彙解析器要素２１９は、統計的有意性スコアに基づき、どの単語をディクショナリに含めるべきかを判定する。また統計的有意性スコアにより、語彙解析器要素２１９に、より高いレベルの学習モデルで符号のどの組み合わせがさらに評価されるべきかを判定させる。また、語彙解析器要素２１９は、統計的有意性スコアに基づき、統計的モデルの生成時、どの単語を考慮すべきかを判定する。１つの符号の単語が一旦同定されると、語彙解析器要素２１９は、次のレベルに進み、閾値を超える統計的有意性スコアを有する１つの符号の単語を使用して、２つの符号の長さを有する組み合わせを同定する。このようにするためには、語彙解析器要素２１９は、拡張アルゴリズム４１５を呼び出し、統計的に有意な１つの符号の単語を入力として学習モデル４１０に提供する。第２のレベルの学習モデル４１０は、１つの符号の単語から２つの符号の単語を引き出す。語彙解析器要素２１９は、統計的に有意な２つの符号の単語を判定し、レベルを再インクリメントして、同様に３つの符号の単語を引き出す。語彙解析器要素２１９は、最高レベルを通じて各レベルアップについてこのように単語の学習を継続し、語彙解析器要素２１９は、最大長を有する単語を学習する。記述の通り、実際には、５個の最大長が有効であると示されている。従って、このような場合、最高レベルは第５のレベルである。
[0068] 一実施形態において、語彙解析器要素２１９は、過去に同定された単語の一般化を含む特徴モデルを生成する。具体的には、語彙解析器要素２１９は、各単語内の特定符号の特徴を同定する。そして、語彙解析器要素２１９は、同定された特徴に基づき、符号の組み合わせを抽象化してもよい。特徴モデルを生成することにより、語彙解析器要素２１９に、特定の組み合わせに加えて符号の一般的組み合わせの統計的有意性を評価させる。さらに、特徴モデルにより、語彙解析器要素２１９に、観察された特徴の組み合わせから異常符号を同定させる。
[0069] 一実施形態において、語彙解析器要素２１９は、生成アルゴリズム４２０を呼び出し、マッパからの入力符号ストリームに対して、統計的有意性を有する既知の単語を生成する。生成アルゴリズム４２０は、ディクショナリ、符号、及び関連統計をＰＡＭ要素２２０に出力する。記述の通り、ＰＡＭ要素２２０は、ディクショナリから統語論を生成する。ＰＡＭ要素２２０は、互いに共通して再発生する単語からフレーズを同定する。収集された符号、単語、及びフレーズは、挙動認識システムに、初期化に先立って入力データを予想させることなく、そのデータを学習、理解、及び解析させる入力データの言語モジュールを提供する。
[0070] 図５は、一実施形態に係る、入力データから生成された符号の処理方法を示す。方法５００は、ステップ５０５で開始し、ここで語彙解析器要素２１９は、マッパ要素２１８から符号のストリームを受信する。記述の通り、各符号は、ソース（例えば、ビデオソース、ネットワークセキュリティソース等）から入力されたデータを表す正規化すうちのクラスタに割り当てられる。そして、ストリーム内に観察される符号の組み合わせは、データを記述するのに使用される単語を表すことができる。
[0071] ステップ５１０において、語彙解析器要素２１９は、階層的学習モデル４１０に基づき、単語を同定する。学習モデル４１０の各レベルは、符号ストリームから同定される単語の長さに対応する。各レベルにおいて、語彙解析器要素２１９は、単語が符号ストリームに出現する頻度等、同定された各単語の統計を評価する。語彙解析器要素２１９は、このような統計を使用して、与えられたレベルにおける各候補単語の統計的有意性スコアを同定する。ステップ５１０については、図６を参照してさらに説明する。
[0072] ステップ５１５において、語彙解析器要素２１９は、入力された符号ストリームから取り除かれた可能な候補特徴パターンの完全なセットに対して、与えられた閾値を超える統計的有意性スコアを有するものとして、学習モデル４１０内に同定された統計的に有意な特徴パターンに基づき、単語の発生を生成する。例えば、語彙解析器要素２１９は、与えられた単語パターン、すなわち、特徴パターンを頻繁に観察すると想定する。このようなパターンは、閾値を超える統計的有意性スコアを有する可能性がある。より詳細な例を、図７Ａ、図７Ｂ、及び図７Ｃを参照して提供する。この場合、語彙解析器要素２１９は、符号ストリームにおける観察時、その単語パターンを生成する。ステップ５２０において、語彙解析器要素２１９は、符号、生成された単語、及び統計（例えば、統計的有意性スコア、希少性スコア、発生頻度、タイムスタンプ等）をＰＡＭ要素２２０に出力する。ＰＡＭ要素２２０は、入力データのさらなる記述に使用される単語からフレーズを引き出す。
[0073] 図６は、一実施形態に係る、入力データを表す符号のストリームから単語のディクショナリを構築する方法６００を示す。より具体的には、方法６００は、符号の組み合わせの階層的学習を記述する。方法６００は、ステップ６０５で開始し、ここで語彙解析器要素２１９は、学習モデル４１０の現在のレベルに対応する長さの単語、すなわち、符号の組み合わせを判定する。記述の通り、学習モデル４１０のレベルは、そのレベルで同定する単語の特定の長さを示すものである。例えば、第１のレベルにおいて、語彙解析器要素２１９は、１つの符号の長さを有する単語を同定してもよい。第５のレベルにおいて、語彙解析器要素２１９は、５つ分の長さを有する単語を同定してもよい。実際には、第５のレベルを有する学習モデル４１０が有効であることが実証されている。
[0074] ステップ６１０において、語彙解析器要素２１９は、単語が現在の入力ウィンドウに発生すると、各単語の統計を評価する。このような統計は、ストリーム内における発生頻度を含んでもよい。このようにすることで、語彙解析器要素２１９に、入力ストリームで表された完全な組み合わせの可能性から最も共通性のある（及び、最も共通性のない）単語を同定させる。最も共通性のある単語は、次いで、特徴の最も共通性のある組み合わせを同定するために一般化される。これらの特徴の組み合わせを生成アルゴリズム４２０で使用して、語彙解析器要素２１９により、このようなパターンに合致する特定且つ未知の単語を生成する。さらに、語彙解析器要素２１９は、過去に同定された単語の統計を補強、すなわち、更新してもよい。
[0075] 一実施形態において、語彙解析器要素２１９は、現在の入力ウィンドウについて観察された各候補単語の統計的有意性スコアを評価する。統計的有意性スコアは、語彙解析器要素２１９がどの程度の頻度で与えられた単語を観察するかに基づくものであってもよい。語彙解析器要素２１９は、各単語の統計的有意性スコアを使用して、符号ストリームにおける観察時、ＰＡＭ要素２２０に出力される希少性スコアを判定してもよい。すなわち、語彙解析器要素２１９は、特定の統計的有意性スコアとともに、入力ストリームに観察される単語を出力する。
[0076] 同様に、語彙解析器要素２１９は、語彙解析器要素２１９がどの程度の頻度で符号ストリーム内に単語を観察するかに基づき、各単語の希少性スコアを評価する。希少性スコアが高ければ、その単語が符号ストリーム内で観察される頻度が低いことを示す。語彙解析器要素２１９は、特定の単語が履歴データにおいてどの程度の頻度で観察されるかに基づき、希少性スコアを判定する。
[0077] ステップ６１５において、語彙解析器要素２１９は、統計的有意性を有する単語を同定する。語彙解析器要素２１９が入力された符号のストリームにおいて比較的頻繁にその単語を観察した場合、統計的有意性を有してもよい。統計的有意性は、ディクショナリの最大サイズに基づき、他の同定可能な単語に対してその単語が発生する頻度に基づく。記述の通り、語彙解析器要素２１９は、統計的有意性を有する、同定された特徴パターン（すなわち、符号ストリームにおいて頻繁に観察されるパターン）に基づき、どの単語がＰＡＭ要素２２０に出力されるかを判定する。例えば、語彙解析器要素２１９は、符号ストリームにおいて頻繁に観察される特徴パターンが閾値を超える統計的有意性スコアを有するものとして判定してもよい。
[0078] ステップ６２０において、語彙解析器要素２１９は、最高レベルに達したか否かを判定する。達していない場合、語彙解析器要素２１９は、拡張アルゴリズム４１５を呼び出すことにより、レベルをインクリメントする。語彙解析器要素２１９は、次の学習モデル４１０に、閾値を超える有意性スコアを有するものとして同定された単語を入力する。語彙解析器要素２１９は、最高レベルの単語が同定されるまで、ステップ６０５〜６２０までの実施を継続する。
[0079] ステップ６２５において、語彙解析器要素２１９は、同定された単語について特徴モデルを生成する。特徴モデルは、学習モデル４１０を通じて同定された統計的に有意な単語の一般化を含む。単語を一般化するために、語彙解析器要素２１９は、各単語内の符号を同定し、各単語をその一般的特徴に抽象化する。例えば、マッパ要素２１８により、３つの特徴ｆ１、ｆ２、及びｆ３が同定されると想定する。さらに、各単語は、ｆ１＝｛Ａ、Ｂ｝、ｆ２＝｛Ｃ、Ｄ｝、及びｆ３＝｛Ｅ、Ｆ｝のように２つの関連符号を有する。語彙解析器要素２１９は、頻繁に単語ＡＣ、ＢＣ、及びＣＥを観察すると想定する。結果として、ＡＣの一般化された特徴の組み合わせは、ｆ１ｆ２であり、ＢＣはｆ１ｆ２であり、ＣＤはｆ２ｆ３である。一般化された特徴モデルにより、語彙解析器要素２１９に、入力ストリーム内に発生する一般化された単語の統計を評価させる。また、特徴モデルは、語彙解析器要素２１９に例外単語を同定させる。例えば、ＡＤ、ＢＤ、及びＤＦは、各々、特徴の組み合わせであるｆ１ｆ２、ｆ１ｆ２、及びｆ２ｆ３にマッピングするが、それにも関わらず、頻繁に観察されなければ、例外とされてもよい。
[0080] 図７Ａ〜図７Ｃは、一実施形態に係る、語彙解析器要素２１９が異なるレベルで単語を学習する例を示している。例えば、図７Ａは、語彙解析器要素２１９が第１のレベルで単語を学習する例を示している。例示として、符号｛Ａ、Ｂ、Ｃ、Ｄ、Ｅ｝のストリームが学習モデル４１０に引き渡される。第１のレベルにおいて、語彙解析器要素２１９は、１つの符号の長さを有する単純な単語を同定する。例示として、学習モデル４１０から出力された結果は、単語Ａ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦである。
[0081] さらに、図７Ｂは、語彙解析器要素２１９が学習モデル４１０の第２のレベルに基づいて単語を同定する様子を示している。このような例において、語彙解析器要素２１９は、２つの符号の長さを有する単語を同定する。このようにするために、語彙解析器要素２１９は、より低いレベルにおいて入力として同定された、統計的に有意な単語、すなわち、単語Ａ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦを使用して、拡張アルゴリズム４１５を呼び出す。例示として、語彙解析器要素２１９は、学習モデル４１０を介して、結果的に得られた統計的に有意な単語のセット、例えば、ＡＢ、ＡＤ、ＡＥ等を同定する。すなわち、学習モデルは、第２のレベルにおいて、１つの文字の単語からすべての理解可能な組み合わせを同定し、ストリーム内に発生する組み合わせの頻度を判定する。すなわち、拡張アルゴリズムは、数学的一貫性の指標に基づき、組み合わせが実現可能であるか否かを判定する。頻繁に発生する単語は、統計的有意性を有する。各レベルにおいて、統計的に有意な各単語は、より低いレベルで同定された単語より複雑な用語を表す。
[0082] この例について続けると、図７Ｃは、語彙解析器要素２１９が学習モデル４１０の第３のレベルに基づいて単語を同定する様子を示している。この例において、語彙解析器要素２１９は、第１及び第２のレベルの学習モデル４１０からの入力単語に基づき、２つの符号の長さを有する単語を同定する。語彙解析器要素２１９は、拡張アルゴリズム４１５を呼び出す。例示として、語彙解析器要素２１９は、学習モデル４１０を介して、例えば、ＡＤＢ、ＡＢＥ等、結果として得られた統計的に有意な単語のセットを同定する。同定された各単語は、より低いレベルで同定された単語より複雑な用語を表す。
[0083] 図８は、一実施形態に係る、知覚関連メモリ要素２２０に単語を出力する例を示している。上述の通り、マッパ要素２１８は、符号のストリームを語彙解析器要素２１９に送信する。例示として、語彙解析器要素２１９は、符号｛Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ｝のストリームを受信する。語彙解析器要素２１９は、階層的学習モデル４１０を通じて、統計的に関連のある単語、すなわち、符号の組み合わせを判定する。一旦判定されると、語彙解析器要素２１９は、生成アルゴリズム４２０を呼び出す。
[0084] 一実施形態において、生成アルゴリズム４１９は、統計的に関連のある単語、符号、及び関連統計（例えば、統計的有意性、スコア、頻度、希少性スコア）をＰＡＭ要素２２０に出力する。この例では、単語｛Ａ、ＡＢ、ＡＤＢ、…｝は出力である。
[0085] 本開示の一実施形態は、コンピュータシステムで使用されるプログラム製品として実装される。プログラム製品のプログラムは、実施形態の機能（本明細書に記載の方法を含む）を規定し、種々のコンピュータ可読記憶媒体上に含まれ得る。コンピュータ可読記憶媒体の例は、（ｉ）永続的に情報が記憶された書込不可の記憶媒体（例えば、光学メディアドライブによって読取可能なＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ等、コンピュータ内の読取専用記憶装置）、（ｉｉ）変更可能な情報が記憶される書込可能な記憶媒体（例えば、ディスケットドライブ又はハードディスクドライブ内のフロッピディスク）を含む。このようなコンピュータ可読記憶媒体は、本開示の機能を対象とするコンピュータ可読指示の搬送時、本開示の一実施形態となる。他の例としての媒体は、無線通信ネットワークを含む、コンピュータ又は電話のネットワーク等を通じて、コンピュータに情報を伝達する通信媒体を含む。
[0086] 一般的に、本開示の実施形態を実装するために実行されるルーチンは、動作システム又は特定のアプリケーション、要素、プログラム、モジュール、対象、又は指示シーケンスの一部であってもよい。本開示のコンピュータプログラムは、通常、ネイティブコンピュータによって機械可読形式と、引いては実行可能な指示とに翻訳される多数の指示を備える。また、プログラムは、プログラムに局所的に存在するか、若しくはメモリ内又は記憶装置上に見出される変数及びデータ構造を備える。また、本明細書に記載の種々のプログラムは、それらが本開示の特定の実施形態に実装されるアプリケーションに基づいて、同定されてもよい。しかしながら、後続する任意の特定のプログラム用語体系は単に簡便さのために使用されており、従って、本開示がそのような用語体系によって同定及び／又は示唆される任意の特定のアプリケーションのみでの使用に限定されてはならないことを理解しなければならない。
[0087] 上述の通り、本明細書に記載の実施形態は、神経言語挙動認識システムを介して、ソース（例えば、ビデオソース、ＳＣＡＤＡソース、ネットワークセキュリティソース等）から入力されたデータを表す符号から単語のディクショナリを構築する技術を提供する。一旦生成されると、挙動認識システムは、意味を成立させる。符号、単語、及び統語論は、挙動認識システムによって観察される入力データの記述に使用される言語モデルの基礎を形成する。挙動認識システムは、言語モデルに基づいて挙動を解析及び学習し、観察データ内の正常アクティビティと異常アクティビティを区別する。このアプローチは、挙動及び例外の同定を行うために事前規定されたパターンに依存することなく、代わりに、場面を観察し、観察するものに関する情報を生成することによって、パターン及び挙動を学習するため、好都合である。
[0088] 以上は、本開示の実施形態を対象とするものであったが、本開示のさらに他の実施形態が、その基本的範囲から逸脱することなく考案されてもよく、その範囲は以下の特許請求の範囲によって判定される。

Claims (20)

  1. 入力データに基づいて生成された符号の組み合わせから単語のディクショナリを構築する方法であって、
    各々が入力データから生成されたベクトルのクラスタに関連付けられた符号のストリームを受信することと、
    各々がそのレベルで同定される単語の長さを示し、各レベルにおいて同定された単語について統計評価が行われる、１つ以上のレベルを有する階層的学習モデルに基づき、前記ストリーム内の前記符号の組み合わせから単語を判定することと、
    前記評価統計に基づき、統計的有意性を有する単語のうちの１つ以上を同定することとを備える、方法。
  2. 前記統計的有意性を有する単語のうち前記同定された１つ以上と、前記単語のうちの同定された１つ以上の各々に関連付けられた前記統計を出力することをさらに備える、請求項１に記載の方法。
  3. 前記統計的有意性は、単語が前記符号のストリーム内にどの程度の頻度で観察されるかを示すスコアに基づいて判定される、請求項１に記載の方法。
  4. 符号の第２のストリームを受信することと、
    前記階層的学習モデルに基づき、前記第２のストリーム内の前記符号の組み合わせから単語を判定することと、
    前記階層的学習モデルを介して、過去に同定された単語の前記統計を更新することとをさらに備える、請求項１に記載の方法。
  5. 前記統計的有意性を有する単語のうち前記同定された１つ以上から特徴モデルを生成することをさらに備え、前記特徴モデルは、前記統計的有意性を有する単語のうち前記同定された１つ以上の一般化を含む、請求項１に記載の方法。
  6. 前記特徴モデルを生成することは、
    各符号に関連付けられたベクトルの前記クラスタに関連付けられた特徴を特定することと、
    前記特徴に基づいて、前記符号を一般化することとを備える、請求項５に記載の方法。
  7. 前記一般化の統計を評価することをさらに備える、請求項５に記載の方法。
  8. プロセッサ上での実行時、入力データに基づいて生成された符号の組み合わせから単語のディクショナリを構築するための動作を実施する指示を記憶したコンピュータ可読記憶媒体であって、
    各々が入力データから生成されたベクトルのクラスタに関連付けられた符号のストリームを受信することと、
    各々がそのレベルで同定される単語の長さを示し、各レベルにおいて同定された単語について統計評価が行われる、１つ以上のレベルを有する階層的学習モデルに基づき、前記ストリーム内の前記符号の組み合わせから単語を判定することと、
    前記評価統計に基づき、統計的有意性を有する単語のうちの１つ以上を同定することとを備える、コンピュータ可読記憶媒体。
  9. 前記動作は、前記統計的有意性を有する単語のうち前記同定された１つ以上と、前記単語のうちの同定された１つ以上の各々に関連付けられた前記統計を出力することをさらに備える、請求項８に記載のコンピュータ可読記憶媒体。
  10. 前記統計的有意性は、単語が前記符号のストリーム内にどの程度の頻度で観察されるかを示すスコアに基づいて判定される、請求項８に記載のコンピュータ可読記憶媒体。
  11. 前記動作は、
    符号の第２のストリームを受信することと、
    前記階層的学習モデルに基づき、前記第２のストリーム内の前記符号の組み合わせから単語を判定することと、
    前記階層的学習モデルを介して、過去に同定された単語の前記統計を更新することとをさらに備える、請求項８に記載のコンピュータ可読記憶媒体。
  12. 前記動作は、
    前記統計的有意性を有する単語のうち前記同定された１つ以上から特徴モデルを生成することをさらに備え、前記特徴モデルは、前記統計的有意性を有する単語のうち前記同定された１つ以上の一般化を含む、請求項８に記載のコンピュータ可読記憶媒体。
  13. 前記特徴モデルを生成することは、
    各符号に関連付けられたベクトルの前記クラスタに関連付けられた特徴を特定することと、
    前記特徴に基づいて、前記符号を一般化することとを備える、請求項１２に記載のコンピュータ可読記憶媒体。
  14. 前記動作は、前記一般化の統計を評価することをさらに備える、請求項１２に記載のコンピュータ可読記憶媒体。
  15. システムであって、
    プロセッサと、
    入力データに基づいて生成された符号の組み合わせから単語のディクショナリを構築するための動作を実施するように構成された１つ以上のアプリケーションプログラムを記憶するメモリとを備え、
    各々が入力データから生成されたベクトルのクラスタに関連付けられた符号のストリームを受信することと、
    各々がそのレベルで同定される単語の長さを示し、各レベルにおいて同定された単語について統計評価が行われる、１つ以上のレベルを有する階層的学習モデルに基づき、前記ストリーム内の前記符号の組み合わせから単語を判定することと、
    前記評価統計に基づき、統計的有意性を有する単語のうちの１つ以上を同定することとを備える、システム。
  16. 前記動作は、前記統計的有意性を有する単語のうち前記同定された１つ以上と、前記単語のうちの同定された１つ以上の各々に関連付けられた前記統計を出力することをさらに備える、請求項１５に記載のシステム。
  17. 前記動作は、
    符号の第２のストリームを受信することと、
    前記階層的学習モデルに基づき、前記第２のストリーム内の前記符号の組み合わせから単語を判定することと、
    前記階層的学習モデルを介して、過去に同定された単語の前記統計を更新することとをさらに備える、請求項１５に記載のシステム。
  18. 前記動作は、前記統計的有意性を有する単語のうち前記同定された１つ以上から特徴モデルを生成することをさらに備え、前記特徴モデルは、前記統計的有意性を有する単語のうち前記同定された１つ以上の一般化を含む、請求項１５に記載のシステム。
  19. 前記特徴モデルを生成することは、
    各符号に関連付けられたベクトルの前記クラスタに関連付けられた特徴を特定することと、
    前記特徴に基づいて、前記符号を一般化することとを備える、請求項１８に記載のシステム。
  20. 前記動作は、前記一般化の統計を評価することをさらに備える、請求項１８に記載のシステム。
JP2017531777A 2014-12-12 2015-12-10 神経言語挙動認識システム用の語彙解析器 Pending JP2018503183A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/569,104 2014-12-12
US14/569,104 US10409909B2 (en) 2014-12-12 2014-12-12 Lexical analyzer for a neuro-linguistic behavior recognition system
PCT/US2015/064931 WO2016094625A1 (en) 2014-12-12 2015-12-10 Lexical analyzer for a neuro-linguistic behavior recognition system

Publications (1)

Publication Number Publication Date
JP2018503183A true JP2018503183A (ja) 2018-02-01

Family

ID=56108164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017531777A Pending JP2018503183A (ja) 2014-12-12 2015-12-10 神経言語挙動認識システム用の語彙解析器

Country Status (6)

Country Link
US (4) US10409909B2 (ja)
EP (1) EP3230897A1 (ja)
JP (1) JP2018503183A (ja)
KR (1) KR102459779B1 (ja)
CN (2) CN113158664A (ja)
WO (1) WO2016094625A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10264099B2 (en) * 2016-03-07 2019-04-16 Cisco Technology, Inc. Method and system for content closures in a content centric network
US11537791B1 (en) 2016-04-05 2022-12-27 Intellective Ai, Inc. Unusual score generators for a neuro-linguistic behavorial recognition system
US20210279633A1 (en) * 2020-03-04 2021-09-09 Tibco Software Inc. Algorithmic learning engine for dynamically generating predictive analytics from high volume, high velocity streaming data
US11557288B2 (en) * 2020-04-10 2023-01-17 International Business Machines Corporation Hindrance speech portion detection using time stamps

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679077A (en) 1984-11-10 1987-07-07 Matsushita Electric Works, Ltd. Visual Image sensor system
US5113507A (en) 1988-10-20 1992-05-12 Universities Space Research Association Method and apparatus for a sparse distributed memory system
US5317507A (en) 1990-11-07 1994-05-31 Gallant Stephen I Method for document retrieval and for word sense disambiguation using neural networks
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
AU6726596A (en) 1995-03-22 1996-10-08 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US7076102B2 (en) 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US5680511A (en) * 1995-06-07 1997-10-21 Dragon Systems, Inc. Systems and methods for word recognition
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5751378A (en) 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US7711672B2 (en) 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6570608B1 (en) 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
EP1224569A4 (en) * 1999-05-28 2005-08-10 Sehda Inc PHRASE BASED DIALOGUE MODELING WITH SPECIAL APPLICATION FOR GENERATING RECOGNITION GRAMMARK FOR LANGUAGE-CONTROLLED USER INTERFACE
US20020032564A1 (en) 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
US7136525B1 (en) 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
US6904402B1 (en) 1999-11-05 2005-06-07 Microsoft Corporation System and iterative method for lexicon, segmentation and language model joint optimization
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US7092871B2 (en) * 2000-07-20 2006-08-15 Microsoft Corporation Tokenizer for a natural language processing system
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
DE10062404A1 (de) * 2000-12-14 2002-06-27 Infineon Technologies Ag Vorrichtung und Verfahren zum Reduzieren der Anzahl von Adressen fehlerhafter Speicherzellen
US7003444B2 (en) 2001-07-12 2006-02-21 Microsoft Corporation Method and apparatus for improved grammar checking using a stochastic parser
US8799776B2 (en) * 2001-07-31 2014-08-05 Invention Machine Corporation Semantic processor for recognition of whole-part relations in natural language documents
WO2003034281A1 (en) * 2001-10-19 2003-04-24 Intel Zao Method and apparatus to provide a hierarchical index for a language model data structure
NO316480B1 (no) 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
US20030107650A1 (en) 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Surveillance system with suspicious behavior detection
US7333966B2 (en) * 2001-12-21 2008-02-19 Thomson Global Resources Systems, methods, and software for hyperlinking names
US20060165386A1 (en) 2002-01-08 2006-07-27 Cernium, Inc. Object selective video recording
US7421660B2 (en) 2003-02-04 2008-09-02 Cataphora, Inc. Method and apparatus to visually present discussions for data mining purposes
CA2475267C (en) 2002-02-04 2014-08-05 Cataphora, Inc. A method and apparatus for sociological data mining
US7519589B2 (en) * 2003-02-04 2009-04-14 Cataphora, Inc. Method and apparatus for sociological data analysis
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6856249B2 (en) 2002-03-07 2005-02-15 Koninklijke Philips Electronics N.V. System and method of keeping track of normal behavior of the inhabitants of a house
US8015143B2 (en) 2002-05-22 2011-09-06 Estes Timothy W Knowledge discovery agent system and method
US7006128B2 (en) 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
US7017186B2 (en) * 2002-07-30 2006-03-21 Steelcloud, Inc. Intrusion detection system using self-organizing clusters
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7200266B2 (en) 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20040088723A1 (en) 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7171358B2 (en) * 2003-01-13 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Compression of language model structures and word identifiers for automated speech recognition systems
US6999600B2 (en) 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7026979B2 (en) 2003-07-03 2006-04-11 Hrl Labortories, Llc Method and apparatus for joint kinematic and feature tracking using probabilistic argumentation
US7735647B2 (en) * 2003-07-10 2010-06-15 C. Raker & Sons, Inc. Shipping cradle for trays of seedlings and the like
US7421386B2 (en) * 2003-10-23 2008-09-02 Microsoft Corporation Full-form lexicon with tagged data and methods of constructing and using the same
US7127083B2 (en) 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US20050131872A1 (en) * 2003-12-16 2005-06-16 Microsoft Corporation Query recognizer
EP1589716A1 (en) 2004-04-20 2005-10-26 Ecole Polytechnique Fédérale de Lausanne (EPFL) Method of detecting anomalous behaviour in a computer network
US7499588B2 (en) * 2004-05-20 2009-03-03 Microsoft Corporation Low resolution OCR for camera acquired documents
US20060018516A1 (en) 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
EP2602742A1 (en) 2004-07-30 2013-06-12 Euclid Discoveries, LLC Apparatus and method for processing video data
JP2006080437A (ja) 2004-09-13 2006-03-23 Intel Corp マスク・ブランクス検査方法及びマスク・ブランク検査ツール
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US7574409B2 (en) 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
WO2006048998A1 (ja) 2004-11-05 2006-05-11 Intellectual Property Bank Corp. キーワード抽出装置
US7620266B2 (en) 2005-01-20 2009-11-17 International Business Machines Corporation Robust and efficient foreground analysis for real-time video surveillance
US20060190419A1 (en) 2005-02-22 2006-08-24 Bunn Frank E Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system
EP1859411B1 (en) 2005-03-17 2010-11-03 BRITISH TELECOMMUNICATIONS public limited company Tracking objects in a video sequence
AU2006230361A1 (en) 2005-03-30 2006-10-05 Cernium Corporation Intelligent video behavior recognition with multiple masks and configurable logic inference module
US7636730B2 (en) 2005-04-29 2009-12-22 Battelle Memorial Research Document clustering methods, document cluster label disambiguation methods, document clustering apparatuses, and articles of manufacture
US7825954B2 (en) 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US7672865B2 (en) * 2005-10-21 2010-03-02 Fair Isaac Corporation Method and apparatus for retail data mining using pair-wise co-occurrence consistency
US7822699B2 (en) 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
EP2013823A1 (en) 2006-03-28 2009-01-14 The University Court Of The University Of Edinburgh A method for automatically characterizing the behavior of one or more objects
US20070250898A1 (en) 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US8467570B2 (en) 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
US8401841B2 (en) * 2006-08-31 2013-03-19 Orcatec Llc Retrieval of documents using language models
US20100293048A1 (en) 2006-10-19 2010-11-18 Taboola.Com Ltd. Method and system for content composition
US20080109454A1 (en) 2006-11-03 2008-05-08 Willse Alan R Text analysis techniques
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US8131012B2 (en) * 2007-02-08 2012-03-06 Behavioral Recognition Systems, Inc. Behavioral recognition system
US8358342B2 (en) 2007-02-23 2013-01-22 Johnson Controls Technology Company Video processing systems and methods
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US8601575B2 (en) 2007-03-30 2013-12-03 Ca, Inc. Statistical method and system for network anomaly detection
US7813528B2 (en) 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene
US8411935B2 (en) * 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
US8064639B2 (en) 2007-07-19 2011-11-22 Honeywell International Inc. Multi-pose face tracking using multiple appearance models
EP2019383A1 (en) * 2007-07-25 2009-01-28 Dybuster AG Device and method for computer-assisted learning
US20090094064A1 (en) * 2007-10-09 2009-04-09 Michael Tyler Healthcare Insurance Claim Fraud and Error Detection Using Co-Occurrence
WO2009049314A2 (en) 2007-10-11 2009-04-16 Trustees Of Boston University Video processing system employing behavior subtraction between reference and observed video image sequences
EP2093698A1 (en) 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
US8452108B2 (en) 2008-06-25 2013-05-28 Gannon Technologies Group Llc Systems and methods for image recognition using graph-based pattern matching
US8355896B2 (en) * 2008-09-02 2013-01-15 Fair Isaac Corporation Co-occurrence consistency analysis method and apparatus for finding predictive variable groups
US8121968B2 (en) 2008-09-11 2012-02-21 Behavioral Recognition Systems, Inc. Long-term memory in a video analysis system
US8150624B2 (en) 2008-11-11 2012-04-03 Northrop Grumman Systems Corporation System and method for tracking a moving person
US9373055B2 (en) 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US20100179838A1 (en) * 2009-01-15 2010-07-15 Nitin Basant Healthcare service provider insurance claim fraud and error detection using co-occurrence
US8504374B2 (en) * 2009-02-02 2013-08-06 Jerry Lee Potter Method for recognizing and interpreting patterns in noisy data sequences
US8719302B2 (en) * 2009-06-09 2014-05-06 Ebh Enterprises Inc. Methods, apparatus and software for analyzing the content of micro-blog messages
US8270732B2 (en) 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
JP5382651B2 (ja) 2009-09-09 2014-01-08 独立行政法人情報通信研究機構 単語対取得装置、単語対取得方法、およびプログラム
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US20120137367A1 (en) * 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
US8452763B1 (en) 2009-11-19 2013-05-28 Google Inc. Extracting and scoring class-instance pairs
US8209567B2 (en) * 2010-01-28 2012-06-26 Hewlett-Packard Development Company, L.P. Message clustering of system event logs
US8463756B2 (en) * 2010-04-21 2013-06-11 Haileo, Inc. Systems and methods for building a universal multimedia learner
US8316030B2 (en) 2010-11-05 2012-11-20 Nextgen Datacom, Inc. Method and system for document classification or search using discrete words
WO2012116208A2 (en) * 2011-02-23 2012-08-30 New York University Apparatus, method, and computer-accessible medium for explaining classifications of documents
US8620875B2 (en) * 2011-07-25 2013-12-31 Salesforce.Com, Inc. Fraud analysis in a contact database
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9147129B2 (en) * 2011-11-18 2015-09-29 Honeywell International Inc. Score fusion and training data recycling for video classification
US8542135B2 (en) 2011-11-24 2013-09-24 International Business Machines Corporation Compression algorithm incorporating automatic generation of a bank of predefined huffman dictionaries
HUE030528T2 (en) 2012-03-15 2017-05-29 Cortical Io Gmbh Process, equipment and product for semantic processing of texts
US9111613B2 (en) * 2012-07-12 2015-08-18 The Regents Of The University Of Michigan Adaptive reading of a resistive memory
US8762134B2 (en) * 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US9582722B2 (en) * 2012-08-31 2017-02-28 Xerox Corporation Video-based vehicle speed estimation from motion vectors in video streams
US9195829B1 (en) 2013-02-23 2015-11-24 Fireeye, Inc. User interface with real-time visual playback along with synchronous textual analysis log display and event/time index for anomalous behavior detection in applications
US9418142B2 (en) * 2013-05-24 2016-08-16 Google Inc. Overlapping community detection in weighted graphs
EP3031004A4 (en) * 2013-08-09 2016-08-24 Behavioral Recognition Sys Inc SECURITY OF COGNITIVE INFORMATION USING BEHAVIOR RECOGNITION SYSTEM
WO2015028844A1 (en) * 2013-08-29 2015-03-05 Arria Data2Text Limited Text generation from correlated alerts
GB2519941B (en) * 2013-09-13 2021-08-25 Elasticsearch Bv Method and apparatus for detecting irregularities on device
US10002177B1 (en) * 2013-09-16 2018-06-19 Amazon Technologies, Inc. Crowdsourced analysis of decontextualized data
CN104035917B (zh) 2014-06-10 2017-07-07 复旦大学 一种基于语义空间映射的知识图谱管理方法和系统
US9565203B2 (en) 2014-11-13 2017-02-07 Cyber-Ark Software Ltd. Systems and methods for detection of anomalous network behavior
US9672203B1 (en) * 2014-12-01 2017-06-06 Amazon Technologies, Inc. Calculating a maturity level of a text string
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US20170293608A1 (en) * 2016-04-06 2017-10-12 Omni Ai, Inc. Unusual score generators for a neuro-linguistic behavioral recognition system

Also Published As

Publication number Publication date
US20240070388A1 (en) 2024-02-29
CN113158664A (zh) 2021-07-23
US11017168B2 (en) 2021-05-25
CN107111609A (zh) 2017-08-29
EP3230897A1 (en) 2017-10-18
US10409909B2 (en) 2019-09-10
KR102459779B1 (ko) 2022-10-28
CN107111609B (zh) 2021-02-26
US11847413B2 (en) 2023-12-19
US20200193091A1 (en) 2020-06-18
WO2016094625A1 (en) 2016-06-16
US20160170964A1 (en) 2016-06-16
KR20170097092A (ko) 2017-08-25
US20220012422A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
US11991194B2 (en) Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
CN107003992B (zh) 用于神经语言行为识别系统的感知联想记忆
US20240071037A1 (en) Mapper component for a neuro-linguistic behavior recognition system
JP2018503183A (ja) 神経言語挙動認識システム用の語彙解析器
US12032909B2 (en) Perceptual associative memory for a neuro-linguistic behavior recognition system