CN107003992A - 用于神经语言行为识别系统的感知联想记忆 - Google Patents

用于神经语言行为识别系统的感知联想记忆 Download PDF

Info

Publication number
CN107003992A
CN107003992A CN201580067476.XA CN201580067476A CN107003992A CN 107003992 A CN107003992 A CN 107003992A CN 201580067476 A CN201580067476 A CN 201580067476A CN 107003992 A CN107003992 A CN 107003992A
Authority
CN
China
Prior art keywords
word
stream
occurrence
fraction
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580067476.XA
Other languages
English (en)
Other versions
CN107003992B (zh
Inventor
萧铭俊
徐刚
杨韬
W·K·科布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Artificial Intelligence Co ltd
Original Assignee
All Round Artificial Intelligence Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by All Round Artificial Intelligence Ltd By Share Ltd filed Critical All Round Artificial Intelligence Ltd By Share Ltd
Priority to CN202110367415.2A priority Critical patent/CN113255333A/zh
Publication of CN107003992A publication Critical patent/CN107003992A/zh
Application granted granted Critical
Publication of CN107003992B publication Critical patent/CN107003992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0409—Adaptive resonance theory [ART] networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

公开了用于生成从一个或多个源获得的输入数据的神经语言模型的句法的技术。接收从符号序列构建的词典的单词流。符号从自输入数据生成的标准化向量的有序流生成。评估在流中共现的单词的组合的统计信息。统计信息包括单词的组合共现的频率。基于所评估的统计信息更新单词的组合的模型。模型识别统计相关的单词。生成连接图。连接图中的每个节点表示流中的单词之一。连接节点的边表示流中的单词之间的概率关系。基于连接图来识别短语。

Description

用于神经语言行为识别系统的感知联想记忆
技术领域
本文描述的实施例一般而言涉及数据分析系统，并且更具体而言涉及构建从一个或多个数据源获得的输入数据的神经语言模型。
背景技术
许多当前可用的监控和监视系统(例如，视频监控系统、SCADA系统等)被训练成观察具体活动并且在检测到这些活动之后向管理员发出警报。
然而，这种基于规则的系统需要提前了解要观察的动作和/或对象。这些活动可以被硬编码到底层应用中，或者系统可以基于任何提供的定义或规则对自己进行训练。换句话说，除非底层代码包括对某些行为或规则的描述以用于为给定的观察结果生成警报，否则系统不能识别这些行为。这种基于规则的方法是死板的。即，除非给定的行为符合预定义的规则，否则该行为的发生可能不会被监视系统检测到。即使系统训练自己来识别行为，系统也需要为要识别的行为提前定义规则。
此外，许多监控系统(例如，视频监控系统)需要大量的计算资源，包括处理器能力、存储和带宽。例如，由于视频数据的典型尺寸，典型的视频监控系统每相机馈送需要大量的计算资源。考虑到资源的成本，这些系统难以扩展。
发明内容
本文给出的一个实施例包括用于生成从一个或多个源获得的输入数据的神经语言模型的句法(syntax)的方法。该方法一般地包括接收从符号序列构建的词典的单词的流。符号从自输入数据生成的标准化向量的有序流生成。评估在流中共现(co-curring)的单词的组合的统计信息。统计信息包括单词的组合共现的频率。基于所评估的统计信息更新单词的组合的模型。该模型识别统计相关的单词。生成连接图。连接图中的每个节点表示流中的单词之一。连接节点的边表示流中的单词之间的概率关系。基于连接图来识别短语。
本文给出的另一个实施例包括存储指令的计算机可读存储介质，当指令在处理器上执行时，执行生成从一个或多个源获得的输入数据的神经语言模型的句法的操作。该操作本身一般地包括接收从符号序列构建的词典的单词流。符号从自输入数据生成的标准化向量的有序流生成。评估在流中共现的单词的组合的统计信息。统计信息包括单词的组合共现的频率。基于所评估的统计信息更新单词的组合的模型。该模型识别统计相关的单词。生成连接图。连接图中的每个节点表示流中的单词之一。连接节点的边表示流中的单词之间的概率关系。基于连接图来识别短语。
本文给出的还有的另一个实施例包括具有处理器和存储器的系统，存储器存储一个或多个应用程序，这一个或多个应用程序被配置为执行用于生成从一个或多个源获得的输入数据的神经语言学模型的句法的操作。该操作本身一般地包括接收从符号序列构建的词典的单词流。符号从自输入数据生成的标准化向量的有序流生成。评估在流中共现的单词的组合的统计信息。统计信息包括单词的组合共现的频率。基于所评估的统计信息更新单词的组合的模型。该模型识别统计相关的单词。生成连接图。连接图中的每个节点表示流中的单词之一。连接节点的边表示流中的单词之间的概率关系。基于连接图来识别短语。
附图说明
因此，可以详细理解本公开的上述特征的方式、对以上简要概括的本公开的更具体的描述可以通过参考实施例而获得，其中一些实施例在附图中示出。然而，应当注意的是，附图仅仅示出示例性实施例，并且因此不应当被认为是限制其范围，可以承认其它同等有效的实施例。
图1示出根据一个实施例的用于神经语言行为识别系统的示例计算环境。
图2示出根据一个实施例的神经语言行为识别系统的系统体系架构。
图3示出根据一个实施例的用于收集在神经语言行为识别系统中使用的传感器数据的方法。
图4示出根据一个实施例的用于初始化感知联想记忆的方法。
图5示出根据一个实施例的表示从词典输入到感知联想记忆中的单词之间的关系的连接图。
图6示出根据一个实施例的用于向认知模块发送句法的方法。
为了便于理解，在可能的情况下，使用相同的标号来指明对各图共同的相同元件。可以设想的是，一个实施例的元件和特征可以有利地并入其它实施例中，而无需进一步的叙述。
具体实施方式
本文给出的实施例描述了行为识别系统。行为识别系统可以配置有从不同数据源收集原始数据值(例如，视频数据、构建管理数据、SCADA数据)的一个或多个数据收集器组件。例如，行为识别系统可以被配置用于视频监控。行为识别系统可以包括实时取回视频帧、将前景对象与背景对象分离、并且逐帧跟踪前景对象的数据收集器组件。数据收集器组件可以将视频帧数据标准化为数值(例如，相对于给定数据类型落入从0到1的范围内)。
在一个实施例中，行为识别系统包括对收集到的数据执行基于神经网络的语言分析的神经语言模块。具体而言，对于由传感器监视的每种类型的数据，神经语言模块创建并细化标准化数据的语言模型。即，神经语言模块构建用于描述标准化数据的语法(grammer)。语言模型包括充当语法的构建块的符号。神经语言模块识别符号的组合以构建单词的词典。一旦词典被构建，神经语言模块就识别包括词典中的单词的各种组合的短语(phrase)。行为识别系统使用这种语言模型来描述正在观察什么。语言模型允许行为识别系统区分输入数据中观察到的正常活动和异常活动。因此，每当异常活动发生时，行为识别系统可以发出警报。
为了生成语言模型，神经语言模块接收标准化数据值并将这些数据组织成簇(cluster)。神经语言模块评估每个簇的统计信息，并且识别统计相关(statisticallyrelevant)的簇。此外，神经语言模块生成对应于每个统计相关的簇的符号(例如，字母(letter))。因此，映射到给定簇的输入值可以对应于符号。
基于在输入数据中识别出的符号的统计分布，神经语言模块生成观察到的符号组合的词汇表(lexicon)(即，构建单词(word)的词典)。具体而言，神经语言模块可以识别输入数据中不同发生频率的符号模式。此外，神经语言模块可以识别不同长度(例如，从一个符号到最大符号单词长度)的统计相关的符号组合。神经语言模块可以将这种统计相关的符号组合包括在词典中，用于识别用于语言模型的短语。
使用来自词典的单词，神经语言模块基于在观察到附加数据时每个单词相对于其它单词顺次出现的概率关系生成短语。例如，神经语言模块可以识别与给定的四个字母的单词频繁顺次出现的给定的三个字母的单词之间的关系，等等。神经语言模块基于识别出的短语来确定句法(syntax)。
句法允许行为识别系统在没有预定义的活动的帮助或指导的情况下学习、识别和辨别行为模式。与基于规则的监控系统(其包含要识别或观察的内容的预定义的模式)不同，行为识别系统通过对输入进行概括(generalize)以及构建所观察到的内容的行为记忆来学习模式。随着时间的推移，行为识别系统使用这些记忆来区分观察到的数据中反映的正常行为和异常行为。
例如，神经语言模块构建字母、单词、短语，并且为每个识别出的字母、单词或短语估计“罕见性分数”。(在输入数据中观察到的字母、单词或短语的)罕见性分数提供对该字母、单词或短语相对于过去的观察结果有多不频繁地出现的度量。因此，行为识别系统可以使用罕见性分数来度量当前句法相对于稳定的符号(即，字母)模型、从符号构建的稳定的单词模型(即，词典)以及从单词构建的稳定的短语模型(即，句法)(统称为神经语言模型)有多罕见。
随着神经语言模块继续接收输入数据，神经语言模块可以衰减、加强以及生成字母模型、单词模型和句法模型。按机器学习领域的说法，神经语言模块在接收到新的数据并且给定类型的输入数据的出现增加、减少、出现或消失时进行“在线学习”。
图1示出根据一个实施例的行为识别系统100的组件。如所示的，行为识别系统100包括一个或多个输入源设备105、网络110以及一个或多个计算机系统115。网络110可以将由源设备105输入的数据传送到计算机系统115。一般而言，计算环境100可以包括经由网络(例如，互联网)连接的一个或多个物理计算机系统115。可替代地，计算机系统115可以是由网络连接的云计算资源。说明性地，计算机系统115包括一个或多个中央处理单元(CPU)120、一个或多个图形处理单元(GPU)121、网络和I/O接口122、存储装置124(例如，磁盘驱动器、光盘驱动器等)以及存储器123，存储器123包括传感器管理模块130、感测记忆组件135和机器学习引擎140。存储装置124包括模型储存库145。
CPU 120取回并执行存储在存储器123中的编程指令，以及存储和取回驻留在存储装置124中的应用数据。在一个实施例中，GPU 121实现计算统一设备体系架构(ComputeUnified Device Architecture，CUDA)。此外，GPU 121被配置为使用GPU 121的并行吞吐量体系架构提供通用处理，以更高效地取回和执行存储在存储器123中的编程指令以及还存储和取回驻留在存储装置124中的应用数据。并行吞吐量体系架构提供数千个核心用于处理应用和输入数据。因此，GPU 121利用数千个核心以大规模并行方式执行读操作和写操作。利用GPU 121的并行计算元件允许行为识别系统100更好地处理大量的传入数据(例如，来自视频和/或音频源的输入)。因此，行为识别系统100可以以相对较小的难度进行扩展。
传感器管理模块130提供一个或多个数据收集器组件。收集器组件中的每一个与特定输入数据源(例如，视频源、SCADA(监督控制和数据采集)源、音频源等)相关联。收集器组件以指定的时间间隔(例如，每分钟一次、每三十分钟一次、每三十秒一次等)从每个源取回(或接收，取决于传感器)输入数据。传感器管理模块130控制数据源之间的通信。此外，传感器管理模块130对输入数据进行标准化，并将标准化数据发送到感测记忆组件135。
感测记忆组件135是将大量数据从传感器管理模块130转移到机器学习引擎140的数据存储库。感测记忆组件135将数据存储为记录。每个记录可以包括标识符、时间戳和数据有效载荷。此外，感测记忆组件135以时间排序的方式聚合传入数据。将来自数据收集器组件中的每一个的传入数据存储在数据可在其中聚合的单个位置中允许机器学习引擎140高效地处理数据。此外，计算机系统115可以在生成用于异常活动的警报中参考存储在感测记忆组件135中的数据。在一个实施例中，感测记忆组件135可以经由存储器123中的虚拟存储器文件系统来实现。在另一个实施例中，使用键-值共享来实现感测记忆组件135。
机器学习引擎140接收从传感器管理模块135输出的数据。一般而言，机器学习引擎140的组件生成标准化向量的语言表示。如下面进一步描述的，为了这样做，机器学习引擎140对具有相似特征的标准化值进行簇集(cluster)，并向每个簇分配不同的符号。机器学习引擎140然后可以识别数据中重现的符号组合(即，单词)。然后，机器学习引擎140类似地识别数据中重现的单词组合(即，短语)。
然而，要注意的是，图1仅仅示出行为识别系统100的一个可能的布置。例如，虽然输入数据源105被示为经由网络110连接到计算机系统115，但是并不总是存在或需要网络110(例如，诸如视频相机的输入源可以直接连接到计算机系统115)。
图2示出根据一个实施例的行为识别系统的系统体系架构。如所示的，传感器管理模块130和机器学习引擎140经由持久层210进行通信。
持久层210包括维护由计算机系统115的组件使用的信息的数据存储库。例如，持久层210包括维护描述数据收集器模块202的属性、系统属性(例如，计算机系统115的序列号、可用存储器、可用容量等)以及源驱动器的属性(例如，与每个数据源相关联的活动传感器、活动插件118、标准化设置等)的信息的数据存储库。其它数据存储库可以维护学习模型信息、系统事件和行为警报。此外，感测记忆组件135驻留在持久层210中。
机器学习引擎140本身包括神经语言模块215和认知模块225。神经语言模块215执行对标准化输入数据的基于神经网络的语言分析，以构建观察到的输入数据的神经语言模型。行为识别系统可以使用语言模型来描述后续观察到的活动。然而，神经语言模块215不是基于预定义的对象和动作来描述活动，而是基于从输入数据生成的符号、单词和短语来开发自定义语言。如所示的，神经语言模块215包括数据事务存储器(DTM)组件216、分类分析器组件217、映射器组件218、词法分析器组件219和感知联想记忆(PAM)组件220。
在一个实施例中，DTM组件216从感测记忆组件135取回输入数据的标准化向量，并在由GPU 121提供的流水线体系架构中对输入数据进行分级(stage)。分类分析器组件217评估由DTM组件216组织的标准化数据并将数据映射到神经网络上。在一个实施例中，神经网络是自组织映射(self-organizing map，SOM)和自适应共振理论(adaptive resonancetheory，ART)网络的组合。
映射器组件218基于彼此关联地重复出现的值对数据流进行簇集。此外，映射器组件218为每个输入特征生成簇集合。例如，假设输入数据对应于视频数据，那么特征可以包括位置、速度、加速度等。映射器组件218将为这些特征中的每一个生成单独的簇集合。映射器组件218基于簇集的输入数据来识别符号(即，构建字母的字母表)。具体而言，映射器组件218确定数据在每个簇中的统计分布。例如，映射器组件218确定值在簇中的分布的均值、方差和标准偏差。当更多的标准化数据被接收时，映射器组件218还更新这些统计信息。此外，每个簇可以与统计显著性分数相关联。给定簇的统计显著性随着接收到映射到该簇的更多数据而增加。此外，当映射器组件218随着时间的推移较不经常地观察到映射到簇的数据时，映射器组件218使该簇的统计显著性衰减。
在一个实施例中，映射器组件218将符号集合分配给具有统计显著性的簇。如果超过了映射到簇的输入数据的阈值量，那么该簇可以具有统计显著性。符号可以被描述为用于创建在对输入数据的神经语言分析中使用的单词的字母表的字母。符号提供属于给定簇的数据的“模糊”表示。
此外，映射器组件218是自适应的。即，随着从标准化数据生成的新簇随时间的推移被加强(从而导致这些簇相对于从输入数据显现的其它簇达到统计显著性的级别)，映射器组件218可以识别与这些簇对应的新符号。映射器组件218在线学习，并且可以将相似的观察结果合并成更概括的簇。映射器组件218可以向结果得到的簇分配不同的符号。
一旦簇已经达到统计显著性(即，观察到的作为映射到该簇的数据已经达到点数的阈值量)，映射器组件219就响应于映射到该簇的标准化数据开始向词法分析器组件219发送对应的符号。在一个实施例中，映射器组件218将可以被发送到词法组件219的符号限制到统计上最显著的簇。在实践中，输出分配给前32个簇的符号(即，字母)已表明是有效的。然而，其它数量(诸如前64个或前128个最频繁重现的簇)也可以证明是有效的。注意的是，随着时间的推移，最频繁观察到的符号可能由于簇的统计显著性的增加(或减少)而改变。因此，给定的簇有可能失去统计显著性。随着时间的推移，用于统计显著性的阈值可能增加，并且因此，如果观察到的映射到给定簇的数据的量不能满足阈值，那么该簇失去统计显著性。
在一个实施例中，映射器组件218评估每个符号的罕见性分数。罕见性分数基于随着时间的推移给定符号相对于输入数据流中观察到的其它符号的频率。随着神经语言模块215接收到附加的数据，罕见性分数可以随时间推移而增加或减少。
映射器组件218向词法分析器组件219发送符号(例如，字母)流、时间戳数据、罕见性分数和统计数据(例如，与给定符号相关联的簇的表示)。词法分析器组件219基于从映射器组件218输出的符号构建词典。在实践中，映射器组件218可能需要大约5000个观察结果(即，输入数据的标准化向量)以生成稳定的符号字母表。
词法分析器组件219从由映射器组件218传送的符号构建包括共现(co-occuring)符号的组合(例如，单词)的词典。词法分析器组件219识别从映射器组件218输出的字母和特征的重复共现并且计算该共现在整个符号流中出现的频率。符号的组合可以表示特定的活动、事件等。
在一个实施例中，词法分析器组件219限制词典中单词的长度，以允许词法分析器组件219识别若干可能的组合而不会不利地影响计算机系统115的性能。此外，词法分析器组件219可以使用基于级别的学习模型来分析符号组合以及学习单词。词法分析器组件219在递增的级别处学习单词直到最大符号组合长度，即，其中在第一级别处学习一个字母的单词，在第二级别处学习两个字母的单词，等等。在实践中，将单词限制为最多五个或六个符号已表明是有效的。
类似于映射器组件218，词法分析器组件219是自适应的。即，随着时间的推移，词法分析器组件219可以学习并生成词典中的单词。当词法分析器组件219随着时间的推移接收到后续的符号流时，词法分析器组件219还可以使词典中的单词的统计显著性加强或衰减。此外，词法分析器组件219可以基于单词在数据中有多频繁地重现来确定每个单词的罕见性分数。随着神经语言模块215处理附加的数据，罕见性分数可以随时间的推移而增加或减少。
此外，当附加的观察结果(即，符号)被传递到词法分析器组件219并被识别为是给定的单词的一部分时，词法分析器组件219可以确定该单词模型已经成熟。一旦单词模型已经成熟，词法分析器组件219就可以将模型中的这些单词的观察结果输出到PAM组件219。在一个实施例中，词法分析器组件219将被发送到PAM组件320的单词限制为统计上最相关的单词。在实践中，对于每个单个样本，输出前32个最频繁出现的单词的出现已表明是有效的(而存储在模型中的最频繁出现的单词可以数量达到数千个单词)。注意的是，随着时间的推移，最频繁观察到的单词可能由于传入字母的观察结果的频率变化(或者由于映射器组件218对输入数据进行簇集而显现新的字母)而改变。
一旦词法分析器组件219已经构建词典(即，识别出已经达到预定义的统计显著性的单词)，词法分析器组件219就将在输入流中后续观察到的单词的出现发送到PAM组件220。PAM组件220从由词法分析器组件219输出的单词构建短语的句法。在实践中，词法分析器组件219可以在接收到大约15000个观察结果(即，来自映射器组件218的输入字母)之后构建出有用的单词词典。
PAM组件220基于从词法分析器组件219输出的单词的序列来识别短语的句法。具体而言，PAM组件220接收由词法分析器组件219识别出的单词、生成连接图，其中图的节点表示单词，并且边表示单词之间的关系。PAM组件220可以基于单词在数据流中彼此连接的频率使链接加强或衰减。
类似于映射器组件218和词法分析器组件219，PAM组件220基于短语在语言数据中有多频繁地重现来确定每个识别出的短语的罕见性分数。随着神经语言模块215处理附加的数据，罕见性分数可以随着时间的推移而增加或减少。
类似于词法分析器组件219，PAM组件220可以限制给定短语的长度，以允许PAM组件220能够识别若干可能的组合而不会不利地影响计算机系统115的性能。
PAM组件220通过从词法分析器组件219输出的单词的观察结果来识别句法短语。随着单词的观察结果累积，PAM组件220可以确定给定的短语已经成熟，即，短语已经达到统计相关性的度量。PAM组件220然后将该短语的观察结果输出到认知模块225。PAM组件220将包括符号流、单词、短语、时间戳数据、罕见性分数和统计计算结果的数据发送到认知模块325。在实践中，PAM组件220可以在从词法分析器组件219观察到大约5000个单词之后获得有意义的短语集合。
在成熟之后，生成的字母、单词和短语形成输入数据的稳定神经语言模型，计算机系统115使用该模型将字母、单词和短语的后续观察结果与稳定模型进行比较。当接收到新的数据时，神经语言模块215更新语言模型。此外，神经语言模块215可以将当前观察到的句法与模型进行比较。即，在构建稳定的字母集合之后，神经语言模块215可以构建稳定的单词模型(例如，词典)。继而，神经语言模块215可以用于构建稳定的短语模型(例如，句法)。此后，当神经语言模块215后续接收到标准化数据时，模块215可以输出符号、单词和短语的有序流，所有这些可以与稳定模型进行比较，以识别感兴趣的模式或检测在输入数据流中出现的偏差。
如所示的，认知模块226包括工作空间226、语义记忆(sematic memory)230、小代码(codelet)模板235、情景记忆(episodic memory)240、长期记忆(long term memory)245和异常检测组件250。情景记忆230存储上述的稳定神经语言模型，即，来自映射器组件218、词法分析器组件219以及PAM组件220的稳定副本。
在一个实施例中，工作空间226为机器学习引擎140提供计算引擎。工作空间226执行计算(例如，异常建模计算)并存储来自计算的中间结果。
工作空间226从PAM组件220取回神经语言数据，并根据需要将该数据传播(disseminate)到认知模块225的不同部分。
情景记忆240存储与刚过去的特定情景相关的语言观察结果，并且可以对诸如特定事件的“内容(what)”以及“时间(when)”之类的具体细节进行编码。
长期记忆245存储语言数据的概括结果(generalization)，其中特定的情景细节被剥离。以这种方式，当出现新的观察结果时，来自情景记忆240和长期记忆245的记忆可以用于关联和理解当前事件，即，可以将新的事件与(如由先前观察到的语言数据表示的)过去的经验进行比较，从而导致存储在长期记忆245中的信息随着时间的推移而加强、衰减和调整。在特定实施例中，长期记忆245可以被实现为ART网络和稀疏分布的记忆数据结构。然而，重要的是，这种方法不需要提前定义事件。
小代码模板235提供可执行的小代码或小代码片段的汇集，这些可执行的小代码或小代码片段评估不同的事件序列以确定一个序列可以如何跟随(或以其它方式关联到)另一个序列。小代码模板325可以包括确定性小代码以及随机性小代码。更一般而言，小代码可以从输入数据的语言表示中检测感兴趣的模式。例如，小代码可以将当前观察结果(即，具有过去已经观察到的内容的当前短语实例)与存储在语义记忆230中的先前观察到的活动进行比较。通过重复调度小代码以用于执行、将记忆和知觉复制到工作空间226/从工作空间226复制记忆和知觉，认知模块225执行用于观察和学习在语言数据内出现的行为模式的认知循环。
异常检测组件250评估由神经语言模块215发送的罕见性分数，以确定是否响应于由罕见性分数指示的一些异常活动而发出警报。具体而言，异常检测组件250提供表示罕见性分数的概率直方图模型(例如，罕见词汇表分数模型、罕见句分数法模型和异常模型)。罕见词汇表分数模型和罕见句法分数模型是基于从词法分析器组件219和PAM组件220发送的罕见性分数而生成的。异常模型从罕见词汇表分数模型和罕见句法分数模型接收输入百分位数(percentiles)，并基于这些百分位数生成绝对的罕见性分数。异常检测组件250评估这些分数并确定是否基于给定的分数发送警报。异常检测组件250可以向输出设备发送警报数据，管理员可以例如经由管理控制台在该输出设备处查看警报。
认知模块225通过将新观察结果与保留在语义记忆230中的稳定神经语言模型中的习得模式进行比较并且然后估计这些新观察结果的稀有性来对输送给语义记忆230的语言内容(即，识别出的符号、单词、短语)执行学习分析。
具体而言，异常检测组件250评估符号、单词和短语中的每一个的罕见性分数，以识别观察到的数据中的异常出现。一旦已经识别出异常观察结果，异常组件就可以发出警报(例如，通知计算机系统115的用户或管理员)。
图3示出根据一个实施例的用于收集用在神经语言行为识别系统中的传感器数据的方法300。更具体而言，方法300描述用于数据收集器从相关联的输入设备取回数据并将数据发送到神经语言模块215的方法。针对此示例，假设数据收集器模块202是以给定的帧速率捕捉图像数据的视频源。当然，可以使用各种数据收集器组件202。
方法300在步骤305处开始，其中数据收集器模块202从源输入设备取回(或接收)数据。在这种情况下，数据收集器模块202可以从视频源(诸如被定位成观察诸如宾馆大厅的特定位置的视频相机)取回视频帧。此外，数据收集器模块202识别要发送到感测记忆组件135的数据值。为了这样做，数据收集器模块202可以评估视频帧以将前景对象与背景对象分离、测量识别出的前景对象的外观和运动信息，并且跟踪横跨场景(即，相机的视野)移动的前景对象。因此，数据收集器模块202生成描述视频帧中描绘的对象的外观和运动方面的特征的数据值集合。
在步骤310处，数据收集器模块202将每个数据值相对于该数据值的类型标准化为落入在范围内(例如，在0到1之间，包括0和1)的数值。例如，与运动特征相关联的值相对于与运动特征相关联的其它值被标准化为从0到1。这样做将每个值转换成公共格式并且允许神经语言模块215辨识视频流中的重现事件。
在对值进行标准化之后，在步骤315处，数据收集器模块202识别与标准化值相关联的附加数据，诸如给定值的时间戳、与值的数据类型(例如，运动特征、外观特征、地点、位置等)相关联的平均值、以及该数据类型的历史高值和历史低值。这样做允许数据收集器模块202在视频源被修改的情况下重新调整标准化。具体而言，数据收集器模块202参考识别出的历史值和平均值来重新调整标准化。
在步骤320处，数据收集器模块202将标准化值的向量和相关联的数据发送到感测记忆组件135。如所述的，感测记忆组件135存储标准化值和相关联的数据。然后，神经语言模块215可以从感测记忆组件135取回标准化值并在此后执行语言分析。
图4示出根据一个实施例的用于初始化PAM组件220的方法400。方法400在步骤405处开始，其中PAM组件220接收来自词法分析器组件219的单词的观察结果的流。如所述的，词法分析器组件219通过评估映射器组件218输出的符号的分组的统计频率来生成单词。当符号分组(再次地，是单词)出现时，词法分析器组件219识别统计相关的符号组合(即，单词)，并将单词输出到PAM组件220。如所述的，符号、单词和短语被识别，以构建符号、单词和短语在流中被共同观察到(即，统计相关)的频率的统计模型。
在步骤410处，PAM组件220评估共现单词的统计信息。这种统计信息可以包括PAM组件220有多经常地观察到每个单词与其它单词共现。在一个实施例中，统计信息可以包括统计显著性分数，该统计显著性分数是根据给定单词与由词法分析器组件219传入的另一个单词有多频繁地共现而确定的。为了确定每个单词有多频繁地与其它单词一起被观察到，PAM组件220可以生成基于共现来布置每个单词的矩阵。
在步骤420处，PAM组件220生成连接图。连接图中的每个节点表示由词法组件219输出的单词之一。无向边连接节点以指示以相对频率共现的单词之间的关系。此外，边可以基于单词之间的显著性分数进行加权。连接节点的串可以表示行为识别系统用于对输入到神经语言模块210、(由映射器组件217)簇集成符号并且(由词法组件)解析成单词的数据进行描述的短语。
随着时间的推移，PAM组件220可以从词法分析器组件219接收单词的附加观察结果。当统计显著性分数增加时，例如，当PAM组件220观察到彼此共现的两个单词的后续实例时，PAM组件220可以加强给定的边。此外，当随着时间的推移出现较少的观察结果时(即，当随着时间的推移统计显著性分数减少时)，PAM组件220可以消除边。
图5示出根据一个实施例的由PAM组件220生成的示例连接图500。当词法分析器组件219初始地向PAM组件220输出单词流时，PAM组件220生成连接图500。
节点(由圆圈表示)表示由词法分析器组件219发送的识别出的单词。连接节点的无向边表示PAM组件220已经观察到连接的单词在单词流中共现。此外，边可以基于两个共现单词之间的统计显著性分数进行加权。此外，PAM组件220可以分别基于统计显著性分数增加或减少来加强或衰减边。例如，如果PAM组件220观察到两个单词之间还有的共现，那么统计显著性分数可以增加。作为增加的结果，PAM组件220可以加强连接图中两个单词的边。
图500建立由PAM组件220识别出的短语的句法。短语是可能基于以给定短语的顺序出现的每个单词的概率关系(通过连接图的给定路径)而在单词流中出现的单词的序列。PAM组件220输出在由映射器输出的单词流中观察到的、含有具有超过给定阈值的统计显著性分数的共现单词的短语。此外，PAM组件220可以将对由PAM组件220输出的短语进行特征化的元数据发送到认知模块225。例如，PAM组件200可以包括来自映射器组件218和词法分析器组件219的元数据，诸如由映射器组件218和词法分析器组件219发送的符号、单词以及相关联的统计信息。统一地，符号、单词、短语连同与观察到符号、单词和短语的频率相关的所有元数据以及由映射器和词法分析器组件分配的评分形成对输入数据进行描述的神经语言模型。继而，认知模块225分析神经语言模型来解释传入数据(例如，在识别正常行为和异常行为中)。
图6示出根据一个实施例的用于将由PAM组件(在由词法组件提供的单词流中)观察到的短语发送到认知模块225的方法600。具体而言，方法600描述PAM组件220在初始化之后(即，在初始地生成完全连接图之后)如何处理来自词法分析器组件219的传入单词。方法600在步骤605处开始，其中PAM组件220开始从词法分析器组件219接收单词的观察结果的流。PAM组件220观察接收到的单词之间的共现，例如，单词A在流中位于单词B旁边。PAM组件220还可以用输入来识别新共现的单词。
在步骤610处，PAM组件220更新与流中的每个观察结果相关联的共现统计信息。例如，如果在流中观察到一对共现单词，那么PAM组件220可以增加这一对共现单词的统计显著性分数。作为另一个示例，可能在流中观察到先前未观察到共现的一对单词共现。如果是这样，那么PAM组件220增加这对单词的统计显著性分数。
在步骤615处，PAM组件220更新完全连接图。例如，PAM组件220可以加强在图中统计显著性分数增加的部分处的边。此外，PAM组件220可以向观察到的、已经达到统计相关性(例如，统计显著性分数已经超过阈值)的对添加边。
在步骤620处，PAM组件220输出含有具有超过给定阈值的统计显著性分数的共现单词的短语。超过这种阈值可以指示给定短语是成熟的并且可以被发送到认知模块225。此外，PAM组件220还可以附随短语发送符号、单词和相关联的统计信息。如所述的，这些符号、单词和短语形成行为识别系统用于对输入数据进行描述的神经语言模型。
本公开的一个实施例被实现为与计算机系统一起使用的程序产品。程序产品的(一个或多个)程序定义实施例(包括本文描述的方法)的功能，并且可以被包含在各种计算机可读存储介质上。计算机可读存储介质的示例包括(i)在其上永久存储信息的不可写存储介质(例如，计算机内的只读存储器设备，诸如可由光学介质驱动器读取的CD-ROM或DVD-ROM盘)；(ii)在其上存储可改变信息的可写存储介质(例如，硬盘驱动器或软盘驱动器内的软盘)。当承载引导本公开的功能的计算机可读指令时，这种计算机可读存储介质是本公开的实施例。其它示例介质包括通过其信息被运送到计算机(诸如通过包括无线通信网络的计算机网络或电话网络)的通信介质。
一般而言，为了实现本公开的实施例而执行的例程可以是操作系统或具体应用、组件、程序、模块、对象或指令序列的一部分。本公开的计算机程序典型地由许多指令组成，这些指令将由本机计算机转换为机器可读格式并因此转换成可执行指令。此外，程序由变量和数据结构组成，这些变量和数据结构或者驻留在程序本地，或者可以在存储器或存储设备中找到。此外，本文描述的各种程序可以基于在本公开的特定实施例中为其实现这些程序的应用来识别。然而，应当领会的是，以下的任何特定程序命名法仅仅是为了方便而使用，并且因此本公开不应限于仅在由这种命名法识别和/或暗示的任何具体应用中使用。
如上所述，本文的实施例提供用于经由神经语言行为识别系统基于表示从源(例如，视频源、SCADA源、网络安全源等)输入的数据的单词的词典来确定句法的技术。符号、单词和句法形成用于对由行为识别系统观察到的输入数据进行描述的语言模型的基础。行为识别系统基于语言模型分析和学习行为，以区分观察到的数据中的正常活动和异常活动。有利地，这种方法不依赖于预定义的模式来识别行为和异常，而是通过观察场景并生成关于它观察到的内容的信息来学习模式和行为。
虽然前述内容针对本公开的实施例，但是可以在不脱离其基本范围的情况下设计本公开的其它实施例和进一步实施例，并且其范围由以下的权利要求来确定。

Claims (20)

1.一种用于生成从一个或多个源获得的输入数据的神经语言模型的句法的方法，包括：
接收从符号的序列构建的词典的单词流，其中所述符号从自输入数据生成的标准化向量的有序流生成；
评估在流中共现的单词的组合的统计信息，其中所述统计信息包括所述单词的组合共现的频率；
基于所评估的统计信息更新单词的组合的模型，其中所述模型识别统计相关的单词；
生成连接图，其中所述连接图中的每个节点表示所述流中的单词之一，并且其中连接节点的边表示所述流中的单词之间的概率关系；以及
基于所述连接图识别短语。
2.如权利要求1所述的方法，其中所述统计信息包括指示两个单词彼此共现的频率的统计显著性分数。
3.如权利要求2所述的方法，还包括：
识别包括具有超过指定阈值的统计显著性分数的共现单词的一个或多个短语；以及
输出识别出的短语。
4.如权利要求1所述的方法，其中所述边基于每个节点之间的统计显著性分数被加权。
5.如权利要求1所述的方法，还包括：
接收第二单词流；以及
基于所述第二单词流更新共现单词的统计信息。
6.如权利要求5所述的方法，还包括：减少随着时间的推移较不频繁地被观察到的共现单词的统计显著性分数。
7.如权利要求5所述的方法，还包括：增加随着时间的推移较频繁地被观察到的共现单词的统计显著性分数。
8.一种存储指令的计算机可读存储介质，当所述指令在处理器上执行时，执行用于生成从一个或多个源获得的输入数据的神经语言模型的句法的操作，所述操作包括：
接收从符号的序列构建的词典的单词流，其中所述符号从自输入数据生成的标准化向量的有序流生成；
评估在流中共现的单词的组合的统计信息，其中所述统计信息包括所述单词的组合共现的频率；
基于所评估的统计信息更新单词的组合的模型，其中所述模型识别统计相关的单词；
生成连接图，其中所述连接图中的每个节点表示所述流中的单词之一，并且其中连接节点的边表示所述流中的单词之间的概率关系；以及
基于所述连接图识别短语。
9.如权利要求8所述的计算机可读存储介质，其中所述统计信息包括指示两个单词彼此共现的频率的统计显著性分数。
10.如权利要求9所述的计算机可读存储介质，其中所述操作还包括：
识别包括具有超过指定阈值的统计显著性分数的共现单词的一个或多个短语；以及
输出识别出的短语。
11.如权利要求8所述的计算机可读存储介质，其中所述边基于每个节点之间的统计显著性分数被加权。
12.如权利要求8所述的计算机可读存储介质，其中所述操作还包括：
接收第二单词流；以及
基于所述第二单词流更新共现单词的统计信息。
13.如权利要求12所述的计算机可读存储介质，其中所述操作还包括：减少随着时间的推移较不频繁地被观察到的共现单词的统计显著性分数。
14.如权利要求12所述的计算机可读存储介质，其中所述操作还包括：增加随着时间的推移较频繁地被观察到的共现单词的统计显著性分数。
15.一种系统，包括：
处理器；以及
存储器，所述存储器存储一个或多个应用程序，所述一个或多个应用程序被配置为执行用于生成从一个或多个源获得的输入数据的神经语言模型的句法的操作，所述操作包括：
接收从符号的序列构建的词典的单词流，其中所述符号从自输入数据生成的标准化向量的有序流生成；
评估在流中共现的单词的组合的统计信息，其中所述统计信息包括所述单词的组合共现的频率；
基于所评估的统计信息更新单词的组合的模型，其中所述模型识别统计相关的单词；
生成连接图，其中所述连接图中的每个节点表示所述流中的单词之一，并且其中连接节点的边表示所述流中的单词之间的概率关系；以及
基于所述连接图识别短语。
16.如权利要求15所述的系统，其中所述统计信息包括指示两个单词彼此共现的频率的统计显著性分数。
17.如权利要求16所述的系统，其中所述操作还包括：
识别包括具有超过指定阈值的统计显著性分数的共现单词的一个或多个短语；以及
输出识别出的短语。
18.如权利要求15所述的系统，其中所述操作还包括：
接收第二单词流；以及
基于所述第二单词流更新共现单词的统计信息。
19.如权利要求18所述的系统，其中所述操作还包括：减少随着时间的推移较不频繁地被观察到的共现单词的统计显著性分数。
20.如权利要求18所述的系统，其中所述操作还包括：增加随着时间的推移较频繁地被观察到的共现单词的统计显著性分数。
CN201580067476.XA 2014-12-12 2015-12-10 用于神经语言行为识别系统的感知联想记忆 Active CN107003992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110367415.2A CN113255333A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的感知联想记忆

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/569,161 US10409910B2 (en) 2014-12-12 2014-12-12 Perceptual associative memory for a neuro-linguistic behavior recognition system
US14/569,161 2014-12-12
PCT/US2015/064954 WO2016094635A1 (en) 2014-12-12 2015-12-10 Perceptual associative memory for a neuro-linguistic behavior recognition system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110367415.2A Division CN113255333A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的感知联想记忆

Publications (2)

Publication Number Publication Date
CN107003992A true CN107003992A (zh) 2017-08-01
CN107003992B CN107003992B (zh) 2021-04-27

Family

ID=56108170

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580067476.XA Active CN107003992B (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的感知联想记忆
CN202110367415.2A Pending CN113255333A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的感知联想记忆

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110367415.2A Pending CN113255333A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的感知联想记忆

Country Status (6)

Country Link
US (4) US10409910B2 (zh)
EP (1) EP3230891A1 (zh)
JP (1) JP2017538229A (zh)
KR (1) KR102440821B1 (zh)
CN (2) CN107003992B (zh)
WO (1) WO2016094635A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3796371A3 (en) 2013-09-27 2021-10-06 INTEL Corporation Self-aligned via and plug patterning for back end of line (beol) interconnects
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US11537791B1 (en) 2016-04-05 2022-12-27 Intellective Ai, Inc. Unusual score generators for a neuro-linguistic behavorial recognition system
US10984318B2 (en) * 2016-06-15 2021-04-20 University Of Ulsan Foundation For Industry Cooperation Word semantic embedding apparatus and method using lexical semantic network and homograph disambiguating apparatus and method using lexical semantic network and word embedding
JP6928616B2 (ja) * 2016-06-17 2021-09-01 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． 共有機械学習データ構造
US11531908B2 (en) 2019-03-12 2022-12-20 Ebay Inc. Enhancement of machine learning-based anomaly detection using knowledge graphs
US11527234B2 (en) 2019-10-01 2022-12-13 Rovi Guides, Inc. Method and apparatus for generating hint words for automated speech recognition
US11205430B2 (en) * 2019-10-01 2021-12-21 Rovi Guides, Inc. Method and apparatus for generating hint words for automated speech recognition
US20210279633A1 (en) * 2020-03-04 2021-09-09 Tibco Software Inc. Algorithmic learning engine for dynamically generating predictive analytics from high volume, high velocity streaming data
CN117332823B (zh) * 2023-11-28 2024-03-05 浪潮电子信息产业股份有限公司 目标内容自动生成方法、装置、电子设备及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032564A1 (en) * 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
US20030036900A1 (en) * 2001-07-12 2003-02-20 Weise David Neal Method and apparatus for improved grammar checking using a stochastic parser
CN100430929C (zh) * 1999-11-05 2008-11-05 微软公司 词典、分段和语言模型联合优化的系统和迭代方法
US20100121572A1 (en) * 2008-11-11 2010-05-13 Berardi Stephen A System and Method for Tracking a Moving Person
US20110052067A1 (en) * 2009-08-31 2011-03-03 Wesley Kenneth Cobb Clustering nodes in a self-organizing map using an adaptive resonance theory network
US20110064268A1 (en) * 2009-09-17 2011-03-17 Wesley Kenneth Cobb Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US20120059776A1 (en) * 2002-05-22 2012-03-08 Estes Timothy W Knowledge discovery agent system and method
US20140163968A1 (en) * 1999-05-28 2014-06-12 Fluential, Llc Phrase-Based Dialogue Modeling with Particular Application to creating Recognition Grammars for Voice-Controlled User Interfaces
CN104035917A (zh) * 2014-06-10 2014-09-10 复旦大学 一种基于语义空间映射的知识图谱管理方法和系统

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679077A (en) 1984-11-10 1987-07-07 Matsushita Electric Works, Ltd. Visual Image sensor system
US5113507A (en) 1988-10-20 1992-05-12 Universities Space Research Association Method and apparatus for a sparse distributed memory system
US5317507A (en) 1990-11-07 1994-05-31 Gallant Stephen I Method for document retrieval and for word sense disambiguation using neural networks
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
US6252974B1 (en) 1995-03-22 2001-06-26 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US7076102B2 (en) 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US5680511A (en) 1995-06-07 1997-10-21 Dragon Systems, Inc. Systems and methods for word recognition
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5751378A (en) 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US7711672B2 (en) 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6570608B1 (en) 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US7136525B1 (en) 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7085716B1 (en) * 2000-10-26 2006-08-01 Nuance Communications, Inc. Speech recognition using word-in-phrase command
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
DE10062404A1 (de) 2000-12-14 2002-06-27 Infineon Technologies Ag Vorrichtung und Verfahren zum Reduzieren der Anzahl von Adressen fehlerhafter Speicherzellen
WO2003034281A1 (en) 2001-10-19 2003-04-24 Intel Zao Method and apparatus to provide a hierarchical index for a language model data structure
NO316480B1 (no) * 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
US20030107650A1 (en) 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Surveillance system with suspicious behavior detection
US7333966B2 (en) 2001-12-21 2008-02-19 Thomson Global Resources Systems, methods, and software for hyperlinking names
US20060165386A1 (en) 2002-01-08 2006-07-27 Cernium, Inc. Object selective video recording
US7421660B2 (en) * 2003-02-04 2008-09-02 Cataphora, Inc. Method and apparatus to visually present discussions for data mining purposes
WO2003067497A1 (en) * 2002-02-04 2003-08-14 Cataphora, Inc A method and apparatus to visually present discussions for data mining purposes
US7519589B2 (en) * 2003-02-04 2009-04-14 Cataphora, Inc. Method and apparatus for sociological data analysis
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6856249B2 (en) 2002-03-07 2005-02-15 Koninklijke Philips Electronics N.V. System and method of keeping track of normal behavior of the inhabitants of a house
US7006128B2 (en) 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
US7017186B2 (en) 2002-07-30 2006-03-21 Steelcloud, Inc. Intrusion detection system using self-organizing clusters
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7200266B2 (en) 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
GB2395808A (en) * 2002-11-27 2004-06-02 Sony Uk Ltd Information retrieval
US7171358B2 (en) * 2003-01-13 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Compression of language model structures and word identifiers for automated speech recognition systems
US6999600B2 (en) 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7026979B2 (en) 2003-07-03 2006-04-11 Hrl Labortories, Llc Method and apparatus for joint kinematic and feature tracking using probabilistic argumentation
US7421386B2 (en) 2003-10-23 2008-09-02 Microsoft Corporation Full-form lexicon with tagged data and methods of constructing and using the same
US7127083B2 (en) 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
EP1589716A1 (en) * 2004-04-20 2005-10-26 Ecole Polytechnique Fédérale de Lausanne (EPFL) Method of detecting anomalous behaviour in a computer network
US20060018516A1 (en) 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
CA2575211C (en) 2004-07-30 2012-12-11 Euclid Discoveries, Llc Apparatus and method for processing video data
JP2006080437A (ja) 2004-09-13 2006-03-23 Intel Corp マスク・ブランクス検査方法及びマスク・ブランク検査ツール
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US7574409B2 (en) 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
JPWO2006048998A1 (ja) * 2004-11-05 2008-05-22 株式会社アイ・ピー・ビー キーワード抽出装置
US7620266B2 (en) 2005-01-20 2009-11-17 International Business Machines Corporation Robust and efficient foreground analysis for real-time video surveillance
US20060190419A1 (en) 2005-02-22 2006-08-24 Bunn Frank E Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system
WO2006097681A1 (en) 2005-03-17 2006-09-21 British Telecommunications Public Limited Company Method of tracking objects in a video sequence
CA2603120A1 (en) 2005-03-30 2006-10-05 Cernium Corporation Intelligent video behavior recognition with multiple masks and configurable logic inference module
US7636730B2 (en) * 2005-04-29 2009-12-22 Battelle Memorial Research Document clustering methods, document cluster label disambiguation methods, document clustering apparatuses, and articles of manufacture
US7825954B2 (en) 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US7672865B2 (en) * 2005-10-21 2010-03-02 Fair Isaac Corporation Method and apparatus for retail data mining using pair-wise co-occurrence consistency
US7822699B2 (en) 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US7958650B2 (en) * 2006-01-23 2011-06-14 Turatti S.R.L. Apparatus for drying foodstuffs
CN101410855B (zh) 2006-03-28 2011-11-30 爱丁堡大学评议会 用于自动表征一个或多个对象的行为的方法
US20070250898A1 (en) 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US8214213B1 (en) * 2006-04-27 2012-07-03 At&T Intellectual Property Ii, L.P. Speech recognition based on pronunciation modeling
US8467570B2 (en) 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
US8401841B2 (en) * 2006-08-31 2013-03-19 Orcatec Llc Retrieval of documents using language models
EP2092450A4 (en) 2006-10-19 2011-04-13 Taboola Com Ltd METHOD AND SYSTEM FOR CONTENT COMPOSITION
US20080109454A1 (en) 2006-11-03 2008-05-08 Willse Alan R Text analysis techniques
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
NZ578752A (en) 2007-02-08 2012-03-30 Behavioral Recognition Sys Inc Behavioral recognition system
US8358342B2 (en) 2007-02-23 2013-01-22 Johnson Controls Technology Company Video processing systems and methods
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US7877258B1 (en) * 2007-03-29 2011-01-25 Google Inc. Representing n-gram language models for compact storage and fast retrieval
US8601575B2 (en) 2007-03-30 2013-12-03 Ca, Inc. Statistical method and system for network anomaly detection
US7813528B2 (en) 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene
US8411935B2 (en) * 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
US8064639B2 (en) 2007-07-19 2011-11-22 Honeywell International Inc. Multi-pose face tracking using multiple appearance models
EP2019383A1 (en) 2007-07-25 2009-01-28 Dybuster AG Device and method for computer-assisted learning
EP2019361A1 (en) * 2007-07-26 2009-01-28 Siemens Aktiengesellschaft A method and apparatus for extraction of textual content from hypertext web documents
US20090094064A1 (en) * 2007-10-09 2009-04-09 Michael Tyler Healthcare Insurance Claim Fraud and Error Detection Using Co-Occurrence
WO2009049314A2 (en) 2007-10-11 2009-04-16 Trustees Of Boston University Video processing system employing behavior subtraction between reference and observed video image sequences
EP2093698A1 (en) 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
US8452108B2 (en) 2008-06-25 2013-05-28 Gannon Technologies Group Llc Systems and methods for image recognition using graph-based pattern matching
US8355896B2 (en) * 2008-09-02 2013-01-15 Fair Isaac Corporation Co-occurrence consistency analysis method and apparatus for finding predictive variable groups
US8121968B2 (en) 2008-09-11 2012-02-21 Behavioral Recognition Systems, Inc. Long-term memory in a video analysis system
US9373055B2 (en) 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US20100179838A1 (en) * 2009-01-15 2010-07-15 Nitin Basant Healthcare service provider insurance claim fraud and error detection using co-occurrence
US8504374B2 (en) * 2009-02-02 2013-08-06 Jerry Lee Potter Method for recognizing and interpreting patterns in noisy data sequences
TW201118589A (en) 2009-06-09 2011-06-01 Ebh Entpr Inc Methods, apparatus and software for analyzing the content of micro-blog messages
JP5382651B2 (ja) * 2009-09-09 2014-01-08 独立行政法人情報通信研究機構 単語対取得装置、単語対取得方法、およびプログラム
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US20120137367A1 (en) * 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
US8452763B1 (en) * 2009-11-19 2013-05-28 Google Inc. Extracting and scoring class-instance pairs
US8209567B2 (en) 2010-01-28 2012-06-26 Hewlett-Packard Development Company, L.P. Message clustering of system event logs
US8463756B2 (en) * 2010-04-21 2013-06-11 Haileo, Inc. Systems and methods for building a universal multimedia learner
US9552280B2 (en) * 2010-05-13 2017-01-24 Microsoft Technology Licensing, Llc Visual analysis and debugging of complex event flows
US8316030B2 (en) 2010-11-05 2012-11-20 Nextgen Datacom, Inc. Method and system for document classification or search using discrete words
US8423546B2 (en) * 2010-12-03 2013-04-16 Microsoft Corporation Identifying key phrases within documents
US8838449B2 (en) * 2010-12-23 2014-09-16 Microsoft Corporation Word-dependent language model
US9836455B2 (en) 2011-02-23 2017-12-05 New York University Apparatus, method and computer-accessible medium for explaining classifications of documents
US8620875B2 (en) * 2011-07-25 2013-12-31 Salesforce.Com, Inc. Fraud analysis in a contact database
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9147129B2 (en) * 2011-11-18 2015-09-29 Honeywell International Inc. Score fusion and training data recycling for video classification
US8542135B2 (en) 2011-11-24 2013-09-24 International Business Machines Corporation Compression algorithm incorporating automatic generation of a bank of predefined huffman dictionaries
PL2639749T3 (pl) 2012-03-15 2017-05-31 Cortical.Io Gmbh Sposoby, urządzenia i produkty do przetwarzania semantycznego tekstu
US9111613B2 (en) * 2012-07-12 2015-08-18 The Regents Of The University Of Michigan Adaptive reading of a resistive memory
US8762134B2 (en) * 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US9582722B2 (en) 2012-08-31 2017-02-28 Xerox Corporation Video-based vehicle speed estimation from motion vectors in video streams
US9195829B1 (en) * 2013-02-23 2015-11-24 Fireeye, Inc. User interface with real-time visual playback along with synchronous textual analysis log display and event/time index for anomalous behavior detection in applications
WO2014190265A1 (en) * 2013-05-24 2014-11-27 Google Inc. Community detection in weighted graphs
BR112016002229A2 (pt) * 2013-08-09 2017-08-01 Behavioral Recognition Sys Inc sistema de reconhecimento de comportamento neurolinguístico cognitivo para fusão de dados de multissensor
WO2015028844A1 (en) 2013-08-29 2015-03-05 Arria Data2Text Limited Text generation from correlated alerts
GB2519941B (en) 2013-09-13 2021-08-25 Elasticsearch Bv Method and apparatus for detecting irregularities on device
US10002177B1 (en) 2013-09-16 2018-06-19 Amazon Technologies, Inc. Crowdsourced analysis of decontextualized data
US9565203B2 (en) 2014-11-13 2017-02-07 Cyber-Ark Software Ltd. Systems and methods for detection of anomalous network behavior
US9672203B1 (en) 2014-12-01 2017-06-06 Amazon Technologies, Inc. Calculating a maturity level of a text string
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US20170293608A1 (en) 2016-04-06 2017-10-12 Omni Ai, Inc. Unusual score generators for a neuro-linguistic behavioral recognition system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140163968A1 (en) * 1999-05-28 2014-06-12 Fluential, Llc Phrase-Based Dialogue Modeling with Particular Application to creating Recognition Grammars for Voice-Controlled User Interfaces
CN100430929C (zh) * 1999-11-05 2008-11-05 微软公司 词典、分段和语言模型联合优化的系统和迭代方法
US20020032564A1 (en) * 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
US20030036900A1 (en) * 2001-07-12 2003-02-20 Weise David Neal Method and apparatus for improved grammar checking using a stochastic parser
US20120059776A1 (en) * 2002-05-22 2012-03-08 Estes Timothy W Knowledge discovery agent system and method
US20100121572A1 (en) * 2008-11-11 2010-05-13 Berardi Stephen A System and Method for Tracking a Moving Person
US20110052067A1 (en) * 2009-08-31 2011-03-03 Wesley Kenneth Cobb Clustering nodes in a self-organizing map using an adaptive resonance theory network
US20110064268A1 (en) * 2009-09-17 2011-03-17 Wesley Kenneth Cobb Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
CN104035917A (zh) * 2014-06-10 2014-09-10 复旦大学 一种基于语义空间映射的知识图谱管理方法和系统

Also Published As

Publication number Publication date
KR20170094357A (ko) 2017-08-17
JP2017538229A (ja) 2017-12-21
US20160170961A1 (en) 2016-06-16
US20240354505A1 (en) 2024-10-24
EP3230891A1 (en) 2017-10-18
WO2016094635A1 (en) 2016-06-16
US20220075946A1 (en) 2022-03-10
KR102440821B1 (ko) 2022-09-05
US10409910B2 (en) 2019-09-10
CN107003992B (zh) 2021-04-27
US20200193092A1 (en) 2020-06-18
US12032909B2 (en) 2024-07-09
CN113255333A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
US20220006825A1 (en) Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
CN107003992A (zh) 用于神经语言行为识别系统的感知联想记忆
CN107111610A (zh) 用于神经语言行为识别系统的映射器组件
CN107111609A (zh) 用于神经语言行为识别系统的词法分析器
US20170293608A1 (en) Unusual score generators for a neuro-linguistic behavioral recognition system
US20170286856A1 (en) Trend analysis for a neuro-linguistic behavior recognition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210527

Address after: Indiana USA

Patentee after: Intelligent artificial intelligence Co.,Ltd.

Address before: Texas in the United States

Patentee before: Omnidirectional Artificial Intelligence Co.,Ltd.