CN107111609B - 用于神经语言行为识别系统的词法分析器 - Google Patents

用于神经语言行为识别系统的词法分析器 Download PDF

Info

Publication number
CN107111609B
CN107111609B CN201580067524.5A CN201580067524A CN107111609B CN 107111609 B CN107111609 B CN 107111609B CN 201580067524 A CN201580067524 A CN 201580067524A CN 107111609 B CN107111609 B CN 107111609B
Authority
CN
China
Prior art keywords
words
symbols
readable
machine
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580067524.5A
Other languages
English (en)
Other versions
CN107111609A (zh
Inventor
徐刚
萧铭俊
杨韬
W·K·科布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent artificial intelligence Co.,Ltd.
Original Assignee
Omnidirectional Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnidirectional Artificial Intelligence Co ltd filed Critical Omnidirectional Artificial Intelligence Co ltd
Priority to CN202110210787.4A priority Critical patent/CN113158664A/zh
Publication of CN107111609A publication Critical patent/CN107111609A/zh
Application granted granted Critical
Publication of CN107111609B publication Critical patent/CN107111609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0409—Adaptive resonance theory [ART] networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Abstract

公开了用于从基于输入数据生成的符号的组合构建单词的词典的技术。神经语言行为识别系统包括生成描述从源输入的数据(例如，视频数据、SCADA数据等)的语言模型的神经语言模块。为了生成用于语言模型的单词，神经语言模块中的词法分析器组件接收符号流，每个符号基于从输入数据生成的标准化向量的有序流而生成。词法分析器组件基于具有一个或多个级别的分级学习模型从符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。词法分析器组件识别单词中具有统计显著性的一个或多个单词。

Description

用于神经语言行为识别系统的词法分析器
技术领域
本文描述的实施例一般而言涉及数据分析系统，并且更具体而言，涉及基于输入数据来构建要在神经语言行为识别系统中使用的单词的词典。
背景技术
许多当前可用的监控和监视系统(例如，视频监控系统、SCADA系统等)被训练成观察特定的活动并且在检测到这些活动之后向管理员发出警报。然而，这种基于规则的系统需要提前了解要观察的动作和/或对象。这些活动可以被硬编码到底层应用中，或者系统可以基于任何提供的定义或规则对自己进行训练。换句话说，除非底层代码包括某些行为或规则的描述以用于为给定观察结果生成警报，否则系统不能识别这些行为。然而，这种基于规则的方法是死板的。即，除非给定的行为符合预定义的规则，否则该行为的发生可能不会被监视系统检测到。即使系统训练自己来识别行为，系统也需要为要识别的内容提前定义规则。
此外，许多监控系统(例如，视频监控系统)需要大量的计算资源，包括处理器能力、存储和带宽。例如，由于视频数据的典型尺寸，典型的视频监控系统每相机馈送需要大量的计算资源。考虑到资源的成本，这样的系统难以扩展。
发明内容
本文给出的一个实施例包括用于从基于输入数据的符号的组合构建单词的词典的方法。该方法一般地包括接收符号流。每个符号与从输入数据生成的向量簇相关联。该方法还包括基于具有一个或多个级别的分级学习模型从流中的符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。该方法还包括基于所评估的统计信息识别单词中具有统计显著性(statisticalsignificance)的一个或多个单词。
本文给出的另一个实施例包括存储指令的计算机可读存储介质，当指令在处理器上执行时，执行用于从基于输入数据生成的符号的组合构建单词的词典的操作。该操作本身一般地包括接收符号流。每个符号与从输入数据生成的向量簇相关联。该操作还包括基于具有一个或多个级别的分级学习模型从流中的符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。该操作还包括基于所评估的统计信息识别单词中具有统计显著性的一个或多个单词。
本文给出的还有的另一个实施例包括具有处理器和存储器的系统，存储器存储一个或多个应用程序，这一个或多个应用程序被配置为执行用于从基于输入数据生成的符号的组合构建单词的词典的操作。该操作本身一般地包括接收符号流。每个符号与从输入数据生成的向量簇相关联。该操作还包括基于具有一个或多个级别的分级学习模型从流中的符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。该操作还包括基于所评估的统计信息识别单词中具有统计显著性的一个或多个单词。
附图说明
因此，可以详细理解本公开的上述特征的方式、对以上简要概括的本公开的更具体的描述可以通过参考实施例而获得，其中一些实施例在附图中示出。然而，应当注意的是，附图仅仅示出示例性实施例，并且因此不应当被认为是限制其范围，可以承认其它同等有效的实施例。
图1示出根据一个实施例的用于神经语言行为识别系统的示例计算环境。
图2示出根据一个实施例的神经语言行为识别系统的系统体系架构。
图3示出根据一个实施例的用于收集要用在神经语言行为识别系统中的传感器数据的方法。
图4进一步示出根据一个实施例的在图2中描述的词法分析器(lexicalanalyzer)组件。
图5示出根据一个实施例的用于处理表示输入数据的符号的方法。
图6示出根据一个实施例的用于从表示输入数据的符号流构建单词的词典的方法。
图7A、7B和7C示出根据一个实施例的在图2中描述的词法分析器组件的不同学习级别。
图8示出根据一个实施例的将单词输出到感知联想记忆(perceptualassociative memory)组件的示例。
为了便于理解，在可能的情况下使用了相同的标号来指明各图共同的相同元件。可以设想的是，一个实施例的元件和特征可以有利地并入其它实施例中而无需进一步的叙述。
具体实施方式
本文给出的实施例描述了行为识别系统。行为识别系统可以配置有从不同数据源收集原始数据值(例如，视频数据、构建管理数据、SCADA数据)的一个或多个数据收集器组件。例如，行为识别系统可以被配置用于视频监控。行为识别系统可以包括实时取回视频帧、将前景对象与背景对象分离、并且逐帧跟踪前景对象的数据收集器组件。数据收集器组件可以将视频帧数据标准化为数值(例如，相对于给定数据类型落入从0到1的范围内)。
在一个实施例中，行为识别系统包括对收集到的数据执行基于神经网络的语言分析的神经语言模块。具体而言，对于由传感器监视的每种类型的数据，神经语言模块创建并细化标准化数据的语言模型。即，神经语言模块构建用于描述标准化数据的语法(grammer)。语言模型包括充当语法的构建块的符号。神经语言模块识别符号的组合以构建单词的词典。一旦词典被构建，神经语言模块就识别包括词典中的单词的各种组合的短语(phrase)。行为识别系统使用这种语言模型来描述正在观察什么。语言模型允许行为识别系统区分输入数据中观察到的正常活动和异常活动。因此，每当异常活动发生时，行为识别系统可以发出警报。
为了生成语言模型，神经语言模块接收标准化数据值并将这些数据组织成簇(cluster)。神经语言模块评估每个簇的统计信息，并且识别统计相关(statisticallyrelevant)的簇。此外，神经语言模块生成对应于每个统计相关的簇的符号(例如，字母(letter))。因此，映射到给定簇的输入值可以对应于符号。
基于在输入数据中识别出的符号的统计分布，神经语言模块生成观察到的符号组合的词汇表(lexicon)(即，构建单词(word)的词典)。具体而言，神经语言模块可以识别输入数据中不同发生频率的符号模式。此外，神经语言模块可以识别不同长度(例如，从一个符号到最大符号单词长度)的统计相关的符号组合。神经语言模块可以将这种统计相关的符号组合包括在词典中，用于识别用于语言模型的短语。
使用来自词典的单词，神经语言模块基于在观察到附加数据时每个单词相对于其它单词顺次出现的概率关系生成短语。例如，神经语言模块可以识别与给定的四个字母的单词频繁顺次出现的给定的三个字母的单词之间的关系，等等。神经语言模块基于识别出的短语来确定句法(syntax)。
句法允许行为识别系统在没有预定义的活动的帮助或指导的情况下学习、识别和辨别行为模式。与基于规则的监控系统(其包含要识别或观察的内容的预定义的模式)不同，行为识别系统通过对输入进行概括(generalize)以及构建所观察到的内容的行为记忆来学习模式。随着时间的推移，行为识别系统使用这些记忆来区分观察到的数据中反映的正常行为和异常行为。
例如，神经语言模块构建字母、单词(名词、形容词、动词等)、短语，并且为每个识别出的字母、单词或短语估计“罕见性分数”。(在输入数据中观察到的字母、单词或短语的)罕见性分数指示该字母、单词或短语相对于过去的观察结果有多不频繁地出现。因此，行为识别系统可以使用罕见性分数来识别和度量当前句法相对于稳定的符号(即，字母)模型、从符号构建的稳定的单词模型(即，词典)以及从单词构建的稳定的短语模型(即，句法)(统称为神经语言模型)有多罕见。
随着神经语言模块继续接收输入数据，神经语言模块可以衰减、加强以及生成字母模型、单词模型和句法模型。按机器学习领域的说法，神经语言模块在接收到新的数据并且给定类型的输入数据的出现增加、减少、出现或消失时进行“在线学习”。
图1示出根据一个实施例的行为识别系统100的组件。如所示的，行为识别系统100包括一个或多个输入源设备105、网络110以及一个或多个计算机系统115。网络110可以将由源设备105输入的数据传送到计算机系统115。一般而言，计算环境100可以包括经由网络(例如，互联网)连接的一个或多个物理计算机系统115。可替代地，计算机系统115可以是由网络连接的云计算资源。说明性地，计算机系统115包括一个或多个中央处理单元(CPU)120、一个或多个图形处理单元(GPU)121、网络和I/O接口122、存储装置124(例如，磁盘驱动器、光盘驱动器等)以及存储器123，存储器123包括传感器管理模块130、感测记忆组件135和机器学习引擎140。存储装置124包括模型储存库145。
CPU 120取回并执行存储在存储器123中的编程指令，以及存储和取回驻留在存储装置124中的应用数据。在一个实施例中，GPU 121实现计算统一设备体系架构(ComputeUnified Device Architecture，CUDA)。此外，GPU 121被配置为使用GPU 121的并行吞吐量体系架构提供通用处理，以更高效地取回和执行存储在存储器123中的编程指令以及还存储和取回驻留在存储装置124中的应用数据。并行吞吐量体系架构提供数千个核心用于处理应用和输入数据。因此，GPU 121利用数千个核心以大规模并行方式执行读操作和写操作。利用GPU 121的并行计算元件允许行为识别系统100更好地处理大量的传入数据(例如，来自视频和/或音频源的输入)。因此，行为识别系统100可以以相对较小的难度进行扩展。
传感器管理模块130提供一个或多个数据收集器组件。收集器组件中的每一个与特定输入数据源(例如，视频源、SCADA(监督控制和数据采集)源、音频源等)相关联。收集器组件以指定的时间间隔(例如，每分钟一次、每三十分钟一次、每三十秒一次等)从每个源取回(或接收，取决于传感器)输入数据。传感器管理模块130控制数据源之间的通信。此外，传感器管理模块130对输入数据进行标准化，并将标准化数据发送到感测记忆组件135。
感测记忆组件135是将大量数据从传感器管理模块130转移到机器学习引擎140的数据存储库。感测记忆组件135将数据存储为记录。每个记录可以包括标识符、时间戳和数据有效载荷。此外，感测记忆组件135以时间排序的方式聚合传入数据。将来自数据收集器组件中的每一个的传入数据存储在数据可在其中聚合的单个位置中允许机器学习引擎140高效地处理数据。此外，计算机系统115可以在生成用于异常活动的警报中参考存储在感测记忆组件135中的数据。在一个实施例中，感测记忆组件135可以经由存储器123中的虚拟存储器文件系统来实现。在另一个实施例中，使用键-值共享来实现感测记忆组件135。
机器学习引擎140接收从传感器管理模块135输出的数据。一般而言，机器学习引擎140的组件生成标准化向量的语言表示。如下面进一步描述的，为了这样做，机器学习引擎140对具有相似特征的标准化值进行簇集(cluster)，并向每个簇分配不同的符号。机器学习引擎140然后可以识别数据中重现的符号组合(即，单词)。然后，机器学习引擎140类似地识别数据中重现的单词组合(即，短语)。
然而，要注意的是，图1仅仅示出行为识别系统100的一个可能的布置。例如，虽然输入数据源105被示为经由网络110连接到计算机系统115，但是并不总是存在或需要网络110(例如，诸如视频相机的输入源可以直接连接到计算机系统115)。
图2示出根据一个实施例的行为识别系统的系统体系架构。如所示的，传感器管理模块130和机器学习引擎140经由持久层210进行通信。
持久层210包括维护由计算机系统115的组件使用的信息的多个数据存储库。例如，持久层210包括维护描述数据收集器模块202的属性、系统属性(例如，计算机系统115的序列号、可用存储器、可用容量等)以及源驱动器的属性(例如，与每个数据源相关联的活动传感器、活动插件118、标准化设置等)的信息的数据存储库。其它数据存储库可以维护学习模型信息、系统事件和行为警报。此外，感测记忆组件135驻留在持久层210中。
机器学习引擎140本身包括神经语言模块215和认知模块225。神经语言模块215执行对标准化输入数据的基于神经网络的语言分析，以构建观察到的输入数据的神经语言模型。行为识别系统可以使用语言模型来描述后续观察到的活动。然而，神经语言模块215不是基于预定义的对象和动作来描述活动，而是基于从输入数据生成的符号、单词和短语来开发自定义语言。如所示的，神经语言模块215包括数据事务存储器(DTM)组件216、分类分析器组件217、映射器组件218、词法分析器组件219和感知联想记忆(PAM)组件220。
在一个实施例中，DTM组件216从感测记忆组件135取回输入数据的标准化向量，并在由GPU 121提供的流水线体系架构中对输入数据进行分级(stage)。分类分析器组件217评估由DTM组件216组织的标准化数据并将数据映射到神经网络上。在一个实施例中，神经网络是自组织映射(self-organizing map，SOM)和自适应共振理论(adaptive resonancetheory，ART)网络的组合。
映射器组件218基于彼此关联地重复出现的值对数据流进行簇集。此外，映射器组件218为每个输入特征生成簇集合。例如，假设输入数据对应于视频数据，那么特征可以包括位置、速度、加速度等。映射器组件218将为这些特征中的每一个生成单独的簇集合。映射器组件218基于簇集的输入数据来识别符号(即，构建字母的字母表)。具体而言，映射器组件218确定数据在每个簇中的统计分布。例如，映射器组件218确定值在簇中的分布的均值、方差和标准偏差。当更多的标准化数据被接收时，映射器组件218还更新这些统计信息。此外，每个簇可以与统计显著性分数相关联。给定簇的统计显著性随着接收到映射到该簇的更多数据而增加。此外，当映射器组件218随着时间的推移较不经常地观察到映射到簇的数据时，映射器组件218使该簇的统计显著性衰减。
在一个实施例中，映射器组件218将符号集合分配给具有相对高统计显著性分数的簇。如果超过了映射到簇的输入数据的阈值量，那么该簇具有统计显著性。符号可以被描述为用于创建在对输入数据的神经语言分析中使用的单词的字母表的字母。符号提供属于给定簇的数据的“模糊”表示。
此外，映射器组件218是自适应的。即，随着从标准化数据生成的新簇随时间的推移被加强(从而导致这些簇相对于从输入数据显现的其它簇达到统计显著性的级别)，映射器组件218可以识别与这些簇对应的新符号。映射器组件218在线学习，并且可以将相似的观察结果合并成更概括的符号。映射器组件218可以给结果得到的簇分配不同符号的集合。
一旦簇已经达到统计显著性(即，观察到的作为映射到该簇的数据已经达到点数的阈值量)，映射器组件218就响应于映射到该簇的标准化数据开始向词法分析器组件219发送对应的符号。在一个实施例中，映射器组件218将可以被发送到词法组件219的符号限制到统计上最显著的簇。在实践中，输出分配给前32个簇的符号(例如，字母)已表明是有效的。然而，其它数量(诸如前64个或前128个最频繁重现的簇)也可以证明是有效的。注意的是，随着时间的推移，最频繁观察到的符号可能由于不同簇的统计显著性的增加而改变。因此，给定的簇有可能失去统计显著性。随着时间的推移，用于簇的统计显著性的阈值可能增加，并且因此，如果观察到的映射到给定簇的数据的量不能满足阈值，那么该簇失去统计显著性。
在一个实施例中，映射器组件218评估每个符号的罕见性分数。罕见性分数基于给定符号相对于观察到的其它符号的频率。随着神经语言模块215接收到附加的数据，罕见性分数可以随时间推移而增加或减少。
映射器组件218向词法分析器组件219发送符号(例如，字母)流、时间戳数据、罕见性分数和统计数据(例如，与给定符号相关联的簇的表示)。词法分析器组件219基于从映射器组件218输出的符号构建词典。在实践中，映射器组件218可能需要大约5000个观察结果(即，输入数据的标准化向量)以生成稳定的符号字母表。
词法分析器组件219从由映射器组件218传送的符号构建包括共现(co-occuring)符号的组合(例如，单词)的词典。词法分析器组件219识别从映射器组件218输出的字母的重复共现并且计算整个符号流中该共现的频率。符号的组合可以在语义上表示特定的活动、事件等。
在一个实施例中，词法分析器组件219限制词典中单词的长度，以允许词法分析器组件219识别若干可能的组合而不会不利地影响计算机系统115的性能。此外，词法分析器组件219可以使用基于级别的学习模型来分析符号组合以及学习单词。如将在下面进一步描述的，词法分析器组件219在递增的级别处学习单词直到最大符号组合长度，即，其中在第一级别处学习一个字母的单词，在第二级别处学习两个字母的单词，等等。在实践中，将单词限制为最多五个或六个符号(即，在最多五个或六个级别处学习)已表明是有效的。
类似于映射器组件218，词法分析器组件219是自适应的。即，随着时间的推移，词法分析器组件219可以学习并生成词典中的单词。当词法分析器组件219随着时间的推移接收到后续的符号流时，词法分析器组件219还可以使词典中的单词的统计显著性加强或衰减。此外，词法分析器组件219可以基于单词在数据中有多频繁地重现来确定每个单词的罕见性分数。随着神经语言模块215处理附加的数据，罕见性分数可以随时间的推移而增加或减少。
此外，当附加的观察结果(即，符号)被传递到词法分析器组件219并被识别为给定的单词时，词法分析器组件219可以确定该单词模型已经成熟。一旦单词模型已经成熟，词法分析器组件219就可以将模型中的这些单词的观察结果输出到PAM组件220。在一个实施例中，词法分析器组件219将被发送到PAM组件220的单词限制为统计上最显著的单词。在实践中，对于每个单个样本，输出最频繁出现的单词中的前32个单词的出现已表明是有效的(而存储在模型中的最频繁出现的单词可以数量达到数千个单词)。注意的是，随着时间的推移，最频繁观察到的单词可能由于传入字母的观察结果的频率变化(或者由于映射器组件218对输入数据进行簇集而显现新的字母)而改变。
一旦词法分析器组件219已经构建词典(即，识别出已经达到预定义的统计显著性的单词)，词法分析器组件219就将在输入流中后续观察到的单词的出现发送到PAM组件220。PAM组件220从由词法分析器组件319输出的单词构建短语的句法。在实践中，词法分析器组件219可以在接收到大约15000个观察结果(即，来自映射器组件218的输入字母)之后构建出有用的单词词典。
PAM组件220基于从词法分析器组件219输出的单词的序列来识别短语的句法。具体而言，PAM组件220接收由词法分析器组件219识别出的单词、生成连接图，其中图的节点表示单词，并且边表示单词之间的关系。PAM组件220可以基于单词在数据流中彼此连接的频率使链接加强或衰减。
类似于映射器组件218和词法分析器组件219，PAM组件220基于短语在语言数据中有多频繁地重现来确定每个识别出的短语的罕见性分数。随着神经语言模块215处理附加的数据，罕见性分数可以随着时间的推移而增加或减少。
类似于词法分析器组件219，PAM组件220可以限制给定短语的长度，以允许PAM组件220能够识别若干可能的组合而不会不利地影响计算机系统115的性能。
PAM组件220通过从词法分析器组件219输出的单词的观察结果来识别句法短语。随着单词的观察结果累积，PAM组件220可以确定给定的短语已经成熟，即，短语已经达到统计显著性的度量。PAM组件220然后将该短语的观察结果输出到认知模块225。PAM组件220将包括符号流、单词、短语、时间戳数据、罕见性分数和统计计算结果的数据发送到认知模块325。在实践中，PAM组件220可以在从词法分析器组件219观察到大约5000个单词之后获得有意义的短语集合。
在成熟之后，生成的字母、单词和短语形成输入数据的稳定神经语言模型，计算机系统115使用该模型将字母、单词和短语的后续观察结果与稳定模型进行比较。当接收到新的数据时，神经语言模块215更新语言模型。此外，神经语言模块215可以将当前观察到的句法与模型进行比较。即，在构建稳定的字母集合之后，神经语言模块215可以构建稳定的单词模型(例如，词典)。继而，神经语言模块215可以用于构建稳定的短语模型(例如，句法)。此后，当神经语言模块215后续接收到标准化数据时，模块215可以输出符号、单词和短语的有序流，所有这些可以与稳定模型进行比较，以识别感兴趣的模式或检测在输入数据流中出现的偏差。
如所示的，认知模块226包括工作空间226、语义记忆(sematic memory)230、小代码(codelet)模板235、情景记忆(episodic memory)240、长期记忆(long term memory)245和异常检测组件250。
在一个实施例中，工作空间226为机器学习引擎140提供计算引擎。例如，工作空间226可以从情景记忆240和长期记忆245取回具有统计相关性的语言数据(例如，在数据中频繁出现的短语)、选择要执行的小代码模板235等。此外，工作空间326从神经语言模块215接收符号、单词和短语(以及罕见性分数)，并将这些数据存储在语义记忆230中。
工作空间226从语义记忆230取回神经语言数据，并根据需要将该数据传播(disseminate)到认知模块225的不同部分。
情景记忆240存储与刚过去的特定情景相关的语言观察结果，并且可以对诸如特定事件的“内容(what)”以及“时间(when)”之类的具体细节进行编码。
长期记忆245存储语言数据的概括结果(generalization)，其中特定的情景细节被剥离。以这种方式，当出现新的观察结果时，来自情景记忆240和长期记忆245的记忆可以用于关联和理解当前事件，即，可以将新的事件与(如由先前观察到的语言数据表示的)过去的经验进行比较，从而导致存储在长期记忆245中的信息随着时间的推移而加强、衰减和调整。在特定实施例中，长期记忆245可以被实现为ART网络和稀疏分布的记忆数据结构。然而，重要的是，这种方法不需要提前定义事件。
小代码模板235提供可执行的小代码或小代码片段的汇集，这些可执行的小代码或小代码片段评估不同的事件序列以确定一个序列可以如何跟随(或以其它方式关联到)另一个序列。更一般而言，小代码可以从输入数据的语言表示中检测感兴趣的模式。例如，小代码可以将当前观察结果(即，具有过去已经观察到的内容的当前短语实例)与存储在语义记忆230中的先前观察到的活动进行比较。通过重复调度小代码以用于执行、将记忆和知觉复制到工作空间226/从工作空间226复制记忆和知觉，认知模块225执行用于观察和学习在语言数据内出现的行为模式的认知循环。
异常检测组件250评估由神经语言模块215发送的罕见性分数，以确定是否响应于由罕见性分数指示的一些异常活动而发出警报。具体而言，异常检测组件250提供表示罕见性分数的概率直方图模型(例如，罕见词汇表模型、罕见句法模型和罕见模型)。异常检测组件250可以向输出设备发送警报数据，管理员可以例如经由管理控制台在该输出设备处查看警报。
认知模块225通过将新观察结果与保留在语义记忆230中的习得模式进行比较并且然后估计这些新观察结果的稀有性来对输送给语义记忆230的语言内容(即，识别出的符号、单词、短语)执行学习分析。
具体而言，异常组件250评估符号、单词和短语中的每一个的罕见性分数，以识别观察到的数据中的异常出现。一旦已经识别出异常观察结果，异常组件就可以发出警报(例如，通知计算机系统115的用户或管理员)。
图3示出根据一个实施例的用于收集用在神经语言行为识别系统中的传感器数据的方法300。更具体而言，方法300描述数据收集器如何从相关联的输入设备取回数据并将数据发送到神经语言模块215。为了更好地描述方法300，假设用于视频源的数据收集器模块202执行方法的步骤。当然，方法300可以适用于其它类型的数据收集器组件202。
方法300在步骤305处开始，其中数据收集器模块202从源输入设备取回数据。在这种情况下，数据收集器模块202可以从视频源(诸如被定位成观察诸如宾馆大厅的特定位置的视频相机)取回视频帧。此外，数据收集器模块202识别要发送到感测记忆组件135的数据值。为了这样做，数据收集器模块202可以评估视频帧以将前景对象与背景对象分离、测量识别出的前景对象的外观和运动信息，并且跟踪在横跨场景(即，相机的视野)移动的前景对象。因此，数据收集器模块202确定要发送到感测记忆组件135的值，诸如用于外观和运动信息的值。
在步骤310处，数据收集器模块202将每个数据值相对于该数据值的类型标准化为落入在范围内(例如，在0到1之间，包括0和1)的数值。例如，与运动特征相关联的值相对于与运动特征相关联的其它值被标准化为从0到1。这样做导致每个值被转换成允许神经语言模块215识别视频流中的重现事件的公共格式。
在对值进行标准化之后，在步骤315处，数据收集器模块202识别与标准化值相关联的附加数据，诸如给定值的时间戳、与值的数据类型(例如，运动特征、外观特征、地点、位置等)相关联的平均值、以及该数据类型的历史高值和历史低值。这样做允许数据收集器模块202在视频源被修改的情况下重新调整标准化。具体而言，数据收集器模块202参考识别出的历史值和平均值来重新调整标准化。
在步骤320处，数据收集器模块202将标准化值的向量和相关联的数据发送到感测记忆组件135。如所述的，感测记忆组件135存储标准化值和相关联的数据。然后，神经语言模块215可以从感测记忆组件135取回标准化值并在此后执行语言分析。
图4进一步示出根据一个实施例的在图2中描述的词法分析器组件。如所述的，映射器组件219基于从给定源(例如，视频源)发送的数据生成符号流。说明性地，映射器组件218将符号流发送到词法分析器组件219。词法分析器组件219基于符号分组在流中出现的统计频率来构建单词(即，符号的组合)的词典。词法分析器组件219将统计上显著的单词输出到PAM组件220。
如所示的，词法分析器组件219本身包括学习模型410、扩充算法415和生成算法420。如提及的，映射器组件218向词法分析器组件219发送符号流。当接收到符号流时，词法分析器组件219将符号输入到学习模型410。学习模型410提供用于评估符号以构建单词的词典的分级方案。即，学习模型410提供词法分析器组件219识别统计相关的单词的级别。
在初始级别处，词法分析器组件219识别具有超过给定阈值的统计显著性分数的一个符号的单词。在一个实施例中，词法分析器组件219基于统计显著性分数来确定哪些单词要包括在词典中。统计显著性分数还允许词法分析器组件219确定在更高级别的学习模型中要进一步评估哪些符号组合。此外，词法分析器组件219基于统计显著性分数来确定当生成统计模型时要考虑哪些单词。一旦识别出一个符号的单词，词法分析器组件219就前进到下一级别以使用具有超过阈值的统计显著性分数的一个符号的单词来识别具有两个符号长度的组合。为了这样做，词法分析器组件219调用扩充算法415，并将统计上显著的一个符号的单词作为输入提供给学习模型410。第二级别学习模型410从一个符号的单词导出两个符号的单词。词法分析器组件219确定统计上显著的两个符号的单词，并且再次递增级别从而以类似的方式导出三个符号的单词。词法分析器组件219对于每个级别以这种方式继续学习单词直到最高级别，在最高级别中，词法分析器组件219学习具有最大长度的单词。如所述的，在实践中，最大长度为五已表明是有效的。因此，在这种情况下，最高级别是第五级。
在一个实施例中，词法分析器组件219生成包括先前识别出的单词的概括结果的特征模型。具体而言，词法分析器组件219识别每个单词中的具体符号的特征。然后，词法分析器组件219可以基于识别出的特征来对符号组合进行抽象。生成特征模型允许词法分析器组件219在除了符号的特定组合之外还评估符号的一般组合的统计显著性。此外，特征模型允许词法分析器组件219从观察到的特征组合中识别异常符号。
在一个实施例中，词法分析器组件219调用生成算法420以生成相对于来自映射器的输入符号流具有统计显著性的已知单词。生成算法420将词典、符号和关联的统计信息输出到PAM组件220。如所述的，PAM组件220从词典生成句法。PAM组件220从相对于彼此通常重现的单词识别短语。集体的符号、单词和短语提供输入数据的语言模型，这允许行为识别系统学习、理解和分析数据而无需初始化之前的对输入数据的任何预先概念(preconception)。
图5示出根据一个实施例的用于处理从输入数据生成的符号的方法。方法500在步骤505处开始，其中词法分析器组件219从映射器组件218接收符号流。如所述的，每个符号被分配给表示从源(例如，视频源、网络安全源等)输入的数据的标准化数值的簇。因此，在流中观察到的符号组合可以表示用于描述数据的单词。
在步骤510处，词法分析器组件219基于分级学习模型410来识别单词。学习模型410的每个级别对应于要从符号流识别的单词的长度。在每个级别处，词法分析器组件219评估每个识别出的单词的统计信息，诸如单词在符号流中出现的频率。词法分析器组件219使用这种统计信息来识别在给定级别处的每个候选单词的统计显著性分数。相对于图6进一步地描述步骤510。
在步骤515处，词法分析器组件219基于相对于从输入符号流抽象出的可能候选特征模式的完整集合在学习模型410中识别出的、具有超过给定阈值的统计显著性分数的、统计上显著的特征模式来生成单词的出现。例如，假设词法分析器组件219频繁地观察到给定的单词模式，即，特征模式。这种模式有可能具有超过阈值的统计显著性分数。相对于图7A、7B和7C提供了更详细的示例。在这种情况下，当在符号流中观察到单词模式时，词法分析器组件219生成该单词模式。在步骤520处，词法分析器组件219将符号、生成的单词和统计信息(例如，统计显著性分数、罕见性分数、出现频率、时间戳等)输出到PAM组件220。PAM组件220从单词导出用于进一步描述输入数据的短语。
图6示出根据一个实施例的用于从表示输入数据的符号流构建单词的词典的方法600。更具体而言，方法600描述了符号组合的分级学习。方法600在步骤605处开始，其中词法分析器组件219确定与学习模型410的当前级别对应的长度的单词(即，符号的组合)。如所述的，学习模型410的级别指示要在该级别处识别的单词的特定长度。例如，在第一级别处，词法分析器组件219可以识别具有一个符号的长度的单词。在第五级别处，词法分析器组件219可以识别长度为五的单词。在实践中，具有五个级别的学习模型410已经证明是有效的。
在步骤610处，当每个单词在当前输入窗口中出现时，词法分析器组件219评估该单词的统计信息。这种统计信息可以包括在流中出现的频率。这样做允许词法分析器组件219从输入流给出的完整组合可能情况中识别出最常见(和不常见)的单词。最常见的单词随后被概括以识别最常见的特征组合。在生成算法420中使用特征组合，由词法分析器组件219生成与这样的模式匹配的具体和未知单词。此外，词法分析器组件219可以加强(即，更新)先前识别出的单词的统计信息。
在一个实施例中，词法分析器组件219评估针对当前输入窗口观察到的每个候选单词的统计显著性分数。统计显著性分数可以基于词法分析器组件219有多经常地观察到给定单词。当在符号流中观察到每个单词时，词法分析器组件219使用该单词的统计显著性分数来确定要输出到PAM组件220的罕见性分数。即，词法分析器组件219输出在输入流中观察到的单词附带指定的统计显著性分数。
类似地，词法分析器组件219基于词法分析器组件219在符号流中有多频繁地观察到单词来评估每个单词的罕见性分数。高罕见性分数指示该单词在符号流中不频繁被观察到。词法分析器组件219基于具体单词在历史数据中有多频繁地被观察到来确定罕见性分数。
在步骤615处，词法分析器组件219识别具有统计显著性的单词。如果词法分析器组件219已经在符号的输入流中相对频繁地观察到单词，那么该单词可能具有统计显著性。统计显著性可以基于频率，该频率是单词基于词典的最大大小相对于其它可识别的单词出现的频率。如所述的，词法分析器组件219基于识别出的具有统计显著性的特征模式(即，在符号流中频繁观察到的模式)来确定哪些单词要输出到PAM组件220。例如，词法分析器组件219可以确定在符号流中经常观察到的特征模式可以具有超过阈值的统计显著性分数。
在步骤620处，词法分析器组件219确定是否已经达到最高级别。如果没有达到最高级别，那么词法分析器组件219通过调用扩充算法415来递增级别。词法分析器组件219将识别出具有超过阈值的显著性分数的单词输入到接下来的学习模型410。词法分析器组件219继续执行步骤605至620，直到已经识别出最高级别的单词。
在步骤625处，词法分析器组件219生成用于识别出的单词的特征模型。特征模型包括通过学习模型410识别出的统计上显著的单词的概括结果。为了对单词进行概括，词法分析器组件219识别每个单词中的符号并将每个符号抽象成其一般特征。例如，假设三个特征f1、f2和f3被映射器组件218识别出。进一步地，每个特征具有相关联的两个符号，使得f1＝{A,B}，f2＝{C,D}并且f3＝{E,F}。假设词法分析器组件219频繁地观察到单词AC、BC和CE。因此，AC的经概括的特征组合为f1f2，BC的经概括的特征组合是f1f2，并且CD的经概括的特征组合为f2f3。所生成的特征模型允许词法分析器组件219评估在输入流中出现的经概括的单词的统计信息。此外，特征模型允许词法分析器组件219识别异常单词。例如，AD、BD和DF分别映射到特征组合f1f2、f1f2和f2f3，但是如果不被频繁地观察到，那么仍然可以是异常的。
图7A至图7C示出根据一个实施例的在不同级别处学习单词的词法分析器组件219的示例。例如，图7A示出在第一级别处学习单词的词法分析器组件219的示例。说明性地，符号流{A，B，C，D，E，F}被传递到学习模型410中。在第一级别处，词法分析器组件219识别具有一个符号的长度的简单单词。说明性地，从学习模型410得到的输出是单词A、B、C、D、E和F。
进一步地，图7B示出基于第二级别的学习模型410识别单词的词法分析器组件219。在这样的示例中，词法分析器组件219识别具有两个符号的长度的单词。为了这样做，词法分析器组件219使用在较低级别处识别出的统计上显著的单词(即，单词A、B、C、D、E和F)作为输入来调用扩充算法415。说明性地，词法分析器组件219经由学习模型410识别出结果得到的统计上显著的单词集合，例如，AB、AD、AE等等。即，在第二级别处，学习模型从一个字母的单词识别出所有合理的组合，并且评估这些组合在流中出现的频率。即，扩充算法基于数学一致性标准来确定组合是否可行(viable)。频繁出现的单词具有统计显著性。在每个级别处，每个统计上显著的单词表示比在较低级别处识别出的单词更复杂的术语。
继续该示例，图7C示出基于第三级别的学习模型410来识别单词的词法分析器组件219。在该示例中，词法分析器组件219基于来自第一级别学习模型410和第二级别学习模型410的输入单词来识别具有两个符号的长度的单词。词法分析器组件219调用扩充算法415。说明性地，词法分析器组件219经由学习模型410识别出结果得到的统计上显著的单词集合，例如，ADB、ABE等等。每个识别出的单词表示比在较低级别处识别出的单词更复杂的术语。
图8示出根据一个实施例的用于将单词输出到感知联想记忆组件220的示例。如所述的，映射器组件218将符号流发送到词法分析器组件219。说明性地，词法分析器组件219接收符号流{A，B，C，D，E，F}。词法分析器组件219通过分级学习模型410确定统计相关的单词(即，符号的组合)。一旦确定了统计相关的单词，词法分析器组件219就调用生成算法420。
在一个实施例中，生成算法419将统计相关的单词、符号和相关联的统计信息(例如，统计显著性分数、频率、罕见性分数)输出到PAM组件220。在该示例中，单词{A，AB，ADB，...}是输出。
本公开的一个实施例被实现为与计算机系统一起使用的程序产品。程序产品的(一个或多个)程序定义实施例(包括本文描述的方法)的功能，并且可以被包含在各种计算机可读存储介质上。计算机可读存储介质的示例包括(i)在其上永久存储信息的不可写存储介质(例如，计算机内的只读存储器设备，诸如可由光学介质驱动器读取的CD-ROM或DVD-ROM盘)；(ii)在其上存储可改变的信息的可写存储介质(例如，硬盘驱动器或软盘驱动器内的软盘)。当承载指导本公开的功能的计算机可读指令时，这种计算机可读存储介质是本公开的实施例。其它示例介质包括通过其信息被运送到计算机(诸如通过包括无线通信网络的计算机或电话网络)的通信介质。
一般而言，为了实现本公开的实施例而执行的例程可以是操作系统或具体应用、组件、程序、模块、对象或指令序列的一部分。本公开的计算机程序典型地由许多指令组成，这些指令将由本机计算机转换为机器可读格式并因此转换成可执行指令。此外，程序由变量和数据结构组成，这些变量和数据结构或者本地驻留在程序中，或者可以在存储器或存储设备中找到。此外，本文描述的各种程序可以基于在本公开的具体实施例中实现这些程序所针对的应用来识别。然而，应当理解的是，以下的任何特定程序命名法仅仅是为了方便而使用，并且因此本公开不应限于仅在由这种命名法识别和/或暗示的任何特定应用中使用。
如所述的，本文的实施例提供用于经由神经语言行为识别系统从表示从源(例如，视频源、SCADA源、网络安全源等)输入的数据的符号构建单词的词典的技术。一旦生成，行为识别系统就建立句法。符号、单词和句法形成用于描述由行为识别系统观察到的输入数据的语言模型的基础。行为识别系统基于语言模型来分析和学习行为，以区分观察到的数据中的正常活动和异常活动。有利地，这种方法不依赖于预定义的模式来识别行为和异常，而是通过观察场景并生成关于它观察到的内容的信息来学习模式和行为。
虽然前述内容针对本公开的实施例，但是可以在不脱离其基本范围的情况下设计本公开的其它的实施例和还有的实施例，并且其范围由以下的权利要求来确定。

Claims (15)

1.一种用于构建词典的计算机实现的方法，所述词典表示与对象的行为相关联的模式，所述方法包括：
经由至少一个处理器，接收表示标准化数据的机器可读符号的流，每个符号与从所述标准化数据生成的不同向量簇相关联，所述标准化数据是通过对多个视频帧中的每个视频帧中的数据进行标准化而得到的，所述多个视频帧包括对象的表示；
经由所述至少一个处理器，对所述标准化数据执行基于神经网络的语言分析；
经由所述至少一个处理器，基于所述基于神经网络的语言分析，生成分级学习模型；
经由所述至少一个处理器，基于所述分级学习模型，确定要识别为机器可读单词的符号的组合，所述分级学习模型具有一个或多个级别，每个级别指示要在该级别处识别的机器可读单词的长度，在每个级别处要识别为机器可读单词的符号的组合是基于在所述流中观察到的符号的组合的重现而确定的；
经由所述至少一个处理器，为在每个级别处识别出的单词评估统计信息；
经由所述至少一个处理器，基于所评估的统计信息，识别所述单词中具有统计显著性的一个或多个单词；
存储所述单词中的识别出的具有统计显著性的所述一个或多个单词以及与所述单词中的识别出的所述一个或多个单词中的每个单词相关联的统计信息，所述统计显著性是基于所述机器可读单词在符号的所述流中被观察到的频率的度量而确定的；
经由所述至少一个处理器，为所述流中的所述机器可读单词中的至少第一机器可读单词的观察结果确定罕见性分数；以及
发布关于所述第一机器可读单词的观察结果的警报，所述警报指示与所述对象的所述行为相关联的模式的改变。
2.如权利要求1所述的计算机实现的方法，还包括：
接收机器可读符号的第二流；
基于所述分级学习模型，从第二流中的符号的组合确定机器可读单词；以及
经由所述分级学习模型，更新先前识别出的单词的统计信息。
3.如权利要求1所述的计算机实现的方法，还包括：从所述单词中的识别出的具有统计显著性的所述一个或多个单词生成特征模型，其中所述特征模型包括所述单词中的识别出的具有统计显著性的所述一个或多个单词的概括结果。
4.如权利要求3所述的计算机实现的方法，其中生成所述特征模型包括：
识别与关联于每个符号的向量簇相关联的特征；以及
基于所述特征对符号进行概括。
5.如权利要求3所述的计算机实现的方法，还包括：评估所述概括结果的统计信息。
6.一种存储指令的非暂态计算机可读存储介质，所述指令当在处理器上执行时，执行用于从机器可读符号的组合构建机器可读单词的词典的操作，所述词典表示与对象的行为相关联的模式，所述指令包括用于以下操作的指令：
经由处理器，接收表示标准化数据的机器可读符号的流，每个符号与从所述标准化数据生成的不同向量簇相关联，所述标准化数据是通过对多个视频帧中的每个视频帧中的数据进行标准化而得到的，所述多个视频帧包括对象的表示；
对所述标准化数据执行基于神经网络的语言分析；
基于所述基于神经网络的语言分析，生成分级学习模型；
基于所述分级学习模型，确定要识别为机器可读单词的符号的组合，所述分级学习模型具有一个或多个级别，每个级别指示要在该级别处识别的机器可读单词的长度，在每个级别处要识别为机器可读单词的符号的组合是基于在所述流中观察到的符号的组合的重现而确定的；
为在每个级别处识别出的单词评估统计信息；
基于所评估的统计信息，识别所述单词中具有统计显著性的一个或多个单词；
存储所述单词中的识别出的具有统计显著性的所述一个或多个单词以及与所述单词中的识别出的所述一个或多个单词中的每个单词相关联的统计信息，所述统计显著性是基于所述机器可读单词在符号的所述流中被观察到的频率的度量而确定的；
为所述流中的所述机器可读单词中的至少第一机器可读单词的观察结果确定罕见性分数；以及
发布关于所述第一机器可读单词的观察结果的警报，所述警报指示与所述对象的所述行为相关联的模式的改变。
7.如权利要求6所述的非暂态计算机可读存储介质，其中所述指令还包括用于以下操作的指令：
接收机器可读符号的第二流；
基于所述分级学习模型，从第二流中的符号的组合确定机器可读单词；以及
经由所述分级学习模型更新先前识别出的单词的统计信息。
8.如权利要求6所述的非暂态计算机可读存储介质，其中所述指令还包括用于以下操作的指令：从所述单词中的识别出的具有统计显著性的所述一个或多个单词生成特征模型，其中所述特征模型包括所述单词中的识别出的具有统计显著性的所述一个或多个单词的概括结果。
9.如权利要求8所述的非暂态计算机可读存储介质，其中生成所述特征模型包括用于以下操作的指令：
识别与关联于每个符号的向量簇相关联的特征；以及
基于所述特征对符号进行概括。
10.如权利要求8所述的非暂态计算机可读存储介质，其中所述指令还包括用于评估所述概括结果的统计信息的指令。
11.一种计算机系统，包括：
处理器；以及
存储器，存储一个或多个应用程序，所述一个或多个应用程序被配置为执行用于从机器可读符号的组合构建机器可读单词的词典的操作，所述词典表示与对象的行为相关联的模式，所述操作包括：
经由处理器，接收表示标准化数据的机器可读符号的流，每个符号与从所述标准化数据生成的不同向量簇相关联，所述标准化数据是通过对多个视频帧中的每个视频帧中的数据进行标准化而得到的，所述多个视频帧包括对象的表示，
对所述标准化数据执行基于神经网络的语言分析，
基于所述基于神经网络的语言分析，生成分级学习模型，
基于所述分级学习模型，确定要识别为机器可读单词的符号的组合，所述分级学习模型具有一个或多个级别，每个级别指示要在该级别处识别的机器可读单词的长度，在每个级别处要识别为机器可读单词的符号的组合是基于在所述流中观察到的符号的组合的重现而确定的，
为在每个级别处识别出的单词评估统计信息，
基于所评估的统计信息，识别所述单词中具有统计显著性的一个或多个单词，
存储所述单词中的识别出的具有统计显著性的所述一个或多个单词以及与所述单词中的识别出的所述一个或多个单词中的每个单词相关联的统计信息，所述统计显著性是基于所述机器可读单词在符号的所述流中被观察到的频率的度量而确定的，
为所述流中的所述机器可读单词中的至少第一机器可读单词的观察结果确定罕见性分数，以及
发布关于所述第一机器可读单词的观察结果的警报，所述警报指示与所述对象的所述行为相关联的模式的改变。
12.如权利要求11所述的计算机系统，其中所述操作还包括：
接收机器可读符号的第二流；
基于所述分级学习模型，从第二流中的符号的组合确定机器可读符号单词；以及
经由所述分级学习模型更新先前识别出的单词的统计信息。
13.如权利要求11所述的计算机系统，其中所述操作还包括：从所述单词中的识别出的具有统计显著性的所述一个或多个单词生成特征模型，其中所述特征模型包括所述单词中的识别出的具有统计显著性的所述一个或多个单词的概括结果。
14.如权利要求13所述的计算机系统，其中生成所述特征模型包括：
识别与关联于每个符号的向量簇相关联的特征；以及
基于所述特征对符号进行概括。
15.如权利要求13所述的计算机系统，其中所述操作还包括评估所述概括结果的统计信息。
CN201580067524.5A 2014-12-12 2015-12-10 用于神经语言行为识别系统的词法分析器 Active CN107111609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110210787.4A CN113158664A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的词法分析器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/569,104 2014-12-12
US14/569,104 US10409909B2 (en) 2014-12-12 2014-12-12 Lexical analyzer for a neuro-linguistic behavior recognition system
PCT/US2015/064931 WO2016094625A1 (en) 2014-12-12 2015-12-10 Lexical analyzer for a neuro-linguistic behavior recognition system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110210787.4A Division CN113158664A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的词法分析器

Publications (2)

Publication Number Publication Date
CN107111609A CN107111609A (zh) 2017-08-29
CN107111609B true CN107111609B (zh) 2021-02-26

Family

ID=56108164

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110210787.4A Pending CN113158664A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的词法分析器
CN201580067524.5A Active CN107111609B (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的词法分析器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110210787.4A Pending CN113158664A (zh) 2014-12-12 2015-12-10 用于神经语言行为识别系统的词法分析器

Country Status (6)

Country Link
US (4) US10409909B2 (zh)
EP (1) EP3230897A1 (zh)
JP (1) JP2018503183A (zh)
KR (1) KR102459779B1 (zh)
CN (2) CN113158664A (zh)
WO (1) WO2016094625A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10264099B2 (en) * 2016-03-07 2019-04-16 Cisco Technology, Inc. Method and system for content closures in a content centric network
US11537791B1 (en) 2016-04-05 2022-12-27 Intellective Ai, Inc. Unusual score generators for a neuro-linguistic behavorial recognition system
US20210279633A1 (en) * 2020-03-04 2021-09-09 Tibco Software Inc. Algorithmic learning engine for dynamically generating predictive analytics from high volume, high velocity streaming data
US11557288B2 (en) * 2020-04-10 2023-01-17 International Business Machines Corporation Hindrance speech portion detection using time stamps

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387651A (zh) * 1999-11-05 2002-12-25 微软公司 词典、分段和语言模型联合优化的系统和迭代方法
WO2003034281A1 (en) * 2001-10-19 2003-04-24 Intel Zao Method and apparatus to provide a hierarchical index for a language model data structure

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679077A (en) 1984-11-10 1987-07-07 Matsushita Electric Works, Ltd. Visual Image sensor system
US5113507A (en) 1988-10-20 1992-05-12 Universities Space Research Association Method and apparatus for a sparse distributed memory system
US5317507A (en) 1990-11-07 1994-05-31 Gallant Stephen I Method for document retrieval and for word sense disambiguation using neural networks
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
WO1996029678A1 (en) 1995-03-22 1996-09-26 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US5680511A (en) * 1995-06-07 1997-10-21 Dragon Systems, Inc. Systems and methods for word recognition
US7076102B2 (en) 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5751378A (en) 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US7711672B2 (en) 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6570608B1 (en) 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US20020032564A1 (en) 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
EP1224569A4 (en) 1999-05-28 2005-08-10 Sehda Inc PHRASE BASED DIALOGUE MODELING WITH SPECIAL APPLICATION FOR GENERATING RECOGNITION GRAMMARK FOR LANGUAGE-CONTROLLED USER INTERFACE
US7136525B1 (en) 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
DE10062404A1 (de) * 2000-12-14 2002-06-27 Infineon Technologies Ag Vorrichtung und Verfahren zum Reduzieren der Anzahl von Adressen fehlerhafter Speicherzellen
US7003444B2 (en) 2001-07-12 2006-02-21 Microsoft Corporation Method and apparatus for improved grammar checking using a stochastic parser
NO316480B1 (no) 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
US20030107650A1 (en) 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Surveillance system with suspicious behavior detection
US7333966B2 (en) * 2001-12-21 2008-02-19 Thomson Global Resources Systems, methods, and software for hyperlinking names
US20060165386A1 (en) 2002-01-08 2006-07-27 Cernium, Inc. Object selective video recording
US7421660B2 (en) 2003-02-04 2008-09-02 Cataphora, Inc. Method and apparatus to visually present discussions for data mining purposes
US7519589B2 (en) * 2003-02-04 2009-04-14 Cataphora, Inc. Method and apparatus for sociological data analysis
EP1481346B1 (en) 2002-02-04 2012-10-10 Cataphora, Inc. A method and apparatus to visually present discussions for data mining purposes
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6856249B2 (en) 2002-03-07 2005-02-15 Koninklijke Philips Electronics N.V. System and method of keeping track of normal behavior of the inhabitants of a house
US8015143B2 (en) 2002-05-22 2011-09-06 Estes Timothy W Knowledge discovery agent system and method
US7006128B2 (en) 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
US7017186B2 (en) * 2002-07-30 2006-03-21 Steelcloud, Inc. Intrusion detection system using self-organizing clusters
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7200266B2 (en) 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20040088723A1 (en) 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7171358B2 (en) * 2003-01-13 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Compression of language model structures and word identifiers for automated speech recognition systems
US6999600B2 (en) 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7026979B2 (en) 2003-07-03 2006-04-11 Hrl Labortories, Llc Method and apparatus for joint kinematic and feature tracking using probabilistic argumentation
US7735647B2 (en) * 2003-07-10 2010-06-15 C. Raker & Sons, Inc. Shipping cradle for trays of seedlings and the like
US7421386B2 (en) * 2003-10-23 2008-09-02 Microsoft Corporation Full-form lexicon with tagged data and methods of constructing and using the same
US7127083B2 (en) 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
EP1589716A1 (en) 2004-04-20 2005-10-26 Ecole Polytechnique Fédérale de Lausanne (EPFL) Method of detecting anomalous behaviour in a computer network
US20060018516A1 (en) 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
US7158680B2 (en) 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
JP2006080437A (ja) 2004-09-13 2006-03-23 Intel Corp マスク・ブランクス検査方法及びマスク・ブランク検査ツール
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US7574409B2 (en) 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
JPWO2006048998A1 (ja) 2004-11-05 2008-05-22 株式会社アイ・ピー・ビー キーワード抽出装置
US7620266B2 (en) 2005-01-20 2009-11-17 International Business Machines Corporation Robust and efficient foreground analysis for real-time video surveillance
US20060190419A1 (en) 2005-02-22 2006-08-24 Bunn Frank E Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system
DE602006017977D1 (de) 2005-03-17 2010-12-16 British Telecomm Verfolgen von objekten in einer videosequenz
WO2006105286A2 (en) 2005-03-30 2006-10-05 Cernium Corporation Intelligent video behavior recognition with multiple masks and configurable logic inference module
US7636730B2 (en) 2005-04-29 2009-12-22 Battelle Memorial Research Document clustering methods, document cluster label disambiguation methods, document clustering apparatuses, and articles of manufacture
US7825954B2 (en) 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US7672865B2 (en) * 2005-10-21 2010-03-02 Fair Isaac Corporation Method and apparatus for retail data mining using pair-wise co-occurrence consistency
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US20070250898A1 (en) 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
JP4970531B2 (ja) 2006-03-28 2012-07-11 ザ・ユニバーシティ・コート・オブ・ザ・ユニバーシティ・オブ・エディンバラ １つ以上のオブジェクトの行動を自動的に特徴付けるための方法。
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US8467570B2 (en) 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
US8401841B2 (en) * 2006-08-31 2013-03-19 Orcatec Llc Retrieval of documents using language models
US20100293048A1 (en) 2006-10-19 2010-11-18 Taboola.Com Ltd. Method and system for content composition
US20080109454A1 (en) 2006-11-03 2008-05-08 Willse Alan R Text analysis techniques
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
ES2522589T3 (es) 2007-02-08 2014-11-17 Behavioral Recognition Systems, Inc. Sistema de reconocimiento conductual
WO2008103929A2 (en) 2007-02-23 2008-08-28 Johnson Controls Technology Company Video processing systems and methods
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
WO2008121945A2 (en) 2007-03-30 2008-10-09 Netqos, Inc. Statistical method and system for network anomaly detection
US7813528B2 (en) 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene
US8411935B2 (en) * 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
US8064639B2 (en) 2007-07-19 2011-11-22 Honeywell International Inc. Multi-pose face tracking using multiple appearance models
EP2019383A1 (en) * 2007-07-25 2009-01-28 Dybuster AG Device and method for computer-assisted learning
US20090094064A1 (en) * 2007-10-09 2009-04-09 Michael Tyler Healthcare Insurance Claim Fraud and Error Detection Using Co-Occurrence
WO2009049314A2 (en) 2007-10-11 2009-04-16 Trustees Of Boston University Video processing system employing behavior subtraction between reference and observed video image sequences
EP2093698A1 (en) 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
US8452108B2 (en) 2008-06-25 2013-05-28 Gannon Technologies Group Llc Systems and methods for image recognition using graph-based pattern matching
US8355896B2 (en) * 2008-09-02 2013-01-15 Fair Isaac Corporation Co-occurrence consistency analysis method and apparatus for finding predictive variable groups
US8121968B2 (en) 2008-09-11 2012-02-21 Behavioral Recognition Systems, Inc. Long-term memory in a video analysis system
US8150624B2 (en) 2008-11-11 2012-04-03 Northrop Grumman Systems Corporation System and method for tracking a moving person
US9373055B2 (en) 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US20100179838A1 (en) * 2009-01-15 2010-07-15 Nitin Basant Healthcare service provider insurance claim fraud and error detection using co-occurrence
US8504374B2 (en) * 2009-02-02 2013-08-06 Jerry Lee Potter Method for recognizing and interpreting patterns in noisy data sequences
US8719302B2 (en) * 2009-06-09 2014-05-06 Ebh Enterprises Inc. Methods, apparatus and software for analyzing the content of micro-blog messages
US8270732B2 (en) 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
JP5382651B2 (ja) 2009-09-09 2014-01-08 独立行政法人情報通信研究機構 単語対取得装置、単語対取得方法、およびプログラム
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US20120137367A1 (en) * 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
US8452763B1 (en) 2009-11-19 2013-05-28 Google Inc. Extracting and scoring class-instance pairs
US8209567B2 (en) * 2010-01-28 2012-06-26 Hewlett-Packard Development Company, L.P. Message clustering of system event logs
US8463756B2 (en) * 2010-04-21 2013-06-11 Haileo, Inc. Systems and methods for building a universal multimedia learner
US8316030B2 (en) 2010-11-05 2012-11-20 Nextgen Datacom, Inc. Method and system for document classification or search using discrete words
US9836455B2 (en) * 2011-02-23 2017-12-05 New York University Apparatus, method and computer-accessible medium for explaining classifications of documents
US8620875B2 (en) * 2011-07-25 2013-12-31 Salesforce.Com, Inc. Fraud analysis in a contact database
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9147129B2 (en) * 2011-11-18 2015-09-29 Honeywell International Inc. Score fusion and training data recycling for video classification
US8542135B2 (en) 2011-11-24 2013-09-24 International Business Machines Corporation Compression algorithm incorporating automatic generation of a bank of predefined huffman dictionaries
ES2611177T3 (es) 2012-03-15 2017-05-05 Cortical.Io Gmbh Procedimientos, aparatos y productos para el procesamiento semántico de texto
US9111613B2 (en) * 2012-07-12 2015-08-18 The Regents Of The University Of Michigan Adaptive reading of a resistive memory
US8762134B2 (en) * 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US9582722B2 (en) * 2012-08-31 2017-02-28 Xerox Corporation Video-based vehicle speed estimation from motion vectors in video streams
US9195829B1 (en) 2013-02-23 2015-11-24 Fireeye, Inc. User interface with real-time visual playback along with synchronous textual analysis log display and event/time index for anomalous behavior detection in applications
US9418142B2 (en) * 2013-05-24 2016-08-16 Google Inc. Overlapping community detection in weighted graphs
WO2015021485A1 (en) * 2013-08-09 2015-02-12 Behavioral Recognition Systems, Inc. A cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
WO2015028844A1 (en) * 2013-08-29 2015-03-05 Arria Data2Text Limited Text generation from correlated alerts
GB2519941B (en) * 2013-09-13 2021-08-25 Elasticsearch Bv Method and apparatus for detecting irregularities on device
US10002177B1 (en) * 2013-09-16 2018-06-19 Amazon Technologies, Inc. Crowdsourced analysis of decontextualized data
CN104035917B (zh) 2014-06-10 2017-07-07 复旦大学 一种基于语义空间映射的知识图谱管理方法和系统
US9565203B2 (en) 2014-11-13 2017-02-07 Cyber-Ark Software Ltd. Systems and methods for detection of anomalous network behavior
US9672203B1 (en) * 2014-12-01 2017-06-06 Amazon Technologies, Inc. Calculating a maturity level of a text string
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US20170293608A1 (en) * 2016-04-06 2017-10-12 Omni Ai, Inc. Unusual score generators for a neuro-linguistic behavioral recognition system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387651A (zh) * 1999-11-05 2002-12-25 微软公司 词典、分段和语言模型联合优化的系统和迭代方法
WO2003034281A1 (en) * 2001-10-19 2003-04-24 Intel Zao Method and apparatus to provide a hierarchical index for a language model data structure

Also Published As

Publication number Publication date
US11017168B2 (en) 2021-05-25
JP2018503183A (ja) 2018-02-01
US10409909B2 (en) 2019-09-10
CN113158664A (zh) 2021-07-23
US20200193091A1 (en) 2020-06-18
WO2016094625A1 (en) 2016-06-16
KR20170097092A (ko) 2017-08-25
US20220012422A1 (en) 2022-01-13
EP3230897A1 (en) 2017-10-18
US20160170964A1 (en) 2016-06-16
KR102459779B1 (ko) 2022-10-28
CN107111609A (zh) 2017-08-29
US20240070388A1 (en) 2024-02-29
US11847413B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
US20220006825A1 (en) Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
CN107003992B (zh) 用于神经语言行为识别系统的感知联想记忆
CN107111610B (zh) 用于神经语言行为识别系统的映射器组件
CN107111609B (zh) 用于神经语言行为识别系统的词法分析器
US11586874B2 (en) Anomaly score adjustment across anomaly generators
US20170293608A1 (en) Unusual score generators for a neuro-linguistic behavioral recognition system
US20170286856A1 (en) Trend analysis for a neuro-linguistic behavior recognition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210525

Address after: Indiana USA

Patentee after: Intelligent artificial intelligence Co.,Ltd.

Address before: Texas in the United States

Patentee before: Omnidirectional Artificial Intelligence Co.,Ltd.

TR01 Transfer of patent right