CN109784287A - 基于情景信号类前额叶网络的信息处理方法、系统、装置 - Google Patents

基于情景信号类前额叶网络的信息处理方法、系统、装置 Download PDF

Info

Publication number
CN109784287A
CN109784287A CN201910058284.2A CN201910058284A CN109784287A CN 109784287 A CN109784287 A CN 109784287A CN 201910058284 A CN201910058284 A CN 201910058284A CN 109784287 A CN109784287 A CN 109784287A
Authority
CN
China
Prior art keywords
information
scene
signal
characteristic vector
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910058284.2A
Other languages
English (en)
Inventor
曾冠雄
陈阳
余山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910058284.2A priority Critical patent/CN109784287A/zh
Priority to US16/971,691 priority patent/US10915815B1/en
Priority to PCT/CN2019/083356 priority patent/WO2020151108A1/zh
Publication of CN109784287A publication Critical patent/CN109784287A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明属于模式识别及类脑机器学习领域，具体涉及了一种基于情景信号类前额叶网络的信息处理方法、系统、装置，旨在解决复杂情况下即复杂多任务情况下系统结构复杂、灵活性差、训练样本需求量大的问题。本发明方法包括：选择对应特征向量提取器进行特征提取；将信息特征向量与情景信号集中每一个情景信号进行维度匹配；维度匹配后的情景特征向量输入特征向量分类器，获得分类信息。本发明方法利用类似于前额叶的模块，实现面向情境信息的多任务学习，在上下文情景信息不能事先确定的情况下，可以逐步学习依赖于上下文情境信息的映射，处理后的数据可应用于多任务学习或更高要求的连续多任务学习。

Description

基于情景信号类前额叶网络的信息处理方法、系统、装置
技术领域
本发明属于模式识别及类脑机器学习领域，具体涉及了一种基于情景信号类前额叶网络的信息处理方法、系统、装置。
背景技术
高级智能的特点之一就是具有灵活性。人类可以根据不同的目标，环境和内部状态等不同情境对同一刺激做出不同的反应。前额叶在灵长类中高度精细化，在实现这种能力中起着关键的作用。前额叶可以快速学习“游戏规则”，并动态地将它们应用于将感官输入映射到以不同的动作为依据的上下文相关的任务中,这个过程被称为认知控制，它让灵长类在无限多种情况下都可以有适当的行为。
当前的人工神经网络在从原始数据中提取高级特征去做模式分类，学习复杂的映射规则方面功能非常强大，然而，它们的响应主要由网络输入决定的，并呈现出刻板的输入输出映射。另外，一旦网络训练完成，那么网络的映射通常是固定的。
因此，目前的人工神经网络在复杂情况下缺乏必要的灵活性，主要是因为映射规则可能根据上下文而变化，而且这些规则需要从少量训练样本中“随时”学习。从这可以看出人工神经网络和人类大脑之间具有巨大的能力差距。
发明内容
为了解决现有技术中的上述问题，即复杂多任务情况下系统结构复杂，灵活性差，以及训练样本需求量大的问题，本发明提供了一种受前额叶功能启发的，基于情景信号类前额叶网络的信息处理方法，包括：
步骤S10，基于获取信息选择特征向量提取器进行特征提取，得到信息特征向量；
步骤S20，将所述信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量，构成情景特征向量集；
步骤S30，将情景特征向量集中各特征向量通过预先构建的特征向量分类器分类获得各特征向量分类信息，构成分类信息集；所述特征向量分类器为情景特征向量和分类信息的映射网络。
在一些优选的实施例中步骤S10中“选择特征向量提取器”，其方法为：
基于预设的特征向量提取器库，依据获取信息的类别选择对应的特征向量提取器。
在一些优选的实施例中，所述特征向量提取器，其构建方法为：
基于训练数据集，采用Adam算法迭代地更新特征向量提取网络中参数的权重；所述特征向量提取网络基于深度神经网络构建；
将训练后的特征提取网络最后的分类层去除后的网络作为特征向量提取器。
在一些优选的实施例中，步骤S20中“将所述信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量”，其步骤为：
步骤S201，基于情景信号及类前额叶网络构建权重矩阵，并对该权重矩阵每一列进行模归一化；
其中，Win为权重矩阵，为的归一化的模，i为输入特征的维度索引，k为输入特征的维度，m为隐藏层的维度；
步骤S202，基于权重矩阵，将情景信号与信息特征向量进行维度匹配，获得情景特征向量；
Yout＝g([c1 cosθ1,c2 cosθ2,…,cm cosθm]T)||F||
其中，Yout为情景特征向量，F为信息特征向量，C为情景信号，⊙代表向量对应元素相乘；θm是和F之间的角度，g＝max(0,x)；Win为权重矩阵，
步骤S203，所述情景信号集中每一个情景信号与信息特征向量进行维度匹配后获得的情景特征向量构成情景特征向量集。
在一些优选的实施例中，步骤S30中所述特征向量分类器基于下式构建：
YLable＝(Wout)TYout＝||Wout||||F||cosφ
其中，YLable为分类信息，Wout为分类器的分类权重，Yout为类前额叶网络输出的特征，n为类前额叶网络输出权重的维度，F为信息特征向量。
在一些优选的实施例中，所述Adam算法，其参数配置为：
Adam算法的学习率为0.1，权重衰减率为0.0001，每个批次的训练样本数为256。
在一些优选的实施例中，所述情景信号为对应分类属性的多维词向量；所述词向量维度为200维。
在一些优选的实施例中，所述权重矩阵Win为：
基于词向量的维度以及类前额前层的维度，构建的词向量维度×类前额叶维度大小的矩阵。
本发明的另一方面，提出了一种基于情景信号类前额叶网络的信息处理系统，包括获取模块、特征提取模块、维度匹配模块、分类模块、输出模块；
所述获取模块，配置为获取输入信息以及情景信号集并输入；
所述特征提取模块，配置为采用对应输入信息的特征向量提取器提取输入信息的特征，获得信息特征向量；
所述维度匹配模块，配置为将信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量，构成情景特征向量集；
所述分类模块，配置为将情景特征向量集中各特征向量通过预先构建的特征向量分类器分类获得各特征向量分类信息，构成分类信息集；
所述输出模块，配置为将获取的分类信息集输出。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于情景信号类前额叶网络的信息处理方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于情景信号类前额叶网络的信息处理方法。
本发明的有益效果：
(1)本发明基于情景信号的多任务信息处理方法利用类似于前额叶的模块，实现面向情境信息的多任务学习。在上下文情境信息不能事先确定的情况下，可以逐步学习依赖于上下文情境信息的映射。经过本发明方法处理后的数据可以应用于多任务学习或更高要求的连续多任务学习，并且可以简化网络结构，减少多任务学习难度，增加系统灵活性。
(2)本发明使用深度神经网络作为特征提取器，然后在线性层使用设计的优化方法。这样既充分发挥了深度神经网络的作用，又降低了设计难度。
(3)本发明方法中设计了情境信号，这个情境信号可以根据当前工作的环境变化而变化，解决了神经网络不能根据不同的目标，环境和内部状态等不同情境对同一刺激做出不同的反应的缺陷。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于情景信号类前额叶网络的信息处理方法的流程示意图；
图2是本发明基于情景信号类前额叶网络的信息处理方法的网络结构示意图；
图3是本发明基于情景信号类前额叶网络的信息处理方法的实施例的三维空间示意图；
图4是本发明基于情景信号类前额叶网络的信息处理方法的传统多任务学习网络和连续多任务学习网络的网络架构示意图；
图5是本发明基于情景信号类前额叶网络的信息处理方法的多任务训练和连续多场景训练的人脸识别任务精度示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于情景信号类前额叶网络的信息处理方法，包括：
步骤S10，基于获取信息选择特征向量提取器进行特征提取，得到信息特征向量；
步骤S20，将所述图片特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量，构成情景特征向量集；
步骤S30，将情景特征向量集中各特征向量通过预先构建的特征向量分类器分类获得各特征向量分类信息，构成分类信息集；所述特征向量分类器为情景特征向量和分类信息的映射网络。
为了更清晰地对本发明基于情景信号类前额叶网络的信息处理方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于情景信号类前额叶网络的信息处理方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，基于获取信息选择特征向量提取器进行特征提取，得到信息特征向量。
基于预设的特征向量提取器库，依据获取信息的类别选择对应的特征向量提取器。
特征向量提取器库包含图片特征向量提取器、语音特征向量提取器、文本特征向量提取器中的一个或多个；还可以包括其他常见信息类别的特征向量提取器，此处不再一一列举。本发明中特征向量提取器可以基于深度神经网络构建，例如，对于图片输入信息，可选择ResNet等深度神经网络；对于语音输入信息，可选择CNN、LSTM、GRU等深度神经网络；对于文本输入信息，可以使用fastText、TextCNN和TextRNN等深度神经网络。
在现实环境中，信息一般是多模态的，可同时结合使用多种特征向量处理器提取特征，能够丰富信息的表达，还可以大大降低原始信息的维度，使得下游信息更容易处理。
特征向量提取器库中的每一个特征向量提取器，其构建方法为：
基于训练数据集，采用Adam算法迭代地更新特征向量提取网络中参数的权重；所述特征向量提取网络基于深度神经网络构建。
将训练后的特征提取网络最后的分类层去除后的网络作为特征向量提取器。
本发明优选的实施例中，Adam算法的学习率为0.1，权重衰减率为0.0001，每个批次的训练样本数(Batch Size)为256。本发明获取的训练数据集为人脸数据集CelebA(CelebA是香港中文大学的开放数据，包含10177个名人身份的202599张图片，每个人脸有对应的40个属性，每个属性作为一种场景，不同的场景对应不同的情景信号)。
采用Adam算法训练深度神经网络ResNet50，去除ResNet50网络最后的分类层，使用倒数第二层的输出作为人脸数据的特征，倒数第二层的输出有2048维度。
步骤S20，将所述信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量，构成情景特征向量集。如图2所示为本发明实施例的基于情景信号的类前额叶网络结构示意图。
本发明优选的实施例中，采用gensim工具包的默认参数训练的英文词向量作为情景信号，40个属性分类任务的情景信号为其对应属性标签的200维词向量。
步骤S201，基于情景信号及类前额叶网络构建权重矩阵，并对该权重矩阵每一列进行模归一化。
情景信号维度为200维，类前额前层为5000维，构建大小为200×5000的权重矩阵。本发明优选实施例的三维空间示意图如图3所示。
构建的权重矩阵Win如式(1)所示：
其中，k为输入特征的维度，m为隐藏层的维度。
对权重矩阵每一列归一化，如式(2)所示：
其中，i为输入特征的维度索引。
步骤S202，基于权重矩阵，将情景信号与信息特征向量进行维度匹配，获得情景特征向量，如式(3)所示：
其中，Yout为情景特征向量，F为信息特征向量，C为情景信号，⊙代表向量对应元素相乘；θm是和F之间的角度，g＝max(0,x)；Win为权重矩阵，
步骤S203，所述情景信号集中每一个情景信号与输入信息特征向量进行维度匹配后获得的情景特征向量构成情景特征向量集。
步骤S30，将情景特征向量集中各特征向量通过预先构建的特征向量分类器分类获得各特征向量分类信息，构成分类信息集；所述特征向量分类器为情景特征向量和分类信息的映射网络。
特征向量分类器基于式(4)和式(5)构建：
YLable＝(Wout)TYout＝||Wout||||F||cosφ 式(4)
其中，YLable为分类信息，Wout为分类器的分类权重，Yout为类前额叶网络输出的特征，n为类前额叶网络输出权重的维度，F为信息特征向量。
如图4所示，为本发明基于情景信号类前额叶网络的信息处理方法的传统多任务学习网络和连续多任务学习网络的网络架构示意图，C代表分类器。为了实现依赖于上下文的处理，在多任务训练中需要开关模块和n个分类器，其中n是情境信号的个数。
如图5所示，为本发明基于情景信号类前额叶网络的信息处理方法的多任务训练和连续多场景训练的人脸识别任务精度示意图，每个点代表一个人脸属性，总共40个。每个属性与一个情景信号相关联，从而可以做基于情境信号的连续多任务学习，实现多任务训练获得的结果。
本发明第二实施例的基于情景信号类前额叶网络的信息处理系统，包括获取模块、特征提取模块、维度匹配模块、分类模块、输出模块；
所述获取模块，配置为获取输入信息以及情景信号集并输入；
所述特征提取模块，配置为采用对应输入信息的特征向量提取器提取输入信息的特征，获得信息特征向量；
所述维度匹配模块，配置为将信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量，构成情景特征向量集；
所述分类模块，配置为将情景特征向量集中各特征向量通过预先构建的特征向量分类器分类获得各特征向量分类信息，构成分类信息集；
所述输出模块，配置为将获取的分类信息集输出。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于情景信号类前额叶网络的信息处理系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于情景信号类前额叶网络的信息处理方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于情景信号类前额叶网络的信息处理方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于情景信号类前额叶网络的信息处理方法，其特征在于，包括：
步骤S10，基于获取信息选择特征向量提取器进行特征提取，得到信息特征向量；
步骤S20，将所述信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量，构成情景特征向量集；
步骤S30，将情景特征向量集中各特征向量通过预先构建的特征向量分类器分类获得各特征向量分类信息，构成分类信息集；所述特征向量分类器为情景特征向量和分类信息的映射网络。
2.根据权利要求1所述的基于情景信号类前额叶网络的信息处理方法，其特征在于，步骤S10中“选择特征向量提取器”，其方法为：
基于预设的特征向量提取器库，依据获取信息的类别选择对应的特征向量提取器。
3.根据权利要求2所述的基于情景信号类前额叶网络的信息处理方法，其特征在于，所述特征向量提取器，其构建方法为：
基于训练数据集，采用Adam算法迭代地更新特征向量提取网络中参数的权重；所述特征向量提取网络基于深度神经网络构建；
将训练后的特征提取网络最后的分类层去除后的网络作为特征向量提取器。
4.根据权利要求1所述的基于情景信号类前额叶网络的信息处理方法，其特征在于，步骤S20中“将所述信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量”，其步骤为：
步骤S201，基于情景信号及类前额叶网络构建权重矩阵，并对该权重矩阵每一列进行模归一化；
其中，Win为权重矩阵，为的归一化的模，i为隐藏层的维度索引，k为输入特征的维度，m为隐藏层的维度；
步骤S202，基于权重矩阵，将情景信号与信息特征向量进行维度匹配，获得情景特征向量；
Yout＝g([c1cosθ1,c2cosθ2,…,cmcosθm]T)||F||
其中，Yout为情景特征向量，F为信息特征向量，C为情景信号，⊙代表向量对应元素相乘；θm是和F之间的角度，g＝max(0,x)；Win为权重矩阵，
步骤S203，所述情景信号集中每一个情景信号与输入信息特征向量进行维度匹配后获得的情景特征向量构成情景特征向量集。
5.根据权利要求1所述的基于情景信号类前额叶网络的信息处理方法，其特征在于，步骤S30中所述特征向量分类器基于下式构建：
YLable＝(Wout)TYout＝||Wout||||F||cosφ
其中，YLable为分类信息，Wout为分类器的分类权重，Yout为类前额叶网络输出的特征，n为类前额叶网络输出权重的维度，F为信息特征向量。
6.根据权利要求2所述的基于情景信号类前额叶网络的信息处理方法，其特征在于，所述Adam算法，其参数配置为：
Adam算法的学习率为0.1，权重衰减率为0.0001，每个批次的训练样本数为256。
7.根据权利要求3所述的基于情景信号类前额叶网络的信息处理方法，其特征在于，所述情景信号为对应分类属性的多维词向量；所述词向量维度为200维。
8.根据权利要求6所述的基于情景信号类前额叶网络的信息处理方法，其特征在于，所述权重矩阵Win为：
基于词向量的维度以及类前额前层的维度，构建的词向量维度×类前额叶维度大小的矩阵。
9.一种基于情景信号类前额叶网络的信息处理系统，其特征在于，包括获取模块、特征提取模块、维度匹配模块、分类模块、输出模块；
所述获取模块，配置为获取输入信息以及情景信号集并输入；
所述特征提取模块，配置为采用对应输入信息的特征向量提取器提取输入信息的特征，获得信息特征向量；
所述维度匹配模块，配置为将信息特征向量输入类前额叶网络，与所输入的情景信号集中每一个情景信号进行维度匹配，获得情景特征向量，构成情景特征向量集；
所述分类模块，配置为将情景特征向量集中各特征向量通过预先构建的特征向量分类器分类获得各特征向量分类信息，构成分类信息集；
所述输出模块，配置为将获取的分类信息集输出。
10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于情景信号类前额叶网络的信息处理方法。
11.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-8任一项所述的基于情景信号类前额叶网络的信息处理方法。
CN201910058284.2A 2019-01-22 2019-01-22 基于情景信号类前额叶网络的信息处理方法、系统、装置 Pending CN109784287A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910058284.2A CN109784287A (zh) 2019-01-22 2019-01-22 基于情景信号类前额叶网络的信息处理方法、系统、装置
US16/971,691 US10915815B1 (en) 2019-01-22 2019-04-19 Information processing method, system and device based on contextual signals and prefrontal cortex-like network
PCT/CN2019/083356 WO2020151108A1 (zh) 2019-01-22 2019-04-19 基于情境信号类前额叶网络的信息处理方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910058284.2A CN109784287A (zh) 2019-01-22 2019-01-22 基于情景信号类前额叶网络的信息处理方法、系统、装置

Publications (1)

Publication Number Publication Date
CN109784287A true CN109784287A (zh) 2019-05-21

Family

ID=66501994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910058284.2A Pending CN109784287A (zh) 2019-01-22 2019-01-22 基于情景信号类前额叶网络的信息处理方法、系统、装置

Country Status (3)

Country Link
US (1) US10915815B1 (zh)
CN (1) CN109784287A (zh)
WO (1) WO2020151108A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116244517B (zh) * 2023-03-03 2023-11-28 北京航空航天大学 基于层次化信息抽取网络的多场景多任务的模型训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021849A (zh) * 2006-09-14 2007-08-22 浙江大学 基于内容相关性的跨媒体检索方法
CN101853426A (zh) * 2010-05-21 2010-10-06 南京邮电大学 普适计算环境中基于神经网络的上下文融合方法
CN105678150A (zh) * 2016-01-11 2016-06-15 成都布林特信息技术有限公司 一种用户权限管理方法
CN106934068A (zh) * 2017-04-10 2017-07-07 江苏东方金钰智能机器人有限公司 机器人基于环境上下文的语义理解的方法
CN109171769A (zh) * 2018-07-12 2019-01-11 西北师范大学 一种应用于抑郁症检测的语音、面部特征提取方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734071B2 (en) * 2003-06-30 2010-06-08 Honda Motor Co., Ltd. Systems and methods for training component-based object identification systems
US20090157625A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for identifying an avatar-linked population cohort
US20090157660A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems employing a cohort-linked avatar
US20090157481A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a cohort-linked avatar attribute
US20190159712A1 (en) * 2009-03-30 2019-05-30 Donald H. Marks Brain function decoding process and system
US20100249573A1 (en) * 2009-03-30 2010-09-30 Marks Donald H Brain function decoding process and system
CN102596025B (zh) * 2010-06-25 2013-10-16 中国科学院自动化研究所 基于鲁棒统计信息传播的多模态三维磁共振图像脑肿瘤分割方法
US9946344B2 (en) * 2011-03-25 2018-04-17 Drexel University Functional near infrared spectroscopy based brain computer interface
US8442321B1 (en) 2011-09-14 2013-05-14 Google Inc. Object recognition in images
US10254785B2 (en) * 2014-06-30 2019-04-09 Cerora, Inc. System and methods for the synchronization of a non-real time operating system PC to a remote real-time data collecting microcontroller
CN106650796B (zh) * 2016-12-06 2020-10-23 国家纳米科学中心 一种基于人工智能的细胞荧光图像分类方法和系统
WO2018175698A1 (en) * 2017-03-22 2018-09-27 Larsx Continuously learning and optimizing artificial intelligence (ai) adaptive neural network (ann) computer modeling methods and systems
US10939833B2 (en) * 2017-05-01 2021-03-09 Samsung Electronics Company, Ltd. Determining artery location using camera-based sensing
EP3684463A4 (en) * 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
CN107766324B (zh) * 2017-09-25 2020-09-01 浙江大学 一种基于深度神经网络的文本一致性分析方法
US11199904B2 (en) * 2017-10-06 2021-12-14 Holland Bloorview Kids Rehabilitation Hospital Brain-computer interface platform and process for classification of covert speech
CN107690034A (zh) 2017-10-27 2018-02-13 中国科学技术大学苏州研究院 基于环境背景声音的智能情景模式切换系统及方法
CN108937968B (zh) 2018-06-04 2021-11-19 安徽大学 基于独立分量分析的情感脑电信号的导联选择方法
US20200060566A1 (en) * 2018-08-24 2020-02-27 Newton Howard Automated detection of brain disorders
US20200129110A1 (en) * 2018-10-24 2020-04-30 Translational Research Institute Pty Ltd As Trustee For Translational Research Institute Trust Functional analysis of human brain using functional magnetic resonance imaging (fmri) for acute stress and post traumatic stress disorder (ptsd) monitoring neuroplasticity
CN109726389B (zh) * 2018-11-13 2020-10-13 北京邮电大学 一种基于常识和推理的中文缺失代词补全方法
US20200387603A1 (en) * 2019-06-04 2020-12-10 International Business Machines Corporation Device protection based on prediction and contextual analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021849A (zh) * 2006-09-14 2007-08-22 浙江大学 基于内容相关性的跨媒体检索方法
CN101853426A (zh) * 2010-05-21 2010-10-06 南京邮电大学 普适计算环境中基于神经网络的上下文融合方法
CN105678150A (zh) * 2016-01-11 2016-06-15 成都布林特信息技术有限公司 一种用户权限管理方法
CN106934068A (zh) * 2017-04-10 2017-07-07 江苏东方金钰智能机器人有限公司 机器人基于环境上下文的语义理解的方法
CN109171769A (zh) * 2018-07-12 2019-01-11 西北师范大学 一种应用于抑郁症检测的语音、面部特征提取方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANXIONG ZENG ET AL.: "Continuous Learning of Context-dependent Processing in Neural Networks", 《ARXIV:1810.01256V2 [CS.LG]》 *
许伟栋等: "基于卷积神经网络和支持向量机算法的马铃薯表面缺陷检测", 《江苏农业学报》 *

Also Published As

Publication number Publication date
US10915815B1 (en) 2021-02-09
WO2020151108A1 (zh) 2020-07-30
US20210056415A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
Jiang et al. Fingerspelling identification for Chinese sign language via AlexNet-based transfer learning and Adam optimizer
Shrivastava et al. Multiple kernel learning for sparse representation-based classification
Shao et al. Feature learning for image classification via multiobjective genetic programming
Liu et al. Oracle bone inscriptions recognition based on deep convolutional neural network
CN109947954A (zh) 多任务协同识别方法及系统
CN111639679A (zh) 一种基于多尺度度量学习的小样本学习方法
Santhalingam et al. Sign language recognition analysis using multimodal data
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
CN106980830A (zh) 一种基于深度卷积网络自亲缘关系识别方法与装置
Dong et al. A combined deep learning model for the scene classification of high-resolution remote sensing image
CN109344856A (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
Chen et al. Learning to focus: cascaded feature matching network for few-shot image recognition
Bai Scene categorization through using objects represented by deep features
Wang et al. A deep clustering via automatic feature embedded learning for human activity recognition
Waytowich et al. Grounding natural language commands to StarCraft II game states for narration-guided reinforcement learning
Alhady et al. Butterfly species recognition using artificial neural network
Baek et al. Deep convolutional decision jungle for image classification
Zheng et al. Fuzzy deep forest with deep contours feature for leaf cultivar classification
Vyas et al. An efficient approach for plant leaf species identification based on SVM and SMO and performance improvement
CN109784287A (zh) 基于情景信号类前额叶网络的信息处理方法、系统、装置
Liang et al. Accurate image recognition of plant diseases based on multiple classifiers integration
Lu et al. Image recommendation based on a novel biologically inspired hierarchical model
CN115033700A (zh) 基于相互学习网络的跨领域情感分析方法、装置以及设备
Jiao et al. Plant leaf recognition based on conditional generative adversarial nets
Vladimir et al. The method for searching emotional content in images based on low-level parameters with using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190521

RJ01 Rejection of invention patent application after publication