CN108229540B - 类脑多模态融合方法及装置 - Google Patents
类脑多模态融合方法及装置 Download PDFInfo
- Publication number
- CN108229540B CN108229540B CN201711296149.9A CN201711296149A CN108229540B CN 108229540 B CN108229540 B CN 108229540B CN 201711296149 A CN201711296149 A CN 201711296149A CN 108229540 B CN108229540 B CN 108229540B
- Authority
- CN
- China
- Prior art keywords
- target object
- preset
- belief
- neural network
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 238000009826 distribution Methods 0.000 claims abstract description 133
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000003062 neural network model Methods 0.000 claims description 82
- 230000007246 mechanism Effects 0.000 claims description 50
- 238000013528 artificial neural network Methods 0.000 claims description 39
- 230000004927 fusion Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 20
- 238000001228 spectrum Methods 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 10
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 210000004556 brain Anatomy 0.000 description 11
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000002442 prefrontal cortex Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 210000003926 auditory cortex Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 210000003863 superior colliculi Anatomy 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Abstract
本发明涉及人工智能技术领域，具体提供了一种类脑多模态融合方法及装置，旨在解决如何提高多模态融合方法识别准确性的技术问题。为此目的，本发明中的类脑多模态融合方法包括下述步骤：依据图像信息获取目标物体所属预设第一类别的置信度分布，依据音频信息获取目标物体所属预设第二类别的置信度分布，依据形变信息获取目标物体的柔度特征，依据上述获取的置信度分布与柔度特征，确定目标物体的所属类型。本发明的技术方案，能够准确识别不同的单模态信息，进而提高多模态融合方法识别准确性。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种类脑多模态融合方法及装置。
背景技术
多模态融合(Multimodal fusion)指的是整合各种输入模态的信息，并将它们合并在一个完成同一目标的系统中的处理方法。例如，基于多模态融合的人脸情感识别中，首先分别对输入的人脸图像和语音构造一个情感识别系统，然后对这两个系统的输出进行加权平均，得到最终的识别结果。但是，当前的多模态融合方法中对单模态信息识别性能较低，进而影响多模态融合方法最终的识别准确性。
发明内容
为了解决现有技术中的上述问题，即为了解决如何提高多模态融合方法识别准确性的技术问题，本发明提供了一种类脑多模态融合方法及装置。
在第一方面，本发明中的类脑多模态融合方法包括：
采集目标物体的图像、音频信息和形变信息；
依据所采集的图像获取该目标物体所属预设第一类别的置信度分布Vbelief；
基于预设的脉冲神经网络模型，并依据所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief；
依据所采集的形变信息获取该目标物体的柔度特征H；
基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型。
进一步地，本发明提供的一个优选技术方案为：
“依据所采集的图像获取该目标物体所属各预设第一类别的置信度分布”的步骤具体包括：
提取所述图像中的背景区域，并计算所提取的背景区域的像素灰度均值m和像素灰度方差σ；
按照下式所示的方法获取所述图像中目标物体所在区域O：
|I(x,y)-m|＞ασ
获取所述目标物体所在区域O的颜色特征；
基于预设的第二神经网络模型，并依据所获取的颜色特征，确定所述目标物体所属预设第一类别的置信度分布；
其中，
所述I(x,y)为目标物体所在区域O中坐标为(x,y)的像素的灰度值，所述预设的第二神经网络模型为基于双层神经网络的神经网络模型。
进一步地，本发明提供的一个优选技术方案为：
“获取所述目标物体所在区域O的颜色特征”的步骤具体包括：
提取所述区域O的HSV空间中通道H、通道S和通道V的像素值，并将所提取的像素值串联成一个向量；
将所述向量划分为多个长度相等的区间，其中，所有区间的长度之和等于所述向量中最大元素值与最小元素值之差；
统计每个所述区间内的像素点个数，并依据所统计的像素点个数得到所述区域O的颜色直方图特征向量；
对所述颜色直方图特征向量进行归一化处理，得到新的特征向量V，其中，所述特征向量V的维度为所述区间的总数。
进一步地，本发明提供的一个优选技术方案为：
“基于预设的第二神经网络模型，并依据所获取的颜色特征，确定所述目标物体所属预设第一类别的置信度分布Vbelief”的步骤具体包括：
基于预设的第二神经网络模型，并依据所述的新的特征向量V，获取所述目标物体属于预设第一类别的置信度分布Vbelief，其中，所述置信度分布Vbelief中置信度最大值对应的预设第一类别为该目标物体的所属类别。
进一步地，本发明提供的一个优选技术方案为：
“基于预设的脉冲神经网络模型，并依据所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief”的步骤具体包括：
依据所述音频信息，获取预设频率对应的频谱信号；
基于预设的脉冲神经网络模型，并依据所获取的频谱信号，获取所述目标物体所属预设第二类别的置信度分布Abelief，其中，所述置信度分布Abelief中置信度最大值对应的预设第二类别为该目标物体的所属类别；
其中，
所述预设的脉冲神经网络模型为基于三层神经网络的脉冲神经网络模型。
进一步地，本发明提供的一个优选技术方案为：
“依据所采集的形变信息获取该目标物体的柔度特征H”的步骤具体包括：
将目标物体置于夹持器的两个夹持机构之间，并控制夹持器对该目标物体进行夹持；
采集夹持过程中目标物体的形变信息，其中，所述形变信息包括夹持机构的受力值，以及两个夹持机构的间距；
按照下式所示的方法计算目标物体的柔度特征H：
H＝(SA-SB)/ΔE
其中，所述SA为在夹持过程的时刻A两个夹持机构的间距，所述SB为在夹持过程的时刻B两个夹持机构的间距；所述时刻A为在夹持过程中夹持机构的受力值最后一次超过阈值EA的时刻，所述时刻B为在夹持过程中夹持机构的受力值首次超过阈值EB的时刻，且EA＜EB；
所述ΔE为夹持器完成夹持前后目标物体的受力变化值，且ΔE＝E1-E0，所述E0为夹持机构的初始受力值，所述E1为夹持机构的最终受力值。
进一步地，本发明提供的一个优选技术方案为：
“计算目标物体的柔度特征H”的步骤还包括：
按照下式所示的方法计算阈值EA与阈值EB：
其中，所述k1与k2均为预设阈值参数，k1+k2＝1且k1＜k2。
进一步地，本发明提供的一个优选技术方案为：
所述预设的第一神经网络模型为基于两层神经网络的全连接神经模型；
“基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型”的步骤具体包括：
对所述置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C，其中，所述C＝[Vbelief Abelief H]；
基于所述预设的第一神经网络模型，并依据所述特征向量C，获取所述目标物体的所属类型。
进一步地，本发明提供的一个优选技术方案为：
所述预设的第一神经网络模型包括第一神经网络子模型和第二神经网络子模型；
“基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型”的步骤具体包括：
依据所述柔度特征H与预设柔度阈值Hth，对目标物体进行分类，其中，第一类目标物体为H＜Hth的目标物体，第二类目标物体为H≥Hth的目标物体；
对所述第一类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C1，其中，C1＝[Vbelief Abelief H]；
对所述第二类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C2，其中，C2＝[Vbelief Abelief H]；
基于所述第一神经网络子模型，并依据所述特征向量C1，获取所述第一类目标物体的所属类型；基于所述第二神经网络子模型，并依据所述特征向量C2，获取所述第二类目标物体的所属类型。
在第二方面，本发明中的类脑多模态融合装置包括：
信息采集模块，配置为采集目标物体的图像、音频信息和形变信息；
视觉特征获取模块，配置为依据所述信息采集模块所采集的图像获取该目标物体所属预设第一类别的置信度分布Vbelief；
声音特征获取模块，配置为基于预设的脉冲神经网络模型，并依据所述信息采集模块所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief；
触觉特征获取模块，配置为依据所述信息采集模块所采集的形变信息获取该目标物体的柔度特征H；
类型识别模块，配置为基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型。
进一步地，本发明提供的一个优选技术方案为：
所述视觉特征获取模块包括第一置信度分布获取单元；所述第一置信度分布获取单元，配置为执行下述操作：
提取所述图像中的背景区域，并计算所提取的背景区域的像素灰度均值m和像素灰度方差σ；
按照下式所示的方法获取所述图像中目标物体所在区域O：
|I(x,y)-m|＞ασ
获取所述目标物体所在区域O的颜色特征；
基于预设的第二神经网络模型，并依据所获取的颜色特征，确定所述目标物体所属预设第一类别的置信度分布；
其中，
所述I(x,y)为目标物体所在区域O中坐标为(x,y)的像素的灰度值，所述预设的第二神经网络模型为基于双层神经网络的神经网络模型。
进一步地，本发明提供的一个优选技术方案为：
所述第一置信度分布获取单元包括颜色特征获取子单元；所述颜色特征获取子单元，配置为执行下述操作：
提取所述区域O的HSV空间中通道H、通道S和通道V的像素值，并将所提取的像素值串联成一个向量；
将所述向量划分为多个长度相等的区间，其中，所有区间的长度之和等于所述向量中最大元素值与最小元素值之差；
统计每个所述区间内的像素点个数，并依据所统计的像素点个数得到所述区域O的颜色直方图特征向量；
对所述颜色直方图特征向量进行归一化处理，得到新的特征向量V，其中，所述特征向量V的维度为所述区间的总数。
进一步地，本发明提供的一个优选技术方案为：
所述第一置信度分布获取单元还包括第一置信度分布获取子单元；所述第一置信度分布获取子单元，配置为执行下述操作：
基于预设的第二神经网络模型，并依据所述的新的特征向量V，获取所述目标物体属于预设第一类别的置信度分布Vbelief，其中，所述置信度分布Vbelief中置信度最大值对应的预设第一类别为该目标物体的所属类别。
进一步地，本发明提供的一个优选技术方案为：
所述声音特征获取模块包括第二置信度分布获取单元；所述第二置信度分布获取单元，配置为执行下述操作：
依据所述音频信息，获取预设频率对应的频谱信号；
基于预设的脉冲神经网络模型，并依据所获取的频谱信号，获取所述目标物体所属预设第二类别的置信度分布Abelief，其中，所述置信度分布Abelief中置信度最大值对应的预设第二类别为该目标物体的所属类别；
其中，
所述预设的脉冲神经网络模型为基于三层神经网络的脉冲神经网络模型。
进一步地，本发明提供的一个优选技术方案为：
所述触觉特征获取模块包括柔度特征获取单元；所述柔度特征获取单元，配置为执行下述操作：
将目标物体置于夹持器的两个夹持机构之间，并控制夹持器对该目标物体进行夹持；
采集夹持过程中目标物体的形变信息，其中，所述形变信息包括夹持机构的受力值，以及两个夹持机构的间距；
按照下式所示的方法计算目标物体的柔度特征H：
H＝(SA-SB)/ΔE
其中，所述SA为在夹持过程的时刻A两个夹持机构的间距，所述SB为在夹持过程的时刻B两个夹持机构的间距；所述时刻A为在夹持过程中夹持机构的受力值最后一次超过阈值EA的时刻，所述时刻B为在夹持过程中夹持机构的受力值首次超过阈值EB的时刻，且EA＜EB；
所述ΔE为夹持器完成夹持前后目标物体的受力变化值，且ΔE＝E1-E0，所述E0为夹持机构的初始受力值，所述E1为夹持机构的最终受力值。
进一步地，本发明提供的一个优选技术方案为：
所述柔度特征获取单元包括受力值阈值计算单元；所述受力值阈值计算单元，配置为按照下式所示的方法计算阈值EA与阈值EB：
其中，所述k1与k2均为预设阈值参数，k1+k2＝1且k1＜k2。
进一步地，本发明提供的一个优选技术方案为：
所述类型识别模块包括第一识别单元；所述第一识别单元，配置为执行下述操作：
对所述置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C，其中，所述C＝[Vbelief Abelief H]；
基于所述预设的第一神经网络模型，并依据所述特征向量C，获取所述目标物体的所属类型；
其中，
所述预设的第一神经网络模型为基于两层神经网络的分类模型。
进一步地，本发明提供的一个优选技术方案为：
所述类型识别模块包括第二识别单元；所述第二识别单元，配置为执行下述操作：
依据所述柔度特征H与预设柔度阈值Hth，对目标物体进行分类，其中，第一类目标物体为H＜Hth的目标物体，第二类目标物体为H≥Hth的目标物体；
对所述第一类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C1，其中，C1＝[Vbelief Abelief H]；
对所述第二类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C2，其中，C2＝[Vbelief Abelief H]；
基于所述预设的第一神经网络模型中的第一神经网络子模型，并依据所述特征向量C1，获取所述第一类目标物体的所属类型；基于所述预设的第一神经网络模型中的第二神经网络子模型，并依据所述特征向量C2，获取所述第二类目标物体的所属类型。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中的类脑多模态融合方法，能够基于同一个训练样本集同时对不同单模态信息进行深度学习，不仅可以降低训练样本的数量还可以提高基于各单模态信息的识别准确性。
2、本发明中的类脑多模态融合方法，采用Baxter机器人平台对目标物体进行识别互动，从而获取与目标物体相关的多模态信息，即图像、音频信息与形变信息。
3、本发明中的类脑多模态融合方法，基于神经网络对多模态信息进行深度学习，并依据当前获取的多模态信息识别目标物体的所属类型。具体地，该方法可以在一个神经网络的特征层对单模态信息进行融合，也可以依据柔度特征将目标物体分为软硬两种类型，再依据其他单模态信息分别对这两类目标物体进行信息融合。
附图说明
图1是本发明实施例中一种类脑多模态融合方法的主要步骤示意图；
图2是本发明实施例中基于脉冲神经网络的主要结构示意图；
图3是本发明实施例中基于脉冲神经网络的音素表征与分类结果示意图；
图4是本发明实施例中夹持机构的受力值与其间距的变化曲线；
图5是本发明实施例中一种类脑多模态融合装置的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
当前多模态融合方法中对单模态信息识别性能较低，进而影响多模态融合方法最终的识别准确性。基于此，本发明提供了一种类脑多模态融合方法，该方法参照人脑对信息识别的处理方法，能够提高单模态信息的识别准确性，进而提高最终的识别准确性。其中，人脑对信息识别的处理方法主要包括：通过视觉、听觉和嗅觉等不同的单模态信息对外部世界进行精确与可靠地感知，以此指导人类的行为。人脑中包含处理单模态信息的脑区和多模态融合的脑区，例如，处理视觉的脑区包括枕叶相关区域、颞下沟和前额叶皮层等区域，处理听觉的脑区包括颞叶中的初级听觉皮层和前额叶皮层等区域。人脑中还包括对多模态信息融合的脑区，例如皮层下组织的上丘、颞上沟和颞极等区域。
下面结合附图，对本实施例中的一种类脑多模态融合方法进行说明。
参阅附图1，图1示例性示出了本实施例中类脑多模态融合方法的主要步骤。如图1所示，本实施例中类脑多模态融合方法可以包括下述步骤：
步骤S1：采集目标物体的图像、音频信息和形变信息。
本实施例中可以利用Baxter机器人平台采集目标物体的图像、音频信息和形变信息。具体地，通过Baxter机器人平台Kinect2.0感应器采集不同位置和视角的图像，例如，对单个目标物体可以采集12幅不同位置与视角的图像。通过Kinect2.0感应器上的麦克风采集目标物体的音频信息。通过Baxter机器人平台的夹持器采集目标物体的形变信息。
步骤S2：依据所采集的图像获取该目标物体所属预设第一类别的置信度分布Vbelief。
具体地，本实施例中可以按照下式步骤获取目标物体所属预设第一类别的置信度分布Vbelief：
步骤S21：提取图像中的背景区域，并计算所提取的背景区域的像素灰度均值m和像素灰度方差σ。
本实施例中Baxter机器人平台采集到的图像为矩形或方形图像，可以将该图像中四角所在区域划分为背景区域，且每个区域与整个图像的占比可以相同，也可以不同。例如，每个区域与整个图像的占比可以均为10％。
步骤S22：按照下式(1)所示的方法获取图像中目标物体所在区域O：
|I(x,y)-m|＞ασ (1)
公式(1)中各参数含义为：
I(x,y)为目标物体所在区域O中坐标为(x,y)的像素的灰度值。
步骤S23：获取目标物体所在区域O的颜色特征。
本实施例中目标物体的种类较多时，不同种类目标物体的颜色差异也会较大，因此可以采用HSV空间的颜色直方图作表征物体的颜色特征。其中，由于无法通过图像区分容器类目标物体是否为空闲状态，因此在获取目标物体的颜色特征时也无需识别容器类目标物体是否为空闲状态，即不用单独获取处于空闲状态与非空闲状态的容器类目标物体的颜色特征。
具体地，本实施例中可以按照下述步骤获取目标物体所在区域O的颜色特征：
步骤S231：提取区域O的HSV空间中通道H、通道S和通道V的像素值，并将所提取的像素值串联成一个向量。
本实施例中N个目标物体的第i个目标物体对应的向量可以表示为[Hi Si Vi]，N≥1，i＝1,...,N。
步骤S232：将向量划分为多个长度相等的区间，其中，所有区间的长度之和等于向量中最大元素值与最小元素值之差。
步骤S233：统计每个区间内的像素点个数，并依据所统计的像素点个数得到区域O的颜色直方图特征向量。
步骤S234：对颜色直方图特征向量进行归一化处理，得到新的特征向量V，其中，特征向量V的维度为区间的总数。
本实施例中可以将最大元素值作为基准值，对颜色直方图特征向量进行归一化处理，即特征向量V中的最大元素值为1。
步骤S24：基于预设的第二神经网络模型，并依据所获取的颜色特征，确定目标物体所属预设第一类别的置信度分布。
具体地，本实施例中可以基于预设的第二神经网络模型，并依据的前述新的特征向量V，获取目标物体属于预设第一类别的置信度分布Vbelief，其中，所述置信度分布Vbelief中置信度最大值对应的预设第一类别为该目标物体的所属类别。
本实施例中预设的第二神经网络模型可以为基于双层神经网络的神经网络模型，该神经网络模型中输出层的所有神经元与输入层的所有神经元连接，输入层的数据维度为特征向量V的维度，输出层的数据维度为目标物体的类型总数。同时，该神经网络模型的激活函数可以为ReLu函数。
在本实施例的一个优选实施方案中，可以采用BP算法对预设的第二神经网络模型进行网络训练。
步骤S3：基于预设的脉冲神经网络模型，并依据所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief。
具体地，本实施例中可以按照下述步骤获取目标物体所属预设第二类别的置信度分布Abelief：
步骤S31：依据音频信息，获取预设频率对应的频谱信号。
本实施例中可以依据预设频率对音频信号进行去噪处理，从而得到预设频率对应的频谱信号。其中，预设频率可以为人耳识别度较高的频率。
步骤S32：基于预设的脉冲神经网络模型，并依据所获取的频谱信号，获取目标物体所属预设第二类别的置信度分布Abelief，其中，置信度分布Abelief中置信度最大值对应的预设第二类别为该目标物体的所属类别。
本实施例中预设的脉冲神经网络模型为基于三层神经网络的脉冲神经网络模型，该脉冲神经网络模型的三层网络依次连接，每层包含的神经元个数依次为16、30和20，并且每个神经元采用LIF模型。
在本实施例中的一个优选实施方案中，可以采用二相STDP算法对预设的脉冲神经网络模型进行网络训练，其中，训练样本可以为具有时序信息的TIMIT数据。
参阅附图2，图2示例性示出了本实施例中脉冲神经网络模型的主要结构。如图2所示，本实施例中脉冲神经网络模型包括三层网络，且三层网络依次连接。
继续参阅附图3，图3示例性示出了本实施例中基于脉冲神经网络的音素表征与分类结果，其中，第一行波形为步骤S31获取的频谱信号，第二行至第四行波形依次为随时间变换的脉冲序列响应。
步骤S4：依据所采集的形变信息获取该目标物体的柔度特征H。
具体地，本实施例中可以按照下述步骤获取目标物体的柔度特征H：
步骤S41：将目标物体置于夹持器的两个夹持机构之间，并控制夹持器对该目标物体进行夹持。
步骤S42：采集夹持过程中目标物体的形变信息，其中，形变信息包括夹持机构的受力值，以及两个夹持机构的间距。
步骤S43：按照下式(2)所示的方法计算目标物体的柔度特征H：
H＝(SA-SB)/ΔE (2)
公式(2)中各参数含义为：
SA为在夹持过程的时刻A两个夹持机构的间距，SB为在夹持过程的时刻B两个夹持机构的间距；时刻A为在夹持过程中夹持机构的受力值最后一次超过阈值EA的时刻，时刻B为在夹持过程中夹持机构的受力值首次超过阈值EB的时刻，且EA＜EB。ΔE为夹持器完成夹持前后目标物体的受力变化值，且ΔE＝E1-Ex，E0为夹持机构的初始受力值，E1为夹持机构的最终受力值。
在本实施例的一个优选实施方案中，可以按照下式(3)所示的方法计算阈值EA与阈值EB：
公式(3)中各参数含义为：
k1与k2均为预设阈值参数，k1+k2＝1且k1＜k2。优选的，本实施例中k1＝10％，k1＝90％。
参阅附图4，图4示例性示出了本实施例中夹持机构的受力值与其间距的变化关系。如图4所示，本实施例中夹持机构在A时刻开始闭合对目标物体进行挤压，此时两个夹持机构的间距为SA。夹持机构在B时刻停止对目标物体进行挤压，此时两个夹持机构的间距为SB。
步骤S5：基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定目标物体的所属类型。
在本实施例的一个优选实施方案中，可以按照下述步骤确定目标物体的所属类型：
步骤S511：对置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C＝[Vbelief Abelief H]。
步骤S512：基于预设的第一神经网络模型，并依据特征向量C，获取目标物体的所属类型。
本实施例中预设的第一神经网络模型为基于两层神经网络的全连接神经网络，该全连接神经网络可以依据特征向量C对目标物体进行分类，得到其所属类型。同时，本实施例中可以采用BP算法对该全连接神经网络进行训练。
在本实施例的另一个优选实施方案中，可以按照下述步骤确定目标物体的所属类型：
步骤S521：依据柔度特征H与预设柔度阈值Hth，对目标物体进行分类，其中，第一类目标物体为H＜Hth的目标物体，第二类目标物体为H≥Hth的目标物体。即，按照目标物体的柔度特征将其划分为软的目标物体和硬的目标物体。
步骤S522：对第一类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C1，其中，C1＝[Vbelief Abelief H]。
步骤S523：对第二类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C2，其中，C2＝[Vbelief Abelief H]。
步骤S524：基于预设的第一神经网络模型中的第一神经网络子模型，并依据特征向量C1，获取第一类目标物体的所属类型；基于预设的第一神经网络模型中的第二神经网络子模型，并依据特征向量C2，获取第二类目标物体的所属类型。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，本发明还提供一种类脑多模态融合装置。下面结合附图对该类脑多模态融合装置进行具体说明。
参阅附图5，图5示例性示出了本实施例中类脑多模态融合装置的主要结构。如图5所示，本实施例中类脑多模态融合装置主要包括信息采集模块11、视觉特征获取模块12、声音特征获取模块13、触觉特征获取模块14和类型识别模块15。具体地，信息采集模块11可以配置为采集目标物体的图像、音频信息和形变信息。视觉特征获取模块12可以配置为依据信息采集模块11所采集的图像获取该目标物体所属预设第一类别的置信度分布Vbelief。声音特征获取模块13可以配置为基于预设的脉冲神经网络模型，并依据信息采集模块11所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief。触觉特征获取模块14可以配置为依据信息采集模块11所采集的形变信息获取该目标物体的柔度特征H。类型识别模块15可以配置为基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型。
进一步地，本实施例中视觉特征获取模块12可以包括第一置信度分布获取单元，该第一置信度分布获取单元可以配置为执行下述操作：首先，提取图像中的背景区域，并计算所提取的背景区域的像素灰度均值m和像素灰度方差σ。然后按照公式(1)所示的的方法获取图像中目标物体所在区域O，并获取目标物体所在区域O的颜色特征。最后基于预设的第二神经网络模型，并依据所获取的颜色特征，确定目标物体所属预设第一类别的置信度分布。
进一步地，本实施例中第一置信度分布获取单元可以包括颜色特征获取子单元，该颜色特征获取子单元可以配置为执行下述操作：
首先提取区域O的HSV空间中通道H、通道S和通道V的像素值，并将所提取的像素值串联成一个向量。然后将向量划分为多个长度相等的区间，并统计每个区间内的像素点个数，依据所统计的像素点个数得到区域O的颜色直方图特征向量，其中，所有区间的长度之和等于向量中最大元素值与最小元素值之差。最后对颜色直方图特征向量进行归一化处理，得到新的特征向量V，其中，特征向量V的维度为区间的总数。
进一步地，本实施例中第一置信度分布获取单元还可以包括第一置信度分布获取子单元，该第一置信度分布获取子单元可以配置为执行下述操作：基于预设的第二神经网络模型，并依据前述的新的特征向量V，获取目标物体属于预设第一类别的置信度分布Vbelief，其中，置信度分布Vbelief中置信度最大值对应的预设第一类别为该目标物体的所属类别。
进一步地，本实施例中声音特征获取模块13可以包括第二置信度分布获取单元，该第二置信度分布获取单元可以配置为执行下述操作：首先依据音频信息，获取预设频率对应的频谱信号。然后基于预设的脉冲神经网络模型，并依据所获取的频谱信号，获取目标物体所属预设第二类别的置信度分布Abelief，其中，置信度分布Abelief中置信度最大值对应的预设第二类别为该目标物体的所属类别。
进一步地，本实施例中触觉特征获取模块14可以包括柔度特征获取单元，该柔度特征获取单元可以配置为执行下述操作：首先将目标物体置于夹持器的两个夹持机构之间，并控制夹持器对该目标物体进行夹持。然后采集夹持过程中目标物体的形变信息，其中，形变信息包括夹持机构的受力值，以及两个夹持机构的间距。最后按照公式(2)所示的方法计算目标物体的柔度特征H。
进一步地，本实施例中柔度特征获取单元可以包括受力值阈值计算单元，该受力值阈值计算单元可以配置为按照公式(3)所示的方法计算阈值EA与阈值EB。
进一步地，本实施例中类型识别模块15可以包括第一识别单元，该第一识别单元可以配置为执行下述操作：首先对置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C，其中，C＝[Vbelief Abelief H]。然后基于预设的第一神经网络模型，并依据特征向量C，获取目标物体的所属类型。
进一步地，本实施例中类型识别模块15还可以包括第二识别单元，该第二识别单元可以配置为执行下述操作：
首先，依据柔度特征H与预设柔度阈值Hth，对目标物体进行分类，其中，第一类目标物体为H＜Hth的目标物体，第二类目标物体为H≥Hth的目标物体。然后，对第一类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C1，其中，C1＝[Vbelief Abelief H]。再然后，对第二类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C2，其中，C2＝[Vbelief Abelief H]。最后，基于预设的第一神经网络模型中的第一神经网络子模型，并依据特征向量C1，获取第一类目标物体的所属类型；基于预设的第一神经网络模型中的第二神经网络子模型，并依据特征向量C2，获取第二类目标物体的所属类型。
上述类脑多模态融合装置实施例可以用于执行上述类脑多模态融合方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的类脑多模态融合的具体工作过程及有关说明，可以参考前述类脑多模态融合方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解，上述类脑多模态融合装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图5中示出。
应该理解，图5中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。
本领域技术人员可以理解，可以对实施例中装置的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元组合成一个模块或单元，以及此外可以把它们分成多个子模块或子单元。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (16)
1.一种类脑多模态融合方法，其特征在于，所述方法包括：
采集目标物体的图像、音频信息和形变信息；
依据所采集的图像获取该目标物体所属预设第一类别的置信度分布Vbelief；
基于预设的脉冲神经网络模型，并依据所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief；
依据所采集的形变信息获取该目标物体的柔度特征H；
基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型；
依据所采集的图像获取该目标物体所属各预设第一类别的置信度分布的步骤具体包括：
提取所述图像中的背景区域，并计算所提取的背景区域的像素灰度均值m和像素灰度方差σ；
按照下式所示的方法获取所述图像中目标物体所在区域O：
|I(x,y)-m|＞ασ
获取所述目标物体所在区域O的颜色特征；
基于预设的第二神经网络模型，并依据所获取的颜色特征，确定所述目标物体所属预设第一类别的置信度分布；
其中，
所述I(x,y)为目标物体所在区域O中坐标为(x,y)的像素的灰度值，所述预设的第二神经网络模型为基于双层神经网络的神经网络模型。
2.根据权利要求1所述的方法，其特征在于，获取所述目标物体所在区域O的颜色特征的步骤具体包括：
提取所述区域O的HSV空间中色调通道、饱和度通道和明度通道的像素值，并将所提取的像素值串联成一个向量；
将所述向量划分为多个长度相等的区间，其中，所有区间的长度之和等于所述向量中最大元素值与最小元素值之差；
统计每个所述区间内的像素点个数，并依据所统计的像素点个数得到所述区域O的颜色直方图特征向量；
对所述颜色直方图特征向量进行归一化处理，得到新的特征向量V，其中，所述特征向量V的维度为所述区间的总数。
3.根据权利要求2所述的方法，其特征在于，基于预设的第二神经网络模型，并依据所获取的颜色特征，确定所述目标物体所属预设第一类别的置信度分布Vbelief的步骤具体包括：
基于预设的第二神经网络模型，并依据所述的新的特征向量V，获取所述目标物体属于预设第一类别的置信度分布Vbelief，其中，所述置信度分布Vbelief中置信度最大值对应的预设第一类别为该目标物体的所属类别。
4.根据权利要求1所述的方法，其特征在于，基于预设的脉冲神经网络模型，并依据所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief的步骤具体包括：
依据所述音频信息，获取预设频率对应的频谱信号；
基于预设的脉冲神经网络模型，并依据所获取的频谱信号，获取所述目标物体所属预设第二类别的置信度分布Abelief，其中，所述置信度分布Abelief中置信度最大值对应的预设第二类别为该目标物体的所属类别；
其中，
所述预设的脉冲神经网络模型为基于三层神经网络的脉冲神经网络模型。
5.根据权利要求1所述的方法，其特征在于，依据所采集的形变信息获取该目标物体的柔度特征H的步骤具体包括：
将目标物体置于夹持器的两个夹持机构之间，并控制夹持器对该目标物体进行夹持；
采集夹持过程中目标物体的形变信息，其中，所述形变信息包括夹持机构的受力值，以及两个夹持机构的间距；
按照下式所示的方法计算目标物体的柔度特征H：
H＝(SA-SB)/ΔE
其中，所述SA为在夹持过程的时刻A两个夹持机构的间距，所述SB为在夹持过程的时刻B两个夹持机构的间距；所述时刻A为在夹持过程中夹持机构的受力值最后一次超过阈值EA的时刻，所述时刻B为在夹持过程中夹持机构的受力值首次超过阈值EB的时刻，且EA＜EB；
所述ΔE为夹持器完成夹持前后目标物体的受力变化值，且ΔE＝E1-E0，所述E0为夹持机构的初始受力值，所述E1为夹持机构的最终受力值。
6.根据权利要求5所述的方法，其特征在于，计算目标物体的柔度特征H的步骤还包括：
按照下式所示的方法计算阈值EA与阈值EB：
其中，所述k1与k2均为预设阈值参数，k1+k2＝1且k1＜k2。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述预设的第一神经网络模型为基于两层神经网络的全连接神经模型；
基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型的步骤具体包括：
对所述置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C，其中，所述C＝[Vbelief,Abelief,H]；
基于所述预设的第一神经网络模型，并依据所述特征向量C，获取所述目标物体的所属类型。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述预设的第一神经网络模型包括第一神经网络子模型和第二神经网络子模型；
基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型的步骤具体包括：
依据所述柔度特征H与预设柔度阈值Hth，对目标物体进行分类，其中，第一类目标物体为H＜Hth的目标物体，第二类目标物体为H≥Hth的目标物体；
对所述第一类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C1，其中，C1＝[Vbelief,Abelief,H]；
对所述第二类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C2，其中，C2＝[Vbelief,Abelief,H]；
基于所述第一神经网络子模型，并依据所述特征向量C1，获取所述第一类目标物体的所属类型；基于所述第二神经网络子模型，并依据所述特征向量C2，获取所述第二类目标物体的所属类型。
9.一种类脑多模态融合装置，其特征在于，所述装置包括：
信息采集模块，配置为采集目标物体的图像、音频信息和形变信息；
视觉特征获取模块，配置为依据所述信息采集模块所采集的图像获取该目标物体所属预设第一类别的置信度分布Vbelief；
声音特征获取模块，配置为基于预设的脉冲神经网络模型，并依据所述信息采集模块所采集的音频信息获取该目标物体所属预设第二类别的置信度分布Abelief；
触觉特征获取模块，配置为依据所述信息采集模块所采集的形变信息获取该目标物体的柔度特征H；
类型识别模块，配置为基于预设的第一神经网络模型，并依据所获取的置信度分布Vbelief、置信度分布Abelief与柔度特征H，确定所述目标物体的所属类型；
所述视觉特征获取模块包括第一置信度分布获取单元；所述第一置信度分布获取单元，配置为执行下述操作：
提取所述图像中的背景区域，并计算所提取的背景区域的像素灰度均值m和像素灰度方差σ；
按照下式所示的方法获取所述图像中目标物体所在区域O：
|I(x,y)-m|＞ασ
获取所述目标物体所在区域O的颜色特征；
基于预设的第二神经网络模型，并依据所获取的颜色特征，确定所述目标物体所属预设第一类别的置信度分布；
其中，
所述I(x,y)为目标物体所在区域O中坐标为(x,y)的像素的灰度值，所述预设的第二神经网络模型为基于双层神经网络的神经网络模型。
10.根据权利要求9所述的装置，其特征在于，所述第一置信度分布获取单元包括颜色特征获取子单元；所述颜色特征获取子单元，配置为执行下述操作：
提取所述区域O的HSV空间中色调通道、饱和度通道和明度通道的像素值，并将所提取的像素值串联成一个向量；
将所述向量划分为多个长度相等的区间，其中，所有区间的长度之和等于所述向量中最大元素值与最小元素值之差；
统计每个所述区间内的像素点个数，并依据所统计的像素点个数得到所述区域O的颜色直方图特征向量；
对所述颜色直方图特征向量进行归一化处理，得到新的特征向量V，其中，所述特征向量V的维度为所述区间的总数。
11.根据权利要求10所述的装置，其特征在于，所述第一置信度分布获取单元还包括第一置信度分布获取子单元；所述第一置信度分布获取子单元，配置为执行下述操作：
基于预设的第二神经网络模型，并依据所述的新的特征向量V，获取所述目标物体属于预设第一类别的置信度分布Vbelief，其中，所述置信度分布Vbelief中置信度最大值对应的预设第一类别为该目标物体的所属类别。
12.根据权利要求9所述的装置，其特征在于，所述声音特征获取模块包括第二置信度分布获取单元；所述第二置信度分布获取单元，配置为执行下述操作：
依据所述音频信息，获取预设频率对应的频谱信号；
基于预设的脉冲神经网络模型，并依据所获取的频谱信号，获取所述目标物体所属预设第二类别的置信度分布Abelief，其中，所述置信度分布Abelief中置信度最大值对应的预设第二类别为该目标物体的所属类别；
其中，
所述预设的脉冲神经网络模型为基于三层神经网络的脉冲神经网络模型。
13.根据权利要求9所述的装置，其特征在于，所述触觉特征获取模块包括柔度特征获取单元；所述柔度特征获取单元，配置为执行下述操作：
将目标物体置于夹持器的两个夹持机构之间，并控制夹持器对该目标物体进行夹持；
采集夹持过程中目标物体的形变信息，其中，所述形变信息包括夹持机构的受力值，以及两个夹持机构的间距；
按照下式所示的方法计算目标物体的柔度特征H：
H＝(SA-SB)/ΔE
其中，所述SA为在夹持过程的时刻A两个夹持机构的间距，所述SB为在夹持过程的时刻B两个夹持机构的间距；所述时刻A为在夹持过程中夹持机构的受力值最后一次超过阈值EA的时刻，所述时刻B为在夹持过程中夹持机构的受力值首次超过阈值EB的时刻，且EA＜EB；
所述ΔE为夹持器完成夹持前后目标物体的受力变化值，且ΔE＝E1-E0，所述E0为夹持机构的初始受力值，所述E1为夹持机构的最终受力值。
14.根据权利要求13所述的装置，其特征在于，所述柔度特征获取单元包括受力值阈值计算单元；所述受力值阈值计算单元，配置为按照下式所示的方法计算阈值EA与阈值EB：
其中，所述k1与k2均为预设阈值参数，k1+k2＝1且k1＜k2。
15.根据权利要求9-14任一项所述的装置，其特征在于，所述类型识别模块包括第一识别单元；所述第一识别单元，配置为执行下述操作：
对所述置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C，其中，所述C＝[Vbelief,Abelief,H]；
基于所述预设的第一神经网络模型，并依据所述特征向量C，获取所述目标物体的所属类型；
其中，
所述预设的第一神经网络模型为基于两层神经网络的分类模型。
16.根据权利要求9-14任一项所述的装置，其特征在于，所述类型识别模块包括第二识别单元；所述第二识别单元，配置为执行下述操作：
依据所述柔度特征H与预设柔度阈值Hth，对目标物体进行分类，其中，第一类目标物体为H＜Hth的目标物体，第二类目标物体为H≥Hth的目标物体；
对所述第一类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C1，其中，C1＝[Vbelief,Abelief,H]；
对所述第二类目标物体的置信度分布Vbelief、置信度分布Abelief与柔度特征H进行信息融合，得到特征向量C2，其中，C2＝[Vbelief,Abelief,H]；
基于所述预设的第一神经网络模型中的第一神经网络子模型，并依据所述特征向量C1，获取所述第一类目标物体的所属类型；基于所述预设的第一神经网络模型中的第二神经网络子模型，并依据所述特征向量C2，获取所述第二类目标物体的所属类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711296149.9A CN108229540B (zh) | 2017-12-08 | 2017-12-08 | 类脑多模态融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711296149.9A CN108229540B (zh) | 2017-12-08 | 2017-12-08 | 类脑多模态融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108229540A CN108229540A (zh) | 2018-06-29 |
| CN108229540B true CN108229540B (zh) | 2020-08-11 |
Family
ID=62653477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711296149.9A Active CN108229540B (zh) | 2017-12-08 | 2017-12-08 | 类脑多模态融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108229540B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023529732A (ja) * | 2020-06-15 | 2023-07-11 | ナショナル ユニバーシティー オブ シンガポール | ロボットのためのイベント駆動視覚触覚センシング及び学習 |
| CN112257771A (zh) * | 2020-10-19 | 2021-01-22 | 中国科学技术大学 | 防疫机器人视听觉协同感知模型、方法及介质 |
| CN114659553A (zh) * | 2022-02-28 | 2022-06-24 | 联想(北京)有限公司 | 一种检测方法、装置、设备及存储介质 |
| CN115169507B (zh) * | 2022-09-08 | 2023-05-19 | 华中科技大学 | 类脑多模态情感识别网络、识别方法及情感机器人 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103123619B (zh) * | 2012-12-04 | 2015-10-28 | 江苏大学 | 基于情感上下文的视觉语音多模态协同分析方法 |
| CN103400145B (zh) * | 2013-07-19 | 2016-08-10 | 北京理工大学 | 基于线索神经网络的语音-视觉融合情感识别方法 |
| CN104899253B (zh) * | 2015-05-13 | 2018-06-26 | 复旦大学 | 面向社会图像的跨模态图像-标签相关度学习方法 |
| CN106126636B (zh) * | 2016-06-23 | 2019-11-08 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
-
2017
- 2017-12-08 CN CN201711296149.9A patent/CN108229540B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108229540A (zh) | 2018-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229540B (zh) | 类脑多模态融合方法及装置 | |
| CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| CN109117826B (zh) | 一种多特征融合的车辆识别方法 | |
| CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN109784182A (zh) | 行人重识别方法和装置 | |
| KR101793510B1 (ko) | 얼굴 학습 및 인식 시스템과 그 방법 | |
| US9633044B2 (en) | Apparatus and method for recognizing image, and method for generating morphable face images from original image | |
| EP2590111A2 (en) | Face recognition apparatus and method for controlling the same | |
| Tscherepanow | TopoART: A topology learning hierarchical ART network | |
| CN107832740B (zh) | 一种远程教学的教学质量评估方法及系统 | |
| CN103996195A (zh) | 一种图像显著性检测方法 | |
| CN110879982A (zh) | 一种人群计数系统及方法 | |
| CN104091169A (zh) | 基于多特征融合的行为识别方法 | |
| Halkias et al. | Classification of mysticete sounds using machine learning techniques | |
| KR102128158B1 (ko) | 시공간 주의 기반 감정 인식 장치 및 방법 | |
| CN111414875B (zh) | 基于深度回归森林的三维点云头部姿态估计系统 | |
| CN105893916A (zh) | 一种对检测人脸的预处理、特征提取到降维描述的新方法 | |
| CN109063626A (zh) | 动态人脸识别方法和装置 | |
| CN108614987A (zh) | 数据处理的方法、装置和机器人 | |
| CN109564633B (zh) | 人工神经网络 | |
| CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN110874576A (zh) | 一种基于典型相关分析融合特征的行人再识别方法 | |
| CN113627391A (zh) | 一种考虑个体差异的跨模式脑电信号识别方法 | |
| WO2015131710A1 (zh) | 人眼定位方法及装置 | |
| CN110008881B (zh) | 多运动目标的奶牛行为的识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |