CN113837121B - 一种基于类脑的防疫机器人视听觉协同感知方法及系统 - Google Patents
一种基于类脑的防疫机器人视听觉协同感知方法及系统 Download PDFInfo
- Publication number
- CN113837121B CN113837121B CN202111142969.9A CN202111142969A CN113837121B CN 113837121 B CN113837121 B CN 113837121B CN 202111142969 A CN202111142969 A CN 202111142969A CN 113837121 B CN113837121 B CN 113837121B
- Authority
- CN
- China
- Prior art keywords
- target
- visual
- brain
- layer
- epidemic prevention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000002265 prevention Effects 0.000 title claims abstract description 49
- 230000007246 mechanism Effects 0.000 claims abstract description 42
- 210000004556 brain Anatomy 0.000 claims abstract description 28
- 230000007613 environmental effect Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000012790 confirmation Methods 0.000 claims abstract description 5
- 210000002569 neuron Anatomy 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000008447 perception Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000001149 cognitive effect Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 101001015220 Homo sapiens Myelin-associated oligodendrocyte basic protein Proteins 0.000 claims description 6
- 102100032977 Myelin-associated oligodendrocyte basic protein Human genes 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 210000002364 input neuron Anatomy 0.000 claims description 6
- 210000004205 output neuron Anatomy 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 5
- 210000003984 auditory pathway Anatomy 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 210000000239 visual pathway Anatomy 0.000 claims description 4
- 230000004400 visual pathway Effects 0.000 claims description 4
- 230000019771 cognition Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003016 hypothalamus Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于类脑的防疫机器人视听觉协同感知方法及系统，包括以下步骤：步骤S1：针对防疫机器人当前所处环境，进行基于机器视觉的环境目标检测与识别；步骤S2：当无法利用视觉精准确认环境目标时，进行基于改进的拟人耳定位机制的目标时延估计与定位；步骤S3：模拟人脑的视听觉协同感知原理，构建基于类脑的防疫机器人视听觉协同感知模型。本发明有效地提高了防疫机器人感知环境目标的准确性，增强了防疫机器人工作的高效性与安全性。
Description
技术领域
本发明涉及防疫机器人领域，具体地，涉及一种基于类脑的防疫机器人视听觉协同感知方法及系统。
背景技术
目前，防疫机器人的应用日益广泛，可以执行温度检测、自主巡逻、消毒杀菌等任务，工作环境一般比较复杂，甚至十分危险。随着防疫机器人的应用发展，对环境目标的感知功能是一个值得研究的重点。特别地，防疫机器人在目标感知过程中的准确性，对于防疫机器人的行驶安全和工作效率有着十分重要的影响。如何准确、可靠地感知环境目标，成为了防疫机器人研究的关键问题之一。
在公开号为CN109947954A的中国发明专利文件中，公开了一种多任务协同识别方法和系统，属于人工智能的任务识别技术领域，该系统包括通用特征提取模块、协同特征学习模块、适境反馈评估识别模块；基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别。本发明结合环境感知的适境计算理论，通过深度增强反馈判断出待识别任务的权重，自适应地根据环境变化调整待识别任务的优先级，实现多个视听觉感知识别结果同时输出的效果。
对于我们来说，即人的大脑，如果依靠孤立的视觉信息或听觉信息，那么所获得的信息就不完整，甚至会出现判断失误。而对防疫机器人来说，模拟人视听觉协同感知的脑认知机制，构建基于类脑的视听觉协同感知模型，融合所采集的视觉、听觉信息，互相补充缺失信息，可以准确高效地检测、识别并定位环境目标。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于类脑的防疫机器人视听觉协同感知方法及系统。
根据本发明提供的一种基于类脑的防疫机器人视听觉协同感知方法，包括以下步骤：
步骤S1：针对防疫机器人当前所处环境，进行基于机器视觉的环境目标检测与识别；
步骤S2：当无法利用视觉精准确认环境目标时，进行基于改进的拟人耳定位机制的目标时延估计与定位；
步骤S3：模拟人脑的视听觉协同感知原理，构建基于类脑的防疫机器人视听觉协同感知模型。
优选的，所述步骤S1中，针对复杂环境和待感知目标的复杂形态与行为，采用超像素分割和光流法实时重建每个目标的三维形态与动态特征，具体包括以下步骤：
步骤S1.1：获得待感知目标的视觉信息，并将其预分割成超像素集合；
步骤S1.2：利用光流法确定待感知目标的粗略位置，并获得其动态特征信息；
步骤S1.3：对目标的动态特征信息进行滤波、二值化操作，得到精确的三维形态与动态特征，进而检测并识别出目标。
优选的，所述步骤S2中，在复杂的环境目标感知过程中，当无法利用视觉精准确认目标时，研究人听觉定位机理，并针对上行通路时延估计算法误差较大的缺点，在下行通路基于深度神经网络算法建立目标位置误差矫正估计模型；具体包括以下步骤：
步骤S2.1：获得待感知目标的听觉信息，并进行去噪预处理；
步骤S2.2：在听觉上行通路进行时延估计，初步预估目标当前所在位置；
步骤S2.3：在听觉下行通路，利用深度神经网络算法获得矫正后的目标位置。
优选的，所述步骤S3中，基于人的听觉通路中声源感知机理和视觉通路中目标感知机理，分析视听觉协同感知的脑认知机制，总结大脑皮层对视听觉刺激整合的区域及具体功能，构建基于类脑的防疫机器人视听觉协同感知模型。
优选的，所述构建基于类脑的防疫机器人视听觉协同感知模型，包括以下步骤：
步骤S3.1：建立基于机器视觉的环境目标检测与识别模型，获得目标检测信息；
步骤S3.2：建立基于改进的拟人耳定位机制的目标时延估计与定位模型，获得目标位置信息；
步骤S3.3：模拟人视听觉协同感知的脑认知机制，融合目标检测信息与目标位置信息，构建基于类脑的防疫机器人视听觉协同感知模型。
与现有技术相比，本发明具有如下的有益效果：
1、本发明基于类脑提出了一种视听觉协同感知模型，视觉模型输出目标检测信息，听觉模型输出目标位置信息，融合两种输出信息，互为补充，提高了防疫机器人感知环境目标的准确性。
2、本发明搭建了基于机器视觉的环境目标检测与识别模型，采用超像素分割和光流法实时重建每个环境目标的三维形态与动态特征，可以实现检测并识别出目标的效果。
3、本发明搭建了基于改进的拟人耳定位机制的目标时延估计与定位模型，利用动量BP算法对所估计的目标位置进行非线性矫正，提高了环境目标的定位精度，适用于复杂环境。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一种基于类脑的防疫机器人视听觉协同感知方法的流程示意图；
图2为本发明实施例中基于机器视觉的环境目标检测与识别的流程示意图；
图3为本发明实施例中基于改进的拟人耳定位机制的目标时延估计与定位的流程示意图；
图4为本发明实施例中拟人耳定位机制的目标时延估计与定位模型示意图；
图5为本发明实施例中基本BP算法的神经网络结构示意图；
图6为本发明实施例中基本BP算法计算广义误差的神经网络结构示意图；
图7为本发明实施例中基于类脑的防疫机器人视听觉协同感知模型示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本实施例公开了一种基于类脑的防疫机器人视听觉协同感知方法，参照图1，包括如下步骤：
步骤S1：针对防疫机器人当前所处环境，进行基于机器视觉的环境目标检测与识别。
参照图2，针对复杂环境和待感知目标的复杂形态与行为，采用超像素分割和光流法实时重建每个目标的三维形态与动态特征。具体包括以下子步骤：
步骤S1.1：获得待感知目标的视觉信息，并将其预分割成超像素集合。
需要说明的是，视觉信息一般是图像信息，预分割采用简单线性迭代聚类方法。例如，取t时刻的图像信息At，将其预分割成超像素集合C＝{ci，t，i＝1，2，3，…，N}，其中，ci，t为图像信息At的第i个超像素点，N为图像信息At所含超像素点的个数。每个超像素点具有相同的颜色和空间特征，可以有效地保留目标边缘。
步骤S1.2：利用光流法确定待感知目标的粗略位置，并获得其动态特征信息。
需要说明的是，光流法采用Horn-Schunck光流法，动态特征信息例如速度信息。再取t+1时刻的图像信息At+1，并结合At可以得到待感知目标的粗略位置，进而获得At中每个像素点的速度矩阵Vt。
步骤S1.3：对目标的动态特征信息进行滤波、二值化等操作，得到精确的三维形态与动态特征，进而检测并识别出目标。
需要说明的是，对矩阵Vt进行去噪滤波，可采用高斯滤波器，得到矩阵V′t；然后，对矩阵V′t进行二值化，将所有矩阵元素二值化为0或1，即将与矩阵元素对应的图像上像素点的灰度值设置为0或1，得到矩阵V″t；最后，对矩阵V″t进行形态学开运算去除噪声斑点，闭运算进行填充空洞，得到矩阵V″′t。进一步说明的是，图像信息At对应于矩阵V″′t中矩阵元素等于0的区域为背景区域，不等于0的区域为待感知目标所在的区域。
步骤S2：当无法利用视觉精准确认环境目标时，进行基于改进的拟人耳定位机制的目标时延估计与定位。
参照图3，在复杂的环境目标感知过程中，当无法利用视觉精准确认目标时，研究人听觉定位机理，并针对上行通路时延估计算法误差较大的缺点，在下行通路基于深度神经网络算法建立目标位置误差矫正估计模型。具体包括以下子步骤：
步骤S2.1：获得待感知目标的听觉信息，并进行去噪等预处理。
需要说明的是，利用谱减法，将所采集的听觉信息进行去噪滤波预处理，获得理想的听觉信息，以便于后续分析。
步骤S2.2：在听觉上行通路进行时延估计，初步预估目标当前所在位置。
需要说明的是，人脑的听觉定位机理，即利用双耳可以判断环境目标的具体空间方位。其中，双耳时间差起着不可缺少的作用，可根据时间差求解出空间方程，从而确定环境目标的位置。如图4所示的拟人耳定位机制的目标时延估计与定位模型示意图，采用麦克风阵列模拟人的耳朵，再对理想的听觉信息利用互相关算法进行时延估计，得出基于拟人耳定位机制的待感知目标的时延数值，这相当于双耳时间差，进而通过求解空间方程初步估计目标所在的位置。
步骤S2.3：在听觉下行通路，利用深度神经网络算法获得矫正后的目标位置。
需要说明的是，在进行时延估计过程中，由于算法结构问题等会产生较大的误差，导致对待感知目标位置的估计不精确。类似地，人的大脑皮层的听觉中枢会对下丘有调节作用，对声源位置进行矫正。因此，在听觉下行通路，通过深度神经网络算法对位置估计存在的误差进行矫正。
需要进一步说明的是，深度神经网络算法采用具有动量项的多层前向网络的误差反向传播，简称MOBP算法。具体算法过程如下：
对于L层前向网络，如图5所示，设输入模式为Xp，则第一隐含层第j个神经元的输出为
其中，Γ()为隐含层激励函数，wji为第j个输出神经元到第i个输入神经元的连接权系数，xpi为在输入模式Xp下的第i个神经元的输入信号，i＝1，2，…，ni，总共有ni个输入信号，θj为第j个神经元的阈值，j＝1，2，…，no，总共有no个输出信号。
网络(最后一层)的输出为
其中，表示在输入模式Xp下第L层(最后一层)的第j个神经元的净输入、或有效输入、或总输入，是神经元j的一个内部状态变量。
一般地，第r+1个隐含层的输入是第r个隐含层的输出，则
定义第r层第j个神经元的输出广义误差为
其中，为误差函数，tpj为神经网络的理论输出值，/>表示在输入模式Xp下第r层的第j个神经元的净输入。
如图6所示，输出广义误差算法为
其中，为第r+1层第k个神经元的输出广义误差，/>为第r+1层第k个输出神经元到第j个输入神经元的连接权系数，k＝1，2，…，nr+1，nr+1为第r+1层的神经元个数，
增加动量项后，权值调整算法为
ΔpW(N)＝(1-α)ηDp(N)+αΔp′W(N-1)
其中，为第r层第j个神经元与第r-1层第i个神经元间的连接权系数，0≤α＜1为动量因子，η为学习步长，选取范围通常在0.01～0.8之间，/> 为N时刻误差函数/>的负梯度，Δp′W(N-1)为上一次迭代时权值的调整量(假定对应第p′个输入样本)。
MOBP算法是多层前向传播神经网络，所有计算单元的激励函数都为Sigmoid函数，利用试凑法确定隐含层个数及隐含层的节点数。最后，选取合适的训练样本进行训练，再利用训练好的MOBPNN模型矫正待感知目标的位置误差。
步骤S3：模拟人脑的视听觉协同感知原理，构建基于类脑的防疫机器人视听觉协同感知模型。
参照图7，基于人的听觉通路中声源感知机理和视觉通路中目标感知机理，分析视听觉协同感知的脑认知机制，总结大脑皮层对视听觉刺激整合的区域及具体功能，构建基于类脑的防疫机器人视听觉协同感知模型。具体包括以下子步骤：
步骤S3.1：建立基于机器视觉的环境目标检测与识别模型，获得目标检测信息；
需要说明的是，此模型的输入为待感知目标的视觉信息，输出为待感知目标的检测信息，并由图像预处理、超像素分割、光流法这三个模块组成。
步骤S3.2：建立基于改进的拟人耳定位机制的目标时延估计与定位模型，获得目标位置信息；
需要说明的是，此模型的输入为待感知目标的听觉信息，输出为待感知目标的位置信息，并由音频预处理、时延估计、深度神经网络算法这三个模块组成。
步骤S3.3：模拟人视听觉协同感知的脑认知机制，融合目标检测信息与目标位置信息，构建基于类脑的防疫机器人视听觉协同感知模型。
需要说明的是，融合基于机器视觉的环境目标检测与识别模型的输出信息与基于改进的拟人耳定位机制的目标时延估计与定位模型的输出信号，即融合待感知目标的检测信息与待感知目标的位置信息，模拟人脑的视听觉协同感知机理，最终实现检测、识别并定位环境目标。
本发明基于人的大脑提出了一种视听觉协同感知模型，视觉模型部分为基于机器视觉的环境目标检测与识别模型，听觉模型部分为基于改进的拟人耳定位机制的目标时延估计与定位模型，融合视觉模型的输出信息与听觉模型的输出信号，模拟人脑的视听觉协同感知机理，构建基于类脑的防疫机器人视听觉协同感知模型，最终实现检测、识别并定位环境目标。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于类脑的防疫机器人视听觉协同感知方法，其特征在于，包括以下步骤：
步骤S1：针对防疫机器人当前所处环境，进行基于机器视觉的环境目标检测与识别；
步骤S2：当无法利用视觉精准确认环境目标时，进行基于改进的拟人耳定位机制的目标时延估计与定位；
步骤S3：模拟人脑的视听觉协同感知原理，构建基于类脑的防疫机器人视听觉协同感知模型；
所述步骤S2中，在复杂的环境目标感知过程中，当无法利用视觉精准确认目标时，研究人听觉定位机理，并针对上行通路时延估计算法误差较大的缺点，在下行通路基于深度神经网络算法建立目标位置误差矫正估计模型，具体包括以下步骤：
步骤S2.1：获得待感知目标的听觉信息，并进行去噪预处理；
步骤S2.2：在听觉上行通路进行时延估计，初步预估目标当前所在位置；
步骤S2.3：在听觉下行通路，利用深度神经网络算法获得矫正后的目标位置；
所述深度神经网络算法采用具有动量项的多层前向网络的误差反向传播，简称MOBP算法；具体算法过程如下：
对于L层前向网络，设输入模式为Xp，则第一隐含层第j个神经元的输出为
其中，Γ()为隐含层激励函数，wji为第j个输出神经元到第i个输入神经元的连接权系数，xpi为在输入模式Xp下的第i个神经元的输入信号，i＝1,2,…,ni，总共有ni个输入信号，θj为第j个神经元的阈值，j＝1,2,…,no，总共有no个输出信号；
网络的输出为
其中，表示在输入模式Xp下第L层的第j个神经元的净输入、或有效输入、或总输入，是神经元j的一个内部状态变量；
第r+1个隐含层的输入是第r个隐含层的输出，则
定义第r层第j个神经元的输出广义误差为
其中，为误差函数，tpj为神经网络的理论输出值，/>表示在输入模式Xp下第r层的第j个神经元的净输入；
输出广义误差算法为
其中，为第r+1层第k个神经元的输出广义误差，/>为第r+1层第k个输出神经元到第j个输入神经元的连接权系数，k＝1,2,…,nr+1，nr+1为第r+1层的神经元个数，/>
增加动量项后，权值调整算法为
ΔpW(N)＝(1-α)ηDp(N)+αΔp′W(N-1)
其中，为第r层第j个神经元与第r-1层第i个神经元间的连接权系数，0≤α<1为动量因子，η为学习步长，选取范围通常在0.01～0.8之间，/> 为N时刻误差函数/>的负梯度，ΔpW(N)为当前迭代时权值的调整量，为Δp′W(N-1)为第p′个输入样本上一次迭代时权值的调整量；
MOBP算法是多层前向传播神经网络，所有计算单元的激励函数都为Sigmoid函数，利用试凑法确定隐含层个数及隐含层的节点数；最后，选取合适的训练样本进行训练，再利用训练好的MOBPNN模型矫正待感知目标的位置误差。
2.根据权利要求1所述的一种基于类脑的防疫机器人视听觉协同感知方法，其特征在于：所述步骤S1中，针对复杂环境和待感知目标的复杂形态与行为，采用超像素分割和光流法实时重建每个目标的三维形态与动态特征，具体包括以下步骤：
步骤S1.1：获得待感知目标的视觉信息，并将其预分割成超像素集合；
步骤S1.2：利用光流法确定待感知目标的粗略位置，并获得其动态特征信息；
步骤S1.3：对目标的动态特征信息进行滤波、二值化操作，得到精确的三维形态与动态特征，进而检测并识别出目标。
3.根据权利要求1所述的一种基于类脑的防疫机器人视听觉协同感知方法，其特征在于：所述步骤S3中，基于人的听觉通路中声源感知机理和视觉通路中目标感知机理，分析视听觉协同感知的脑认知机制，总结大脑皮层对视听觉刺激整合的区域及具体功能，构建基于类脑的防疫机器人视听觉协同感知模型。
4.根据权利要求3所述的一种基于类脑的防疫机器人视听觉协同感知方法，其特征在于：所述构建基于类脑的防疫机器人视听觉协同感知模型，包括以下步骤：
步骤S3.1：建立基于机器视觉的环境目标检测与识别模型，获得目标检测信息；
步骤S3.2：建立基于改进的拟人耳定位机制的目标时延估计与定位模型，获得目标位置信息；
步骤S3.3：模拟人视听觉协同感知的脑认知机制，融合目标检测信息与目标位置信息，构建基于类脑的防疫机器人视听觉协同感知模型。
5.一种基于类脑的防疫机器人视听觉协同感知系统，其特征在于，包括以下模块：
模块M1：针对防疫机器人当前所处环境，进行基于机器视觉的环境目标检测与识别；
模块M2：当无法利用视觉精准确认环境目标时，进行基于改进的拟人耳定位机制的目标时延估计与定位；
模块M3：模拟人脑的视听觉协同感知原理，构建基于类脑的防疫机器人视听觉协同感知模型；
所述模块M2中，在复杂的环境目标感知过程中，当无法利用视觉精准确认目标时，研究人听觉定位机理，并针对上行通路时延估计算法误差较大的缺点，在下行通路基于深度神经网络算法建立目标位置误差矫正估计模型，具体包括以下步骤：
模块M2.1：获得待感知目标的听觉信息，并进行去噪预处理；
模块M2.2：在听觉上行通路进行时延估计，初步预估目标当前所在位置；
模块M2.3：在听觉下行通路，利用深度神经网络算法获得矫正后的目标位置；
所述深度神经网络算法采用具有动量项的多层前向网络的误差反向传播，简称MOBP算法；具体算法过程如下：
对于L层前向网络，设输入模式为Xp，则第一隐含层第j个神经元的输出为
其中，Γ()为隐含层激励函数，wji为第j个输出神经元到第i个输入神经元的连接权系数，xpi为在输入模式Xp下的第i个神经元的输入信号，i＝1,2,…,ni，总共有ni个输入信号，θj为第j个神经元的阈值，j＝1,2,…,no，总共有no个输出信号；
网络的输出为
其中，表示在输入模式Xp下第L层的第j个神经元的净输入、或有效输入、或总输入，是神经元j的一个内部状态变量；
第r+1个隐含层的输入是第r个隐含层的输出，则
定义第r层第j个神经元的输出广义误差为
其中，为误差函数，tpj为神经网络的理论输出值，/>表示在输入模式Xp下第r层的第j个神经元的净输入；
输出广义误差算法为
其中，为第r+1层第k个神经元的输出广义误差，/>为第r+1层第k个输出神经元到第j个输入神经元的连接权系数，k＝1,2,…,nr+1，nr+1为第r+1层的神经元个数，
增加动量项后，权值调整算法为
ΔpW(N)＝(1-α)ηDp(N)+αΔp′W(N-1)
其中，为第r层第j个神经元与第r-1层第i个神经元间的连接权系数，0≤α<1为动量因子，η为学习步长，选取范围通常在0.01～0.8之间，/> 为N时刻误差函数/>的负梯度，ΔpW(N)为当前迭代时权值的调整量，为Δp′W(N-1)为第p′个输入样本上一次迭代时权值的调整量；
MOBP算法是多层前向传播神经网络，所有计算单元的激励函数都为Sigmoid函数，利用试凑法确定隐含层个数及隐含层的节点数；最后，选取合适的训练样本进行训练，再利用训练好的MOBPNN模型矫正待感知目标的位置误差。
6.根据权利要求5所述的一种基于类脑的防疫机器人视听觉协同感知系统，其特征在于：所述模块M1中，针对复杂环境和待感知目标的复杂形态与行为，采用超像素分割和光流法实时重建每个目标的三维形态与动态特征，具体包括以下步骤：
模块M1.1：获得待感知目标的视觉信息，并将其预分割成超像素集合；
模块M1.2：利用光流法确定待感知目标的粗略位置，并获得其动态特征信息；
模块M1.3：对目标的动态特征信息进行滤波、二值化操作，得到精确的三维形态与动态特征，进而检测并识别出目标。
7.根据权利要求5所述的一种基于类脑的防疫机器人视听觉协同感知系统，其特征在于：所述模块M3中，基于人的听觉通路中声源感知机理和视觉通路中目标感知机理，分析视听觉协同感知的脑认知机制，总结大脑皮层对视听觉刺激整合的区域及具体功能，构建基于类脑的防疫机器人视听觉协同感知模型。
8.根据权利要求7所述的一种基于类脑的防疫机器人视听觉协同感知系统，其特征在于：所述构建基于类脑的防疫机器人视听觉协同感知模型，包括以下模块：
模块M3.1：建立基于机器视觉的环境目标检测与识别模型，获得目标检测信息；
模块M3.2：建立基于改进的拟人耳定位机制的目标时延估计与定位模型，获得目标位置信息；
模块M3.3：模拟人视听觉协同感知的脑认知机制，融合目标检测信息与目标位置信息，构建基于类脑的防疫机器人视听觉协同感知模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111142969.9A CN113837121B (zh) | 2021-09-28 | 2021-09-28 | 一种基于类脑的防疫机器人视听觉协同感知方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111142969.9A CN113837121B (zh) | 2021-09-28 | 2021-09-28 | 一种基于类脑的防疫机器人视听觉协同感知方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837121A CN113837121A (zh) | 2021-12-24 |
| CN113837121B true CN113837121B (zh) | 2024-03-01 |
Family
ID=78966945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111142969.9A Active CN113837121B (zh) | 2021-09-28 | 2021-09-28 | 一种基于类脑的防疫机器人视听觉协同感知方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837121B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804715A (zh) * | 2018-07-09 | 2018-11-13 | 北京邮电大学 | 融合视听感知的多任务协同识别方法及系统 |
| CN112257771A (zh) * | 2020-10-19 | 2021-01-22 | 中国科学技术大学 | 防疫机器人视听觉协同感知模型、方法及介质 |
| CN112405489A (zh) * | 2020-10-16 | 2021-02-26 | 国网上海市电力公司 | 一种视听觉协同的电力应急机器人及作业方法 |
| CN112949466A (zh) * | 2021-02-26 | 2021-06-11 | 重庆若上科技有限公司 | 视频ai烟尘污染源识别与定位方法 |
| CN113139656A (zh) * | 2021-04-26 | 2021-07-20 | 大连海事大学 | 一种类脑快慢双通路无人自主决策方法 |
| WO2021204226A1 (zh) * | 2020-04-09 | 2021-10-14 | 国网江苏省电力有限公司苏州供电分公司 | 基于雷云轨迹跟踪的雷电条件下的光伏功率预测方法 |
-
2021
- 2021-09-28 CN CN202111142969.9A patent/CN113837121B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804715A (zh) * | 2018-07-09 | 2018-11-13 | 北京邮电大学 | 融合视听感知的多任务协同识别方法及系统 |
| WO2021204226A1 (zh) * | 2020-04-09 | 2021-10-14 | 国网江苏省电力有限公司苏州供电分公司 | 基于雷云轨迹跟踪的雷电条件下的光伏功率预测方法 |
| CN112405489A (zh) * | 2020-10-16 | 2021-02-26 | 国网上海市电力公司 | 一种视听觉协同的电力应急机器人及作业方法 |
| CN112257771A (zh) * | 2020-10-19 | 2021-01-22 | 中国科学技术大学 | 防疫机器人视听觉协同感知模型、方法及介质 |
| CN112949466A (zh) * | 2021-02-26 | 2021-06-11 | 重庆若上科技有限公司 | 视频ai烟尘污染源识别与定位方法 |
| CN113139656A (zh) * | 2021-04-26 | 2021-07-20 | 大连海事大学 | 一种类脑快慢双通路无人自主决策方法 |
Non-Patent Citations (5)
| Title |
|---|
| Application of momentum backpropagation algorithm (MOBP) in identification of low-resistivity pay zones in sandstones;Yanqiang Wu等;Journal of Petroleum Exploration and Production Technology;20160527;第7卷;第22-32页 * |
| Research on GA-MOBP Neural Network Retrieval Method of Temperature and Humidity Profiles from Ground-based Microwave Radiometer;Hu Taiyang等;《2021 International Conference on Microwave and Millimeter Wave Technology (ICMMT)》;20211201;第1-3页 * |
| 吴陈等.《计算智能与深度学习》.西安电子科学技术大学出版社,2021,第31-35页. * |
| 基于听觉显著性计算的齿轮裂纹故障特征提取方法;高洪波等;《机械传动》;第42卷(第8期);第183-188页 * |
| 神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用;金仁杰;《微型电脑应用》;20040409;第17卷(第7期);第30-32页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837121A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10019629B2 (en) | Skeleton-based action detection using recurrent neural network | |
| Baldwin et al. | Time-ordered recent event (TORE) volumes for event cameras | |
| Mohandes et al. | Arabic sign language recognition using the leap motion controller | |
| Guo et al. | Driver drowsiness detection using hybrid convolutional neural network and long short-term memory | |
| US20190147602A1 (en) | Hybrid and self-aware long-term object tracking | |
| Aksoy et al. | Categorizing object-action relations from semantic scene graphs | |
| JP2021523468A (ja) | ニューラルネットワークの勾配型敵対的訓練 | |
| CN107689052B (zh) | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 | |
| KR20160096460A (ko) | 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 | |
| CN107704924B (zh) | 同步自适应时空特征表达学习模型的构建方法及相关方法 | |
| Deng et al. | Amae: Adaptive motion-agnostic encoder for event-based object classification | |
| Mazumdar et al. | Object recognition in videos by sequential frame extraction using convolutional neural networks and fully connected neural networks | |
| CN112966595B (zh) | 一种基于图神经网络的传感器网络数据异常判决方法 | |
| CN113837121B (zh) | 一种基于类脑的防疫机器人视听觉协同感知方法及系统 | |
| Fu et al. | Harmonizing motion and contrast vision for robust looming detection | |
| CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 | |
| Zhang et al. | Key technologies of smart factory machine vision based on efficient deep network model | |
| CN110598737A (zh) | 一种深度学习模型的在线学习方法、装置、设备及介质 | |
| WO2011085819A1 (en) | A machine-learning system and a method for determining different operating points in such a system | |
| EP2715620B1 (en) | Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits | |
| Huang et al. | Bioinspired approach-sensitive neural network for collision detection in cluttered and dynamic backgrounds | |
| Rasamuel et al. | Specialized visual sensor coupled to a dynamic neural field for embedded attentional process | |
| US11657282B2 (en) | Efficient inferencing with fast pointwise convolution | |
| Esan et al. | Surveillance detection of anomalous activities with optimized deep learning technique in crowded scenes | |
| CN112053386A (zh) | 基于深度卷积特征自适应集成的目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |