CN108197698B - 基于多模态融合的多脑区协同自主决策方法 - Google Patents
基于多模态融合的多脑区协同自主决策方法 Download PDFInfo
- Publication number
- CN108197698B CN108197698B CN201711325022.5A CN201711325022A CN108197698B CN 108197698 B CN108197698 B CN 108197698B CN 201711325022 A CN201711325022 A CN 201711325022A CN 108197698 B CN108197698 B CN 108197698B
- Authority
- CN
- China
- Prior art keywords
- brain
- reinforcement learning
- information
- learning model
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004927 fusion Effects 0.000 title claims abstract description 13
- 230000002787 reinforcement Effects 0.000 claims abstract description 72
- 210000004556 brain Anatomy 0.000 claims abstract description 36
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 claims abstract description 36
- 229960003638 dopamine Drugs 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000033228 biological regulation Effects 0.000 claims abstract description 8
- 210000000225 synapse Anatomy 0.000 claims abstract description 5
- 210000005036 nerve Anatomy 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 210000002569 neuron Anatomy 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000001242 postsynaptic effect Effects 0.000 claims description 9
- 230000003956 synaptic plasticity Effects 0.000 claims description 9
- 230000003518 presynaptic effect Effects 0.000 claims description 6
- 230000000946 synaptic effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000004888 barrier function Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000001149 cognitive effect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 8
- 210000004227 basal ganglia Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 210000002442 prefrontal cortex Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 210000001103 thalamus Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012421 spiking Methods 0.000 description 3
- 210000004281 subthalamic nucleus Anatomy 0.000 description 3
- 230000002964 excitative effect Effects 0.000 description 2
- 210000001905 globus pallidus Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000004515 ventral tegmental area Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100096986 Caenorhabditis elegans strd-1 gene Proteins 0.000 description 1
- 241001573498 Compacta Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000001577 neostriatum Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 230000003389 potentiating effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000003660 reticulum Anatomy 0.000 description 1
- 210000003523 substantia nigra Anatomy 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于认知神经技术领域，具体涉及一种基于多模态融合的多脑区协同自主决策方法。旨在解决现有无人机避障技术成本较高、不够机动灵活以及现有的强化学习方法要求控制对象具有强烈的容错能力的问题。本发明提供一种基于多模态融合的多脑区协同自主决策方法，包括获取障碍物的空间位置信息，将其输入预先构建的多脑区协同强化学习模型；根据环境反馈的奖励信息，通过多巴胺调控和突触可塑性机制，更新所述多脑区协同强化学习模型，实现无人机自主避障。本发明能够准确地评估场景中障碍物的危险程度，并且模拟人脑自主学习过程，让无人机快速准确地学习到避障策略，实现自主躲避障碍物，完成任务。
Description
技术领域
本发明属于认知神经技术领域，具体涉及一种基于多模态融合的多脑区协同自主决策方法。
背景技术
随着无人机技术的发展，无人机因其实用性广泛应用于多个技术领域，无人机的主动安全性是其得以在真实场景中安全应用的基本。无人机的主动安全性是指其能够精确地感知障碍物并且自主地避开障碍物。现有的无人机避障技术中，主要包括红外和激光测距实现无人机避障，但是红外和激光容易受到外界环境的影响和干扰，导致距离测量不准，容易造成安全事故。此外，现有的无人机避障技术一般依赖于三维地图、双目摄像机或者其他高精度设备等实现，成本较高且不够机动灵活。
此外，对于现有的无人机避障强化学习决策，现有的强化学习方法主要包括：
传统强化学习方法：通过Q-learning、Actor-Critic算法解决离散的强化学习问题，适用于简单的强化学习问题，并且要求状态之间通过一步行为进行切换；
深度强化学习方法：通过结合深度神经网络和 Q-learning算法，基于梯度下降方法优化神经网络，其中深度神经网络能够抽象表达高维的输入信息，并且不需要进行状态划分，适用于具有大量数据信息的情况，但是计算需要花费较多时间；
层次强化学习方法：通过集成不同的行为到子路线中，每个子路线都是强化学习的一个特殊情况，适用于解决复杂的规划问题，并且要求控制对象尽可能经历所有可能的情况。
现有的强化学习方法均需要控制对象具有强烈的容错能力，可以多次尝试错误的结果，并且不断地调整策略，要求每次执行行为、输入的状态要有明显的不同。而对于实际应用中的无人机，不可能经历所有的状态空间，而且为了确保其安全性，必须快速准确地学习到正确的策略。
因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有无人机避障技术成本较高、不够机动灵活以及现有的强化学习方法要求控制对象具有强烈的容错能力的问题，本发明提供了一种基于多模态融合的多脑区协同自主决策方法，所述方法包括：
通过超声波传感器和双目摄像头获取障碍物的空间位置信息，将其输入预先构建的多脑区协同强化学习模型；
基于所述障碍物的空间位置信息，使用尖峰时序神经网络构建多脑区协同强化学习模型；
根据环境反馈的奖励信息，通过多巴胺调控和突触可塑性机制，更新所述多脑区协同强化学习模型，实现无人机自主避障。
在上述方法的优选技术方案中，“获取障碍物的空间位置信息”，其方法为：
通过所述无人机搭载的超声波传感器获取所述无人机与所述障碍物的距离信息；
通过所述无人机搭载的双目摄像头获取所述障碍物的图像信息，根据所述障碍物的图像信息获取所述障碍物的深度信息；
将所述距离信息与所述深度信息进行融合，得到所述障碍物的空间位置信息。
在上述方法的优选技术方案中，所述多脑区协同强化学习模型包括：
尖峰时序神经网络模块，所述尖峰时序神经网络模块被配置为通过突触可塑性机制判断突触前发送脉冲和突触后神经元发放脉冲的时间差，根据判断结果更新突触强度，实现所述多脑区协同强化学习模型的更新学习；
神经簇模块，所述神经簇模块被配置为通过发送脉冲的方式将信息输入至突触后神经元，模拟人脑中的脑区；
多个神经簇模块按照人脑脑区的连接方式进行连接。
在上述方法的优选技术方案中，“根据判断结果更新突触强度”，其方法为按照下式所述的方法计算：
其中，A+、A-均表示学习率，τ+，τ-均表示时间常量，Δti表示突触前到突触后发放spike的时间延迟。
在上述方法的优选技术方案中，“根据环境反馈的奖励信息，通过多巴胺调控和突触可塑性机制，更新所述多脑区协同强化学习模型，实现无人机自主避障。”，其方法为：
所述多巴胺和突触可塑性机制通过调控所述多脑区协同强化学习模型的PFC-StrD1和PFC-StrD2的连接权重，更新所述多脑区协同强化学习模型；
更新后的多脑区协同强化学习模型根据输入信息产生输出信息后，得到奖励信息。
在上述方法的优选技术方案中，所述奖励信息的计算方法为按照下式所述的方法计算：
rewardend＝reward(t)-reward(t-1)
其中，t表示时刻，rewardend表示当前时刻的奖励信息减去上一时刻的奖励信息。
在上述方法的优选技术方案中，“更新所述多脑区协同强化学习模型”，其方法为：
当所述奖励信息为正奖励时，增强所述多脑区协同强化学习模型PFC-StrD1的连接，减弱所述多脑区协同强化学习模型PFC-StrD2的连接；
当所述奖励信息为负奖励时，增强所述多脑区协同强化学习模型PFC-StrD2的连接，减弱所述多脑区协同强化学习模型PFC-StrD1的连接。
在上述方法的优选技术方案中，“获取障碍物的空间位置信息”之后，该方法还包括：
使用棋盘格标定法对所述双目摄像头进行标定，得到所述双目摄像头的内、外参数；
根据所述双目摄像头的内、外参数计算校正所述双目摄像头采集图像的校准参数，基于所述校准参数校准所述双目摄像头采集的图像；
根据立体匹配Graph Cut算法中的SGBM算法计算校准后的图像，得到所述双目摄像头采集图像的视差图；
对所述视差图中的轮廓信息进行聚类分析，得到所述视差图中物体所在区域；获取所述物体所在区域中噪声值大于预设阈值的区域，并将该区域作为危险障碍物区域。
与最接近的现有技术相比，本发明提供一种基于多模态融合的多脑区协同自主决策方法，包括：通过超声波传感器和双目摄像头获取障碍物的空间位置信息，将其输入预先构建的多脑区协同强化学习模型；根据环境反馈的奖励信息，通过多巴胺调控和突触可塑性机制，更新所述多脑区协同强化学习模型，实现无人机自主避障。
上述技术方案至少具有如下有益效果：
1、本发明能够融合超声波传感器和双目摄像头获取的信息，可以更加准确可靠地描述无人机所在环境及评估场景中障碍物的危险程度。多传感器信息融合能够有效地对环境进行一致性描述，从而降低单个传感器的不确定性和局限性，使得无人机获得更多的可靠信息，具有更高的容错性。
2、本发明通过对人脑的多脑区协同强化学习通路进行计算建模，模拟了人脑自主学习过程中涉及到的PFC、黑质致密部(SNc)、中脑腹侧被盖区(VTA)、StrD1、StrD2、STN、GPe、 GPi、SNr、丘脑、运动皮层共11个脑区，并且分别从脑区的功能和脑区之间的连接关系两个方面进行模拟，能够让无人机在不需要经历所有状态空间的基础上，快速准确地学习到避障策略，完成任务。
附图说明
图1为本发明一种实施例基于多模态融合的多脑区协同自主决策方法的流程示意图；
图2为本发明一种实施例感知障碍物的流程示意图；
图3为本发明一种实施例危险障碍物区域的示意图；
图4为本发明一种实施例多脑区协同强化学习模型的框架示意图；
图5为本发明一种实施例中无人机自主避障学习过程的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明融合超声波、双目视觉等多模态信息感知障碍物，将障碍物信息作为多脑区协同自主决策模型的输入，融合多模态的输入信息从而更加可靠准确地感知障碍物的信息，能够顺利完成无人机自主避障任务。双目立体视觉测量具有效率高、精度合适、结构简单以及成本低等优点，适用于远距离探测，超声波测距是一种成熟的测距技术，被广泛应用于家用的汽车雷达上，成本相对较低，适用于近距离探测，通过结合超声波和双目视觉的优势，互相弥补彼此的缺点，在测量近距离时，使用超声波测距，在测量远距离时，使用双目视觉测距，将两者结合可以根据不同的距离选择不同的传感信息，精确地实现障碍物的感知。
本发明使用的多脑区协同自主决策模型是一种类脑的自主决策模型，模拟人脑中多个脑区协同合作完成学习的机制：多模态信息输入至PFC(prefrontal cortex，前额叶皮层)后，PFC 将信息输入至基底神经节完成决策，基底神经节主要负责选择和优化行为，基底神经节由直接通路和间接通路组成，直接通路： PFC-StrD1(Striatum，纹状体)-Gpi(globus pallidus internas，苍白球内侧核)/SNr(substantia nigra reticular part，黑质网状部) 是兴奋性输出，用于加强某一行为的反应，而间接通路：PFC-StrD2- Gpe(External Globus Pallidus，苍白球外侧部)-Gpi/SNr是抑制性输出，用于减弱对某一行为的反应；基底节中的STN(subthalamic nucleus，丘脑底核)也接收PFC的输入，它通过为Gpe和Gpi/SNr 提供兴奋性输入，来降低直接通路与间接通路的时间差，防止过快做出决定；Gpi/SNr综合以上通路来选择行为并输出至丘脑，丘脑负责传输行为信号至负责执行行为的运动区。
参阅附图1，图1示例性的给出了本实施例中基于多模态融合的多脑区协同自主决策方法的流程示意图。如图1所示，本实施例中基于多模态融合的多脑区协同自主决策方法包括下述步骤：
步骤S1：通过超声波传感器和双目摄像头获取障碍物的空间位置信息，将其输入预先构建的多脑区协同强化学习模型；
如图2所示，图2示例性的给出了本实施例中感知障碍物的流程示意图，在本发明实施例中，可以使用超声波传感器获取障碍物与无人机之间的距离，使用双目摄像头获取环境中障碍物的深度信息，得到障碍物的空间位置信息，根据障碍物的空间位置信息以及无人机的位置，判断无人机与障碍物之间的距离，从而可以得到障碍物对无人机执行任务过程中的危险程度。将超声波传感器与双目摄像头获取的信息进行融合，融合后的信息可以有效地对障碍物进行空间位置的描述。将获取的障碍物的空间位置信息传递至多脑区协同的强化学习模型中进行进一步决策。其中，将超声波传感器与双目摄像头获取的信息进行融合具体可以包括以下步骤：
步骤S11：在本发明实施例中，通过对大疆DJI M100 无人机上的guidance进行开发，在大疆DJI M100无人机上安装超声波传感器和双目摄像头，其中，将无人机的双目摄像头正面朝向使用者时，左边的摄像头采集的图像作为左图像，右边的摄像头采集的图像作为右图像。
具体地，通过获取超声波传感器感知的数据来得到障碍物与无人机之间的距离，当障碍物与无人机的距离小于预设安全阈值时，则判定此时无人机与障碍之间的距离达到危险预警线，无人机应自主远离该障碍物；通过在无人机上搭载摄像头组合成双目摄像头，双目摄像头分别采集左图像和右图像，根据采集的左图像和右图像，计算双目摄像头的视差图，根据视差图确定危险障碍物区域，其中，危险障碍物区域是指无人机在飞行过程中可能撞上障碍物的区域。在本发明实施例中，预设的安全阈值可以为0.5m，也可以为1m，还可以根据工程师的经验和实际应用场景进行设定，在此不做限定。
如图3所示，图3示例性的给出了危险障碍物区域的示意图，图3中的A和B分别表示是左图像和右图像，C表示视差图，D中的黄色矩形框表示危险障碍物区域。根据采集的左图像和右图像，计算双目摄像头的视差图，根据视差图确定危险障碍物区域具体可以包括以下步骤：
步骤S111：双目摄像头标定：使用棋盘格标定法进行双目摄像头标定，获得双目摄像头的内、外参数。其原理为：利用摄像机所拍摄到的图像来还原空间中的物体，摄像机所拍摄到的图像与三维空间中的物体之间存在以下线性关系：[像]＝M[物]，矩阵M可以看成是摄像机成像的几何模型，M中的参数为摄像机中的参数，通过计算得到矩阵M中的参数，该求解参数的过程称为摄像机标定。在实际应用中，不同的摄像头通过棋盘格标定法得到的内、外参数不同，具体的值与摄像头型号有关，在此不做限定。
步骤S112：视差图计算：根据棋盘格标定法得到摄像头的内、外参数，基于摄像头的内、外参数计算产生校正图像所需的交换参数，根据校准参数校准左图像和右图像，得到校准后的左图像和右图像后，根据立体匹配Graph Cut算法中的SGBM 算法计算校准后的左图像和右图像，调整SGBM算法中的SGBM 参数得到视差图。视差图通过不同的灰度值反映图像中的对象相对于摄像头的深度信息，视差图中的灰度值越大说明图像中的对象离摄像头越近，也就说明在实际场景中，该对象相对其他物体对无人机更危险。
步骤S113：对视差图中的轮廓信息进行聚类分析，得到视差图中不同深度信息下物体所在的区域，过滤掉视差图中物体所在区域的噪声值小于预设阈值的区域，将大于预设阈值的区域作为危险障碍物区域，其中，预设阈值的值可以为区域周长小于300像素点、深度信息颜色值小于20灰度值。
步骤S2：基于障碍物的空间位置信息，使用尖峰时序神经网络构建多脑区协同强化学习模型。
在本发明实施例中，多脑区协同强化学习模型是一种类脑的自主决策模型，如图4所示，图4示例性的给出了本实施例中多脑区协同强化学习模型的框架示意图，其中，图4中Thalamus表示丘脑，Basal ganglia表示基底节，人脑强化学习是由人脑中多个脑区协同完成，多模态信息输入至PFC后，PFC将信息输入至基底神经节完成决策，基底神经节由直接通路和间接通路组成，直接通路用来加强对某一行为的反应，间接通路用来减弱对某一行为的反应，通过多个脑区的共同协作，完成强化学习。多脑区协同强化学习模型使用尖峰时序神经网络模拟人脑强化学习的关键脑区，该模型从脑区的功能和脑区之间的连接关系两个方面进行模拟。
具体地，尖峰时序神经网络是一种类脑的神经网络，尖峰时序神经网络中的神经元通过发放脉冲的方式输入给突触后神经元，尖峰时序神经网络使用STDP突触可塑性机制，通过判断突触前发放脉冲和突触后神经元发放脉冲的时间差来更新突触强度。通过尖峰时序神经网络建立多脑区协同强化学习模型的思路为：分别建立多个神经元簇代表不同脑区，脑区之间的连接按照大脑的脑区的连接方式，结合脉冲神经网络的神经元模型和突触可塑性机制构成了一个具有多个脑区协同的强化学习模型。
神经元作为构成神经系统结构和功能的基本单元，在强化学习时具有重要作用，因此需要使用模型模拟生物神经元，将其作为脑区功能和脑区之间连接模拟的基础。在本发明实施例中，使用Izhikevich神经元模型来模拟生物神经元，Izhikevich神经元模型的计算方法如公式(1)所示：
其中，v表示膜电位，u表示膜电位恢复变量，I表示输入信息，a、b、c、d均为常数，a＝0.02、b＝0.2、c＝-65、d＝8。
为了能够让无人机适应多个实际场景，快速学习到正确的避障策略，可以利用STDP(spike timing dependent plasticity，尖峰时间相关的可塑性)机制实现尖峰时序神经网络的更新学习，而权重作为尖峰时序神经网络学习的关键，网络的强化学习能力就是通过不断地更新权重得到的，STDP突触可塑性机制更新脑区之间权重的计算方法如公式(2)所示：
其中A+、A-均表示学习率，A+＝A-＝0.9，τ+，τ-均表示时间常量，τ-＝τ+＝20，Δti表示突触前到突触后发放spike 的时间延迟。
建立尖峰时序神经网络模拟多脑区协同强化学习模型后，模型的输入和输出分别为：
多脑区协同强化学习模型的输入信息：将无人机感知到障碍物的位置信息进行状态划分，进行状态划分的依据可以是：当障碍物位于无人机正前方的左边时，将其作为状态1；当障碍物位于无人机正前方的右边时，将其作为状态2；当无人机没有感知到障碍物时，将其作为状态3；其中，状态3也是无人机的目标状态。
多脑区协同强化学习的模型的输出信息：选择的行为 (3个动作：向左、向右飞行和悬停不动)；每当模型输出一个行为后，它会得到奖赏并根据奖赏来更新模型。
步骤S3：根据环境反馈的奖励信息，通过多巴胺调控和突触可塑性机制，更新所述多脑区协同强化学习模型，实现无人机自主避障。
在本发明实施例中，多脑区协同强化学习模型每次输出行为后都会获得一个奖励，采用连续的信号表示奖励，具体如公式(3)所示：
reward＝max(width-x,x) (3)
其中，x表示障碍物的横坐标，width表示无人机视觉输入的宽度，reward表示障碍物中心的横坐标距离无人机视觉输入左、右边缘距离的最大值。
通过公式(1)计算得到的奖励表示绝对奖励，但在实际应用中，无人机可能是一直在移动的，为了能够准确的计算多脑区协同强化学习模型得到的奖励，通过使用相对奖励代替绝对奖励计算多脑区协同强化学习模型获得的真实奖励，真实奖励的计算方法具体如公式(4)所示：
rewardend＝reward(t)-reward(t-1) (4)
其中，t表示时刻，rewardend表示当前时刻的奖励减去上一时刻的奖励，即，真实奖励，通过计算多脑区协同强化学习模型的真实奖励，可以得到无人机每次移动时的奖励信息，基于获得的真实奖励信息更新多脑区协同强化学习模型，能够让无人机快速准确地学习到正确的策略。
多巴胺作为一种神经递质，能够携带奖励信息，多巴胺的浓度能够衡量奖励信息的好坏，当真实奖励是正奖励时，多巴胺的浓度升高；当真实奖励是负奖励时，多巴胺的浓度降低，多巴胺浓度具体的计算方法具体如公式(5)：
其中，DA表示多巴胺浓度；
在强化学习过程中，多脑区协同强化学习模型根据反馈信号不断优化策略，促进被奖赏的行为，镇压被惩罚的行为，让无人机能够远离障碍物，快速准确地学习正确的避障策略。多巴胺通过调控PFC-StrD1以及PFC-StrD2之间的连接权重实现促进被奖赏的行为、镇压被惩罚的行为。具体的调控方法为：
当获得奖励时，DA>1时，多巴胺的浓度升高，增强 PFC-StrD1的连接，具体计算方法为w＝w*DA，通过该公式可以增加权重，减弱PFC-StrD2的连接，具体计算方法为w＝w*(DA- 1)，通过该公式可以减小权重，其中，w表示突触强度；当得到惩罚时，DA<1时，多巴胺浓度降低，增强PFC-StrD2连接，即 w＝w*(DA+1)，减弱PFC-StrD1的连接，即w＝w*DA；
通过上述方式更新模型后，需要验证多脑区协同强化学习模型的有效性，具体地，可以通过训练无人机躲避障碍物时的自主学习能力进行验证。如图5所示，示例性的给出了本实施例中无人机自主避障学习过程的示意图。在图5的1号图中，无人机在状态2时，选择了向右的行为，此时对应的奖励信息为负奖励，多脑区协同强化学习模型根据反馈的奖励信息来降低选择向右行为的概率，因此，图5的2-6号图中，无人机根据奖励信息选择向左的行为；当无人机选择向右的动作后，由状态2转变成状态1，面对新状态时，依旧随机选择了向左的行为，根据计算奖励的公式，状态1时，向左飞行是错误的行为，多脑区协同强化学习模型根据反馈的奖励信息，即负奖励，降低选择向左飞行的概率，接着无人机由状态1转变为状态2，由于之前学习到向右飞行是错误的行为，因此无人机执行向左飞行的动作直至达到目标状态。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种基于多模态融合的多脑区协同自主决策方法，其特征在于，所述方法包括：
通过超声波传感器和双目摄像头获取障碍物的空间位置信息，将其输入预先构建的多脑区协同强化学习模型；
基于所述障碍物的空间位置信息，使用尖峰时序神经网络构建多脑区协同强化学习模型；
根据环境反馈的奖励信息，通过多巴胺调控和突触可塑性机制，更新所述多脑区协同强化学习模型，实现无人机自主避障；
所述多脑区协同强化学习模型包括：
尖峰时序神经网络模块，所述尖峰时序神经网络模块被配置为通过突触可塑性机制判断突触前发送脉冲和突触后神经元发放脉冲的时间差，根据判断结果更新突触强度，实现所述多脑区协同强化学习模型的更新学习；
神经簇模块，所述神经簇模块被配置为通过发送脉冲的方式将信息输入至突触后神经元，模拟人脑中的脑区；
多个神经簇模块按照人脑脑区的连接方式进行连接。
2.根据权利要求1所述的方法，其特征在于，“获取障碍物的空间位置信息”，其方法为：
通过无人机搭载的超声波传感器获取所述无人机与所述障碍物的距离信息；
通过无人机搭载的双目摄像头获取所述障碍物的图像信息，根据所述障碍物的图像信息获取所述障碍物的深度信息；
将所述距离信息与所述深度信息进行融合，得到所述障碍物的空间位置信息。
3.根据权利要求1所述的方法，其特征在于，“根据判断结果更新突触强度”，其方法为按照下式所述的方法计算：
其中，A+、A-均表示学习率，τ+，τ-均表示时间常量，Δti表示突触前到突触后发放spike的时间延迟。
4.根据权利要求1所述的方法，其特征在于，“通过多巴胺调控和突触可塑性机制，更新所述多脑区协同强化学习模型”，其方法为：
所述多巴胺和突触可塑性机制通过调控所述多脑区协同强化学习模型的PFC-StrD1和PFC-StrD2的连接权重，更新所述多脑区协同强化学习模型；
更新后的多脑区协同强化学习模型根据输入信息产生输出信息后，得到奖励信息。
5.根据权利要求4所述的方法，其特征在于，所述奖励信息的计算方法为按照下式所述的方法计算：
rewardend＝reward(t)-reward(t-1)
其中，t表示时刻，rewardend表示当前时刻的奖励信息减去上一时刻的奖励信息。
6.根据权利要求4所述的方法，其特征在于，“更新所述多脑区协同强化学习模型”，其方法为：
当所述奖励信息为正奖励时，增强所述多脑区协同强化学习模型PFC-StrD1的连接，减弱所述多脑区协同强化学习模型PFC-StrD2的连接；
当所述奖励信息为负奖励时，增强所述多脑区协同强化学习模型PFC-StrD2的连接，减弱所述多脑区协同强化学习模型PFC-StrD1的连接。
7.根据权利要求2所述的方法，其特征在于，“获取障碍物的空间位置信息”之后，该方法还包括：
使用棋盘格标定法对所述双目摄像头进行标定，得到所述双目摄像头的内、外参数；
根据所述双目摄像头的内、外参数计算校正所述双目摄像头采集图像的校准参数，基于所述校准参数校准所述双目摄像头采集的图像；
根据立体匹配Graph Cut算法中的SGBM算法计算校准后的图像，得到所述双目摄像头采集图像的视差图；
对所述视差图中的轮廓信息进行聚类分析，得到所述视差图中物体所在区域；获取所述物体所在区域中噪声值大于预设阈值的区域，并将该区域作为危险障碍物区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711325022.5A CN108197698B (zh) | 2017-12-13 | 2017-12-13 | 基于多模态融合的多脑区协同自主决策方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711325022.5A CN108197698B (zh) | 2017-12-13 | 2017-12-13 | 基于多模态融合的多脑区协同自主决策方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108197698A CN108197698A (zh) | 2018-06-22 |
| CN108197698B true CN108197698B (zh) | 2022-10-14 |
Family
ID=62574257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711325022.5A Active CN108197698B (zh) | 2017-12-13 | 2017-12-13 | 基于多模态融合的多脑区协同自主决策方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108197698B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109357696B (zh) * | 2018-09-28 | 2020-10-23 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多源传感器信息融合闭环测试架构 |
| CN109635917B (zh) | 2018-10-17 | 2020-08-25 | 北京大学 | 一种多智能体合作决策及训练方法 |
| CN109343348B (zh) * | 2018-10-26 | 2021-11-12 | 黑龙江大学 | 一种混合阶机电系统的协同容错控制方法及控制系统 |
| CN109828454B (zh) * | 2019-01-29 | 2020-08-11 | 中国海洋大学 | 基于海况等级切换的多策略融合auv运动控制方法 |
| CN112149458A (zh) * | 2019-06-27 | 2020-12-29 | 商汤集团有限公司 | 障碍物检测方法、智能驾驶控制方法、装置、介质及设备 |
| CN110781968B (zh) * | 2019-10-29 | 2022-04-19 | 中国人民解放军国防科技大学 | 一种基于塑性卷积神经网络的可扩展类别的图像识别方法 |
| CN111323069B (zh) * | 2020-03-23 | 2021-08-24 | 清华大学 | 一种基于深度强化学习的多传感器在线标定方法及系统 |
| JP6950117B1 (ja) * | 2020-04-30 | 2021-10-13 | 楽天グループ株式会社 | 学習装置、情報処理装置、及び学習済の制御モデル |
| CN113324545A (zh) * | 2021-04-22 | 2021-08-31 | 南京航空航天大学 | 一种基于混合增强智能的多无人机协同任务规划方法 |
| CN114860893B (zh) * | 2022-07-06 | 2022-09-06 | 中国人民解放军国防科技大学 | 基于多模态数据融合与强化学习的智能决策方法及装置 |
| CN115019185B (zh) * | 2022-08-03 | 2022-10-21 | 华中科技大学 | 类脑连续学习协同围捕方法、系统及介质 |
| CN116797851B (zh) * | 2023-07-28 | 2024-02-13 | 中国科学院自动化研究所 | 图像分类模型的类脑连续学习方法、图像分类方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105531724A (zh) * | 2013-08-13 | 2016-04-27 | 高通股份有限公司 | 用于调制神经设备的训练的方法和装置 |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
| CN106708084A (zh) * | 2016-11-24 | 2017-05-24 | 中国科学院自动化研究所 | 复杂环境下无人机自动障碍物检测和避障方法 |
-
2017
- 2017-12-13 CN CN201711325022.5A patent/CN108197698B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105531724A (zh) * | 2013-08-13 | 2016-04-27 | 高通股份有限公司 | 用于调制神经设备的训练的方法和装置 |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
| CN106708084A (zh) * | 2016-11-24 | 2017-05-24 | 中国科学院自动化研究所 | 复杂环境下无人机自动障碍物检测和避障方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Basal Ganglia Network Centric Reinforcement Learning Model and Its Application in Unmanned Aerial Vehicle;Zeng Yi 等;《IEEE Transactions on Cognitive and Developmental Systems》;20170106;全文 * |
| A Brain-Inspired Decision Making Model Based on Top-Down Biasing of Prefrontal Cortex to Basal Ganglia and Its Application in Autonomous UAV Explorations;Zhao Feifei 等;《Cognitive Computation》;20170915;全文 * |
| A Spiking Neural Network Based Autonomous Reinforcement Learning Model and Its Application in Decision Making;Wang Guixiang 等;《International Conference on Brain Inspired Cognitive Systems》;20161113;全文 * |
| Navigating mobile robots to target in near shortest time using reinforcement learning with spiking neural networks;Amarnath Mahadevuni 等;《2017 International Joint Conference on Neural Networks》;20170703;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108197698A (zh) | 2018-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197698B (zh) | 基于多模态融合的多脑区协同自主决策方法 | |
| CN108694367B (zh) | 一种驾驶行为模型的建立方法、装置和系统 | |
| CN110007675B (zh) | 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法 | |
| CN107450593B (zh) | 一种无人机自主导航方法和系统 | |
| CN111142557B (zh) | 无人机路径规划方法、系统、计算机设备及可读存储介质 | |
| Ross et al. | Learning monocular reactive uav control in cluttered natural environments | |
| US10831208B2 (en) | Vehicle neural network processing | |
| CA3067580A1 (en) | Threat situation assessment systems and methods for unmanned underwater vehicle | |
| DE102019105363B4 (de) | Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens mit einem selbstlernenden Entscheider | |
| EP3719603A1 (en) | Action control method and apparatus | |
| Soria et al. | The influence of limited visual sensing on the reynolds flocking algorithm | |
| WO2007011976A2 (en) | Crash prediction network with visual input for vehicle | |
| CN115494879B (zh) | 基于强化学习sac的旋翼无人机避障方法、装置及设备 | |
| CN113015982A (zh) | 具有竞争性奖励调节脉冲时间依赖的可塑性的人工神经网络及其训练方法 | |
| James Anderson et al. | Model of a predatory stealth behaviour camouflaging motion | |
| Rodríguez-Hernandez et al. | Flying through gates using a behavioral cloning approach | |
| US11899750B2 (en) | Quantile neural network | |
| Praczyk | Neural control system for a swarm of autonomous underwater vehicles | |
| CN117075621A (zh) | 无人机安全规避方法、装置、电子设备及存储介质 | |
| Thomas et al. | Interpretable uav collision avoidance using deep reinforcement learning | |
| Schoepe et al. | Finding the gap: neuromorphic motion-vision in dense environments | |
| DE102020101060A1 (de) | Selbstlernendes Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit einem Multiplanar-Reformatierer | |
| CN114609925B (zh) | 水下探索策略模型的训练方法及仿生机器鱼水下探索方法 | |
| CN113885496B (zh) | 智能驾驶仿真传感器模型及智能驾驶仿真方法 | |
| DE102022121602A1 (de) | Objektbewegungsbahnprognose |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |