CN106815550B - 基于视觉恐惧反应脑机制的应急避障方法 - Google Patents
基于视觉恐惧反应脑机制的应急避障方法 Download PDFInfo
- Publication number
- CN106815550B CN106815550B CN201611059266.9A CN201611059266A CN106815550B CN 106815550 B CN106815550 B CN 106815550B CN 201611059266 A CN201611059266 A CN 201611059266A CN 106815550 B CN106815550 B CN 106815550B
- Authority
- CN
- China
- Prior art keywords
- points
- point
- characteristic
- motion
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 23
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 230000008309 brain mechanism Effects 0.000 title claims abstract description 18
- 210000001103 thalamus Anatomy 0.000 claims abstract description 40
- 230000004044 response Effects 0.000 claims abstract description 27
- 230000007246 mechanism Effects 0.000 claims abstract description 26
- 230000010365 information processing Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 210000002569 neuron Anatomy 0.000 claims abstract description 20
- 210000001525 retina Anatomy 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 13
- 210000004727 amygdala Anatomy 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005316 response function Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 8
- 230000014061 fear response Effects 0.000 abstract description 7
- 241001465754 Metazoa Species 0.000 abstract description 5
- 241000282414 Homo sapiens Species 0.000 abstract description 4
- 230000007123 defense Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 210000004556 brain Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 210000003863 superior colliculi Anatomy 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000000542 thalamic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
Abstract
本发明涉及一种基于视觉恐惧反应脑机制的应急避障方法。其中，该方法包括获取图像序列；基于视网膜信息处理机制，检测图像序列中障碍物的运动方向和运动速度；基于障碍物的运动方向和运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应；基于逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域；对最危险的区域做出应急避障行为。通过上述技术方案，本发明实施例借鉴动物或者人类能够对危险对象产生快速防卫行为的能力，结合恐惧反应的脑机制，解决了如何提高应急反应能力的技术问题。
Description
技术领域
本发明涉及计算机视觉和脑神经科学等多学科的交叉技术领域，具体涉及一种基于视觉恐惧反应脑机制的应急避障方法。
背景技术
随着无人机等智能系统的广泛研究和应用，障碍物的检测和躲避逐渐成为研究的热点。其中，障碍物检测也是计算机视觉领域的研究热点之一。计算机视觉领域的研究者们已经提出了许多障碍物检测的方法。根据基本思想和原理，这些障碍物检测算法主要分为以下两类：
(1)提取前景：双目视觉技术通过校准和立体匹配计算得到视差图，视差图反映了图像中的对象相对于摄像头的远近关系。该方法设定适当的阈值提取前景区域是使用双目视觉解决障碍物检测的核心思想。但是，该方法计算复杂度较高，适用于深度信息丰富而且障碍物较大情况下的检测。
(2)提取运动物体：诸如帧间差分法、光流法背景建模法等计算机视觉领域中运动检测的算法均要求背景简单且不能出现剧烈变化。其中，帧间差分法通过对相邻两张图像做差分运算，再通过灰度值的变化发现运动的目标。该方法实现简单，要求背景相对简单，不能出现剧烈的变化。光流法利用图像序列中像素灰度值的时序变化和相关性来确定空间各像素点所发生的运动。该方法适用于背景复杂且不断变化的场景，结果易受光照影响。背景建模法假定背景符合某一规律的模型，通过多帧背景图像估计出模型的参数，完成背景建模；再针对每一帧对背景差分，从而得到前景并进一步判断前景的运动。该方法要求背景符合某一分布，在背景复杂或难以用模型描述时就不适用了。
纵观已有的避障方法，虽然在障碍物检测上面已经取得了相当瞩目的成就，但从根本原理而言，这些方法和真正大脑处理视觉应急反应机制相比存在着很大的区别。
首先，在计算复杂度上，大脑中采用的是第二视觉系统的信息处理机制，能够准确快速地定位突然出现的障碍物，并进行防卫。大脑的恐惧应急反应是由皮层下的快速反应通路完成的，而障碍物检测的算法一般是由第一视觉通路来完成的，该通路对信息的处理相对精细，但由此带来的时间消耗较大，例如对背景建模的计算、立体匹配中视差图的计算都需要大量的时间，这是远远达不到动物或者人类的生存要求的。再有，受光照等环境因素的影响，已有的算法的处理结果通常伴随一定的错误发生，而准确率对于动物或者人类的生存来说是至关重要的。大脑进化出的第二视觉通路专门应对突发的危险情况并做出本能地防卫行为，该通路直接从视网膜投射到上丘，上丘中的PV+神经元对逼近式运动响应十分敏感，对朝向自身的运动响应非常活跃，并计算得到不同区域的危险性提供给丘脑枕，丘脑枕根据视野中不同区域的危险性调整注意力转向最危险的区域，丘脑枕将危险传递给杏仁核产生恐惧情绪后直接导致了PAG执行躲避的行为。然而，脑处理紧急情况下的应急躲避行为，错误的发生往往会降低很多。
有鉴于此，特提出本发明。
发明内容
为了解决现有技术中的上述问题，即为了解决如何提高应急反应能力的技术问题而提供一种基于视觉恐惧反应脑机制的应急避障方法。
为了实现上述目的，一方面，提供以下技术方案：
一种基于视觉恐惧反应脑机制的应急避障方法，所述方法包括：
获取图像序列；
基于视网膜信息处理机制，检测所述图像序列中障碍物的运动方向和运动速度；
基于所述障碍物的所述运动方向和所述运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应；
基于所述逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域；
对所述最危险的区域做出应急避障行为。
进一步地，所述基于视网膜信息处理机制，检测所述图像序列中障碍物的运动方向和运动速度，具体包括：
获取所述图像序列中显著度高的特征点；
计算所述特征点的运动方向和运动速度，得到所述图像序列中障碍物的运动方向和运动速度。
进一步地，特征为灰度对比度，所述获取所述图像序列中显著度高的特征点具体包括：
根据下式计算所述图像序列中各像素点的灰度差值：
其中，所述E(u,v)表示所述灰度差值；所述(x,y)表示像素点坐标；所述u表示沿x轴水平移动的距离；所述v表示沿y轴竖直移动的距离；所述w(x,y)表示窗口函数；所述I(x,y)表示所述像素点(x,y)对应的灰度值；所述I(x+u,y+v)表示像素点(x+u,y+v)对应的灰度值；
根据下式计算所述各像素点的自相关矩阵：
其中，所述M表示所述自相关矩阵；所述Ix表示x方向的差分；所述Iy表示y方向的差分；
计算所述各像素点的所述自相关矩阵的特征值，并将所述自相关矩阵的特征值中的最小值确定为所述各像素点的特征值；
重复选择所述图像序列中任一邻域，确定所述邻域内像素点特征值最大的像素点；
过滤像素点特征值小于阈值的像素点，得到特征点；
对所有所述特征点进行排序，针对每一特征点，任选一邻域，比较所述邻域内是否存在比该特征点的特征值大的特征点，若存在，则忽略该特征点，从而得到显著度高的特征点。
进一步地，所述计算所述特征点的运动方向和运动速度具体包括：
针对所述图像序列，在第一时刻的帧中，利用最小二乘法，查找与第二时刻帧中特征点同一位置邻近区域内灰度值相近的像素点，从而得到所述特征点的所述运动速度，其中，所述第一时刻与所述第二时刻为相邻时刻；
通过计算相邻二帧所述特征点运动的斜率，得到所述特征点的所述运动方向。
进一步地，所述斜率通过下式计算得到：
其中，以所述帧的左下角为原点，以水平向右方向为X轴正方向，以竖直向上方向为Y轴正方向；t表示时刻；所述ki表示所述相邻二帧特征点运动的所述斜率；(xi1,yi1)表示所述t时刻第i个特征点的位置坐标，所述(xi2,yi2)表示t+1时刻所述第i个特征点的位置坐标，所述i取正整数。
进一步地，所述基于所述障碍物的所述运动方向和所述运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应，具体包括：
计算所述图像序列中所有特征点运动方向的平均值；
根据所述平均值计算所述特征点运动方向的方差；
基于方差，根据下式计算逼近式运动响应函数：
其中，所述G(d0)表示所述逼近式运动响应函数；所述d0表示所述特征点运动方向的所述方差。
进一步地，所述基于逼近式响应，根据丘脑枕信息处理机制，确定最危险区域，具体包括：
针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物；
确定所述潜在危险障碍物的危险性；
将所述危险性的最大值确定为所述最危险区域。
进一步地，所述针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物，具体包括：
针对所述具有逼近式运动的特征点，计算其邻域内特征点的数量，如果该数量大于数量阈值，则将所述具有逼近式运动的特征点确定为潜在危险区域核心点；
以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域；
当所有的所述特征点都被聚类或剩余的所述特征点的数量小于聚类阈值，则将聚类的类别数确定为所述潜在危险障碍物。
进一步地，所述以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域，具体包括：
步骤1：以所述潜在危险区域核心点为种子点，将与所述种子点欧氏距离小于距离阈值的特征点确定为所述种子点的临近可达点，并将所述种子点和所述临近可达点构成核心点群；
步骤2：将与所述核心点群欧氏距离小于距离阈值的特征点确定为新的临近可达点，并将所述新的临近可达点加入到所述核心点群中；
步骤3：重复步骤1和步骤2，直至无新的临近可达点加入到所述核心点群中；
步骤4：将步骤3得到的核心点群确定为所述潜在危险区域。
进一步地，所述确定所述潜在危险障碍物的危险性具体包括：
将图像中组成物体的特征点的运动距离的平均值确定为所述物体的运动速度；
基于所述物体的运动速度，并根据下式计算所述潜在危险障碍物的危险性：
其中，所述s(x,y,v)表示所述潜在危险障碍物的危险性；所述o(x,y)表示全部特征点；所述α表示加权系数；所述β表示加权系数；所述x表示组成所述物体的全部特征点横坐标的集合；所述y表示组成所述物体的全部特征点纵坐标的集合；所述v表示物体的运动速度。
为了实现上述目的，另一方面，还提供一种基于视觉恐惧反应脑机制的应急避障方法，用于无人机，所述方法包括：
获取场景图像；
提取所述场景图像中显著度高的特征点；
计算所述特征点的运动方向和运动速度；
将所述特征点的所述运动方向和所述运动速度传递至上丘脑；
上丘浅层区域的PV+神经元检测逼近式运动，并将逼近式运动区域的信号经由PBG投射到丘脑枕；
所述丘脑枕根据障碍物的危险程度调整注意力的转移；
所述丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受所述丘脑枕的输入产生恐惧反应信号，并将所述恐惧反应信号传向PAG区，从而进行应急避障。
本发明实施例提供一种基于视觉恐惧反应脑机制的应急避障方法。该方法包括获取图像序列；基于视网膜信息处理机制，检测图像序列中障碍物的运动方向和运动速度；基于障碍物的运动方向和运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应；基于逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域；对最危险的区域做出应急避障行为。本发明实施例借鉴动物或者人类能够对危险对象产生快速防卫行为的能力，结合恐惧反应的脑机制，解决了如何提高应急反应能力的技术问题。
附图说明
图1是根据本发明实施例的基于视觉恐惧反应脑机制的应急避障方法的流程示意图；
图2是根据本发明实施例的使用特征点描述图像的示意图；
图3是根据本发明实施例的特征点运动方向的检测示意图；
图4是根据本发明实施例的PV+神经元感知到逼近式运动的特征点示意图；
图5是根据本发明实施例的计算特征点运动方向的说明示意图；
图6a是根据本发明实施例的特征点向右运动的方差示意图；
图6b是根据本发明实施例的特征点向左运动的方差示意图；
图6c是根据本发明实施例的特征点逼近式运动的方差示意图；
图6d是根据本发明实施例的特征点后退运动的方差示意图；
图7是根据本发明实施例的丘脑枕注意到的最危险区域示意图；
图8是根据本发明另一实施例的基于视觉恐惧反应脑机制的应急避障方法的流程示意图；
图9是根据本发明实施例的使用小拳头朝向无人机投射后检测到的障碍物区域示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明实施例的基本构思是受大脑产生视觉恐惧反应脑机制的启发，采用大脑中的第二视觉系统的信息处理机制，能够准确快速地定位突然出现的障碍物，根据大脑会对危险的物体产生恐惧反应并产生本能的防卫行为。
大脑的恐惧应急反应是由皮层下的快速反应通路完成的，具体为：视网膜将光信号转化成电信号，直接将该电信号投射到上丘，由浅层区域的PV+神经元检测出障碍物的逼近式运动，该信号再经由二叠体旁核(PBG)投射到丘脑枕，丘脑枕调整动物或者人的注意力到有逼近式运动的区域，即有危险的区域，丘脑枕的信号还会投射到杏仁核使人类产生恐惧反应，该恐惧反应直接连接到中脑导水管周围灰质(PAG)引发本能的防卫行为。
图1示出了基于视觉恐惧反应脑机制的应急避障方法的流程示意图。该方法可以通过S100至S140来实现。其中：
S100：获取图像序列。
S110：基于视网膜信息处理机制，检测图像序列中障碍物的运动方向和运动速度。
图2示例性地示出了使用特征点描述图像的示意图。从中可以看出，使用显著的特征点能够均匀的表征图像的特点，这样既可以减少计算复杂度，又不会失去图像中的重要信息。
具体地，本步骤可以包括：
S111：获取图像序列中显著度高的特征点。
其中，特征包括但不限于图像序列中每个像素点的灰度对比度。
进一步地，以灰度对比度为例，本步骤还可以包括：
S111a：根据下式计算图像序列中各像素点的灰度差值：
其中，E(u,v)表示灰度差值，也即将滑动窗口平移(u,v)所产生的灰度变化；(x,y)表示像素点坐标；u表示沿x轴水平移动的距离；v表示沿y轴竖直移动的距离；w(x,y)表示高斯函数；I(x,y)表示像素点(x,y)对应的灰度值；I(x+u,y+v)表示像素点(x+u,y+v)对应的灰度值；σ表示高斯函数参数，其可以根据经验取值。
上述公式可以用来近似。
S111b：根据下式计算图像序列中每个像素点的自相关矩阵：
其中，M表示自相关矩阵；w(x,y)表示高斯函数；Ix表示x方向的差分；Iy表示y方向的差分。
S111c：计算各像素点的自相关矩阵的特征值，并将自相关矩阵的特征值中的最小值确定为各像素点的特征值。
本步骤中用自相关矩阵的特征值中的最小值来表示该像素点相对于邻域内其它像素点的灰度变化情况。
S111d：重复选择图像序列中任一邻域，确定该邻域内像素点特征值最大的像素点。
举例来说，选择图像上任意一个3×3邻域，仅仅保留该邻域内特征值最大的像素点即可。
S111e：过滤像素点特征值小于阈值的像素点，得到特征点。
在实际实施过程中，针对通过3×3邻域保留的像素点，过滤掉特征值小于
的像素点。其中，λi表示针对任一邻域保留的像素点特征值最大的第i个像素点的特征值。
本步骤通过过滤，保留下来一些像素点，称为特征点。
S111f：对所有特征点进行排序，针对每一个特征点，任选一邻域，比较该邻域内是否存在比该特征点的特征值大的特征点，若存在，则忽略该特征点，从而得到显著度高的特征点。
举例来说，对所有特征点进行排序，针对第一特征点，任选一个5×5的邻域，在该5×5的邻域内判断是否存在比第一特征点的特征值大的特征点，如果存在，则忽略该第一特征点，以此类推，可以针对第二特征点等进行同理的检测，最终得到显著度高的特征点。
S112：计算特征点的运动方向和运动速度。
在获得显著度高的特征点后，视网膜计算这些特征点的运动方向和速度，并上传给上丘进行进一步的处理。图3示例性地示出了特征点运动方向的检测示意图。图3示出了图像中特征点的运动路径，路径的起点是t时刻该特征点的位置坐标，圆点是路径的终点，表示t+1时刻该特征点的位置坐标。其中，路径长度表示运动速度。
具体地，本步骤可以包括：
S112a：针对图像序列，在第一时刻的帧中，利用最小二乘法，查找与第二时刻帧中特征点同一位置邻近区域内灰度值相近的像素点，从而得到特征点的运动速度，其中，第一时刻与第二时刻为相邻时刻。
本步骤通过查找与第二时刻帧中特征点同一位置邻近区域内灰度值相近的像素点，得到一系列匹配点，形成运动路径，该运动路径的长度即为特征点的运动速度。
举例来说，对于特征点的任一邻域内建立如下模型：I(x,y,t)＝I(x+dx,y+dy,t+dt)，其中，I(x,y,t)表示t时刻像素点(x,y)对应的灰度值；I(x+dx,y+dy,t+dt)表示t+dt时刻像素点(x+dx,y+dy)对应的灰度值；用一阶泰勒级数展开，得到：
对上式进行优化，得到：
Ixdx+Iydy+Itdt＝0
其中，Ix表示x方向的差分；Iy表示y方向的差分；It表示t方向的差分；t表示时刻。
令
那么：Ixu+Iyv＝-It，即：
令：A＝[IxIy]，b＝-It，则得到：
对上式运用最小二乘法，得到匹配点。
S112b：通过计算相邻两帧特征点运动的斜率，得到特征点的运动方向。
其中，相邻两帧特征点运动的斜率可以通过以下方式得到：
其中，以帧的左下角为原点，以水平向右方向为X轴正方向，以竖直向上方向为Y轴正方向；ki表示相邻两帧特征点运动的斜率；(xi1,yi1)表示t时刻第i个特征点的位置坐标，(xi2,yi2)表示t+1时刻该特征点的位置坐标。
S120：基于障碍物的运动方向和运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应。
视网膜处理得到的特征点的运动方向和速度的信息会传递至上丘脑进行进一步的处理。上丘浅层区域的PV+神经元对逼近式运动响应十分敏感，对朝向自身的运动响应非常活跃。PV+神经元感知到逼近式运动的特征点如图4所示。
具体地，本步骤可以包括：
S121：计算图像序列中所有特征点运动方向的平均值。
例如，本步骤可以通过下式计算得到所有特征点运动方向的平均值：
其中，
表示所有特征点运动方向的平均值；ki表示第i个特征点的运动方向；i取正整数。
S122：根据平均值计算特征点运动方向的方差。
作为示例，可以根据下式计算特征点运动方向的方差：
其中，d0表示特征点运动方向的方差；n表示特征点的总个数。
图5示例性地示出了计算特征点运动方向的说明示意图。
图6a示例性地示出了特征点向右运动的方差示意图。图6b示例性地示出了特征点向左运动的方差示意图。图6c示例性地示出了特征点逼近式运动的方差示意图。图6d示例性地示出了特征点后退运动的方差示意图。其中，线条指向圆点的方向表示运动方向。逼近式运动相比向右、左、后运动具有明显的发散现象，特征点朝同一方向运动时，运动方向基本相同，特征点后退运动时，运动方向是汇聚式的。即特征点朝同一方向运动或后退运动时，运动方向的方差很小；特征点的运动是逼近式运动时，各个特征点的运动方向有明显的不同，方差很大。
S123：基于方差，根据下式计算逼近式运动响应函数：
其中，G(d0)表示逼近式运动响应函数；d0表示特征点运动方向的方差。
这里，定义具有逼近式运动方向的区域为危险障碍物。
当G(d0)＝1时，表示PV+神经元活跃。
S130：基于逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域。
上丘浅层PV+神经元检测出危险障碍物后，这些有关危险障碍物的信号会经由二叠体旁核(PBG)投射到丘脑枕，丘脑枕根据障碍物的危险程度调整注意力的转移。
图7示出了丘脑枕注意到的最危险区域示意图。
具体地，本步骤可以包括：
S131：针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物。
其中，聚类的方法包括但不限于密度聚类的方法。
进一步地，本步骤还可以包括：
S131a：针对具有逼近式运动的特征点，计算其邻域内特征点的数量，如果该数量大于数量阈值，则将该具有逼近式运动的特征点确定为潜在危险区域核心点。
举例来说，对于特征点i，计算其在半径50像素的领域内特征点的个数，如果超过20则认为它是一个核心点。
S131b：以潜在危险区域核心点为中心进行聚类，计算潜在危险区域。
进一步地，本步骤还可以包括：
步骤A：以潜在危险区域核心点为种子点，将与该种子点欧氏距离小于距离阈值的特征点确定为该种子点的临近可达点，并将该种子点和该临近可达点构成核心点群。
步骤B：将与该核心点群欧氏距离小于距离阈值的特征点确定为新的临近可达点，并将该新的临近可达点加入到核心点群中。
步骤C：重复步骤A和步骤B，直至无新的临近可达点加入到核心点群中。
步骤D：将步骤C得到的核心点群确定为潜在危险区域。
S131c：当所有的特征点都被聚类或剩余的特征点的数量小于聚类阈值，则将聚类的类别数确定为潜在危险障碍物。
聚类后形成的类别数就是具有潜在危险性的障碍物，即潜在危险障碍物。
S132：确定潜在危险障碍物的危险性。
当只有一个潜在危险区域的时候，定义危险区域内特征点的多少表征潜在危险障碍物危险性的大小，特征点越多，危险性越大；当存在多个潜在危险区域时，定义危险性还与物体运动的速度成正比，物体运动越快表示它越危险。
具体地，本步骤可以包括：
S132a：将图像中组成物体的特征点的运动距离的平均值确定为物体的运动速度。
例如，根据下式计算物体的运动速度：
其中，(xi1,yi1)是t时刻组成该物体的第i个特征点的位置坐标，(xi2,yi2)是t+1时刻同一特征点的位置坐标。
S132b：基于物体的运动速度，并根据下式计算潜在危险障碍物的危险性：
其中，s(x,y,v)表示潜在危险障碍物的危险性；o(x,y)表示全部特征点；α表示加权系数；β表示加权系数；x表示组成该物体的全部特征点横坐标的集合；y表示组成该物体的全部特征点纵坐标的集合；v表示物体的运动速度。
S133：将危险性的最大值确定为最危险区域。
例如，可以选择的物体为最危险区域。
S140：对最危险的区域做出应急避障行为。
模拟信号从丘脑枕到达杏仁核再到PAG的过程，丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受丘脑枕的输入产生恐惧反应，并将该信号传向下游的PAG区，引发本能的防卫行为。
受视觉恐惧反应脑机制启发，基于上述对最危险的区域做出应急避障行为，本发明实施例还提供一种基于视觉恐惧反应脑机制的应急避障方法。该方法可以应用于无人机。如图8所示，该方法可以包括：
S200：获取场景图像。
其中，可以由无人机通过摄像头采集真实场景中的图片，作为场景图像。
S210：提取场景图像中显著度高的特征点。
具体地，可以通过视网膜提取图像中显著度高的特征点。
S220：计算特征点的运动方向和运动速度。
S230：将特征点的运动方向和运动速度传递至上丘脑。
S240：上丘浅层区域的PV+神经元检测逼近式运动，并将逼近式运动区域的信号经由PBG投射到丘脑枕。
其中，上丘浅层区域的PV+神经元对逼近式运动响应十分敏感。逼近式运动区域的信号即为危险障碍物。
S250：丘脑枕根据障碍物的危险程度调整注意力的转移。
S260：丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受丘脑枕的输入产生恐惧反应信号，并将该恐惧反应信号传向PAG区，从而进行应急避障。
本步骤中，丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受丘脑枕的输入产生恐惧反应信号，并将该信号传向下游的PAG区，引发本能的防卫行为，从而进行应急避障。
如图9示出了使用小拳头朝向无人机投射后检测到的障碍物区域示意图。其中，无人机在检测到小拳头的逼近式运动后立刻锁定目标并快速地做出后退指令进行躲避。
本发明实施例提供的方法在无人机悬停状态下，对于突然出现的投射物的快速应急躲避任务中取得了很好的效果，提高了在紧急状态下或突发事件时无人机的应急反应能力，对无人机应急避障领域做出了新的探索。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (6)
1.一种基于视觉恐惧反应脑机制的应急避障方法，其特征在于，所述方法包括：
获取图像序列；
基于视网膜信息处理机制，检测所述图像序列中障碍物的运动方向和运动速度；
基于所述障碍物的所述运动方向和所述运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应；
基于所述逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域；
对所述最危险的区域做出应急避障行为；
其中，所述基于所述障碍物的所述运动方向和所述运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应，具体包括：
计算所述图像序列中所有特征点运动方向的平均值；
根据所述平均值计算所述特征点运动方向的方差；
基于方差，根据下式计算逼近式运动响应函数：
所述G(d0)表示所述逼近式运动响应函数；所述d0表示所述特征点运动方向的所述方差；
所述基于逼近式响应，根据丘脑枕信息处理机制，确定最危险区域，具体包括：
针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物；
确定所述潜在危险障碍物的危险性；
将所述危险性的最大值确定为所述最危险区域；
所述针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物，具体包括：
针对所述具有逼近式运动的特征点，计算其邻域内特征点的数量，如果该数量大于数量阈值，则将所述具有逼近式运动的特征点确定为潜在危险区域核心点；
以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域；
当所有的所述特征点都被聚类或剩余的所述特征点的数量小于聚类阈值，则将聚类的类别数确定为所述潜在危险障碍物；
所述以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域，具体包括：
步骤1：以所述潜在危险区域核心点为种子点，将与所述种子点欧氏距离小于距离阈值的特征点确定为所述种子点的临近可达点，并将所述种子点和所述临近可达点构成核心点群；
步骤2：将与所述核心点群欧氏距离小于距离阈值的特征点确定为新的临近可达点，并将所述新的临近可达点加入到所述核心点群中；
步骤3：重复步骤1和步骤2，直至无新的临近可达点加入到所述核心点群中；
步骤4：将步骤3得到的核心点群确定为所述潜在危险区域；
所述确定所述潜在危险障碍物的危险性具体包括：
将图像中组成物体的特征点的运动距离的平均值确定为所述物体的运动速度；
基于所述物体的运动速度，并根据下式计算所述潜在危险障碍物的危险性：
其中，所述s(x,y,v)表示所述潜在危险障碍物的危险性；所述o(x,y)表示全部特征点；所述α表示加权系数；所述β表示加权系数；所述x表示组成所述物体的全部特征点横坐标的集合；所述y表示组成所述物体的全部特征点纵坐标的集合；所述v表示物体的运动速度。
2.根据权利要求1所述的应急避障方法，其特征在于，所述基于视网膜信息处理机制，检测所述图像序列中障碍物的运动方向和运动速度，具体包括：
获取所述图像序列中显著度高的特征点；
计算所述特征点的运动方向和运动速度，得到所述图像序列中障碍物的运动方向和运动速度。
3.根据权利要求2所述的应急避障方法，其中，特征为灰度对比度，其特征在于，所述获取所述图像序列中显著度高的特征点具体包括：
根据下式计算所述图像序列中各像素点的灰度差值：
其中，所述E(u,v)表示所述灰度差值；所述(x,y)表示像素点坐标；所述u表示沿x轴水平移动的距离；所述v表示沿y轴竖直移动的距离；所述w(x,y)表示窗口函数；所述I(x,y)表示所述像素点(x,y)对应的灰度值；所述I(x+u,y+v)表示像素点(x+u,y+v)对应的灰度值；
根据下式计算所述各像素点的自相关矩阵：
其中，所述M表示所述自相关矩阵；所述Ix表示x方向的差分；所述Iy表示y方向的差分；
计算所述各像素点的所述自相关矩阵的特征值，并将所述自相关矩阵的特征值中的最小值确定为所述各像素点的特征值；
重复选择所述图像序列中任一邻域，确定所述邻域内像素点特征值最大的像素点；
过滤像素点特征值小于阈值的像素点，得到特征点；
对所有所述特征点进行排序，针对每一特征点，任选一邻域，比较所述邻域内是否存在比该特征点的特征值大的特征点，若存在，则忽略该特征点，从而得到显著度高的特征点。
4.根据权利要求2所述的应急避障方法，其特征在于，所述计算所述特征点的运动方向和运动速度具体包括：
针对所述图像序列，在第一时刻的帧中，利用最小二乘法，查找与第二时刻帧中特征点同一位置邻近区域内灰度值相近的像素点，从而得到所述特征点的所述运动速度，其中，所述第一时刻与所述第二时刻为相邻时刻；
通过计算相邻二帧所述特征点运动的斜率，得到所述特征点的所述运动方向。
5.根据权利要求4所述的应急避障方法，其特征在于，所述斜率通过下式计算得到：
其中，以所述帧的左下角为原点，以水平向右方向为X轴正方向，以竖直向上方向为Y轴正方向；t表示时刻；所述ki表示所述相邻二帧特征点运动的所述斜率；(xi1,yi1)表示所述t时刻第i个特征点的位置坐标，所述(xi2,yi2)表示t+1时刻所述第i个特征点的位置坐标，所述i取正整数。
6.一种基于视觉恐惧反应脑机制的应急避障方法，用于无人机，其特征在于，所述方法包括：
获取场景图像；
提取所述场景图像中显著度高的特征点；
计算所述特征点的运动方向和运动速度；
将所述特征点的所述运动方向和所述运动速度传递至上丘脑；
上丘浅层区域的PV+神经元检测逼近式运动，并将逼近式运动区域的信号经由PBG投射到丘脑枕；
所述丘脑枕根据障碍物的危险程度调整注意力的转移；
所述丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受所述丘脑枕的输入产生恐惧反应信号，并将所述恐惧反应信号传向PAG区，从而进行应急避障；
其中，基于所述障碍物的所述运动方向和所述运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应，具体包括：
计算场景图像中所有特征点运动方向的平均值；
根据所述平均值计算所述特征点运动方向的方差；
基于方差，根据下式计算逼近式运动响应函数：
所述G(d0)表示所述逼近式运动响应函数；所述d0表示所述特征点运动方向的所述方差；
基于逼近式响应，根据丘脑枕信息处理机制，确定最危险区域，具体包括：
针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物；
确定所述潜在危险障碍物的危险性；
将所述危险性的最大值确定为所述最危险区域；
所述针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物，具体包括：
针对所述具有逼近式运动的特征点，计算其邻域内特征点的数量，如果该数量大于数量阈值，则将所述具有逼近式运动的特征点确定为潜在危险区域核心点；
以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域；
当所有的所述特征点都被聚类或剩余的所述特征点的数量小于聚类阈值，则将聚类的类别数确定为所述潜在危险障碍物；
所述以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域，具体包括：
步骤1：以所述潜在危险区域核心点为种子点，将与所述种子点欧氏距离小于距离阈值的特征点确定为所述种子点的临近可达点，并将所述种子点和所述临近可达点构成核心点群；
步骤2：将与所述核心点群欧氏距离小于距离阈值的特征点确定为新的临近可达点，并将所述新的临近可达点加入到所述核心点群中；
步骤3：重复步骤1和步骤2，直至无新的临近可达点加入到所述核心点群中；
步骤4：将步骤3得到的核心点群确定为所述潜在危险区域；
所述确定所述潜在危险障碍物的危险性具体包括：
将图像中组成物体的特征点的运动距离的平均值确定为所述物体的运动速度；
基于所述物体的运动速度，并根据下式计算所述潜在危险障碍物的危险性：
其中，所述s(x,y,v)表示所述潜在危险障碍物的危险性；所述o(x,y)表示全部特征点；所述α表示加权系数；所述β表示加权系数；所述x表示组成所述物体的全部特征点横坐标的集合；所述y表示组成所述物体的全部特征点纵坐标的集合；所述v表示物体的运动速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611059266.9A CN106815550B (zh) | 2016-11-25 | 2016-11-25 | 基于视觉恐惧反应脑机制的应急避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611059266.9A CN106815550B (zh) | 2016-11-25 | 2016-11-25 | 基于视觉恐惧反应脑机制的应急避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106815550A CN106815550A (zh) | 2017-06-09 |
| CN106815550B true CN106815550B (zh) | 2020-02-07 |
Family
ID=59106103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611059266.9A Active CN106815550B (zh) | 2016-11-25 | 2016-11-25 | 基于视觉恐惧反应脑机制的应急避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106815550B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697683B (zh) * | 2017-10-23 | 2023-05-02 | 郑州大学 | 一种危险源下的疏散方法及系统 |
| CN110363795A (zh) * | 2019-06-19 | 2019-10-22 | 胡作惠 | 驱赶基于光流产生视觉并能被物体运动驱赶的动物的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103231708A (zh) * | 2013-04-12 | 2013-08-07 | 安徽工业大学 | 一种基于双目视觉的智能车辆避障方法 |
| CN104318206A (zh) * | 2014-09-30 | 2015-01-28 | 东软集团股份有限公司 | 一种障碍物检测方法和装置 |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
| CN105278759A (zh) * | 2014-07-18 | 2016-01-27 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的图像投影方法、装置及飞行器 |
| CN105511478A (zh) * | 2016-02-23 | 2016-04-20 | 百度在线网络技术（北京）有限公司 | 应用于扫地机器人的控制方法、扫地机器人及终端 |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
| CN106020232A (zh) * | 2016-07-07 | 2016-10-12 | 天津航天中为数据系统科技有限公司 | 一种无人机避障装置及避障方法 |
-
2016
- 2016-11-25 CN CN201611059266.9A patent/CN106815550B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103231708A (zh) * | 2013-04-12 | 2013-08-07 | 安徽工业大学 | 一种基于双目视觉的智能车辆避障方法 |
| CN105278759A (zh) * | 2014-07-18 | 2016-01-27 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的图像投影方法、装置及飞行器 |
| CN104318206A (zh) * | 2014-09-30 | 2015-01-28 | 东软集团股份有限公司 | 一种障碍物检测方法和装置 |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
| CN105511478A (zh) * | 2016-02-23 | 2016-04-20 | 百度在线网络技术（北京）有限公司 | 应用于扫地机器人的控制方法、扫地机器人及终端 |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
| CN106020232A (zh) * | 2016-07-07 | 2016-10-12 | 天津航天中为数据系统科技有限公司 | 一种无人机避障装置及避障方法 |
Non-Patent Citations (5)
| Title |
|---|
| A bio-inspired visual collision detection mechanism for cars:Combining insect inspired neurons to create a robust system;Richard Stafford 等;《BioSystems》;20060907;164-171 * |
| A Deep-Network Solution Towards Model-less Obstacle Avoidance;Lei Tai 等;《2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20161014;2759-2764 * |
| Adaptive neural controller for redundant robot manipulators and collision avoidance with mobile obstacles;Boubaker Daachi 等;《Neurocomputing》;20111028;50-60 * |
| 基于像素点灰度差的Harris角点检测算法;王民 等;《计算机工程》;20150615;第41卷(第6期);227-230 * |
| 智能机器人视觉碍识别方法研究与仿真;裴志松，时兵;《计算机仿真》;20160115;第33卷(第1期);353-356 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106815550A (zh) | 2017-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Towards safe autonomous driving: Capture uncertainty in the deep neural network for lidar 3d vehicle detection | |
| Bertoni et al. | Monoloco: Monocular 3d pedestrian localization and uncertainty estimation | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| Yu et al. | Vehicle detection and localization on bird's eye view elevation images using convolutional neural network | |
| KR101455835B1 (ko) | 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법 | |
| JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
| CN107423686B (zh) | 视频多目标模糊数据关联方法及装置 | |
| CN102142085B (zh) | 一种林区监控视频中运动火焰目标的鲁棒跟踪方法 | |
| CN109334563A (zh) | 一种基于道路前方行人和骑行者的防碰撞预警方法 | |
| Chen | Monocular vision-based obstacle detection and avoidance for a multicopter | |
| CN116343330A (zh) | 一种红外-可见光图像融合的异常行为识别方法 | |
| CN111680713A (zh) | 一种基于视觉检测的无人机对地目标跟踪与逼近方法 | |
| CN105469054B (zh) | 正常行为的模型构建方法及异常行为的检测方法 | |
| CN114359714A (zh) | 基于事件相机的无人体避障方法、装置及智能无人体 | |
| CN106815550B (zh) | 基于视觉恐惧反应脑机制的应急避障方法 | |
| Bikmullina et al. | Stand for development of tasks of detection and recognition of objects on image | |
| CN114708435A (zh) | 基于语义分割的障碍物尺寸预测与不确定性分析方法 | |
| CN106651921B (zh) | 运动检测方法及躲避和跟踪运动目标的方法 | |
| Duan | Deep learning-based multitarget motion shadow rejection and accurate tracking for sports video | |
| Chen et al. | Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles | |
| Dunn et al. | Temporal siamese networks for clutter mitigation applied to vision-based quadcopter formation control | |
| Yang et al. | Target position and posture recognition based on RGB-D images for autonomous grasping robot arm manipulation | |
| Li et al. | Multitarget tracking of pedestrians in video sequences based on particle filters | |
| Jiang et al. | Real-time target detection and tracking system based on stereo camera for quadruped robots | |
| Wang et al. | Lidar Sensor-Based Object Recognition Using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |