CN111611869A - 一种基于串行深度神经网络的端到端单目视觉避障方法 - Google Patents

一种基于串行深度神经网络的端到端单目视觉避障方法 Download PDF

Info

Publication number
CN111611869A
CN111611869A CN202010335550.4A CN202010335550A CN111611869A CN 111611869 A CN111611869 A CN 111611869A CN 202010335550 A CN202010335550 A CN 202010335550A CN 111611869 A CN111611869 A CN 111611869A
Authority
CN
China
Prior art keywords
neural network
deep neural
obstacle avoidance
image
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010335550.4A
Other languages
English (en)
Other versions
CN111611869B (zh
Inventor
杨柳
薛喜地
李湛
李东洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Skorui Technology Co.,Ltd.
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010335550.4A priority Critical patent/CN111611869B/zh
Publication of CN111611869A publication Critical patent/CN111611869A/zh
Application granted granted Critical
Publication of CN111611869B publication Critical patent/CN111611869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Computing arrangements based on biological models using neural network models
    • G06N3/08—Learning methods

Abstract

一种基于串行深度神经网络的端到端单目视觉避障方法，它属于无人机导航领域。本发明解决了现有基于端到端的无人机避障方法的响应延迟高，避障路径不稳定，裕度不足以及小型无人机上只能使用单目摄像头传感器导致无法感知深度信息，在室内有行人情况下避障性能不佳的问题。本发明将改进的深度神经网络Resnet18与YOLO v3串行结合，实时输出无人机的航向角。克服了现有方法响应延迟高，避障路径不稳定，裕度不足的问题，解决了现有端到端单目无人机室内避障算法在室内有行人场景下避障性能不佳、甚至不能使用的问题，使其在正常室内导航的同时，在有行人的室内环境下依然具有优秀的避障能力，对陌生环境有较好的泛化能力。本发明可以应用于无人机室内导航。

Description

一种基于串行深度神经网络的端到端单目视觉避障方法
技术领域
本发明属于无人机导航领域，具体涉及一种基于串行深度神经网络的端到端单目视觉避障方法。
背景技术
随着无人机行业的发展，无人机的自主导航是许多无人机应用的核心，例如在多无人机协调，无人机建图和无人机室内任务等。然而，由于室内空间较小，人员动态性较高等原因，所用的无人机尺寸有限，因此小型无人机上面所能搭载的传感器也非常有限，因此依靠有限的传感器使得无人机在室内自主导航避障仍然是一项有挑战性的工作。
目前根据无人机路径规划是否是基于轨迹法，将无人机导航算法分为两大类，分别是基于轨迹规划和基于动作响应的(端到端决策)方法。对于基于轨迹规划的方法，其优点在于通过动态规划，可以求解出一条全局最优路径，其结果更加可控，更加稳定，但是该类方法带来的弊端是算法耗时长，比较依赖计算机的算力，而且往往基于轨迹规划的算法的泛化能力会相对比较弱一些。对于基于动作响应的方法，此类方法的优点在于其为端到端决策类型的算法，通常算法决策耗时比较短，同时目前基于端到端的算法的泛化能力普遍要优于基于轨迹的方法，但是基于端到端的方法的短板也非常明显，那就是其决策并不一定是全局最优解。由于小型无人机只能搭载单目摄像头，无法感知到全局信息，因此结合端到端的决策策略更为合适。
对于基于响应类的避障算法分为自主学习类和非自主学习类，非自主学习类的算法诸如人工势场法等算法，但由于当无人机距离障碍物过近或者离目标位置太远将会导致局部震荡等一系列问题，虽然后续有改进版本的人工势场法，但也使得其参数变得很难整定，实际应用起来很难。对于自主学习类的无人机避障算法，目前主要是基于深度强化学习和深度学习的方法。目前应用深度强化学习进行无人机室内避障较为成功的案例有诸如基于状态值估计的GTS(Generalization through Simulation Integrating Simulated andReal Data into Deep Reinforcement Learning for Vision Based AutonomousFlight)方法，该方法为端到端决策方法。
然而对于该深度强化学习(GTS)的避障算法，首先，其利用仿真环境训练出来的状态值估计网络，其对动作空间里所有的动作采取的是利用状态值估计网络逐个评估的方法，这意味着在决策时会加大响应延迟；其次，其采用离散动作空间，这意味着无人机的决策动作也将变得离散，动作不是那么平滑；最后，该方法(GTS)将仿真环境训练好的网络移植到实物无人机上，由于迁移工作不够细致，在实物效果上表现为避障裕度不够、路径不稳定。
同时，目前基于单目视觉的端到端无人机决策算法几乎都是在无人的环境下进行飞行试验，因为单目摄像头难以求取深度信息，而且，行人运动的特点是随机性比较强，同时人们喜欢聚焦、围观，这使得该类算法的实用性大大下降，甚至无法使用，因此，在室内有行人情况下现有算法避障性能不佳。
发明内容
本发明的目的是为解决现有基于端到端的无人机避障方法的响应延迟高，避障路径不稳定，裕度不足以及小型无人机上只能使用单目摄像头传感器导致无法感知深度信息，在室内有行人情况下避障性能不佳的问题，而提出了一种基于串行深度神经网络的端到端单目视觉避障方法。
本发明为解决上述技术问题采取的技术方案是：一种基于串行深度神经网络的端到端单目视觉避障方法，该方法包括以下步骤：
步骤一、将单线激光雷达与摄像头固定在一起后，利用单线激光雷达与摄像头共同采集数据集；
其中：数据集内包括在tn时刻摄像头采集的图像以及在tn时刻单线激光雷达采集的数据，n＝1,2,…,N，N代表时刻的总个数；
步骤二、将步骤一中摄像头采集的图像输入预训练好的YOLO v3网络，利用预训练好的YOLO v3网络输出对各图像中行人位置的预测信息；
步骤三、将步骤二输出的行人位置预测信息分别绘制在对应的图像上，获得各个新图像；
步骤四、对步骤一中单线激光雷达采集的数据进行预处理，提取出各个时刻无人机的最佳航向；
步骤五、将步骤三获得的新图像作为改进的Resnet18深度神经网络的训练集，将步骤四中提取出的最佳航向作为训练集中对应时刻图像的标签；
步骤六、利用打好标签的训练集图像对改进的Resnet18深度神经网络进行训练，直至改进的Resnet18深度神经网络的代价函数值不再减小时停止训练，获得训练好的改进Resnet18深度神经网络；
步骤七、将预训练好的YOLO v3网络与训练好的改进Resnet18深度神经网络合并成串行结构，将合并成的串行结构作为端到端决策网络；
将无人机上的单目摄像头采集的图像实时输入预训练好的YOLO v3网络后，输出对图像中行人位置的预测信息；再将行人位置的预测信息绘制在对应的图像上，获得添加行人位置信息后的图像，将添加行人位置信息后的图像输入训练好的改进Resnet18深度神经网络，通过改进Resnet18深度神经网络实时输出无人机的航向角。
本发明的有益效果是：本发明提出了一种基于串行深度神经网络的端到端单目视觉避障方法，本发明将改进的深度神经网络Resnet18与YOLO v3串行结合，实时输出无人机的航向角。克服了现有方法响应延迟高，避障路径不稳定，裕度不足的问题，解决了现有端到端单目无人机室内避障算法在室内有行人场景下避障性能不佳、甚至不能使用的问题，使其在正常室内导航的同时，在有行人的室内环境下依然具有优秀的避障能力，对陌生环境有较好的泛化能力。
附图说明
图1为将单线激光雷达与摄像头固定在一起进行数据集采集的示意图；
图2为单线激光雷达搜索最佳航向的示意图；
图3为决策网络结构图；
图4为串行结构输出无人机航向角的示意图；
图5为代价函数的下降曲线图。
具体实施方式
具体实施方式一：本实施方式所述的一种基于串行深度神经网络的端到端单目视觉避障方法，该方法具体包括以下步骤：
步骤一、将单线激光雷达与摄像头固定在一起后，利用单线激光雷达与摄像头共同采集数据集；
其中：数据集内包括在tn时刻摄像头采集的图像以及在tn时刻单线激光雷达采集的数据，n＝1,2,…,N，N代表时刻的总个数；
步骤二、将步骤一中摄像头采集的图像输入预训练好的YOLO v3网络，利用预训练好的YOLO v3网络输出对各图像中行人位置的预测信息；
步骤三、将步骤二输出的行人位置预测信息分别绘制在对应的图像上，获得各个新图像；
步骤四、对步骤一中单线激光雷达采集的数据进行预处理，提取出各个时刻无人机的最佳航向；
步骤五、将步骤三获得的新图像作为改进的Resnet18深度神经网络的训练集，将步骤四中提取出的最佳航向作为训练集中对应时刻图像的标签；
步骤六、利用打好标签的训练集图像对改进的Resnet18深度神经网络进行训练，直至改进的Resnet18深度神经网络的代价函数值不再减小时停止训练，获得训练好的改进Resnet18深度神经网络；
步骤七、将预训练好的YOLO v3网络与训练好的改进Resnet18深度神经网络合并成串行结构，将合并成的串行结构作为端到端决策网络；
将无人机上的单目摄像头采集的图像实时输入预训练好的YOLO v3网络后，输出对图像中行人位置的预测信息；再将行人位置的预测信息绘制在对应的图像上，获得添加行人位置信息后的图像，将添加行人位置信息后的图像输入训练好的改进Resnet18深度神经网络，通过改进Resnet18深度神经网络实时输出无人机的航向角。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中，摄像头采集的图像的大小为640*480像素，图像的格式为RGB格式。
具体实施方式三：本实施方式与具体实施方式二不同的是：所述步骤四的具体过程为：
directionn＝mid(max(lidarData_blank)n) (1)
式中，max(lidarData_blank)n代表求取tn时刻单线激光雷达覆盖范围内连续空白区域面积最大的区域，mid(max(lidarData_blank)n)代表求取区域max(lidarData_blank)n的中心航向，将求取出的mid(max(lidarData_blank)n)作为tn时刻无人机的最佳航向directionn。
具体实施方式四：本实施方式与具体实施方式三不同的是：所述步骤二中，利用预训练好的YOLO v3网络输出对各图像中行人位置的预测信息，其具体为：
personn＝(xt1,yt1,xb1,yb1,xt2,yt2,xb2,yb2...xti,yti,xbi,ybi...xtI,ytI,xbI,ybI) (2)
式中，(xti,yti,xbi,ybi)代表tn时刻图像中第i个行人预测框在图像中的左上角顶点坐标和右下角顶点坐标，i＝1,2,…,I，I代表tn时刻图像中的行人总个数，personn代表tn时刻图像中全部行人预测框在图像中的左上角顶点坐标和右下角顶点坐标组成的集合。
本实施方式所述的x坐标和y坐标是指图像平面直角坐标系下的坐标。
具体实施方式五：本实施方式与具体实施方式一不同的是：所述步骤五中，改进的Resnet18深度神经网络的结构由原始Resnet18深度神经网络，外加3个隐藏层和1个输出层组成；
将原始Resnet18深度神经网络的输出层作为改进的Resnet18深度神经网络的第一隐藏层，第一隐藏层的神经元个数为7168；
将外加的3个隐藏层分别作为改进的Resnet18深度神经网络的第二隐藏层、第三隐藏层和第四隐藏层；
外加的第二隐藏层、第三隐藏层、第四隐藏层和输出层的神经元个数分别为256、128、16和1。
本发明中“原始Resnet18深度神经网络”是指现有的Resnet18深度神经网络，即本发明中“原始Resnet18深度神经网络”的结构与现有Resnet18深度神经网络的结构相同。外加3个隐藏层和1个输出层，是对原始Resnet18深度神经网络结构上进行的改进。
本发明中自定义添加了神经元个数为256、128、16、1的全连接层，目的在于Resnet18深度神经网络主体结构为卷积层，其缺乏全连接层，缺少全连接层会使得网络对数据集的拟合能力不足。因此本发明添加了三个隐藏层(256、128、16)来提高网络对数据集的拟合能力。
具体实施方式六：本实施方式与具体实施方式五不同的是：所述改进的Resnet18深度神经网络的第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层后均采用ReLU激活函数，输出层采用Linear激活函数。
具体实施方式七：本实施方式与具体实施方式一不同的是：所述步骤六中，改进的Resnet18深度神经网络的代价函数采用均方误差，代价函数的表达式如公式(3)所示：
式中，Loss代表代价函数，yj代表第j张图像对应的改进Resnet18深度神经网络的输出结果，
Figure BDA0002466426680000052
代表第j张图像对应的标签，m代表一个批次(这里的batch_size＝64)的图像数量。
将步骤三获得的新图像分批次输入改进Resnet18深度神经网络进行训练，每个批次的图像数量为64个，yj代表当前批次的第j张图像对应的改进Resnet18深度神经网络的输出结果，代表当前批次的第j张图像对应的标签。
实施例
一种基于串行深度神经网络的端到端单目无人机室内避障方法，具体是按照以下步骤实施的：
步骤一：采集数据集。通过图1所示仪器，将单线激光雷达与摄像头固定在一起，该设备可以方便手持，因此采集数据的时候可以人为手持该设备在室内进行数据采集工作。采集回来的数据集格式为(image,lidarData)，其中image和lidarData分别是同一时刻摄像头采集的图片和激光雷达采集的数据，图片大小为640*480，RGB格式。
步骤二：数据集预处理。对步骤一提取得到的激光雷达数据信息进行预处理，目的是根据激光雷达数据提取出当前无人机的最佳航向。其中激光雷达数据是一个长度为180的数据，里面储存的是激光雷达正前方180°范围下的每个角度所对应的深度值。其示意图如图2所示，激光雷达所发射的光线如图2中直线所示。其中射线是经过算法预处理后提取出来的当前的最佳航向。最佳航向的提取方法如式子(1)所示。其中max(lidarData_blank)表示求取0～180°范围内连续空白区域面积最大的区域，即如图2中障碍物2和障碍物3之间的区域。其中mid(max(lidarData_blank))表示求取这块连续空白区域的中心航向，即图2中的射线。
direction＝mid(max(lidarData_blank)) (1)
步骤三：制作新数据集。将步骤一所采集的图片数据和步骤二所提取的最佳航向合并成新的数据集，其格式为(image,direction)。将image(图片)作为网络训练的数据集，将direction(最佳航向)作为网络训练时的标签。
步骤四：确定网络结构。网络结构如图3所示。首先将原始图片输入给YOLO v3网络，其中YOLO v3网络输出行人预测的向量信息，格式如式子(2)所示。其中(xti,yti,xbi,ybi)表示视野中第i个行人预测框在图片中的左上角坐标跟右下角坐标。结合行人向量信息，将图片中的行人用方框框起来，并用固定颜色填充(如图4中灰色方框所示。这么做的原因在于，之所以在有行人的环境下单目视觉避障泛化能力不足，是因为行人(人群)的形态具有极大的不确定性，因此对于数据样本量有比较高的要求。因此，在发明方法里，用灰色矩形框将行人覆盖起来，这样就使得所有行人的形态都“一样”，这也就大大降低网络拟合的难度，大大提高了网络的泛化能力。同时，图4中图片底部的黑色射线表示的是网络学习出来的决策航向。
person＝(xt1,yt1,xb1,yb1,xt2,yt2,xb2,yb2...xti,yti,xbi,ybi...xt10,yt10,xb10,yb10) (2)
步骤五：训练深度神经网络。神经网络的代价函数采用均方误差(MSE)，如式子(3)所示。
训练时，一个批次的数据为64个样本batch_size＝64。训练200个epoch大约需要花费15h的时间(计算机配置为GPU 1080Ti；CPU i7 8700K)。其中，训练过程中的代价函数下降曲线如图5所示。可以看出，该网络最终可以收敛。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，该方法包括以下步骤：
步骤一、将单线激光雷达与摄像头固定在一起后，利用单线激光雷达与摄像头共同采集数据集；
其中：数据集内包括在tn时刻摄像头采集的图像以及在tn时刻单线激光雷达采集的数据，n＝1,2,…,N，N代表时刻的总个数；
步骤二、将步骤一中摄像头采集的图像输入预训练好的YOLO v3网络，利用预训练好的YOLO v3网络输出对各图像中行人位置的预测信息；
步骤三、将步骤二输出的行人位置预测信息分别绘制在对应的图像上，获得各个新图像；
步骤四、对步骤一中单线激光雷达采集的数据进行预处理，提取出各个时刻无人机的最佳航向；
步骤五、将步骤三获得的新图像作为改进的Resnet18深度神经网络的训练集，将步骤四中提取出的最佳航向作为训练集中对应时刻图像的标签；
步骤六、利用打好标签的训练集图像对改进的Resnet18深度神经网络进行训练，直至改进的Resnet18深度神经网络的代价函数值不再减小时停止训练，获得训练好的改进Resnet18深度神经网络；
步骤七、将预训练好的YOLO v3网络与训练好的改进Resnet18深度神经网络合并成串行结构，将合并成的串行结构作为端到端决策网络；
将无人机上的单目摄像头采集的图像实时输入预训练好的YOLO v3网络后，输出对图像中行人位置的预测信息；再将行人位置的预测信息绘制在对应的图像上，获得添加行人位置信息后的图像，将添加行人位置信息后的图像输入训练好的改进Resnet18深度神经网络，通过改进Resnet18深度神经网络实时输出无人机的航向角。
2.根据权利要求1所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述步骤一中，摄像头采集的图像的大小为640*480像素，图像的格式为RGB格式。
3.根据权利要求2所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述步骤四的具体过程为：
directionn＝mid(max(lidarData_blank)n) (1)
式中，max(lidarData_blank)n代表求取tn时刻单线激光雷达覆盖范围内连续空白区域面积最大的区域，mid(max(lidarData_blank)n)代表求取区域max(lidarData_blank)n的中心航向，将求取出的mid(max(lidarData_blank)n)作为tn时刻无人机的最佳航向directionn。
4.根据权利要求3所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述步骤二中，利用预训练好的YOLO v3网络输出对各图像中行人位置的预测信息，其具体为：
personn＝(xt1,yt1,xb1,yb1,xt2,yt2,xb2,yb2...xti,yti,xbi,ybi...xtI,ytI,xbI,ybI) (2)
式中，(xti,yti,xbi,ybi)代表tn时刻图像中第i个行人预测框在图像中的左上角顶点坐标和右下角顶点坐标，i＝1,2,…,I，I代表tn时刻图像中的行人总个数，personn代表tn时刻图像中全部行人预测框在图像中的左上角顶点坐标和右下角顶点坐标组成的集合。
5.根据权利要求1所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述步骤五中，改进的Resnet18深度神经网络的结构由原始Resnet18深度神经网络，外加3个隐藏层和1个输出层组成；
将原始Resnet18深度神经网络的输出层作为改进的Resnet18深度神经网络的第一隐藏层，第一隐藏层的神经元个数为7168；
将外加的3个隐藏层分别作为改进的Resnet18深度神经网络的第二隐藏层、第三隐藏层和第四隐藏层；
外加的第二隐藏层、第三隐藏层、第四隐藏层和输出层的神经元个数分别为256、128、16和1。
6.根据权利要求5所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述改进的Resnet18深度神经网络的第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层后均采用ReLU激活函数，输出层采用Linear激活函数。
7.根据权利要求1所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述步骤六中，改进的Resnet18深度神经网络的代价函数采用均方误差，代价函数的表达式如公式(3)所示：
式中，Loss代表代价函数，yj代表第j张图像对应的改进Resnet18深度神经网络的输出结果，代表第j张图像对应的标签，m代表一个批次的图像数量。
CN202010335550.4A 2020-04-25 2020-04-25 一种基于串行深度神经网络的端到端单目视觉避障方法 Active CN111611869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010335550.4A CN111611869B (zh) 2020-04-25 2020-04-25 一种基于串行深度神经网络的端到端单目视觉避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010335550.4A CN111611869B (zh) 2020-04-25 2020-04-25 一种基于串行深度神经网络的端到端单目视觉避障方法

Publications (2)

Publication Number Publication Date
CN111611869A true CN111611869A (zh) 2020-09-01
CN111611869B CN111611869B (zh) 2021-06-01

Family

ID=72198233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010335550.4A Active CN111611869B (zh) 2020-04-25 2020-04-25 一种基于串行深度神经网络的端到端单目视觉避障方法

Country Status (1)

Country Link
CN (1) CN111611869B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767373A (zh) * 2021-01-27 2021-05-07 大连理工大学 一种基于单目相机的机器人室内复杂场景避障方法
CN113867370A (zh) * 2021-12-02 2021-12-31 智道网联科技(北京)有限公司 一种基于时间同步的障碍物航向角计算方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIDI XUE: "A Deep Reinforcement Learning Method for Mobile Robot Collision Avoidance based on Double DQN", 《2019 IEEE 28TH INTERNATIONAL SYMPOSIUM ON INDUSTRIAL ELECTRONICS (ISIE)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767373A (zh) * 2021-01-27 2021-05-07 大连理工大学 一种基于单目相机的机器人室内复杂场景避障方法
CN112767373B (zh) * 2021-01-27 2022-09-02 大连理工大学 一种基于单目相机的机器人室内复杂场景避障方法
CN113867370A (zh) * 2021-12-02 2021-12-31 智道网联科技(北京)有限公司 一种基于时间同步的障碍物航向角计算方法及装置

Also Published As

Publication number Publication date
CN111611869B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
Chen et al. Event-based neuromorphic vision for autonomous driving: A paradigm shift for bio-inspired visual sensing and perception
Rohan et al. Convolutional neural network-based real-time object detection and tracking for parrot AR drone 2
CN108230361B (zh) 用无人机探测器和追踪器融合来增强目标追踪方法及系统
CN111210518B (zh) 基于视觉融合地标的拓扑地图生成方法
Yang et al. Real-time 3D scene layout from a single image using convolutional neural networks
CN104463191A (zh) 一种基于注意机制的机器人视觉处理方法
CN111611869B (zh) 一种基于串行深度神经网络的端到端单目视觉避障方法
US11561544B2 (en) Indoor monocular navigation method based on cross-sensor transfer learning and system thereof
Byrne et al. Expansion segmentation for visual collision detection and estimation
Yang et al. Fast depth prediction and obstacle avoidance on a monocular drone using probabilistic convolutional neural network
CN111176309B (zh) 一种基于球面成像的多无人机自组群互感理解方法
Anwar et al. NavREn-Rl: Learning to fly in real environment via end-to-end deep reinforcement learning using monocular images
Hadsell et al. Online learning for offroad robots: Using spatial label propagation to learn long-range traversability
Liu et al. Using unsupervised deep learning technique for monocular visual odometry
CN111160164A (zh) 基于人体骨架和图像融合的动作识别方法
CN108288038A (zh) 基于场景分割的夜间机器人运动决策方法
Mern et al. Visual depth mapping from monocular images using recurrent convolutional neural networks
Konomura et al. Visual 3D self localization with 8 gram circuit board for very compact and fully autonomous unmanned aerial vehicles
Nguyen et al. Deep learning-based multiple objects detection and tracking system for socially aware mobile robot navigation framework
Yubo et al. Survey of UAV autonomous landing based on vision processing
CN111627064B (zh) 一种行人交互友好型的单目避障方法
Gadhiya et al. Analysis of deep learning based pose estimation techniques for locating landmarks on human body parts
Hadsell et al. A multi-range vision strategy for autonomous offroad navigation
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier

Legal Events

Date Code Title Description
TR01 Transfer of patent right

Effective date of registration: 20220922

Address after: No. 02, No. 22D, Floor 22, Building A, Building 1, No. 48, North Third Ring West Road, Haidian District, Beijing 100000

Patentee after: Beijing Skorui Technology Co.,Ltd.

Address before: 150080 No. 52, Xuefu Road, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY