CN108288038A - 基于场景分割的夜间机器人运动决策方法 - Google Patents

基于场景分割的夜间机器人运动决策方法 Download PDF

Info

Publication number
CN108288038A
CN108288038A CN201810055171.2A CN201810055171A CN108288038A CN 108288038 A CN108288038 A CN 108288038A CN 201810055171 A CN201810055171 A CN 201810055171A CN 108288038 A CN108288038 A CN 108288038A
Authority
CN
China
Prior art keywords
image
scene
scene cut
decision
night
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810055171.2A
Other languages
English (en)
Inventor
廖雁洲
孙韶媛
高凯珺
吴雪平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201810055171.2A priority Critical patent/CN108288038A/zh
Publication of CN108288038A publication Critical patent/CN108288038A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于场景分割的夜间机器人运动决策方法，包括以下步骤：构建红外图像训练数据集和测试数据集；对每个场景类别进行标注，并且将标注出的图像形式保存作为场景分割的训练标签；构建CDNN网络框架，利用训练数据集和训练标签进行训练，通过深度卷积神经网络将输入的原始图像提取特征，场景分割分支提高运动预测网络整体精度；将建立的神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入构建的CDNN网络，模型在线实时输出给出的方向决策建议及场景分割图像。本发明能够提高运动预测精度。

Description

基于场景分割的夜间机器人运动决策方法
技术领域
本发明涉及机器人控制技术领域，特别是涉及一种基于场景分割的夜间机器人运动决策方法。
背景技术
机器人能对周围环境进行探测，根据收集到的信息自动决策运动行为，从而完成一系列指定的工作，因此在搜索和救援、监测、研究、勘探和绘图等许多应用中取得了巨大的成功。
对于有效载荷非常有限的机器人，携带先进的雷达是不可行的。最近的一些成果使用激光测距仪或RGB-D相机取得了一些进展。但是这两种传感器的体积和功率较大，导致功率消耗增加，运行时间减少。相比之下，基于视觉的机器人场景分割和运动决策的解决方案是可行的。
机器人常被应用到许多复杂和危险的环境中去代替人类工作，如灾难、雾霾或夜晚无光的情况下，通常普通的摄像头往往难以发挥作用。与普通摄像头不同，红外成像系统通过物体表面与环境之间温度辐射差异进行成像，不需要外界光源，因此可以在夜间和光线较弱时发挥重要作用。通过红外成像系统获得的图像称为红外图像，与可见光图像相比，红外图像具有无色彩、对比度低、信噪比低和缺乏深度感等缺点。机器人在夜间的场景识别能力和自主运动能力是机器人能否在夜间顺利完成任务的关键。为了增强机器人对红外图像的场景识别，在夜间模式下更快更精确地探测和识别周围环境，进而实现机器人自主导航，研究夜间机器人场景分割与运动决策意义深刻。
传统的场景分割技术就是将具有相同特征的像素聚类，从而把图像划分成不同的区域。基于图论的场景分割是一种比较有效的图像分割算法，后来Ross还把该算法跟卷积神经网络结合从而实现了目标检测。基于图论的图像分割算法的思路是将原图映射为带权无向图，原图中的像素对应带权无向图的节点，原图中的像素之间的关系对应带权无向图的边，原图中的像素特征之间的差异或相似性对应带权无向图中边的权重，然后利用各种分割方向对带权无向图上的节点进行划分，进而完成对图像的分割(闫成新,桑农,张天序.基于图论的图像分割研究进展[J].计算机工程与应用,2006,42(5):11-14.)。基于图论的图像分割算法很好地体现了局部信息和整体信息之间的关系。带权无向图中边的权值是为了提取像素之间的局部信息，可以表示像素的灰度、位置、颜色或纹理的特征，或者是这些特征的组合，而将图分割成一个个的子图则体现了图像特征的整体信息(anlonJ,DeoN.Graph-theoreticalgorithmsforimagesegmentation[C]//IEEEInternationalSymposiumonCircuitsandSystems.IEEE,1999:141-144vol.6)。
发明内容
本发明所要解决的技术问题是提供一种基于场景分割的夜间机器人运动决策方法，能够提高运动预测精度。
本发明解决其技术问题所采用的技术方案是：提供一种基于场景分割的夜间机器人运动决策方法，包括以下步骤：
(1)构建红外图像训练数据集和测试数据集；
(2)对每个场景类别进行标注，并且将标注出的图像形式保存作为场景分割的训练标签；
(3)构建CDNN网络框架，利用训练数据集和训练标签进行训练，通过深度卷积神经网络将输入的原始图像提取特征，场景分割分支提高运动预测网络整体精度；
(4)将建立的神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入构建的CDNN网络，模型在线实时输出给出的方向决策建议及场景分割图像。
所述步骤(1)具体为：用红外摄像头的机器人采集实验图像，将采集到图像分为训练数据集和测试数据集，并对训练数据集和测试数据集的所有图像重新命名，并制作训练数据集和测试数据集的图像名称列表。
所述步骤(2)中的场景类别分为8类。
所述步骤(3)中构建的CDNN网络框架包括卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图，网络最后输出的特征图看作是从输入图像的所有位置上提取出来的特定特征；前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一个非线性激活函数。
所述步骤(3)中构建的CDNN网络框架采用多任务学习的隐层参数硬共享机制，采用VGG16模型作为基网络，通过全连接层和Softmax输出角度和速度的分类，在pooling5层前分类任务与场景分割任务共享隐层，但是在pooling5层后分类任务与场景分割任务的输出层不同；所述CDNN网络框架把场景识别转化为像素级分类问题，并将场景分割作为额外的训练误差以提高模型的整体精度。
所述步骤(3)和步骤(4)之间还包括利用测试数据集的图像和样本文件测试训练出的神经网络模型是否满足误差要求，如果满足则进入步骤(4)，否则重新进行训练。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明可以从场景分割损失和运动预测损失中共同学习，能很好地实现夜间机器人的运动预测。实验证明通过一个侧面的任务即场景分割任务作为额外的监督能够提高分类的准确率。并且本申请的CDNN框架运行速度快，满足了实时的要求。
附图说明
图1是总体网络结构图；
图2是卷积-反卷积场景分割网络实验流程图；
图3是CDNN框架结构图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于场景分割的夜间机器人运动决策方法，如图1所示，对于原始的红外图像，进行红外图像的场景标定及运动预测的人工标定，进而形成夜视红外图像数据集。利用红外图像数据集训练卷积-反卷积神经网络，其中场景分割把场景识别转化为像素级分类问题，并将场景分割作为额外的训练误差以提高模型的整体精度。其后通过CDNN网络输出控制机器人的速度和角度，具体包括如下步骤：
步骤1：构建红外图像训练和测试数据集。采用实验室载有FLIR红外摄像头的机器人采集实验图像，1500张红外图像作为训练数据集，600张红外图像作为测试数据集，每张图像大小为360*480。对训练数据集和测试数据集的所有图像按规定重新命名，并制作训练数据集和测试数据集的图像名称列表。
步骤2：用LabelMe标注工具标注每个场景类别，并且将标注出的图像形式保存作为场景分割的训练标签。共包括8个场景类别，分别为草地Grassland、建筑Building、车辆Vehicle、人Person、路Road、路标SignBoard、天空Sky、树Tree。人工对所有训练和测试图像编写绝对路径，即将所有图像所存在的路径写出。
步骤3：构建CDNN框架，利用步骤1得到的夜视红外图像数据集训练该卷积-反卷积神经网络，一个典型的卷积神经网络包含卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图。网络最后输出的特征图可以看作是从输入图像的所有位置上提取出来的特定特征。前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一个非线性激活函数。
本实施方式提出了一种从行为中学习驾驶策略的通用方法，并将问题作为预测未来可行的行动。将驾驶模式被定义为给定当前观察到的场景，机器人需要采取的动作。正式地，驾驶模型F被定义为：
F(s,a):S×A→R
其中，s表示状态，a表示一种可能的动作，F(s,a)测量在s情况下操作动作a的可行性评分。
此模型将当前机器人拍摄到的图像作为输入，并计算未来运动动作的可能性。可以在一系列动作或运动尺度上进行定义，在本文中，我们考虑离散设置。例如，运动动作集A可以是一组离散动作：
A＝{Angle,Speed}
其中：Angle表示转向状态，Speed表示运动速度，
Angle＝{straight,turn-left,turn-right}
Speed＝{fast,normal,slow,stop}
对于上述的几种转向状态及运动速度，具体的数值描述如下。左转、右转和直行分别表示为角速度-1.0°/s、1.0°/s和0.0°/s。快速、中速、慢速和停止分别表示速度为5.0m/s、3.0m/s、1.0m/s和0.0m/s。其中，停止动作旨在描述机器人何时必须采取行动，以避免碰撞。在实际情况中，与左转或右转相比，直行更加普遍。因此，训练集中的样本高度偏向于直行。对于不同动作，根据普遍性的倒数，使用不同的加权损失。
如图3所示，本实施方式中的CDNN框架采用多任务学习的隐层参数硬共享机制，模型将卷积网络与反卷积网络融合，使用场景分割作为额外的监督，能够共同训练运动预测任务和场景分割任务。采用VGG16模型作为基网络，通过全连接层和Softmax输出角度和速度的分类，在pooling5层前分类任务与场景分割任务共享隐层，但是在其后两个任务的输出层不同，强制模型去学习一个更有意义的特征表示。这样做的好处是可以增加网络框架的鲁棒性，比单一任务训练的参数更具有泛化性能。
运动预测和场景分割任务都是多分类问题，因此采用Softmax输出每个类别的预测概率。如图2所示，将夜间红外图像及对应的场景标签图作为训练集，用训练集作为模型的训练数据进行循环迭代训练，最终使得模型参数收敛，即网络的损失值降到一个较小且不震荡的值。然后用测试图像对网络和模型进行测试，模型最后输出红外图像的场景分割图像。在训练中，使用交叉熵，对每幅图像定义了一个多任务的损失：
L＝Lcls+Lsp
其中，Lcls表示运动预测损失，Lsp表示场景分割损失。
假设z是Softmax的输入，f(z)是Softmax的输出，即
其中，y是输入样本z对应的类别，y＝0,1,2,...,N，则z的损失函数定义为：
L(y,z)＝-logf(zy)
每一幅训练图像都用一个真实类别和一个真实场景分割进行标记。对每幅标记过的图像使用多任务损失来共同训练分类和场景分割。分类损失和场景分割损失的权重相等。
步骤4：利用测试数据集的图像和样本文件测试步骤3训练出的卷积-反卷积神经网络，满足误差要求，得到符合精度要求的CDNN网络模型；
步骤5：将步骤4建立的卷积-反卷积神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入CDNN网络模型，模型在线实时输出机器人的运动决策决策建议及场景分割图像。
不难发现，本发明采用多任务学习的策略，学习场景分割分支可以增加整体网络的预测正确率，共享参数提高了网络的鲁棒性。将机器人的驾驶决策网络与场景分割网络相结合，实时的输出机器人形式策略及红外场景分割图像，本发明受场景约束小，准确率高，速度快。

Claims (6)

1.一种基于场景分割的夜间机器人运动决策方法，其特征在于，包括以下步骤：
(1)构建红外图像训练数据集和测试数据集；
(2)对每个场景类别进行标注，并且将标注出的图像形式保存作为场景分割的训练标签；
(3)构建CDNN网络框架，利用训练数据集和训练标签进行训练，通过深度卷积神经网络将输入的原始图像提取特征，场景分割分支提高运动预测网络整体精度；
(4)将建立的神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入构建的CDNN网络，模型在线实时输出给出的方向决策建议及场景分割图像。
2.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(1)具体为：用红外摄像头的机器人采集实验图像，将采集到图像分为训练数据集和测试数据集，并对训练数据集和测试数据集的所有图像重新命名，并制作训练数据集和测试数据集的图像名称列表。
3.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(2)中的场景类别分为8类。
4.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(3)中构建的CDNN网络框架包括卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图，网络最后输出的特征图看作是从输入图像的所有位置上提取出来的特定特征；前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一个非线性激活函数。
5.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(3)中构建的CDNN网络框架采用多任务学习的隐层参数硬共享机制，采用VGG16模型作为基网络，通过全连接层和Softmax输出角度和速度的分类，在pooling5层前分类任务与场景分割任务共享隐层，但是在pooling5层后分类任务与场景分割任务的输出层不同；所述CDNN网络框架把场景识别转化为像素级分类问题，并将场景分割作为额外的训练误差以提高模型的整体精度。
6.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(3)和步骤(4)之间还包括利用测试数据集的图像和样本文件测试训练出的神经网络模型是否满足误差要求，如果满足则进入步骤(4)，否则重新进行训练。
CN201810055171.2A 2018-01-19 2018-01-19 基于场景分割的夜间机器人运动决策方法 Pending CN108288038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810055171.2A CN108288038A (zh) 2018-01-19 2018-01-19 基于场景分割的夜间机器人运动决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810055171.2A CN108288038A (zh) 2018-01-19 2018-01-19 基于场景分割的夜间机器人运动决策方法

Publications (1)

Publication Number Publication Date
CN108288038A true CN108288038A (zh) 2018-07-17

Family

ID=62835333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810055171.2A Pending CN108288038A (zh) 2018-01-19 2018-01-19 基于场景分割的夜间机器人运动决策方法

Country Status (1)

Country Link
CN (1) CN108288038A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670594A (zh) * 2018-12-28 2019-04-23 北京旷视科技有限公司 数据训练方法、装置及电子设备
CN111223100A (zh) * 2020-01-09 2020-06-02 济南浪潮高新科技投资发展有限公司 一种基于双路相关性学习网络的图像分割方法及系统
CN111242044A (zh) * 2020-01-15 2020-06-05 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN111666905A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 模型训练方法、行人属性识别方法和相关装置
CN112434717A (zh) * 2019-08-26 2021-03-02 杭州海康威视数字技术股份有限公司 一种模型训练方法及装置
CN113228063A (zh) * 2019-01-04 2021-08-06 美国索尼公司 多重预测网络

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289819A (zh) * 2011-07-27 2011-12-21 中国电子科技集团公司第二十八研究所 一种背景自适应估计的红外运动目标实时检测方法
CN106296728A (zh) * 2016-07-27 2017-01-04 昆明理工大学 一种基于全卷积网络的非限制场景中运动目标快速分割方法
CN106446930A (zh) * 2016-06-28 2017-02-22 沈阳工业大学 基于深层卷积神经网络的机器人工作场景识别方法
US20170060254A1 (en) * 2015-03-03 2017-03-02 Nvidia Corporation Multi-sensor based user interface
CN106599427A (zh) * 2016-12-06 2017-04-26 哈尔滨工程大学 一种基于贝叶斯理论和气垫船姿态信息的海浪信息预测方法
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN107274445A (zh) * 2017-05-19 2017-10-20 华中科技大学 一种图像深度估计方法和系统
CN107403197A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的裂缝识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289819A (zh) * 2011-07-27 2011-12-21 中国电子科技集团公司第二十八研究所 一种背景自适应估计的红外运动目标实时检测方法
US20170060254A1 (en) * 2015-03-03 2017-03-02 Nvidia Corporation Multi-sensor based user interface
CN106446930A (zh) * 2016-06-28 2017-02-22 沈阳工业大学 基于深层卷积神经网络的机器人工作场景识别方法
CN106296728A (zh) * 2016-07-27 2017-01-04 昆明理工大学 一种基于全卷积网络的非限制场景中运动目标快速分割方法
CN106599427A (zh) * 2016-12-06 2017-04-26 哈尔滨工程大学 一种基于贝叶斯理论和气垫船姿态信息的海浪信息预测方法
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN107274445A (zh) * 2017-05-19 2017-10-20 华中科技大学 一种图像深度估计方法和系统
CN107403197A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的裂缝识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUAZHE XU 等: "End-to-end Learning of Driving Models from Large-scale Video Datasets", 《ARXIV》 *
任陈俊 等: "基于卷积神经网络的场景运动目标分类研究", 《PROCEEDINGS OF THE 34TH CHINESE CONTROL CONFERENCE》 *
高凯珺 等: "基于深度学习的无人车夜视图像语义分割", 《应用光学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670594A (zh) * 2018-12-28 2019-04-23 北京旷视科技有限公司 数据训练方法、装置及电子设备
CN113228063A (zh) * 2019-01-04 2021-08-06 美国索尼公司 多重预测网络
CN112434717A (zh) * 2019-08-26 2021-03-02 杭州海康威视数字技术股份有限公司 一种模型训练方法及装置
CN112434717B (zh) * 2019-08-26 2024-03-08 杭州海康威视数字技术股份有限公司 一种模型训练方法及装置
CN111223100A (zh) * 2020-01-09 2020-06-02 济南浪潮高新科技投资发展有限公司 一种基于双路相关性学习网络的图像分割方法及系统
CN111223100B (zh) * 2020-01-09 2024-03-22 山东浪潮科学研究院有限公司 一种基于双路相关性学习网络的图像分割方法及系统
CN111242044A (zh) * 2020-01-15 2020-06-05 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN111242044B (zh) * 2020-01-15 2022-06-28 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN111666905A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 模型训练方法、行人属性识别方法和相关装置
CN111666905B (zh) * 2020-06-10 2022-12-02 重庆紫光华山智安科技有限公司 模型训练方法、行人属性识别方法和相关装置

Similar Documents

Publication Publication Date Title
CN112446398B (zh) 图像分类方法以及装置
Dong et al. UAV-based real-time survivor detection system in post-disaster search and rescue operations
CN108288038A (zh) 基于场景分割的夜间机器人运动决策方法
Schilling et al. Geometric and visual terrain classification for autonomous mobile navigation
Qiu et al. RGB-DI images and full convolution neural network-based outdoor scene understanding for mobile robots
Fernando et al. Going deeper: Autonomous steering with neural memory networks
CN104200494B (zh) 一种基于光流的实时视觉目标跟踪方法
CN111368972B (zh) 一种卷积层量化方法及其装置
CN111832592B (zh) Rgbd显著性检测方法以及相关装置
Liu et al. Using unsupervised deep learning technique for monocular visual odometry
Li et al. Self-supervised monocular multi-robot relative localization with efficient deep neural networks
CN116343330A (zh) 一种红外-可见光图像融合的异常行为识别方法
CN113191241A (zh) 一种模型训练方法及相关设备
CN112258565A (zh) 图像处理方法以及装置
Manssor et al. Real-time human detection in thermal infrared imaging at night using enhanced Tiny-yolov3 network
CN116363748A (zh) 基于红外-可见光图像融合的电网现场作业一体管控方法
Suthar et al. Human activity recognition using deep learning: a survey
Xin et al. Deep learning for robust outdoor vehicle visual tracking
Natan et al. Semantic segmentation and depth estimation with RGB and DVS sensor fusion for multi-view driving perception
Shah et al. Detection of different types of blood cells: A comparative analysis
Vishnu Lohit et al. Multiple object detection mechanism using YOLO
DE102021130626A1 (de) Trigger-reagierende clipextraktion basierend auf fernanalyse
Valappil et al. Vehicle detection in UAV videos using CNN-SVM
CN111611869B (zh) 一种基于串行深度神经网络的端到端单目视觉避障方法
Yubo et al. Survey of UAV autonomous landing based on vision processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180717

RJ01 Rejection of invention patent application after publication