CN108921893B - 一种基于在线深度学习slam的图像云计算方法及系统 - Google Patents

一种基于在线深度学习slam的图像云计算方法及系统 Download PDF

Info

Publication number
CN108921893B
CN108921893B CN201810373550.6A CN201810373550A CN108921893B CN 108921893 B CN108921893 B CN 108921893B CN 201810373550 A CN201810373550 A CN 201810373550A CN 108921893 B CN108921893 B CN 108921893B
Authority
CN
China
Prior art keywords
layer
image
neural network
data
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810373550.6A
Other languages
English (en)
Other versions
CN108921893A (zh
Inventor
李迪
楚英
王世勇
杨啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810373550.6A priority Critical patent/CN108921893B/zh
Publication of CN108921893A publication Critical patent/CN108921893A/zh
Application granted granted Critical
Publication of CN108921893B publication Critical patent/CN108921893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于在线深度学习SLAM的图像云计算方法，包括以下步骤：采集图像数据并存储；提取关键帧上传；将图像数据构建数据集并进行训练，得到最优卷积神经网络参数；提取实时图像特征点进行识别，对相邻帧图像进行特征点匹配；图像特征点通过迭代，得出最佳匹配变换矩阵，利用位置姿态信息纠正，得到相机位姿变换；通过点云数据的配准和位置姿态信息，得到最优位姿估计；通过矩阵变换将位姿信息变换到一个坐标系，得到地图信息；精度不够的区域重复前面步骤；客户端显示结果，同时进行在线调整；本发明将图像处理、深度学习训练和SLAM利用云计算技术并行化，提高图像处理、定位与建图的效率及准确率。

Description

一种基于在线深度学习SLAM的图像云计算方法及系统
技术领域
本发明涉及图像处理研究领域，特别涉及一种基于在线深度学习SLAM的图像云计算方法及系统。
背景技术
目前，随着移动机器人的发展，人们对其的需求也逐渐增加，如：无人驾驶、扫地机器人、3D打印、刑侦现场记录等方面，极大的方便了人们的生活，但同时也出现了一些新的问题。现有技术中，由于存在传感器精度低、计算量大等问题，会花费大量时间，而且不够完善，效果也不是很理想，基于三维视觉的SLAM的发展受到了一定的阻力。
近年来，深度学习发展迅猛，在棋类博弈和一些模拟游戏中取得了很好的成绩。云计算的出现使得大数据的采集与分析成为可能，深度学习作为机器学习领域一个重要发展方向，也将影响人工智能等其他领域。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于在线深度学习SLAM的图像云计算方法。
本发明的另一目的是提供一种基于在线深度学习SLAM的图像云计算系统。
本发明的目的通过以下的技术方案实现：
一种基于在线深度学习SLAM的图像云计算方法，包括以下步骤：
S1、采集图像数据，并将图像数据存储在存储器中；
S2、对存储器中的图像数据提取关键帧，将关键帧上传至云计算平台；
S3、将云计算平台上的历史数据构建数据集，利用MapReduce训练卷积神经网络对数据集进行训练，得到最优卷积神经网络参数；
S4、用最优卷积神经网络参数对实时数据进行实时分析，即在云计算平台上提取实时获取图像的实时关键帧作为Storm的输入源，利用最优卷积神经网络参数，提取图像特征点，对每帧图像特征点进行识别，对相邻帧图像进行特征点匹配；
S5、利用RANSAC算法进行图像特征点筛选，通过迭代，计算出最佳匹配变换矩阵，同时利用惯性测量单元IMU提供的位姿信息进行纠正，得到图像处理后计算得到的位姿信息；
S6、利用算法ICP通过点云数据的配准，改善初始位位姿估计的效果，同时利用惯性测量单元IMU提供的位姿信息，当图像处理后计算得到的位姿信息与IMU测量位姿信息相差小于阈值时，将两者进行1比1的加权平均；当图像处理后计算得到的位姿信息与IMU测量位姿信息相差大于阈值时，两者数据进行扩展卡尔曼滤波优化，得到最优位姿估计；根据最优位姿估计，物体实现自主定位和自主导航；
S7、通过矩阵变换将位姿信息变换到一个坐标系下，进而得到该场景的地图信息；将精度精度不足，即误差大于M的区域实时反馈到云计算平台，M＝10mm，从图像数据采集层获取二次关键帧，并重复步骤S4至步骤S7；
S8、创建不同面向问题的视图，服务层通过对数据实时层数据和图像批处理层数据进行处理，通过可视化的方式将结果传递到客户端，同时根据实时采集的数据进行在线调整。
在步骤S1中，所述图像数据采集由RGBD摄像头采集；所述图像数据包括RGBD图像和深度图像；所述图像采集，通过图像数据采集层利用流媒体服务器的图像流，将拍摄的图像数据存储到存储系统中；
在步骤S3中，所述MapReduce训练卷积神经网络对数据集进行训练，具体为：输入阶段：将待处理数据分割成固定大小片段，再将每个片段进一步分解成键值对；Map阶段：每个Map任务用map函数处理一个片段，并将生成的中间数据进行保存；Reduce阶段：根据Map阶段产生的中间数据，调用reduce函数进行处理，得到最优卷积神经网络参数；输出阶段：将最优卷积神经网络参数输出；
在训练过程中，使用梯度下降法，根据损失函数比较当前网络的预测值和目标值，再根据预测值和目标值的差异情况来更新每一层的权重矩阵；如果网络的预测值比目标值高，则调整权重让它预测值降低，不断调整，直到能够预测出目标值，此时即为最优卷积神经网络参数；
所述卷积神经网络包括三个部分：第一部分为输出层；第二部分为多个卷积层和池化层组合；第三部分为全结构的多层感知机分类器构成；所述卷积层，一个卷积层包含多个特征平面的神经元共享权值，即卷积核；所述卷积核以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值；训练卷积神经网络时，随机赋值初始权重和偏置，即网络自动习得。
在步骤S4中，所述优卷积神经网络实时分析具体如下：卷积神经网络输入层输入图片，保持空间结构信息；卷积神经网络卷积层从输入层提取特征映射，对应一个特定图案；卷积神经网络函数激活层把像素负值设置为0，给网络引入非线性；卷积神经网络Max-pooling层采样修订特征映射；卷积神经网络全连接层则学习特征非线性组合，实施分类；
所述识别过程具体如下：
Y1、利用卷积神经网络提取图像的特征；
Y2、计算出卷积神经网络各层特征经过多层传递产生的残差；
下一层为采样层的卷积层的残差：假设第l层是卷积层，第l+1层为子采样层，则第l层的第j个feature map的残差，用公式表示为：
Figure BDA0001639263600000031
其中，
Figure BDA0001639263600000032
f′(x)＝f(x)·(1-f(x))，ο代表矩阵的点乘，即对应元素相乘；
Figure BDA0001639263600000033
卷积层的输出feature map：
Figure BDA0001639263600000034
Figure BDA0001639263600000035
是
Figure BDA0001639263600000036
的导数；
Figure BDA0001639263600000037
为将第l+1层的大小扩展为和第l层大小一样，
Figure BDA0001639263600000038
为采样层权值，
Figure BDA0001639263600000039
为第l层卷积的输出层；
下一层为卷积层的采样层的残差：假设第l层是采样层，第l+1层为卷积层，则第l层的第j个feature map的残差公式为：
Figure BDA00016392636000000310
其中，rot180为对卷积核矩阵旋转180度，'full'为卷积模式；conv2为计算两个矩阵的卷积；
Figure BDA00016392636000000311
为卷积核矩阵；
Y3、对各层间特征残差和最后提取特征进行降维处理；采用主成分分析法，即把多指标转化为少数综合指标，即主成分，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复；
Y4、对降维后的特征进行整理，获取特征整理后的特征表达；即对输入的特征图进行压缩，提取主要特征，通过Max-pooling层提取特征共性；
Y5、采用分类器，依据特征共性进行图像分类。
所述提取图像特征点的方法为SIFT、SURF、ORB、SIFGPU算法中的一种。
在步骤S5中，所述筛选过程如下：
J1、从数据集中随机选出一组局内点，求解出一套模型参数，所述局内点数目能够求解出模型的所有参数；
J2、用得到的模型测试其他所有的数据点，如果某点数据的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，保留局内点数目最多的模型，将其记录为最佳模型；所述误差阈值为5％；
J3、重复执行步骤J1、J2，达到预设的迭代次数K后，使用最佳模型对应的局内点来最终求解模型参数，所述最终求解使用优化算法为最小二乘法；
J4、最后通过估计局内点与模型的错误率来评估模型，得出最佳匹配变换矩阵；
所述纠正过程如下：通过计算得到的位姿信息计算值和惯性测量单元IMU提供的位姿信息实际测量值，作对比得出相对误差，相对误差低于阈值5％，则接受，相对误差高于阈值5％，则调整匹配变换矩阵参数，直到相对误差低于阈值，即形成闭环反馈信息，根据闭环反馈信息对匹配变换矩阵进行纠正。
在步骤S6中，所述位姿信息包括位置和姿态信息，即物体六个自由度的信息；所述扩展卡尔曼滤波优化具体为：利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题，利用线性滤波求解线性滤波问题，得到最优位姿估计。
在步骤S7中，具体为：建立节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述节点为卷积神经网络每一层都有。
在步骤S8中，所述在线调整具体为：闭环反馈，根据客户端反馈信息与计算得到的数据，对卷积神经网络等的参数进行调整；闭环负反馈，卷积神经网络采用随机梯度下降法，对于不满足客户需求的数据，重新进行训练。
本发明的另一目的同过一下技术方案实现：
一种基于在线深度学习SLAM的图像云计算系统，包括图像数据采集层、存储器、云计算平台、客户端；
所述图像数据采集层采用RGBD摄像头，用于采集图像数据，获取RGBD图像和深度图像，获取图像关键帧传输至云计算平台，响应误差反馈，修正关键帧的提取，传输二次关键帧；
所述存储器用于存储图像数据；
所述云计算平台包括：图像批处理层、数据实时层、服务层；所述图像批处理层用于存储关键帧，建立多个节点和节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述数据实时层用于进行在线SLAM，对误差进行反馈；所述服务层用于将SLAM结果可视化，并传输给客户端；
所述客户端用于接收可视化的SLAM结果。
本发明与现有技术相比，具有如下优点和有益效果：
本发明通过并行化深度学习，减少训练时间，优化训练结果，有效提高了训练效率；深度学习与云计算相结合，Storm与深度学习实时处理，实时SLAM数据更新并反馈，提高了效率与准确率。
附图说明
图1是本发明的方法流程图。
图2是本发明的在线SLAM流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
一种基于在线深度学习SLAM的图像云计算方法流程如图1所示，包括以下步骤：
第一步：图像数据采集层通过RGBD摄像头获得RGBD图像和深度图像，采集图像数据，并利用流媒体服务器的图像流，将图像数据存储在存储器中；
第二步：对存储器中的图像数据提取关键帧，将关键帧上传至云计算平台；
第三步：将云计算平台上的历史数据构建数据集，利用MapReduce训练卷积神经网络对数据集进行训练，得到最优卷积神经网络参数；
所述MapReduce训练卷积神经网络对数据集进行训练，具体为：输入阶段：将待处理数据分割成固定大小片段，再将每个片段进一步分解成键值对；Map阶段：每个Map任务用map函数处理一个片段，并将生成的中间数据进行保存；Reduce阶段：根据Map阶段产生的中间数据，调用reduce函数进行处理，得到最优卷积神经网络参数；输出阶段：将最优卷积神经网络参数输出；
在训练过程中，使用梯度下降法，根据损失函数比较当前网络的预测值和目标值，再根据预测值和目标值的差异情况来更新每一层的权重矩阵；如果网络的预测值比目标值高，则调整权重让它预测值减低，不断调整，直到能够预测出目标值，此时即为最优卷积神经网络参数；
所述卷积神经网络包括三个部分：第一部分为输出层；第二部分为多个卷积层和池化层组合；第三部分为全结构的多层感知机分类器构成；所述卷积层，一个卷积层包含多个特征平面的神经元共享权值，即卷积核；所述卷积核以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值；训练卷积神经网络时，随机赋值初始权重和偏置，即网络自动习得。
全连接层通常在卷积神经网络尾部，且前后两层之间所有神经元都有权重连接，相当于一个特征空间变换，可以把有用的信息提取整合。再加上激活函数的非线性映射，多层全连接层理论上可以模拟任何非线性变换。
全连接层在整个卷积神经网络中起到“分类器”的作用。把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言，就是分类的显示表达。
第四步：在线SLAM流程如图2所示，用最优卷积神经网络参数对实时数据进行实时分析，即在云计算平台上提取实时获取图像的实时关键帧作为Storm的输入源，利用最优卷积神经网络参数，提取图像特征点，对每帧图像特征点进行识别，对相邻帧图像进行特征点匹配；
所述优卷积神经网络实时分析具体如下：卷积神经网络输入层输入图片，保持空间结构信息；卷积神经网络卷积层从输入层提取特征映射，对应一个特定图案；卷积神经网络函数激活层把像素负值设置为0，给网络引入非线性；卷积神经网络Max-pooling层采样修订特征映射；卷积神经网络全连接层则学习特征非线性组合，实施分类；
所述识别过程具体如下：
Y1、利用卷积神经网络提取图像的特征；
Y 2、计算出各层特征经过多层传递产生的残差；
下一层为采样层的卷积层的残差：假设第l层是卷积层，第l+1层为子采样层，则第l层的第j个feature map的残差，用公式表示为：
Figure BDA0001639263600000061
其中，
Figure BDA0001639263600000062
f′(x)＝f(x)·(1-f(x))，ο代表矩阵的点乘，即对应元素相乘；
Figure BDA0001639263600000063
卷积层的输出feature map：
Figure BDA0001639263600000064
Figure BDA0001639263600000065
是
Figure BDA0001639263600000066
的导数；
Figure BDA0001639263600000067
为将第l+1层的大小扩展为和第l层大小一样，
Figure BDA0001639263600000068
为采样层权值，
Figure BDA0001639263600000069
为第l层卷积的输出层；
下一层为卷积层的采样层的残差：假设第l层是采样层，第l+1层为卷积层，则第l层的第j个feature map的残差，用公式表示为：
Figure BDA0001639263600000071
其中，rot180为对卷积核矩阵旋转180度，'full'为卷积模式；conv2为计算两个矩阵的卷积；
Figure BDA0001639263600000072
为卷积核矩阵；
Y 3、对各层间特征残差和最后提取特征进行降维处理；采用主成分分析法，即把多指标转化为少数综合指标，即主成分，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复；
Y4、对降维后的特征通过Max-pooling层进行融合，获取特征融合后的特征表达；即对输入的特征图进行压缩，提取主要特征，通过Max-pooling层提取特征共性；
Y 5、采用softmax分类器，依据特征共性进行图像分类。
第五步：利用RANSAC算法进行特征点筛选，通过迭代，计算出最佳匹配变换矩阵，同时利用惯性测量单元IMU提供的位置姿态信息进行纠正，得到相机的位姿变换；
筛选过程如下：
J1、从数据集中随机选出一组局内点，求解出一套模型参数，所述局内点数目能够求解出模型的所有参数；
J2、用得到的模型测试其他所有的数据点，如果某点数据的误差在设定的误差阈值5％之内，就判定其为局内点，否则为局外点，保留目前为止局内点数目最多的模型，将其记录为最佳模型；所述局内点数目能够求解出模型的所有参数，能求解出一套模型参数；
J3、重复执行步骤J1、J2，达到预设的迭代次数K后，K选择为100000，使用最佳模型对应的局内点来最终求解模型参数，所述最终求解使用优化算法为最小二乘法；
J4、最后通过估计局内点与模型的错误率来评估模型，得出最佳匹配变换矩阵；
纠正过程如下：通过计算得到的位姿信息计算值和惯性测量单元IMU提供的位姿信息实际测量值，作对比得出相对误差，相对误差低于阈值5％，则接受，相对误差高于阈值5％，则调整匹配变换矩阵参数，直到相对误差低于阈值，即形成闭环反馈信息，根据闭环反馈信息对匹配变换矩阵进行纠正。
第六步：利用算法ICP通过点云数据的配准，改善初始位位姿估计的效果，同时利用惯性测量单元IMU提供的位置姿态信息，当相机与IMU姿态测量相差小于阈值时，将两者进行1比1的加权平均；当相机与IMU姿态测量相差大于阈值时，两者数据进行扩展卡尔曼滤波优化，得到最优位姿估计，根据最优位姿估计，机器人进行自主定位和自主导航；
所述位姿信息包括位置和姿态信息，即物体六个自由度的信息；所述扩展卡尔曼滤波优化具体为：利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题，利用线性滤波的理论来求解线性滤波问题。
第七步：通过矩阵变换将位姿信息整合到一个坐标系下，进而得到该场景的地图信息；建立节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；将精度精度不足，即误差大于M的区域实时反馈到云计算平台，M＝10mm，进而从图像数据采集层获取二次关键帧，并重复第三步至第七步；节点为卷积神经网络每一层都有；
第八步：创建不同面向问题的视图，服务层通过对数据实时层数据和图像批处理层数据进行处理，通过可视化的方式将结果传递到客户端，同时根据实时采集的图像数据进行在线调整；在线调整具体为：闭环反馈，根据客户端反馈信息与计算得到的数据；闭环负反馈，卷积神经网络采用随机梯度下降法，对于不满足客户需求的数据，根据重新进行训练；对卷积神经网络等的参数进行调整。
本发明的另一目的为提供一种基于在线深度学习SLAM的图像云计算系统，包括图像数据采集层、存储器、云计算平台、客户端；
所述图像数据采集层采用RGBD摄像头，用于采集图像数据，获取RGBD图像和深度图像，获取图像关键帧传输至云计算平台，响应误差反馈，修正关键帧的提取，传输二次关键帧；
所述存储器用于存储图像数据；
所述云计算平台包括：图像批处理层、数据实时层、服务层；所述图像批处理层用于存储关键帧，建立多个节点和节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述数据实时层用于进行在线SLAM，对误差进行反馈；所述服务层用于将SLAM结果可视化，并传输给客户端；
所述客户端用于接收可视化的SLAM结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于在线深度学习SLAM的图像云计算方法，其特征在于，包括以下步骤：
S1、采集图像数据，并将图像数据存储在存储器中；
S2、对存储器中的图像数据提取关键帧，将关键帧上传至云计算平台；
S3、将云计算平台上的历史数据构建数据集，利用MapReduce训练卷积神经网络，对数据集进行训练，得到最优卷积神经网络参数；
S4、用最优卷积神经网络参数对实时数据进行实时分析，即在云计算平台上提取实时获取图像的实时关键帧作为Storm的输入源，利用最优卷积神经网络参数，提取图像特征点，对每帧图像特征点进行识别，对相邻帧图像进行特征点匹配；
S5、利用RANSAC算法进行图像特征点筛选，通过迭代，计算出最佳匹配变换矩阵，同时利用惯性测量单元IMU提供的位姿信息进行纠正，得到图像处理后计算得到的位姿信息；
S6、利用算法ICP通过点云数据的配准，改善初始位姿估计的效果，同时利用惯性测量单元IMU提供的位姿信息，当图像处理后计算得到的位姿信息与IMU测量位姿信息相差小于阈值时，将两者进行1比1的加权平均；当图像处理后计算得到的位姿信息与IMU测量位姿信息相差大于阈值时，两者数据进行扩展卡尔曼滤波优化，得到最优位姿估计；根据最优位姿估计，物体实现自主定位和自主导航；
S7、通过矩阵变换将位姿信息变换到一个坐标系下，进而得到图像数据的地图信息；将精度不足，即误差大于M的区域实时反馈到云计算平台，从图像数据采集层获取二次关键帧，并重复步骤S4至步骤S7；
S8、创建不同面向问题的视图，服务层通过对数据实时层数据和图像批处理层数据进行处理，通过可视化的方式将结果传递到客户端，同时根据实时采集的数据进行在线调整。
2.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S1中，所述图像数据包括RGBD图像和深度图像；所述采集图像数据，通过图像数据采集层利用流媒体服务器的图像流，将拍摄的图像数据存储到存储系统中。
3.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S3中，所述MapReduce训练卷积神经网络对数据集进行训练，具体为：输入阶段：将待处理数据分割成固定大小片段，再将每个片段进一步分解成键值对；Map阶段：每个Map任务用map函数处理一个片段，并将生成的中间数据进行保存；Reduce阶段：根据Map阶段产生的中间数据，调用reduce函数进行处理，得到最优卷积神经网络参数；输出阶段：将最优卷积神经网络参数输出；
在训练过程中，使用梯度下降法，根据损失函数比较当前网络的预测值和目标值，再根据预测值和目标值的差异情况来更新每一层的权重矩阵；如果网络的预测值比目标值高，则调整权重让它预测值降低，不断调整，直到能够预测出目标值，此时即为最优卷积神经网络参数；
所述卷积神经网络包括三个部分：第一部分为输出层；第二部分为多个卷积层和池化层组合；第三部分为全结构的多层感知机分类器构成；所述卷积层，一个卷积层包含多个特征平面的神经元共享权值，即卷积核；所述卷积核以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值；训练卷积神经网络时，随机赋值初始权重和偏置，即网络自动习得。
4.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S4中，所述用最优卷积神经网络实时分析具体如下：卷积神经网络输入层输入图片，保持空间结构信息；卷积神经网络卷积层从输入层提取特征映射，对应一个特定图案；卷积神经网络函数激活层把像素负值设置为0，给网络引入非线性；卷积神经网络Max-pooling层采样修订特征映射；卷积神经网络全连接层则学习特征非线性组合，实施分类；
所述识别过程具体如下：
Y1、利用卷积神经网络提取图像的特征；
Y2、计算出卷积神经网络各层特征经过多层传递产生的残差；
如果下一层为采样层的卷积层的残差：假设第l层是卷积层，第l+1层为子采样层，则第l层的第j个feature map的残差
Figure FDA0003316800520000021
用公式表示为：
Figure FDA0003316800520000022
其中，
Figure FDA0003316800520000023
f′(x)＝f(x)·(1-f(x))；
Figure FDA0003316800520000024
代表矩阵的点乘，即对应元素相乘；
Figure FDA0003316800520000025
卷积层的输出feature map：
Figure FDA0003316800520000026
Figure FDA0003316800520000027
是
Figure FDA0003316800520000028
的导数；
Figure FDA0003316800520000029
为将第l+1层的大小扩展为和第l层大小一样，
Figure FDA00033168005200000210
为采样层权值，
Figure FDA00033168005200000211
为第l层卷积的输出层；
如果下一层为卷积层的采样层的残差：假设第l层是采样层，第l+1层为卷积层，则第l层的第j个feature map的残差，用公式表示为：
Figure FDA0003316800520000031
其中，rot180为对卷积核矩阵旋转180度，'full'为卷积模式，conv2为计算两个矩阵的卷积；
Figure FDA0003316800520000032
为卷积核矩阵；
Y3、对各层间特征残差和最后提取特征进行降维处理；采用主成分分析法，即把多指标转化为少数综合指标，即主成分，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复；
Y4、对降维后的特征进行整理，获取特征整理后的特征表达；即对输入的特征图进行压缩，提取主要特征，通过Max-pooling层提取特征共性；
Y5、采用分类器，依据特征共性进行图像分类。
5.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S4中，所述提取图像特征点的方法为SIFT、SURF、ORB、SIFGPU算法中的一种。
6.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S5中，所述筛选过程如下：
J1、从数据集中随机选出一组局内点，求解出一套模型参数，所述局内点数目能够求解出模型的所有参数；
J2、用得到的模型测试其他所有的数据点，如果某点数据的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，保留局内点数目最多的模型，将其记录为最佳模型；所述误差阈值为5％；
J3、重复执行步骤J1、J2，达到预设的迭代次数K后，使用最佳模型对应的局内点来最终求解模型参数，所述最终求解使用优化算法为最小二乘法；
J4、最后通过估计局内点与模型的错误率来评估模型，得出最佳匹配变换矩阵；
所述纠正过程如下：通过计算得到的位姿信息计算值和惯性测量单元IMU提供的位姿信息实际测量值，作对比得出相对误差，相对误差低于阈值5％，则接受，相对误差高于阈值5％，则调整匹配变换矩阵参数，直到相对误差低于阈值，即形成闭环反馈信息，根据闭环反馈信息对匹配变换矩阵进行纠正。
7.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S6中，所述位姿信息包括位置和姿态信息，即物体六个自由度的信息；所述扩展卡尔曼滤波优化具体为：利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题，利用线性滤波求解线性滤波问题，得到最优位姿估计。
8.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S7中，具体为：建立节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述节点为卷积神经网络每一层都有；所述M＝10mm。
9.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，在步骤S8中，所述在线调整具体为：闭环反馈，根据客户端反馈信息与计算得到的数据，对卷积神经网络的参数进行调整；闭环负反馈，卷积神经网络采用随机梯度下降法，对于不满足客户需求的数据，重新进行训练。
10.一种基于在线深度学习SLAM的图像云计算系统，用于实现权利要求1至8任一权利要求所述的一种基于在线深度学习SLAM的图像云计算方法，其特征在于，包括依次连接的图像数据采集层、存储器、云计算平台、客户端；
所述图像数据采集层采用RGBD摄像头；
所述存储器用于存储图像数据；
所述云计算平台包括：依次连接的图像批处理层、数据实时层、服务层；所述图像批处理层用于存储关键帧，建立多个节点和节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述数据实时层用于进行在线SLAM，对误差进行反馈；所述服务层用于将SLAM结果可视化，并传输给客户端；
所述客户端用于接收可视化的SLAM结果。
CN201810373550.6A 2018-04-24 2018-04-24 一种基于在线深度学习slam的图像云计算方法及系统 Active CN108921893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810373550.6A CN108921893B (zh) 2018-04-24 2018-04-24 一种基于在线深度学习slam的图像云计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810373550.6A CN108921893B (zh) 2018-04-24 2018-04-24 一种基于在线深度学习slam的图像云计算方法及系统

Publications (2)

Publication Number Publication Date
CN108921893A CN108921893A (zh) 2018-11-30
CN108921893B true CN108921893B (zh) 2022-03-25

Family

ID=64403838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810373550.6A Active CN108921893B (zh) 2018-04-24 2018-04-24 一种基于在线深度学习slam的图像云计算方法及系统

Country Status (1)

Country Link
CN (1) CN108921893B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540148B (zh) * 2018-12-04 2020-10-16 广州小鹏汽车科技有限公司 基于slam地图的定位方法及系统
CN109658511B (zh) * 2018-12-11 2023-05-05 香港理工大学 一种基于影像的相邻帧间姿态信息的计算方法及相关装置
CN109785387A (zh) * 2018-12-17 2019-05-21 中国科学院深圳先进技术研究院 机器人的回环检测方法、装置及机器人
CN111383324B (zh) * 2018-12-29 2023-03-28 广州文远知行科技有限公司 点云地图的构建方法、装置、计算机设备和存储介质
CN109848988B (zh) * 2019-01-24 2022-12-06 深圳市普森斯科技有限公司 一种基于历史多帧点云信息融合的扫描匹配方法及系统
CN109840921B (zh) * 2019-01-29 2020-07-03 北京三快在线科技有限公司 无人驾驶任务结果的确定方法、装置及无人驾驶设备
CN109934417B (zh) * 2019-03-26 2023-04-07 国电民权发电有限公司 基于卷积神经网络的锅炉结焦预警方法
CN110070615B (zh) * 2019-04-12 2021-04-27 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN110000786B (zh) * 2019-04-12 2020-09-01 珠海市一微半导体有限公司 一种基于视觉机器人的历史地图利用方法
CN112148815B (zh) * 2019-06-27 2022-09-27 浙江商汤科技开发有限公司 一种基于共享地图的定位方法及装置、电子设备和存储介质
CN110458887B (zh) * 2019-07-15 2022-12-06 天津大学 一种基于pca的加权融合室内定位方法
CN110428461B (zh) * 2019-07-30 2022-07-05 清华大学 结合深度学习的单目slam方法及装置
CN110531618B (zh) * 2019-08-27 2020-07-31 河海大学 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN110570048A (zh) * 2019-09-19 2019-12-13 深圳市物语智联科技有限公司 基于改进在线深度学习的用户需求预测方法
CN111079826B (zh) * 2019-12-13 2023-09-29 武汉科技大学 融合slam和图像处理的施工进度实时识别方法
CN111127557B (zh) * 2019-12-13 2022-12-13 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法
CN111192363B (zh) * 2019-12-23 2023-09-29 杭州电力设备制造有限公司 一种基于云计算的用户配电房设计生成方法
CN111047703B (zh) * 2019-12-23 2023-09-26 杭州电力设备制造有限公司 一种用户高压配电设备识别与空间重建方法
CN111461340B (zh) * 2020-03-10 2023-03-31 北京百度网讯科技有限公司 权重矩阵的更新方法、装置及电子设备
CN111127551A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111754516B (zh) * 2020-05-25 2023-06-30 沈阳工程学院 基于计算机视觉反馈的金红石单晶体生长智能控制方法
CN111753752B (zh) * 2020-06-28 2022-07-01 重庆邮电大学 基于卷积神经网络多层特征融合的机器人闭环检测方法
CN112258575B (zh) * 2020-10-13 2022-12-02 浙江大学 一种同步定位和地图构建中物体的快速识别方法
CN113177567B (zh) * 2020-11-11 2021-09-17 苏州知云创宇信息科技有限公司 一种基于云计算服务的图像数据处理方法及系统
CN113137971A (zh) * 2021-03-24 2021-07-20 贵州电网有限责任公司 一种适用于即时定位与地图构建的ransac改进方法
CN114443883B (zh) * 2022-02-10 2023-07-21 广州分布式软件有限责任公司 一种基于大数据和云计算的数据处理方法、系统及介质
CN114840900B (zh) * 2022-05-18 2023-06-20 滁州学院 一种基于i-GBDT技术的衍生式BIM构件自动生成方法
CN114862957B (zh) * 2022-07-08 2022-09-27 西南交通大学 一种基于3d激光雷达的地铁车底定位方法
CN117474993B (zh) * 2023-10-27 2024-05-24 哈尔滨工程大学 水下图像特征点亚像素位置估计方法及装置
CN117173391B (zh) * 2023-11-02 2024-03-19 广东省建筑设计研究院有限公司 一种基于深度学习和多视几何的倾斜图像矫正方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN106780608A (zh) * 2016-11-23 2017-05-31 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182129A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置。
AU2017317599B2 (en) * 2016-08-22 2021-12-23 Magic Leap, Inc. Augmented reality display device with deep learning sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN106780608A (zh) * 2016-11-23 2017-05-31 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Context-Aware Cloud Robotics for Material Handling in Cognitive Industrial Internet of Things;Di Li;《IEEE Internet of Things Journal》;20170718;第2272-2281页 *
基于深度学习的视觉SLAM综述;赵洋等;《机器人》;20171115;第39卷(第6期);第1-8页 *

Also Published As

Publication number Publication date
CN108921893A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108921893B (zh) 一种基于在线深度学习slam的图像云计算方法及系统
CN108520535B (zh) 基于深度恢复信息的物体分类方法
CN111819568A (zh) 人脸旋转图像的生成方法及装置
US10033979B2 (en) Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
CN111291809B (zh) 一种处理装置、方法及存储介质
Teow Understanding convolutional neural networks using a minimal model for handwritten digit recognition
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN110222718B (zh) 图像处理的方法及装置
CN111832592B (zh) Rgbd显著性检测方法以及相关装置
CN113705769A (zh) 一种神经网络训练方法以及装置
CN113205595B (zh) 一种3d人体姿态估计模型的构建方法及其应用
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN111160294B (zh) 基于图卷积网络的步态识别方法
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN112101262B (zh) 一种多特征融合手语识别方法及网络模型
CN113221647A (zh) 一种融合点云局部特征的6d位姿估计方法
Yuan et al. Generative modeling of infinite occluded objects for compositional scene representation
CN115222896A (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN113553943B (zh) 目标实时检测方法以及装置、存储介质、电子装置
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN112749585A (zh) 一种基于图卷积的骨架动作识别方法
CN110569889A (zh) 一种基于l2归一化的卷积神经网络图象分类方法
Ocegueda-Hernandez et al. A lightweight convolutional neural network for pose estimation of a planar model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant