CN108921893A - 一种基于在线深度学习slam的图像云计算方法及系统 - Google Patents
一种基于在线深度学习slam的图像云计算方法及系统 Download PDFInfo
- Publication number
- CN108921893A CN108921893A CN201810373550.6A CN201810373550A CN108921893A CN 108921893 A CN108921893 A CN 108921893A CN 201810373550 A CN201810373550 A CN 201810373550A CN 108921893 A CN108921893 A CN 108921893A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- data
- convolutional neural
- cloud computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于在线深度学习SLAM的图像云计算方法,包括以下步骤:采集图像数据并存储;提取关键帧上传;将图像数据构建数据集并进行训练,得到最优卷积神经网络参数;提取实时图像特征点进行识别,对相邻帧图像进行特征点匹配;图像特征点通过迭代,得出最佳匹配变换矩阵,利用位置姿态信息纠正,得到相机位姿变换;通过点云数据的配准和位置姿态信息,得到最优位姿估计;通过矩阵变换将位姿信息变换到一个坐标系,得到地图信息;精度不够的区域重复前面步骤;客户端显示结果,同时进行在线调整;本发明将图像处理、深度学习训练和SLAM利用云计算技术并行化,提高图像处理、定位与建图的效率及准确率。
Description
技术领域
本发明涉及图像处理研究领域,特别涉及一种基于在线深度学习SLAM的图像云计算方法及系统。
背景技术
目前,随着移动机器人的发展,人们对其的需求也逐渐增加,如:无人驾驶、扫地机器人、3D打印、刑侦现场记录等方面,极大的方便了人们的生活,但同时也出现了一些新的问题。现有技术中,由于存在传感器精度低、计算量大等问题,会花费大量时间,而且不够完善,效果也不是很理想,基于三维视觉的SLAM的发展受到了一定的阻力。
近年来,深度学习发展迅猛,在棋类博弈和一些模拟游戏中取得了很好的成绩。云计算的出现使得大数据的采集与分析成为可能,深度学习作为机器学习领域一个重要发展方向,也将影响人工智能等其他领域。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于在线深度学习SLAM的图像云计算方法。
本发明的另一目的是提供一种基于在线深度学习SLAM的图像云计算系统。
本发明的目的通过以下的技术方案实现:
一种基于在线深度学习SLAM的图像云计算方法,包括以下步骤:
S1、采集图像数据,并将图像数据存储在存储器中;
S2、对存储器中的图像数据提取关键帧,将关键帧上传至云计算平台;
S3、将云计算平台上的历史数据构建数据集,利用MapReduce训练卷积神经网络对数据集进行训练,得到最优卷积神经网络参数;
S4、用最优卷积神经网络参数对实时数据进行实时分析,即在云计算平台上提取实时获取图像的实时关键帧作为Storm的输入源,利用最优卷积神经网络参数,提取图像特征点,对每帧图像特征点进行识别,对相邻帧图像进行特征点匹配;
S5、利用RANSAC算法进行图像特征点筛选,通过迭代,计算出最佳匹配变换矩阵,同时利用惯性测量单元IMU提供的位姿信息进行纠正,得到图像处理后计算得到的位姿信息;
S6、利用算法ICP通过点云数据的配准,改善初始位位姿估计的效果,同时利用惯性测量单元IMU提供的位姿信息,当图像处理后计算得到的位姿信息与IMU测量位姿信息相差小于阈值时,将两者进行1比1的加权平均;当图像处理后计算得到的位姿信息与IMU测量位姿信息相差大于阈值时,两者数据进行扩展卡尔曼滤波优化,得到最优位姿估计;根据最优位姿估计,物体实现自主定位和自主导航;
S7、通过矩阵变换将位姿信息变换到一个坐标系下,进而得到该场景的地图信息;将精度精度不足,即误差大于M的区域实时反馈到云计算平台,M=10mm,从图像数据采集层获取二次关键帧,并重复步骤S4至步骤S7;
S8、创建不同面向问题的视图,服务层通过对数据实时层数据和图像批处理层数据进行处理,通过可视化的方式将结果传递到客户端,同时根据实时采集的数据进行在线调整。
在步骤S1中,所述图像数据采集由RGBD摄像头采集;所述图像数据包括RGBD图像和深度图像;所述图像采集,通过图像数据采集层利用流媒体服务器的图像流,将拍摄的图像数据存储到存储系统中;
在步骤S3中,所述MapReduce训练卷积神经网络对数据集进行训练,具体为:输入阶段:将待处理数据分割成固定大小片段,再将每个片段进一步分解成键值对;Map阶段:每个Map任务用map函数处理一个片段,并将生成的中间数据进行保存;Reduce阶段:根据Map阶段产生的中间数据,调用reduce函数进行处理,得到最优卷积神经网络参数;输出阶段:将最优卷积神经网络参数输出;
在训练过程中,使用梯度下降法,根据损失函数比较当前网络的预测值和目标值,再根据预测值和目标值的差异情况来更新每一层的权重矩阵;如果网络的预测值比目标值高,则调整权重让它预测值降低,不断调整,直到能够预测出目标值,此时即为最优卷积神经网络参数;
所述卷积神经网络包括三个部分:第一部分为输出层;第二部分为多个卷积层和池化层组合;第三部分为全结构的多层感知机分类器构成;所述卷积层,一个卷积层包含多个特征平面的神经元共享权值,即卷积核;所述卷积核以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值;训练卷积神经网络时,随机赋值初始权重和偏置,即网络自动习得。
在步骤S4中,所述优卷积神经网络实时分析具体如下:卷积神经网络输入层输入图片,保持空间结构信息;卷积神经网络卷积层从输入层提取特征映射,对应一个特定图案;卷积神经网络函数激活层把像素负值设置为0,给网络引入非线性;卷积神经网络Max-pooling层采样修订特征映射;卷积神经网络全连接层则学习特征非线性组合,实施分类;
所述识别过程具体如下:
Y1、利用卷积神经网络提取图像的特征;
Y2、计算出卷积神经网络各层特征经过多层传递产生的残差;
下一层为采样层的卷积层的残差:假设第l层是卷积层,第l+1层为子采样层,则第l层的第j个feature map的残差,用公式表示为:
其中,f′(x)=f(x)·(1-f(x)),ο代表矩阵的点乘,即对应元素相乘;卷积层的输出feature map: 是的导数;为将第l+1层的大小扩展为和第l层大小一样,为采样层权值,为第l层卷积的输出层;
下一层为卷积层的采样层的残差:假设第l层是采样层,第l+1层为卷积层,则第l层的第j个feature map的残差公式为:
其中,rot180为对卷积核矩阵旋转180度,'full'为卷积模式;conv2为计算两个矩阵的卷积;为卷积核矩阵;
Y3、对各层间特征残差和最后提取特征进行降维处理;采用主成分分析法,即把多指标转化为少数综合指标,即主成分,其中每个主成分都能够反映原始变量的大部分信息,且所含信息互不重复;
Y4、对降维后的特征进行整理,获取特征整理后的特征表达;即对输入的特征图进行压缩,提取主要特征,通过Max-pooling层提取特征共性;
Y5、采用分类器,依据特征共性进行图像分类。
所述提取图像特征点的方法为SIFT、SURF、ORB、SIFGPU算法中的一种。
在步骤S5中,所述筛选过程如下:
J1、从数据集中随机选出一组局内点,求解出一套模型参数,所述局内点数目能够求解出模型的所有参数;
J2、用得到的模型测试其他所有的数据点,如果某点数据的误差在设定的误差阈值之内,就判定其为局内点,否则为局外点,保留局内点数目最多的模型,将其记录为最佳模型;所述误差阈值为5%;
J3、重复执行步骤J1、J2,达到预设的迭代次数K后,使用最佳模型对应的局内点来最终求解模型参数,所述最终求解使用优化算法为最小二乘法;
J4、最后通过估计局内点与模型的错误率来评估模型,得出最佳匹配变换矩阵;
所述纠正过程如下:通过计算得到的位姿信息计算值和惯性测量单元IMU提供的位姿信息实际测量值,作对比得出相对误差,相对误差低于阈值5%,则接受,相对误差高于阈值5%,则调整匹配变换矩阵参数,直到相对误差低于阈值,即形成闭环反馈信息,根据闭环反馈信息对匹配变换矩阵进行纠正。
在步骤S6中,所述位姿信息包括位置和姿态信息,即物体六个自由度的信息;所述扩展卡尔曼滤波优化具体为:利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题,利用线性滤波求解线性滤波问题,得到最优位姿估计。
在步骤S7中,具体为:建立节点之间的相对变换关系,不断进行关键节点的维护,并进行深度学习训练,响应误差反馈并修正存在误差;所述节点为卷积神经网络每一层都有。
在步骤S8中,所述在线调整具体为:闭环反馈,根据客户端反馈信息与计算得到的数据,对卷积神经网络等的参数进行调整;闭环负反馈,卷积神经网络采用随机梯度下降法,对于不满足客户需求的数据,重新进行训练。
本发明的另一目的同过一下技术方案实现:
一种基于在线深度学习SLAM的图像云计算系统,包括图像数据采集层、存储器、云计算平台、客户端;
所述图像数据采集层采用RGBD摄像头,用于采集图像数据,获取RGBD图像和深度图像,获取图像关键帧传输至云计算平台,响应误差反馈,修正关键帧的提取,传输二次关键帧;
所述存储器用于存储图像数据;
所述云计算平台包括:图像批处理层、数据实时层、服务层;所述图像批处理层用于存储关键帧,建立多个节点和节点之间的相对变换关系,不断进行关键节点的维护,并进行深度学习训练,响应误差反馈并修正存在误差;所述数据实时层用于进行在线SLAM,对误差进行反馈;所述服务层用于将SLAM结果可视化,并传输给客户端;
所述客户端用于接收可视化的SLAM结果。
本发明与现有技术相比,具有如下优点和有益效果:
本发明通过并行化深度学习,减少训练时间,优化训练结果,有效提高了训练效率;深度学习与云计算相结合,Storm与深度学习实时处理,实时SLAM数据更新并反馈,提高了效率与准确率。
附图说明
图1是本发明的方法流程图。
图2是本发明的在线SLAM流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
一种基于在线深度学习SLAM的图像云计算方法流程如图1所示,包括以下步骤:
第一步:图像数据采集层通过RGBD摄像头获得RGBD图像和深度图像,采集图像数据,并利用流媒体服务器的图像流,将图像数据存储在存储器中;
第二步:对存储器中的图像数据提取关键帧,将关键帧上传至云计算平台;
第三步:将云计算平台上的历史数据构建数据集,利用MapReduce训练卷积神经网络对数据集进行训练,得到最优卷积神经网络参数;
所述MapReduce训练卷积神经网络对数据集进行训练,具体为:输入阶段:将待处理数据分割成固定大小片段,再将每个片段进一步分解成键值对;Map阶段:每个Map任务用map函数处理一个片段,并将生成的中间数据进行保存;Reduce阶段:根据Map阶段产生的中间数据,调用reduce函数进行处理,得到最优卷积神经网络参数;输出阶段:将最优卷积神经网络参数输出;
在训练过程中,使用梯度下降法,根据损失函数比较当前网络的预测值和目标值,再根据预测值和目标值的差异情况来更新每一层的权重矩阵;如果网络的预测值比目标值高,则调整权重让它预测值减低,不断调整,直到能够预测出目标值,此时即为最优卷积神经网络参数;
所述卷积神经网络包括三个部分:第一部分为输出层;第二部分为多个卷积层和池化层组合;第三部分为全结构的多层感知机分类器构成;所述卷积层,一个卷积层包含多个特征平面的神经元共享权值,即卷积核;所述卷积核以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值;训练卷积神经网络时,随机赋值初始权重和偏置,即网络自动习得。
全连接层通常在卷积神经网络尾部,且前后两层之间所有神经元都有权重连接,相当于一个特征空间变换,可以把有用的信息提取整合。再加上激活函数的非线性映射,多层全连接层理论上可以模拟任何非线性变换。
全连接层在整个卷积神经网络中起到“分类器”的作用。把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言,就是分类的显示表达。
第四步:在线SLAM流程如图2所示,用最优卷积神经网络参数对实时数据进行实时分析,即在云计算平台上提取实时获取图像的实时关键帧作为Storm的输入源,利用最优卷积神经网络参数,提取图像特征点,对每帧图像特征点进行识别,对相邻帧图像进行特征点匹配;
所述优卷积神经网络实时分析具体如下:卷积神经网络输入层输入图片,保持空间结构信息;卷积神经网络卷积层从输入层提取特征映射,对应一个特定图案;卷积神经网络函数激活层把像素负值设置为0,给网络引入非线性;卷积神经网络Max-pooling层采样修订特征映射;卷积神经网络全连接层则学习特征非线性组合,实施分类;
所述识别过程具体如下:
Y1、利用卷积神经网络提取图像的特征;
Y 2、计算出各层特征经过多层传递产生的残差;
下一层为采样层的卷积层的残差:假设第l层是卷积层,第l+1层为子采样层,则第l层的第j个feature map的残差,用公式表示为:
其中,f′(x)=f(x)·(1-f(x)),ο代表矩阵的点乘,即对应元素相乘;卷积层的输出feature map: 是的导数;为将第l+1层的大小扩展为和第l层大小一样,为采样层权值,为第l层卷积的输出层;
下一层为卷积层的采样层的残差:假设第l层是采样层,第l+1层为卷积层,则第l层的第j个feature map的残差,用公式表示为:
其中,rot180为对卷积核矩阵旋转180度,'full'为卷积模式;conv2为计算两个矩阵的卷积;为卷积核矩阵;
Y 3、对各层间特征残差和最后提取特征进行降维处理;采用主成分分析法,即把多指标转化为少数综合指标,即主成分,其中每个主成分都能够反映原始变量的大部分信息,且所含信息互不重复;
Y4、对降维后的特征通过Max-pooling层进行融合,获取特征融合后的特征表达;即对输入的特征图进行压缩,提取主要特征,通过Max-pooling层提取特征共性;
Y 5、采用softmax分类器,依据特征共性进行图像分类。
第五步:利用RANSAC算法进行特征点筛选,通过迭代,计算出最佳匹配变换矩阵,同时利用惯性测量单元IMU提供的位置姿态信息进行纠正,得到相机的位姿变换;
筛选过程如下:
J1、从数据集中随机选出一组局内点,求解出一套模型参数,所述局内点数目能够求解出模型的所有参数;
J2、用得到的模型测试其他所有的数据点,如果某点数据的误差在设定的误差阈值5%之内,就判定其为局内点,否则为局外点,保留目前为止局内点数目最多的模型,将其记录为最佳模型;所述局内点数目能够求解出模型的所有参数,能求解出一套模型参数;
J3、重复执行步骤J1、J2,达到预设的迭代次数K后,K选择为100000,使用最佳模型对应的局内点来最终求解模型参数,所述最终求解使用优化算法为最小二乘法;
J4、最后通过估计局内点与模型的错误率来评估模型,得出最佳匹配变换矩阵;
纠正过程如下:通过计算得到的位姿信息计算值和惯性测量单元IMU提供的位姿信息实际测量值,作对比得出相对误差,相对误差低于阈值5%,则接受,相对误差高于阈值5%,则调整匹配变换矩阵参数,直到相对误差低于阈值,即形成闭环反馈信息,根据闭环反馈信息对匹配变换矩阵进行纠正。
第六步:利用算法ICP通过点云数据的配准,改善初始位位姿估计的效果,同时利用惯性测量单元IMU提供的位置姿态信息,当相机与IMU姿态测量相差小于阈值时,将两者进行1比1的加权平均;当相机与IMU姿态测量相差大于阈值时,两者数据进行扩展卡尔曼滤波优化,得到最优位姿估计,根据最优位姿估计,机器人进行自主定位和自主导航;
所述位姿信息包括位置和姿态信息,即物体六个自由度的信息;所述扩展卡尔曼滤波优化具体为:利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题,利用线性滤波的理论来求解线性滤波问题。
第七步:通过矩阵变换将位姿信息整合到一个坐标系下,进而得到该场景的地图信息;建立节点之间的相对变换关系,不断进行关键节点的维护,并进行深度学习训练,响应误差反馈并修正存在误差;将精度精度不足,即误差大于M的区域实时反馈到云计算平台,M=10mm,进而从图像数据采集层获取二次关键帧,并重复第三步至第七步;节点为卷积神经网络每一层都有;
第八步:创建不同面向问题的视图,服务层通过对数据实时层数据和图像批处理层数据进行处理,通过可视化的方式将结果传递到客户端,同时根据实时采集的图像数据进行在线调整;在线调整具体为:闭环反馈,根据客户端反馈信息与计算得到的数据;闭环负反馈,卷积神经网络采用随机梯度下降法,对于不满足客户需求的数据,根据重新进行训练;对卷积神经网络等的参数进行调整。
本发明的另一目的为提供一种基于在线深度学习SLAM的图像云计算系统,包括图像数据采集层、存储器、云计算平台、客户端;
所述图像数据采集层采用RGBD摄像头,用于采集图像数据,获取RGBD图像和深度图像,获取图像关键帧传输至云计算平台,响应误差反馈,修正关键帧的提取,传输二次关键帧;
所述存储器用于存储图像数据;
所述云计算平台包括:图像批处理层、数据实时层、服务层;所述图像批处理层用于存储关键帧,建立多个节点和节点之间的相对变换关系,不断进行关键节点的维护,并进行深度学习训练,响应误差反馈并修正存在误差;所述数据实时层用于进行在线SLAM,对误差进行反馈;所述服务层用于将SLAM结果可视化,并传输给客户端;
所述客户端用于接收可视化的SLAM结果。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种基于在线深度学习SLAM的图像云计算方法,其特征在于,包括以下步骤:
S1、采集图像数据,并将图像数据存储在存储器中;
S2、对存储器中的图像数据提取关键帧,将关键帧上传至云计算平台;
S3、将云计算平台上的历史数据构建数据集,利用MapReduce训练卷积神经网络对数据集进行训练,得到最优卷积神经网络参数;
S4、用最优卷积神经网络参数对实时数据进行实时分析,即在云计算平台上提取实时获取图像的实时关键帧作为Storm的输入源,利用最优卷积神经网络参数,提取图像特征点,对每帧图像特征点进行识别,对相邻帧图像进行特征点匹配;
S5、利用RANSAC算法进行图像特征点筛选,通过迭代,计算出最佳匹配变换矩阵,同时利用惯性测量单元IMU提供的位姿信息进行纠正,得到图像处理后计算得到的位姿信息;
S6、利用算法ICP通过点云数据的配准,改善初始位位姿估计的效果,同时利用惯性测量单元IMU提供的位姿信息,当图像处理后计算得到的位姿信息与IMU测量位姿信息相差小于阈值时,将两者进行1比1的加权平均;当图像处理后计算得到的位姿信息与IMU测量位姿信息相差大于阈值时,两者数据进行扩展卡尔曼滤波优化,得到最优位姿估计;根据最优位姿估计,物体实现自主定位和自主导航;
S7、通过矩阵变换将位姿信息变换到一个坐标系下,进而得到该场景的地图信息;将精度精度不足,即误差大于M的区域实时反馈到云计算平台,从图像数据采集层获取二次关键帧,并重复步骤S4至步骤S7;
S8、创建不同面向问题的视图,服务层通过对数据实时层数据和图像批处理层数据进行处理,通过可视化的方式将结果传递到客户端,同时根据实时采集的数据进行在线调整。
2.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S1中,所述图像数据包括RGBD图像和深度图像;所述图像采集,通过图像数据采集层利用流媒体服务器的图像流,将拍摄的图像数据存储到存储系统中。
3.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S3中,所述MapReduce训练卷积神经网络对数据集进行训练,具体为:输入阶段:将待处理数据分割成固定大小片段,再将每个片段进一步分解成键值对;Map阶段:每个Map任务用map函数处理一个片段,并将生成的中间数据进行保存;Reduce阶段:根据Map阶段产生的中间数据,调用reduce函数进行处理,得到最优卷积神经网络参数;输出阶段:将最优卷积神经网络参数输出;
在训练过程中,使用梯度下降法,根据损失函数比较当前网络的预测值和目标值,再根据预测值和目标值的差异情况来更新每一层的权重矩阵;如果网络的预测值比目标值高,则调整权重让它预测值降低,不断调整,直到能够预测出目标值,此时即为最优卷积神经网络参数;
所述卷积神经网络包括三个部分:第一部分为输出层;第二部分为多个卷积层和池化层组合;第三部分为全结构的多层感知机分类器构成;所述卷积层,一个卷积层包含多个特征平面的神经元共享权值,即卷积核;所述卷积核以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值;训练卷积神经网络时,随机赋值初始权重和偏置,即网络自动习得。
4.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S4中,所述优卷积神经网络实时分析具体如下:卷积神经网络输入层输入图片,保持空间结构信息;卷积神经网络卷积层从输入层提取特征映射,对应一个特定图案;卷积神经网络函数激活层把像素负值设置为0,给网络引入非线性;卷积神经网络Max-pooling层采样修订特征映射;卷积神经网络全连接层则学习特征非线性组合,实施分类;
所述识别过程具体如下:
Y1、利用卷积神经网络提取图像的特征;
Y2、计算出卷积神经网络各层特征经过多层传递产生的残差;
如果下一层为采样层的卷积层的残差:假设第l层是卷积层,第l+1层为子采样层,则第l层的第j个feature map的残差用公式表示为:
其中,f′(x)=f(x)·(1-f(x));代表矩阵的点乘,即对应元素相乘;卷积层的输出feature map: 是的导数;为将第l+1层的大小扩展为和第l层大小一样,为采样层权值,为第l层卷积的输出层;
如果下一层为卷积层的采样层的残差:假设第l层是采样层,第l+1层为卷积层,则第l层的第j个feature map的残差,用公式表示为:
其中,rot180为对卷积核矩阵旋转180度,'full'为卷积模式,conv2为计算两个矩阵的卷积;为卷积核矩阵;
Y3、对各层间特征残差和最后提取特征进行降维处理;采用主成分分析法,即把多指标转化为少数综合指标,即主成分,其中每个主成分都能够反映原始变量的大部分信息,且所含信息互不重复;
Y4、对降维后的特征进行整理,获取特征整理后的特征表达;即对输入的特征图进行压缩,提取主要特征,通过Max-pooling层提取特征共性;
Y5、采用分类器,依据特征共性进行图像分类。
5.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S4中,所述提取图像特征点的方法为SIFT、SURF、ORB、SIFGPU算法中的一种。
6.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S5中,所述筛选过程如下:
J1、从数据集中随机选出一组局内点,求解出一套模型参数,所述局内点数目能够求解出模型的所有参数;
J2、用得到的模型测试其他所有的数据点,如果某点数据的误差在设定的误差阈值之内,就判定其为局内点,否则为局外点,保留局内点数目最多的模型,将其记录为最佳模型;所述误差阈值为5%;
J3、重复执行步骤J1、J2,达到预设的迭代次数K后,使用最佳模型对应的局内点来最终求解模型参数,所述最终求解使用优化算法为最小二乘法;
J4、最后通过估计局内点与模型的错误率来评估模型,得出最佳匹配变换矩阵;
所述纠正过程如下:通过计算得到的位姿信息计算值和惯性测量单元IMU提供的位姿信息实际测量值,作对比得出相对误差,相对误差低于阈值5%,则接受,相对误差高于阈值5%,则调整匹配变换矩阵参数,直到相对误差低于阈值,即形成闭环反馈信息,根据闭环反馈信息对匹配变换矩阵进行纠正。
7.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S6中,所述位姿信息包括位置和姿态信息,即物体六个自由度的信息;所述扩展卡尔曼滤波优化具体为:利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题,利用线性滤波求解线性滤波问题,得到最优位姿估计。
8.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S7中,具体为:建立节点之间的相对变换关系,不断进行关键节点的维护,并进行深度学习训练,响应误差反馈并修正存在误差;所述节点为卷积神经网络每一层都有;所述M=10mm。
9.根据权利要求1所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,在步骤S8中,所述在线调整具体为:闭环反馈,根据客户端反馈信息与计算得到的数据,对卷积神经网络等的参数进行调整;闭环负反馈,卷积神经网络采用随机梯度下降法,对于不满足客户需求的数据,重新进行训练。
10.一种基于在线深度学习SLAM的图像云计算系统,用于实现权利要求1至8所述的一种基于在线深度学习SLAM的图像云计算方法,其特征在于,包括依次连接的图像数据采集层、存储器、云计算平台、客户端;
所述图像数据采集层采用RGBD摄像头;
所述存储器用于存储图像数据;
所述云计算平台包括:依次连接的图像批处理层、数据实时层、服务层;所述图像批处理层用于存储关键帧,建立多个节点和节点之间的相对变换关系,不断进行关键节点的维护,并进行深度学习训练,响应误差反馈并修正存在误差;所述数据实时层用于进行在线SLAM,对误差进行反馈;所述服务层用于将SLAM结果可视化,并传输给客户端;
所述客户端用于接收可视化的SLAM结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810373550.6A CN108921893B (zh) | 2018-04-24 | 2018-04-24 | 一种基于在线深度学习slam的图像云计算方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810373550.6A CN108921893B (zh) | 2018-04-24 | 2018-04-24 | 一种基于在线深度学习slam的图像云计算方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108921893A true CN108921893A (zh) | 2018-11-30 |
CN108921893B CN108921893B (zh) | 2022-03-25 |
Family
ID=64403838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810373550.6A Active CN108921893B (zh) | 2018-04-24 | 2018-04-24 | 一种基于在线深度学习slam的图像云计算方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108921893B (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109540148A (zh) * | 2018-12-04 | 2019-03-29 | 广州小鹏汽车科技有限公司 | 基于slam地图的定位方法及系统 |
CN109658511A (zh) * | 2018-12-11 | 2019-04-19 | 香港理工大学 | 一种基于影像的相邻帧间姿态信息的计算方法及相关装置 |
CN109785387A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 机器人的回环检测方法、装置及机器人 |
CN109840921A (zh) * | 2019-01-29 | 2019-06-04 | 北京三快在线科技有限公司 | 无人驾驶任务结果的确定方法、装置及无人驾驶设备 |
CN109848988A (zh) * | 2019-01-24 | 2019-06-07 | 深圳市普森斯科技有限公司 | 一种基于历史多帧点云信息融合的扫描匹配方法及系统 |
CN109934417A (zh) * | 2019-03-26 | 2019-06-25 | 国电民权发电有限公司 | 基于卷积神经网络的锅炉结焦预警方法 |
CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
CN110428461A (zh) * | 2019-07-30 | 2019-11-08 | 清华大学 | 结合深度学习的单目slam方法及装置 |
CN110458887A (zh) * | 2019-07-15 | 2019-11-15 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
CN110531618A (zh) * | 2019-08-27 | 2019-12-03 | 河海大学 | 基于有效关键帧的闭环检测机器人自定位误差消除方法 |
CN110570048A (zh) * | 2019-09-19 | 2019-12-13 | 深圳市物语智联科技有限公司 | 基于改进在线深度学习的用户需求预测方法 |
CN111047703A (zh) * | 2019-12-23 | 2020-04-21 | 杭州电力设备制造有限公司 | 一种用户高压配电设备识别与空间重建方法 |
CN111079826A (zh) * | 2019-12-13 | 2020-04-28 | 武汉科技大学 | 融合slam和图像处理的施工进度实时识别方法 |
CN111127557A (zh) * | 2019-12-13 | 2020-05-08 | 中国电子科技集团公司第二十研究所 | 一种基于深度学习的视觉slam前端位姿估计方法 |
CN111127551A (zh) * | 2020-03-26 | 2020-05-08 | 北京三快在线科技有限公司 | 一种目标检测的方法及装置 |
CN111192363A (zh) * | 2019-12-23 | 2020-05-22 | 杭州电力设备制造有限公司 | 一种基于云计算的用户配电房设计生成方法 |
WO2020135183A1 (zh) * | 2018-12-29 | 2020-07-02 | 广州文远知行科技有限公司 | 点云地图的构建方法、装置、计算机设备和存储介质 |
CN111461340A (zh) * | 2020-03-10 | 2020-07-28 | 北京百度网讯科技有限公司 | 权重矩阵的更新方法、装置及电子设备 |
CN111754516A (zh) * | 2020-05-25 | 2020-10-09 | 沈阳工程学院 | 基于计算机视觉反馈的金红石单晶体生长智能控制方法 |
CN111753752A (zh) * | 2020-06-28 | 2020-10-09 | 重庆邮电大学 | 基于卷积神经网络多层特征融合的机器人闭环检测方法 |
WO2020207007A1 (zh) * | 2019-04-12 | 2020-10-15 | 珠海市一微半导体有限公司 | —种基于视觉机器人的历史地图利用方法 |
WO2020258936A1 (zh) * | 2019-06-27 | 2020-12-30 | 浙江商汤科技开发有限公司 | 一种基于共享地图的定位方法及装置、电子设备和存储介质 |
CN112258575A (zh) * | 2020-10-13 | 2021-01-22 | 浙江大学 | 一种同步定位和地图构建中物体的快速识别方法 |
CN113137971A (zh) * | 2021-03-24 | 2021-07-20 | 贵州电网有限责任公司 | 一种适用于即时定位与地图构建的ransac改进方法 |
CN114443883A (zh) * | 2022-02-10 | 2022-05-06 | 北京永利信达科技有限公司 | 一种基于大数据和云计算的数据处理方法、系统及介质 |
WO2022099754A1 (zh) * | 2020-11-11 | 2022-05-19 | 苏州知云创宇信息科技有限公司 | 一种基于云计算服务的图像数据处理方法及系统 |
CN114840900A (zh) * | 2022-05-18 | 2022-08-02 | 滁州学院 | 一种基于i-GBDT技术的衍生式BIM构件自动生成方法 |
CN114862957A (zh) * | 2022-07-08 | 2022-08-05 | 西南交通大学 | 一种基于3d激光雷达的地铁车底定位方法 |
CN117173391A (zh) * | 2023-11-02 | 2023-12-05 | 广东省建筑设计研究院有限公司 | 一种基于深度学习和多视几何的倾斜图像矫正方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104851094A (zh) * | 2015-05-14 | 2015-08-19 | 西安电子科技大学 | 一种基于rgb-d的slam算法的改进方法 |
CN106780608A (zh) * | 2016-11-23 | 2017-05-31 | 北京地平线机器人技术研发有限公司 | 位姿信息估计方法、装置和可移动设备 |
CN107403163A (zh) * | 2017-07-31 | 2017-11-28 | 武汉大学 | 一种基于深度学习的激光slam闭环检测方法 |
CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
US20180053056A1 (en) * | 2016-08-22 | 2018-02-22 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
US20180082178A1 (en) * | 2016-03-28 | 2018-03-22 | Sony Corporation | Information processing device |
CN107833236A (zh) * | 2017-10-31 | 2018-03-23 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
CN107945265A (zh) * | 2017-11-29 | 2018-04-20 | 华中科技大学 | 基于在线学习深度预测网络的实时稠密单目slam方法与系统 |
-
2018
- 2018-04-24 CN CN201810373550.6A patent/CN108921893B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104851094A (zh) * | 2015-05-14 | 2015-08-19 | 西安电子科技大学 | 一种基于rgb-d的slam算法的改进方法 |
US20180082178A1 (en) * | 2016-03-28 | 2018-03-22 | Sony Corporation | Information processing device |
US20180053056A1 (en) * | 2016-08-22 | 2018-02-22 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
CN106780608A (zh) * | 2016-11-23 | 2017-05-31 | 北京地平线机器人技术研发有限公司 | 位姿信息估计方法、装置和可移动设备 |
CN107403163A (zh) * | 2017-07-31 | 2017-11-28 | 武汉大学 | 一种基于深度学习的激光slam闭环检测方法 |
CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
CN107833236A (zh) * | 2017-10-31 | 2018-03-23 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
CN107945265A (zh) * | 2017-11-29 | 2018-04-20 | 华中科技大学 | 基于在线学习深度预测网络的实时稠密单目slam方法与系统 |
Non-Patent Citations (2)
Title |
---|
DI LI: "Context-Aware Cloud Robotics for Material Handling in Cognitive Industrial Internet of Things", 《IEEE INTERNET OF THINGS JOURNAL》 * |
赵洋等: "基于深度学习的视觉SLAM综述", 《机器人》 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109540148A (zh) * | 2018-12-04 | 2019-03-29 | 广州小鹏汽车科技有限公司 | 基于slam地图的定位方法及系统 |
CN109540148B (zh) * | 2018-12-04 | 2020-10-16 | 广州小鹏汽车科技有限公司 | 基于slam地图的定位方法及系统 |
CN109658511A (zh) * | 2018-12-11 | 2019-04-19 | 香港理工大学 | 一种基于影像的相邻帧间姿态信息的计算方法及相关装置 |
CN109658511B (zh) * | 2018-12-11 | 2023-05-05 | 香港理工大学 | 一种基于影像的相邻帧间姿态信息的计算方法及相关装置 |
CN109785387A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 机器人的回环检测方法、装置及机器人 |
WO2020135183A1 (zh) * | 2018-12-29 | 2020-07-02 | 广州文远知行科技有限公司 | 点云地图的构建方法、装置、计算机设备和存储介质 |
CN109848988A (zh) * | 2019-01-24 | 2019-06-07 | 深圳市普森斯科技有限公司 | 一种基于历史多帧点云信息融合的扫描匹配方法及系统 |
CN109840921A (zh) * | 2019-01-29 | 2019-06-04 | 北京三快在线科技有限公司 | 无人驾驶任务结果的确定方法、装置及无人驾驶设备 |
CN109934417A (zh) * | 2019-03-26 | 2019-06-25 | 国电民权发电有限公司 | 基于卷积神经网络的锅炉结焦预警方法 |
CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
US11928869B2 (en) | 2019-04-12 | 2024-03-12 | Amicro Semiconductor Co., Ltd. | Historical map utilization method based on vision robot |
WO2020207007A1 (zh) * | 2019-04-12 | 2020-10-15 | 珠海市一微半导体有限公司 | —种基于视觉机器人的历史地图利用方法 |
WO2020258936A1 (zh) * | 2019-06-27 | 2020-12-30 | 浙江商汤科技开发有限公司 | 一种基于共享地图的定位方法及装置、电子设备和存储介质 |
CN110458887A (zh) * | 2019-07-15 | 2019-11-15 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
CN110458887B (zh) * | 2019-07-15 | 2022-12-06 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
CN110428461A (zh) * | 2019-07-30 | 2019-11-08 | 清华大学 | 结合深度学习的单目slam方法及装置 |
CN110428461B (zh) * | 2019-07-30 | 2022-07-05 | 清华大学 | 结合深度学习的单目slam方法及装置 |
CN110531618A (zh) * | 2019-08-27 | 2019-12-03 | 河海大学 | 基于有效关键帧的闭环检测机器人自定位误差消除方法 |
CN110570048A (zh) * | 2019-09-19 | 2019-12-13 | 深圳市物语智联科技有限公司 | 基于改进在线深度学习的用户需求预测方法 |
CN111079826A (zh) * | 2019-12-13 | 2020-04-28 | 武汉科技大学 | 融合slam和图像处理的施工进度实时识别方法 |
CN111127557A (zh) * | 2019-12-13 | 2020-05-08 | 中国电子科技集团公司第二十研究所 | 一种基于深度学习的视觉slam前端位姿估计方法 |
CN111079826B (zh) * | 2019-12-13 | 2023-09-29 | 武汉科技大学 | 融合slam和图像处理的施工进度实时识别方法 |
CN111047703B (zh) * | 2019-12-23 | 2023-09-26 | 杭州电力设备制造有限公司 | 一种用户高压配电设备识别与空间重建方法 |
CN111192363A (zh) * | 2019-12-23 | 2020-05-22 | 杭州电力设备制造有限公司 | 一种基于云计算的用户配电房设计生成方法 |
CN111047703A (zh) * | 2019-12-23 | 2020-04-21 | 杭州电力设备制造有限公司 | 一种用户高压配电设备识别与空间重建方法 |
CN111192363B (zh) * | 2019-12-23 | 2023-09-29 | 杭州电力设备制造有限公司 | 一种基于云计算的用户配电房设计生成方法 |
CN111461340A (zh) * | 2020-03-10 | 2020-07-28 | 北京百度网讯科技有限公司 | 权重矩阵的更新方法、装置及电子设备 |
CN111461340B (zh) * | 2020-03-10 | 2023-03-31 | 北京百度网讯科技有限公司 | 权重矩阵的更新方法、装置及电子设备 |
CN111127551A (zh) * | 2020-03-26 | 2020-05-08 | 北京三快在线科技有限公司 | 一种目标检测的方法及装置 |
CN111754516A (zh) * | 2020-05-25 | 2020-10-09 | 沈阳工程学院 | 基于计算机视觉反馈的金红石单晶体生长智能控制方法 |
CN111754516B (zh) * | 2020-05-25 | 2023-06-30 | 沈阳工程学院 | 基于计算机视觉反馈的金红石单晶体生长智能控制方法 |
CN111753752B (zh) * | 2020-06-28 | 2022-07-01 | 重庆邮电大学 | 基于卷积神经网络多层特征融合的机器人闭环检测方法 |
CN111753752A (zh) * | 2020-06-28 | 2020-10-09 | 重庆邮电大学 | 基于卷积神经网络多层特征融合的机器人闭环检测方法 |
CN112258575A (zh) * | 2020-10-13 | 2021-01-22 | 浙江大学 | 一种同步定位和地图构建中物体的快速识别方法 |
WO2022099754A1 (zh) * | 2020-11-11 | 2022-05-19 | 苏州知云创宇信息科技有限公司 | 一种基于云计算服务的图像数据处理方法及系统 |
CN113137971A (zh) * | 2021-03-24 | 2021-07-20 | 贵州电网有限责任公司 | 一种适用于即时定位与地图构建的ransac改进方法 |
CN114443883A (zh) * | 2022-02-10 | 2022-05-06 | 北京永利信达科技有限公司 | 一种基于大数据和云计算的数据处理方法、系统及介质 |
CN114840900A (zh) * | 2022-05-18 | 2022-08-02 | 滁州学院 | 一种基于i-GBDT技术的衍生式BIM构件自动生成方法 |
CN114862957B (zh) * | 2022-07-08 | 2022-09-27 | 西南交通大学 | 一种基于3d激光雷达的地铁车底定位方法 |
CN114862957A (zh) * | 2022-07-08 | 2022-08-05 | 西南交通大学 | 一种基于3d激光雷达的地铁车底定位方法 |
CN117173391A (zh) * | 2023-11-02 | 2023-12-05 | 广东省建筑设计研究院有限公司 | 一种基于深度学习和多视几何的倾斜图像矫正方法及系统 |
CN117173391B (zh) * | 2023-11-02 | 2024-03-19 | 广东省建筑设计研究院有限公司 | 一种基于深度学习和多视几何的倾斜图像矫正方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108921893B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921893A (zh) | 一种基于在线深度学习slam的图像云计算方法及系统 | |
CN111079561B (zh) | 一种基于虚拟训练的机器人智能抓取方法 | |
CN105787439B (zh) | 一种基于卷积神经网络的深度图像人体关节定位方法 | |
CN109377530A (zh) | 一种基于深度神经网络的双目深度估计方法 | |
CN111819568A (zh) | 人脸旋转图像的生成方法及装置 | |
CN110419049A (zh) | 房间布局估计方法和技术 | |
CN108549844A (zh) | 一种基于多层分形网络和关节亲属模式的多人姿态估计方法 | |
CN113205595B (zh) | 一种3d人体姿态估计模型的构建方法及其应用 | |
CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
CN111832592B (zh) | Rgbd显著性检测方法以及相关装置 | |
CN110222717A (zh) | 图像处理方法和装置 | |
CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
CN104318215B (zh) | 一种基于域鲁棒卷积特征学习的交叉视角人脸识别方法 | |
WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
CN115457006B (zh) | 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置 | |
CN114581502A (zh) | 基于单目图像的三维人体模型联合重建方法、电子设备及存储介质 | |
CN111612898B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112052736A (zh) | 一种基于云计算平台的田间茶叶嫩梢检测方法 | |
CN115222896A (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
CN112149613B (zh) | 一种基于改进lstm模型的动作预估评定方法 | |
CN110472691A (zh) | 目标定位模块训练方法、装置、机器人及存储介质 | |
CN108830890A (zh) | 一种使用生成式对抗网络从单幅图像中估计场景几何信息的方法 | |
CN116739739A (zh) | 一种贷款额度评估方法、装置、电子设备及存储介质 | |
CN116541701A (zh) | 训练数据生成方法、智能体训练方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |