CN116007616A - 一种基于网络状态决策的自适应地图构建系统及方法 - Google Patents
一种基于网络状态决策的自适应地图构建系统及方法 Download PDFInfo
- Publication number
- CN116007616A CN116007616A CN202310073051.6A CN202310073051A CN116007616A CN 116007616 A CN116007616 A CN 116007616A CN 202310073051 A CN202310073051 A CN 202310073051A CN 116007616 A CN116007616 A CN 116007616A
- Authority
- CN
- China
- Prior art keywords
- map
- loop
- key frames
- module
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000010276 construction Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims description 48
- 230000009466 transformation Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 16
- 230000002787 reinforcement Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 101100365794 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sim3 gene Proteins 0.000 claims description 2
- 230000009471 action Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于网络状态决策的自适应地图构建系统及方法，该系统包括边缘端和移动端，在所述边缘端进一步设置依序连接的第一建图模块和第一回环检测模块；在所述移动端进一步设置依序连接的追踪模块、网络预测模块、决策模块、第二建图模块和第二回环检测模块，依据网络状态决策和传输关键帧数据的部分卸载机制，实现边缘端和移动端自适应切换的定位与制图(SLAM)。本发明主要适用于低性能机器人终端或手机等移动设备，根据当前环境的网络状态和待处理图像的数据量给出了合适的关键帧卸载机制，从而有效降低了处理时延，提高了SLAM定位运行效率。
Description
技术领域
本发明涉及嵌入式视觉领域技术领域，特别是涉及一种自适应地图构建系统及方法。
背景技术
SLAM(同时定位和建图，Simultaneous Localization and Mapping)是指一个搭载传感器的主体在未知环境下的运动过程中建立周边环境模型，同时估计自身的位置的技术。视觉SLAM则是利用摄像头采集的图像数据进行SLAM定位和建图的技术。该技术已经从最初的专属机器人设备不断扩展到智能手机等移动设备上。同时，由于视觉SLAM属于计算和资源密集型任务，随着地图的扩大，任务的复杂性不断增加，移动设备上的计算资源并不能充分满足视觉SLAM不断增长的计算需求。这使得即使是轻量型ORB-SLAM2算法等，也难以在最新的智能手机上实时运行。
边缘计算将网络、计算、存储融合在距离用户侧较近的边缘节点上，为应用提供计算资源的同时减少传输时延。因此，利用边缘资源来卸载视觉SLAM的系统，借助边缘云资源来减少系统运行时间，同时减轻了移动端的能耗，增加移动设备的使用寿命，成为了一种有效的视觉SLAM运行方法。
现有基于边缘卸载的视觉SLAM方法或通过压缩图像数据的整体卸载策略、或基于经典SLAM系统重构策略。这些策略重点关注在如何实现卸载系统，借助边缘资源降低处理时间，同时减少了移动端能耗，提高系统整体运行的效率方面。然而，这些策略都假设在网络状态较好的进行。由于卸载时网络通信避免不了开销和延迟，在移动通信环境下，网络状态并不稳定。如果网络延迟大的情况下进行卸载反而会加大整体的时延，影响系统整体运行时间。因此，需要将边缘卸载减少的能耗等优势和数据传输成本之间权衡，仅当移动端的处理时延大于卸载时延(包括通信时间和边缘处理时间)时，才执行计算卸载。
发明内容
本发明旨在提出了一种基于网络状态决策的自适应地图构建系统及方法，依据网络状态决策和传输关键帧数据的部分卸载机制，实现自适应的定位与制图(SLAM)。
本发明利用以下技术方案实现：
一种基于网络状态决策的自适应地图构建系统，该系统包括边缘端和移动端，在所述边缘端进一步设置依序连接的第一建图模块和第一回环检测模块；在所述移动端进一步设置依序连接的追踪模块、网络预测模块、决策模块、第二建图模块和第二回环检测模块。
其中：
所述第一建图模块，实现地图构建，将关键帧和关键帧生成的新地图点加入地图中、剔除冗余关键帧和地图点，对当前地图执行局部地图BA优化；
所述第一回环检测模块，对关键帧进行闭环连接检测，若检测到闭环的关键帧则执行闭环纠正，将关键帧和地图中关键帧比较识别是否回到之前位置并执行地图点融合，实现全局地图BA优化；
所述追踪模块，对摄像头获取的输入图像进行预处理提取特征生成帧，由相邻帧间的帧特征匹配估计相机位姿，获得关键帧；
所述网络预测模块，根据历史时段的网络带宽，预测下一个时段的网络带宽；
所述决策模块，利用强化学习算法构建建立基于神经网络的决策模型，所述决策模型实现了根据预测时段的网络状态判断将关键帧保留在移动端执行第二建图模块和第二回环检测模块还是发送到边缘端执行第一建图模块和第一回环检测模块；
所述第二建图模块，实现地图构建，包括将关键帧和关键帧生成的新地图点插入地图中，剔除冗余关键帧和地图点，对当前地图执行局部地图BA优化；
所述第二回环检测模块，对关键帧进行闭环连接检测，若检测到闭环的关键帧则执行闭环纠正，将关键帧和地图中关键帧比较识别是否回到之前位置并执行地图点融合，实现全局地图BA优化。
一种基于网络状态决策的自适应地图构建方法，该方法包括以下流程：
步骤S1：对摄像头获取的输入图像进行预处理提取特征生成帧，由相邻帧间的帧特征匹配估计相机位姿，生成关键帧；
步骤S2：根据历史时间序列的观测数据进行下一个时段的网络带宽预测
步骤S3：使用强化学习方法建立基于神经网络的决策模型，获取预测的网络带宽和卸载的关键帧数据量作为决策模型的输入，将相应数据输入到基于强化学习的DQN算法，输出决策结果：SLAM的建图和回环检测在移动端执行或SLAM的建图和回环检测在边缘端执行；分别执行步骤S41-步骤51-步骤61或者步骤S42-步骤52-步骤62；
步骤S41：进行边缘端的建图和回环检测；
步骤S51：创建地图点，融合相邻关键帧地图点，剔除冗余关键帧，实现局部地图BA优化包括对当前地图中的所有地图点进行位姿优化块；
步骤S61：步骤S61：对存在的闭环关键帧计算相似变换，通过Sim3求解两帧之间的相似变换矩阵；相似变换结果传到相邻关键帧，进行包含地图点融合和本质图优化的闭环纠正，以及利用全局BA优化对所有地图点和关键帧进行优化；
步骤S42：进行移动端的建图和回环检测；
步骤S52：创建地图点，融合相邻关键帧地图点，剔除冗余关键帧，实现局部地图BA优化包括对当前地图中的所有地图点进行位姿优化块；
步骤S62：对存在的闭环关键帧计算相似变换，通过Sim3求解两帧之间的相似变换矩阵，相似变换结果会传到相邻关键帧，进行包含地图点融合和本质图优化的闭环纠正，以及利用全局地图BA优化对所有地图点和关键帧进行优化。
相较于传统的技术，本发明的一种基于网络状态决策的自适应地图构建系统及方法，主要适用于低性能机器人终端或手机等移动设备，根据当前环境的网络状态和待处理图像的数据量给出了合适的关键帧卸载机制，从而有效降低了处理时延，提高了SLAM定位运行效率。
附图说明
图1是本发明的基于网络状态决策的自适应视觉预测SLAM系统模块图；
图2是为本发明的追踪模块流程图；
图3是本发明的第一、第二建图模块流程图；
图4为本发明的第一、第二回环检测模块流程图；
图5为本发明的网络检测模块流程图；
图6为本发明的决策模块流程图；
图7为本发明的基于网络状态决策的自适应视觉预测SLAM方法流程图；
附图标记：
1、边缘端，2、移动端，10、第一建图模块，20、第一回环检测模块，30、追踪模块，40、网络预测模块，50、决策模块，60、第二建图模块，70、第二回环检测模块。
具体实施方式
下面将结合附图对本发明的实施方式作进一步的详细描述。
本发明提出了一种基于网络状态自适应的视觉SLAM算法，对于低性能机器人终端或手机等移动设备，根据当前环境的网络状态和待处理图像的数据量，给出合适的卸载机制，有效降低了处理时延，从而提高了SLAM定位运行效率。
针对提出的基于网络状态自适应的视觉SLAM算法，本发明可以解决以下几个问题：
自适应卸载的问题。本发明主要针对关键帧处理的建图和闭环检测模块进行卸载。这种基于关键帧数据的部分卸载，不仅可以减少移动端耗时还减轻了网络通信负担。
分时段卸载方法。以k个关键帧为一组划分若干时段，基于每个时段场景中的网络状态选择是否卸载。相比单一的卸载系统，这种卸载方式很大程序上降低了整体运行时延。
卸载方法频繁切换问题。合理设置关键帧数目k，每个时隙可以实时独立构图，这样又可以避免网络状态不断变化时卸载方式产生频繁切换，从而导致产生较大网络时延，影响系统运行的实时性。
如图1所示，为本发明的一种基于网络状态决策的自适应地图构建系统模块图。该系统包括边缘端1和移动端2，在所述边缘端1进一步包含第一建图模块10和第一回环检测模块20。在所述移动端2进一步包括追踪模块30、网络预测模块40、决策模块50、第二建图模块60和第二回环检测模块70。
在所述边缘端1：
所述第一建图模块10，通过追踪线程进行选取的关键帧处理实现地图库80构建。地图库构建是将关键帧和关键帧生成的新地图点加入地图中、剔除冗余关键帧和地图点，对当前地图执行局部地图80BA优化，实现地图的管理；
第一回环检测模块20，对关键帧进行闭环检测，若检测到闭环则执行闭环纠正。将关键帧和地图中关键帧比较识别是否回到之前位置并执行地图点融合，实现全局地图90的BA优化，从而避免长时间运行的累计漂移误差。
在所述移动端2：
所述追踪模块30，对摄像头获取的输入图像进行预处理提取特征生成帧，由相邻帧间的帧特征匹配估计相机位姿，按照预先设定规则判断该帧是否作为关键帧，关键帧作为该模块的输出；
此模块一直在移动端运行，主要的目的是对摄像头获取的图像进行预处理提取特征，接着对相邻的帧特征匹配从而得相机位姿。最后，从帧中选取关键帧作为接下来建图的输入。
所述网络预测模块40，根据以往时间序列的观测数据进行网络带宽预测，为所述决策模块50提供输入；具体的，根据历史时段的网络带宽，预测下一个时段的网络带宽。该预测模型根据该时段相邻的前两时段的网络带宽，预测该时期的网络带宽。
所述决策模块50，对于每个时隙，利用强化学习算法对关键帧的处理位置进行决策；具体为根据预测时段的网络状态，判断将关键帧保留在移动端执行第二建图模块和第二回环检测模块还是发送到边缘端执行第一建图模块和第一回环检测模块，从而满足既能实现建图的实时性又能最小化移动端能耗；。
所述第二建图模块60，通过追踪线程进行选取的关键帧处理实现地图库80构建。地图库构建是将关键帧和关键帧生成的新地图点插入地图中，同时剔除冗余关键帧和地图点，对当前地图执行局部地图80BA优化。
所述第二回环检测模块70，对关键帧进行闭环检测，若检测到闭环则执行闭环纠正。将关键帧和地图中关键帧比较识别是否回到之前位置并执行地图点融合，实现全局地图90BA优化，从而避免长时间运行的累计漂移误差。
如图2所示，为本发明的追踪模块流程图。
步骤1.1：预处理：对于传入的每帧图片特征提取和匹配从而构造当前帧，初始化一个局部地图，将图像数据转换为系统后续识别和处理的帧数据，之后就不用区分双目或深度图像信息；
步骤1.2：位姿估：优先根据相邻帧恒速运动模型估计初始位姿，失败则用参考关键帧方法，再失败直接重定位；
步骤1.3：跟踪局部地图：将地图点投影到当前帧上得到更多的匹配点从而进一步优化当前位姿：
步骤1.4：生成关键帧：对于每帧图像判断其是否满足作为关键帧的条件，满足则产生关键帧。
如图3所示，为本发明的第一、第二建图模块流程图。
步骤2.1：进行关键帧处理：当关键帧队列非空时，首先从缓存队列中取出关键帧，然后计算词袋向量，进行当前帧地图点处理和共视图更新等；
步骤2.2：剔除地图点：对于新增加的地图点，根据其观测情况删除不好的地图点；
步骤2.3：创建地图点：将传来的每个关键帧与共视程度最高的k个相邻关键帧匹配然后三角化生成新的地图点；相机运动基线较短时会跳出当前相邻帧的匹配，进行下一个相邻关键帧的匹配和三角化工作；
步骤2.4：融合相邻关键帧地图点：如果当前关键帧队列中没有关键帧，执行融合当前关键帧和其两级相邻关键帧重复的地图点；
步骤2.5：剔除冗余关键帧：若此时回环检测线程没有请求停止建图线程而且当时队列为空，则剔除冗余关键帧；
步骤2.6：局部地图BA优化：对当前地图中的所有地图点进行位姿优化。
如图4所示，为本发明的第一、第二回环检测模块流程图。
步骤3.1：检测回环：判断当前关键帧距离上次回环的间隔，若间隔小于10个关键帧，则直接返回false；否则，继续找该关键帧的候选闭环关键帧，没有找到同样返回false；当该关键帧存在候选闭环关键帧时，检测关键帧组的连续性判断闭环是否成功；
步骤3.2：计算相似变换：对当前关键帧和闭环候选关键帧之间匹配的地图点通过sim3算法计算相似变换，该算法通过3对匹配点求解相似变换矩阵SE3，
其中，尺度因子为s，旋转矩阵为R，平移矩阵为t；
步骤3.3：闭环纠正：将相似变换结果传到相邻关键帧，进行闭环纠正；主要包括地图点融合和本质图优化，本质图优化是位姿图优化的一种，它由生成树、闭环连接关系和共视图中具有强共视关系的边构成；
步骤3.4：全局地图BA优化：基于地图点到关键帧之间的投影关系，对所有关键帧和地图点执行BA(BundleAdjustment)优化。
如图5所示，是本发明的网络预测模块流程图。
步骤4.1：获取历史网络状态：获取各个时段的历史网络带宽NT＝{nt1，nt2...ntp}；
步骤4.2：设置初始化参数：即设置好预测需要的初始权重系数w1＝0.2，w2＝0.4和学习系数k＝0.7；
步骤4.3：计算预测值：这里使用的预测模型为自适应滤波法，其先用初始的一组权重计算一个预测值，然后计算预测误差，再根据预测调整权重系数。这样反复进行会找到一组最佳权重，使预测误差最小。自适应滤波法过程如下：
其中，
为t+1时的预测值，yt-i+1和wi分别为第t-i+1期的真实值和真实值权重系数，N为权重个数。其调整权数的公式为：
其中，wi为调整前第i个权重系数，
为调整后第i个权重系数，k为学习系数，ei+1为t+1期的预测误差。这样，调整后一组权重等于旧的权重加上误差调整项。
预测当前时段网络带宽，计算公式为：
其中，
为j时隙的网络带宽预测值；ntj-1为第j-1时隙网络带宽的真实值；ntj-2为j-2时隙内的网络带宽真实值。
如图6所示，为本发明的决策模块具体流程图。
步骤5.1：初始化：即使用强化学习方法建立基于神经网络的决策模型，设置训练好的模型权重；
步骤5.2：获取输入数据：基于神经网络决策模型的的输入为系统的状态；系统状态s由预测的网络带宽和卸载的关键帧数据量两部分组成，其中s＝(da,ntj)，da为关键帧的数据量，ntj为当前时隙的网络带宽预测值；
步骤5.3：设置奖励：瞬时回报R(s,a)表示智能体在当前时刻系统处于状态s时，采取动作a后的反馈，定义瞬时回报
其中，tj为第j个时隙的关键帧需要运行的总时长；
步骤5.4：将步骤5.3中的奖励设置，步骤5.2获取好的输入数据输入到强化学习DQN算法中，训练模型，开始执行算法；
步骤5.5：获取输出结果：获取基于强化学习的DQN算法输出结果，即每个时隙的决策结果Xj：该结果是一个二值变量，1表示SLAM的建图和回环检测在移动端执行，0则表示在边缘端执行；
步骤5.6：发送关键帧：根据决策结果决定关键帧的执行位置，本地(移动端)则无需网络传送，边缘端则需要网络传输。
如图7所示，为本发明的一种基于网络状态决策的自适应地图构建方法整体流程图。
步骤S1：对摄像头获取的输入图像进行预处理提取特征生成帧，由相邻帧间的帧特征匹配估计相机位姿，生成关键帧；
步骤S2：根据历史时间序列的观测数据进行下一个时段的网络带宽预测
步骤S3：使用强化学习方法建立基于神经网络的决策模型，获取预测的网络带宽和卸载的关键帧数据量作为决策模型的输入，将相应数据输入到基于强化学习的DQN算法，输出决策结果：SLAM的建图和回环检测在移动端执行或SLAM的建图和回环检测在边缘端执行；分别执行步骤S41-步骤51-步骤61或者步骤S42-步骤52-步骤62；
步骤S41：进行边缘端的建图和回环检测；
步骤S51：创建地图点，融合相邻关键帧地图点，剔除冗余关键帧，实现局部地图BA优化包括对当前地图中的所有地图点进行位姿优化块；
步骤S61：对存在的闭环关键帧计算相似变换，通过Sim3求解两帧之间的相似变换矩阵；相似变换结果会传到相邻关键帧，进行闭环纠正，主要是地图点融合和本质图优化，利用全局地图BA优化对所有地图点和关键帧进行优化；
步骤S42：进行移动端的建图和回环检测；
步骤S52：创建地图点，融合相邻关键帧地图点，剔除冗余关键帧，实现局部地图BA优化包括对当前地图中的所有地图点进行位姿优化块；
步骤S62：对存在的闭环关键帧计算相似变换，通过Sim3求解两帧之间的相似变换矩阵。相似变换结果会传到相邻关键帧，进行闭环纠正，主要是地图点融合和本质图优化，利用全局地图BA优化对所有地图点和关键帧进行优化；
综上所述，本发明采用传输关键帧数据的部分卸载机制，极大减少卸载时网络负载，使得传输更加高效；通过强化学习方法进行卸载决策，最小化系统中计算量大的建图和回环模块的时延。
需要说明的是，尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，本发明并不局限于上述实施方式凡是对本发明的各种改变均落入本发明申请保护范围。
Claims (8)
1.一种基于网络状态决策的自适应地图构建系统，其特征在于，该系统包括边缘端和移动端，在所述边缘端进一步设置依序连接的第一建图模块和第一回环检测模块；在所述移动端进一步设置依序连接的追踪模块、网络预测模块、决策模块、第二建图模块和第二回环检测模块。
2.如权利要求1所述的一种基于网络状态决策的自适应地图构建系统，其特征在于，其中：
所述第一建图模块，实现地图构建，将关键帧和关键帧生成的新地图点加入地图中、剔除冗余关键帧和地图点，对当前地图执行局部地图BA优化；
所述第一回环检测模块，对关键帧进行闭环连接检测，若检测到闭环的关键帧则执行闭环纠正，将关键帧和地图中关键帧比较识别是否回到之前位置并执行地图点融合，实现全局地图BA优化；
所述追踪模块，对摄像头获取的输入图像进行预处理提取特征生成帧，由相邻帧间的帧特征匹配估计相机位姿，获得关键帧；
所述网络预测模块，根据历史时段的网络带宽，预测下一个时段的网络带宽；
所述决策模块，利用强化学习算法构建建立基于神经网络的决策模型，所述决策模型实现了根据预测时段的网络状态判断将关键帧保留在移动端执行第二建图模块和第二回环检测模块还是发送到边缘端执行第一建图模块和第一回环检测模块；
所述第二建图模块，实现地图构建，包括将关键帧和关键帧生成的新地图点插入地图中，剔除冗余关键帧和地图点，对当前地图执行局部地图BA优化；
所述第二回环检测模块，对关键帧进行闭环连接检测，若检测到闭环的关键帧则执行闭环纠正，将关键帧和地图中关键帧比较识别是否回到之前位置并执行地图点融合，实现全局地图BA优化。
3.如权利要求2所述的一种基于网络状态决策的自适应地图构建系统，其特征在于，所述追踪模块包括以下处理：
预处理：对于传入的每帧图片特征提取和匹配从而构造当前帧，初始化一个局部地图，将图像数据转换为系统后续识别和处理的帧数据；
位姿估计：根据相邻帧恒速运动模型估计初始位姿，失败则用参考关键帧方法，再失败直接重定位；
跟踪局部地图：将地图点投影到当前帧上得到的匹配点，优化当前位姿：
生成关键帧：对于每帧图像判断其是否满足作为关键帧的条件，满足则产生关键帧。
4.如权利要求2所述的一种基于网络状态决策的自适应地图构建系统，其特征在于，所述第一建图模块和所述第二建图模块包括以下处理：
进行关键帧处理：当关键帧队列非空时，首先从缓存队列中取出关键帧，然后计算词袋向量，进行当前帧地图点处理和共视图更新；
剔除地图点：对于新增加的地图点，根据其观测情况删除不好的地图点；
创建地图点：将传来的每个关键帧与共视程度最高的l个相邻关键帧匹配然后三角化生成新的地图点；
融合相邻关键帧地图点：如果当前关键帧队列中没有关键帧，执行融合当前关键帧和其两级相邻关键帧重复的地图点；
剔除冗余关键帧：若此时回环检测线程没有请求停止建图线程且当时队列为空，则剔除冗余关键帧；
局部地图BA优化：对当前地图中的所有地图点进行位姿优化。
5.如权利要求2所述的一种基于网络状态决策的自适应地图构建系统，其特征在于，所述第一回环检测模块和所述第二回环检测模块具体包括以下处理：
步骤3.1：检测回环：判断当前关键帧距离上次回环的间隔，若间隔小于10个关键帧或该关键帧不存在候选闭环关键帧，则直接返回false；当该关键帧存在候选闭环关键帧时，检测关键帧组的连续性判断闭环是否成功；
步骤3.2：计算相似变换：对当前关键帧和闭环候选关键帧之间匹配的地图点通过sim3算法计算相似变换，该算法通过3对匹配点求解相似变换矩阵SE3，
其中，尺度因子为s，旋转矩阵为R，平移矩阵为t；
步骤3.3：闭环纠正：将相似变换结果传到相邻关键帧，进行包括地图点融合和本质图优化的闭环纠正；
步骤3.4：全局地图BA优化：基于地图点到关键帧之间的投影关系，对所有关键帧和地图点执行BA优化。
6.如权利要求2所述的一种基于网络状态决策的自适应地图构建系统，其特征在于，所述网络预测模块具体包括以下处理：
步骤4.1：获取历史网络状态：获取各个时段的历史网络带宽NT＝{nt1，nt2...ntp}；
步骤4.2：设置初始化参数：初始权重系数w1＝0.2，w2＝0.4和学习系数k＝0.7；
步骤4.3：计算预测值：执行利用自适应滤波法，由初始的一组权重计算一个预测值，计算预测误差，根据预测调整权重系数，直至找到一组最佳权重，使预测误差最小；其中：
自适应滤波法过程如下：
其中，
为t+1时的预测值，yt-i+1和wi分别为第t-i+1期的真实值和真实值权重系数，N为权重个数；其调整权数的公式为
其中，wi为调整前第i个权重系数，
为调整后第i个权重系数，k为学习系数，ei+1为t+1期的预测误差；调整后一组权重等于旧的权重加上误差调整项；
预测当前时段网络带宽，计算公式为：
其中，
为j时隙的网络带宽预测值，ntj-1为第j-1时隙网络带宽的真实值，ntj-2为j-2时隙内的网络带宽真实值。
7.如权利要求1所述的一种基于网络状态决策的自适应地图构建系统，其特征在于，所述决策模块具体包括以下处理：
步骤5.1：初始化：使用强化学习方法建立基于神经网络的决策模型，设置训练好的模型权重；
步骤5.2：获取输入数据：基于神经网络决策模型的的输入为系统的状态；系统状态s由预测的网络带宽和卸载的关键帧数据量两部分组成，其中s＝(da,ntj)，da为关键帧的数据量，ntj为当前时隙的网络带宽预测值；
步骤5.3：设置奖励：定义瞬时回报
其中，tj为第j个时隙的关键帧需要运行的总时长，a为当前时刻系统采取的动作，s为当前时刻系统处于的状态；
步骤5.4：将步骤5.3中的奖励设置，步骤5.2获取好的输入数据输入到强化学习DQN算法中，训练模型，开始执行算法；
步骤5.5：获取输出结果：即获取基于强化学习的DQN算法输出结果，每个时隙的决策结果Xj：该结果为1表示SLAM的建图和回环检测在移动端执行，该结果为0则表示在边缘端执行；
步骤5.6：发送关键帧：根据决策结果决定发送关键帧的执行位置选择移动端或者边缘端。
8.一种基于网络状态决策的自适应地图构建方法，其特征在于，该方法包括以下流程：
步骤S1：对摄像头获取的输入图像进行预处理提取特征生成帧，由相邻帧间的帧特征匹配估计相机位姿，生成关键帧；
步骤S2：根据历史时间序列的观测数据进行下一个时段的网络带宽预测
步骤S3：使用强化学习方法建立基于神经网络的决策模型，获取预测的网络带宽和卸载的关键帧数据量作为决策模型的输入，将相应数据输入到基于强化学习的DQN算法，输出决策结果：SLAM的建图和回环检测在移动端执行或SLAM的建图和回环检测在边缘端执行；分别执行步骤S41-步骤51-步骤61或者步骤S42-步骤52-步骤62；
步骤S41：进行边缘端的建图和回环检测；
步骤S51：创建地图点，融合相邻关键帧地图点，剔除冗余关键帧，实现局部地图BA优化包括对当前地图中的所有地图点进行位姿优化块；
步骤S61：步骤S61：对存在的闭环关键帧计算相似变换，通过Sim3求解两帧之间的相似变换矩阵；相似变换结果传到相邻关键帧，进行包含地图点融合和本质图优化的闭环纠正，以及利用全局BA优化对所有地图点和关键帧进行优化；
步骤S42：进行移动端的建图和回环检测；
步骤S52：创建地图点，融合相邻关键帧地图点，剔除冗余关键帧，实现局部地图BA优化包括对当前地图中的所有地图点进行位姿优化块；
步骤S62：对存在的闭环关键帧计算相似变换，通过Sim3求解两帧之间的相似变换矩阵，相似变换结果会传到相邻关键帧，进行包含地图点融合和本质图优化的闭环纠正，以及利用全局地图BA优化对所有地图点和关键帧进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310073051.6A CN116007616A (zh) | 2023-01-18 | 2023-01-18 | 一种基于网络状态决策的自适应地图构建系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310073051.6A CN116007616A (zh) | 2023-01-18 | 2023-01-18 | 一种基于网络状态决策的自适应地图构建系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116007616A true CN116007616A (zh) | 2023-04-25 |
Family
ID=86019235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310073051.6A Pending CN116007616A (zh) | 2023-01-18 | 2023-01-18 | 一种基于网络状态决策的自适应地图构建系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116007616A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117697769A (zh) * | 2024-02-06 | 2024-03-15 | 成都威世通智能科技有限公司 | 一种基于深度学习的机器人控制系统和方法 |
-
2023
- 2023-01-18 CN CN202310073051.6A patent/CN116007616A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117697769A (zh) * | 2024-02-06 | 2024-03-15 | 成都威世通智能科技有限公司 | 一种基于深度学习的机器人控制系统和方法 |
| CN117697769B (zh) * | 2024-02-06 | 2024-04-30 | 成都威世通智能科技有限公司 | 一种基于深度学习的机器人控制系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111787509B (zh) | 边缘计算中基于强化学习的无人机任务卸载方法及系统 | |
| CN110347500B (zh) | 用于边缘计算环境中面向深度学习应用的任务卸载方法 | |
| CN110809306B (zh) | 一种基于深度强化学习的终端接入选择方法 | |
| CN111092823A (zh) | 一种自适应调节拥塞控制初始窗口的方法和系统 | |
| CN111625361A (zh) | 一种基于云端服务器和IoT设备协同的联合学习框架 | |
| US20060140493A1 (en) | Video encoding techniques | |
| KR20030070278A (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
| CN116007616A (zh) | 一种基于网络状态决策的自适应地图构建系统及方法 | |
| CN110942142B (zh) | 神经网络的训练及人脸检测方法、装置、设备和存储介质 | |
| US20230123472A1 (en) | Vision-aided wireless communication systems | |
| CN112995343B (zh) | 一种具有性能与需求匹配能力的边缘节点计算卸载方法 | |
| CN113645637B (zh) | 超密集网络任务卸载方法、装置、计算机设备和存储介质 | |
| Fragkos et al. | Artificial intelligence enabled distributed edge computing for Internet of Things applications | |
| CN114285853A (zh) | 设备密集型工业物联网中基于端边云协同的任务卸载方法 | |
| Kanzaki et al. | Video streaming schemes for industrial IoT | |
| CN112866006A (zh) | 一种基于时延能耗权衡的云雾融合网络多目标任务卸载方法 | |
| CN114385272B (zh) | 面向海洋任务的在线自适应计算卸载方法及系统 | |
| CN114301910A (zh) | 一种物联网环境下的云边协同计算任务卸载方法 | |
| Hou et al. | Real-time surveillance video salient object detection using collaborative cloud-edge deep reinforcement learning | |
| CN116760722A (zh) | 一种存储辅助mec任务卸载系统及资源调度方法 | |
| CN114077482B (zh) | 一种工业智能制造边缘智能计算优化方法 | |
| CN114661444A (zh) | 调度方法、第一计算节点、第二计算节点以及调度系统 | |
| CN114742166A (zh) | 一种基于时延优化的通信网现场维护模型迁移方法 | |
| Nghiem et al. | Learning-based adaptive quantization for communication-efficient distributed optimization with admm | |
| CN110072216B (zh) | 一种面向预测控制的最优缓存方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |