CN115908730A - 一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法 - Google Patents
一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法 Download PDFInfo
- Publication number
- CN115908730A CN115908730A CN202211415200.4A CN202211415200A CN115908730A CN 115908730 A CN115908730 A CN 115908730A CN 202211415200 A CN202211415200 A CN 202211415200A CN 115908730 A CN115908730 A CN 115908730A
- Authority
- CN
- China
- Prior art keywords
- edge
- data
- remote control
- control end
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 239000000872 buffer Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种在低通信带宽下远程操控端基于边缘的三维场景重建系统及方法，系统包括机器人端的控制指令接收模块、数据采集模块、数据处理模块、算法处理模块、数据发送模块；以及远程操控端的控制指令发送模块、数据接收模块、图像显示模块。在机器人端通过基于深度学习的边缘提取算法对数据进行处理，提取出图像边缘，后续仅将提取出的图像边缘传输到远程操控端；在远程操控端使用建模工具将接收到的边缘数据进行三维重建，并输出重建的三维地图。本发明对图像边缘轮廓筛选提取并将结果传输至操控端进行同步建图，解决了低通信带宽条件下图像高效传输问题，提高远程操控端工作效率，满足方便高效构建勘探图的要求。
Description
技术领域
本发明属于基于视觉的三维重建技术，具体为一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法。
背景技术
近十年来，远程同时定位与建图技术得到很快的发展。传统方法是使用本地计算机远程登录远程服务器，然后将远端服务器的处理结果通过网络传递到本地进程，将在本地主机上呈现创建的地图，对网络带宽的要求很高。如果想要更流畅的体验，就需要占用更多的带宽资源。
在城市、地下、边境等环境中，存在通讯信号易受干扰、侦察信息不完备，人员反应不迅速等问题，因此亟需实现低带宽需求下的有效三维场景重建。厦门大学的赵程建议通过语音与机器人交互来构建地图，将传感器端的位置返回给客户端，并记录下来。该方法传输的数据较少，但不能直观反映传感器在整个环境中所处的位置。
发明内容
本发明的目的在于提出了一种在低通信带宽下远程操控端基于边缘的三维场景重建方法，开创性地将三维场景地图直接呈现于操控端，采用C/S的设计模式并且自主设计交互协议，加速可视化，提高观察员控制环境的能力。
实现本发明目的的技术方案为：一种在低通信带宽下远程操控端基于边缘的三维场景重建系统，包括远程操控端和机器人端，所述机器人端用于根据远程操控端下发的控制指令控制机器人移动，并在移动过程中通过基于深度学习的边缘提取算法进行边缘图像提取并将图像边缘数据发送给远程操控端，所述远程操控端使用机器人端发送的边缘数据进行三维重建并显示三维重建地图。
优选地，所述机器人端包括控制指令接收模块、数据采集模块、数据处理模块、算法处理模块、数据发送模块，其中：
所述数据采集模块用于采集视觉传感器所到范围内的图像数据；
所述数据处理模块用于对数据采集模块采集的图像数据进行预处理，调整图像的大小；
所述算法处理模块用于对数据处理模块预处理后的图像进行边缘提取，具体为：通过基于深度学习的边缘提取算法对数据进行处理，提取图像边缘。
优选地，算法处理模块用于对数据处理模块预处理后的图像进行边缘提取的具体过程为：
利用训练好的边缘模型进行边缘提取，包括：
通过canny边缘检测算法提取轮廓点数据，围绕候选轮廓点选择4个尺度的数据块输入五层KNet卷积层，在每个卷积层输出时，只输出围绕中心点提取特征图的一个子特征图；经过第一层KNet卷积层后得到边缘轮廓的表示；第二卷积层学习边缘结构；第三卷积层得到复杂纹理结构，第四层得到对应于原型对象形状的所有纹理结构；第五层对特定的所需边缘纹理进行提取，平均5层卷积层的输出数据，产生最终的轮廓预测结果。
优选地，所述远程操控端包括图像显示模块，所述图像显示模块利用三维建模工具进行整合并显示，具体包括：
使用增量式SFM技术对机器人端发送的边缘数据进行稀疏重建，获得稀疏三维点云；利用GEM模型进行匹配代价构造、累计和优化进行求解，得到深度估计图
对估计出的深度图，通过配准进行深度图融合，按照投影方法进行点云恢复。
优选地，具体步骤为：
S1：在机器人端收集视觉传感器在实际场景下的数据集，并对数据集进行清洗和标注，得到带有固定结构标签的训练数据集；
S2：在机器人端利用标注好的图片进行神经网络模型的训练，得到边缘模型；
S3：在机器人端利用训练好的边缘模型对实时采集的图像数据进行边缘提取并将边缘提取数据发送给远程操控端；
S4：在远程操控端利用三维建模工具对边缘提取数据进行三维重建。
优选地，神经网络模型的训练过程具体为：
将剪裁后的标签对图片导入标签文件，开始网络训练，当损失函数不再降低时停止训练，训练过程中，选择所有正样本和一个负样本随机分区来训练网络，使得负/正比率接近2:1，损失函数采用L1范数。
优选地，边缘模型对实时采集的图像数据进行边缘提取的具体过程为：
通过canny边缘检测算法提取轮廓点数据，围绕候选轮廓点选择4个尺度的数据块输入五层KNet卷积层，在每个卷积层输出时，只输出围绕中心点提取特征图的一个子特征图；经过第一层KNet卷积层后得到边缘轮廓的表示；第二卷积层学习边缘结构；第三卷积层得到复杂纹理结构，第四层得到对应于原型对象形状的所有纹理结构；第五层对特定的所需边缘纹理进行提取，平均5层卷积层的输出数据，产生最终的轮廓预测结果。
优选地，利用三维建模工具进行三维重建包括以下步骤：
S4.1：利用S3所提取出的边缘图像作为数据集；使用增量式SFM技术对边缘数据集进行稀疏重建；
S4.2：利用GEM模型进行匹配代价构造、累计和优化进行求解，得到深度估计图；S4.3：对估计出的深度图，通过配准进行深度图融合，按照投影方法进行点云恢复。本发明与现有技术相比，其显著优点为：1.本发明开创性地提出在机器人端通过深度学习边缘提取算法对图像进行处理，仅提取出需要的关键固定结构部分数据传送到操控端，解决了低通信带宽下图像高效传输问题；
2.本发明使用基于深度学习的边缘提取算法，有效地对图像关键信息进行筛选提取，更准确、更鲁棒地提取出室外道路或室内空间所需的建筑物、树干、固定结构，为远程操控端整合显示三维图像起到铺垫作用，提高远程操控端工作效率；
3.本发明实现了操控端同步建图，在恶劣条件下和低通信带宽下为应急计划提供保护，满足方便高效构建勘探图的要求。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为机器人端与远程操控端的数据传输方案框架图。
图2为图像数据采集单元采集数据的流程图。
图3为系统工作方法流程图。
图4为基于深度学习的边缘提取算法流程图。
图5为三维建模工具工作流程图。
图6为经过边缘提取的边缘图效果。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。相反，提供这些实施例的目的是为了使本领域的技术人员更透彻地理解本发明。下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的创新构思。
本发明构思为，一种在低通信带宽下远程操控端基于边缘的三维场景重建系统，包括远程操控端和机器人端。机器人端通过局域网接收远程操控端下发的控制指令控制机器人移动，在移动时通过基于深度学习的边缘提取进行三维场景的构建。极端通信条件下带宽较低，构建地图需要一边探索一边构建，随着探索范围扩大，生成的三维场景会不断扩大。在远程传输的情况下，直接传输的带宽要求将提高。
因此机器人端通过基于深度学习的边缘提取算法对数据进行压缩，减少传输数据量，然后通过数据发送模块，图像数据被发送到远程控制终端，远程操控端通过数据接收模块接收数据后，通过图像显示模块，使用三维建模工具将接收到的数据整合并展示在远程操控端。
上述系统包含机器人端的控制指令接收模块、数据采集模块、数据处理模块、算法处理模块、数据发送模块；以及远程操控端的控制指令发送模块、数据接收模块、图像显示模块。
所述控制指令发送模块和控制指令接收模块、数据发送模块和数据接收模块即机器人端与远程操控端产生信息交互，机器人端随之做出相应的移动、数据采集、处理、发送等操作。
所述数据采集模块包括图像数据采集单元，用于采集机器人传感器端视觉传感器所到范围内的图像数据。
所述数据处理模块即对数据采集模块采集的图像数据进行预处理，为算法处理模块准备好数据。其包括图像数据预处理单元，用于调整输入图像的大小。
所述算法处理模块接收数据处理模块预处理好的图像数据进行算法决策。通过基于深度学习的边缘提取算法对数据进行压缩，在牺牲了少量图像特征的基础上，形成极少数关键点信息，减少传输数据量，降低信息传输对数据链带宽的需求，成倍地提高了模块的处理速度。
所述数据发送模块用于将图像数据被发送到远程控制终端。
远程操控端包括控制指令发送模块、数据接收模块、图像显示模块，数据接收模块收到数据后，图像显示模块将接收到的数据利用三维建模工具进行整合并显示。
所述控制指令发送模块用于下发机器人控制指令。
一种基于深度学习的边缘提取在低通信带宽下的三维场景重建方法，包括以下步骤：
S1：收集视觉传感器在实际场景下的数据集，如道路、室内、地下空间。对视频进行预处理，对图片集进行清洗和人工标注，得到带有建筑物、树干、门框等固定结构标签的训练数据集；
在某些实施例中，对图像进行裁剪，裁剪后的尺寸为80×80，减少GPU内存使用量，每个剪裁后的图像，将其放置在边缘图上对应的位置，作为边缘基准标签的标记；
S2：利用标注好的图片进行神经网络模型的训练并在验证集上测试其性能，得到所需提取的边缘模型；
神经网络模型的训练过程包括以下步骤：
S2.1：将这些剪裁后的标签对图片导入标签文件，开始网络训练。
S2.2：训练本发明的CNN，损失函数不再降低时停止训练。对于大量的负样本，为了平衡负样本和正样本之间的比率，选择所有正样本和一个小的负样本随机分区来训练网络，使得负/正比率接近2:1。损失函数采用了L1范数,训练100代，得到100个mat，最后得出网络model结果。经过树干、固定结构边缘提取的图像结果如图6所示。
S3：利用训练好的边缘模型进行边缘提取；
如图2所示，DeepEdge轮廓提取整体网络模型分为上下两个单独训练的网络分支，上部分分支是训练分类，下部分分支是训练回归因子，对这两个子网络的标量输出进行平均计算，得到最终的输出数据。首先，通过canny边缘检测算法提取轮廓点数据，然后围绕候选轮廓点选择4个尺度的数据块，分别是55×55，27×27，13×13和6×6，投入五个卷积层。为了提取高级特征，在每个卷积层输出时，只输出围绕中心点提取特征图的一个小的子特征图。经过第一层KNet卷积层后得到边缘轮廓的简单表示；第二卷积层学习边缘结构；第三卷积层得到复杂纹理结构。第四层得到对应于原型对象形状的所有纹理结构；而第五层对特定的所需边缘纹理进行提取。平均计算这5层的输出数据，产生最终的轮廓预测结果。
S4：利用三维建模工具对边缘提取数据进行三维重建，查看结果的清晰性和完整性。
其中，S4步骤中利用三维建模工具进行三维重建包括以下步骤：
S4.1：数据采集，利用S3所提取出的边缘图像作为数据集；使用增量式SFM技术对数据集进行稀疏重建。具体过程为：增量式SFM选择无序影像进行特征匹配，并进行几何纠正、三角测量恢复稀疏点云结构，通过已有点云重新估计相对姿态，再进行局部和全局的BA优化。之后逐步向已有的结构中增加视角或影像，进行三角测量和姿态估计，再进行BA优化修正结构数据，最后输出全部的相机参数和稀疏三维点云。
S4.2：进行基于深度图融合的稠密重建。利用GEM模型进行匹配代价构造、累计和优化进行求解，得到深度估计图。匹配代价构造利用NCC作为影像间光学一致性的测度，特征l的最优拟合平面或此特征的深度和法向量一定满足：
其中，为特征深度，为特征法向量。
利用Patch Match进行深度传递，对初始深度图进行过滤，如果特征l在代表i上对应的像素在多视图之间稳定，且满足：
q(α)q(β)q(κ)指同一视角下，不同帧之间同一特征点之间的距离数值。
即可认为多视图之间几何关系稳定，输出深度图计算结果。
S4.3：深度估计的时间随图片数量增多而增加，对估计出的深度图。通过配准进行深度图融合，按照投影方法进行点云恢复。
实施例1
在作战、灾害、偏远山区等环境下，通信带宽低。基于此情况，开发一种对视频图像数据重要部分进行边缘提取重建三维场景图的方法，使得机器人端与操控端准确、迅速地进行传输与场景重建迫在眉睫。
为解决此问题，本发明提供一种在低通信带宽下远程操控端基于边缘的三维场景重建方法，机器人端使用ZED双目立体相机作为视觉传感器。通过视觉传感器的移动进行视频采集，同步建图。
下面对本发明的远程操控端基于边缘的三维场景重建方法进行介绍。
图1为本系统的结构示意图，如图1所示，该系统包含机器人端的控制指令接收模块、数据采集模块、数据处理模块、算法处理模块、数据发送模块；以及远程操控端的控制指令发送模块、数据接收模块、图像显示模块。
其中，远程操控端基于边缘的三维场景重建系统的各模块可以各自独立，封装成单独的功能模块，例如可以使用个人笔记本调用数据采集模块进行数据的采集。此外，本发明提供的系统中的各模块功能也可以集成到一起，本发明不对各模块的具体形式进行设定，只要能实现各模块的功能即可。
具体的，数据采集模块包括图像数据采集单元，用于采集机器人端视觉传感器所到范围内的图像数据。首先打开视频文件，查询视频设备能力，设置视频采集的参数，例如采集图像的大小，格式；接下来，向驱动程序申请视频流数据的帧缓冲器，然后通过内存映射，将帧缓冲器的地址空间映射到用户空间，将所有应用的帧缓冲器放入视频捕获输出队列以开始数据收集，最后重复从视频捕获输出队列中取出帧缓冲器的循环，并且帧缓冲器被重新布置到输入队列中以实时获得最新的图像数据。
数据处理模块对数据采集模块采集的图像数据进行预处理，并为算法处理模块准备数据。其包括图像数据预处理单元，用于调整输入图像的大小，最终达到高频处时间细分。低频下的频率细分，可自动适应信号的要求，从而关注细节并消除噪声。
算法处理模块接收数据处理模块预处理好的图像数据进行算法决策。通过基于深度学习的边缘提取算法对数据进行压缩，在牺牲了少量图像特征的基础上，形成极少数关键点信息，减少传输数据量，降低信息传输对数据链带宽的需求，成倍地提高了模块的处理速度。
图像显示模块即远程操控端通过数据接收模块收到数据后，将接收到的数据利用三维建模工具进行整合并显示。最终在远程操控端输出重建出的三维图像。
如图3所示，一种在低通信带宽下远程操控端基于边缘的三维场景重建方法，包括以下步骤：
S1：收集视觉传感器在实际场景下的数据集，如道路、室内、地下空间。对视频进行预处理，对图片集进行清洗和人工标注，得到带有建筑物、树干、门框等固定结构标签的训练数据集；
S2：利用标注好的图片进行神经网络模型的训练并在验证集上测试其性能，得到所需提取的边缘模型；
S3：利用训练好的边缘模型进行边缘提取，生成待使用数据；
S4：利用三维建模工具对上述结果进行三维重建，查看结果的清晰性和完整性。
具体的，如图4所示，所述S2步骤中的网络训练过程包括以下步骤：
S2.1：将这些剪裁后的标签对图片导入标签文件，开始网络训练。利用DeepEdge轮廓提取算法，得到所需提取的边缘模型。
S2.2：训练本发明的CNN，损失函数不再降低时停止训练。对于大量的负样本，为了平衡负样本和正样本之间的比率，选择所有正样本和一个小的负样本随机分区来训练网络，使得负/正比率接近2:1。损失函数采用了L1范数,训练100代，得到100个mat，最后得出网络model结果。经过树干、固定结构边缘提取的图像结果如图6所示。
如图5所示，所述S4步骤中利用三维建模工具进行三维重建包括以下步骤：
S4.1：数据采集，利用S3所提取出的边缘图像作为数据集；使用增量式SFM技术对数据集进行稀疏重建。具体过程为：增量式SFM选择无序影像进行特征匹配，并进行几何纠正、三角测量恢复稀疏点云结构，通过已有点云重新估计相对姿态，再进行局部和全局的BA优化。之后逐步向已有的结构中增加视角或影像，进行三角测量和姿态估计，再进行BA优化修正结构数据，最后输出全部的相机参数和稀疏三维点云。
S4.2：进行基于深度图融合的稠密重建。利用GEM模型进行匹配代价构造、累计和优化进行求解，得到深度估计图。匹配代价构造利用NCC作为影像间光学一致性的测度，特征l的最优拟合平面或此特征的深度和法向量一定满足：
其中，NCC表示对于特l，I与参考影像的NCC。
利用Patch Match进行深度传递，对初始深度图进行过滤，如果特征l在代表i上对应的像素在多视图之间稳定，且满足：
即可认为多视图之间几何关系稳定，输出深度图计算结果。
S4.3：深度估计的时间随图片数量增多而增加，对估计出的深度图。通过配准进行深度图融合，按照投影方法进行点云恢复。
本发明首次将将三维场景地图直接呈现于操控端，开创性地提出在机器人端通过深度学习边缘提取算法有效地对图像关键信息进行筛选提取，更准确、更鲁棒地提取出室外道路或室内空间所需的建筑物、树干、固定结构，解决了低通信带宽下图像高效传输问题提高远程操控端工作效率，满足方便高效构建三维场景地图的要求。
以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
应当理解，为了精简本发明并帮助本领域的技术人员理解本发明的各个方面，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时在单个实施例中进行描述，或者参照单个图进行描述。但是，不应将本发明解释成示例性实施例中包括的特征均为本专利权利要求的必要技术特征。
应当理解，可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括的不同模块、单元或组件组合成一个模块、单元或组件，也可以把它们分成多个子模块、子单元或子组件。
Claims (8)
1.一种在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，包括远程操控端和机器人端，所述机器人端用于根据远程操控端下发的控制指令控制机器人移动，并在移动过程中通过基于深度学习的边缘提取算法进行边缘图像提取并将图像边缘数据发送给远程操控端，所述远程操控端使用机器人端发送的边缘数据进行三维重建并显示三维重建地图。
2.根据权利要求1所述的在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，所述机器人端包括控制指令接收模块、数据采集模块、数据处理模块、算法处理模块、数据发送模块，其中：
所述数据采集模块用于采集视觉传感器所到范围内的图像数据；
所述数据处理模块用于对数据采集模块采集的图像数据进行预处理，调整图像的大小；
所述算法处理模块用于对数据处理模块预处理后的图像进行边缘提取，具体为：通过基于深度学习的边缘提取算法对数据进行处理，提取图像边缘。
3.根据权利要求2所述的在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，算法处理模块用于对数据处理模块预处理后的图像进行边缘提取的具体过程为：
利用训练好的边缘模型进行边缘提取，包括：
通过canny边缘检测算法提取轮廓点数据，围绕候选轮廓点选择4个尺度的数据块输入五层KNet卷积层，在每个卷积层输出时，只输出围绕中心点提取特征图的一个子特征图；经过第一层KNet卷积层后得到边缘轮廓的表示；第二卷积层学习边缘结构；第三卷积层得到复杂纹理结构，第四层得到对应于原型对象形状的所有纹理结构；第五层对特定的所需边缘纹理进行提取，平均5层卷积层的输出数据，产生最终的轮廓预测结果。
4.根据权利要求1所述的在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，所述远程操控端包括图像显示模块，所述图像显示模块利用三维建模工具进行整合并显示，具体包括：
使用增量式SFM技术对机器人端发送的边缘数据进行稀疏重建，获得稀疏三维点云；
利用GEM模型进行匹配代价构造、累计和优化进行求解，得到深度估计图
对估计出的深度图，通过配准进行深度图融合，按照投影方法进行点云恢复。
5.一种在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，具体步骤为：
S1：在机器人端收集视觉传感器在实际场景下的数据集，并对数据集进行清洗和标注，得到带有固定结构标签的训练数据集；
S2：在机器人端利用标注好的图片进行神经网络模型的训练，得到边缘模型；
S3：在机器人端利用训练好的边缘模型对实时采集的图像数据进行边缘提取并将边缘提取数据发送给远程操控端；
S4：在远程操控端利用三维建模工具对边缘提取数据进行三维重建。
6.根据权利要求5所述的在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，神经网络模型的训练过程具体为：
将剪裁后的标签对图片导入标签文件，开始网络训练，当损失函数不再降低时停止训练，训练过程中，选择所有正样本和一个负样本随机分区来训练网络，使得负/正比率接近2:1，损失函数采用L1范数。
7.根据权利要求5所述的在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，边缘模型对实时采集的图像数据进行边缘提取的具体过程为：
通过canny边缘检测算法提取轮廓点数据，围绕候选轮廓点选择4个尺度的数据块输入五层KNet卷积层，在每个卷积层输出时，只输出围绕中心点提取特征图的一个子特征图；经过第一层KNet卷积层后得到边缘轮廓的表示；第二卷积层学习边缘结构；第三卷积层得到复杂纹理结构，第四层得到对应于原型对象形状的所有纹理结构；第五层对特定的所需边缘纹理进行提取，平均5层卷积层的输出数据，产生最终的轮廓预测结果。
8.根据权利要求5所述的在低通信带宽下远程操控端基于边缘的三维场景重建系统，其特征在于，利用三维建模工具进行三维重建包括以下步骤：
S4.1：利用S3所提取出的边缘图像作为数据集；使用增量式SFM技术对边缘数据集进行稀疏重建；
S4.2：利用GEM模型进行匹配代价构造、累计和优化进行求解，得到深度估计图；
S4.3：对估计出的深度图，通过配准进行深度图融合，按照投影方法进行点云恢复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211415200.4A CN115908730A (zh) | 2022-11-11 | 2022-11-11 | 一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211415200.4A CN115908730A (zh) | 2022-11-11 | 2022-11-11 | 一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115908730A true CN115908730A (zh) | 2023-04-04 |
Family
ID=86477161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211415200.4A Pending CN115908730A (zh) | 2022-11-11 | 2022-11-11 | 一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908730A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170249745A1 (en) * | 2014-05-21 | 2017-08-31 | Millennium Three Technologies, Inc. | Fiducial marker patterns, their automatic detection in images, and applications thereof |
| CN107613205A (zh) * | 2017-09-28 | 2018-01-19 | 佛山市南方数据科学研究院 | 一种基于互联网大数据机器人物联网系统 |
| KR20190073719A (ko) * | 2017-12-19 | 2019-06-27 | 전자부품연구원 | 복수 지도를 이용한 전역 지도 통합 시스템 및 방법 그리고 그 통합 기준 장치 |
| CN109947109A (zh) * | 2019-04-02 | 2019-06-28 | 北京石头世纪科技股份有限公司 | 机器人工作区域地图构建方法、装置、机器人和介质 |
| CN111462329A (zh) * | 2020-03-24 | 2020-07-28 | 南京航空航天大学 | 一种基于深度学习的无人机航拍影像的三维重建方法 |
| CN112767482A (zh) * | 2021-01-21 | 2021-05-07 | 山东大学 | 一种多传感器融合的室内外定位方法及系统 |
| CN113298940A (zh) * | 2021-05-25 | 2021-08-24 | 中南大学 | 援救区域的3d拓扑地图构建方法、系统以及存储介质 |
| US20210279965A1 (en) * | 2020-03-05 | 2021-09-09 | National Taipei University Of Technology | Method, system, computer program product and computer-readable storage medium for creating an augmented reality environment |
| CN114677479A (zh) * | 2022-04-13 | 2022-06-28 | 温州大学大数据与信息技术研究院 | 一种基于深度学习的自然景观多视图三维重建方法 |
-
2022
- 2022-11-11 CN CN202211415200.4A patent/CN115908730A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170249745A1 (en) * | 2014-05-21 | 2017-08-31 | Millennium Three Technologies, Inc. | Fiducial marker patterns, their automatic detection in images, and applications thereof |
| CN107613205A (zh) * | 2017-09-28 | 2018-01-19 | 佛山市南方数据科学研究院 | 一种基于互联网大数据机器人物联网系统 |
| KR20190073719A (ko) * | 2017-12-19 | 2019-06-27 | 전자부품연구원 | 복수 지도를 이용한 전역 지도 통합 시스템 및 방법 그리고 그 통합 기준 장치 |
| CN109947109A (zh) * | 2019-04-02 | 2019-06-28 | 北京石头世纪科技股份有限公司 | 机器人工作区域地图构建方法、装置、机器人和介质 |
| US20210279965A1 (en) * | 2020-03-05 | 2021-09-09 | National Taipei University Of Technology | Method, system, computer program product and computer-readable storage medium for creating an augmented reality environment |
| CN111462329A (zh) * | 2020-03-24 | 2020-07-28 | 南京航空航天大学 | 一种基于深度学习的无人机航拍影像的三维重建方法 |
| CN112767482A (zh) * | 2021-01-21 | 2021-05-07 | 山东大学 | 一种多传感器融合的室内外定位方法及系统 |
| CN113298940A (zh) * | 2021-05-25 | 2021-08-24 | 中南大学 | 援救区域的3d拓扑地图构建方法、系统以及存储介质 |
| CN114677479A (zh) * | 2022-04-13 | 2022-06-28 | 温州大学大数据与信息技术研究院 | 一种基于深度学习的自然景观多视图三维重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN110335343B (zh) | 基于rgbd单视角图像人体三维重建方法及装置 | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| KR100402361B1 (ko) | 시각장치 | |
| CN112837406B (zh) | 一种三维重建方法、装置及系统 | |
| CN107247834A (zh) | 一种基于图像识别的三维环境模型重构方法、设备及系统 | |
| US11790610B2 (en) | Systems and methods for selective image compositing | |
| CN102959946A (zh) | 基于相关3d点云数据来扩充图像数据的技术 | |
| CN110245588A (zh) | 一种基于无线射频信号的细粒度人体姿态估计方法 | |
| CN110717494A (zh) | Android移动端室内场景三维重建及语义分割方法 | |
| WO2020211427A1 (zh) | 基于扫描点云数据的分割与识别方法、系统及存储介质 | |
| CN112818925A (zh) | 一种城市建筑和树冠识别方法 | |
| CN115900710A (zh) | 基于视觉信息的动态环境导航方法 | |
| CN108010065A (zh) | 低空目标快速检测方法及装置、存储介质及电子终端 | |
| CN110969696A (zh) | 三维建模快速空间重构的方法及系统 | |
| CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 | |
| CN113222961A (zh) | 智能船体检测系统及方法 | |
| CN112862973A (zh) | 一种基于故障现场的实时远程培训方法及系统 | |
| CN115908730A (zh) | 一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法 | |
| Li et al. | Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems | |
| CN111241926A (zh) | 考勤与学情分析方法、系统、设备及可读存储介质 | |
| CN116843867A (zh) | 增强现实虚实融合方法、电子设备和存储介质 | |
| CN111413691A (zh) | 一种采用分布式结构的语义定位和建图的方法 | |
| Liao et al. | HARU: Haptic augmented reality-assisted user-centric industrial network planning | |
| CN113192204B (zh) | 单幅倾斜遥感图像中建筑物的三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |