CN117351406A - 基于图像识别技术的专家远程视觉辅助赋能系统 - Google Patents
基于图像识别技术的专家远程视觉辅助赋能系统 Download PDFInfo
- Publication number
- CN117351406A CN117351406A CN202311661347.6A CN202311661347A CN117351406A CN 117351406 A CN117351406 A CN 117351406A CN 202311661347 A CN202311661347 A CN 202311661347A CN 117351406 A CN117351406 A CN 117351406A
- Authority
- CN
- China
- Prior art keywords
- model
- maintenance site
- target
- data
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 title claims abstract description 39
- 238000012423 maintenance Methods 0.000 claims abstract description 210
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000013499 data model Methods 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000013433 optimization analysis Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 18
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000009795 derivation Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，包括：视频图像获取模块，获取运维现场的多个监测视角，并对监测视角进行视频与图像采集，获得运维现场的目标视频以及目标图像；模型构建模块，基于运维现场的目标视频以及目标图像构建运维现场的三维数字模型；远程传输监测模块，将三维数据模型基于目标网络传输至远程专家终端，并基于远程专家终端根据三维数据模型对运维现场进行实时远程监测。通过实现现场视频和图片快速即时构建运维现场数字三维模型并传输至远程专家终端，可以使得远程专家能够自主沉浸式勘察虚拟三维现场，从而能够获得更完整的多维现场信息，能实现更准确的专家决策，有利于实现对现场运维人员的辅助。
Description
技术领域
本发明涉及图像识别处理技术领域，特别涉及一种基于图像识别技术的专家远程视觉辅助赋能系统。
背景技术
目前，大型复杂设备运维专家远程辅助需要将运维现场的情况尽可能的完整呈现给专家，专家才能更快更准确地对现场情况做出判断，从而辅助现场人员完成工作；
然而，目前的专家辅助系统通常使用语音、现场照片或实时（或录制）视频完成和远程专家的沟通交流，但由于大型复杂设备维修现场设备众多，环境复杂，尤其对于一些故障处现场，仅仅通过使用语音、现场照片或实时（或录制）视频等手段无法把现场更多的细节传递至远程终端，从而使得对运维现场进行远程监测的体验感大大降低，进而无法实现更准确的专家决策和对现场运维人员的辅助；
因此，为了克服上述技术问题，本发明提供了一种基于图像识别技术的专家远程视觉辅助赋能系统。
发明内容
本发明提供一种基于图像识别技术的专家远程视觉辅助赋能系统，用以通过实现现场视频和图片快速即时构建运维现场数字三维模型并传输至远程专家终端，进而可以使得远程专家能够自主沉浸式勘察虚拟三维现场，从而能够获得更完整、多维现场信息，能实现更准确的专家决策，进而有利于实现对现场运维人员的辅助。
一种基于图像识别技术的专家远程视觉辅助赋能系统，包括：
视频图像获取模块，用于获取运维现场的多个监测视角，并对监测视角进行视频与图像采集，获得运维现场的目标视频以及目标图像；
模型构建模块，用于基于运维现场的目标视频以及目标图像构建运维现场的三维数字模型；
远程传输监测模块，用于将三维数据模型基于目标网络传输至远程专家终端，并基于远程专家终端根据三维数据模型对运维现场进行实时远程监测。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，模型构建模块，包括：
分析子模块，用于对运维现场的目标视频以及目标图像进行分析处理，获得运维现场的点云数据集；
点云数据处理子模块，用于对运维现场的点云数据集进行读取，确定地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据，将地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据在点云数据集中移除并单独存储，同时，基于移除结果获得目标点云数据集；
地面、屋顶以及墙面片面模型构建子模块，用于基于地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据构建地面面片模型、屋顶面片模型以及墙面面片模型；
片面模型构建子模块，用于：
对目标点云数据集进行区域分片重构，获得运维现场中每个独立区域对应的面片模型，同时，对每个独立区域片面模型的表面进行延展，获得运维现场的外轮廓面片模型；
对外轮廓面片模型进行处理，并基于处理结果对运维现场内部设备进行模型重构，且基于重构结果生成运维现场中设备的面片模型；
色彩数据投影子模块，用于对运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型以及墙面面片模型进行纹理贴图，且基于纹理贴图结果完成对运维现场的三维数字模型的构建。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，点云数据处理子模块，包括：
点云数据移除单元，用于：
识别运维现场中地面对应的点云数据以及屋顶平面对应的点云数据，并将运维现场中地面对应的点云数据以及屋顶平面对应的点云数据在点云数据集中进行移除；
识别运维现场中与地面垂直的墙面的点云数据，并将运维现场中与地面垂直的墙面的点云数据在点云数据集中进行移除；
基于移除结果确定目标点云数据集；
存储单元，用于将运维现场中地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据进行单独存储。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，分析子模块，包括：
三维信息获取单元，用于基于预设人工智能模型对运维现场的目标视频以及目标图像进行读取，确定目标视频以及目标图像的三维信息；
对应关系确定单元，用于根据目标视频以及目标图像的三维信息确定目标图像与目标视频的视频帧之间的对应关系；
点云数据集生成单元，用于基于预设算法以及目标图像与目标视频的视频帧之间的对应关系将目标图像和视频帧在三维空间中进行注册，并根据注册结果确定三维空间中各结构的空间关系，且基于三维空间中各结构的空间关系生成运维现场的点云数据集。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，片面模型构建子模块，包括：
独立区域面片模型构建单元，用于：
基于分区算法对目标点云数据集划分为多个独立区域并进行单独存储；
基于表面重构算法生成每个独立区域对应的面片模型；
外轮廓面片模型构建单元，用于：
获取独立区域与地面的交界线、独立区域与屋顶的交界线、独立区域与墙面的交界线以及独立区域与其余独立区域的交界线；
基于独立区域与地面的交界线、独立区域与屋顶的交界线、独立区域与墙面的交界线以及独立区域与其余独立区域的交界线对对应独立区域的面片模型的表面进行延展，获得运维现场的外轮廓面片模型；
面片模型处理单元，用于对运维现场的外轮廓面片模型进行处理，并基于处理结果对运维现场内部设备进行模型重构，且基于重构结果生成运维现场中设备的面片模型。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，色彩数据投影子模块，包括：
颜色信息确定单元，用于读取目标视频与目标图像的颜色信息；
纹理贴图单元，用于根据目标视频与目标图像的颜色信息对运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型以及墙面面片模型进行纹理贴图；
导出单元，用于基于预设文件格式将运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型和墙面面片模型以及运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型和墙面面片模型对应的纹理贴图进行导出，生成三维数字模型。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，模型构建模块，包括：
训练数据集生成子模块，用于当完成对运维现场的三维数字模型的构建之后，调取三维数字模型的标准彩色图像，并确定标准彩色图像对应于三维数字模型的符号距离函数表，同时，将标准彩色图像以及符号距离函数表作为训练数据集；
训练子模块，用于构建神经网络并基于训练数据集对神经网络进行训练，获得目标优化模型；
优化分析子模块，用于在运维现场采集三维数字模型对应的标准图像或标准视频帧，并将标准图像或标准视频帧输入至目标优化模型进行分析，并输出与标准图像或标准视频帧对应的目标符号距离函数表；
优化子模块，用于基于目标符号距离函数表对三维数字模型进行优化，获得优化三维数字模型。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，视频图像获取模块，包括：
监测视角确定子模块，用于对运维现场进行读取，确定运维现场的结构特征，基于运维现场的结构特征确定运维现场的多个监测视角；
图像采集子模块，用于分别采集每个监测视角对应的图像与视频，基于采集结果确定运维现场的目标视频以及目标图像。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，图像采集子模块，包括：
像素信息采集单元，用于当完成对运维现场的目标视频以及目标图像采集之后，获得目标视频中视频图像的像素信息以及目标图像对应的像素信息；
信息相似度获取单元，用于将目标视频中视频图像的像素信息以及目标图像对应的像素信息进行匹配，获得目标视频中视频图像的像素信息以及目标图像对应像素信息的信息相似度；
视频图像匹配单元，用于当信息相似度达到90%时，则将目标视频与目标图像进行对应记录，基于对应记录结果完成对目标视频与目标图像之间的对应匹配。
优选的，一种基于图像识别技术的专家远程视觉辅助赋能系统，远程传输监测模块，包括：
模型处理子模块，用于对三维数据模型进行处理获得加密模型数据包；
远程传输链路获取子模块，用于基于目标网络获取数据远程传输链路；
数据传输子模块，用于：
获取远程专家终端设置的多个数据缓冲链路，并将多个数据缓冲链路与数据远程传输链路相连接；
基于数据远程传输链路将加密模型数据包进行传输，并当加密模型数据包传输至数据缓冲链路时，则读取加密模型数据包的数据量，同时，确定每个数据缓冲链路对应的当前额定数据量；
目标数据缓冲链路确定子模块，用于：
将加密模型数据包的数据量分别与每个数据缓冲链路对应的当前额定数据量进行比较；
当比较结果中存在当前额定数据量大于或等于加密模型数据包的数据量时，确定当前额定数据量大于或等于加密模型数据包的数据量所对应的目标数据缓冲链路；
当比较结果中每个数据缓冲链路对应的当前额定数据量均小于加密模型数据包的数据量时，则对加密模型数据包进行等比例拆分，并基于拆分结果选取与当前额定数据量相适配的目标数据缓冲链路；
数据接收子模块，用于基于目标数据缓冲链路对加密模型数据包进行传输，直至远程专家终端完成对加密模型数据包的接收；
实时远程监测子模块，用于基于远程专家终端对加密模型数据包进行处理，获得三维数据模型，并根据三维数据模型对运维现场进行实时远程监测。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本申请文件中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中基于图像识别技术的专家远程视觉辅助赋能系统结构图；
图2为本发明实施例中基于图像识别技术的专家远程视觉辅助赋能系统流程图；
图3为本发明实施例中基于图像识别技术的专家远程视觉辅助赋能系统中的模型构建模块结构图；
图4为本发明实施例中基于图像识别技术的专家远程视觉辅助赋能系统中的分析子模块结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，如图1所示，包括：
视频图像获取模块，用于获取运维现场的多个监测视角，并分别采集每个监测视角对应的实时视频以及实时图像；
模型构建模块，用于基于每个监测视角对应的实时视频以及实时图像构建运维现场的三维数字模型；
远程传输监测模块，用于将三维数据模型基于目标网络传输至远程专家终端，并基于远程专家终端根据三维数据模型对运维现场进行实时监测。
该实施例中，采集每个监测视角对应的实时视频以及实时图像可以是利用现场运维人员AR设备或者手机的摄像头、双目相机、深度相机、激光测距相机等搜集运维现场的图片、视频数据。
该实施例中，监测视角可以是包括运维现场的地面视角、屋顶平面视角、运维现场与地面垂直的墙面视角以及运维现场各设备的视角：
该实施例中，流程如图2所示：
通过人工智能模型提取图片、视频数据中的三维信息（即获取运维现场视频和图片），如采用特征检测、目标追踪和图片匹配等技术。使用运动结构恢复算法（SfM）或SLAM等算法，将相关图片和连续的视频帧通过特征匹配等在空间中进行注册，以确定它们相互之间的空间关系。对空间中注册的图片和视频帧采用深度估算或三角定位来生成点云数据。通过表面重构和面片生成算法，将点云数据转换成面片模型。通过图片或视频帧的颜色信息，生成面片模型对应的纹理贴图。将面片模型及其纹理贴图导出为常用的三维模型文件格式。（即三维重建，利用三维重建相关的AI模型和算法）
如果运维人员的AR和移动设备的算力不够，可以将图片和视频数据发送至服务器进行处理生成。
根据三维重建子系统生成的数据，通过三维渲染引擎完成运维现场的三维重现。渲染结果用于专家的虚拟勘察（即三维重现）。
实现专家沉浸式方式进入三维虚拟现场，专家自主在虚拟现场漫游和查看。如生成的三维虚拟运维的关键细节不清晰或者确实，专家可以指挥现场人员获取精度更高、清晰度更好的视频和图片资料，用来给三维生成子系统对运维现场的三维模型进一步精细化，进行迭代升级、补充细节（即专家虚拟勘察）。
上述技术方案的有益效果是：通过实现现场视频和图片快速即时构建运维现场数字三维模型并传输至远程专家终端，进而可以使得远程专家能够自主沉浸式勘察虚拟三维现场，从而能够获得更完整、多维现场信息，能实现更准确的专家决策，进而有利于实现对现场运维人员的辅助。
实施例2：
在实施例1的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，如图3所示，模型构建模块，包括：
分析子模块，用于对运维现场的目标视频以及目标图像进行分析处理，获得运维现场的点云数据集；
点云数据处理子模块，用于对运维现场的点云数据集进行读取，确定地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据，将地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据在点云数据集中移除并单独存储，同时，基于移除结果获得目标点云数据集；
地面、屋顶以及墙面片面模型构建子模块，用于基于地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据构建地面面片模型、屋顶面片模型以及墙面面片模型；
片面模型构建子模块，用于：
对目标点云数据集进行区域分片重构，获得运维现场中每个独立区域对应的面片模型，同时，对每个独立区域片面模型的表面进行延展，获得运维现场的外轮廓面片模型；
对外轮廓面片模型进行处理，并基于处理结果对运维现场内部设备进行模型重构，且基于重构结果生成运维现场中设备的面片模型；
色彩数据投影子模块，用于对运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型以及墙面面片模型进行纹理贴图，且基于纹理贴图结果完成对运维现场的三维数字模型的构建。
该实施例中，对运维现场的目标视频以及目标图像进行分析处理可以是通过人工智能模型提取图片、视频数据中的三维信息，如采用特征检测、目标追踪和图片匹配等技术。对于历次使用积累的视觉数据，使用运动结构恢复算法（SfM），对于实时的视觉数据采用vSLAM算法，将相关图片和视频帧通过特征匹配等在空间中进行注册，以确定它们相互之间的空间关系。对空间中注册的图片和视频帧采用深度估算或三角定位来生成点云数据，并运用下采样算法（Voxel Grid Filter）减少冗余数据量。
该实施例中，对外轮廓面片模型进行处理，并基于处理结果对运维现场内部设备进行模型重构，且基于重构结果生成运维现场中设备的面片模型可以是：将生成的外轮廓面片模型转化成点云，再从维修现场剩余的点云数据中移除掉与外轮廓面的点云相交的部分，得到一个不含外轮廓的维修现场里独立区域的点云模型；继续对剩余的点云数据用分区算法进行区域划分，从而获得各个独立区域的点云模型。再通过Marching Cube或Advancing Front等表面生成算法生成运维现场中设备所在区域的面片模型（即对模型拆分后得到设备中的部件的三维模型）
上述技术方案的有益效果是：通过对运维现场的目标视频以及目标图像的分析处理，可以有效确定运维现场的点云数据集，通过对点云数据集进行处理，获得目标点云数据集可以有效减少地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据对目标点云数据集进行分析的干预与影响，从而提高对运维现场的每个独立区域对应的面片模型构建的效率，通过对每个独立区域片面模型的表面进行延展，可以有效实现对运维现场的外轮廓面片模型的构建，通过对外轮廓面片模型进行处理，有效避免了对运维现场内部物体的模型构建的干扰，从而提高对运维现场内部设备的面片模型构建的准确性，进而通过将运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型以及墙面面片模型进行纹理贴图，有效保障对运维现场的三维数字模型构建的准确性与真实性，提高了远程专家终端对运维现场进行监测的有效性与体验感。
实施例3：
在实施例2的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，点云数据处理子模块，包括：
点云数据移除单元，用于：
识别运维现场中地面对应的点云数据以及屋顶平面对应的点云数据，并将运维现场中地面对应的点云数据以及屋顶平面对应的点云数据在点云数据集中进行移除；
识别运维现场中与地面垂直的墙面的点云数据，并将运维现场中与地面垂直的墙面的点云数据在点云数据集中进行移除；
基于移除结果确定目标点云数据集；
存储单元，用于将运维现场中地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据进行单独存储。
该实施例中，为了加速对运维现场的物体识别，需要将整个运维现场的点云数据划分成独立的区域进行处理。这些物体往往都依附或安装在地面和屋顶平面之上，它们的点云数据融合成了一个整体。先通过RANSAC 等算法识别出水平的地面和屋顶平面，将这些平面中的点云数据移除并单独存储，就可以使其它物体的点云数据之间的关联度降低。
该实施例中，在移除了地面和屋顶的点云数据后，再通过点云数据分区算法分离出四周的垂直与地面的墙面，并将每个墙面的点云数据移除并单独存储。
上述技术方案的有益效果是：有效减少地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据对目标点云数据集进行分析的干预与影响，从而提高对运维现场的每个独立区域对应的面片模型构建的效率。
实施例4：
在实施例2的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，如图4所示，分析子模块，包括：
三维信息获取单元，用于基于预设人工智能模型对运维现场的目标视频以及目标图像进行读取，确定目标视频以及目标图像的三维信息；
对应关系确定单元，用于根据目标视频以及目标图像的三维信息确定目标图像与目标视频的视频帧之间的对应关系；
点云数据集生成单元，用于基于预设算法以及目标图像与目标视频的视频帧之间的对应关系将目标图像和视频帧在三维空间中进行注册，并根据注册结果确定三维空间中各结构的空间关系，且基于三维空间中各结构的空间关系生成运维现场的点云数据集。
该实施例中，基于预设人工智能模型对运维现场的目标视频以及目标图像进行读取，确定目标视频以及目标图像的三维信息可以是通过人工智能模型提取图片、视频数据中的三维信息，如采用特征检测、目标追踪和图片匹配等技术，其中，三维信息可以是包括：运维现场中各物体形状、大小以及长宽高等信息。
该实施例中，预设算法可以是：运动结构恢复算法（SfM）或vSLAM算法，其中，对于历次使用积累的视觉数据，使用运动结构恢复算法（SfM），对于实时的视觉数据采用vSLAM算法。
该实施例中，三维空间中各结构的空间关系可以是三维空间中各结构（如设备、地面、屋顶等）之间的位置关系。
上述技术方案的有益效果是：通过对目标视频以及目标图像进行分析并在三维空间中进行注册，从而有效确定三维空间中各结构的空间关系，进而提高了获取运维现场点云数据的准确性。
实施例5：
在实施例2的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，片面模型构建子模块，包括：
独立区域面片模型构建单元，用于：
基于分区算法对目标点云数据集划分为多个独立区域并进行单独存储；
基于表面重构算法生成每个独立区域对应的面片模型；
外轮廓面片模型构建单元，用于：
获取独立区域与地面的交界线、独立区域与屋顶的交界线、独立区域与墙面的交界线以及独立区域与其余独立区域的交界线；
基于独立区域与地面的交界线、独立区域与屋顶的交界线、独立区域与墙面的交界线以及独立区域与其余独立区域的交界线对对应独立区域的面片模型的表面进行延展，获得运维现场的外轮廓面片模型；
面片模型处理单元，用于对运维现场的外轮廓面片模型进行处理，并基于处理结果对运维现场内部设备进行模型重构，且基于重构结果生成运维现场中设备的面片模型。
该实施例中，从运维现场的点云数据中移除了地面、屋顶和墙面后，通过点云分区算法将剩余点云数据划分成独立的区域并单独存储，再通过Poisson表面重构等算法，生成这些独立区域的面片模型，其中，独立区域的确定例如可以是根据运维现场空间内部的环境进行构造实现的，例如：根据运维现场中设备的分布情况确定独立区域，即一个设备对应一个独立区域。
该实施例中，通过区域交界线生成外轮廓。对各个独立区域的面片模型的表面做延展，寻找延展面与地面、屋顶、墙面或其它独立区域延展面的交界线，并依据这些交界线来生成运维场景的外轮廓面片模型。
上述技术方案的有益效果是：通过确定运维现场的每个独立区域对应的面片模型，从而可以准确且细致的获取每个独立区域的面片模型对应的延展表面，从而保障对外轮廓模型构建的有效性与准确性。
实施例6：
在实施例2的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，色彩数据投影子模块，包括：
颜色信息确定单元，用于读取目标视频与目标图像的颜色信息；
纹理贴图单元，用于根据目标视频与目标图像的颜色信息对运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型以及墙面面片模型进行纹理贴图；
导出单元，用于基于预设文件格式将运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型和墙面面片模型以及运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型和墙面面片模型对应的纹理贴图进行导出，生成三维数字模型。
该实施例中，预设文件格式可以是提前设定的，例如：STL格式、OBJ格式、GLTF格式等。
上述技术方案的有益效果是：通过确定目标视频与目标图像的颜色信息，从而有效实现对运维现场各面片模型的纹理贴图，有效保障对运维现场的三维数字模型构建的准确性与真实性，进而通过预设文件格式实现对运维现场的各个面片模型进行导出，从而保障三维数字模型的准确性。
实施例7：
在实施例1的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，模型构建模块，包括：
训练数据集生成子模块，用于当完成对运维现场的三维数字模型的构建之后，调取三维数字模型的标准彩色图像，并确定标准彩色图像对应于三维数字模型的符号距离函数表，同时，将标准彩色图像以及符号距离函数表作为训练数据集；
训练子模块，用于构建神经网络并基于训练数据集对神经网络进行训练，获得目标优化模型；
优化分析子模块，用于在运维现场采集三维数字模型对应的标准图像或标准视频帧，并将标准图像或标准视频帧输入至目标优化模型进行分析，并输出与标准图像或标准视频帧对应的目标符号距离函数表；
优化子模块，用于基于目标符号距离函数表对三维数字模型进行优化，获得优化三维数字模型。
该实施例中，标准彩色图像可以是基于大型装备已有的高精度模型生成的清晰度达到标准的图像；其中，采用大型装备已有的高精度模型，配以高清晰度的材质纹理，通过基于物理的渲染（PBR）方式从各个角度渲染该模型，从而采集该模型各个角度的高清彩色图片，以及图片对应的三维场景的符号距离函数（SDF）表。这组图片和对应的函数表即可作为机器学习的训练数据集。
该实施例中，以标准彩色图像作为输入，对应的SDF函数表作为预期结果，从而训练该网络由一组输入标准彩色图像生成场景的SDF函数表。训练所用的评估函数是RGB颜色偏差、SDF单元梯度偏差以及平均曲率偏差的加权和。由于SDF函数表初始化为球形，这时平均曲率偏差的计算会导致难以识别出物体上的凹面，需要采用预热的方式逐渐升高平均曲率偏差的权重来避免这一问题。
该实施例中，为了加速训练和识别过程，同时尽可能不损失精度，采用多分辨率层次哈希网格来编码空间点对应的高维属性表。并以此哈希编码为基础，使用数值求导取代分析求导，以解决分析求导在网格边缘上的局域性问题。采用多分辨率层次可以避免训练网络时陷入局部最优，即先运用粗尺度识别出物体的大致轮廓，然后不断缩小识别尺度，以完善物体模型的细节。
该实施例中，基于目标符号距离函数表对三维数字模型进行优化，获得优化三维数字模型可以是将维修现场的点云数据按物体划分为不同的区域，针对其中的每个点云数据区域，从现场采集的数据中选取该主体是区域的高清图片或视频帧，输入给训练号的神经网络生成对应的SDF函数表，并使用该函数表对点云数据进行细化，获得增强精度的点云数据，通过三维重建，获得更加精细的三维模型。
上述技术方案的有益效果是：通过将标准彩色图像以及符号距离函数表作为训练数据集，有效保障对神经网络进行训练，从而获得目标优化模型，通过目标优化模型实现对三维数字模型的优化，提高了三维数字模型的精细化，从而提高了远程专家终端对运维现场进行监测的有效性与体验感。
实施例8：
在实施例1的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，视频图像获取模块，包括：
监测视角确定子模块，用于对运维现场进行读取，确定运维现场的结构特征，基于运维现场的结构特征确定运维现场的多个监测视角；
图像采集子模块，用于分别采集每个监测视角对应的图像与视频，基于采集结果确定运维现场的目标视频以及目标图像。
该实施例中，运维现场的结构特征可以是运维现场各设备等物件的摆放位置分布情况以及各设备等物件的形状、大小等特征。
上述技术方案的有益效果是：通过确定运维现场的结构特征，从而准确确定运维现场的多个监测视角，通过对每个监测视角对应的图像与视频进行采集，实现对运维现场的视频与图像的全方位采集，保障运维现场三维数字模型搭建的准确性与便捷性。
实施例9：
在实施例8的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，图像采集子模块，包括：
像素信息采集单元，用于当完成对运维现场的目标视频以及目标图像采集之后，获得目标视频中视频图像的像素信息以及目标图像对应的像素信息；
信息相似度获取单元，用于将目标视频中视频图像的像素信息以及目标图像对应的像素信息进行匹配，获得目标视频中视频图像的像素信息以及目标图像对应像素信息的信息相似度；
视频图像匹配单元，用于当信息相似度达到90%时，则将目标视频与目标图像进行对应记录，基于对应记录结果完成对目标视频与目标图像之间的对应匹配。
该实施例中，像素信息可以是图像对应的像素点数值以及像素点的分布状态信息。
上述技术方案的有益效果是：通过将目标视频中视频图像的像素信息以及目标图像对应的像素信息进行匹配，从而可以确定目标视频中视频图像的像素信息以及目标图像对应像素信息的信息相似度，进而有效实现目标视频与目标图像之间的对应匹配，从而提高了对目标视频与目标图像的分析效率，从而为搭建三维数字模型提供了便利，保障了三维数字模型搭建的准确性以及效率。
实施例10：
在实施例1的基础上，本实施例提供了一种基于图像识别技术的专家远程视觉辅助赋能系统，远程传输监测模块，包括：
模型处理子模块，用于对三维数据模型进行处理获得加密模型数据包；
远程传输链路获取子模块，用于基于目标网络获取数据远程传输链路；
数据传输子模块，用于：
获取远程专家终端设置的多个数据缓冲链路，并将多个数据缓冲链路与数据远程传输链路相连接；
基于数据远程传输链路将加密模型数据包进行传输，并当加密模型数据包传输至数据缓冲链路时，则读取加密模型数据包的数据量，同时，确定每个数据缓冲链路对应的当前额定数据量；
目标数据缓冲链路确定子模块，用于：
将加密模型数据包的数据量分别与每个数据缓冲链路对应的当前额定数据量进行比较；
当比较结果中存在当前额定数据量大于或等于加密模型数据包的数据量时，确定当前额定数据量大于或等于加密模型数据包的数据量所对应的目标数据缓冲链路；
当比较结果中每个数据缓冲链路对应的当前额定数据量均小于加密模型数据包的数据量时，则对加密模型数据包进行等比例拆分，并基于拆分结果选取与当前额定数据量相适配的目标数据缓冲链路；
数据接收子模块，用于基于目标数据缓冲链路对加密模型数据包进行传输，直至远程专家终端完成对加密模型数据包的接收；
实时远程监测子模块，用于基于远程专家终端对加密模型数据包进行处理，获得三维数据模型，并根据三维数据模型对运维现场进行实时远程监测。
该实施例中，对三维数据模型进行处理可以是对三维数据模型进行加密处理与压缩处理，
该实施例中，基于远程专家终端对加密模型数据包进行处理可以是远程专家终端对加密模型数据包进行解密与解压缩处理。
该实施例中，缓冲链路与远程专家终端以及远程传输链路相连接，通过设定缓冲链路可以避免传输的加密模型数据包的延时、畸变等问题，提高远程专家终端接收的效率。
该实施例中，由于远程专家终端的缓冲链路在实时接收不同的数据，因此，每条缓冲链路由于数据的占用，当前的额定数据量是不一致的，其中，当前额定数据量即为缓冲链路当前可以容纳的最大数据量。
该实施例中，目标数据缓冲链路指的是可以对加密模型数据包进行传输的缓冲链路。
上述技术方案的有益效果是：通过将三维数据模型进行加密与压缩处理，可以有效保障三维数据模型的安全性，通过设定缓冲链路可以避免传输的加密模型数据包的延时、畸变等问题，提高远程专家终端接收的效率。进而通过将加密模型数据包的数据量与每个数据缓冲链路对应的当前额定数据量，可以准确确定对加密模型数据包对目标数据缓冲链路的选择，进而提高了对加密模型数据包传输的有效性与准确性，提高了基于远程专家终端对三维数据模型进行远程监测的效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，包括：
视频图像获取模块，用于获取运维现场的多个监测视角，并对监测视角进行视频与图像采集，获得运维现场的目标视频以及目标图像；
模型构建模块，用于基于运维现场的目标视频以及目标图像构建运维现场的三维数字模型；
远程传输监测模块，用于将三维数据模型基于目标网络传输至远程专家终端，并基于远程专家终端根据三维数据模型对运维现场进行实时远程监测；
远程传输监测模块，包括：
模型处理子模块，用于对三维数据模型进行处理获得加密模型数据包；
远程传输链路获取子模块，用于基于目标网络获取数据远程传输链路；
数据传输子模块，用于：
获取远程专家终端设置的多个数据缓冲链路，并将多个数据缓冲链路与数据远程传输链路相连接；
基于数据远程传输链路将加密模型数据包进行传输，并当加密模型数据包传输至数据缓冲链路时，则读取加密模型数据包的数据量，同时，确定每个数据缓冲链路对应的当前额定数据量；
目标数据缓冲链路确定子模块，用于：
将加密模型数据包的数据量分别与每个数据缓冲链路对应的当前额定数据量进行比较；
当比较结果中存在当前额定数据量大于或等于加密模型数据包的数据量时，确定当前额定数据量大于或等于加密模型数据包的数据量所对应的目标数据缓冲链路；
当比较结果中每个数据缓冲链路对应的当前额定数据量均小于加密模型数据包的数据量时，则对加密模型数据包进行等比例拆分，并基于拆分结果选取与当前额定数据量相适配的目标数据缓冲链路；
数据接收子模块，用于基于目标数据缓冲链路对加密模型数据包进行传输，直至远程专家终端完成对加密模型数据包的接收；
实时远程监测子模块，用于基于远程专家终端对加密模型数据包进行处理，获得三维数据模型，并根据三维数据模型对运维现场进行实时远程监测。
2.根据权利要求1所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，模型构建模块，包括：
分析子模块，用于对运维现场的目标视频以及目标图像进行分析处理，获得运维现场的点云数据集；
点云数据处理子模块，用于对运维现场的点云数据集进行读取，确定地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据，将地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据在点云数据集中移除并单独存储，同时，基于移除结果获得目标点云数据集；
地面、屋顶以及墙面片面模型构建子模块，用于基于地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据构建地面面片模型、屋顶面片模型以及墙面面片模型；
片面模型构建子模块，用于：
对目标点云数据集进行区域分片重构，获得运维现场中每个独立区域对应的面片模型，同时，对每个独立区域片面模型的表面进行延展，获得运维现场的外轮廓面片模型；
对外轮廓面片模型进行处理，并基于处理结果对运维现场内部设备进行模型重构，且基于重构结果生成运维现场中设备的面片模型；
色彩数据投影子模块，用于对运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型以及墙面面片模型进行纹理贴图，且基于纹理贴图结果完成对运维现场的三维数字模型的构建。
3.根据权利要求2所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，点云数据处理子模块，包括：
点云数据移除单元，用于：
识别运维现场中地面对应的点云数据以及屋顶平面对应的点云数据，并将运维现场中地面对应的点云数据以及屋顶平面对应的点云数据在点云数据集中进行移除；
识别运维现场中与地面垂直的墙面的点云数据，并将运维现场中与地面垂直的墙面的点云数据在点云数据集中进行移除；
基于移除结果确定目标点云数据集；
存储单元，用于将运维现场中地面对应的点云数据、屋顶平面对应的点云数据以及运维现场中与地面垂直的墙面的点云数据进行单独存储。
4.根据权利要求2所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，分析子模块，包括：
三维信息获取单元，用于基于预设人工智能模型对运维现场的目标视频以及目标图像进行读取，确定目标视频以及目标图像的三维信息；
对应关系确定单元，用于根据目标视频以及目标图像的三维信息确定目标图像与目标视频的视频帧之间的对应关系；
点云数据集生成单元，用于基于预设算法以及目标图像与目标视频的视频帧之间的对应关系将目标图像和视频帧在三维空间中进行注册，并根据注册结果确定三维空间中各结构的空间关系，且基于三维空间中各结构的空间关系生成运维现场的点云数据集。
5.根据权利要求2所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，片面模型构建子模块，包括：
独立区域面片模型构建单元，用于：
基于分区算法对目标点云数据集划分为多个独立区域并进行单独存储；
基于表面重构算法生成每个独立区域对应的面片模型；
外轮廓面片模型构建单元，用于：
获取独立区域与地面的交界线、独立区域与屋顶的交界线、独立区域与墙面的交界线以及独立区域与其余独立区域的交界线；
基于独立区域与地面的交界线、独立区域与屋顶的交界线、独立区域与墙面的交界线以及独立区域与其余独立区域的交界线对对应独立区域的面片模型的表面进行延展，获得运维现场的外轮廓面片模型；
面片模型处理单元，用于对运维现场的外轮廓面片模型进行处理，并基于处理结果对运维现场内部设备进行模型重构，且基于重构结果生成运维现场中设备的面片模型。
6.根据权利要求2所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，色彩数据投影子模块，包括：
颜色信息确定单元，用于读取目标视频与目标图像的颜色信息；
纹理贴图单元，用于根据目标视频与目标图像的颜色信息对运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型以及墙面面片模型进行纹理贴图；
导出单元，用于基于预设文件格式将运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型和墙面面片模型以及运维现场的面片模型、运维现场的外轮廓面片模型、运维现场中设备的面片模型、地面面片模型、屋顶面片模型和墙面面片模型对应的纹理贴图进行导出，生成三维数字模型。
7.根据权利要求1所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，模型构建模块，包括：
训练数据集生成子模块，用于当完成对运维现场的三维数字模型的构建之后，调取三维数字模型的标准彩色图像，并确定标准彩色图像对应于三维数字模型的符号距离函数表，同时，将标准彩色图像以及符号距离函数表作为训练数据集；
训练子模块，用于构建神经网络并基于训练数据集对神经网络进行训练，获得目标优化模型；
优化分析子模块，用于在运维现场采集三维数字模型对应的标准图像或标准视频帧，并将标准图像或标准视频帧输入至目标优化模型进行分析，并输出与标准图像或标准视频帧对应的目标符号距离函数表；
优化子模块，用于基于目标符号距离函数表对三维数字模型进行优化，获得优化三维数字模型。
8.根据权利要求1所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，视频图像获取模块，包括：
监测视角确定子模块，用于对运维现场进行读取，确定运维现场的结构特征，基于运维现场的结构特征确定运维现场的多个监测视角；
图像采集子模块，用于分别采集每个监测视角对应的图像与视频，基于采集结果确定运维现场的目标视频以及目标图像。
9.根据权利要求8所述的一种基于图像识别技术的专家远程视觉辅助赋能系统，其特征在于，图像采集子模块，包括：
像素信息采集单元，用于当完成对运维现场的目标视频以及目标图像采集之后，获得目标视频中视频图像的像素信息以及目标图像对应的像素信息；
信息相似度获取单元，用于将目标视频中视频图像的像素信息以及目标图像对应的像素信息进行匹配，获得目标视频中视频图像的像素信息以及目标图像对应像素信息的信息相似度；
视频图像匹配单元，用于当信息相似度达到90%时，则将目标视频与目标图像进行对应记录，基于对应记录结果完成对目标视频与目标图像之间的对应匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311661347.6A CN117351406A (zh) | 2023-12-06 | 2023-12-06 | 基于图像识别技术的专家远程视觉辅助赋能系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311661347.6A CN117351406A (zh) | 2023-12-06 | 2023-12-06 | 基于图像识别技术的专家远程视觉辅助赋能系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117351406A true CN117351406A (zh) | 2024-01-05 |
Family
ID=89371501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311661347.6A Pending CN117351406A (zh) | 2023-12-06 | 2023-12-06 | 基于图像识别技术的专家远程视觉辅助赋能系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351406A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036544A (zh) * | 2014-06-25 | 2014-09-10 | 西安煤航信息产业有限公司 | 一种基于机载LiDAR数据的建筑物屋顶重建方法 |
| CN106657365A (zh) * | 2016-12-30 | 2017-05-10 | 清华大学 | 一种基于rdma的高并发数据传输方法 |
| CN114662714A (zh) * | 2022-02-25 | 2022-06-24 | 南京邮电大学 | 基于ar设备的机房运维管理系统及方法 |
| CN115294275A (zh) * | 2022-08-05 | 2022-11-04 | 珠海普罗米修斯视觉技术有限公司 | 三维模型的重建方法、装置及计算机可读存储介质 |
| CN116310192A (zh) * | 2022-12-28 | 2023-06-23 | 江苏省测绘研究所 | 一种基于点云的城市级建筑物三维模型单体重建方法 |
-
2023
- 2023-12-06 CN CN202311661347.6A patent/CN117351406A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036544A (zh) * | 2014-06-25 | 2014-09-10 | 西安煤航信息产业有限公司 | 一种基于机载LiDAR数据的建筑物屋顶重建方法 |
| CN106657365A (zh) * | 2016-12-30 | 2017-05-10 | 清华大学 | 一种基于rdma的高并发数据传输方法 |
| CN114662714A (zh) * | 2022-02-25 | 2022-06-24 | 南京邮电大学 | 基于ar设备的机房运维管理系统及方法 |
| CN115294275A (zh) * | 2022-08-05 | 2022-11-04 | 珠海普罗米修斯视觉技术有限公司 | 三维模型的重建方法、装置及计算机可读存储介质 |
| CN116310192A (zh) * | 2022-12-28 | 2023-06-23 | 江苏省测绘研究所 | 一种基于点云的城市级建筑物三维模型单体重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵传: "航空影像辅助机载LiDAR点云的建筑物三维模型重建技术研究", 《中国优秀硕士学位论文全文数据库基础科学辑》, pages 1 - 156 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | From big to small: Multi-scale local planar guidance for monocular depth estimation | |
| US11682170B2 (en) | Generating three-dimensional geo-registered maps from image data | |
| CN114004941A (zh) | 一种基于神经辐射场的室内场景三维重建系统及方法 | |
| KR20190128686A (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| CN112053446A (zh) | 一种基于三维gis的实时监控视频与三维场景融合方法 | |
| WO2019238114A1 (zh) | 动态模型三维重建方法、装置、设备和存储介质 | |
| CN108010123B (zh) | 一种保留拓扑信息的三维点云获取方法 | |
| KR100560464B1 (ko) | 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법 | |
| CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
| CN112991534B (zh) | 一种基于多粒度物体模型的室内语义地图构建方法及系统 | |
| CN116229019A (zh) | 面向数字孪生的大场景融合三维重建方法及系统 | |
| WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
| CN115082254A (zh) | 一种变电站精益管控数字孪生系统 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| KR20170143439A (ko) | 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법 | |
| CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
| CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 | |
| CN117593702B (zh) | 远程监控方法、装置、设备及存储介质 | |
| CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| CN112396831A (zh) | 一种交通标识的三维信息生成方法和装置 | |
| CN115115847B (zh) | 三维稀疏重建方法、装置及电子装置 | |
| CN117351406A (zh) | 基于图像识别技术的专家远程视觉辅助赋能系统 | |
| CN116071504A (zh) | 一种面向高分辨率图像的多视图立体重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |