CN112598778B - 一种基于改进的纹理贴图算法的vr三维重建方法 - Google Patents
一种基于改进的纹理贴图算法的vr三维重建方法 Download PDFInfo
- Publication number
- CN112598778B CN112598778B CN202010914364.6A CN202010914364A CN112598778B CN 112598778 B CN112598778 B CN 112598778B CN 202010914364 A CN202010914364 A CN 202010914364A CN 112598778 B CN112598778 B CN 112598778B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- dimensional
- depth
- texture mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 21
- 238000013507 mapping Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 230000005622 photoelectricity Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进的纹理贴图算法的VR三维重建方法。针对基于VR技术进行电缆运维技能培训的问题，提出一种培训场景VR三维重建方法，利用深度相机产生的深度图像来进行3D模型搭建以及多层次图像构建。具体为：首先使用棋盘校准法将RGB图与深度图进行单机校准和多机校准，构建出世界坐标系；接着使用KinectFusion中的TSDF方法，进行三维模型搭建；最后使用融合了深度信息的纹理贴图算法，对电力设备外观模型进行优化。本发明能大大提高搭建场景的真实性，有效解决VR场景搭建复杂，关键细节模糊的问题，对今后的培训场景VR搭建具有指导意义。
Description
技术领域
本发明涉及一种基于改进的纹理贴图算法的VR三维重建方法。本发明所属的技术领域是VR三维重建，旨在低成本、高还原度地搭建三维模型。
背景技术
近年来，我国电网的电缆化程度在不断提高，但是电力电缆后期的维护工作具有较大的难度，保障电缆线路的安全运行是电力系统运行的基本要求。电缆一旦发生故障将直接影响整个电力系统的安全运行，甚至可能导致火灾、大规模停电等严重后果。因此，电缆运维中的一项重要工作便是培养具有电缆运维技能及故障检修技术的人才。传统的电缆运维及检修赋能主要分为理论学习和实操训练两种，传统理论学习不够生动形象，而实操训练容易受到作业场地、作业装置的差异性以及天气等因素制约，实际效果不够理想。而随着计算机技术的不断发展，虚拟现实(virtual reality，VR)技术受到越来越多的关注，使用VR技术进行电缆运维技能培训和故障应急抢修成为可能。VR可以极高的还原电力作业现场，工作人员可以在毫无危险的情况下完成不同模拟操作训练，这是传统学习方式无法比拟的。
发明内容
虚拟环境的建立是VR系统的核心，目的是获取实际环境中的三维数据，并根据需要建立相应的虚拟环境模型。传统的三维数据的建立通常以二维图像作为输入，构建出场景中的三维模型，但该方法受限于输入的数据，重建出的三维模型通常不够完整且真实感偏低。本发明针对上述问题，提出一种使用深度相机来进行三维重建，并通过融合深度信息的纹理贴图算法对三维模型表面的纹理信息进行加强的方法。
本发明的实现步骤包括：
1.1深度相机双摄像头融合校准，输出视频流。微软的Kinect深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在垂直平面的距离值，这个距离值被称为深度值(depth)，这些深度值即组成深度图像。深度图像可以看作是一幅灰度图像，图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到相机所在垂直平面的真实距离。
Kinect相机由两个摄像头分别拍摄出彩色图像和深度图像，所以需要将这两个摄像头拍摄到的不同类型的图像进行校准并融合，使得RGB图像上的每一个像素点都可以在其真正的深度坐标上获得投影，进行三维重建。同时此处会进行模糊检测，对于模糊的图像帧进行存储，以备后续纹理贴图算法使用。
1.2多台Kinect拼接校准。为了完整的构建出电缆运维流程及电缆常见故障等虚拟场景，必须要进行360度全面覆盖，这样的效果利用一台相机是无法完成的，需要使用多台Kinect同时工作，从多个角度同时拍摄一个目标。现实中的电缆设备运营模式相对简单，一般采取四机位，机位间呈90°间隔即可。不同的相机位置对应着不同的局部三维坐标系，然而重建后的模型需要坐落在一个坐标系，即世界坐标系。于是，需要找到每一个相机的局部坐标系同世界坐标系的位置关系。在三维环境中建立空间坐标系，设立原点，将所有Kinect共同校准。
1.3三维模型的建立。在对所有相机进行校准之后，进行三维模型的构建。此处使用KinectFusion在世界坐标系中定义了一个立方体，并把该立方体按照一定的分辨率切割成小立方体。这样把立方体分为不同分辨率的小立方体网格，也就是说，这个大立方体限制了经过扫描重建的模型的体积，然后KinectFusion使用一种“截断有符号距离函数”(truncated signed distance function，TSDF)的方法来更新每个小网格中的一个数值，该数值代表了该网格到模型表面的最近距离。对于每个网格，在每一帧都会更新并记录TSDF的值，然后再通过TSDF值还原出重建模型。这种方法通常被称为基于体数据的方法(Volumetric-based method)。该方法的核心思想是，通过不断更新并“融合”(fusion)TSDF这种类型的测量值，能够越来越接近所需要的真实值。
1.4电力设备VR场景中，电缆线路的纹理往往不清晰，而这往往是电力设备VR培训中心要重点关注的部分，因此将1.1中存储的模糊图像使用维纳滤波算法去模糊化。
1.5三维模型外观优化。此处使用融合了深度信息的纹理贴图算法，通过图1深度图像与RGB图像之间的点位关系，并基于1.2中所建立的世界坐标系，可以得到RGB图像与三维模型表面的对应关系。进一步计算三维模型表面的法向量，通过得到的图像点位信息与法向量，将RGB图像进行分割，得到不同的RGB贴片图像。由于这里是通过基于三维模型表面的法向量来做的图像分割，因此分割得到的图像与实际的三维模型表面是完全匹配的。
1.6对RGB图像做几何变换。通过1.5得到了RGB图像与三维模型表面的对应关系，但是由于拍摄角度问题，贴到模型表面的RGB图像往往会凸出模型表面，或者难以铺满整个模型表面。此处利用1.3得到的三维模型，按照实际三维模型表面的尺寸，对RGB图形做透视变换，使得RGB图像尺寸与三维模型表面的尺寸相吻合。最终将处理后的RGB图像贴到三维模型表面。
本发明与现有技术相比具有以下优点
本发明使用深度相机来进行电缆运维流程及电缆常见故障等虚拟场景的构建，该方法省去了设计师的手工画图加工的成本，而且最大限度的还原了实际的电缆运行场景。而且本发明解决了由于电力设备电缆线路复杂而导致的构建的三维模型不清晰的问题。本发明可嵌入性极强，可轻松嵌入更多的运营数据，以及光电、风雨等高维度特效。使得成员在培训过程中，有更高的沉浸感。
附图说明
图1是RGB图像和深度图像的关系
图2是电力设备模型图
图3是电力故障模拟控制台
图4是变电站电缆模拟图
具体实施方式
下面结合附图对本发明做进一步描述。
步骤1.深度相机双摄像头融合校准，输出视频流。这一步主要有两个部分，第一是将每个镜头进行畸变校准，第二是将深度图和彩色图进行校准并融合。
镜头畸变校准采用棋盘校准法，即用相机去拍摄一个标准的黑白格棋盘，通过多组数据所对应的角点解方程，即可进行畸变校准。本发明提取每个黑白区域的重心为特征点，重心就是求物体中像素的平均值，即：
其中，为区(xi，yi)域内的像素坐标，(x0，y0)为其重心坐标。
如果图像没有失真，那么需要根据CCD的分辨率和镜头的放大率计算实际成像系统的分辨率，根据成像系统的分辨率，将标准棋盘上的特征点转换为像素的相对坐标值。
sk＝kCCD/c
xl＝xt×sx
yl＝yt×sy
其中，sk表示成像系统的分辨率，kCCD表示CCD的分辨率，c表示镜头倍率，xl表示x向相对坐标值，xt表示x相对位置，sx表示成像系统的x向分辨率，yl表示y向相对坐标值，yt表示y向相对位置，sy表示成像系统的y向分辨率。
因此，只要标准棋盘上的每个区域的中心是已知的，就可以根据上述公式计算像素的相对坐标。解决了镜头本身的畸变之后，需要考虑两种图像的融合问题。进行融合时，保证满足深度图视野内的图像，超出深度图视野的彩色图像不予处理。用半透明棋盘将两图像通过角点重合后通过特征点进行互相校准，由此可以做到深度图与彩色图像中棋盘网格的区域像素一一对应。
步骤2.多台Kinect拼接校准。使用多台Kinect进行拍摄，不同的相机位置对应着不同的局部三维坐标系，将第一帧的相机位置当作是世界坐标系的原点，估计出相机在此后每一帧相对于第一帧位置转移矩阵。也就是说，在给定了第k-1帧重建的模型以及转移矩阵Tw，k-1，还有第k帧的RGBD数据，估计出第k帧的转移矩阵Tw，k，这里的w下标表示世界坐标系world，k是帧的编号。
为了解决上述问题，采用迭代最近点(ICP)方法。给定输入的原始数据和目标数据，以及两者的数据点之间的对应关系，ICP计算得到原始数据和目标数据之间的转移矩阵，该矩阵使得所有的目标数据点到其对应的原始数据点所在的切平面距离之和最小，即目标函数为
其中，si和di是原始数据点和对应的目标数据点，ni是si所在的切平面的法向量。为了给ICP算法找到合适的对应点，将目标数据点即第k帧的数据点通过转移矩阵Tw，k-1投影到原始数据点(第k-1帧数据点)，然后将两者作为相互对应的点。在估计了第k帧的转移矩阵后，再将其作用到第k帧的相机的局部坐标系的数据中，便可得到在世界坐标系中的数据。
步骤3.三维模型的建立。得到相机位置之后，对于需要构建的电力设备中的每个点，需要从众多的测量值中估计出最终位置。采用TSDF模型进行深度数据的融合，TSDF将整个带重建的三维空间划分成网格，每个网格中存储了数值。网格中的值大小代表网格离重建好的表面的距离，重建好的表面到相机一侧都是正值，另一侧都是负值，网格点离重建好的表面距离越远绝对值越大，在网格模型中从正到负的穿越点表示重建好的电力设备的表面。TSDF更新方法核心思想就是对所有的测量值加权平均的过程，这种更新方式效率高，对于保证实时三维重建非常有必要。TSDF是基于体数据的方法，简单直观，而且容易使用并行计算实现，因此可以极大的增加扫描和重建效率。
步骤4.模糊图像滤波处理。由于电力设备场景中，电缆线路多且复杂，而传统的三维重建往往很难能对特点进行完美建模。通过使用基于参考的模糊检测算法，通过比较模糊图像与原始标准图像，来衡量图像的模糊程度。对于模糊程度较高的图像帧，使用维纳滤波进行处理。
在拍摄过程中，可能会出现聚焦不准、环境随机噪声、镜头抖动等原因造成的图像模糊现象，尤其是电力设备场景中，线路复杂，往往难以体现其纹理特征，通过采用维纳滤波算法对模糊图像进行去模糊处理。维纳滤波可以从输入数据中滤除噪声和干扰，从而提取有用的信息。
其中，*是卷积符号，x(t)是在t时刻输入的信号，h(t)是一个线性时不变系统的脉冲响应，n(t)是加性噪声，y(t)是输出信号，g(t)是卷积函数，是x(t)的最小均方差估计，G(f)和H(f)是g和h在频率域的傅里叶变换，S(f)是输入信号x(t)的功率谱，N(f)是噪声n(t)的功率谱，上标*代表复数共轭，/>是/>的傅里叶变换，通过逆傅立叶变换可以得到去卷积后的结果/>
步骤5.通过纹理贴片算法进行模型外观优化。将滤波处理后的图像，使用纹理贴图算法将RGB图像融合到步骤3中建立的模型中。具体步骤为：
步骤5.1建立模型表面与RGB图像的对应关系。图1简单说明了RGB图像和深度图像的关系，如图所示，对于现实场景中点的M，深度相机能够获取其在RGB图像中的成像点XM，以及M到相机所在的垂直平面的距离，这个距离便是M的深度值。深度相机的每一帧的深度图像就相当于一个在相机的局部三维坐标系中的点云模型。结合步骤3中建立的三维模型，采取按行扫描的形式，建立RGB图像与三维模型表面的区域对应关系。
步骤5.2切割RGB图像。根据步骤2建立的世界坐标系，计算每一个模型表面的法向量。根据法向量以及5.1中的对应关系，对于法向量角度超过一定阈值的图像部分，进行切割形成RGB贴片图像。从而将建立了贴片图像与三维模型表面的对应关系。具体计算公式为：
其中(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)是空间中任意的三点，(dx，dy，dz)是法向量。
步骤5.3图形畸变矫正。此处利用步骤3得到的三维模型，按照实际三维模型表面的尺寸，对RGB贴图图形做透视变换，可以得到与模型表面尺度相当，且同样角度的贴片，使得RGB图像尺寸与三维模型表面的尺寸相吻合。最终将处理后的RGB图像贴到三维模型表面。其中，透视变换的具体公式为：
其中，(u，v)是原始坐标，(x，y)是变换后的坐标，a11，a12，a21，a22用于实现线性变换，如比例缩放、剪切等，a13，a23用于平移变换，a31，a32实现透视变换，a33用于全比例变换。
实施效果
通过实际测试，本发明在电力设备的VR培训中，可以实现场景的三维搭建，图2、图3展示了搭建出的电力设备车间图以及对电缆运营的控制台，培训人员可在控制台进行故障模拟的控制操控。本发明尤其对于电缆线路，可实现清晰地还原现实场景，如图4所示，展现电力变电站电缆模拟图，培训人员可以清晰判断线路，同时由于采用改进的纹理贴图算法，本发明可高真实度地模拟搭建的具体场景中的电缆电路以及电气元件。
通过本发明的三维图像搭建，工作人员可以低成本地根据实际场景搭建VR场景，并在构建的场景中进行电力设备的学习、电缆日常运营维护教学、常见故障解决最佳实践培训等，具有较强的实用意义。而且基于本发明搭建的场景，有丰富的扩展接口，可轻松接入线上运营的实时数据，以及光电等特效，使得培训更加真实可感。
Claims (6)
1.一种基于改进的纹理贴图算法的VR三维重建方法，其特征步骤在于：
(1)使用深度相机双摄像头融合校准，输出视频流，深度摄像机每一帧数据不仅包括了物体的彩色的RGB图像，还包括物体到机位的深度图像；
(2)为了提高构建的准确性，每一台相机都需要通过棋盘校准法进行镜头畸变校准，首先求出重心坐标，其计算公式为其中，(xi，yi)为畸变区域内的像素坐标，(x0，y0)为重心坐标；
(3)像素的相对坐标由公式得出，其中sk表示成像系统的分辨率，kCCD表示CCD的分辨率，c表示镜头倍率，xl表示x向相对坐标值，xt表示x相对位置，sx表示成像系统的x向分辨率，yl表示y向相对坐标值，yt表示y向相对位置，sy表示成像系统的y向分辨率；
(4)对RGB图像进行模糊检测，对于模糊的图像帧使用维纳滤波算法进行去模糊化，使得线条纹路变清晰，并存储以备后用；
(5)多机位拼接校准，不同位置相机位置对应着不同的局部三维坐标系，这里以第一帧相机的位置作为世界坐标系原点，在世界坐标系中构建电缆设备，由于电缆设备的运营环境相对单一，因此这里采用四台机位来构建即可；
(6)为解决多机位拼接校准问题，采用最近点(ICP)方法来进行拼接校准，这里要计算原始数据和目标数据之间的转移矩阵，该矩阵使得所有的目标数据点到其对应的原始数据点所在的切平面距离之和最小，即目标函数为其中，si和di是原始数据点和对应的目标数据点，ni是si所在的切平面的法向量，)如此在估计了第k帧的转移矩阵后，再将其作用到第k帧的相机的局部坐标系的数据中，便可得到在世界坐标系中的数据。
2.根据权利要求1所述的一种基于改进的纹理贴图算法的VR三维重建方法，其特征在于：在确定物体在空间的具体位置后，采用TSDF模型进行深度数据融合，通过加权平均的方式，进行三维模型的初步建立。
3.根据权利要求2所述的一种基于改进的纹理贴图算法的VR三维重建方法，其特征在于：基于权利要求2中得到的世界坐标系，根据深度信息及坐标信息，来建立RGB图像与三维模型的对应关系。
4.根据权利要求3所述的一种基于改进的纹理贴图算法的VR三维重建方法，其特征在于：基于权利要求2中得到的世界坐标系和权利要求3中得到的三维模型，来计算每一个三维模型表面的法向量，通过不同平面法向量相交的角度来对权利要求1中提前存储的去模糊化图像进行图像分割，由此得到三维模型表面与RGB贴图图像的对应关系。
5.根据权利要求4所述的一种基于改进的纹理贴图算法的VR三维重建方法，其特征在于：在得到RGB贴图图像后，需要对贴图做透视变换，从而得到与三维模型表面相吻合的图像，通过公式来进行角度与尺度的变换，其中(u，v)为原始图像像素坐标，(x，y)为变换之后的图像像素坐标，/>为透视变换矩阵，最终将处理完毕的RGB贴图贴到三维模型表面。
6.根据权利要求1所述的一种基于改进的纹理贴图算法的VR三维重建方法，其特征在于：通过该方式可实现低成本、高真实度地搭建电缆设备运行的场景，并可轻松内嵌3DMax特效图，使得电力设备VR培训更加真实可感。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010914364.6A CN112598778B (zh) | 2020-08-28 | 2020-08-28 | 一种基于改进的纹理贴图算法的vr三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010914364.6A CN112598778B (zh) | 2020-08-28 | 2020-08-28 | 一种基于改进的纹理贴图算法的vr三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112598778A CN112598778A (zh) | 2021-04-02 |
| CN112598778B true CN112598778B (zh) | 2023-11-14 |
Family
ID=75180117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010914364.6A Active CN112598778B (zh) | 2020-08-28 | 2020-08-28 | 一种基于改进的纹理贴图算法的vr三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598778B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542722A (zh) * | 2021-06-30 | 2021-10-22 | 石家庄科林电气设备有限公司 | 一种电力运维中实时数据、三维模型和视频结合显示系统 |
| CN113452984B (zh) * | 2021-06-30 | 2023-02-03 | 石家庄科林电气设备有限公司 | 一种电力运维中实时数据、三维模型和视频结合显示方法 |
| CN116702535A (zh) * | 2023-05-06 | 2023-09-05 | 成都飞机工业（集团）有限责任公司 | 飞机导管疲劳裂纹扩展分析方法及疲劳寿命预测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456038A (zh) * | 2013-08-19 | 2013-12-18 | 华中科技大学 | 一种井下环境三维场景重建方法 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
| CN107833253A (zh) * | 2017-09-22 | 2018-03-23 | 北京航空航天大学青岛研究院 | 一种面向rgbd三维重建纹理生成的相机姿态优化方法 |
| CN108062784A (zh) * | 2018-02-05 | 2018-05-22 | 深圳市易尚展示股份有限公司 | 三维模型纹理贴图转换方法与装置 |
| CN108961390A (zh) * | 2018-06-08 | 2018-12-07 | 华中科技大学 | 基于深度图的实时三维重建方法 |
| WO2019229293A1 (en) * | 2018-05-31 | 2019-12-05 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| KR20200063367A (ko) * | 2018-11-23 | 2020-06-05 | 네이버웹툰 주식회사 | 딥러닝 기술을 이용하여 비디오 영상을 3d 비디오 영상으로 변환하는 방법 및 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10504274B2 (en) * | 2018-01-05 | 2019-12-10 | Microsoft Technology Licensing, Llc | Fusing, texturing, and rendering views of dynamic three-dimensional models |
| WO2019173672A1 (en) * | 2018-03-08 | 2019-09-12 | Simile Inc. | Methods and systems for producing content in multiple reality environments |
-
2020
- 2020-08-28 CN CN202010914364.6A patent/CN112598778B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456038A (zh) * | 2013-08-19 | 2013-12-18 | 华中科技大学 | 一种井下环境三维场景重建方法 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
| CN107833253A (zh) * | 2017-09-22 | 2018-03-23 | 北京航空航天大学青岛研究院 | 一种面向rgbd三维重建纹理生成的相机姿态优化方法 |
| CN108062784A (zh) * | 2018-02-05 | 2018-05-22 | 深圳市易尚展示股份有限公司 | 三维模型纹理贴图转换方法与装置 |
| WO2019229293A1 (en) * | 2018-05-31 | 2019-12-05 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| CN108961390A (zh) * | 2018-06-08 | 2018-12-07 | 华中科技大学 | 基于深度图的实时三维重建方法 |
| KR20200063367A (ko) * | 2018-11-23 | 2020-06-05 | 네이버웹툰 주식회사 | 딥러닝 기술을 이용하여 비디오 영상을 3d 비디오 영상으로 변환하는 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| A New Model of RGB-D Camera Calibration Based on 3D Control Field;Chenyang Zhang等;《Sensors》;第1-19页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112598778A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598778B (zh) | 一种基于改进的纹理贴图算法的vr三维重建方法 | |
| CN107194991B (zh) | 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法 | |
| CN107067447B (zh) | 一种大空间区域的整体化视频监控方法 | |
| CN110458932B (zh) | 图像处理方法、装置、系统、存储介质和图像扫描设备 | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| JP7484055B2 (ja) | 深度情報付きのパノラマ画像を生成する方法、装置、記憶媒体、電子機器及びコンピュータプログラム | |
| KR20090078463A (ko) | 왜곡 영상 보정 장치 및 방법 | |
| US10755477B2 (en) | Real-time face 3D reconstruction system and method on mobile device | |
| CN112686877A (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN111027415B (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN111325693A (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
| Ding et al. | Fusing structure from motion and lidar for dense accurate depth map estimation | |
| WO2022088881A1 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
| CN111241615A (zh) | 一种高度真实感的变电站多源融合三维建模方法 | |
| CN115953298A (zh) | 基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法 | |
| CN114049464A (zh) | 一种三维模型的重建方法及设备 | |
| CN112288637A (zh) | 无人机航拍图像快速拼接装置及快速拼接方法 | |
| CN106952262A (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
| CN111563961A (zh) | 一种变电站的三维建模方法和相关装置 | |
| CN111402250A (zh) | 基于边缘计算的机器视觉缺陷检测方法和平台 | |
| CN106485781A (zh) | 基于实时视频流的三维场景构建方法及其系统 | |
| CN112700548A (zh) | 一种bim模型在可视化变电站中与视频信息的融合方法 | |
| CN116402713A (zh) | 一种基于二维图像和几何形状的电力三维点云补全方法 | |
| CN112422848A (zh) | 一种基于深度图和彩色图的视频拼接方法 | |
| Salehi et al. | Alignment of cubic-panorama image datasets using epipolar geometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |