CN116437063A - 一种三维图像显示系统及方法 - Google Patents
一种三维图像显示系统及方法 Download PDFInfo
- Publication number
- CN116437063A CN116437063A CN202310710302.7A CN202310710302A CN116437063A CN 116437063 A CN116437063 A CN 116437063A CN 202310710302 A CN202310710302 A CN 202310710302A CN 116437063 A CN116437063 A CN 116437063A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional image
- dimensional
- picture
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 16
- 230000009466 transformation Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种三维图像显示系统及方法，包括控制模块、显示模块和无线通讯模块，所述无线通讯模块用于接收图像数据，其中图像数据包括物体图片和背景图片；所述控制模块用于根据图像数据进行三维图像的重建，并对重建后的三维图像进行渲染和压缩处理，还用于对三维图像进行图像预处理；所述显示模块用于对经过图像预处理后的三维图像进行显示；图像预处理包括：针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。本发明提供的三维图像显示系统及方法，使最终显示出来的三维图像或视频更加清晰，整体效率更高。
Description
技术领域
本发明涉及图像显示技术领域，具体涉及一种三维图像显示系统及方法。
背景技术
实时重建是通过将许多重叠深度图进行融合并表示成一个不断更新的3D场景，但是在不牺牲重建质量和空间规模的前提下保证较好的实时性能，是十分具有挑战性的；目前大多数实时重建的三维模型在显示过程中往往会存在分辨率较低、图像失真等技术问题，且特别是在将制作好的三维模型在显示终端上进行显示时，由于图像在传输过程中，往往会存在图像失真、图像分辨率低、像素较低的技术问题，且在每一帧图像进行融合时，图像失真较为明显，从而导致实时重建的三维图像存在不清晰且整体较为别扭。
因此，需要在现有技术的技术上加以改进，提供一种能够解决该问题的技术方案。
发明内容
针对现有技术的不足，本发明提供了一种三维图像显示系统及方法，使最终显示出来的三维图像或视频更加清晰，整体效率更高。
为了实现本发明的目的，本发明提供一种三维图像显示系统，包括控制模块、显示模块和无线通讯模块，所述控制模块分别与所述无线通讯模块和显示模块连接；所述无线通讯模块用于接收图像数据，其中图像数据包括物体图片和背景图片；所述控制模块用于根据图像数据进行三维图像的重建，并对重建后的三维图像进行渲染和压缩处理，还用于对三维图像进行图像预处理；所述显示模块用于对经过图像预处理后的三维图像进行显示；
图像预处理具体包括：
针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；
针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。
优选的，所述控制模块具体包括：
图像融合模块：接收物体图片和背景图片，将包含有目标物体的图片作为物体图片，将未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像；
或，将图片内目标物体区域大于预设值的图片作为物体图片，将图片内目标物体区域小于预设值或未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像。
优选的，所述控制模块还包括：
图像处理模块：通过集群服务器对重建后的三维图像进行渲染，再通过对渲染后的三维图像进行压缩处理；
其中，压缩过程具体包括编码处理，编码处理过程依次为：预测、变换编码、量化、滤波和熵编码操作处理。
优选的，所述控制模块具体还包括：
接收图像数据，将图像数据中的每一帧图像输送至关键空间中并建立一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。
优选的，所述控制模块具体还包括：
表面融合模块：用于根据第一帧图像构建并初始化三维体空间，并更新图像表面附近的体素；
表面提取模块：用于将关键空间下的TSDF模型转换为关键空间下的Mesh模型得到关键模型；
节点图更新模块：用于将关键模型中图像的顶点进行聚类操作得到节点。
优选的，所述控制模块具体还包括：
当图像数据中每一帧图像进入关键空间时需要先估算提翘曲场；根据提翘曲场将深度图像融合到三维场景中；扩展提翘曲场。
优选的，本发明还提供了一种三维图像显示方法，包括如下步骤：
S1：接收图像数据，其中图像数据包括物体图片和背景图片；
S2：根据图像数据进行三维图像的重建，并对重建后的三维图像进行渲染和压缩处理，将处理后的三维图像输送至显示终端，再对三维图像进行图像预处理；
其中图像与处理包括：
针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；
针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。
优选的，所述步骤S2具体包括：
接收物体图片和背景图片，将包含有目标物体的图片作为物体图片，将未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像；
或，将图片内目标物体区域大于预设值的图片作为物体图片，将图片内目标物体区域小于预设值或未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像。
优选的，所述步骤S2中根据图像数据进行三维图像的重建的具体步骤包括：
将图像数据中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。
优选的，步骤S2中将图像数据中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型的具体步骤包括：
S11：表面融合：根据第一帧图像构建并初始化三维体空间，并更新图像表面附近的体素；
其中每一帧图像进入关键空间中需要执行如下操作：
S110：估算提翘曲场；
S111：根据提翘曲场将深度图像融合到三维场景中；
S112：扩展提翘曲场；
S12：表面提取：通过将关键空间下的TSDF模型转换为关键空间下的Mesh模型得到关键模型；
S13：更新节点图：通过将关键模型中图像的顶点进行聚类操作得到节点。
本发明的有益效果为：本发明提供的三维图像显示系统及方法，使最终显示出来的三维图像或视频更加清晰，整体效率更高。
附图说明
通过附图中所示的本发明优选实施例更具体说明，本发明上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本的主旨。
图1为本发明实施例提供的三维图像系统的流程框图；
图2为本发明实施例提供的图像预处理前后的对比示意图；
图3为本发明实施例提供的图像分辨率预处理前后的对比示意图；
图中：1-显示模块、2-图像处理模块、3-图像融合模块、4-无线通讯模块。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
请参考图1-3，本发明实施例提供一种三维图像显示系统及方法，包括控制模块、显示模块1和无线通讯模块4（可为手机、电脑、手表、平板或其他移动终端），控制模块分别与无线通讯模块4和显示模块1连接；无线通讯模块4用于接收图像数据，其中图像数据包括物体图片和背景图片；控制模块用于根据图像数据进行三维图像的重建，并对重建后的三维图像进行渲染和压缩处理，还用于对三维图像进行图像预处理；显示模块1用于对经过图像预处理后的三维图像进行显示；
在具体实施例中，本发明所采用的三维图像显示方法，可应用于医疗领域，医生对病人手术部位的应用；也可针对房屋建造的应用，或动物的具体分析等方面的应用，对此不做具体限定。
图像预处理具体包括：
针对边缘明显的图像包括：多个像素点之间的轮廓清晰排列或边缘图像的像素点和图像中心的像素点的轮廓清晰度相同或近似、边缘图像的像素点不会与背景图的像素点存在重合或容易混淆的情况），基于轮廓提取的矫正算法进行图像处理；
其具体矫正算法包括：
设输入图像为：F={fij}，设初始NBD=1（将F的frame看成第一个边界），NBD为当前边界的序列数；采用光栅扫描法扫描图像F，当扫描到像素点（i，j）的灰度值fij≠0时执行下列步骤（每次当扫描到图像的新行的起始位置时，将LNBD重置为1）：
S021：确定点边界类型；
当fi，j=1且fi，j-1=0时，则确定像素点（i，j）是外边界起始点，NBD+=1，（i2，j2）←（i，j-1）；
当fi，j≥1且fi，j+1=0时，则确定像素点（i，j）是孔边界起始点，NBD+=1，（i2，j2）←（i，j+1），若fij>1，则NBD←fij；
当不满足上述两个条件时，则执行S024；
S022：根据上一个边界B′和当前新遇到的边界B的类型得出当前边界B的父边界；
S023：从边界起始点（i，j）开始进行边界跟踪；
S0231：以(i,j)为中心，(i2,j2)为起始点，按顺时针方向查找(i,j)的4（8）邻域是否存在非0像素点；若找到非0像素点，则令(i1,j1)作为顺时针方向的第一个非0像素点；否则令fij=−NBD，并转到S024；
S0232：(i2,j2)←(i1,j1) 且 (i3, j3)←(i, j)；
S0233：以(i3,j3)为中心，按逆时针方向将(i2,j2)的下一个点作为起始点查找(i3,j3)的4（8）邻域是否存在非0像素点，若存在非0像素点，则将(i4,j4)作为逆时针方向的第一个非0像素点；
S0234：根据以下规则修改点(i3, j3)的NBD值fi3,j3；
S02341：当(i3,j3+1)是(3.3)中已经检查过的像素点且是0像素点，则fi3,j3←-NBD；
S02342：当(i3,j3+1)不是(3.3)中已经检查过的0像素点，并且fi3,j3=1，则fi3,j3←NBD；
S02343：当不满足上述两个条件时，则不改变fi3,j3的数值；
S02344：当(i4,j4)=(i,j)且(i3,j3)=(i1,j1)，则转到步骤S024；否则令(i2,j2)←(i3,j3)，(i3,j3)←(i4,j4)，并转到步骤S02341。
S024：若fij≠1，且LNBD←|fij|，则从点（i，j+1）开始继续光栅扫描，当扫描到图像的右下角顶点时结束扫描。
针对边缘不明显，但是排列整齐（包括边缘区域的图像像素点和背景图的像素点存在重合或颜色近似的图像、多个像素点之前起伏角度较为平整且能够将背景图的像素点区分开来的像素点的图像）的三维图像，基于霍夫直线探测的矫正算法进行图像处理。
霍夫直线探测的矫正算法主要通过在图像中检测直线，实质上是找到构成直线的所有像素点；也就是说从找到直线变成找到符合y=kx+b的所有点（x，y）的问题；
首先，进行坐标系变化y=kx+b，变成b=-xk+y；这样表示为过点(k,b)的直线束；x-y空间的直线上每一个点在k-b坐标系中都表现为经过(k,b)的直线；找到所有点的问题，转变为寻找直线的问题；对于图像中的每一个点，在k-b坐标系中对应着很多的直线；找到直线的交点，就对应着找到图像中的直线。
在进一步的优选实施例中，基于霍夫直线探测的矫正算法进行图像处理的具体步骤包括：
目前，opencv霍夫检测直线常用的方法是，将平面中任一条直线采用极坐标方式表示，其公式为：
，其中ρ表示直角坐标系中原点到直线的距离，θ表示x轴与ρ之间的夹角；这样图像平面上的点就对应到ρ-θ平面上的一条曲线上；如果对位于同一直线上的多个点进行变换，原图像空间的多个点在参数空间对应得到有多个正弦曲线，且多个正弦曲线相交于一点；本申请主要基于Hough变换算法进行计算，其具体计算步骤为：
S221：在ρ和θ的最大值和最小值之间建立一个离散的参数空间，将参数空间(ρ,θ)量化成m*n（m为ρ的等份数，n为θ的等份数）个单元，并设置累加器矩阵；
S222：将参数空间中的每个单元分别分配一个累加器Q(i，j)，并将累加器的初始值设置为0；
S223：将图像边界上的每个点（x，y）带入公式
中，并计算得出每个θ对应的ρ值；
S224：在参数空间中找到ρ和θ所对应的单元，并将该单元的累加器加1，即：Q（i，j）=Q（i，j）+1；
S225：当直角坐标系中每个点都经过步骤S223和S224两步遍历后，检验参数空间中每个累加器的值，并将累加器最大单元所对应的ρ和θ作为直角坐标系中直线方程的参数；
直角坐标系中的点分布在 R 条直线附近时，可在第 5 步检测累加器时，取出累加器中前 R 个值最大的单元所对应的ρk和θk(k=1,2,…,R )，以ρk和θk为直角坐标系中直线方程式ρ=xcosθ+ysinθ的参数，即可同时实现多条直线的检测。
在优选实施例中，图像预处理具体还包括：
ICP配准法基本原理为：设三维空间R3存在有n个坐标点的点集，分别为： PL和PR；三维空间点集PL中各点经过三维空间变换后与点集PR中点一一对应，其单点变换关系式为：
，上式中，R为三维旋转矩阵，t为平移向量；在ICP配准法中，空间变换参数向量X可表示为：/>
,参数向量中四元数参数满足约束条件为：/>
，根据迭代的初值X0，有上述式可计算新点集Pi为：
，其中P表示原始未修改过的点集，Pi的下标i表示迭代次数，参数向量X的初始值X0为/>
。
基于ICP配准法对三维图像进行图像失真处理，其ICP配准法具体步骤为：
S21：根据点集PLk中的点坐标，在曲面S上搜索就近点点集Prk；
S22：计算点集PLk和就近点点集Prk的重心位置坐标，并进行点集中心化生成新的点集；
S23：通过生成的新的点集计算正定矩阵N，并计算正定矩阵N的最大特征值及最大特征向量；
S24：根据四元数算法将最大特征向量转换为旋转矩阵R，根据重心点和旋转矩阵确定平移向量T；
S25：重复步骤S21-S24，通过点集PLk计算旋转后的点集P′Lk，根据PLk和P′Lk计算距离平方和fk+1，并以连续两次距离平方和之差
的绝对值作为迭代判断数值；
S26：当
时，停止迭代；否则重复步骤S21-S25，直至满足条件/>
后停止迭代。τ为迭代判断数值。
请参考图1-3，在优选实施例中，控制模块具体包括：
图像融合模块3：接收物体图片和背景图片，将包含有目标物体的图片作为物体图片，将未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像；由于用户在上传照片时可能选出现传输错误或者多传照片的情况，因此通过对图片进行识别来判定那些照片作为物体照片、那些照片作为背景照片，整体效率会大幅度提升。
或，将图片内目标物体区域（假设物体为动物，这里所指的区域是指图片内动物所占图片的百分比或所占的像素点的大小，也可以是其他方式来判定，对此不做限定）大于预设值的图片作为物体图片，将图片内目标物体区域小于预设值或未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像。
请参考图1-3，在优选实施例中，控制模块还包括：
图像处理模块2：通过集群服务器对重建后的三维图像进行渲染，再通过对渲染后的三维图像进行压缩处理；
其中，压缩过程具体包括编码处理，编码处理过程依次为：预测、变换编码、量化、滤波和熵编码操作处理。
通过图像或视频压缩处理解决传输实时性问题，而视频压缩的基本原理就是去除这些冗余信息，将视频压缩300到500倍，常见的压缩方法有预测编码、变换编码和熵编码技术。将输入的视频信息按照各个编码模块进行处理，输出码流的过程称为视频编码过程，再通过对应的熵解码、变换解码和预测解码过程，将码流还原成YUV420视频流的过程称为视频解码过程。可以将视频编解码的过程看作是压缩和解压缩的过程，但在该过程中，由于压缩的算法有所差异，所以解码的算法必须对应着编码的算法，不同的编解码算法效果不一。
其中，压缩过程具体包括编码处理，编码处理过程依次为：预测、变换编码、量化、滤波和熵编码操作处理。由于失真处理一般出现在数据传输部分，所以是在编码后传输到显示显示终端后，解码操作一般通过显示终端的解码器进行处理图像失真问题；
预测：视频由按照时间序列的图像构成。每一幅图像相邻像素之间存在较强的空间相关性，而相邻图像（不同时间）之间存在时间上的相关性。充分利用这些信息，可以有效的帮助我们去除这些冗余信息。根据空间和时间相关性，存在帧内预测和帧间预测两种不同的方式。两者都需要根据已编码的像素去预测未编码像素。通常选取第一帧作为参考帧，而不进行处理。通过帧内/帧间预测的方式，我们可以将预测值和真实值的残差进行编码操作。下面逐一介绍帧内预测和帧间预测的方法：
(a) 帧内预测：该预测值来自于周围已编码结果的线性组合。由于图像中存在特定的纹理，因此该预测值的计算存在几种不同的模式，例如：垂直模式，水平模式，DC模式，Plane 模式等。在实际中我们需要扫描所有的模式从而通过拉格朗日率失真优化进行选择。
(b)帧间预测：主要采用基于块的运动补偿技术。该技术通过相邻图像高度的时间相关性，可以为当前图像中的每一个像素寻找之前已经编码图像的一个最佳匹配块（运动估计），用参考像素块和当前像素块，可以定义一个运动矢量。类似于帧内预测，这里我们也只需要传输运动矢量的残差。在运动补偿过程中，我们也需要对块的划分进行遍历，利用最小均方误差或者最小平均绝对误差等对运动矢量残差进行估计，计算拉格朗日率失真优化，从而选择最优的运动矢量，进而将运动矢量残差传递到后续的编码过程中。
变换编码：视频图像中存在较多变化比较缓慢的区域，因此我们可以通过适当的变换将图像数据集中在某一个区域，然后针对变换后的区域进行量化等编码操作。常用的变换方法包括：离散余弦/正弦变换。对于一个周期性函数，我们可以将其按照三角函数进行傅立叶展开。对于某些特殊情况，如函数具有明确的奇偶性，我们可以只使用正弦函数或余弦函数。对于周期性函数，结果可表示为一系列特定频谱的信号，当函数不具有周期性时，傅立叶展开表现为一个连续频谱的叠加。当输入为离散信号时，我们需采用离散的正弦/余弦变换。因此傅立叶变换本质上是将信号分解为特定波形的叠加，从而简化分析。
量化：经过变换编码之后需要进行量化处理。基本思想为将连续或者大量离散的数值映射到有限几个离散数值的过程，即多对一的映射关系。量化过程将丢失信号，是有损压缩。这种映射关系不唯一，存在多种选择。具体采用哪种方案可根据均方误差，信噪比，峰值信噪比进行估计。
滤波：在基于块的混合编码框架下，视频压缩过程中会存在方块效应，振玲效应，颜色偏差等失真行为。为了降低编码过程中这些失真对视频质量的影响，我们需要滤波技术，包括去方块滤波以及像素自适应补偿技术。
（a)去方块滤波：基于块的编码技术中，各个块的变换量化过程相对独立，从而导致量化过程中产生的误差以及分布也具有独立性质，因此导致编码块的边界不连续，产生方块效应。环路去方块滤波技术可以有效地降低、去除这种不连续行为。
（b)自适应补偿技术：
熵编码：熵编码是一种无损编码方式；将视频序列信息转换为用来传输或存储的压缩码流。
请参考图1-3，在进一步的优选实施例中，控制模块具体还包括：
接收图像数据，将图像数据中的每一帧图像输送至关键空间中并建立一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。
将预处理图像中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧（live frame）中（每帧都有个对应的 体翘曲场，能够将canonical空间中的模型还原到live frame中），得到重建后的三维图像（canonical空间建立的是每一帧的表面模型，需要将每一帧的变化融合到live frame才能建立一个3D模型、三维图像）。
本申请主要基于DynamicFusion系统进行三维模型或图像的重建；DynamicFusion系统的核心是：建立一个关键帧（canonical frame）下的模型，之后场景发生的变化都可以通过几何变换对应到这个模型上（通过将同一个物体或图像多个角度的图像进行几何变换并融合在一起形成三维图像）；每一次新读取了深度图都通过几何变换之后再融合到模型当中，这里变换的过程相当于取消了场景的变换；就这样场景逐渐的变得真实丰满。
其系统两部分构成：重建的三维场景（reconstructed scene geometry），记为V。体翘曲场（a dense volumetric 6D warp(motion) field），记为W。重建的三维场景V使用TSDF模型表示，类似于KinectFusion中的模型表示方法。体翘曲场W可以简单的理解为：记录了V中点与深度图像D中点想换转换的矩阵，D中数据经过W的变换之后才能融合到V中。
DynamicFusion中模型V也是使用TSDF模型表示的。TSDF模型将需要表示的空间划分成网格，一般为256*256*256个或者512*512*512个。每一个小格子成为体素（voxel），其中存放了两个数值：加权平均的距离v(x)，表示这个体素到三维场景表面的距离；权重和w(x)，代表当前这个距离v(x)的权重。其中v(x)为0的地方即为场景表面，但是很难直接出现v(x)为0的体素，一般通过插值得到。
DynamicFusion中模型V也是使用TSDF模型表示的。TSDF模型将需要表示的空间划分成网格，一般为256*256*256个或者512*512*512个。每一个小格子成为体素（voxel），其中存放了两个数值：加权平均的距离v(x)，表示这个体素到三维场景表面的距离；权重和w(x)，代表当前这个距离v(x)的权重。其中v(x)为0的地方即为场景表面，但是很难直接出现v(x)为0的体素，一般通过插值得到。
TSDF模型的更新是一个体素一个体素进行的，以一个体素的更新为例。
为该体素的中心，将其转化到当前帧D中：
其中，xt为
在D中的位置，在计算Projective signed distance：
其中：dc(.)表示将离散的点转化到对应的TSDF中的体素。
请参考图1-3，在进一步的优选实施例中，控制模块具体还包括：
表面融合模块（Surface Fusion）：用于根据第一帧图像构建并初始化三维体空间（volume），并更新图像表面附近的体素（voxel）（建立canonical space下的TSDF模型）；
表面提取模块（ Extract Surface）：用于将关键空间（canonical space）下的TSDF模型转换为关键空间下的Mesh模型得到关键模型（canonical model）；
节点图更新模块（Update nodes graph）：用于将关键模型中图像的顶点（vertexes）进行聚类操作得到节点（nodes）。
请参考图1-3，在优选实施例中，控制模块具体还包括：
当图像数据中每一帧图像进入关键空间时需要先估算提翘曲场；根据提翘曲场将深度图像融合到三维场景中；扩展提翘曲场。
请参考图1-3，在进一步的优选实施例中，本发明还提供了一种三维图像显示方法，包括如下步骤：
S1：接收图像数据，其中图像数据包括物体图片和背景图片；
S2：根据图像数据进行三维图像的重建，并对重建后的三维图像进行渲染和压缩处理，将处理后的三维图像输送至显示终端，再对三维图像进行图像预处理；
其中图像与处理包括：
针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；
针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。
请参考图1-3，在优选实施例中，步骤S2具体包括：
接收物体图片和背景图片，将包含有目标物体的图片作为物体图片，将未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像；
或，将图片内目标物体区域大于预设值的图片作为物体图片，将图片内目标物体区域小于预设值或未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像。
请参考图1-3，在优选实施例中，步骤S2中根据图像数据进行三维图像的重建的具体步骤包括：
将图像数据中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。
请参考图1-3，在优选实施例中，步骤S2中将图像数据中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型的具体步骤包括：
S11：表面融合：根据第一帧图像构建并初始化三维体空间，并更新图像表面附近的体素；
其中每一帧图像进入关键空间中需要执行如下操作：
S110：估算提翘曲场；
S111：根据提翘曲场将深度图像融合到三维场景中；
S112：扩展提翘曲场；
S12：表面提取：通过将关键空间下的TSDF模型转换为关键空间下的Mesh模型得到关键模型；
S13：更新节点图：通过将关键模型中图像的顶点进行聚类操作得到节点。
本发明的有益效果为：本发明提供了一种三维图像显示系统及方法，使最终显示出来的三维图像或视频更加清晰，整体效率更高。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种三维图像显示系统，其特征在于，包括控制模块、显示模块和无线通讯模块，所述控制模块分别与所述无线通讯模块和显示模块连接；所述无线通讯模块用于接收图像数据，其中图像数据包括物体图片和背景图片；所述控制模块用于根据图像数据进行三维图像的重建，并对重建后的三维图像进行渲染和压缩处理，还用于对三维图像进行图像预处理；所述显示模块用于对经过图像预处理后的三维图像进行显示；
图像预处理具体包括：
针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；
针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。
2.如权利要求1所述的三维图像显示系统，其特征在于，所述控制模块具体包括：
图像融合模块：接收物体图片和背景图片，将包含有目标物体的图片作为物体图片，将未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像；
或，将图片内目标物体区域大于预设值的图片作为物体图片，将图片内目标物体区域小于预设值或未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像。
3.如权利要求1所述的三维图像显示系统，其特征在于，所述控制模块还包括：
图像处理模块：通过集群服务器对重建后的三维图像进行渲染，再通过对渲染后的三维图像进行压缩处理；
其中，压缩过程具体包括编码处理，编码处理过程依次为：预测、变换编码、量化、滤波和熵编码操作处理。
4.如权利要求1所述的三维图像显示系统，其特征在于，所述控制模块具体还包括：
接收图像数据，将图像数据中的每一帧图像输送至关键空间中并建立一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。
5.如权利要求4所述的三维图像显示系统，其特征在于，所述控制模块具体还包括：
表面融合模块：用于根据第一帧图像构建并初始化三维体空间，并更新图像表面附近的体素；
表面提取模块：用于将关键空间下的TSDF模型转换为关键空间下的Mesh模型得到关键模型；
节点图更新模块：用于将关键模型中图像的顶点进行聚类操作得到节点。
6.如权利要求5所述的三维图像显示系统，其特征在于，所述控制模块具体还包括：
当图像数据中每一帧图像进入关键空间时需要先估算提翘曲场；根据提翘曲场将深度图像融合到三维场景中；扩展提翘曲场。
7.一种三维图像显示方法，其特征在于，包括如下步骤：
S1：接收图像数据，其中图像数据包括物体图片和背景图片；
S2：根据图像数据进行三维图像的重建，并对重建后的三维图像进行渲染和压缩处理，将处理后的三维图像输送至显示终端，再对三维图像进行图像预处理；
其中图像与处理包括：
针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；
针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。
8.如权利要求7所述的三维图像显示方法，其特征在于，所述步骤S2具体包括：
接收物体图片和背景图片，将包含有目标物体的图片作为物体图片，将未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像；
或，将图片内目标物体区域大于预设值的图片作为物体图片，将图片内目标物体区域小于预设值或未包含目标物体的图片作为背景图片，先将多张物体图片进行融合再与背景图片融合得到三维图像。
9.如权利要求7所述的三维图像显示方法，其特征在于，所述步骤S2中根据图像数据进行三维图像的重建的具体步骤包括：
将图像数据中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。
10.如权利要求9所述的三维图像显示方法，其特征在于，步骤S2中将图像数据中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型的具体步骤包括：
S11：表面融合：根据第一帧图像构建并初始化三维体空间，并更新图像表面附近的体素；
其中每一帧图像进入关键空间中需要执行如下操作：
S110：估算提翘曲场；
S111：根据提翘曲场将深度图像融合到三维场景中；
S112：扩展提翘曲场；
S12：表面提取：通过将关键空间下的TSDF模型转换为关键空间下的Mesh模型得到关键模型；
S13：更新节点图：通过将关键模型中图像的顶点进行聚类操作得到节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710302.7A CN116437063A (zh) | 2023-06-15 | 2023-06-15 | 一种三维图像显示系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710302.7A CN116437063A (zh) | 2023-06-15 | 2023-06-15 | 一种三维图像显示系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116437063A true CN116437063A (zh) | 2023-07-14 |
Family
ID=87094766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310710302.7A Pending CN116437063A (zh) | 2023-06-15 | 2023-06-15 | 一种三维图像显示系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116437063A (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090154794A1 (en) * | 2007-12-15 | 2009-06-18 | Electronics And Telecommunications Research Institute | Method and apparatus for reconstructing 3D shape model of object by using multi-view image information |
| CN101621634A (zh) * | 2009-07-24 | 2010-01-06 | 北京工业大学 | 动态前景分离的大幅面视频拼接方法 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN105787995A (zh) * | 2016-01-17 | 2016-07-20 | 郑州财经学院 | 一种平面图形图像处理方法 |
| US20170169603A1 (en) * | 2015-12-15 | 2017-06-15 | Samsung Electronics Co., Ltd. | Method and apparatus for creating 3-dimensional model using volumetric closest point approach |
| CN108596066A (zh) * | 2018-04-13 | 2018-09-28 | 武汉大学 | 一种基于卷积神经网络的字符识别方法 |
| US20210074012A1 (en) * | 2018-02-23 | 2021-03-11 | Tsinghua University | Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium |
| US20210110599A1 (en) * | 2018-03-05 | 2021-04-15 | Tsinghua University | Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium |
| CN112720408A (zh) * | 2020-12-22 | 2021-04-30 | 江苏理工学院 | 一种全地形机器人视觉导航控制方法 |
| CN113192206A (zh) * | 2021-04-28 | 2021-07-30 | 华南理工大学 | 基于目标检测和背景去除的三维模型实时重建方法及装置 |
| CN114359287A (zh) * | 2022-03-21 | 2022-04-15 | 青岛正信德宇信息科技有限公司 | 一种图像数据处理方法及设备 |
| CN114387269A (zh) * | 2022-03-22 | 2022-04-22 | 南京矩视科技有限公司 | 一种基于激光的纤维丝缺损检测方法 |
| WO2022156533A1 (zh) * | 2021-01-21 | 2022-07-28 | 魔珐(上海)信息科技有限公司 | 三维人体模型重建方法、装置、电子设备及存储介质 |
| CN114863014A (zh) * | 2022-04-06 | 2022-08-05 | 聚好看科技股份有限公司 | 一种三维模型的融合显示方法及设备 |
| CN114863061A (zh) * | 2022-05-23 | 2022-08-05 | 中科微影(浙江)医疗科技有限公司 | 一种远程监护医学图像处理的三维重建方法及系统 |
| CN115049689A (zh) * | 2022-05-08 | 2022-09-13 | 北京工业大学 | 一种基于轮廓检测技术的乒乓球识别方法 |
| CN115239912A (zh) * | 2022-07-26 | 2022-10-25 | 北京国网信通埃森哲信息技术有限公司 | 一种基于视频图像的三维里面重建的方法 |
| CN115914772A (zh) * | 2022-12-19 | 2023-04-04 | 中国平安人寿保险股份有限公司 | 视频合成方法、装置、电子设备及存储介质 |
| CN115965578A (zh) * | 2022-11-09 | 2023-04-14 | 国网江西省电力有限公司超高压分公司 | 一种基于通道注意力机制的双目立体匹配检测方法及装置 |
-
2023
- 2023-06-15 CN CN202310710302.7A patent/CN116437063A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090154794A1 (en) * | 2007-12-15 | 2009-06-18 | Electronics And Telecommunications Research Institute | Method and apparatus for reconstructing 3D shape model of object by using multi-view image information |
| CN101621634A (zh) * | 2009-07-24 | 2010-01-06 | 北京工业大学 | 动态前景分离的大幅面视频拼接方法 |
| US20170169603A1 (en) * | 2015-12-15 | 2017-06-15 | Samsung Electronics Co., Ltd. | Method and apparatus for creating 3-dimensional model using volumetric closest point approach |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN105787995A (zh) * | 2016-01-17 | 2016-07-20 | 郑州财经学院 | 一种平面图形图像处理方法 |
| US20210074012A1 (en) * | 2018-02-23 | 2021-03-11 | Tsinghua University | Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium |
| US20210110599A1 (en) * | 2018-03-05 | 2021-04-15 | Tsinghua University | Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium |
| CN108596066A (zh) * | 2018-04-13 | 2018-09-28 | 武汉大学 | 一种基于卷积神经网络的字符识别方法 |
| CN112720408A (zh) * | 2020-12-22 | 2021-04-30 | 江苏理工学院 | 一种全地形机器人视觉导航控制方法 |
| WO2022156533A1 (zh) * | 2021-01-21 | 2022-07-28 | 魔珐(上海)信息科技有限公司 | 三维人体模型重建方法、装置、电子设备及存储介质 |
| CN113192206A (zh) * | 2021-04-28 | 2021-07-30 | 华南理工大学 | 基于目标检测和背景去除的三维模型实时重建方法及装置 |
| CN114359287A (zh) * | 2022-03-21 | 2022-04-15 | 青岛正信德宇信息科技有限公司 | 一种图像数据处理方法及设备 |
| CN114387269A (zh) * | 2022-03-22 | 2022-04-22 | 南京矩视科技有限公司 | 一种基于激光的纤维丝缺损检测方法 |
| CN114863014A (zh) * | 2022-04-06 | 2022-08-05 | 聚好看科技股份有限公司 | 一种三维模型的融合显示方法及设备 |
| CN115049689A (zh) * | 2022-05-08 | 2022-09-13 | 北京工业大学 | 一种基于轮廓检测技术的乒乓球识别方法 |
| CN114863061A (zh) * | 2022-05-23 | 2022-08-05 | 中科微影(浙江)医疗科技有限公司 | 一种远程监护医学图像处理的三维重建方法及系统 |
| CN115239912A (zh) * | 2022-07-26 | 2022-10-25 | 北京国网信通埃森哲信息技术有限公司 | 一种基于视频图像的三维里面重建的方法 |
| CN115965578A (zh) * | 2022-11-09 | 2023-04-14 | 国网江西省电力有限公司超高压分公司 | 一种基于通道注意力机制的双目立体匹配检测方法及装置 |
| CN115914772A (zh) * | 2022-12-19 | 2023-04-04 | 中国平安人寿保险股份有限公司 | 视频合成方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| RICHARD A.NEWCOMBE等: "Dynamicfusion: Reconstruction and tracking of non-rigid scenes in real- time", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 343 - 352 * |
| 雷宝全;姚剑敏;严群;林志贤;陈炜炜;: "基于Kinect的彩色三维重建", 有线电视技术, no. 12 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102184261B1 (ko) | 점군을 압축하는 방법 | |
| US7508990B2 (en) | Apparatus and method for processing video data | |
| US20160094829A1 (en) | Method And Apparatus For Downscaling Depth Data For View Plus Depth Data Compression | |
| CA2654513A1 (en) | Apparatus and method for processing video data | |
| KR102254986B1 (ko) | 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 | |
| Han et al. | Time-varying mesh compression using an extended block matching algorithm | |
| CN114915795B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
| Woo et al. | Stereo image compression based on disparity field segmentation | |
| WO2022131948A1 (en) | Devices and methods for sequential coding for point cloud compression | |
| US20230162404A1 (en) | Decoding of patch temporal alignment for mesh compression | |
| Daribo et al. | Adaptive arithmetic coding for point cloud compression | |
| CN116437063A (zh) | 一种三维图像显示系统及方法 | |
| CN114915793B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
| CN114915791B (zh) | 基于二维规则化平面投影的点云序列编解码方法及装置 | |
| CN116310147A (zh) | 一种基于实时重建的三维图像的图像处理方法及系统 | |
| CN114915792B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
| WO2023149969A1 (en) | Manhattan layout estimation using geometric and semantic | |
| CN114143556A (zh) | 一种用于压缩三维声纳点云数据的帧间编解码方法 | |
| JP5024962B2 (ja) | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| CN116647660A (zh) | 一种三维图像显示方法 | |
| JP4964827B2 (ja) | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| Gao et al. | 3D geometry representation using multiview coding of image tiles | |
| CN114915796B (zh) | 基于二维规则化平面投影的点云编解码方法及装置 | |
| KR101702937B1 (ko) | 해상도 스케일링 방법 및 그 장치 | |
| Alouache et al. | Catadioptric images compression using an adapted neighborhood and the shape-adaptive DCT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |