CN108648222B - 结构光深度数据空间分辨率的提升方法及装置 - Google Patents
结构光深度数据空间分辨率的提升方法及装置 Download PDFInfo
- Publication number
- CN108648222B CN108648222B CN201810393688.2A CN201810393688A CN108648222B CN 108648222 B CN108648222 B CN 108648222B CN 201810393688 A CN201810393688 A CN 201810393688A CN 108648222 B CN108648222 B CN 108648222B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- projection
- data
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 230000002146 bilateral effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 229910052602 gypsum Inorganic materials 0.000 description 2
- 239000010440 gypsum Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种结构光深度数据空间分辨率的提升方法及装置。其中，该方法包括：采集多张投影条纹图像，其中，多张投影条纹图像是对预设物体表面的投影条纹进行拍摄得到的多张条纹图像；对多张投影条纹图像进行相位分析，得到多组相位数据；根据多组相位数据，提升与预设物体表面对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。本发明解决了相关技术中无法提升结构光深度数据的空间分辨率的技术问题。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种结构光深度数据空间分辨率的提升方法及装置。
背景技术
相关技术中，在获取结构光深度数据时，一般是采用多频率投影条纹形貌测量技术得到的，该方法由计算机控制数字投影设备产生一组多频率的条纹投射在被测物体表面，利用变形条纹和参考条纹的不同来恢复物体表面的高度数据。同时，基于深度图的插值算法可以用于提高结构光深度数据的空间分辨率，例如，联合双边插值算法可以以目标高分辨率深度图作为引导，对低分辨率图进行联合双边滤波得到高空间分辨率深度图，另外，联合三边插值也可以以高分辨率深度图和相应的高分辨率彩色图像作为引导，对低分辨率上采样的过程不断迭代。但是上述提高深度数据空间分辨率的方法中，仅通过插入未采样点的深度值来增加深度图像的空间分辨率，可能会造成插值结果失真，或者由于上述方法应用于深度相机产生的深度数据或者立体匹配所产生的深度数据，并不能直接用在由多频率投影条纹形貌测量技术所恢复出的深度数据，达不到所需的精度要求，因此存在明显的缺陷。
针对上述的相关技术中无法提升结构光深度数据的空间分辨率的技术问题，目前尚未见到有效的解决方案。
发明内容
本发明实施例提供了一种结构光深度数据空间分辨率的提升方法及装置，以至少解决相关技术中无法提升结构光深度数据的空间分辨率的技术问题。
根据本发明实施例的一个方面，提供了一种结构光深度数据空间分辨率的提升方法，包括：采集多张投影条纹图像，其中，所述多张投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像；对所述多张投影条纹图像进行相位分析，得到多组相位数据；根据所述多组相位数据，提升与所述预设物体表面对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。
进一步地，采集多张投影条纹图像包括：采集多个拍摄角度中每个拍摄角度对应的投影条纹图像，得到多张投影条纹图像，其中，所述多个拍摄角度是在将第一预设拍摄设备沿光轴旋转后，得到的所述多个拍摄角度，所述投影条纹图像是对所述预设物体的表面的投影条纹进行拍摄得到的图像。
进一步地，在得到多组相位数据之后，所述方法还包括：根据所述多组相位数据，确定所述预设物体的参考条纹的绝对相位数据，其中，所述参考条纹是利用拍摄设备和投影设备与参考平面得到的；以及根据所述多组相位数据，确定所述预设物体的变形条纹的绝对相位数据，其中，所述变形条纹是利用拍摄设备和投影设备与所述预设物体的表面得到的；根据所述参考条纹的绝对相位数据和所述变形条纹的绝对相位数据，确定物体绝对相位差数据。
进一步地，提升与所述预设物体对应的结构光深度数据空间分辨率包括：将所述物体绝对相位差数据进行对齐处理；根据对齐处理后的图像数据，确定多个第一图像空间分辨率；根据所述第一图像空间分辨率，确定多个第一插值系数，其中，所述第一插值系数用于指示图像中各个像素点之间的空间关系；根据所述多个第一插值系数，对所述多张投影条纹图像进行插值操作，得到第一预期分辨率的投影条纹图像；根据所述第一预期分辨率的投影条纹图像，提升与所述预设物体对应的结构光深度数据空间分辨率。
进一步地，采集多张投影条纹图像还包括：采集多个图像分辨率中每个图像分辨率所对应的投影条纹图像，得到多张投影条纹图像，其中，所述多个图像分辨率对应多个第二预设拍摄设备中每个第二预设拍摄设备的图像分辨率，所述投影条纹图像是对所述预设物体的表面的投影条纹进行拍摄得到的图像。
进一步地，根据所述多组相位数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据包括：根据每个图像分辨率所对应的投影条纹图像，确定与每个图像分辨率所对应的绝对相位数据；获取所述预设物体的参考条纹的绝对相位数据；根据所述参考条纹的绝对相位数据和每个图像分辨率所对应的绝对相位数据，确定多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据；根据多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。
进一步地，根据多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据包括：获取多个图像分辨率中每个图像分辨率与待提升结构光深度数据空间分辨率的分辨率比值；根据所述分辨率比值，确定多个待插值数据；根据所述多个待插值数据，确定每个待插值数据的目标参数，其中，所述目标参数至少包括：横向参数、纵向参数、斜向参数；根据所述每个待插值数据的目标参数，确定多个第二插值系数；根据所述多个第二插值系数，对所述多张投影条纹图像进行插值操作，以得到提升空间分辨率的结构光深度数据。
根据本发明实施例的另一方面，还提供了一种结构光深度数据空间分辨率的提升装置，包括：采集单元，用于采集多张投影条纹图像，其中，所述多张投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像；分析单元，用于对所述多张投影条纹图像进行相位分析，得到多组相位数据；提升单元，用于根据所述多组相位数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。
进一步地，所述采集单元包括：第一采集模块，用于采集多个拍摄角度中每个拍摄角度对应的投影条纹图像，得到多张投影条纹图像，其中，所述多个拍摄角度是在将第一预设拍摄设备沿光轴旋转后，得到的所述多个拍摄角度，所述投影条纹图像是对所述预设物体的表面的投影条纹进行拍摄得到的图像。
进一步地，该装置还包括：第一确定模块，用于在得到多组相位数据之后，根据所述多组相位数据，确定所述预设物体的参考条纹的绝对相位数据，其中，所述参考条纹是利用拍摄设备和投影设备与参考平面得到的；第二确定模块，用于根据所述多组相位数据，确定所述预设物体的变形条纹的绝对相位数据，其中，所述变形条纹是利用拍摄设备和投影设备与所述预设物体的表面得到的；第三确定模块，用于根据所述参考条纹的绝对相位数据和所述变形条纹的绝对相位数据，确定物体绝对相位差数据。
进一步地，所述提升单元包括：对齐模块，用于将所述物体绝对相位差数据进行对齐处理；第四确定模块，用于根据对齐处理后的图像数据，确定多个第一图像空间分辨率；第五确定模块，用于根据所述第一图像空间分辨率，确定多个第一插值系数，其中，所述第一插值系数用于指示图像中各个像素点之间的空间关系；第一插值模块，用于根据所述多个第一插值系数，对所述多张投影条纹图像进行插值操作，得到第一预期分辨率的投影条纹图像；第六确定模块，用于根据所述第一预期分辨率的投影条纹图像，提升与所述预设物体对应的结构光深度数据空间分辨率。
进一步地，所述采集单元还包括：第二采集模块，用于采集多个图像分辨率中每个图像分辨率所对应的投影条纹图像，得到多张投影条纹图像，其中，所述多个图像分辨率对应多个第二预设拍摄设备中每个第二预设拍摄设备的图像分辨率，所述投影条纹图像是对所述预设物体的表面的投影条纹进行拍摄得到的图像。
进一步地，所述提升单元还包括：第七确定模块，用于根据每个图像分辨率所对应的投影条纹图像，确定与每个图像分辨率所对应的绝对相位数据；获取模块，用于获取所述预设物体的参考条纹的绝对相位数据；确定模块，用于根据所述参考条纹的绝对相位数据和每个图像分辨率所对应的绝对相位数据，确定多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据；提升模块，用于根据多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。
进一步地，所述提升模块包括：获取子模块，用于获取多个图像分辨率中每个图像分辨率与待提升结构光深度数据空间分辨率的分辨率比值；第一确定子模块，用于根据所述分辨率比值，确定多个待插值数据；第二确定子模块，用于根据所述多个待插值数据，确定每个待插值数据的目标参数，其中，所述目标参数至少包括：横向参数、纵向参数、斜向参数；第三确定子模块，用于根据所述每个待插值数据的目标参数，确定多个第二插值系数；插值模块，用于根据所述多个第二插值系数，对所述多张投影条纹图像进行插值操作，以得到提升空间分辨率的结构光深度数据。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的结构光深度数据空间分辨率的提升方法。
根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的结构光深度数据空间分辨率的提升方法。
在本发明实施例中，可以先采集到多张投影条纹图像，其中，该多张投影条纹图像可以是对预设物体表面的投影条纹进行拍摄得到的多张条纹图像，并对多张投影条纹图像进行相位分析，得到多组相位数据，最后可以根据多组相位数据，提升与预设物体对应的结构光深度数据分辨率，以得到提升空间分辨率的结构光深度数据。即本发明可以通过大量采集物体表面的投影条纹图像，对投影条纹图像进行相位分析，并不会在深度图片上进行操作，是在图片的相位上进行操作，满足了精度要求，并且可以根据投影条纹图像，提升与预设物体对应的结构光深度数据空间分辨率，可以得到稳定可靠的高分辨率深度结果，深度数据的图像分辨率也会有明显的提升，进而解决相关技术中无法提升结构光深度数据的空间分辨率的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的结构光深度数据空间分辨率的提升方法的流程图；
图2是根据本发明实施例的一种投影条纹测量方法的示意图；
图3a是根据本发明实施例的旋转相机矩阵角度拍摄预设物体的投影条纹的示意图一；
图3b是根据本发明实施例的旋转相机矩阵角度拍摄预设物体的投影条纹的示意图二；
图4a是根据本发明实施例的多分辨率相机拍摄预设物体表面的投影条纹的示意图一；
图4b是根据本发明实施例的多分辨率相机拍摄预设物体表面的投影条纹的示意图二；
图5是根据本发明实施例的多分辨率图像进行插值的示意图；
图6a是根据本发明实施例的通过采集多分辨率图像进行深度数据对比的示意图一；
图6b是根据本发明实施例的通过采集多分辨率图像进行深度数据对比的示意图二；
图7a是根据本发明实施例的通过采集多角度图像进行深度数据对比的示意图一；
图7b是根据本发明实施例的通过采集多角度图像进行深度数据对比的示意图二；
图8是根据本发明实施例的结构光深度数据空间分辨率的提升装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于用户理解本发明，下面对本发明实施例中涉及的部分术语或名词做出解释：
图像深度：指存储每个像素所用的位数，其可以用于量度图像的色彩分辨率。
PSNR，Peak Signal to Noise Ratio，峰值信噪比，是一种评价图像的客观标准。
结构光，指投射到物体表面的已经编码好的光学信号。采集这种信号可以使用各类成像设备，得到的结果就是数字图像。
根据本发明实施例，提供了一种结构光深度数据分辨率的提升方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
以下实施例可以应用于各种提高结构光获取深度数据的空间分辨率中，在对图像的分辨率进行处理后，可以提高深度数据空间分辨率，具体地，可以分别利用多分辨率图像进行深度数据空间分辨率提升，和多角度图像进行深度数据空间分辨率提升。而相关技术中，通过多频率投影条纹形貌测量技术将一组多频率的条纹投射在被测物体表面，利用变形条纹和参考条纹的不同来恢复物体表面的深度数据，或者通过差值法来用目标高分辨率图作为引导，对低分辨率图进行联合滤波，从而确定图的深度数据，但是相关技术中的这两种实施方式存在缺陷，一个是通过插入未采样点的深度值来增加深度图像的空间分辨率，对结果造成失真，并且这两种技术仅仅在深度相机或立体匹配所产生的数据，并不能直接用在由多频率投影条纹形貌测量技术所恢复的深度数据，其达不到精度要求。其中，深度数据的空间分辨率取决于照片的空间分辨率，为了获得超过照片分辨率的深度数据，需要多次对同一物体进行深度采样以获取更丰富的数据，以提供可靠的深度数据分辨率。
其中，本发明实施例的中深度数据可以应用于多种领域，例如在医学方面，文物重建等方面，对于深度数据，本发明中以结构光深度数据进行说明，但不会限于该结构光，也可以包括但不限于：声纳、立体匹配、阴影、激光扫描等，结构光法是首先利用投射设备将具有一定规律的结构光模板投射到被测目标表面，利用图像采集设备记录被测物体表面的图像，将采集到的图像数据结合三角测距原理以及图形处理技术计算出物体表面的深度数据信息，以达到有效、快速的得到结构光深度数据，得到较高分辨率的深度图。
实施例一
下面结合优选的实施方式对本发明进行说明，图1是根据本发明实施例的结构光深度数据空间分辨率的提升方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，采集多张投影条纹图像，其中，多张投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像。
其中，本发明实施例中的预设物体可以是用户需要建立的结构光深度数据的物体，该物体的形状可以是规则物体，也可以是不规则物体，例如，石头，或者人物，对人物的结构光深度数据确定之后，可以提升其深度数据的空间分辨率。该预设物体可以是被测物体，在采集多张投影条纹图像时，可以利用投射设备(如投影仪)投射预设物体表面，并利用图像采集设备(如照相机)拍摄投影条纹图像。其中，本发明实施例中涉及的投射设备，对其具体类型和型号不做限定，其可以产生数字光，投射到物体表面或者参考平面。对于本发明实施例中涉及的图像采集设备，对其具体类型和型号也不同限定，但是需要精度较高，并且可以持续拍摄的图像采集设备，可以采集多张投影条纹图像。
步骤S104，对多张投影条纹图像进行相位分析，得到多组相位数据。其中，多组相位数据中的每组相位数据至少包括：周期变化参数和与周期变化参数对应的多张投影条纹图像数据。
其中，上述的周期变化参数可以是指按照正弦函数或者反正弦函数确定的周期变化参数，其变化周期可以是自行设置的，如-π至π，每一变化周期可以对应有多张投影条纹图像数据，形成一组投影条纹图像数据。
步骤S106，根据多组相位数据，提升与预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。
其中，上述根据多组相位数据，提升与预设物体对应的结构光深度数据分辨率还包括：根据多组相位数据，确定预设物体的参考条纹的绝对相位数据，其中，参考条纹是利用拍摄设备和投影设备与参考平面得到的；以及根据多组相位数据，确定预设物体的变形条纹的绝对相位数据，其中，变形条纹是利用拍摄设备和投影设备与预设物体的表面得到的；根据参考条纹的绝对相位数据和变形条纹的绝对相位数据，确定物体绝对相位差数据；根据物体绝对相位差数据，提升与预设物体对应的结构光深度数据分辨率。
上述的参考平面可以设置在预设物体与拍摄设备、投影设备之间，投影设备可以投射数字光在参考平面，拍摄设备可以拍摄参考平面上的投影条纹，以得到参考条纹；同理，投影设备在投射数字光至预设物体的表面后，拍摄设备可以拍摄预设物体的投影条纹，以得到变形条纹。而如果将拍摄设备、投影设备视为点状的话，可以将拍摄设备、投影设备、参考平面的固定点这三者之间形成一个三角形，而拍摄设备、投影设备、预设物体的表面的固定点这三者之间也可以形成一个三角形，在参考平面至预设物体的表面存在固定高度，以两个三角形和固定高度的数据，得到绝对相位差值。
通过上述步骤，可以先采集到多张投影条纹图像，其中，该多张投影条纹图像可以是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像，并对多张投影条纹图像进行相位分析，得到多组相位数据，最后可以根据多组相位数据，提升与预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。在该实施例中，可以通过大量采集物体的投影条纹图像，并对投影条纹图像进行相位分析，并不会在深度图片上进行操作，是在图片的相位上进行操作，其可以用在多频率投影条纹形貌测量技术所恢复出的深度数据，达到了所需的精度要求，进而解决相关技术中无法提升结构光深度数据的空间分辨率的技术问题。
下述实施方式中分别说明了通过多个拍摄角度和多个分辨率(多个拍摄设备，每个拍摄设备对应一种图像分辨率)提升图像分辨率，以得到提升空间分辨率的结构光深度数据的方式。
实施方式一，依据多角度图像设计的分辨率提升方式。
下述方式中可以得到稳定可靠的高分辨率深度数据，并且图像的空间分辨率超过采集到的多张投影条纹图像的分辨率。可选的，采集多张投影条纹图像包括：采集多个拍摄角度中每个拍摄角度对应的投影条纹图像，得到多张投影条纹图像，其中，多个拍摄角度是在将第一预设拍摄设备沿光轴旋转后，确定出多个拍摄角度，投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的图像。
其中，第一预设拍摄设备可以是上述的图像采集设备，其可以沿着光轴旋转，以采集到预设物体的表面的投影条纹图像，例如，在角度A拍摄到多张投影条纹图像，在角度B得到多张投影条纹图像，然后就可以确定不同角度的多张投影条纹图像的绝对相位。并且在对多张投影条纹图像进行相位分析，得到多组相位数据包括：在采集得到多个拍摄角度对应的多张投影条纹图像后，对多张投影条纹图像进行相位分析，得到与每张投影条纹图像对应的相位图像数据；根据相位图像数据，对投影条纹图像进行相位展开操作；将进行相位展开操作后得到的图像数据作为多组相位数据。
需要说明的是，上述在提升与预设物体对应的结构光深度数据空间分辨率时，可以包括：将物体绝对相位差数据进行对齐处理；根据对齐处理后的图像数据，确定多个第一图像空间分辨率；根据第一图像空间分辨率，确定多个第一插值系数，其中，第一插值系数用于指示图像中各个像素点之间的空间关系；根据多个第一插值系数，对多张投影条纹图像进行插值操作，得到第一预期分辨率的投影条纹图像；根据多个第一预期分辨率，提升与预设物体对应的结构光深度数据空间分辨率。其中，第一插值系数可以是指待插值点和当前插值点之间的点距和点值的参数，通过第一插值系数可以确定图像中各个点之间空间域核函数和与各个点值相关的值域核函数。
可选的，在根据第一图像分辨率，确定多个第一插值系数时，可以是利用双边滤波器确定出多个角度的插值系数，通过该双边滤波器可以确定各个像素点之间的空间关系和深度数据自身之间的关联关系，该关联关系可以指示深度数据之间的权重，从而指示每个像素点之间的关系。
其中，上述的第一图像分辨率可以是针对结构光深度数据的分辨率，其可以是采集到的多张投影条纹图像的图像分辨率，每张投影条纹图像对应一个第一图像分辨率，例如，在得到一张预设物体的投影条纹图像后，确定其图像分辨率为256*256，可以将该图像分辨率作为第一图像分辨率。而第一预期分辨率可以是指要达到的深度数据的分辨率，例如，设置第一预期分辨率为640*480，此时需要将256*256的分辨率的图像进行插值操作，以得到第一预期分辨率的640*480。本发明实施例中还可以对图像的像素点进行滤波处理，以得到规则、整齐的当前像素点和待插值点。在确定待插值点与当前像素点之间的空间域函数和值域函数，进而通过空间域函数和值域函数确定待插值点和当前像素点之间的点距和点值，并确定新像素值(对应于待插值点)的深度值。通过新像素值的深度值，确定插值系数，进而进行插值操作，得到第一预期分辨率。
下面通过一个可选的例子进行说明，采集两个不同角度的图像只是将相机沿光轴旋转，我们通过对两个角度的图像做处理，得到相应的深度图A和B(对两图做一下对齐)，然后将两幅图插值成目标分辨率(对应于上述第一预期分辨率)大小，分别为C和D。
令来自图像C的点p的值表示为c(p)，来自图像D的点p的值表示为d(p)，我们使用c(p)和d(p)来产生高分辨率的像素值。对于点p，c(p)经过双边滤波器产生的结果
可以如下表示：
同理，图D中也可以如下表示：
其中ΩC(p)和ΩD(p)分别是C和D中以p为中心的区域，q1和q2分别是ΩC(p)和ΩD(p)中除开p的其他点。在等式(一)和等式(二)中，f(x,y)是与点之间位置相关的空间域核函数，g(x,y)是与点值相关的值域核函数。
f(p,q1)和g(c(p),c(q1))可以如下表示：
其中σf和σg是高斯系数，用来调节点距和点值的影响。同理，图D中的公式也是如上述处理。
新像素值的深度值由如下公式表示：
其中kp是整个采样窗的归一化系数。
经过上述的多角度图像采集和图像处理，可以得到稳定可靠的高分辨率深度结果图像，图像的分辨率可以超出采集到图像的分辨率。
实施方式二，依据多分辨率图像设计的分辨率提升方式。
下述方式中可以得到稳定可靠的高分辨率深度数据，并且图像的空间分辨率超过采集到的多张投影条纹图像的分辨率。其中，采集多张投影条纹图像还包括：采集多个图像分辨率中每个图像分辨率所对应的投影条纹图像，得到多张投影条纹图像，其中，多个图像分辨率对应多个第二预设拍摄设备中每个第二预设拍摄设备的图像分辨率，投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的图像。
上述的采集多个图像分辨率的投影条纹图像，可以是利用多个第二预设拍摄设备得到，每个第二预设拍摄设备的分辨率不同，如拍摄设备A的图像分辨率为1000*1000，而拍摄设备B的图像分辨率为800*800，在通过不同分辨率拍摄预设物体后，可以得到不同图像分辨率对应的多张投影条纹图像，从而在后续计算中，对每个图像分辨率对应的多张投影条纹图像进行处理，确定与每个图像分辨率对应的绝对相位数据。本发明实施例中对于该第二预设拍摄设备和上述的第一预设拍摄设备的类型和型号不做限定，其可以是根据用户自行购买的拍摄设备确定的，也可以是实验过程中的拍摄设备。
可选的，在对多张投影条纹图像进行相位分析，得到多组相位数据包括：在采集得到多个图像分辨率对应的多张投影条纹图像后，对多张投影条纹图像进行相位分析，得到与每组投影条纹图像对应的相位图像数据；根据相位图像数据，对投影条纹图像进行相位展开操作；将进行相位展开操作后得到的图像数据作为多组相位数据。
需要说明的是，上述根据多组相位数据，提升与预设物体对应的结构光深度数据空间分辨率包括：根据每个图像分辨率所对应的投影条纹图像，确定与每个图像分辨率所对应的绝对相位数据；获取预设物体的参考条纹的绝对相位数据；根据参考条纹的绝对相位数据和每个图像分辨率所对应的绝对相位数据，确定多个图像分辨率中每个图像分辨率对应的绝对相位差数据；根据多个图像分辨率中每个图像分辨率对应的绝对相位差数据，提升与预设物体对应的结构光深度数据空间分辨率。
其中，根据多个图像分辨率中每个图像分辨率对应的绝对相位差数据，提升与预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据包括：获取多个图像分辨率中每个图像分辨率与待提升结构光深度数据空间分辨率的分辨率比值；根据分辨率比值，确定多个待插值数据；根据多个待插值数据，确定每个待插值数据的目标参数，其中，目标参数至少包括：横向参数、纵向参数、斜向参数；根据每个待插值数据的目标参数，确定多个第二插值系数；根据多个第二插值系数，对多张投影条纹图像进行插值操作，以得到提升空间分辨率的结构光深度数据。
即可以通过上述的实施方式，在采集得到不同分辨率的深度数据后，通过对深度数据进行融合插值，提升深度数据的空间分辨率。其中，在不同分辨率插值过程中，需要确定当前图像分辨率(如1000*1000)和待提升的图像空间分辨率(如1250*1250)的分辨率比值，并根据该比值，确定出多张图像之间的插值系数，以根据插值系数对深度数据图像进行插值处理，得到提升了空间分辨率的深度数据。
通过上述实施例中，可以采集大量的预设物体的图像，得到多分辨率的图像，并确定目标分辨率的图像，从而进行插值处理，对各个点进行插值操作，得到相应的高分辨率图像。即可以通过大量采集图像，并通过插值系数和图像处理，确定出图像的深度数据，提高图像的深度结果，得到高分辨率的图像。
实施例二
图2是根据本发明实施例的一种投影条纹测量方法的示意图，如图2所示，当没有被测物体存在时，由投影仪产生的一路数字光在C点被参考平面反射到照相机。而当参考平面被撤走的时候，相同的一路数字光在H点经D点被反射到照相机。也就是说对同一路数字光，由于被测物体的存在，其在照相机中拍摄到的空间位置是有差异的，参考条纹的结果r(x)是由C点直接反射而来，而变形条纹的结果d(x)是由H点反射而来。因此照相机来两次拍摄得到参考条纹和变形条纹之间的绝对相位差，与C点和D点之间的绝对相位差等价的。故对于D点来说，参考条纹和变形条纹中第k阶谐波的绝对相位差ΔΦk(D)可表示如下：
其中
表示C点和D点之间的空间位移差。由于D点是任意选取的，因此可以把ΔΦk(D)推广到任意的ΔΦk(x)。
同时由于
可以得到：
其中ΔΦ1(x)表示投影条纹的基频分量在经过物体表面后产生的绝对相位差。从图2可知，d0表示照相机出瞳到投影仪出瞳的距离，l0表示参考平面到照相机出瞳的距离，当设备固定时这两个数值也是固定的。因此C点和D点之间的距离取决于C点到参考平面的距离h(x)(也就是
)，这说明如果我们可以确定
那么h(x)也可以确定。根据三角形EpHEc与CHD相似，可以得到：
将(2)代入(3)，我们有：
从这个表达式可以看出，如果获得了ΔΦ1(x)，那么物体表面的深度数据就可以得到。
在以上实施方式中，深度数据的空间分辨率取决于照片的空间分辨率，为了获得超过照片分辨率的深度数据，需要多次对同一物体进行深度采样以获取更为丰富的数据，为可靠地提高深度数据分辨率提供基础。
为此，本发明实施例设计了两种多次采集图像的方式：
1)通过旋转相机拍摄角度，多次对同一物体表面的投影条纹进行拍摄，如图3a和图3b所示。通过旋转相机的两次角度，得到两张不同的投影条纹图像。
2)对同一物体表面的投影条纹用多个分辨率的相机进行拍摄，如图4a和图4b所示，利用两种不同的照相机对同一物体进行拍摄，但是由于照相机的分辨率，得到的投影条纹图像也不同。
针对这两种多次采集深度数据的机制，本发明实施例设计了两种提高分辨率的算法，下面分别进行介绍：
1)依据多分辨率图像设计的分辨率提升方式，
假设我们所要插值的图像为M，目标高分辨图像为H，这里，我们增加一幅更小分辨率图像L，假定M到H与L到M分辨率的比例是相同的，这里我们设置比例为2。插值过程可以如图5所示。其中，图5中Interpolation Window指示插值窗口，即表示用于正处于插值操作的窗口，而Copying pixel表示待插值像素点，Horizontal interpolated pixel指示横向插值点，而Vertical interpolated pixel指示纵向插值点，Sloped interpolated pixel指示斜向插值点。
y(i,j)是M中的一个点坐标，p(2i,2j)是H中从M中的y(i,j)复制过来的点。问题是将剩下的点插值出来。这里，多频率投影条纹形貌测量技术产生的绝对相位图像不同于普通的图像，它有一些规律性的特征，例如水平方向的数据比较接近，变化不大，纵向的数据呈现线性单调的关系。因此，为了更好的插值，我们把剩下的待插数据分成三类，分别是横向，纵向，斜向。相应的，对于不同的点，插值系数也不同：
其中w是插值窗的大小,一般设为奇数。hk，vk和sk分别是水平,纵向和斜向像素的插值系数，1≤k≤w2。我们设定H＝{hk},V＝{vk}和S＝{sk}。那么，问题就转化为如何求最优的H，V和S。我们有个假设，L到M的关系可以应用至M到H。那么我们应用L和M来求出最优的H,V和S，假定x(i,j)是L中的点坐标。那么这个最优化问题就可以如下表示：
这里我们采用最小二乘法求出H，V和S。
下面通过对比图像进行说明，可选的实施方式，可以先采集三组分辨率的结果，分别是1296*960，对应于上面提到的图像H，这里作为对比试验深度数据，这里的结果深度图对比可以如图6a所示；648*480，对应于上面提到的M；324*240，对应于上面提到的L，这里的结果深度对比可以如图6b所示。最后做出来的结果PSNR为52.1865。其中，图6a和图6b中的图像会有明显的颜色差异，在这里由于图像呈现灰度的原因，虽然体现的不明显，但是实际对比过程中仍然呈现了不同的方面，经过深度图像6a和6b在图像中石膏人像上的头盖骨部分呈现黑色区域区分，而背景中并不是黑色部分。
2)依据多角度图像设计的分辨率提升方式，
这里采集两个不同角度的图像只是将相机沿光轴旋转，我们通过对两个角度的图像做处理，得到相应的深度图A和B(这里需要对两图做一下对齐，便于后面处理)，然后将两幅图插值成目标分辨率大小，分别为C和D。
令来自图像C的点p的值表示为c(p)，来自图像D的点p的值表示为d(p)，我们使用c(p)和d(p)来产生高分辨率的像素值。对于点p，c(p)经过双边滤波器产生的结果
可以如下表示：
同理，图D中也可以如下表示：
其中ΩC(p)和ΩD(p)分别是C和D中以p为中心的区域，q1和q2分别是ΩC(p)和ΩD(p)中除开p的其他点。在上述等式(7)和等式(8)中，f(x,y)是与点之间位置相关的空间域核函数，g(x,y)是与点值相关的值域核函数。
f(p,q1)和g(c(p),c(q1))可以如下表示：
其中σf和σg是高斯系数，用来调节点距和点值的影响。
新像素值的深度值由如下公式表示：
其中kp是整个采样窗的归一化系数。
下面通过对比图像进行说明，对应于上述的通过采集多角度图像进行深度数据空间分辨率提升，这里采集两个角度的结果，0°的采集了1296*966分辨率作为对比试验结果，这里的结果深度图对比如图7a所示，然后对采集0°和90°的648*483分辨率的图像进行实验，这里的结果深度图对比如图7b所示。最后做出来的结果PSNR为46.1465。其中，在7a和图7b中的图像右侧显示了深度数据，图7a由0-20不同的深度数据，图7b是0-22的深度数据，在头盖骨部分也是突出黑色区域部分，由于灰度图的原因，不能完全显示差别，但是在实际运用中，可以通过背景颜色(蓝色)和石膏人物图像上的头盖骨部分有明显区别，呈现更加清晰、高分辨率的深度图像。
本发明实施例可以采集不同角度的图像，增加采样点，当不同角度的图片对齐的时候，相当于对图像增加了一倍的采样信息，那么，在进行插值的时候，相比于原来单幅图像，增加了插值结果的真实性，在整个插值过程中，都是在绝对相位数据上操作的，保证绝对相位数据精度相较于深度数据精度高。
本发明实施例，可以在多频率投影条纹形貌测量技术中，为了提高三维形貌数据的分辨率，可以通过增加采样点信息来辅助插值。并且不再最终产生的深度图片上操作，转而在绝对相位(非参考图像与参考图像绝对相位差数据可以转化为深度数据)上操作，可以满足精度要求。
为提高结构光获取深度数据的空间分辨率，本发明上述实施例可以先进行多角度或多分辨率投影条纹图像采集；基于采集到的投影条纹图像，依据结构光深度数据获取方法，分别计算出不同角度或不同分辨率的深度数据；然后可以依据这些深度数据和分辨率提高算法，获得空间分辨率得到提高的结构光深度数据。经过这种图像采集和算法处理机制，本发明可以得到稳定可靠的高分辨率深度结果，其空间分辨率超过采集图像的最高分辨率，并且通过增加采样点信息，对多频率投影条纹形貌数据的上采样插值提供更多的方式。在多频率投影条纹形貌中间产生的绝对相位数据上进行插值操作，以满足该技术的精度要求，采集更小分辨的图像，辅助插值，以往的插值，无论采用怎样的插值算法，都是通过单一图像来找出合理的插值系数，而这里，我们提出的是通过寻找两个分辨率图像之间的插值关系来找出合理的差值系数，得到的深度数据更加可靠，即可以通过上述的实施方式得到超高分辨率的深度图像，得到的图像的分辨率也更加可靠。
实施例三
图8是根据本发明实施例的结构光深度数据空间分辨率的提升装置的示意图，如图8所示，该装置可以包括：采集单元81，用于采集多张投影条纹图像，其中，多张投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像；分析单元83，用于对多张投影条纹图像进行相位分析，得到多组相位数据；提升单元85，用于根据多组相位数据，提升与预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。
通过上述实施例，可以先通过采集单元81采集到多张投影条纹图像，其中，该多张投影条纹图像可以是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像，并通过分析单元83对多张投影条纹图像进行相位分析，得到多组相位数据，最后可以通过提升单元85根据多组相位数据，提升与预设物体表面对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。在该实施例中，可以通过对投影条纹图像进行相位分析，并不会在深度图片上进行操作，是在图片的相位上进行操作，其可以用在多频率投影条纹形貌测量技术所恢复出的深度数据，达到了所需的精度要求，并且可以提升结构光深度数据的分辨率，进而解决相关技术中无法提升结构光深度数据的空间分辨率的技术问题。
可选的，上述的采集单元81包括：第一采集模块，用于采集多个拍摄角度中每个拍摄角度对应的投影条纹图像，得到多张投影条纹图像，其中，多个拍摄角度是在将第一预设拍摄设备沿光轴旋转后，得到的多个拍摄角度，投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的图像。
可选的，该装置还包括：第一确定模块，用于在得到多组相位数据之后，根据多组相位数据，确定预设物体的参考条纹的绝对相位数据，其中，参考条纹是利用拍摄设备和投影设备与参考平面得到的；第二确定模块，用于根据多组相位数据，确定预设物体的变形条纹的绝对相位数据，其中，变形条纹是利用拍摄设备和投影设备与预设物体的表面得到的；第三确定模块，用于根据参考条纹的绝对相位数据和变形条纹的绝对相位数据，确定物体绝对相位差数据。
可选的，提升单元85包括：对齐模块，用于将物体绝对相位差数据进行对齐处理；第四确定模块，用于根据对齐处理后的图像数据，确定多个第一图像空间分辨率；第五确定模块，用于根据第一图像空间分辨率，确定多个第一插值系数，其中，第一插值系数用于指示图像中各个像素点之间的空间关系；第一插值模块，用于根据多个第一插值系数，对多张投影条纹图像进行插值操作，得到第一预期分辨率的投影条纹图像；第六确定模块，用于根据第一预期分辨率的投影条纹图像，提升与预设物体对应的结构光深度数据空间分辨率。
可选的，采集单元81还包括：第二采集模块，用于采集多个图像分辨率中每个图像分辨率所对应的投影条纹图像，得到多张投影条纹图像，其中，多个图像分辨率对应多个第二预设拍摄设备中每个第二预设拍摄设备的图像分辨率，投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的图像。
可选的，提升单元85还包括：第七确定模块，用于根据每个图像分辨率所对应的投影条纹图像，确定与每个图像分辨率所对应的绝对相位数据；获取模块，用于获取预设物体的参考条纹的绝对相位数据；确定模块，用于根据参考条纹的绝对相位数据和每个图像分辨率所对应的绝对相位数据，确定多个图像分辨率中每个图像分辨率对应的绝对相位差数据；提升模块，用于根据多个图像分辨率中每个图像分辨率对应的绝对相位差数据，提升与预设物体对应的结构光深度数据空间分辨率。
可选的，提升模块包括：获取子模块，用于获取多个图像分辨率中每个图像分辨率与待提升结构光深度数据空间分辨率的分辨率比值；第一确定子模块，用于根据分辨率比值，确定多个待插值数据；第二确定子模块，用于根据多个待插值数据，确定每个待插值数据的目标参数，其中，目标参数至少包括：横向参数、纵向参数、斜向参数；第三确定子模块，用于根据每个待插值数据的目标参数，确定多个第二插值系数；插值模块，用于根据多个第二插值系数，对多张投影条纹图像进行插值操作，以得到提升空间分辨率的结构光深度数据。
上述的结构光深度数据分辨率的提升装置还可以包括处理器和存储器，上述采集单元81、分析单元83、提升单元85等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过对多频率投影条纹形貌中间产生的绝对相位数据上进行插值操作，以提高结构光深度数据空间分辨率。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的结构光深度数据空间分辨率的提升方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的结构光深度数据空间分辨率的提升方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：采集多张投影条纹图像，其中，多张投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像；对多张投影条纹图像进行相位分析，得到多组相位数据；根据多组相位数据，提升与预设物体表面对应的结构光深度数据空间分辨率。
可选地，上述处理器在执行程序时，还可以采集多个拍摄角度中每个拍摄角度对应的投影条纹图像，得到多张投影条纹图像，其中，多个拍摄角度是在将第一预设拍摄设备沿光轴旋转后，得到的多个拍摄角度，投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的图像。
可选地，上述处理器在执行程序时，还可以根据多组相位数据，确定预设物体的参考条纹的绝对相位数据，其中，参考条纹是利用拍摄设备和投影设备与参考平面得到的；以及根据多组相位数据，确定预设物体的变形条纹的绝对相位数据，其中，变形条纹是利用拍摄设备和投影设备与预设物体的表面得到的；根据参考条纹的绝对相位数据和变形条纹的绝对相位数据，确定物体绝对相位差数据。
可选地，上述处理器在执行程序时，还可以将物体绝对相位差数据进行对齐处理；根据对齐处理后的图像数据，确定多个第一图像空间分辨率；根据第一图像空间分辨率，确定多个第一插值系数，其中，第一插值系数用于指示图像中各个像素点之间的空间关系；根据多个第一插值系数，对多张投影条纹图像进行插值操作，得到第一预期分辨率的投影条纹图像；根据第一预期分辨率的投影条纹图像，提升与预设物体对应的结构光深度数据空间分辨率。
可选地，上述处理器在执行程序时，还可以采集多个图像分辨率中每个图像分辨率所对应的投影条纹图像，得到多张投影条纹图像，其中，多个图像分辨率对应多个第二预设拍摄设备中每个第二预设拍摄设备的图像分辨率，投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的图像。
可选地，上述处理器在执行程序时，还可以根据每个图像分辨率所对应的投影条纹图像，确定与每个图像分辨率所对应的绝对相位数据；获取预设物体的参考条纹的绝对相位数据；根据参考条纹的绝对相位数据和每个图像分辨率所对应的绝对相位数据，确定多个图像分辨率中每个图像分辨率对应的绝对相位差数据；根据多个图像分辨率中每个图像分辨率对应的绝对相位差数据，提升与预设物体对应的结构光深度数据空间分辨率。
可选地，上述处理器在执行程序时，还可以根据多个图像分辨率中每个图像分辨率对应的绝对相位差数据，提升与预设物体对应的结构光深度数据空间分辨率包括：获取多个图像分辨率中每个图像分辨率与待提升结构光深度数据空间分辨率的分辨率比值；根据分辨率比值，确定多个待插值数据；根据多个待插值数据，确定每个待插值数据的目标参数，其中，目标参数至少包括：横向参数、纵向参数、斜向参数；根据每个待插值数据的目标参数，确定多个第二插值系数；根据多个第二插值系数，对多张投影条纹图像进行插值操作，以得到提升空间分辨率的结构光深度数据。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：采集多张投影条纹图像，其中，多张投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像；对多张投影条纹图像进行相位分析，得到多组相位数据；根据多组相位数据，提升与预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种结构光深度数据空间分辨率的提升方法，其特征在于，包括：
采集多张投影条纹图像，其中，所述多张投影条纹图像是对预设物体表面的投影条纹进行拍摄得到的多张条纹图像；
对所述多张投影条纹图像进行相位分析，得到多组相位数据；
根据所述多组相位数据，提升与所述预设物体表面对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据，
采集多张投影条纹图像包括：采集多个图像分辨率中每个图像分辨率所对应的投影条纹图像，得到多张投影条纹图像，其中，所述多个图像分辨率对应多个第二预设拍摄设备中每个第二预设拍摄设备的图像分辨率，所述投影条纹图像是对所述预设物体的表面的投影条纹进行拍摄得到的图像，
根据所述多组相位数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据包括：根据每个图像分辨率所对应的投影条纹图像，确定与每个图像分辨率所对应的绝对相位数据；获取所述预设物体的参考条纹的绝对相位数据；根据所述参考条纹的绝对相位数据和每个图像分辨率所对应的绝对相位数据，确定多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据；根据多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据，
根据多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据包括：获取多个图像分辨率中每个图像分辨率与待提升结构光深度数据空间分辨率的分辨率比值；根据所述分辨率比值，确定多个待插值数据；根据所述多个待插值数据，确定每个待插值数据的目标参数，其中，所述目标参数至少包括：横向参数、纵向参数、斜向参数；根据所述每个待插值数据的目标参数，确定多个第二插值系数；根据所述多个第二插值系数，对所述多张投影条纹图像进行插值操作，以得到提升空间分辨率的结构光深度数据。
2.根据权利要求1所述的方法，其特征在于，采集多张投影条纹图像还包括：
采集多个拍摄角度中每个拍摄角度对应的投影条纹图像，得到多张投影条纹图像，其中，所述多个拍摄角度是在将第一预设拍摄设备沿光轴旋转后，得到的所述多个拍摄角度，所述投影条纹图像是对所述预设物体的表面的投影条纹进行拍摄得到的图像。
3.根据权利要求1所述的方法，其特征在于，在得到多组相位数据之后，所述提升方法还包括：
根据所述多组相位数据，确定所述预设物体的参考条纹的绝对相位数据，其中，所述参考条纹是利用拍摄设备和投影设备与参考平面得到的；以及
根据所述多组相位数据，确定所述预设物体的变形条纹的绝对相位数据，其中，所述变形条纹是利用拍摄设备和投影设备与所述预设物体的表面得到的；
根据所述参考条纹的绝对相位数据和所述变形条纹的绝对相位数据，确定物体绝对相位差数据。
4.根据权利要求3所述的方法，其特征在于，提升与所述预设物体对应的结构光深度数据空间分辨率包括：
将所述物体绝对相位差数据进行对齐处理；
根据对齐处理后的图像数据，确定多个第一图像空间分辨率；
根据所述第一图像空间分辨率，确定多个第一插值系数，其中，所述第一插值系数用于指示图像中各个像素点之间的空间关系；
根据所述多个第一插值系数，对所述多张投影条纹图像进行插值操作，得到第一预期分辨率的投影条纹图像；
根据所述第一预期分辨率的投影条纹图像，提升与所述预设物体对应的结构光深度数据空间分辨率。
5.一种结构光深度数据空间分辨率的提升装置，其特征在于，包括：
采集单元，用于采集多张投影条纹图像，其中，所述多张投影条纹图像是对预设物体的表面的投影条纹进行拍摄得到的多张条纹图像；
分析单元，用于对所述多张投影条纹图像进行相位分析，得到多组相位数据；
提升单元，用于根据所述多组相位数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据，
所述采集单元包括：第二采集模块，用于采集多个图像分辨率中每个图像分辨率所对应的投影条纹图像，得到多张投影条纹图像，其中，所述多个图像分辨率对应多个第二预设拍摄设备中每个第二预设拍摄设备的图像分辨率，所述投影条纹图像是对所述预设物体的表面的投影条纹进行拍摄得到的图像；
所述提升单元包括：第七确定模块，用于根据每个图像分辨率所对应的投影条纹图像，确定与每个图像分辨率所对应的绝对相位数据；获取模块，用于获取所述预设物体的参考条纹的绝对相位数据；确定模块，用于根据所述参考条纹的绝对相位数据和每个图像分辨率所对应的绝对相位数据，确定多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据；提升模块，用于根据多个图像分辨率中每个所述图像分辨率对应的绝对相位差数据，提升与所述预设物体对应的结构光深度数据空间分辨率，以得到提升空间分辨率的结构光深度数据；
所述提升模块包括：获取子模块，用于获取多个图像分辨率中每个图像分辨率与待提升结构光深度数据空间分辨率的分辨率比值；第一确定子模块，用于根据所述分辨率比值，确定多个待插值数据；第二确定子模块，用于根据所述多个待插值数据，确定每个待插值数据的目标参数，其中，所述目标参数至少包括：横向参数、纵向参数、斜向参数；第三确定子模块，用于根据所述每个待插值数据的目标参数，确定多个第二插值系数；插值模块，用于根据所述多个第二插值系数，对所述多张投影条纹图像进行插值操作，以得到提升空间分辨率的结构光深度数据。
6.一种存储介质，其特征在于，所述存储介质用于存储程序，其中，所述程序在被处理器执行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的结构光深度数据空间分辨率的提升方法。
7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至4中任意一项所述的结构光深度数据空间分辨率的提升方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810393688.2A CN108648222B (zh) | 2018-04-27 | 2018-04-27 | 结构光深度数据空间分辨率的提升方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810393688.2A CN108648222B (zh) | 2018-04-27 | 2018-04-27 | 结构光深度数据空间分辨率的提升方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108648222A CN108648222A (zh) | 2018-10-12 |
| CN108648222B true CN108648222B (zh) | 2021-08-17 |
Family
ID=63747875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810393688.2A Active CN108648222B (zh) | 2018-04-27 | 2018-04-27 | 结构光深度数据空间分辨率的提升方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648222B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020102950A1 (zh) * | 2018-11-19 | 2020-05-28 | 深圳市欢太科技有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
| CN110087057B (zh) * | 2019-03-11 | 2021-10-12 | 歌尔股份有限公司 | 一种投影仪的深度图像获取方法和装置 |
| CN110686652B (zh) * | 2019-09-16 | 2021-07-06 | 武汉科技大学 | 一种基于深度学习和结构光相结合的深度测量方法 |
| CN110764841B (zh) * | 2019-10-10 | 2024-01-19 | 珠海格力智能装备有限公司 | 3d视觉应用开发平台和开发方法 |
| CN111311606B (zh) * | 2020-01-20 | 2023-05-05 | 四川大学 | 连续相位图获取方法、装置、计算机设备和可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997008659A1 (en) * | 1995-08-22 | 1997-03-06 | Silicon Graphics, Inc. | 3d image depth information compression |
| CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
| CN103279982A (zh) * | 2013-05-24 | 2013-09-04 | 中国科学院自动化研究所 | 鲁棒的快速高深度分辨率的散斑三维重建方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102710951B (zh) * | 2012-05-09 | 2014-06-25 | 天津大学 | 基于散斑结构光深度相机的多视点计算成像方法 |
| LU92074B1 (en) * | 2012-09-18 | 2014-03-19 | Iee Sarl | Depth image enhancement method |
| CN103400366B (zh) * | 2013-07-03 | 2016-04-13 | 西安电子科技大学 | 基于条纹结构光的动态场景深度获取方法 |
| US10785463B2 (en) * | 2013-07-16 | 2020-09-22 | Texas Instruments Incorporated | Super-resolution in structured light imaging |
| CN103942802A (zh) * | 2014-04-29 | 2014-07-23 | 西安电子科技大学 | 基于随机模板的结构光动态场景深度获取方法 |
| KR102272254B1 (ko) * | 2015-02-13 | 2021-07-06 | 삼성전자주식회사 | 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치 |
| US9858672B2 (en) * | 2016-01-15 | 2018-01-02 | Oculus Vr, Llc | Depth mapping using structured light and time of flight |
| JP6678504B2 (ja) * | 2016-04-22 | 2020-04-08 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
| CN107610077A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
-
2018
- 2018-04-27 CN CN201810393688.2A patent/CN108648222B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997008659A1 (en) * | 1995-08-22 | 1997-03-06 | Silicon Graphics, Inc. | 3d image depth information compression |
| CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
| CN103279982A (zh) * | 2013-05-24 | 2013-09-04 | 中国科学院自动化研究所 | 鲁棒的快速高深度分辨率的散斑三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Absolute phase recovery of three fringe patterns with selected spatial frequencies;Yi Ding 等;《Optics and Lasers in Engineering》;20150306;第70卷;第18-25页 * |
| 结构光深度图像获取和处理与三维重建研究;范剑英 等;《中国博士学位论文全文数据库 信息科技辑(月刊)》;20110615(第06期);第I138-23页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108648222A (zh) | 2018-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648222B (zh) | 结构光深度数据空间分辨率的提升方法及装置 | |
| Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| US9863861B2 (en) | Method and apparatus for particle size determination | |
| JP4382797B2 (ja) | 対応点探索方法および３次元位置計測方法 | |
| CN108876836B (zh) | 一种深度估计方法、装置、系统及计算机可读存储介质 | |
| JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
| Kil et al. | Laser scanner super-resolution | |
| JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
| Alsadik et al. | Efficient use of video for 3D modelling of cultural heritage objects | |
| Sabater et al. | Light-field demultiplexing and disparity estimation | |
| CN112132971B (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
| Vandewalle et al. | Double resolution from a set of aliased images | |
| Klowsky et al. | Modulation transfer function of patch-based stereo systems | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| Koch et al. | Automatic 3d model acquisition from uncalibrated image sequences | |
| Malczewski et al. | Super resolution for multimedia, image, and video processing applications | |
| Meißner | Determination and improvement of spatial resolution obtained by optical remote sensing systems | |
| CN113034345B (zh) | 一种基于sfm重建的人脸识别方法及系统 | |
| Baboulaz et al. | Local feature extraction for image super-resolution | |
| Dahlström | Super-Resolution Using Dynamic Cameras | |
| Jonscher et al. | Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching | |
| KR102593168B1 (ko) | 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법 | |
| CN112771574B (zh) | 用于估计像素的深度的方法以及对应的设备 | |
| Sarti et al. | Image-based surface modeling: a multi-resolution approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |