CN108986177A - 结构光编码方法、装置及终端设备 - Google Patents

结构光编码方法、装置及终端设备 Download PDF

Info

Publication number
CN108986177A
CN108986177A CN201710401331.XA CN201710401331A CN108986177A CN 108986177 A CN108986177 A CN 108986177A CN 201710401331 A CN201710401331 A CN 201710401331A CN 108986177 A CN108986177 A CN 108986177A
Authority
CN
China
Prior art keywords
pattern
coding
point
black
coding pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710401331.XA
Other languages
English (en)
Inventor
唐苏明
宋展
李丽
王维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710401331.XA priority Critical patent/CN108986177A/zh
Priority to PCT/CN2018/087373 priority patent/WO2018219156A1/zh
Publication of CN108986177A publication Critical patent/CN108986177A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种结构光编码方法、装置及终端设备,包括:生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数;生成黑白相间的菱形图案构成的矩形图案;将黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为第一编码图案的背景图案,以生成第一编码图案。在保证编码窗口足够小、编码密度足够大的情况下,由于本申请通过N种黑白二值几何图形实现编码,与传统的颜色、亮度编码方法相比,黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性,从而提高结构光编码系统的鲁棒性。

Description

结构光编码方法、装置及终端设备
技术领域
本申请涉及图像处理技术,尤其涉及一种结构光编码方法、装置及终端设备。
背景技术
结构光三维扫描技术通过主动控制光源来实现三维扫描,与其他三维扫描技术相比具有更高的可靠度,发展潜力巨大。目前结构光三维扫描技术已广泛应用于工业检测、3D打印、影视特效制作、文物仿形等领域。结构光三维扫描技术是指将设计好的编码图案投影至目标物体,由摄像机拍摄目标物体形成另一编码图案,确定该编码图案的特征点,对这些特征点采用光学三角法和系统标定法,以获取目标物体的三维信息,从而实现目标物体的三维重建。
结构光编码方法是结构光三维扫描技术的前提和基础,结构光编码技术的编码策略主要分为时间编码和空间编码。相比较而言,空间编码较时间编码在测量速度方面更具优势,易于实现动态三维重建。而空间编码存在编码密度与编码窗口尺寸两者相矛盾的问题,即编码密度越大,则编码窗口就越大。然而,编码窗口越大,则解码的难度就越高。现有技术通过增加颜色信息或亮度信息来达到减小窗口尺寸、增大编码密度的目的。然而当目标物体表面颜色较为丰富、纹理结构较为复杂时,投影的颜色信息或亮度信息会影响目标物体的三维信息的获取,进而造成整个结构光编码系统的鲁棒性较差的问题。
发明内容
本申请提供一种结构光编码方法、装置及终端设备,从而提高结构光编码系统的鲁棒性。
第一方面,本申请提供一种结构光编码方法,包括:生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数;生成黑白相间的菱形图案构成的矩形图案;将黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为第一编码图案的背景图案,以生成第一编码图案。
本申请的有益效果是:由于本申请通过N种黑白二值几何图形实现编码,与传统的颜色、亮度编码方法相比,黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性,可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。
可选地,还包括:将第一编码图案投影至目标物体;拍摄投影后的目标物体,获取第二编码图案;确定第二编码图案的特征点,其中特征点用于确定目标物体的三维轮廓信息。
可选地,确定第二编码图案的特征点,包括:将第二编码图案划分为多个第一区域;在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定特征点。
可选地,在每个第一区域中确定至少一个候选特征点,包括:通过公式计算每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;在每个第一区域中确定数值的极大值,并将极大值对应的像素点作为候选特征点。
由于在第一编码图案真正的特征点处,水平方向上的点和垂直方向上的点的灰度值的差值在局部区域内是最大的。同样的,第二编码图案真正的特征点也应该具有该特征。即用X型模板计算出的数值H在第一区域内是最大的,利用这个方法可以排除掉绝大部分的普通点。
可选地,在所有候选特征点中确定所述特征点,包括:确定任一候选特征点所在的第二区域,并确定第二区域旋转180度后的对称区域;通过公式计算任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值;表示第二区域中,所有像素点的灰度值的平均值;确定对称系数小于预设阈值的候选特征点为特征点。
由于第一编码图案中的特征点具有旋转不变对称性(旋转180度),因此第二编码图案中的特征点基本也遵循这个特征。对称系数δ表示第二编码图案的局部对称程度,该对称系数δ越小,表示第二编码图案的局部对称程度越好。基于此,采用上述公式计算每个候选特征点的对称系数δ,并通过设定一个预设阈值,以此剔除候选特征点中的错误特征点,可有有效获取最终的特征点。
下面将介绍结构光编码装置,该结构光编码装置可以用于执行第一方面及第一方面对应的可选方式,其实现原理和技术效果类似,此处不再赘述。
第二方面,本申请提供一种结构光编码装置,包括:第一生成模块,用于生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数;第二生成模块,用于生成黑白相间的菱形图案构成的矩形图案;第三生成模块,用于将黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为第一编码图案的背景图案,以生成第一编码图案。
可选地,还包括:投影模块,用于将第一编码图案投影至目标物体;获取模块,用于拍摄投影后的目标物体,获取第二编码图案;确定模块,用于确定第二编码图案的特征点,其中特征点用于确定目标物体的三维轮廓信息。
可选地,确定模块具体用于:将第二编码图案划分为多个第一区域;在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定特征点。
可选地,确定模块具体用于:通过公式计算每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;在每个第一区域中确定数值的极大值,并将极大值对应的像素点作为候选特征点。
可选地,确定模块具体用于:确定任一候选特征点所在的第二区域,并确定第二区域旋转180度后的对称区域;
通过公式计算任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值;表示第二区域中,所有像素点的灰度值的平均值;确定对称系数小于预设阈值的候选特征点为特征点。
下面将介绍终端设备,该终端设备可以用于执行第一方面及第一方面对应的可选方式,其实现原理和技术效果类似,此处不再赘述。
第三方面,本申请提供一种终端设备,包括:结构光模板,设置有第一编码图案;其中第一编码图案由编码窗口为2*2、编码元素为N的伪随机阵列和多个黑白相间的菱形图案构成的矩形图案生成;N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数;黑白二值几何图形嵌入对应的白色菱形图案中,形成第一编码图案的前景图案,黑色菱形图案形成第一编码图案的背景图案;投影单元,用于产生投影光;通过产生的投影光经过结构光模板形成第一编码图案,并将第一编码图案投影至目标物体;摄影单元,用于拍摄投影后的目标物体,获取第二编码图案;处理器,用于确定第二编码图案的特征点;并对每个特征点进行解码,确定每个特征点在第一编码图案中的对应位置;根据每个特征点在第一编码图案中的对应位置确定每个特征点在第二编码图案中的深度;根据每个特征点在第二编码图案中的深度,确定目标物体的三维轮廓信息。
可选地,处理器具体用于:通过公式计算每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;在每个第一区域中确定数值的极大值,并将极大值对应的像素点作为候选特征点。
可选地,处理器具体用于:确定任一候选特征点所在的第二区域,并确定第二区域旋转180度后的对称区域;通过公式计算任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值;表示第二区域中,所有像素点的灰度值的平均值;确定对称系数小于预设阈值的候选特征点为特征点。
本申请提供一种结构光编码方法、装置及终端设备,包括:生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数;生成黑白相间的菱形图案构成的矩形图案;将黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为第一编码图案的背景图案,以生成第一编码图案。其中第一编码图案的编码窗口为2*2,该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度(2*2的编码窗口包括两种类型的特征点)足够大。进一步地,由于本申请通过N种黑白二值几何图形实现编码,与传统的颜色、亮度编码方法相比,黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性,可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。
附图说明
图1为本申请一实施例提供的结构光编码系统的示意图;
图2为本申请一实施例提供的一种结构光编码方法的流程图;
图3为本申请提供的第一编码图案的示意图;
图4为本申请提供的第一编码图案的局部放大图;
图5为本申请一实施例提供的一种结构光编码装置的结构示意图;
图6为本申请一实施例提供的一种终端设备的结构示意图。
具体实施方式
结构光技术可以分为两类,一类是投射激光线或者点阵,该类的优点是结构简单,对应关系明确,但由于其扫描方式为逐点和逐线,测量速度慢,仅适用于特定场合。另一类为结构光三维扫描技术,即将单幅或多幅编码图案投射至目标物体,实现整个面的一次性测量,具有速度快和精度高的明显优势,弥补了点、线结构光法测量效率低的不足,因此结构光三维扫描技术已成为目前的主流技术手段。
结构光三维扫描技术的编码方法大致可划分为时间编码法和空间编码法,前者将多幅编码图案按时序投射、得到相应的编码图像序列,解码利用条纹图像序列组合实现,从而解决编码图案和条纹图像的对应问题,具有测量精度较高、测量分辨率高的优点,但其测量速度较慢,因此适合于静态目标和场景的三维信息获取。后者仅需投影一幅编码图案,测量速度较快,因此适合于动态目标和场景的三维信息获取。而空间编码存在编码密度与编码窗口尺寸两者相矛盾的问题,即编码密度越大,则编码窗口就越大。然而,编码窗口越大,则解码的难度就越高。现有技术通过增加颜色信息或亮度信息来达到减小编码窗口尺寸、增大编码密度的目的。然而当目标物体表面颜色较为丰富、纹理结构较为复杂时,投影的颜色信息或亮度信息会影响目标物体的三维信息的获取,进而造成整个结构光编码系统的鲁棒性较差的问题。
在保证编码密度足够大、编码窗口尺寸足够小的同时,本申请提供一种结构光编码方法、装置及终端设备,从而可以提高结构光编码系统的鲁棒性。本申请的主旨思想在于:通过N种黑白二值几何图形作为编码元素的空间编码方案,与传统的颜色、亮度编码方法相比,黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性,可用于目标物体表面更为复杂的动态三维重建。
本申请适用于如下结构光编码系统,图1为本申请一实施例提供的结构光编码系统的示意图,如图1所示,该结构光编码系统包括:智能设备11、投影设备12、摄影设备13和目标物体14。该智能设备11可以是计算机、笔记本电脑、平板、手机等智能设备。该结构光编码系统的工作原理是:智能设备11生成第一编码图案,将其传输给投影设备12,投影设备12将第一编码图案投影至目标物体14,摄影设备13拍摄投影后的目标物体,获取第二编码图案。摄影设备13可以将第二编码图案传输给智能设备11,智能设备11确定第二编码图案的特征点;并对每个特征点进行解码,确定每个特征点在第一编码图案中的对应位置;根据每个特征点在第一编码图案中的对应位置确定每个特征点在第二编码图案中的深度;根据每个特征点在第二编码图案中的深度,确定目标物体的三维轮廓信息。
其中该结构光编码系统中的智能设备、投影设备、摄影设备可以集成于终端设备中,即终端设备可以实现上述结构光编码系统的各个功能。智能设备对应于终端设备的处理器,投影设备对应于终端设备的投影单元,摄影设备对应于终端设备的摄影单元。
基于上述结构光编码系统,本申请提供一种结构光编码方法、装置及终端设备。以提高结构光编码系统的鲁棒性。
具体地,图2为本申请一实施例提供的一种结构光编码方法的流程图,如图2所示,该方法包括:
步骤S201:生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数;
步骤S202:生成黑白相间的菱形图案构成的矩形图案;
步骤S203:将黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为第一编码图案的背景图案,以生成第一编码图案。
例如,根据现有技术提供的查找伽罗华域大小为8,维度为4的本原多项式:h(x)=x4+x+α3。产生伪随机序列时需要遵循的规则为:a3+a+1=0与a7=1。
生成的多元的伪随机序列的元素值域为:GF(8)={0,1,a,a2,a3,a4,a5,a6}。
利用折叠原理将伪随机序列转化为伪随机阵列。该伪随机阵列的编码窗口为2*2、编码元素为8。生成黑白相间的菱形图案构成的矩形图案;将黑白二值几何图形嵌入黑白相间的菱形图案中的白色菱形图案中,作为第一编码图案的前景图案,将黑白相间的菱形图案中的黑色菱形图案作为第一编码图案的背景图案,以生成第一编码图案。图3为本申请提供的第一编码图案的示意图,图4为本申请提供的第一编码图案的局部放大图,如图3和图4所示,该第一编码图案的编码窗口为2*2,编码元素为8,编码容量为65×63。
在第一编码图案中特征点被定义为相邻菱形元素的交点,所以第一编码图案中包括两种类型的特征点,一种是如图3所示的P1点,该P1特征点的上下是背景元素;另一种是如图3所示的P2点,该P2特征点的左右是背景元素。对于每个特征点的码字的定义为:若为P1型特征点,码字由其左右的元素以及左右元素的下方的两个元素组成;若为P2型特征点,码字由其上下的元素以及上下元素的右边的元素组成。因此,如图3所示,P1特征点和P2特征点具有相同的码字,即为c1-c2-c3-c4。本申请中,2*2的编码窗口包括两种类型的特征点。
需要说明的是,本申请上述黑白相间的菱形图案还可以是黑白相间的方形图案,或者是对上述菱形图案进行拉伸、旋转后的图案。本申请对此不做限制。
综上,本申请提供的结构光编码方法所生成的第一编码图案,其编码窗口为2*2,该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度(2*2的编码窗口包括两种类型的特征点)足够大。进一步地,由于本申请通过N种黑白二值几何图形实现编码,与传统的颜色、亮度编码方法相比,黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性,可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。
进一步地,该方法还包括:将第一编码图案投影至目标物体;拍摄投影后的目标物体,获取第二编码图案;确定第二编码图案的特征点,其中该特征点用于确定目标物体的三维轮廓信息。
其中,该第二编码图案的特征点与第一编码图案的特征点一一对应。而确定第二编码图案的特征点的方法,包括:将第二编码图案划分为多个第一区域;在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定特征点。其中第一区域一般可以选取上述黑色菱形图案或者白色菱形图案尺寸的2/3。
具体地,将第二编码图案转化为灰度图像,利用滤波器对该灰度图像进行平滑处理;然后设计一个X型模板,对经过平滑处理后的图像进行卷积运算,利用选取局部非最大值抑制法来确定候选特征点;其中选取局部非最大值抑制法来确定候选特征点,具体包括:通过公式:
计算每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;L表示X型模板的尺寸,在每个第一区域中确定所述数值的极大值,并将极大值对应的像素点作为候选特征点。
如图4所示,在第一编码图案真正的特征点C处,水平方向上的点和垂直方向上的点的灰度值的差值在局部区域内是最大的。同样的,第二编码图案真正的特征点也应该具有该特征。即用X型模板计算出的数值H在第一区域内是最大的,利用这个方法可以排除掉绝大部分的普通点。
可选地,在所有候选特征点中确定特征点,包括:确定任一候选特征点所在的第二区域,并确定第二区域旋转180度后的对称区域。
通过公式计算任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示所述像素点(m,n)在对称区域中的对称点的灰度值;表示第二区域中,所有像素点的灰度值的平均值;确定对称系数小于预设阈值的候选特征点为特征点。其中任一候选特征点所在的第二区域一般是以该候选特征点为中心的一个圆形区域。
由于第一编码图案中的特征点具有旋转不变对称性(旋转180度),因此第二编码图案中的特征点基本也遵循这个特征。对称系数δ表示第二编码图案的局部对称程度,该对称系数δ越小,表示第二编码图案的局部对称程度越好。基于此,采用上述公式计算每个候选特征点的对称系数δ,并通过设定一个预设阈值,以此剔除候选特征点中的错误特征点,获取最终的特征点。
本申请中,通过上述两个公式可以准确的确定第二编码图案上的特征点,进而保证能够准确的获取目标物体的三维信息。
图5为本申请一实施例提供的一种结构光编码装置的结构示意图,如图5所示,该装置包括:
第一生成模块501,用于生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数。第二生成模块502,用于生成黑白相间的菱形图案构成的矩形图案。第三生成模块503,用于将黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为第一编码图案的背景图案,以生成第一编码图案。
可选地,还包括:投影模块504,用于将第一编码图案投影至目标物体;获取模块505,用于拍摄投影后的目标物体,获取第二编码图案;确定模块506,用于确定第二编码图案的特征点,其中特征点用于确定目标物体的三维轮廓信息。
具体地,第一生成模块501、第二生成模块502和第三生成模块503的生成功能可以是实时生成功能。例如:在每次结构光编码过程中,第一生成模块501都需要生成一次伪随机阵列;第二生成模块502都需要生成一次黑白相间的菱形图案构成的矩形图案;第三生成模块503都需要生成一次第一编码图案。或者,第一生成模块501、第二生成模块502和第三生成模块503的生成功能也可以是一种提取或者维护功能。例如:第三生成模块503在第一次结构光编码过程中已经生成了第一编码图案,生成的第一编码图案被保存在结构光编码装置的存储模块中。接下来在每次结构光编码过程中,第三生成模块503只需要在存储模块中提取该第一编码图案即可。
进一步地,投影模块504可以利用投影光将第一编码图案投影至目标物体。相应的,获取模块505具有投影光采集能力,以拍摄投影后的目标物体,获取第二编码图案。例如:该投影光可以是发光二极管(Light Emitting Diode,LED)或者红外激光光源发出的红外光。获取模块505具有红外光采集能力,以拍摄投影后的目标物体,获取第二编码图案。
可选地,确定模块506具体用于:将第二编码图案划分为多个第一区域;在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定所述特征点。
可选地,确定模块506具体用于:
通过公式计算每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;在每个第一区域中确定数值的极大值,并将极大值对应的像素点作为候选特征点。
可选地,确定模块505具体用于:确定任一候选特征点所在的第二区域,并确定第二区域旋转180度后的对称区域;
通过公式计算任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值;表示第二区域中,所有像素点的灰度值的平均值;确定对称系数小于预设阈值的候选特征点为特征点。
本申请提供的结构光编码装置所生成的第一编码图案,其编码窗口为2*2,该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度足够大。进一步地,由于本申请通过N种黑白二值几何图形实现编码,与传统的颜色、亮度编码方法相比,黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性,可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。
图6为本申请一实施例提供的一种终端设备的结构示意图,如图6所示,该终端设备包括:结构光模板601设置有第一编码图案;其中第一编码图案由编码窗口为2*2、编码元素为N的伪随机阵列和多个黑白相间的菱形图案构成的矩形图案生成;N个编码元素通过N种不同的黑白二值几何图形表示,N为大于或者等于8的正整数;黑白二值几何图形嵌入对应的白色菱形图案中,形成第一编码图案的前景图案,黑色菱形图案形成第一编码图案的背景图案;投影单元602,用于产生投影光;通过产生的投影光经过结构光模板601形成第一编码图案,并将第一编码图案投影至目标物体;摄影单元603,用于拍摄投影后的目标物体,获取第二编码图案;处理器604,用于确定第二编码图案的特征点;并对每个特征点进行解码,确定每个特征点在第一编码图案中的对应位置;根据每个特征点在第一编码图案中的对应位置确定每个特征点在第二编码图案中的深度;根据每个特征点在第二编码图案中的深度,确定目标物体的三维轮廓信息。
具体地,终端设备已经生成了第一编码图案,基于此,制作一个结构光模板601,该结构光模板601设置有第一编码图案,当投影单元602产生的投影光经过结构光模板601,将形成第一编码图案,并可以将该第一编码图案投影至目标物体。也就是说,本申请提供的终端设备不用每次都生成第一编码图案,仅需要生成一次第一编码图案,之后通过结构光模板601实现投影即可产生第一编码图案。
可选地,处理器604具体用于:将第二编码图案划分为多个第一区域;在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定所述特征点。
可选地,处理器604具体用于:通过公式计算每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;在每个第一区域中确定所述数值的极大值,并将极大值对应的像素点作为候选特征点。
可选地,处理器604具体用于:确定任一候选特征点所在的第二区域,并确定第二区域旋转180度后的对称区域;
通过公式计算任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值;表示第二区域中,所有像素点的灰度值的平均值;确定对称系数小于预设阈值的候选特征点为所述特征点。
本申请提供的终端设备所使用的第一编码图案,其编码窗口为2*2,该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度足够大。进一步地,由于本申请通过N种黑白二值几何图形实现编码,与传统的颜色、亮度编码方法相比,黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性,可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。

Claims (14)

1.一种结构光编码方法,其特征在于,包括:
生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个所述编码元素通过N种不同的黑白二值几何图形表示,所述N为大于或者等于8的正整数;
生成黑白相间的菱形图案构成的矩形图案;
将所述黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为所述第一编码图案的背景图案,以生成所述第一编码图案。
2.根据权利要求1所述的方法,其特征在于,还包括:
将所述第一编码图案投影至目标物体;
拍摄投影后的目标物体,获取第二编码图案;
确定所述第二编码图案的特征点,其中所述特征点用于确定所述目标物体的三维轮廓信息。
3.根据权利要求2所述的方法,其特征在于,所述确定所述第二编码图案的特征点,包括:
将所述第二编码图案划分为多个第一区域;
在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定所述特征点。
4.根据权利要求3所述的方法,其特征在于,所述在每个第一区域中确定至少一个候选特征点,包括:
通过公式计算所述每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;
在所述每个第一区域中确定所述数值的极大值,并将所述极大值对应的像素点作为所述候选特征点。
5.根据权利要求3或4所述的方法,其特征在于,所述在所有候选特征点中确定所述特征点,包括:
确定任一候选特征点所在的第二区域,并确定所述第二区域旋转180度后的对称区域;
通过公式计算所述任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示所述像素点(m,n)在所述对称区域中的对称点的灰度值;表示所述第二区域中,所有像素点的灰度值的平均值;
确定所述对称系数小于预设阈值的候选特征点为所述特征点。
6.一种结构光编码装置,其特征在于,包括:
第一生成模块,用于生成编码窗口为2*2、编码元素为N的伪随机阵列;其中N个所述编码元素通过N种不同的黑白二值几何图形表示,所述N为大于或者等于8的正整数;
第二生成模块,用于生成黑白相间的菱形图案构成的矩形图案;
第三生成模块,用于将所述黑白二值几何图形嵌入白色菱形图案中,作为第一编码图案的前景图案,将黑色菱形图案作为所述第一编码图案的背景图案,以生成所述第一编码图案。
7.根据权利要求6所述的装置,其特征在于,还包括:
投影模块,用于将所述第一编码图案投影至目标物体;
获取模块,用于拍摄投影后的目标物体,获取第二编码图案;
确定模块,用于确定所述第二编码图案的特征点,其中所述特征点用于确定所述目标物体的三维轮廓信息。
8.根据权利要求7所述的装置,其特征在于,所述确定模块具体用于:
将所述第二编码图案划分为多个第一区域;
在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定所述特征点。
9.根据权利要求8所述的装置,其特征在于,所述确定模块具体用于:
通过公式计算所述每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;
在所述每个第一区域中确定所述数值的极大值,并将所述极大值对应的像素点作为所述候选特征点。
10.根据权利要求8或9所述的装置,其特征在于,所述确定模块具体用于:
确定任一候选特征点所在的第二区域,并确定所述第二区域旋转180度后的对称区域;
通过公式计算所述任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示所述像素点(m,n)在所述对称区域中的对称点的灰度值;表示所述第二区域中,所有像素点的灰度值的平均值;
确定所述对称系数小于预设阈值的候选特征点为所述特征点。
11.一种终端设备,其特征在于,包括:
结构光模板,设置有第一编码图案;其中所述第一编码图案由编码窗口为2*2、编码元素为N的伪随机阵列和多个黑白相间的菱形图案构成的矩形图案生成;N个所述编码元素通过N种不同的黑白二值几何图形表示,所述N为大于或者等于8的正整数;所述黑白二值几何图形嵌入对应的白色菱形图案中,形成所述第一编码图案的前景图案,黑色菱形图案形成所述第一编码图案的背景图案;
投影单元,用于产生投影光;通过产生的投影光经过所述结构光模板形成所述第一编码图案,并将所述第一编码图案投影至目标物体;
摄影单元,用于拍摄投影后的目标物体,获取第二编码图案;
处理器,用于确定所述第二编码图案的特征点;并对每个特征点进行解码,确定所述每个特征点在所述第一编码图案中的对应位置;根据所述每个特征点在所述第一编码图案中的对应位置确定所述每个特征点在所述第二编码图案中的深度;根据所述每个特征点在所述第二编码图案中的深度,确定所述目标物体的三维轮廓信息。
12.根据权利要求11所述的终端设备,其特征在于,所述处理器具体用于:
将所述第二编码图案划分为多个第一区域;
在每个第一区域中确定至少一个候选特征点,并在所有候选特征点中确定所述特征点。
13.根据权利要求12所述的终端设备,其特征在于,所述处理器具体用于:
通过公式计算所述每个第一区域中的任一像素点(i,j),对应的数值H;其中I(i+α,j+β)表示像素点(i+α,j+β)的灰度值;
在所述每个第一区域中确定所述数值的极大值,并将所述极大值对应的像素点作为所述候选特征点。
14.根据权利要求12或13所述的终端设备,其特征在于,所述处理器具体用于:
确定任一候选特征点所在的第二区域,并确定所述第二区域旋转180度后的对称区域;
通过公式计算所述任一候选特征点的对称系数δ;其中I(m,n)表示像素点(m,n)的灰度值;I'(m,n)表示所述像素点(m,n)在所述对称区域中的对称点的灰度值;表示所述第二区域中,所有像素点的灰度值的平均值;
确定所述对称系数小于预设阈值的候选特征点为所述特征点。
CN201710401331.XA 2017-05-31 2017-05-31 结构光编码方法、装置及终端设备 Pending CN108986177A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710401331.XA CN108986177A (zh) 2017-05-31 2017-05-31 结构光编码方法、装置及终端设备
PCT/CN2018/087373 WO2018219156A1 (zh) 2017-05-31 2018-05-17 结构光编码方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710401331.XA CN108986177A (zh) 2017-05-31 2017-05-31 结构光编码方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN108986177A true CN108986177A (zh) 2018-12-11

Family

ID=64454289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710401331.XA Pending CN108986177A (zh) 2017-05-31 2017-05-31 结构光编码方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN108986177A (zh)
WO (1) WO2018219156A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993826A (zh) * 2019-03-26 2019-07-09 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN110557622A (zh) * 2019-09-03 2019-12-10 歌尔股份有限公司 基于结构光的深度信息获取方法及装置、设备及介质
CN110926370A (zh) * 2019-11-12 2020-03-27 季华实验室 测量方法和系统
CN113188453A (zh) * 2021-04-30 2021-07-30 东北电力大学 一种用于膜结构非接触位移、应变测量的散斑产生装置
CN113405461A (zh) * 2021-04-23 2021-09-17 封泽希 用于深度检测的结构光编码、解码方法及编码、解码装置
CN115082621A (zh) * 2022-06-21 2022-09-20 中国科学院半导体研究所 一种三维成像方法、装置、系统、电子设备及存储介质
US20220364853A1 (en) * 2019-10-24 2022-11-17 Shining 3D Tech Co., Ltd. Three-Dimensional Scanner and Three-Dimensional Scanning Method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983213A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光编码方法及相关装置
CN104197861A (zh) * 2014-08-25 2014-12-10 深圳大学 基于结构光灰度向量的三维数字成像方法
US9036928B2 (en) * 2011-09-28 2015-05-19 Pelican Imaging Corporation Systems and methods for encoding structured light field image files
CN106225719A (zh) * 2016-08-04 2016-12-14 西安交通大学 一种符号阵列结构光编码图案的生成方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270386B2 (en) * 2013-06-24 2016-02-23 Intel Corporation Error detecting and correcting structured light patterns
CN104457607A (zh) * 2014-12-10 2015-03-25 东北大学 一种面向深度测量的沙漏码结构光的编解码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036928B2 (en) * 2011-09-28 2015-05-19 Pelican Imaging Corporation Systems and methods for encoding structured light field image files
CN103983213A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光编码方法及相关装置
CN104197861A (zh) * 2014-08-25 2014-12-10 深圳大学 基于结构光灰度向量的三维数字成像方法
CN106225719A (zh) * 2016-08-04 2016-12-14 西安交通大学 一种符号阵列结构光编码图案的生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUALIE JIANG.ETC: "A Robust Feature Detection Algorithm for the Binary Encoded Single-Shot Structured Light System", 《PROCEEDING OF THE IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993826A (zh) * 2019-03-26 2019-07-09 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN109993826B (zh) * 2019-03-26 2023-06-13 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN110557622A (zh) * 2019-09-03 2019-12-10 歌尔股份有限公司 基于结构光的深度信息获取方法及装置、设备及介质
CN110557622B (zh) * 2019-09-03 2021-04-02 歌尔光学科技有限公司 基于结构光的深度信息获取方法及装置、设备及介质
US20220364853A1 (en) * 2019-10-24 2022-11-17 Shining 3D Tech Co., Ltd. Three-Dimensional Scanner and Three-Dimensional Scanning Method
CN110926370A (zh) * 2019-11-12 2020-03-27 季华实验室 测量方法和系统
CN110926370B (zh) * 2019-11-12 2021-10-29 季华实验室 测量方法和系统
CN113405461A (zh) * 2021-04-23 2021-09-17 封泽希 用于深度检测的结构光编码、解码方法及编码、解码装置
CN113188453A (zh) * 2021-04-30 2021-07-30 东北电力大学 一种用于膜结构非接触位移、应变测量的散斑产生装置
CN113188453B (zh) * 2021-04-30 2022-11-01 东北电力大学 一种用于膜结构非接触位移、应变测量的散斑产生装置
CN115082621A (zh) * 2022-06-21 2022-09-20 中国科学院半导体研究所 一种三维成像方法、装置、系统、电子设备及存储介质
CN115082621B (zh) * 2022-06-21 2023-01-31 中国科学院半导体研究所 一种三维成像方法、装置、系统、电子设备及存储介质

Also Published As

Publication number Publication date
WO2018219156A1 (zh) 2018-12-06

Similar Documents

Publication Publication Date Title
CN108986177A (zh) 结构光编码方法、装置及终端设备
US10902668B2 (en) 3D geometric modeling and 3D video content creation
CN106796661B (zh) 投影光图案的系统、方法和计算机程序产品
Lanman et al. Build your own 3D scanner: 3D photography for beginners
US8837812B2 (en) Image processing device, image processing method, and program
JP4473136B2 (ja) 局所的独自パターンを使用した能動的ステレオ技術による3次元画像の取得
US7146036B2 (en) Multiframe correspondence estimation
CN104677308B (zh) 一种高频二值条纹的三维扫描方法
CN104541127B (zh) 图像处理系统以及图像处理方法
US20040222987A1 (en) Multiframe image processing
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
CN107036556A (zh) 基于分段量化相位编码的结构光三维测量方法
AU2010257224B2 (en) Block patterns as two-dimensional ruler
CN108122254A (zh) 基于结构光的三维图像重建方法、装置及存储介质
CN105157614B (zh) 基于二值相移图案的三维测量方法
WO2018013226A1 (en) Object reconstruction in disparity maps using displaced shadow outlines
CN109993826A (zh) 一种结构光三维图像重建方法、设备及系统
CN104697468B (zh) 基于倾斜相位编码条纹的光学三维测量方法
Chang Efficient dense correspondences using temporally encoded light patterns
Lanman et al. Build your own 3D scanner: optical triangulation for beginners
WO2024032668A1 (zh) 三维重建方法及装置、系统
WO2024032666A1 (zh) 三维重建方法及装置、系统
CN105096314A (zh) 基于二值网格模板的结构光动态场景深度获取方法
Cheng et al. 3D object scanning system by coded structured light
Li et al. Principal observation ray calibration for tiled-lens-array integral imaging display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication