CN114485457A - 基于二值正交光栅的深度信息检测系统及方法 - Google Patents
基于二值正交光栅的深度信息检测系统及方法 Download PDFInfo
- Publication number
- CN114485457A CN114485457A CN202111682041.XA CN202111682041A CN114485457A CN 114485457 A CN114485457 A CN 114485457A CN 202111682041 A CN202111682041 A CN 202111682041A CN 114485457 A CN114485457 A CN 114485457A
- Authority
- CN
- China
- Prior art keywords
- orthogonal
- fringe
- grating
- modulation degree
- modulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 7
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 239000000835 fiber Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000001314 profilometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种基于二值正交光栅的深度信息检测系统、深度信息检测方法、深度信息检测装置及电子设备，涉及图像处理技术领域。系统包括：光源，二值正交光栅，投影透镜，柱状透镜，柱状透镜沿第一方向延伸，半反半透镜，采集相机；其中，投影透镜光轴与采集相机光轴利用半反半透镜实现共轴光路，二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像包括前端面正交条纹图像和后端面正交条纹图像，前端面正交条纹图像中沿第一方向的条纹聚焦、沿第二方向的条纹离焦，后端正交条纹图像中沿第一方向的条纹离焦、沿第二方向的条纹聚焦。本申请可以基于二值正交光栅的深度信息检测系统实现对物体深度的测量，可以提高运算速度节省能耗。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种基于二值正交光栅的深度信息检测系统、方法、装置及电子设备。
背景技术
随着科技的发展，在某些图像显示场景中，二维图像已经不能满足人们的需要。而三维立体图像因比二维图像多了深度信息而更加真实且准确，在日常生活中，对三维场景的使用愈加普遍，例如人脸支付、体感游戏、AR购物等。
在三维场景下，需要获取图像的深度信息，而现有的获取图像的深度信息的方式计算量大，计算耗时。
发明内容
鉴于于此，本申请提出了一种基于二值正交光栅的深度信息检测系统、方法、装置及电子设备，以改善上述问题。
第一方面，本申请实施例提供了一种基于二值正交光栅的深度信息检测系统，所述系统包括光源，二值正交光栅，投影透镜，柱状透镜，以及半反半透镜，其中，所述柱状透镜沿第一方向延伸，所述投影透镜光轴与采集相机光轴利用半反半透镜实现共轴光路，所述二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像包括前端面正交条纹图像和后端面正交条纹图像，所述前端面正交条纹图像中沿第一方向的条纹聚焦、沿第二方向的条纹离焦，所述后端正交条纹图像中沿第一方向的条纹离焦、沿第二方向的条纹聚焦。
第二方面，本申请实施例提供了一种基于二值正交光栅的深度信息检测方法，所述方法包括：获取二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像；获取所述正交条纹图像对应的条纹调制度；根据所述条纹调制度获得所述物体的深度信息。
第三方面，本申请实施例提供了一种深度信息检测装置，所述装置包括：图像获取单元，获取二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像；调制度获取单元，用于获取所述正交条纹图像对应的条纹调制度；深度获取单元，用于根据所述条纹调制度获得所述物体的深度信息。
第四方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述的方法。
本申请提供的一种基于二值正交光栅的深度信息检测系统、深度信息检测方法、装置，通过获取二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像；获取所述正交条纹图像对应的条纹调制度；根据所述条纹调制度获得所述物体的深度信息，可以快速的实现对物体深度的检测，避免计算量大、计算耗时，从而提高了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的深度信息检测系统的示意图。
图2示出了本申请实施例提供的基于二值正交光栅的深度信息检测方法的流程示意图。
图3示出了本申请实施例提供的基于二值正交光栅的深度信息检测方法的流程示意图。
图4示出了本申请实施例提供的二维三角形波在二维空间上为锯齿形的金字塔波的示意图。
图5示出了本申请实施例提供的将正交光栅二维分布与二维三角形波进行比较生成的二值化正交光栅的示意图。
图6示出了本申请实施例提供的模拟离焦后光栅的示意图。
图7示出了本申请实施例提供的获取正交条纹图像对应的条纹调制度的流程示意图。
图8示出了本申请实施例提供的深度与调制度的映射关系的标定示意图。
图9示出了本申请实施例提供的正交条纹进行傅里叶变的频谱图。
图10示出了本申请实施例提供的水平和竖直的各自方向的调制曲线的示意图。
图11示出了本申请实施例提供的基于水平调制曲线和竖直调制曲线计算后的调制曲线的示意图。
图12示出了本申请实施例提供的利用映射表获取采回图像每个像素对应的深度值，获取的整幅图像的深度分布图。
图13示出了本申请实施例提供的深度信息检测装置的功能模块图。
图14示出了本申请实施例提供的电子设备的结构框图。
图15示出了本申请实施例的用于保存或者携带实现根据本申请实施例的深度信息检测方法的程序代码的存储介质。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
调制度测量轮廓术可以通过条纹分析法从相机采集回来的投影条纹图样中获取调制度以实现对深度进行探测，其特征为投影仪投影光轴与采集相机光轴利用半反半透镜实现共轴光路，其原理在于条纹信息中的调制度直接表征了条纹的清晰程度，而条纹的成像清晰程度与深度相关，利用调制度与空间深度的映射关系，可以实现对物体深度的探测。
图1示出了本申请实施例提供的基于二值正交光栅的深度信息检测系统的结构示意图。
该系统10包括：光源110，二值正交光栅120，投影透镜130，柱状透镜140，半反半透镜150以及采集相机160。其中，柱状透镜140沿第一方向(图1中的Y方向，也就是竖直方向)延伸，所述投影透镜130光轴与采集相机160光轴利用半反半透镜150实现共轴光路。
二值正交光栅120经过投影透镜130成像到实物空间中，为实现较为鲁棒的测量，利用柱状透镜140结合投影透镜130实现在成像空间中实现水平竖直两个方向的两个分离焦面投影，之后采集相机160通过半反半透镜150采集沿投影光路反射回来的图像。
图1中p1为柱状透镜140焦面，柱状透镜特性在于只在一个方向上有聚焦效果，图1中p1面利用柱状透镜上述特性实现了竖直方向条纹的聚焦。可以理解为，柱状透镜140对竖直方向的光路有聚焦作用，对其他方向的光路不产生聚焦作用。
图1中p2面为待测量深度范围中间位置的一个平面，在这个平面水平条纹和竖直条纹都有聚焦作用，但是聚焦能力不是很强，对应的条纹也不够清晰，此时可以设定此种情况对应的是待测量深度范围的中间值。
图1中p3面为投影透镜130的聚焦面，实现了水平方向条纹的投影聚焦。可以理解为，投影透镜130对水平方向的光路有聚焦作用，对其他方向的光路不产生聚焦作用。
当投影的二值正交光栅120经过示意光路，在p1到p3的深度范围呈现竖直条纹与水平条纹分离聚焦的成像效果，例如在p1面竖直条纹聚焦，成像清晰，水平条纹离焦，成像模糊，即从竖直条纹中计算得到的调制度值大，水平条纹中计算得到的调制度值小，此时水平条纹对应的调制度值可以忽略不计。
而在p3面则相反，水平条纹聚焦，成像清晰，竖直条纹离焦，成像模糊，即从水平条纹中计算得到的调制度值大，竖直条纹中计算得到的调制度值小，此时竖直条纹对应的调制度值可以忽略不计。
在p2面则不同于p1和p3，在p2面水平条纹离焦，成像模糊，竖直条纹离焦，成像也模糊。在这个平面无论是水平条纹还是竖直条纹都有离焦的现象。对应的水平条纹和竖直也不够清晰，此时可以设定此种情况测得的是待测量深度范围的中间值。
图1中代表水平方向的调制度曲线C1反映了沿深度方向不同平面位置的水平条纹调制度值变化，表征了其由模糊到清晰的过程，代表竖直方向的调制度曲线C2反映了竖直条纹的调制度值变化。最终这两条曲线可以合成一条调制度比曲线来增强算法鲁棒性。
在计算机科学中，鲁棒性(英语：Robustness)是指一个计算机系统在执行过程中处理错误，以及算法在遭遇输入、运算等异常时继续正常运行的能力。鲁棒性关注的重点在于系统的稳定性，在不同场景下衍生了复杂的设计考量，且本身是一个广泛且难以具像化的特性。
在本申请实施例中，所述二值正交光栅120投影在物体表面并通过柱状透镜140双焦点成像后形成的正交条纹图像包括前端面正交条纹图像和后端面正交条纹图像，所述前端面正交条纹图像中沿第一方向(图1中的竖直方向)的条纹聚焦、沿第二方向(图1中的水平方向)的条纹离焦，所述后端正交条纹图像中沿第一方向的条纹离焦、沿第二方向的条纹聚焦。
作为一种实施方式，首先启动光源110，在光源110的照射下，二值正交光栅120在待测物体上的投影经过投影透镜130成像到实物空间中。为实现较为鲁棒的测量，利用柱状透镜140结合投影透镜130实现在成像空间中实现水平竖直两个方向的两个分离焦面投影，之后相机通过半反半透镜采集沿投影光路反射回来的图像。相机所拍到的图片包含竖直和水平两个方向的图像。
如图2示出了本申请实施例提供的基于二值正交光栅的深度信息检测方法的示意图，应用于上述基于二值正交光栅的三维测量的系统。该方法包括：S110至S130，该方法的执行主体可以是电子设备。
S110，获取二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像。
电子设备可以获取采集相机160采集的正交条纹图像，该正交条纹图像是由二值正交光栅投影在物体表面，通过柱状透镜140及半反半透镜150后被采集相机160采集到的。
请参照图3，其中，二值正交光栅通过以下步骤获得：
S111，获取正交光栅的二维分布；
S112，将所述正交光栅的二维分布与二维三角形波进行比较；
S113，将高于二维三角形波部分的值设为第一数值，其余部分的值设为第二数值，得到二值正交光栅，所述第一数值大于第二数值。
其中，所述第一数值可以为1，所述第二数值可以为0。
在本申请实施例中，所述二值正交光栅还可以为离焦后的二值正焦光栅。
在二值正交光栅投影过程中，投影二值化的条纹可以极大提高投影速度，同时利用离焦可以获取其滤除高频分量保留基频信息，适于应用到调制度投影测量中。
对正交光栅的spwm(正弦脉冲宽度调制)法是将调制方法扩展为二维，在二维空间内，将正交光栅二维分布与二维三角形波进行比较，如图4所示。
正交光栅二维分布与二维三角形波进行比较进一步生成的二值化正交光栅如图5所示。
二值化的正交光栅也可以保留原正交光栅大部分信息，离焦之后可以得到较理想的正交光栅。模拟离焦后光栅如图6所示。
上述过程中生成的二值化正交条纹可以应用到本申请中，实现高速投影，在其他实施例中还可以利用π相移的投影两帧二值正交条纹实现更高精度的测量。其中，π相移指的是π相移光纤光栅(π-phase shifted fiber Bragg grating,π-PSFBG)是一种特殊结构的光纤光栅，其纤芯折射率调制在某位置存在π相位突变，广泛应用于分布式反馈激光器、全光开关、高精度传感等领域，其中一项较为重要的应用是作为窄带滤波器件用于窄线宽光纤激光器中。
S120，获取所述正交条纹图像对应的条纹调制度。
得到正交条纹图像后，就可以根据正交条纹图像获得与其对应的条纹调制度，请参照图7，条纹调制度可以通过以下步骤获得：S121至S123。
S121，获取所述正交条纹图像中沿第一方向延伸的条纹的调制度值，作为第一调制度。
S122，获取所述正交条纹图像中沿第二方向延伸的条纹的调制度值，作为第二调制度，所述第二方向垂直于所述第一方向。
S123，计算所述第一调制度和第二调制度的调制度比，作为所述正交条纹图像对应的条纹调制度。
在本申请实施例中，第一方向可以是竖直方向，第二方向可以是水平方向。
S130，根据所述条纹调制度获得所述物体的深度信息。
可以获取预先建立的深度与调制度的映射关系，根据所述条纹调制度查找所述映射关系，获得与所述条纹调制度对应的映射关系。
作为一种实施方式，图8示出了本申请实施例提供的深度与调制度的映射关系的标定示意图。
示例性地，通过深度标定实现深度与调制度值的映射关系。可以理解为事先建立深度与调制度值的对照表。该表中每一个深度与每一个调制度值可以是一一对应的关系。在获得调制度值的时候，通过查表即可获得相应的深度值。
可以将测量深度范围均匀等分为N个测试平面，每个测试平面投影单张二值正交光栅；采集正交条纹图像并进行傅里叶变换，获取与所述正交条纹图像对应的频谱图；滤出第一方向和第二方向的基频，进行逆傅里叶变换；对逆傅里叶变换后的分量求模，得到对应条纹分量的调制度。
作为一种实施方式，如图9示出了本申请实施例提供的正交条纹进行傅里叶变的频谱图。
示例性地，将测量深度范围均匀等分为N个平面，每个测试平面投影单张正交条纹，采集回正交条纹并进行傅里叶变换获取其频谱图。图5中“(a)、(b)、(c)”分别对应采集回来的正交条纹图样。“(d)、(e)、(f)”分别对应采集回来“(a)、(b)、(c)”中的正交条纹图样。
对应滤出水平、竖直两个方向基频，进行逆傅里叶变换之后对其变换后的分量求模，即可得到对应条纹分量的调制度值。
图像某像素沿深度方向水平条纹计算的调制度分布和竖直条纹算得的调制度分布如图10所示。
水平和竖直的两条调制度曲线由公式：
计算出MR的调制度，将所有的MR的调制度值标记在坐标轴上，可以合成一条调制度比曲线，如图11所示。其中Mv指的是竖直方向条纹计算的调制度值，Mh指的是水平方向上计算的调制度值，MR是利用上述公式计算的调制度值。
在获取各个平面的MR调制度值后，可以在坐标轴上合成一条调制度比曲线。
可以通过调制度比与深度的曲线关系拟合曲线参数，建立映射表。即可实现调制度值与深度的对应关系建立。
作为一种实施方式，投影二值正交光栅到物体表面，采集正交条纹图，获取水平方向条纹和竖直方向条纹的调制度值，计算调制度比，通过查找事先建立的映射表获取采回图像每个像素对应的深度值，将所有深度值进行汇总，通过电子设备分析即可获取整幅图像的深度分布。所获取的整幅图像的深度分布图如图12所示。
在上述实施例中，二值正交光栅投影过程中，投影二值化的条纹可以极大提高投影速度，同时利用可以进一步利用离焦获取其滤除高频分量保留基频信息，适于应用到调制度投影测量中，提高测量速度节省能耗。
本申请实施例还提供了一种深度信息检测装置400。请参见图13，该装置400包括：图像获取单元410、调制度获取单元420和深度获取单元430。
图像获取单元410，用于获取二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像。
进一步，图像获取单元410还用于获取正交光栅的二维分布；将所述正交光栅的二维分布与二维三角形波进行比较；将高于二维三角形波部分的值设为第一数值，其余部分的值设为第二数值，得到二值正交光栅，所述第一数值大于第二数值。所述第一数值可以为1，所述第二数值可以为0。所述二值正交光栅为离焦后的二值正焦光栅。
调制度获取单元420，用于获取所述正交条纹图像对应的条纹调制度。
进一步，调制度获取单元420还用于获取所述正交条纹图像中沿第一方向延伸的条纹的调制度值，作为第一调制度；获取所述正交条纹图像中沿第二方向延伸的条纹的调制度值，作为第二调制度，所述第二方向垂直于所述第一方向；计算所述第一调制度和第二调制度的调制度比，作为所述正交条纹图像对应的条纹调制度。
深度获取单元430，用于根据所述条纹调制度获得所述物体的深度信息。进一步，深度获取单元430还用于获取预先建立的深度与调制度的映射关系；根据所述条纹调制度查找所述映射关系，获得与所述条纹调制度对应的映射关系。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图14，其示出了本申请实施例提供的一种电子设备600的结构框图。该电子设备600可以是台式机、手机、平板电脑、可穿戴电子设备等能够进行深度信息识别的电子设备。该电子设备包括处理器610以及存储器620，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述一个或多个实施例所描述的方法。
处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。
存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集，如用于实现本申请实施例提供的深度信息检测方法的指令或代码集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
可选的，该电子设备还可以包括投影单元用于投射二值正交光栅图案；包括图像采集单元，用于采集投影单元投射形成的图像。
请参考图15，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于二值正交光栅的深度信息检测系统，其特征在于，所述系统包括光源，二值正交光栅，投影透镜，柱状透镜，半反半透镜，以及采集相机；其中，所述柱状透镜沿第一方向延伸，所述投影透镜光轴与采集相机光轴利用半反半透镜实现共轴光路，所述二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像包括前端面正交条纹图像和后端面正交条纹图像，所述前端面正交条纹图像中沿第一方向的条纹聚焦、沿第二方向的条纹离焦，所述后端正交条纹图像中沿第一方向的条纹离焦、沿第二方向的条纹聚焦。
2.一种基于二值正交光栅的深度信息检测方法，其特征在于，应用于如权利要求1所述的系统，所述方法包括：
获取二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像；
获取所述正交条纹图像对应的条纹调制度；
根据所述条纹调制度获得所述物体的深度信息。
3.根据权利要求2所述的方法，其特征在于，所述柱状透镜的轴沿第一方向延伸，所述获取所述正交条纹图像对应的条纹调制度，包括：
获取所述正交条纹图像中沿第一方向延伸的条纹的调制度值，作为第一调制度；
获取所述正交条纹图像中沿第二方向延伸的条纹的调制度值，作为第二调制度，所述第二方向垂直于所述第一方向；
计算所述第一调制度和第二调制度的调制度比，作为所述正交条纹图像对应的条纹调制度。
4.根据权利要求2所述的方法，其特征在于，所述二值正交光栅通过以下步骤获得：
获取正交光栅的二维分布；
将所述正交光栅的二维分布与二维三角形波进行比较；
将高于二维三角形波部分的值设为第一数值，其余部分的值设为第二数值，得到二值正交光栅，所述第一数值大于第二数值。
5.根据权利要求4所述的方法，其特征在于，所述第一数值为1，所述第二数值为0。
6.根据权利要求4或5所述的方法，其特征在于，所述二值正交光栅为离焦后的二值正交光栅。
7.根据权利要求2所述的方法，其特征在于，所述根据所述条纹调制度获得深度信息包括：
获取预先建立的深度与调制度的映射关系；
根据所述条纹调制度查找所述映射关系，获得与所述条纹调制度对应的映射关系。
8.根据权利要求7所述的方法，其特征在于，所述深度与调制度的映射关系通过以下步骤建立：
将测量深度范围均匀等分为N个测试平面，每个测试平面投影单张正交条纹；
采集正交条纹并进行傅里叶变换，获取与所述正交条纹对应的频谱图；
滤出第一方向和第二方向的基频，进行逆傅里叶变换；
对逆傅里叶变换后的分量求模，得到对应条纹分量的调制度。
9.一种深度信息检测装置，其特征在于，所述装置包括：
图像获取单元，获取二值正交光栅投影在物体表面并通过柱状透镜双焦点成像后形成的正交条纹图像；
调制度获取单元，用于获取所述正交条纹图像对应的条纹调制度；
深度获取单元，用于根据所述条纹调制度获得所述物体的深度信息。
10.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行如权利要求2-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111682041.XA CN114485457B (zh) | 2021-12-31 | 2021-12-31 | 基于二值正交光栅的深度信息检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111682041.XA CN114485457B (zh) | 2021-12-31 | 2021-12-31 | 基于二值正交光栅的深度信息检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114485457A true CN114485457A (zh) | 2022-05-13 |
| CN114485457B CN114485457B (zh) | 2024-05-10 |
Family
ID=81509697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111682041.XA Active CN114485457B (zh) | 2021-12-31 | 2021-12-31 | 基于二值正交光栅的深度信息检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114485457B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0400555A2 (en) * | 1989-05-30 | 1990-12-05 | Canon Kabushiki Kaisha | An image forming apparatus |
| JPH07184051A (ja) * | 1993-09-30 | 1995-07-21 | Fuji Xerox Co Ltd | 画像処理装置 |
| RU2094954C1 (ru) * | 1996-05-28 | 1997-10-27 | Петр Иванович Ивашкин | Устройство для формирования изображения на большом экране |
| US6674893B1 (en) * | 1999-10-19 | 2004-01-06 | Fuji Xerox Co., Ltd. | Three-dimensional shape measuring apparatus |
| US20040263979A1 (en) * | 2001-12-17 | 2004-12-30 | Kazumi Kimura | Optical elements and scanning optical system having the same and image forming apparatus |
| CN102519393A (zh) * | 2011-11-15 | 2012-06-27 | 四川大学 | 用两个正交正弦光栅实现快速调制度测量轮廓术的方法 |
| CN104501741A (zh) * | 2014-12-22 | 2015-04-08 | 四川大学 | 一种用于三维面形测量的正交光栅相移方法 |
| CN104655051A (zh) * | 2014-12-29 | 2015-05-27 | 四川大学 | 一种高速结构光三维面形垂直测量方法 |
| CN105841618A (zh) * | 2016-06-08 | 2016-08-10 | 杭州汉振科技有限公司 | 二维三维复合式测量仪及其数据融合标定方法 |
| JP2017116925A (ja) * | 2015-12-17 | 2017-06-29 | アストロデザイン株式会社 | 光学的距離計測装置 |
| CN110047100A (zh) * | 2019-04-01 | 2019-07-23 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及系统 |
| CN110375673A (zh) * | 2019-07-01 | 2019-10-25 | 武汉斌果科技有限公司 | 一种基于多焦投影系统的大景深二值离焦三维测量方法 |
| CN111156927A (zh) * | 2020-01-06 | 2020-05-15 | 南昌航空大学 | 一种基于正弦脉宽调制条纹的镜面物体三维测量方法 |
| CN111649691A (zh) * | 2020-03-06 | 2020-09-11 | 福州大学 | 基于单像素探测器的数字条纹投影三维成像系统及方法 |
| US20210021799A1 (en) * | 2019-07-17 | 2021-01-21 | Beijing Institute Of Technology | Three-dimensional computational imaging method and apparatus based on single-pixel sensor, and non-transitory computer-readable storage medium |
-
2021
- 2021-12-31 CN CN202111682041.XA patent/CN114485457B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0400555A2 (en) * | 1989-05-30 | 1990-12-05 | Canon Kabushiki Kaisha | An image forming apparatus |
| JPH07184051A (ja) * | 1993-09-30 | 1995-07-21 | Fuji Xerox Co Ltd | 画像処理装置 |
| RU2094954C1 (ru) * | 1996-05-28 | 1997-10-27 | Петр Иванович Ивашкин | Устройство для формирования изображения на большом экране |
| US6674893B1 (en) * | 1999-10-19 | 2004-01-06 | Fuji Xerox Co., Ltd. | Three-dimensional shape measuring apparatus |
| US20040263979A1 (en) * | 2001-12-17 | 2004-12-30 | Kazumi Kimura | Optical elements and scanning optical system having the same and image forming apparatus |
| CN102519393A (zh) * | 2011-11-15 | 2012-06-27 | 四川大学 | 用两个正交正弦光栅实现快速调制度测量轮廓术的方法 |
| CN104501741A (zh) * | 2014-12-22 | 2015-04-08 | 四川大学 | 一种用于三维面形测量的正交光栅相移方法 |
| CN104655051A (zh) * | 2014-12-29 | 2015-05-27 | 四川大学 | 一种高速结构光三维面形垂直测量方法 |
| JP2017116925A (ja) * | 2015-12-17 | 2017-06-29 | アストロデザイン株式会社 | 光学的距離計測装置 |
| CN105841618A (zh) * | 2016-06-08 | 2016-08-10 | 杭州汉振科技有限公司 | 二维三维复合式测量仪及其数据融合标定方法 |
| CN110047100A (zh) * | 2019-04-01 | 2019-07-23 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及系统 |
| CN110375673A (zh) * | 2019-07-01 | 2019-10-25 | 武汉斌果科技有限公司 | 一种基于多焦投影系统的大景深二值离焦三维测量方法 |
| US20210021799A1 (en) * | 2019-07-17 | 2021-01-21 | Beijing Institute Of Technology | Three-dimensional computational imaging method and apparatus based on single-pixel sensor, and non-transitory computer-readable storage medium |
| CN111156927A (zh) * | 2020-01-06 | 2020-05-15 | 南昌航空大学 | 一种基于正弦脉宽调制条纹的镜面物体三维测量方法 |
| CN111649691A (zh) * | 2020-03-06 | 2020-09-11 | 福州大学 | 基于单像素探测器的数字条纹投影三维成像系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| MINGTENG LU 等: "Modulation measuring profilometry with cross grating projection and single shot for dynamic 3D shape measurement", 《OPTICS AND LASERS IN ENGINEERING》, vol. 87, pages 103 - 110, XP029721397, DOI: 10.1016/j.optlaseng.2015.12.011 * |
| 卢明腾 等: "基于相移与调制度比的结构光三维面形垂直测量方法", 《中国激光》, vol. 46, no. 7, pages 176 - 184 * |
| 张韶越 等: "基于区域调制相移模板的高精度三维结构光重建", 现代机械, no. 06, 28 December 2019 (2019-12-28), pages 43 - 48 * |
| 李代强 等: "基于FPGA的座舱仪表图形反走样技术研究", 计算机工程与应用, no. 02, 11 January 2006 (2006-01-11), pages 93 - 95 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114485457B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Accurate light field depth estimation with superpixel regularization over partially occluded regions | |
| JP5362087B2 (ja) | 距離情報を決定するための方法、距離マップを決定するための方法、コンピュータ装置、撮影システム、コンピュータプログラム | |
| Wang et al. | Occlusion-aware depth estimation using light-field cameras | |
| EP3101624B1 (en) | Image processing method and image processing device | |
| Zhang et al. | Projection defocus analysis for scene capture and image display | |
| US9117277B2 (en) | Determining a depth map from images of a scene | |
| US10957021B2 (en) | Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium | |
| Rajagopalan et al. | Space-variant approaches to recovery of depth from defocused images | |
| Sellent et al. | Optimized aperture shapes for depth estimation | |
| US11740076B2 (en) | Large-depth-range three-dimensional (3D) measurement method, system, and device based on phase fusion | |
| Liu et al. | Binocular light-field: Imaging theory and occlusion-robust depth perception application | |
| Javidnia et al. | Application of preconditioned alternating direction method of multipliers in depth from focal stack | |
| Hu et al. | UCRNet: Underwater color image restoration via a polarization-guided convolutional neural network | |
| Guo et al. | Fast and accurate 3D face reconstruction based on facial geometry constraints and fringe projection without phase unwrapping | |
| Wang et al. | Accurate 3D reconstruction of single-frame speckle-encoded textureless surfaces based on densely connected stereo matching network | |
| CN112085793A (zh) | 一种基于组合透镜组的三维成像扫描系统及点云配准方法 | |
| CN114485457A (zh) | 基于二值正交光栅的深度信息检测系统及方法 | |
| Wang et al. | Contour extraction of a laser stripe located on a microscope image from a stereo light microscope | |
| Chlubna et al. | Real-time per-pixel focusing method for light field rendering | |
| CN115345993A (zh) | 三维重建方法及装置、系统 | |
| de Oliveira et al. | On the performance of DIBR methods when using depth maps from state-of-the-art stereo matching algorithms | |
| KR20180061021A (ko) | 이미징 디바이스를 모델링하는 방법, 대응하는 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 캐리어 매체 | |
| CN111121663B (zh) | 物体三维形貌测量方法、系统和计算机可读存储介质 | |
| Buat et al. | Active chromatic depth from defocus for industrial inspection | |
| Liu et al. | Diffusion equation based parameterization of light field and computational imaging model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |