CN111947601B - 一种灰度伪随机编码结构光条纹的投影解算方法 - Google Patents

一种灰度伪随机编码结构光条纹的投影解算方法 Download PDF

Info

Publication number
CN111947601B
CN111947601B CN202010806411.5A CN202010806411A CN111947601B CN 111947601 B CN111947601 B CN 111947601B CN 202010806411 A CN202010806411 A CN 202010806411A CN 111947601 B CN111947601 B CN 111947601B
Authority
CN
China
Prior art keywords
gray
grid
pseudo
random
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010806411.5A
Other languages
English (en)
Other versions
CN111947601A (zh
Inventor
庄宏伟
吴东岷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
ShanghaiTech University
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS, ShanghaiTech University filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN202010806411.5A priority Critical patent/CN111947601B/zh
Publication of CN111947601A publication Critical patent/CN111947601A/zh
Application granted granted Critical
Publication of CN111947601B publication Critical patent/CN111947601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种灰度伪随机编码结构光条纹的投影解算方法。本发明优点在于本方法采用了伪随机序列编码的灰度结构光，使其个人生物信息安全性能相对于普通结构光方法具有大幅提升，并提出了相应的增强识别率的方法，从而提高特征点的识别度，对各种情况下的投影不良情况在重建上有较好的鲁棒性，整体算法从编码生成到增强识别均可利用FPGA加速计算，并可将算法采用卷积神经网络的方法进行简化，具有良好的性质。

Description

一种灰度伪随机编码结构光条纹的投影解算方法
技术领域
本发明涉及一种灰度伪随机编码结构光条纹的投影解算方法，属于投影测量领域。
背景技术
主动光投制中单目视觉法或双目视觉法，均是利用了视差和深度的线性函数关系，利用三角测量原理得到深度信息。而这种方法面临着诸多挑战，比如由于投影设备产生的虚焦，散斑等问题，比如由物体表面形貌造成的截断嵌合问题，或者采用彩色调制则失去了物体的色彩信息，固定条纹带来的安全隐患等，因此都具有较大的而局限性。
发明内容
本发明要解决的技术问题是现有单目视觉法或双目视觉法的局限性。
为了解决上述技术问题，本发明的技术方案是提供了一种灰度伪随机编码结构光条纹的投影解算方法。本发明优点在于本方法采用了伪随机序列编码的灰度结构光，使其个人生物信息安全性能相对于普通结构光方法具有大幅提升，并提出了相应的增强识别率的方法，从而提高特征点的识别度，对各种情况下的投影不良情况在重建上有较好的鲁棒性，整体算法从编码生成到增强识别均可利用FPGA加速计算，并可将算法采用卷积神经网络的方法进行简化，具有良好的性质。
附图说明
图1为M×N的黑白图P1；
图2为由黑白图P1横纵各偏移半个格子后翻转生成的黑白图P2；
图3为线性反馈移位寄存器(LFSR)示意图；其中，D代表寄存器的状态，Qn代表输出状态，gn代表反馈，CLK指的的是时钟信号；
图4为折叠方法示意图；其中，an代表的的是序列中第n个二进制数字，该图表示的是从一维序列到二维序列的折叠。
具体实施方式
为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
实施例
本发明方法步骤如下：
S1设定预备生成结构光图样尺寸M×N,且M>N,M为奇数，N为偶数。若相机和投影仪的单位分辨能力分别为a和b，为了防止信号的混叠，工程实践上应选取a>>2.56b>6.56M(等尺寸比下)。
S2生成M×N的黑白图P1，P1的起始格子作为明格，如图1所示。
S3生成M×N的黑白图P2，P2是由P1横纵各偏移半个格子后翻转生成的。
S4生成伪随机二进制矩阵(Pseudo-Random Binary Array，PRBA)(Pseudo-randomsequences and arrays in Proceedings of the IEEE 64(12):1715-1729)，原始多项式采用2n方法:2n-1＝2pq-1＝m1n1,m1＝2p-1可以生成伪随机图样P3，其中，n是寄存器的单元数量，图三中D表示寄存器，p、q分别表示滑动子窗口的长和宽，m1、n1是整个图片的尺寸。该方法具有极高的安全性，每次都可以随机产生不同的序列，难以直接反向计算。满足在m1*n1的图像中，每个p*q的窗口任意滑动序列均无关，此矩阵可以直接采用特定的线性反馈移位寄存器(LFSR)产生，并采用对角折叠法。但应避免输入全0的状态进入寄存器以防进入禁止态。
S5对图像进行极限矫正和高斯滤波后，将左右双目相机或单目相机获得的棋盘格进行阈值处理，对P1每个格子的分区，都存在灰度的翻转，可以简单利用此时的两次灰度值均值为阈值进行阈值化处理为二值图像。对每个格子内灰度的处理，一定程度上避免了图像条纹颜色反射率或投影散斑等因素对灰度的影响。如果已知该相机的CMOS的亮度—灰度压缩映射曲线f，也可简单由查表法计算出分割灰度的阈值。
Figure BDA0002629283530000021
其中，I表示图像灰度，i、j分别表示行、列，f-1表示灰度压缩映射曲线的反函数；S1、S2、S4分别对应步骤S1、S2、S4中图像。
S6对棋盘格照片和随机编码二值化后的图像采用梯度算子提取网格边界，用形态学算子进行扩张和溶蚀以保证连续性，同时提取Harris角点坐标。
S7利用滑动窗口法计算每个格子几何中心的视差，并计算出格点深度估计h2i2j(即每相隔角点深度信息估计)。在计算过程中的几何约束直接采用棋盘格的边界，当边界不连续时，超过边界的部分数据不读取，只读取边界内的进行欠匹配，在设计冗余的情况下能满足在基线上即使只读取部分数据也能成功匹配。
S8射影几何满足二次曲线关系，为了简化计算以避免微分流形，计算在估计深度h2i2j下代入射影矩阵计算角点重投影误差并估计角点法向nij。(可省略，提高成型外观)。
S9在最小化重投影误差的条件下利用角点法向nij和深度估计h2i2j迭代内插出较为光滑的物体曲面。
本发明方法整体满足可利用梯度下降算法，故可使用各种卷积神经网络进行训练。

Claims (2)

1.一种灰度伪随机编码结构光条纹的投影解算方法，其特征在于，包括以下步骤：
步骤一，设定预备生成结构光图样尺寸M×N，且M＞N，M为奇数，N为偶数；
步骤二、生成M×N的黑白图P1，P1的起始格子作为明格；
步骤三、生成M×N的黑白图P2，P2是由P1横纵各偏移半个格子后翻转生成的；
步骤四、生成伪随机二进制矩阵，从而生成伪随机图样P3；
步骤五、对图像进行极限矫正和高斯滤波后，将左右双目相机或单目相机获得的棋盘格进行阈值处理；
步骤六、对棋盘格照片和随机编码二值化后的图像采用梯度算子提取网格边界，用形态学算子进行扩张和溶蚀以保证连续性，同时提取Harris角点坐标；
步骤七、利用滑动窗口法计算每个格子几何中心的视差，并计算出格点深度估计值h2i2j；
步骤八、计算深度估计值 h2i2j下代入射影矩阵计算角点重投影误差并估计角点法向nij；
步骤九、在最小化重投影误差的条件下利用角点法向nij和深度估计值 h2i2j迭代内插出较为光滑的物体曲面。
2.根据权利要求1所述的一种灰度伪随机编码结构光条纹的投影解算方法，所述步骤五中，若P1每个格子的分区，都存在灰度的翻转，可以简单利用此时的两次灰度值均值为阈值进行阈值化处理为二值图像；若已知该相机的CMOS的亮度-灰度压缩映射曲线f，也可简单由查表法计算出分割灰度的阈值。
CN202010806411.5A 2020-08-12 2020-08-12 一种灰度伪随机编码结构光条纹的投影解算方法 Active CN111947601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010806411.5A CN111947601B (zh) 2020-08-12 2020-08-12 一种灰度伪随机编码结构光条纹的投影解算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010806411.5A CN111947601B (zh) 2020-08-12 2020-08-12 一种灰度伪随机编码结构光条纹的投影解算方法

Publications (2)

Publication Number Publication Date
CN111947601A CN111947601A (zh) 2020-11-17
CN111947601B true CN111947601B (zh) 2021-11-12

Family

ID=73332803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010806411.5A Active CN111947601B (zh) 2020-08-12 2020-08-12 一种灰度伪随机编码结构光条纹的投影解算方法

Country Status (1)

Country Link
CN (1) CN111947601B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188450B (zh) * 2021-04-23 2023-03-14 封泽希 基于结构光的场景深度检测方法及系统
CN113405461B (zh) * 2021-04-23 2023-03-21 封泽希 用于深度检测的结构光编码、解码方法及编码、解码装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100496132C (zh) * 2007-05-09 2009-06-03 宁波大学 一种对医学灰度图像信号进行伪彩色处理的方法
CN101806587B (zh) * 2010-04-29 2012-12-12 浙江师范大学 一种采用绝对相位测量的光学三维测量方法
US9157733B2 (en) * 2010-09-10 2015-10-13 Dimensional Photonics International, Inc. Method of data acquisition for three-dimensional imaging
CN107102503A (zh) * 2016-02-19 2017-08-29 中国科学院苏州纳米技术与纳米仿生研究所 消除激光散斑的光源系统以及投影装置
CN107657646B (zh) * 2017-09-22 2021-05-07 武汉中观自动化科技有限公司 一种半伪随机编码图案及其生成方法和系统
CN109191562B (zh) * 2018-07-15 2022-10-25 黑龙江科技大学 基于彩色伪随机编码结构光的三维重建方法

Also Published As

Publication number Publication date
CN111947601A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
Alperovich et al. Light field intrinsics with a deep encoder-decoder network
Anderson et al. Color photometric stereo for multicolored surfaces
CN110070598B (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN111947601B (zh) 一种灰度伪随机编码结构光条纹的投影解算方法
US20110170784A1 (en) Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
JP2019105634A (ja) 構造化された光ベースの３ｄカメラシステムにおけるイメージの奥行の推定方法
CN113284251A (zh) 一种自适应视角的级联网络三维重建方法及系统
CN115908705A (zh) 一种基于特殊编码的三维成像方法及装置
CN105551001A (zh) 一种图像重建方法、装置及设备
Wang et al. Occlusion-aware light field depth estimation with view attention
Du et al. Binocular Photometric Stereo.
Zhou et al. Learning to detect 3D reflection symmetry for single-view reconstruction
CN116385653B (zh) 一种基于单目高频条纹的三维成像自监督方法及装置
CN114862866B (zh) 标定板的检测方法、装置、计算机设备和存储介质
Bapat et al. An iterative, non-local approach for restoring depth maps in RGB-D images
CN111310916B (zh) 一种区分左右眼图片的深度系统训练方法及系统
Kim et al. Real-time stereo matching using extended binary weighted aggregation
Liu et al. DCM-CNN: Densely connected multiloss convolutional neural networks for light field view synthesis
Bioucas-Dias et al. Discontinuity preserving phase unwrapping using graph cuts
CN114399599A (zh) 三维成像方法、装置、电子设备及计算机可读存储介质
Li et al. Improving resolution of 3D surface with convolutional neural networks
CN111429336A (zh) 鱼眼视频数据的处理方法和处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant