CN115290004A - 一种基于压缩感知与hsi的水下并行单像素成像方法 - Google Patents

一种基于压缩感知与hsi的水下并行单像素成像方法 Download PDF

Info

Publication number
CN115290004A
CN115290004A CN202211219783.3A CN202211219783A CN115290004A CN 115290004 A CN115290004 A CN 115290004A CN 202211219783 A CN202211219783 A CN 202211219783A CN 115290004 A CN115290004 A CN 115290004A
Authority
CN
China
Prior art keywords
camera
hadamard
pixel
pattern
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211219783.3A
Other languages
English (en)
Other versions
CN115290004B (zh
Inventor
韩静
于浩天
郑东亮
吕嫩晴
徐馨雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211219783.3A priority Critical patent/CN115290004B/zh
Publication of CN115290004A publication Critical patent/CN115290004A/zh
Application granted granted Critical
Publication of CN115290004B publication Critical patent/CN115290004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于压缩感知与HSI的水下并行单像素成像方法，包括：首先通过投影仪将压缩采样的哈达玛图案投射到水下的被测物体上，并通过相机捕获从被测物体表面反射的压缩采样图案；而后基于投射和捕获的压缩采样图案，利用压缩重构算法求解并定位相机单像素点的可观测区域；最后进一步投射周期性扩展模式图案，使用图像重构算法获取相机单像素点对应的场景反射率，建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。本发明在并行单像素成像法的基础上运用压缩感知进一步减少了数据采集时间，大大提高了单像素成像的测量效率，有利于促进单像素成像在水下3D测量领域的应用。

Description

一种基于压缩感知与HSI的水下并行单像素成像方法
技术领域
本发明涉及一种基于压缩感知与HSI的水下并行单像素成像方法，属于光学测量技术领域。
背景技术
水下三维（3D）测量在生态保护、考古碎片和海底重建等方面发挥着重要作用。因其具有非接触式和高精度的特性，光学测量是最有前途的水下3D测量技术之一。
光学测量主要包括干涉测量、飞行时间（ToF）技术和基于光学三角法的测量。基于光学三角法的方法可以分为被动和主动两类。被动式（即立体视觉）容易受到散射和吸收引起的光衰减影响，从而导致图像对应不准确并减少3D测量精度。主动式通过投射主动光来实现可靠的图像对应，从而为被测物体（尤其是水下目标）重建更准确的3D形状。传统上，有源光可以是激光条纹或结构化图案。基于激光条纹的测量可以实现精确的3D测量，但非常耗时。基于结构化图案的测量使用各种图案，例如：二值编码、正弦图案、灰色或混合图案等。
单像素成像（SI）作为一种全新的成像方式，相较于传统成像中全场一致的照明光源，其使用可控结构化照明光源向场景投射一系列基模式图案，同时使用不具有空间分辨率的光电探测器对叠加了基图案模式的场景进行拍摄。单像素探测器采集到的信号具有能量大、信噪比高的特点，特别适合于能量很弱的弱光信号探测，但是使用单像素探测器的传统SI存在分辨率低、重建尺寸有限等问题，难以实际应用于水下3D测量。
相比之下，使用像素化相机的SI能够以更高的效率实现高分辨率3D测量，因此提出了并行单像素成像（PSI），如：专利CN110264540B提出一种并行单像素成像方法，其采用基于傅里叶变换的单像素成像原理（FSI）来实现并行单像素成像方法，具体包括：首先，通过投射器投射正弦基图案模式并基于相机拍摄得到的图像，根据傅里叶切片原理对每个像素的观测区域定位；而后利用投射器投射一系列周期延拓正弦条纹图案模式，根据相机拍摄的条纹图像对每个像素进行并行单像素成像的图像重构算法，得到对应像素在投射器视角下的对应图像。
传统的单像素成像方法具有
Figure 104664DEST_PATH_IMAGE002
个未知系数，通常需要至少
Figure 300766DEST_PATH_IMAGE002
次测量才能完全采样场景。PSI通过投影具有小分辨率
Figure 673978DEST_PATH_IMAGE004
的周期性扩展模式来减少必要的未知系数，从而大幅提高成像效率。但是基于FSI实现的传统PSI使用傅里叶切片定理进行可见区域定位，该过程至少需要10分钟，这在水下3D测量的应用中仍然是难以接受的。
发明内容
发明目的：针对现有技术所存在的问题，本发明提供一种基于压缩感知与HSI的水下并行单像素成像方法，通过引入压缩感知技术与HSI，可以将定位阶段所需条纹的数量减少到傅里叶切片定理的10%，进一步减少数据采集时间，有效提高成像效率。
技术方案：为实现上述目的，本发明提供一种基于压缩感知与HSI的水下并行单像素成像方法，包括以下步骤：
步骤1：通过投影仪将压缩采样的哈达玛图案投射到水下的被测物体上，并通过相机捕获从被测物体表面反射的压缩采样图案；
步骤2：基于投射和捕获的压缩采样图案，利用压缩重构算法求解并定位相机单像素点的可观测区域；
步骤3：通过投影仪进一步投影周期性扩展模式图案，并通过相机捕获从被测物体表面反射的扩展模式图案；
步骤4：基于相机捕获的扩展模式图案，使用图像重构算法获取相机单像素点对应的场景反射率，建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。
进一步的，所述步骤1中哈达玛图案的调制过程具体包括：
步骤1.1：采用哈达玛矩阵构造出具有相互正交性质的投影调制信息
Figure 616657DEST_PATH_IMAGE006
，具体包括
Figure 962188DEST_PATH_IMAGE008
和
Figure 863279DEST_PATH_IMAGE010
两种投影模式，即：用
Figure 802416DEST_PATH_IMAGE012
阶哈达玛矩阵的每一行构造出
Figure 798054DEST_PATH_IMAGE008
，每一列构造出
Figure 17333DEST_PATH_IMAGE010
；
步骤1.2：按照连接域由小到大的顺序对步骤1.1所构造的哈达玛图案进行重排 序，并从前开始按压缩率
Figure DEST_PATH_IMAGE013
选取重排序下的哈达玛图案进行投影，完成压缩采样过程。
进一步的，所述步骤2具体包括：
步骤2.1：基于投射和捕获的压缩采样图案，应用梯度投影法重建恢复出相机单像素点分别在横向和纵向坐标轴上的一维哈达玛系数；
步骤2.2：对获取的一维哈达玛系数作哈达玛逆变换，计算得到相机单像素点分别在横向和纵向坐标轴上的投影函数；
步骤2.3：该投影函数中值大于噪声阈值的区域即为对应相机像素可观测到的横向或纵向区域范围，由此实现相机单像素点的可见区域定位。
进一步的，所述步骤3中周期性扩展模式图案的调制过程具体包括：
选取大于可见区域范围的
Figure DEST_PATH_IMAGE015
哈达玛矩阵作为周期扩展模式的哈达玛基，将其每一行
Figure DEST_PATH_IMAGE017
重塑为对应的二维模式
Figure DEST_PATH_IMAGE019
，并据此完成周期扩展。
进一步的，所述步骤4具体包括：
步骤4.1：首先对相机单像素对应的
Figure DEST_PATH_IMAGE021
个哈达玛系数进行哈达玛逆变换，获取相机单像素点对应的场景反射率
Figure DEST_PATH_IMAGE023
；
步骤4.2：将
Figure 964691DEST_PATH_IMAGE023
进行复制以完成周期性扩展，铺满整个投影区域，得到大小为
Figure 263561DEST_PATH_IMAGE002
的全场景反射率
Figure DEST_PATH_IMAGE025
；
步骤4.3：根据可见区域
Figure DEST_PATH_IMAGE027
的定位信息，将
Figure 938256DEST_PATH_IMAGE027
区域以外的
Figure 540270DEST_PATH_IMAGE025
置零，获取相机单像素点实际可见区域的反射率
Figure 766852DEST_PATH_IMAGE025
；
步骤4.4：进一步对
Figure 87106DEST_PATH_IMAGE027
区域内低于噪声阈值的反射率
Figure 831071DEST_PATH_IMAGE025
进行滤除，得到
Figure DEST_PATH_IMAGE029
，并采用灰度质心法获得所需投影仪像素的亚像素坐标
Figure DEST_PATH_IMAGE031
，由此建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。
进一步的，所述步骤4.1中通过差分哈达玛投影来获取每一个哈达玛系数。由于DMD无法产生负值，每获取一个哈达玛系数，都需要来两种投影模式来区分+1和-1，即差分哈达玛。
有益效果：本发明所提供的一种基于压缩感知与HSI的水下并行单像素成像方法，相对于现有技术，具有以下优点：
1、在并行单像素成像法的基础上运用压缩感知进一步减少了数据采集时间，大大提高了单像素成像的测量效率，拓宽了单像素成像的应用范围，对进一步推动水下复杂环境的光学成像理论和计算机视觉发展有良好作用；
2、采用基于哈达玛变换的单像素成像原理（HSI）来实现并行单像素成像方法，由于哈达玛矩阵为二值图像，可以获得更高的投影速率，而二值FSI则会降低重建图像的空间分辨率，同时HSI更加稳健，因为傅里叶基条纹在空间和大小上不断变化，而哈达玛基底图案是离散的，数字设备可以生成无量化误差的哈达玛基底图案。
附图说明
图1为光学测量系统的示意图；
图2为本发明实施例的整体流程示意图；
图3为本发明实施例中在可见区域定位阶段调制的两种哈达玛模式；
图4为本发明实施例中相机单像素点分别在横向和纵向上的投影函数；
图5为本发明实施例中HSIM 和FSIM在不同浊度条件（浊度分别为10、12、15和19NTU）下的球面拟合误差。
具体实施方式
下面将结合附图对本发明的具体实施方式进行描述，更加清楚、完整地阐述本发明的技术方案。
如图1所示，使用带有DMD投影仪和相机的光学测量系统进行PSI测量。其中，投影仪可以视为相机的倒置，并使用与相机相同的方式进行校准。当投影仪和相机之间的图像对应关系建立后，结合系统校准参数，就可以使用典型的光学三角法方法重建所需的3D形状。
图中
Figure DEST_PATH_IMAGE033
和
Figure DEST_PATH_IMAGE035
分别是相机和投影仪的光学中心，相机光轴与相交点
Figure DEST_PATH_IMAGE037
垂直于相机图像平面，投影仪光轴在
Figure DEST_PATH_IMAGE039
处与投影仪图像平面相交，相机和投影仪的焦距分别为
Figure DEST_PATH_IMAGE041
和
Figure DEST_PATH_IMAGE043
，被测物体表面上的给定点E将从投影仪像素
Figure DEST_PATH_IMAGE045
射出的光反射到相机像素
Figure DEST_PATH_IMAGE047
。在世界坐标系中，E点的坐标记为
Figure DEST_PATH_IMAGE049
，可以通过光学三角法计算得到：
Figure DEST_PATH_IMAGE051
Figure DEST_PATH_IMAGE053
(1)
其中S是比例因子，
Figure DEST_PATH_IMAGE055
和
Figure DEST_PATH_IMAGE057
分别是相机和投影仪的内参矩阵，
Figure DEST_PATH_IMAGE059
和
Figure DEST_PATH_IMAGE061
分别是相机和投影仪的外参矩阵。众所周知，
Figure 812890DEST_PATH_IMAGE055
和
Figure 616898DEST_PATH_IMAGE057
是
Figure DEST_PATH_IMAGE063
矩阵，
Figure 955607DEST_PATH_IMAGE059
和
Figure 378629DEST_PATH_IMAGE061
是
Figure DEST_PATH_IMAGE065
矩阵。
由式(1)可以得到三个线性方程：
Figure DEST_PATH_IMAGE067
(2)
E点的世界坐标
Figure DEST_PATH_IMAGE069
可以在
Figure DEST_PATH_IMAGE071
和
Figure DEST_PATH_IMAGE073
被确定时唯一求解，也就是需要建立
Figure DEST_PATH_IMAGE075
和
Figure DEST_PATH_IMAGE077
之间的对应关系。
PSI将相机的每个像素作为一个单像素探测器，其通过两个阶段即可见区域定位和局部区域反射率计算得到所需的场景反射率。由于第一阶段产生的误差对3D重建几乎没有影响，可以应用压缩感知来减少数据采集规模。同时水下条件下由于光的吸收和散射而存在随机噪声，抗噪性更强的哈达玛单像素成像更适合进行水下目标的3D测量。
基于此，本发明提出一种基于压缩感知与HSI的水下并行单像素成像方法，如图2所示，具体包括以下步骤：
步骤1：通过投影仪将调制出的哈达玛图案投射到水下的被测物体上，并通过相机捕获从被测物体表面反射的哈达玛图案。
根据PSI的原理，利用调制信息在第t个时间内对光进行调制，并对包含运动物体的场景呈现与之相关的清晰图案图像。通过像素化相机对场景中的反射光进行检测，检测强度可表示为：
Figure DEST_PATH_IMAGE079
(3)
其中
Figure DEST_PATH_IMAGE081
表示相机坐标，
Figure DEST_PATH_IMAGE083
表示投影仪坐标，
Figure DEST_PATH_IMAGE085
表示场景反射率，即单像素对投影图案的反射强度，表示调制信息即投影图案，式(3)为沿着
Figure DEST_PATH_IMAGE087
方向的求和运算。
这里投射光的调制过程具体包括：
首先，采用哈达玛矩阵构造具有相互正交性质的投影调制信息
Figure DEST_PATH_IMAGE089
，具体包括
Figure DEST_PATH_IMAGE091
和
Figure DEST_PATH_IMAGE093
两种投影模式。如图3所示，
Figure 29271DEST_PATH_IMAGE091
和
Figure 863234DEST_PATH_IMAGE093
分别为用以定位
Figure 892501DEST_PATH_IMAGE087
轴坐标的调制信息（即垂直条纹和水平条纹），即：用
Figure DEST_PATH_IMAGE095
阶哈达玛矩阵的每一行（竖直延伸）构造出
Figure 650373DEST_PATH_IMAGE091
，每一列（水平延伸）构造出
Figure 206119DEST_PATH_IMAGE093
。
其次，根据cake-cutting法对上述构造的哈达玛图案进行重排序，选取设定压缩率下的图案进行投影，获取能量较为集中的低频部分信息，以减少测量时间。
在全采样的哈达玛投影模式下，部分模式对图像重建有积极的贡献，而其他模式反而会添加噪声而降低信噪比。测量基的重新排序可能会导致所测散斑的相干区域变化。如果哈达玛基的连接域数量按上升的顺序排序，每个散斑的相干区域将自然地从大到小发生变化。通过这种方法，我们可以生成一种优化的哈达玛基，并在低采样率下获得较好的成像效果。
Figure 210984DEST_PATH_IMAGE095
阶哈达玛矩阵的每一行或列都能被重塑为一个
Figure 55444DEST_PATH_IMAGE095
大小的矩阵，将 每个重塑的基础图案想象成一个蛋糕，每一块蛋糕上的值都为−1（黑色）或1（白色），蛋糕的 片数可以用−1和1的连接域之和来表示。同样，对于一个基模式中的一个像素，其具有相同 值的相邻像素都可以被视为其连接区域的一部分。一个基模式所包含的连接区域越少，该 模式为同一对象产生更高测量值的概率就越大。因此，这里按照连接域由小到大的顺序对 完整的哈达玛投影模式进行重排序，并从前开始按压缩率
Figure 557619DEST_PATH_IMAGE013
（优选为50%）选取重排序下的哈 达玛图案进行投影，完成压缩采样过程。
步骤2：基于投射和捕获的哈达玛图案，利用压缩重构算法求解并定位相机单像素点的可观测区域。
步骤1基于压缩感知技术，分别投影和采集了哈达玛变换域中能量较为集中的低频部分信息，对投影图与测量值进行了压缩。因此在计算可见其区域之前，需要应用梯度投影法（GPSR），结合投影图与测量值，重建恢复出相机单像素点的哈达玛系数。
假设在
Figure 967872DEST_PATH_IMAGE095
阶哈达玛矩阵的测量下，压缩感知技术以采样率
Figure DEST_PATH_IMAGE097
进行压缩采样，则将每个像素点对应的
Figure DEST_PATH_IMAGE099
个测量值合成为
Figure DEST_PATH_IMAGE101
大小的向量作为输入的测量值D，以压缩采样的哈达玛矩阵作为输入的投影矩阵h，经梯度投影法迭代求解，计算出每个相机像素对应的哈达玛系数P。三者关系如下：
Figure DEST_PATH_IMAGE103
(4)
在测量值不足的情况下，梯度投影法（GPSR）的提出就是为了解决以下形式的凸优化问题：
Figure DEST_PATH_IMAGE105
(5)
其中
Figure DEST_PATH_IMAGE107
为正则化常数，TV为全变分正则化项。梯度投影法是在投影的梯度方向上迭代地寻找方程(5)的解。
当获得了一维哈达玛变换域中的所有系数后，对变换域系数做哈达玛逆变换，计算得到相机单像素点分别在横向和纵向的投影函数：
Figure DEST_PATH_IMAGE109
(6)
Figure DEST_PATH_IMAGE111
(7)
其中
Figure DEST_PATH_IMAGE113
为每个相机像素对应的场景反射率
Figure DEST_PATH_IMAGE115
在
Figure DEST_PATH_IMAGE117
轴（横向）上的投影函数，
Figure DEST_PATH_IMAGE119
为
Figure DEST_PATH_IMAGE121
在
Figure DEST_PATH_IMAGE123
轴（纵向）上的投影函数，
Figure DEST_PATH_IMAGE125
为哈达玛反变换，
Figure DEST_PATH_IMAGE127
、
Figure DEST_PATH_IMAGE129
为GPSR得到的哈达玛系数，
Figure DEST_PATH_IMAGE131
代表哈达玛域坐标，值与投影仪坐标相同。
如图4所示，该投影函数中值大于噪声阈值（设定值）的区域即为对应相机像素可 观测到的横向或纵向区域范围。该范围内的区域称为有效区域
Figure DEST_PATH_IMAGE132
，于是实现对每个像素的 可见区域定位。
步骤3：通过投影仪进一步投影周期性扩展模式的哈达玛图案，并通过相机捕获从被测物体表面反射的扩展模式图案。
通过投影周期性扩展的哈达玛基模式获得捕获场景的哈达玛系数，并应用哈达玛反变换重建场景。由于DMD无法产生负值，每获取一个哈达玛系数，都需要来两种投影模式来区分+1和-1（即黑白切换），即差分哈达玛。
步骤2得到相机单像素对应的横纵向投影函数，大于噪声阈值的区域为有效范围。因此选取大于该范围的
Figure DEST_PATH_IMAGE134
哈达玛矩阵作为周期扩展模式的哈达玛基，将其每一行
Figure DEST_PATH_IMAGE136
重塑为对应的二维模式
Figure DEST_PATH_IMAGE138
，并据此完成周期扩展。
假设投影图案大小为320*320，并使用32*32的哈达玛模式进行投影，则复制32*32的哈达玛基到320*320区域，生成周期扩展的投影图案，并由相机采集对应的被测物体反射图案。采用周期性扩展模式的哈达玛编码可大幅度减少采样数量（由320*320减少至32*32次），提高成像效率。
步骤4：基于相机捕获的扩展图案，使用图像重构算法获取相机单像素点对应的场景反射率，建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。
关于局部区域展阶段，主要包括三部分内容：首先，根据每个像素的可见区域
Figure DEST_PATH_IMAGE140
选取合适的周期扩展哈达玛基以确保有效信息的充分获取。其次，我们不是投影具有
Figure 633384DEST_PATH_IMAGE138
自由度的哈达玛基模式，而是投影具有
Figure 637243DEST_PATH_IMAGE138
自由度的周期扩展模式，且保证投影分辨率
Figure DEST_PATH_IMAGE142
中的M和N能分别被
Figure DEST_PATH_IMAGE144
和
Figure DEST_PATH_IMAGE146
整除。最后，通过重构算法，对场景反射率
Figure DEST_PATH_IMAGE148
的周期扩展版本进行处理，以获取全场景中的反射率
Figure DEST_PATH_IMAGE150
。
重构算法主要分为两个步骤：
1）基于哈达玛基单像素重构算法的应用。
首先对相机单像素对应的
Figure DEST_PATH_IMAGE152
个哈达玛系数进行哈达玛逆变换，获取相机单像素点对应的场景反射率
Figure 631525DEST_PATH_IMAGE148
：
Figure DEST_PATH_IMAGE154
(8)
其中，
Figure DEST_PATH_IMAGE156
为哈达玛反变换，H为哈达玛变换系数，
Figure DEST_PATH_IMAGE158
、
Figure DEST_PATH_IMAGE160
代表差分哈达玛投影模式下的探测值，
Figure DEST_PATH_IMAGE162
代表哈达玛域坐标。
在重塑出
Figure 240492DEST_PATH_IMAGE138
像素的场景反射率矩阵
Figure 600542DEST_PATH_IMAGE148
后，将
Figure 809806DEST_PATH_IMAGE148
进行复制以完成周期性扩展，铺满整个投影区域，得到大小为
Figure 916434DEST_PATH_IMAGE142
的全场景反射率
Figure 160333DEST_PATH_IMAGE150
。
2）根据粗定位信息，将不可见区域设置为零，保存实际可见区域。
根据可见区域定位阶段获取的相机与投影仪坐标对应关系，假设相机坐标
Figure DEST_PATH_IMAGE163
对 应的投影仪像素坐标为
Figure DEST_PATH_IMAGE165
，即
Figure DEST_PATH_IMAGE167
和
Figure DEST_PATH_IMAGE169
分别为相机像素可观测到的横向 区域或纵向区域中心点，则
Figure DEST_PATH_IMAGE171
的实际可见区域
Figure DEST_PATH_IMAGE173
为：
Figure DEST_PATH_IMAGE175
Figure DEST_PATH_IMAGE177
(9)
其中，
Figure DEST_PATH_IMAGE179
和
Figure DEST_PATH_IMAGE181
分别代表向下和向上的取整函数，将
Figure DEST_PATH_IMAGE183
区域外的
Figure 692551DEST_PATH_IMAGE150
置零，获取相机单像素点实际可见区域的反射率
Figure 920270DEST_PATH_IMAGE150
。
取
Figure 689642DEST_PATH_IMAGE150
中
Figure 538781DEST_PATH_IMAGE183
区域的信息形成
Figure 227251DEST_PATH_IMAGE138
大小的单像素场景反射率矩阵做亚像素计算。由于相机像素的光传输系数不仅具有唯一非零值，为了获得准确的三维测量结果，直接照明光的像素坐标应该定位在亚像素水平。在此利用灰度质心法来确定亚像素坐标，即像素坐标的加权平均值是通过用像素的灰度值作为权重计算的。
首先对
Figure 427419DEST_PATH_IMAGE183
区域内低于噪声阈值的反射率进行滤除，得到
Figure DEST_PATH_IMAGE185
，完成滤波后采用灰度质心法获得所需投影仪像素的亚像素坐标，计算方法如下：
Figure DEST_PATH_IMAGE187
(10)
由此获取
Figure DEST_PATH_IMAGE189
作为亚像素坐标，由此建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。
综上所述，PSI通过两个阶段即可见光区域定位和局部区域反射率计算得到所需的场景反射率。首先，利用哈达玛编码获得场景反射率沿水平和垂直方向的一维投影，得到场景反射率沿水平轴和垂直轴的投影函数
Figure DEST_PATH_IMAGE191
和
Figure DEST_PATH_IMAGE193
，定位可见光区域。其次，周期性扩展模式图案被投影，并通过图像重构算法获取所需的场景反射率。使用周期性的扩展模式有效地将收集的数据从2MN减少到
Figure DEST_PATH_IMAGE195
。最后，以可见区域定位时获取的像素坐标为中心，得到局部区域反射率，并通过灰度中心法得到亚像素坐标，建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。
图5展示了HSIM 和FSIM在不同浊度条件（浊度分别为10、12、15和19NTU）下的球面拟合误差（RMSE），HSIM和FSIM分别表示基于哈达玛变换和傅里叶变换的并行单像素成像方法，周期分别为16、32和64像素。
实验表明，使用64像素周期的投影图案提高了非常高浊度条件下的3-D精度；与FSIM相比，HSIM在高浊度和极高浊度条件下表现更好，且HSIM的测量效率更高。
尽管应用单像素成像即使在非常高浊度的水条件下也可以得到被测物体的高精度3D形状，但每次测量需要更长的时间。对于周期为16像素的图案，HSIM仅仅需要1.5分钟，FSIM需要24.5分钟。对于PSI的可见区域定位阶段，傅里叶切片定理的使用至少需要10分钟，而对于基于压缩感知的方法，这个时间至少可以减少到3秒。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。

Claims (6)

1.一种基于压缩感知与HSI的水下并行单像素成像方法，其特征在于，包括以下步骤：
步骤1：通过投影仪将压缩采样的哈达玛图案投射到水下的被测物体上，并通过相机捕获从被测物体表面反射的压缩采样图案；
步骤2：基于投射和捕获的压缩采样图案，利用压缩重构算法求解并定位相机单像素点的可观测区域；
步骤3：通过投影仪进一步投影周期性扩展模式图案，并通过相机捕获从被测物体表面反射的扩展模式图案；
步骤4：基于相机捕获的扩展模式图案，使用图像重构算法获取相机单像素点对应的场景反射率，建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。
2.根据权利要求1所述的一种基于压缩感知与HSI的水下并行单像素成像方法，其特征在于，所述步骤1中哈达玛图案的调制过程具体包括：
步骤1.1：采用哈达玛矩阵构造出具有相互正交性质的投影调制信息
Figure 926248DEST_PATH_IMAGE002
，具体包括
Figure 507402DEST_PATH_IMAGE004
和
Figure 76790DEST_PATH_IMAGE006
两种投影模式，即：用
Figure 743395DEST_PATH_IMAGE008
阶哈达玛矩阵的每一行构造出
Figure 9160DEST_PATH_IMAGE004
，每一列构造出
Figure 179242DEST_PATH_IMAGE006
；
步骤1.2：按照连接域由小到大的顺序对步骤1.1所构造的哈达玛图案进行重排序，并从前开始按压缩率
Figure 639304DEST_PATH_IMAGE010
选取重排序下的哈达玛图案进行投影，完成压缩采样过程。
3.根据权利要求2所述的一种基于压缩感知与HSI的水下并行单像素成像方法，其特征在于，所述步骤2具体包括：
步骤2.1：基于投射和捕获的压缩采样图案，应用梯度投影法重建恢复出相机单像素点分别在横向和纵向坐标轴上的一维哈达玛系数；
步骤2.2：对获取的一维哈达玛系数作哈达玛逆变换，计算得到相机单像素点分别在横向和纵向坐标轴上的投影函数；
步骤2.3：该投影函数中值大于噪声阈值的区域即为对应相机像素可观测到的横向或纵向区域范围，由此实现相机单像素点的可见区域定位。
4.根据权利要求3所述的一种基于压缩感知与HSI的水下并行单像素成像方法，其特征在于，所述步骤3中周期性扩展模式图案的调制过程具体包括：
选取大于可见区域范围的
Figure 527626DEST_PATH_IMAGE012
哈达玛矩阵作为周期扩展模式的哈达玛基，将其每一行
Figure 862661DEST_PATH_IMAGE014
重塑为对应的二维模式
Figure 152828DEST_PATH_IMAGE016
，并据此完成周期扩展。
5.根据权利要求4所述的一种基于压缩感知与HSI的水下并行单像素成像方法，其特征在于，所述步骤4具体包括：
步骤4.1：首先对相机单像素对应的
Figure 780862DEST_PATH_IMAGE016
个哈达玛系数进行哈达玛逆变换，获取相机单像素点对应的场景反射率
Figure 890900DEST_PATH_IMAGE018
；
步骤4.2：将
Figure 764047DEST_PATH_IMAGE018
进行周期性扩展，铺满整个投影区域，得到大小为
Figure 174300DEST_PATH_IMAGE020
的全场景反射率；
步骤4.3：根据可见区域
Figure 976165DEST_PATH_IMAGE022
的定位信息，将
Figure 104658DEST_PATH_IMAGE024
区域以外的
Figure 250338DEST_PATH_IMAGE026
置零，获取相机单像素点实际可见区域的反射率
Figure 249518DEST_PATH_IMAGE026
；
步骤4.4：进一步对
Figure 225214DEST_PATH_IMAGE024
区域内低于噪声阈值的反射率
Figure 309844DEST_PATH_IMAGE026
进行滤除，得到
Figure 524794DEST_PATH_IMAGE028
，并采用灰度质心法获得所需投影仪像素的亚像素坐标
Figure 175218DEST_PATH_IMAGE030
，由此建立投影仪像素和相机像素之间的对应关系，实现水下目标的三维光学重建。
6.根据权利要求5所述的一种基于压缩感知与HSI的水下并行单像素成像方法，其特征在于，所述步骤4.1中通过差分哈达玛投影来获取每一个哈达玛系数。
CN202211219783.3A 2022-10-08 2022-10-08 一种基于压缩感知与hsi的水下并行单像素成像方法 Active CN115290004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219783.3A CN115290004B (zh) 2022-10-08 2022-10-08 一种基于压缩感知与hsi的水下并行单像素成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219783.3A CN115290004B (zh) 2022-10-08 2022-10-08 一种基于压缩感知与hsi的水下并行单像素成像方法

Publications (2)

Publication Number Publication Date
CN115290004A true CN115290004A (zh) 2022-11-04
CN115290004B CN115290004B (zh) 2023-02-28

Family

ID=83833765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219783.3A Active CN115290004B (zh) 2022-10-08 2022-10-08 一种基于压缩感知与hsi的水下并行单像素成像方法

Country Status (1)

Country Link
CN (1) CN115290004B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416294A (zh) * 2023-06-12 2023-07-11 南京理工大学 一种反射率不一致物体的精确三维重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089308A1 (en) * 2013-12-11 2015-06-18 The General Hospital Corporation Apparatus and method for high-speed full field optical coherence microscopy
US20150281543A1 (en) * 2014-03-27 2015-10-01 Xerox Corporation Method and apparatus for compressive imaging of a scene using a single pixel camera
CN108007385A (zh) * 2017-12-31 2018-05-08 中国人民解放军陆军工程大学 一种大视场弹坑表面形貌成像系统及方法
CN110175971A (zh) * 2019-05-27 2019-08-27 大连海事大学 一种多光谱单像素成像的深度学习图像重构方法
CN110264540A (zh) * 2019-06-19 2019-09-20 北京航空航天大学 一种并行单像素成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089308A1 (en) * 2013-12-11 2015-06-18 The General Hospital Corporation Apparatus and method for high-speed full field optical coherence microscopy
US20150281543A1 (en) * 2014-03-27 2015-10-01 Xerox Corporation Method and apparatus for compressive imaging of a scene using a single pixel camera
CN108007385A (zh) * 2017-12-31 2018-05-08 中国人民解放军陆军工程大学 一种大视场弹坑表面形貌成像系统及方法
CN110175971A (zh) * 2019-05-27 2019-08-27 大连海事大学 一种多光谱单像素成像的深度学习图像重构方法
CN110264540A (zh) * 2019-06-19 2019-09-20 北京航空航天大学 一种并行单像素成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕志强 等: "基于压缩感知的单像素图像采集技术研究", 《通信技术》 *
张家齐: "基于单像素相机的流层火焰成像方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416294A (zh) * 2023-06-12 2023-07-11 南京理工大学 一种反射率不一致物体的精确三维重建方法

Also Published As

Publication number Publication date
CN115290004B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN109506589B (zh) 一种基于结构光场成像的三维轮廓测量方法
Salvi et al. A state of the art in structured light patterns for surface profilometry
Zhu et al. Reliability fusion of time-of-flight depth and stereo geometry for high quality depth maps
CN109307483B (zh) 一种基于结构光系统几何约束的相位展开方法
JP2012504771A (ja) 三次元及び距離の面間推定を与えるための方法及びシステム
Aliaga et al. A self-calibrating method for photogeometric acquisition of 3D objects
CN110264540B (zh) 一种并行单像素成像方法
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN104541127A (zh) 图像处理系统以及图像处理方法
CN113506348B (zh) 一种基于格雷码辅助的三维坐标计算方法
CN106643562A (zh) 基于时域空域混合编码的结构光条纹投射方法
CN110097634B (zh) 一种自适应多尺度的三维鬼成像方法
Gupta et al. A geometric perspective on structured light coding
US6219063B1 (en) 3D rendering
CN115290004B (zh) 一种基于压缩感知与hsi的水下并行单像素成像方法
CN107990846A (zh) 基于单帧结构光的主被动结合深度信息获取方法
CN113763540A (zh) 一种基于散斑条纹混合调制的三维重建方法及设备
CN116718133A (zh) 近距离单点结构光三维测量方法
Lyu et al. Structured light-based underwater 3-D reconstruction techniques: A comparative study
CN117450955B (zh) 基于空间环形特征的薄型物体三维测量方法
CN113345039B (zh) 三维重建量化结构光相位图像编码方法
US6512844B2 (en) 3D rendering
CN115546285B (zh) 基于点扩散函数解算的大景深条纹投影三维测量方法
CN114136236A (zh) 一种结合极线约束的相位轮廓自适应投影测量方法
CN114234852B (zh) 基于最佳映射点集匹配的多目结构光三维测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant