CN110425986A - 基于单像素传感器的三维计算成像方法及装置 - Google Patents

基于单像素传感器的三维计算成像方法及装置 Download PDF

Info

Publication number
CN110425986A
CN110425986A CN201910645486.7A CN201910645486A CN110425986A CN 110425986 A CN110425986 A CN 110425986A CN 201910645486 A CN201910645486 A CN 201910645486A CN 110425986 A CN110425986 A CN 110425986A
Authority
CN
China
Prior art keywords
dimensional
imaging
coding
scene
single pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910645486.7A
Other languages
English (en)
Other versions
CN110425986B (zh
Inventor
边丽蘅
张军
曹先彬
王华依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Beijing Institute of Technology BIT
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910645486.7A priority Critical patent/CN110425986B/zh
Publication of CN110425986A publication Critical patent/CN110425986A/zh
Priority to US16/930,672 priority patent/US11166004B2/en
Application granted granted Critical
Publication of CN110425986B publication Critical patent/CN110425986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于单像素传感器的三维计算成像方法及装置，其中，方法包括以下步骤：通过预设光编码即联合条纹编码和二维成像编码，生成新型光编码方式，并将光编码载入空间光调制器(SLM)中；利用单像素探测器和载入后的SLM将预调制的场景的二维空间及深度信息耦合为一维测量值；通过解耦算法从一维测量值重建场景的二维信息和深度信息，从而得到三维成像结果。该方法通过所设计的新型编码机制和重建方法解决传统单像素成像无法有效采集深度的问题，可有效的恢复场景的深度或待测三维物体每点的厚度，并在光谱范围较宽的情况下依旧适用。

Description

基于单像素传感器的三维计算成像方法及装置
技术领域
本发明涉及计算摄像学技术领域，特别涉及一种基于单像素传感器的三维计算成像方法及装置。
背景技术
传统相机使用二维传感器单元阵列作为感光元件，且其传感器只能感知光的强度叠加信息，在成像的过程中丢失了场景的深度信息。因此，传统的摄影技术获取到的是三维世界在二维平面上的投影，所得到的单张图像不能准确地恢复出三维场景的深度和结构信息，无法给人眼带来立体感。
传统三维测量技术包括：利用多个相机进行多角度拍摄并与特征点检测相结合的双目交汇测量法；利用激光测距的原理，记录被测物体表面密集点的三维坐标复建出被测目标的三维模型数据的激光扫描法；通过观察干涉仪产生的干涉条纹获取相位的光学干涉测量法等。上述方法分别需要在实验过程中运用多相机、激光扫描、光栅、透镜等装置，光路复杂，系统笨重，成本较高。
计算机视觉中的三维成像研究通常利用多张图像或3D扫描设备来恢复场景的深度和结构。相关技术中，(1)逆向工程中三维曲面测量技术应用，采用多视角图像恢复深度；(2)飞行时间法三维成像数据处理方法，通过给目标连续发送光脉冲，使用传感器接收从物体返回的光，再探测光脉冲的往返时间来得到目标物不同空间点的距离(高度)；(3)结构光三维成像技术研究，提出基于傅里叶条纹分析的三维成像方法，使用光栅器件投影载频条纹到物体表面，然后从特定角度获取物体表面被结构光条纹调制的变形二维条纹图。采用上述方法通常需要多视角相机或增加额外的主动光源设备，增加了硬件系统的复杂度。
近几年兴起的计算摄像学将计算、数字传感器、光学系统和智能光照等技术结合，从成像机理上改进了传统相机，以采集更多的视觉信息。比如，基于光场理论的单相机光场采集方法，通过牺牲空间分辨率在单次曝光内采集传统相机所丢失的角度信息；2010年微软公司发布的kinnect深度相机，该设备通过建立投影仪图像和相机图像的对应关系，将投影仪标定转换为成熟的相机标定，从而将单相机结构光三维测量系统转换为经典的双目视觉系统以进行深度测定。
但是目前单相机的采集方式都无法通过少量测试次数有效采集到场景的深度信息。基于光场理论的采集系统本质上只采集到了场景的角度信息而没有真正采集到场景的深度信息，而且采集角度信息同时牺牲了空间分辨率。因此，需要探索有效且稳定地进行深度信息采集的方法，进而进行精确的深度估计。
单像素相机作为新型的成像设备，其最大的特点便是具有一个感知单元，由于该技术仅需要一个光敏检测器，其采集信噪比较高。此外，单像素探测器具有更宽的光谱响应范围。不仅如此，单像素探测器能够基于压缩感知理论减少数据采集、传输以及存储需求，因此具有传统阵列传感器不可比拟的优势，应用范围较广。
在近十年内，单像素探测器在宽光谱范围的二维成像得到了较多应用，如多光谱成像、红外成像、太赫兹成像、X射线衍射断层摄影等，但对于三维成像的探究仍在起步阶段。目前研究提出使用多个单像素探测器放置于不同的空间位置，从而采集重建得到不同视角的场景图像，并最终合成场景的三维信息；另外，关于基于单像素改进飞行时间三维成像系统，文章通过使用单像素探测器来记录散射光到达探测器的完整时间，减少了飞行时间法的采集时间及重建时间；目前的第一台单像素三维照相机，其利用量子成像的技术，依靠反射光波能量的探测和计算获取景深；基于LED阵列的单像素三维成像方法，其利用不同位置的光电二极管产生的彩色图像组合获得三维结构。但上述方法系统复杂度较高，成本高昂，因此使用单个单像素传感器实现高效三维成像具有重要意义。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于单像素传感器的三维计算成像方法，该方法可以在光谱范围较宽的情况下依旧适用，可有效的恢复场景的深度或待测三维物体每点的厚度，并通过所设计的新型编码机制解决传统单像素成像无法有效采集深度的问题。
本发明的另一个目的在于提出一种基于单像素传感器的三维计算成像装置。
为达到上述目的，本发明一方面实施例提出了一种基于单像素传感器的三维计算成像方法，包括以下步骤：通过预设光编码联合条纹编码和二维成像编码，生成新型光编码，并将所述光编码载入光调制器中；利用单像素探测器和载入后的所述光调制器将预调制的场景的二维空间及深度信息耦合为一维测量值；通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像。
本发明实施例的基于单像素传感器的三维计算成像方法，采用新型光编码方式联合随机编码和二维成像编码，再利用单像素探测器耦合采集场景三维信息，最终使用解耦算法重建场景三维信息；条纹编码联合随机编码的光编码方式可以在不改变原有整体光路系统的情况下实现；由一维测量值解析三维信息的解耦算法可以在普通电脑或开发板等硬件系统上实现，且可以进行简易的系统搭建，便于多领域应用。
另外，根据本发明上述实施例的基于单像素传感器的三维计算成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述通过预设光编码联合条纹编码和二维成像编码，包括：通过预先设定随机编码和二维成像编码的矩阵相乘，作为所述光调制器的输入，以对于所述场景的二维信息和深度信息同时进行有效编码。
进一步地，在本发明的一个实施例中，所述二维成像编码包括但不限于随机编码、哈达玛编码、条纹编码中的一项或多项。
进一步地，在本发明的一个实施例中，所述解耦算法包括但不限于无迭代、线性迭代、非线性迭代及深度学习方法中的一项或多项，以进行二维空间信息解耦，其中，所述无迭代包括矩阵求逆、传统相关性、差分重影成像，所述线性迭代包括梯度下降、共轭梯度下降、泊松最大似然、交替投影方法，所述非线性迭代包括稀疏表示、总变差压缩感知方法。
进一步地，在本发明的一个实施例中，所述通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像，包括：通过上述解耦算法重建，获取变形光场图像。
进一步地，在本发明的一个实施例中，所述通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像，还包括：通过相位测量轮廓方法由变形光场图像计算出相位分布；根据所述相位分布利用几何关系求得物体表面的高度信息。
为达到上述目的，本发明另一方面实施例提出了一种基于单像素传感器的三维计算成像装置，包括：生成模块，用于通过预设光编码联合条纹编码和二维成像编码，生成新型光编码，并将所述光编码载入光调制器中；耦合模块，用于利用单像素探测器和载入后的所述光调制器将场景的二维空间及深度信息耦合为一维测量值；重建模块，用于通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像。
本发明实施例的基于单像素传感器的三维计算成像装置，采用新型光编码方式联合随机编码和二维成像编码，再利用单像素探测器耦合采集场景三维信息，最终使用解耦算法重建场景三维信息；条纹编码联合二维成像编码的新型光编码方式可以在不改变原有整体光路系统的情况下实现；由一维测量值解析三维信息的解耦算法可以在普通电脑或开发板等硬件系统上实现，且可以进行简易的系统搭建，便于多领域应用。
另外，根据本发明上述实施例的基于单像素传感器的三维计算成像装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述生成模块进一步用于通过预先设定随机编码和二维成像编码的矩阵相乘，作为所述光调制器的输入，以对于所述场景的二维信息和深度信息同时进行有效编码。
进一步地，在本发明的一个实施例中，所述二维成像编码包括但不限于随机编码、哈达玛编码、条纹编码中的一项或多项。
进一步地，在本发明的一个实施例中，所述解耦算法包括但不限于无迭代、线性迭代、非线性迭代及深度学习方法中的一项或多项，以进行二维空间信息解耦，其中，所述无迭代包括矩阵求逆、传统相关性、差分重影成像，所述线性迭代包括梯度下降、共轭梯度下降、泊松最大似然、交替投影方法，所述非线性迭代包括稀疏表示、总变差压缩感知方法。
进一步地，在本发明的一个实施例中，所述重建模块进一步用于通过上述解耦算法重建，获取变形光场图像。
进一步地，在本发明的一个实施例中，所述重建模块进一步用于通过相位测量轮廓方法计算出相位分布，并根据所述相位分布利用几何关系求得物体表面的高度信息。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于单像素传感器的三维计算成像方法的流程图；
图2为根据本发明实施例的常见单像素成像系统的光路示意图；
图3为根据本发明实施例的基于单像素传感器的三维计算成像方法的系统示意图；
图4为根据本发明实施例的投影栅相位法光路原理图；
图5为根据本发明实施例的软件算法完整恢复示意图；
图6为根据本发明实施例的基于单像素传感器的三维计算成像装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于单像素传感器的三维计算成像方法及装置，首先将参照附图描述根据本发明实施例提出的基于单像素传感器的三维计算成像方法。
图1是本发明一个实施例的基于单像素传感器的三维计算成像方法的流程图。
如图1所示，该基于单像素传感器的三维计算成像方法包括以下步骤：
在步骤S101中，通过预设光编码联合条纹编码和二维成像编码，生成新型光编码，并将光编码载入光调制器中。
可以理解的是，本发明实施例采取新型光编码方式，联合条纹编码和二维成像编码生成新型光编码并将其载入光调制器中。其中，在本发明的一个实施例中，二维成像编码包括但不限于随机编码、哈达玛编码、条纹编码中的一项或多项。
进一步地，在本发明的一个实施例中，通过预设光编码联合条纹编码和二维成像编码，包括：通过预先设定随机编码和二维成像编码的矩阵相乘，作为光调制器的输入，以对于场景的二维信息和深度信息同时进行有效编码。
可以理解的是，本发明实施例通过预先设定随机编码和二维成像编码的矩阵相乘作为结构光调制器的输入，使得对于场景的二维空间信息和深度信息同时进行有效编码。
在步骤S102中，利用单像素探测器和载入后的光调制器将场景的二维空间及深度信息耦合为一维测量值。
可以理解的是，利用单像素探测器，将经过调制的场景的二维空间及深度信息耦合为一维测量值。其中，利用单像素探测器和空间光调制器，完成了场景三维信息的编码耦合采集。
在步骤S103中，通过解耦算法从一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像。
可以理解的是，本发明实施例可以使用解耦算法将场景的二维信息和深度信息进行高精度重建。也就是说，本发明实施例可以使用基于压缩感知、交替投影或深度学习理论的解耦算法对一维测量值进行场景的二维空间信息的高精度重建。其中，解耦算法包括无迭代(矩阵求逆、传统相关性、差分重影成像(DGI))，线性迭代(梯度下降(GD)、共轭梯度下降(CGD)、泊松最大似然、交替投影(AP))，非线性迭代(稀疏表示(CS)、总变差(TV))及深度学习方法中的一项或多项，以进行二维空间信息解耦。
进一步地，在本发明的一个实施例中，根据场景的二维信息和深度信息得到成像结果，包括：通过上述解耦算法重建，获取变形光场图像。
可以理解的是，本发明实施例可以利用二维空间解耦方法获取变形光场图像，再根据离散相移技术，按相移函数计算出相位分布，得出场景深度。
进一步地，在本发明的一个实施例中，根据场景的二维信息和深度信息得到成像结果，还包括：通过相位测量轮廓方法计算出相位分布；根据相位分布利用几何关系求得物体表面的高度信息。
可以理解的是，本发明实施例可以采用PMP(PhaseMeasurementProfilometry，相位测量轮廓术)，由N步相移法计算出相位分布，最后利用几何关系求得物体表面的高度信息。
下面给出单像素传感器的成像方式以及将其应用于三维计算成像和深度测量的一个具体实施实例。具体实施方式分为硬件系统说明及算法重建，可概括为：在实验前预先设计新型光编码方式，即条纹矩阵和二维成像编码点乘生成新矩阵，作为光调制器输入，使之对场景的结构-深度三维信息进行编码调制，再利用单像素探测器耦合采集获得一维光强叠加值。解析单像素的重构算法可运用以下多种方式但不限于以下几种方式来进行二维成像，进而通过相移法进行三维成像。具体如下：
1、硬件系统实施说明：
对于硬件系统的搭建，单像素成像使用光调制器来调制光图案。来自目标场景的反射或透射光最终由单像素探测器收集，如图2所示。可以通过使用多种算法重建二维目标场景，如无迭代、线性迭代、非线性迭代及深度学习方法等(具体如上文)。
其中，图2为两个常见单像素成像系统的光路，(a)为主动式，在有源单像素探测系统中，光调制器位于有源光源和目标场景之间；(b)为被动式，对于无源单像素探测系统，光调制器位于目标场景和检测模块之间。该配置不需要有源光源。
对于硬件系统来说，上述两种主动光及被动光系统的搭建方式都适用于本发明。以下选取一种方式(主动法)进行说明，其中的改进与创新点见图3，可以看到，在空间光调制器的预编码设定部分做了处理，使得条纹模式被隐含在掩膜图像上。这种调制模式在不增加光栅等其余器件的情况下便可对场景三维信息进行有效调制，最终使得探测器接收到包含有三维信息的一维测量值。
2、算法重建-二维信息解耦：
基于单像素传感器的二维计算成像方案是线性系统。具体而言，测量模型可以描述为：
Ax＝b，
其中A∈Rm×n表示光调制矩阵(m指调制模式的个数，每种调制模式包含n个像素)，x∈Rn×1代表要重建的目标场景(对齐为矢量)，而b∈Rm×1是测量向量。
单像素探测器的重建即是指从调制模式A和相应的测量值b计算得出x。在本发明中，可以对应不同算法恢复得出二维图形，再经由二维图形联合几何关系及解出物体表面高度信息。
对于单像素二维成像的算法，它们分为三类：非迭代方法，线性迭代方法和非线性迭代方法。以上算法包含矩阵求逆、传统相关性、差分重影成像(DGI)、梯度下降(GD)、共轭梯度下降(CGD)、泊松最大似然、交替投影(AP)、稀疏表示、总变差(TV)、离散余弦变换(DCT)、压缩感知(CS)等。根据自身成像需求可以使用以上任意一种算法解出所需结果。
3、算法重建-深度信息解耦：
对于三维重建，具体运用的原理为相移轮廓方法进行重建，该方法基于正弦光栅投影，利用硬件或软件移动光栅的方法获取变形光场图像，再根据离散相移技术，按N步相移算法计算出相位分布，最后利用几何关系求得物体表面的高度信息。相移法的光路结构如图4所示。以图4待测物表面的H点为例，所求
其中，P0是正弦光栅的周期。当投影系统和成像系统都远离物体，因而物体深度范围内的聚焦偏差可以忽略。当一个正弦图样投影到三维漫射物体上时，其由成像探测到的变形光场可以描述为：
I(x，y)＝R(x，y){A(x，y)+B(x，y)cos[φ(x，y)]}，
其中，R(x，y)表示表面各点的反射率，A(x，y)代表背景光强，B(x，y)/A(x，y)代表条纹对比度，相位函数φ(x，y)代表了条纹图样的特征，因而包含了物体面形的高度信息。由于物体各点的反射率R(x，y)变化不大，可以假定为一个常数，常常值为1，因而上式可改写为：
I(x，y)＝A(x，y)+B(x，y)cos[φ(x，y)]。
探测阵列对物体采样并利用相移技术来测量每个采样点的位相，记录N(N≥3)幅光强度值。对于每幅图像，光栅移动p0/N，假设I1，I2，…，In是同一点C的光强值，则
由于上式确定的相位是以π为模的，如果要使它以2π为模，必须判断sinφ和cosφ的符号，该过程又被称为去除相位模糊。
为了从位相函数计算被测物体的高度分布，须将由于反三角运算得到的包裹位相去包裹成原有的位相分布，得到连续分布的二维位相函数φn(x，y)。为此，沿着包裹的位相数据矩阵的行或列方向展开，在展开的方向上比较相邻两个点的位相值，如果差值小于-π，则后一点的位相值应该加上2π；如果差值大于π，则后一点的位相应该减2π。在上述过程中，实际上已经假定任何两个相邻抽样点之间的去包裹后位相变化小于π，也就是说，必须满足抽样定理的要求，每个条纹至少有两个抽样点，即抽样频率大于最高空间频率的二倍。利用成像面上任意点去包裹后的相位值可以计算出物体表面对应点的高度值。
最后给出由一维单像素测量值到二维恢复及完成三维重建的软件完整算法流程图，如图5所示。以恢复半圆的三维表面为例，像素大小为64×64，半圆中心为(32，32)，半径为18像素，采集的一维测量值数量为4000个，如图5所示。
综上，传统相机使用二维传感器单元阵列作为感光元件，且其传感器只能感知光的强度叠加信息，在成像的过程中丢失了场景的深度信息。另外，传统相机传感器的信噪比较低，感知光谱范围有限。为解决上述问题，本发明实施例提出一种基于单像素传感器的三维计算成像方法与装置。首先，联合随机编码和二维成像编码，设计新型光编码方式，从而将场景的二维空间信息与深度信息同时进行编码。然后，使用单像素传感器耦合采集上述编码信息，得到一维测量数据。最后，使用基于压缩感知、交替投影或深度学习理论的解耦算法将场景的三维信息(包含了二维空间信息与深度信息)进行高精度重建。本发明实现了在单像素成像系统中，通过改变光编码方式与相应的解耦算法，在不增加任何硬件的情况下便可有效地获取场景深度信息，对于使用少量采集值来恢复物体深度以及简化系统搭建具有重要的意义，在三维成像、多媒体处理等领域有广泛的应用。
根据本发明实施例提出的基于单像素传感器的三维计算成像方法，采用新型光编码方式联合随机编码和二维成像编码，再利用单像素探测器耦合采集场景三维信息，最终使用解耦算法重建场景三维信息；条纹编码联合二维成像编码的新型光编码方式可以在不改变原有整体光路系统的情况下实现；由一维测量值解析三维信息的解耦算法可以在普通电脑或开发板等硬件系统上实现，且可以进行简易的系统搭建，便于多领域应用。
其次参照附图描述根据本发明实施例提出的基于单像素传感器的三维计算成像装置。
图6是本发明一个实施例的基于单像素传感器的三维计算成像装置的结构示意图。
如图6所示，该基于单像素传感器的三维计算成像装置10包括：生成模块100、耦合模块200和重建模块300。
其中，生成模块100用于通过预设光编码联合条纹编码和二维成像编码，生成新型光编码，并将光编码载入光调制器中。耦合模块200用于利用单像素探测器和载入后的光调制器将场景的二维空间及深度信息耦合为一维测量值。重建模块300用于通过解耦算法从一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像。本发明实施例的装置10可以在光谱范围较宽的情况下依旧适用，可有效的恢复场景的深度或待测三维物体每点的厚度，并通过所设计的新型编码机制解决传统单像素成像无法有效采集深度的问题。
进一步地，在本发明的一个实施例中，生成模块100进一步用于通过预先设定随机编码和二维成像编码的矩阵相乘，作为光调制器的输入，以对于场景的二维信息和深度信息同时进行有效编码。
进一步地，在本发明的一个实施例中，二维成像编码包括但不限于随机编码、哈达玛编码、条纹编码中的一项或多项。
进一步地，在本发明的一个实施例中，解耦算法包括无迭代、线性迭代、非线性迭代及深度学习方法中的一项或多项，以进行二维空间信息解耦，其中，无迭代包括矩阵求逆、传统相关性、差分重影成像，线性迭代包括梯度下降、共轭梯度下降、泊松最大似然、交替投影方法，非线性迭代包括稀疏表示、总变差压缩感知方法。
进一步地，在本发明的一个实施例中，重建模块300进一步用于通过上述解耦算法，获取变形光场图像。
进一步地，在本发明的一个实施例中，重建模块300进一步用于通过相位测量轮廓方法计算出相位分布，并根据相位分布利用几何关系求得物体表面的高度信息。
需要说明的是，前述对基于单像素传感器的三维计算成像方法实施例的解释说明也适用于该实施例的基于单像素传感器的三维计算成像装置，此处不再赘述。
根据本发明实施例提出的基于单像素传感器的三维计算成像装置，采用新型光编码方式联合随机编码和二维成像编码，再利用单像素探测器耦合采集场景三维信息，最终使用解耦算法重建场景三维信息；条纹编码联合二维成像编码的光编码方式可以在不改变原有整体光路系统的情况下实现；由一维测量值解析三维信息的解耦算法可以在普通电脑或开发板等硬件系统上实现，且可以进行简易的系统搭建，便于多领域应用。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于单像素传感器的三维计算成像方法，其特征在于，包括以下步骤：
通过预设光编码联合条纹编码和二维成像编码，生成新型光编码，并将所述光编码载入光调制器中；
利用单像素探测器和载入后的所述光调制器将场景的二维空间及深度信息耦合为一维测量值；
通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像。
2.根据权利要求1所述的方法，其特征在于，所述通过预设光编码联合条纹编码及二维成像编码，包括：
通过预先设定随机编码与二维成像编码的矩阵相乘，作为所述光调制器的输入，以对于所述场景的二维信息和深度信息同时进行有效编码。
3.根据权利要求1所述的方法，其特征在于，所述二维成像编码包括随机编码、哈达玛编码、条纹编码中的一项或多项。
4.根据权利要求1所述的方法，其特征在于，所述解耦算法包括无迭代、线性迭代、非线性迭代及深度学习方法中的一项或多项，以进行二维空间信息解耦，其中，所述无迭代包括矩阵求逆、传统相关性、差分重影成像，所述线性迭代包括梯度下降、共轭梯度下降、泊松最大似然、交替投影方法，所述非线性迭代包括稀疏表示、总变差压缩感知方法。
5.根据权利要求1所述的方法，其特征在于，所述通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像，包括：
通过上述解耦算法重建，获取变形光场图像。
6.根据权利要求5所述的方法，其特征在于，所述通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像，还包括：
通过相位测量轮廓方法从变形光场图像中计算出相位分布；
根据所述相位分布利用几何关系求得物体表面的高度信息。
7.一种基于单像素传感器的三维计算成像装置，其特征在于，包括：
生成模块，用于通过预设光编码联合条纹编码及二维成像编码，生成新型光编码，并将所述光编码载入光调制器中；
耦合模块，用于利用单像素探测器和载入后的所述光调制器将场景的二维空间及深度信息耦合为一维测量值；以及
重建模块，用于通过解耦算法从所述一维测量值进行重建，得到场景的二维信息和深度信息，实现三维成像。
8.根据权利要求7所述的装置，其特征在于，所述生成模块进一步用于通过预先设定随机编码与二维成像编码的矩阵相乘，作为所述光调制器的输入，以对于所述场景的二维信息和深度信息同时进行有效编码。
9.根据权利要求7所述的装置，其特征在于，其中，
所述二维成像编码包括但不限于随机编码、哈达玛编码、条纹编码中的一项或多项；
所述解耦算法包括无迭代、线性迭代、非线性迭代及深度学习方法中的一项或多项，以进行二维空间信息解耦，其中，所述无迭代包括矩阵求逆、传统相关性、差分重影成像，所述线性迭代包括梯度下降、共轭梯度下降、泊松最大似然、交替投影方法，所述非线性迭代包括稀疏表示、总变差压缩感知方法。
10.根据权利要求7所述的装置，其特征在于，所述重建模块通过上述解耦算法重建，获取变形光场图像；并通过相位测量轮廓方法计算出相位分布，并根据所述相位分布利用几何关系求得物体表面的高度信息。
CN201910645486.7A 2019-07-17 2019-07-17 基于单像素传感器的三维计算成像方法及装置 Active CN110425986B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910645486.7A CN110425986B (zh) 2019-07-17 2019-07-17 基于单像素传感器的三维计算成像方法及装置
US16/930,672 US11166004B2 (en) 2019-07-17 2020-07-16 Three-dimensional computational imaging method and apparatus based on single-pixel sensor, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910645486.7A CN110425986B (zh) 2019-07-17 2019-07-17 基于单像素传感器的三维计算成像方法及装置

Publications (2)

Publication Number Publication Date
CN110425986A true CN110425986A (zh) 2019-11-08
CN110425986B CN110425986B (zh) 2020-10-16

Family

ID=68410758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910645486.7A Active CN110425986B (zh) 2019-07-17 2019-07-17 基于单像素传感器的三维计算成像方法及装置

Country Status (2)

Country Link
US (1) US11166004B2 (zh)
CN (1) CN110425986B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118755A (zh) * 2019-04-30 2019-08-13 上海理工大学 基于傅里叶光场和关联成像的光学成像方法
CN111043988A (zh) * 2019-12-10 2020-04-21 东南大学 一种基于图形学和深度学习的单张条纹投影测量方法
CN111598962A (zh) * 2020-04-24 2020-08-28 北京理工大学 基于矩阵草图分析的单像素成像方法和装置
CN111601052A (zh) * 2020-06-22 2020-08-28 仉尚航 一种短波红外成像系统及其成像方法
CN111736173A (zh) * 2020-05-24 2020-10-02 深圳奥比中光科技有限公司 一种基于tof的深度测量装置、方法及电子设备
CN111829458A (zh) * 2020-07-20 2020-10-27 南京理工大学智能计算成像研究院有限公司 基于深度学习的伽马非线性误差矫正方法
CN112484702A (zh) * 2020-10-10 2021-03-12 清华大学 基于色差的单像素多层成像方法及装置
CN112525851A (zh) * 2020-12-10 2021-03-19 深圳先进技术研究院 一种太赫兹单像素成像方法及其系统
CN112950507A (zh) * 2021-03-08 2021-06-11 四川大学 基于深度学习提高散射环境下单像素彩色成像性能的方法
CN113033723A (zh) * 2021-03-08 2021-06-25 山东大学 环形掩膜版、光场调控方法、单像素成像方法及系统
CN113048907A (zh) * 2021-02-08 2021-06-29 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置
WO2021129413A1 (zh) * 2019-12-26 2021-07-01 宁波飞芯电子科技有限公司 探测方法及探测设备
CN113163201A (zh) * 2021-03-04 2021-07-23 北京理工大学 基于单像素相机的视频多帧重建方法及装置
CN113358220A (zh) * 2021-05-28 2021-09-07 清华大学 基于单像素成像的亮度测量方法及装置
CN114216409A (zh) * 2021-08-30 2022-03-22 北京航空航天大学 一种基于切片并行单像素成像的平行轴三维测量方法
CN116033138A (zh) * 2023-03-27 2023-04-28 中国科学院国家空间科学中心 一种单次曝光压缩感知被动三维成像系统及方法
CN117589302A (zh) * 2023-11-22 2024-02-23 西湖大学 一种三维高速压缩成像方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066143B (zh) * 2021-02-26 2023-03-21 山东英信计算机技术有限公司 分布式量子成像方法、装置、系统及计算机可读存储介质
CN113569905B (zh) * 2021-06-10 2024-03-26 西安电子科技大学 基于多尺度特征提取和全变分的异源图像融合方法
CN114485457B (zh) * 2021-12-31 2024-05-10 四川深瑞视科技有限公司 基于二值正交光栅的深度信息检测系统及方法
CN114485480B (zh) * 2022-01-19 2023-08-01 暨南大学 一种线共焦三维轮廓测量方法、系统、装置及介质
WO2023176638A1 (ja) * 2022-03-15 2023-09-21 パナソニックＩｐマネジメント株式会社 光学装置
CN116016952B (zh) * 2022-12-20 2024-05-14 维悟光子(北京)科技有限公司 用于光学成像系统的图像编解码模型的训练方法
CN117111093B (zh) * 2023-10-20 2024-02-06 中山大学 基于神经网络的单像素三维成像方法和系统
CN117876837B (zh) * 2024-03-11 2024-06-07 北京理工大学 基于深度展开网络的近红外单像素成像方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234479A (zh) * 2013-04-10 2013-08-07 浙江大学 基于压缩感知脉冲编码调制的三维信息获取装置和方法
CN103822577A (zh) * 2014-03-13 2014-05-28 中国电子科技集团公司第三十八研究所 单像素太赫兹全息成像装置和方法
CN106791497A (zh) * 2016-12-15 2017-05-31 哈尔滨工业大学 一种脉冲增益调制式单像素三维成像系统及方法
CN107238590A (zh) * 2017-05-24 2017-10-10 清华大学 基于光片显微与单像素成像的显微层析成像装置
CA2956319A1 (en) * 2017-01-27 2018-07-27 Gribben, Jeremy Lloyd Calibration for 3d imaging with a single-pixel camera
CN108564090A (zh) * 2018-03-30 2018-09-21 中国科学院合肥物质科学研究院 一种基于信号加权的快速傅里叶单像素成像方法
CN109211790A (zh) * 2017-07-03 2019-01-15 南开大学 一种基于傅里叶功率谱探测的单像素相位成像方法
CN109557070A (zh) * 2018-10-27 2019-04-02 西安电子科技大学 一种基于空间编码光的拉曼成像系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6794671B2 (en) * 2002-07-17 2004-09-21 Particle Sizing Systems, Inc. Sensors and methods for high-sensitivity optical particle counting and sizing
US7501616B2 (en) * 2006-05-25 2009-03-10 Microvision, Inc. Method and apparatus for capturing an image of a moving object
US8387884B2 (en) * 2007-05-31 2013-03-05 Symbol Technologies, Inc. Variable focus imaging lens assembly for an imaging-based bar code reader
CN103181171B (zh) * 2010-11-04 2016-08-03 皇家飞利浦电子股份有限公司 深度指示图的产生
US8982363B2 (en) * 2011-10-07 2015-03-17 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
WO2019068053A1 (en) * 2017-09-29 2019-04-04 Cohere Technologies, Inc. ERROR CORRECTION WITHOUT RETURN CIRCUIT USING LOW DENSITY NON-BINARY PARITY CHECK CODES

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234479A (zh) * 2013-04-10 2013-08-07 浙江大学 基于压缩感知脉冲编码调制的三维信息获取装置和方法
CN103822577A (zh) * 2014-03-13 2014-05-28 中国电子科技集团公司第三十八研究所 单像素太赫兹全息成像装置和方法
CN106791497A (zh) * 2016-12-15 2017-05-31 哈尔滨工业大学 一种脉冲增益调制式单像素三维成像系统及方法
CA2956319A1 (en) * 2017-01-27 2018-07-27 Gribben, Jeremy Lloyd Calibration for 3d imaging with a single-pixel camera
CN107238590A (zh) * 2017-05-24 2017-10-10 清华大学 基于光片显微与单像素成像的显微层析成像装置
CN109211790A (zh) * 2017-07-03 2019-01-15 南开大学 一种基于傅里叶功率谱探测的单像素相位成像方法
CN108564090A (zh) * 2018-03-30 2018-09-21 中国科学院合肥物质科学研究院 一种基于信号加权的快速傅里叶单像素成像方法
CN109557070A (zh) * 2018-10-27 2019-04-02 西安电子科技大学 一种基于空间编码光的拉曼成像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAQUEB, S. A. N. 等: "Phase-Sensitive Single-Pixel THz Imaging Using Intensity-Only Measurements", 《IEEE TRANSACTIONS ON TERAHERTZ SCIENCE AND TECHNOLOGY》 *
邓超 等: "单像素成像中的光信息编码与解码", 《红外与激光工程》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118755A (zh) * 2019-04-30 2019-08-13 上海理工大学 基于傅里叶光场和关联成像的光学成像方法
CN111043988B (zh) * 2019-12-10 2021-04-23 东南大学 一种基于图形学和深度学习的单张条纹投影测量方法
CN111043988A (zh) * 2019-12-10 2020-04-21 东南大学 一种基于图形学和深度学习的单张条纹投影测量方法
WO2021129413A1 (zh) * 2019-12-26 2021-07-01 宁波飞芯电子科技有限公司 探测方法及探测设备
CN111598962A (zh) * 2020-04-24 2020-08-28 北京理工大学 基于矩阵草图分析的单像素成像方法和装置
CN111598962B (zh) * 2020-04-24 2023-03-21 北京理工大学 基于矩阵草图分析的单像素成像方法和装置
CN111736173A (zh) * 2020-05-24 2020-10-02 深圳奥比中光科技有限公司 一种基于tof的深度测量装置、方法及电子设备
CN111601052A (zh) * 2020-06-22 2020-08-28 仉尚航 一种短波红外成像系统及其成像方法
CN111829458B (zh) * 2020-07-20 2022-05-13 南京理工大学智能计算成像研究院有限公司 基于深度学习的伽马非线性误差矫正方法
CN111829458A (zh) * 2020-07-20 2020-10-27 南京理工大学智能计算成像研究院有限公司 基于深度学习的伽马非线性误差矫正方法
CN112484702A (zh) * 2020-10-10 2021-03-12 清华大学 基于色差的单像素多层成像方法及装置
CN112525851A (zh) * 2020-12-10 2021-03-19 深圳先进技术研究院 一种太赫兹单像素成像方法及其系统
CN113048907B (zh) * 2021-02-08 2022-04-22 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置
CN113048907A (zh) * 2021-02-08 2021-06-29 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置
CN113163201A (zh) * 2021-03-04 2021-07-23 北京理工大学 基于单像素相机的视频多帧重建方法及装置
CN113163201B (zh) * 2021-03-04 2022-03-22 北京理工大学 基于单像素相机的视频多帧重建方法及装置
CN112950507A (zh) * 2021-03-08 2021-06-11 四川大学 基于深度学习提高散射环境下单像素彩色成像性能的方法
CN113033723A (zh) * 2021-03-08 2021-06-25 山东大学 环形掩膜版、光场调控方法、单像素成像方法及系统
CN113358220A (zh) * 2021-05-28 2021-09-07 清华大学 基于单像素成像的亮度测量方法及装置
CN113358220B (zh) * 2021-05-28 2024-01-23 清华大学 基于单像素成像的亮度测量方法及装置
CN114216409A (zh) * 2021-08-30 2022-03-22 北京航空航天大学 一种基于切片并行单像素成像的平行轴三维测量方法
CN116033138A (zh) * 2023-03-27 2023-04-28 中国科学院国家空间科学中心 一种单次曝光压缩感知被动三维成像系统及方法
CN116033138B (zh) * 2023-03-27 2023-06-02 中国科学院国家空间科学中心 一种单次曝光压缩感知被动三维成像系统及方法
CN117589302A (zh) * 2023-11-22 2024-02-23 西湖大学 一种三维高速压缩成像方法及系统

Also Published As

Publication number Publication date
US20210021799A1 (en) 2021-01-21
US11166004B2 (en) 2021-11-02
CN110425986B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN110425986A (zh) 基于单像素传感器的三维计算成像方法及装置
CN111563564B (zh) 基于深度学习的散斑图像逐像素匹配方法
US7844079B2 (en) System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
Salvi et al. A state of the art in structured light patterns for surface profilometry
Zhang et al. Rapid shape acquisition using color structured light and multi-pass dynamic programming
CN104335005B (zh) 3d扫描以及定位系统
Geng Structured-light 3D surface imaging: a tutorial
JP5643645B2 (ja) 有形物の形状の３次元測定のためのシステム及び方法
JP5337243B2 (ja) 表面特徴の適応型３次元走査システム
Gorjup et al. Frequency domain triangulation for full-field 3D operating-deflection-shape identification
CN110514143A (zh) 一种基于反射镜的条纹投影系统标定方法
CN111047681B (zh) 基于深度学习的单像素三维端到端重建方法及装置
Geng DLP-based structured light 3D imaging technologies and applications
Nguyen et al. Three-dimensional shape reconstruction from single-shot speckle image using deep convolutional neural networks
WO2014020823A1 (ja) 画像処理システムおよび画像処理方法
CN105844633B (zh) 基于De序列和相位编码的单帧结构光深度获取方法
CN103363924A (zh) 一种压缩的三维计算鬼成像系统及方法
CN101466998A (zh) 三维绝对坐标表面成像的方法和装置
JP2013238620A (ja) 三次元ビデオスキャナ
CN103940370B (zh) 基于周期互质混合编码的目标物体三维信息获取方法
CN108955571A (zh) 双频外差与相移编码相结合的三维测量方法
CN104390608A (zh) 基于投影栅相位法的结构光三维形状构建方法
CN112945141B (zh) 基于微透镜阵列的结构光快速成像方法及系统
CN104680534B (zh) 基于单帧复合模板的物体深度信息获取方法
Wong et al. Fast acquisition of dense depth data by a new structured light scheme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant