CN111640069B - 基于光感知网络和相位补偿的压缩成像方法、系统和装置 - Google Patents
基于光感知网络和相位补偿的压缩成像方法、系统和装置 Download PDFInfo
- Publication number
- CN111640069B CN111640069B CN202010303504.6A CN202010303504A CN111640069B CN 111640069 B CN111640069 B CN 111640069B CN 202010303504 A CN202010303504 A CN 202010303504A CN 111640069 B CN111640069 B CN 111640069B
- Authority
- CN
- China
- Prior art keywords
- sampling
- light
- optical parameter
- sensor
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 123
- 230000003287 optical effect Effects 0.000 claims abstract description 93
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000006835 compression Effects 0.000 claims abstract description 22
- 238000007906 compression Methods 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 230000001105 regulatory effect Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 9
- 230000001276 controlling effect Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000876435 Hucho hucho Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013332 literature search Methods 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3062—Compressive sampling or sensing
Abstract
本发明提供了一种基于光感知网络和相位补偿的压缩成像方法、系统和装置，所述方法包括：在空域或者频域中，构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获得光强的测量值；对所述光强的测量值进行相位信息补偿，利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频。本发明利用相位补偿的复数神经网络提升信号重构的精确度和效率的同时，光学参数调控层可以通过光学器件或技术进行物理实现；可以避免采样时的模式翻转，大大节省了采样时间；可以实现图像或视频的实时采样与重建，具备良好的可扩展性。
Description
技术领域
本发明涉及一种信号的采样与重构方案，具体是一种基于光感知网络和相位补偿的压缩成像方法、系统和装置。
背景技术
传统的信号采样基于奈奎斯特采样定律，为了完整地保存信号的所有信息，需要以不小于信号带宽的两倍采样频率对视频进行采样；对于信息量过大的信号，也需要先采样再进行压缩传输才能保证信号的完美重构。相关技术对传感器的硬件要求过高，严重限制其泛用性。为了提高信号采样的效率，2005年陶哲轩等人提出了压缩感知技术，通过直接采集压缩后的数据，即采样和压缩同步完成，大大减少了采样数据，将传感器的负担转移到后端计算处理部分，提升了采样的效率。自然界中大部分多维信号(如图像、视频)均表现出稀疏特性，压缩感知技术通过采样信号中最重要的部分信息来无失真或较少失真地重建出原始信号，在重要领域如医用X光成像、卫星遥感成像和军用红外成像等方面具有重大意义。
经过对现有技术的文献检索发现，MF.Duarte,MA.Davenport和D.Takhar在2008年的《IEEE Signal Processing Magazine》杂志上发表的“Single-Pixel Imaging viaCompressive Sampling”一文中提出了使用微型透镜阵列(DMD)模拟采样矩阵的物理光学实现，通过单个像素收集到的少部分采样值利用迭代优化算法重建出原始信号。该方法首次实现了压缩感知的光学物理实现，但是该方法使用的测量矩阵是符合伯努利分布的0/1矩阵，该矩阵的采样效果并不理想，导致了较差的重建结果。同时，DMD需要不停地翻转改变模式来获得足够的测量值，在翻转过程中需要采样场景保持静止不动，不仅耗时而且限制了该方法在视频上的拓展。
发明内容
本发明针对现有技术的不足，提供了一种基于光感知网络和相位补偿的压缩成像方法、系统和装置，可以有效提高图像和视频的采样效率和重建质量。
根据本发明第一方面，提供一种压缩成像方法，包括：
在空域或者频域中，构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获得光强的测量值；
对所述光强的测量值进行相位信息补偿，利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频。
可选地，所述在空域或者频域中，其中，通过空域频域互相转换的装置选择在空域还是频域进行采样。
可选地，所述构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获取光强的测量值，包括：
在单个光路的情况下，光线直接通过该衍射光路；在多个并行光路的情况下，使用分光器将光线分到多个并行的衍射光路上。每条衍射光路由单个或多个串联的光学参数调控层构成，所有衍射光路同步地对原始图片视频进行采样，最终汇聚在采样平面的传感器上。
可选地，所述获取光强的测量值，其中，通过采样平面的传感器获得光线的光强信息，并记录光强的测量值。
可选地，所述采样平面上的传感器为多传感器或单传感器，其中，
多传感器时，采样平面上均匀分布多个传感器，传感器的数量和分布均与采样率有关，保证可以通过一次传感器平面的采样实时获取足够数量的采样值；
单传感器时，采样平面中心分布一个传感器，通过不断改变光学参数调控层的参数配置来获取足够数量的采样值。
可选地，所述光学参数调控层对光线的振幅和/或相位进行调制。
可选地，对所述光强的测量值进行相位信息补偿，其中，根据光路环境、光学参数调控层和采样平面的传感器，对仅包含光强信息的采样值进行相位信息补偿。
可选地，所述利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频，包括：
将相位补偿后的测量值输入复数神经网络，进行振幅和相位信息的重构；
通过求模操作融合振幅和相位信息，进行图像或视频的恢复。
根据本发明第二方面，提供一种压缩成像系统，包括：
采样模块：在空域或者频域中，构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获得光强的测量值；
重建模块：对所述光强的测量值进行相位信息补偿，利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频。
根据本发明第三方面，提供一种压缩成像装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行上述压缩感知成像方法。
本发明上述方法、系统和装置，可以有效解决传统压缩感知成像硬件采样耗时久、无法应用于视频采样以及效果差的难题，从而实现高效率和高性能的压缩感知成像。
本发明为图像视频等多维信号提供了一种新型的采样方式、重构方式以及成像架构。本发明所使用的采样模块，通过衍射光在光学参数调控层之间的传播，实现了多传感器实时采集图像视频信息的模式，提高了采样的效率并能拓展到视频实时采样。另一方面，所使用的基于相位补偿的复数神经网络的重建模块，充分利用了补偿后的测量值中振幅和相位之间的关联信息，有助于本发明重建性能的提升。
与现有技术相比，本发明实施例具有如下至少一种有益效果：
本发明上述方法、系统和装置，相较于现有的基于迭代优化算法的压缩感知重建技术，采用了端到端的神经网络进行信号的采集与重建，大大提升了信号的重建速度和质量。
本发明上述方法、系统和装置，相较于现有的基于神经网络采样的压缩感知重建技术，所构建的光学感知网络的采样模块可以使用光学器件或技术进行物理实现，解决了神经网络采样模块无法光学物理实现的难题。
本发明上述方法、系统和装置，相较于现有的压缩感知成像硬件框架，通过衍射光在光学参数调控层之间的传播，解决了多传感器因角度分辨率无法联合重建同一场景的问题，并且避免了现有压缩感知光学成像硬件中的模式翻转问题，大大提高了采样的效率，并可以拓展到视频实时采样。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的压缩成像方法流程图；
图2为本发明一实施例的压缩成像系统模块原理图；
图3为本发明一实施例的空域频域互相转换的装置示意图；
图4为本发明一实施例的采样平面传感器部署的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。以下没有详细说明的部分可以采用现有技术实现。
图1为本发明一实施例的压缩成像方法流程图。如图1所示，该实施例中的压缩成像方法，包括如下步骤：
S100，在空域或者频域中，构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获得光强的测量值；可以通过空域频域互相转换的装置选择在空域还是频域进行采样，该装置可以使用4f透镜系统实现。
S200，对所述光强的测量值进行相位信息补偿，利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频。
上述实施例，S100中采用空频域光感知网络进行采样。空频域光感知网络由单个或多个并行或串联的光学参数调控层构建而成，其中，光学参数调控层可以对光信号的振幅和/或相位进行调制。光学参数调控层可以通过光学器件或技术进行物理实现，如空间光调制器、3D打印技术和光刻技术。
上述实施例，S200中基于相位补偿的复数神经网络进行重建，针对相位补偿后的复数采样值，利用复数神经网络进行图像或视频的恢复，提升了信号重构的精确度和效率，从而可以有效解决传统压缩感知成像硬件采样耗时久、无法应用于视频采样以及效果差的难题，实现高效率和高性能的压缩感知成像。具体地，复数神经网络的权值为复值，其余性质和标准实数神经网络相同。复数神经网络层之间使用的批标准化操作和非线性激活函数分别作用于复数计算模式中的实部和虚部。复数神经网络的结构包括且不局限于任何已有的神经网络架构，可以根据实际需求自定义设置。
在一优选实施例中，在S100中，采样平面上的传感器部署方案分为多传感器部署方案和单传感器部署方案。在多传感器部署方案中，采样平面上均匀分布多个传感器，传感器的数量和分布均与采样率有关，保证可以通过一次传感器平面的采样实时获取足够数量的采样值。在单传感器部署方案中，仅采样平面中心分布一个传感器，通过不断改变光学参数调控层的参数配置来获取足够数量的采样值。两种传感器部署方案可以根据实际情况灵活搭配。具体地，多传感器部署方案适用于实时成像的场景，单传感器部署方案适用于要求低硬件成本或不需要实时成像的场景。通过混合搭配两种部署方案可以实现折中需求。本实施例中多传感器部署方案较目前压缩感知的物理光学系统可以避免采样时的模式翻转，大大节省了采样时间，可以实现图像或视频的实时采样与重建。多传感器部署方案和单传感器部署方案分别在低采样率下和中高采样率下提高了重构增益，同时具备良好的可扩展性。
在另一优选实施例，在S100中，经过空频域选择后，如果只存在单个光路，光线直接通过衍射光路；如果存在多条并行光路，则使用分光器将光线分到多个并行的衍射光路上。每条衍射光路由单个或多个串联的光学参数调控层构成。所有衍射光路同步地对原始图片视频进行采样，最终汇聚在采样平面的传感器上，传感器获得光线的光强信息。本实施例通过衍射光在光学参数调控层之间的传播，可以实现多传感器实时采集图像视频信息的模式，提高了采样的效率并能拓展到视频实时采样。
上述实施例中，通过预先确定光路环境，可以端到端地对空频域光感知网络和相位补偿复数重建神经网络进行联合网络训练，同步调节两部分网络的参数，从而获得最优性能。
图2为本发明一实施例的压缩成像系统模块原理图。如图2所示，该实施例中的压缩成像系统可以用于实现图1所示的方法。具体的，该系统包括：采样模块和重建模块，其中，采用模块在空域或者频域中，构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获得光强的测量值；重建模块对所述光强的测量值进行相位信息补偿，利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频。
本实施例中的压缩成像系统，构建了基于空频域光感知网络的采样模块和基于相位补偿的复数神经网络的重建模块，通过这两个模块的配合，可以实现高效率和高性能的压缩感知成像。
如图2左侧所示，在一优选实施例中，基于空频域光感知网络的采样模块考虑使用相干光照射原始场景，场景中的图像视频信息可以被编码到振幅和相位中。光线首先经过空频域转换装置，变换到对应的空域或频域中。进一步地，利用分光器将光线分散到不同的衍射光路上，每条衍射光路上均有单个或多个串联的光学参数调控层。当光线照射到光学参数调控层时，发生衍射并向下一光学参数调控层传播。根据瑞利-索末菲衍射公式，光线的衍射模式
可以定义为：
其中，(x,y,z)表示当前调控孔的位置坐标，l表示第l个光学参数调控层，(xk,yk,zk)表示光学参数调控层上第k个调控孔的位置坐标，λ表示光的波长，
表示第k个调控孔和当前调控孔位置的距离，
为虚数符号。
光学参数调控层与层之间、层与采样平面之间的光传播均遵循上述衍射模式。具体的，第l+1光学参数调控层上第k′个调控孔位置上光的标量场
表示为：
其中，
和
分别表示该位置的振幅和相位调制信息；S表示调控孔的感知范围。(xk′,yk′,zk′)为光学参数调控层上第k′个调控孔的位置坐标。
为第l个光学参数调控层上第k个调控孔位置上光的标量场。上述公式表示的是一条光路上的连接模式，并行模式下每条光路上的连接模式均与此相同。所有光路的光最终均汇集在采样平面的传感器上。在采样平面上，第g个传感器上光的标量场
表示为：
其中，lp表示并行光路的数量，共有m条光路；
表示光学参数调控层与采样平面间的衍射模式，与
的值由一定差异，这是由传感器的空间位置分布决定的；lc表示一条光路上串联连接模式下光学参数调控层的数量。
图3为本发明一实施例的空域频域互相转换的装置示意图。在一实施例中，基于空频域光感知网络的采样模块中，其空频域转换装置是可以进行选择使用与否的。选择空域时，空频域转换装置不进行使用。选择频域时，在采样模块的起始处使用空域转频域装置，在采样平面之前使用频域转空域装置。图3是该装置利用4f透镜系统完成的一个实施例。当然，在其他实施例中也可以采用其他的方式实现空频域转换，并不局限于图3所示的装置。
如图4所示，在一优选实施例中，采样平面的传感器部署方案，采样平面的传感器部署方案分为多传感部署方案和单传感器部署方案。在多传感器部署方案中，采样平面上分布着N个传感器，假定采样图像或视频的尺寸为L×W，则采样率定义为R＝N/L×W。根据采样率的不同可以同步调整工作的传感器数量。在单传感器部署方案中，采样平面中心分布着1个传感器，假定采样图像或视频的尺寸为L×W，光学参数调控层的参数配置将更换N次，每更换一次传感器获得一个新的采样值，此时采样率定义为R＝N/L×W。传感器对光信号的映射函数定义为Γ{·}，即将光强信息按照该函数采集为数字信号并传输到计算端进行重构。
如图2右侧所示，在一优选实施例中，基于相位补偿的复数神经网络的重建模块，首先对传感器获得的仅包含光强信息的测量值进行相位信息补偿，该相位信息可直接由空频域、环境光波长、光学参数调控层参数配置、衍射公式和传感器部署方案推导得出。例如，在空域、单光学参数调控层和多传感器部署方案的条件下，采样平面上第g个传感器上光的相位信息Θg表示为：
其中，λ表示光的波长，rgk表示光学参数调控层上第k个小孔和第g个传感器之间的距离，Φk表示第k个小孔对应的相位调制值。依据此公式可以在重建阶段对所有测量值进行相位信息补充。在其他情况下的相位补偿信息可根据此例类推得出。
如图2右侧所示，在一优选实施例中，基于相位补偿的复数神经网络的重建模块，对已进行相位信息补充的测量值，为了学习到采样模式的近似逆变换，考虑采用相同复数计算模式来进行信号的重构，该重建神经网络的权值均为复数。具体神经网络的架构可以自定义配置，也可以扩展到任何已有的基于神经网络的压缩感知框架中。特殊地，需要对最后一个网络层的输出进行取模操作，得到的结果即为最终重建结果。复数网络层之间使用的批标准化和非线性激活函数均根据复数计算模式下的实部和虚部进行优化。
上述实施例中的压缩成像系统，可以作为一个整体的网络结构进行训练优化。对于网络训练的损失函数，可以采用均方误差来逼近重建结果和原始信号，具体定义为：
其中，
表示原始图像或视频，Θ表示网络需要学习的参数，Ξ表示整个网络对应的映射函数。通过网络训练不断减小L(Θ)，直到网络达到稳定状态。
基于空频域光感知网络的采样模块，部分超参数在网络训练之前需要确定，包含光的波长、光学参数调控层与层之间的距离、最后一层光学参数调控层与采样平面的距离、光学参数调控层上调控孔的空间分布、采样平面上传感器位置的空间分布。在网络训练结束时，光学感知网络的所有参数均被确定下来，光学参数调控层可以通过光学器件或技术进行物理实现，包括且不局限于空间光调制器、3D打印技术、光刻技术等。
在另一实施例中，还提供一种压缩成像装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时执行上述任一项实施例中的压缩感知成像方法。
本发明上述实施例的方法、系统和装置，可以有效解决传统压缩感知成像硬件采样耗时久、无法应用于视频采样以及效果差的难题，从而实现高效率和高性能的压缩感知成像。
实施效果
以下通过确定的应用实例来检验本发明实施例的实施效果。
本实施例中关键参数的设置为：
训练用图像来源于ImageNet数据集中抽取的91张图片，从这91张图片中随机截取的22092张33×33尺寸的黑白图片。网络训练使用Adam优化方法，初始学习率为0.0001，一共训练2000个回合，学习率随训练回合呈指数衰减。输入图片的振幅设置为灰度值，相位设置为0。网络针对1％、4％、10％、25％四种采样率进行了训练。
光学参数调控层的超参数里，光的波长设置为0.75毫米，层与层之间的距离及最后一层光学参数调控层与采样平面的距离设置为30毫米，感受野范围设置为33×33。光学参数调控层上共有33×33个调控孔，每两个孔之间的距离为0.3毫米。采样平面上的传感器位置根据采样率的不同，均匀地分布在采样平面上。
本实施例比较了基于神经网络的压缩感知的标志方法，由K.Kulkarni,S.Lohit和P.Turaga等人在2016年的《IEEE Conference on Computer Vision and PatternRecognition(CVPR)》会议上发表“ReconNet:Non-Iterative Reconstruction of Imagesfrom Compressively Sensed Measurements”一文中提出的重建方法。本发明实施例的光学感知网络在空域中仅使用一条光路，该光路上只有一层光学参数调控层，传感器平面采取多传感器部署方案。本发明实施例的重建神经网络结构采取和“ReconNet”中相同的架构。通过上述条件配置，本发明实施例和所述压缩感知的标志方法进行性能对比。需要强调的是，在多层光学参数调控层下，本发明实施例的性能表现更加优秀。
在通用测试图像集Set11和BSD68上，与之前的方法相比：
在采样率为0.25时，本实施例所述系统获得2.14dB的重构增益；
在采样率为0.10时，本实施例所述系统获得4.21dB的重构增益；
在采样率为0.04时，本实施例所述系统获得3.57dB的重构增益；
在采样率为0.01时，本实施例所述系统获得2.52dB的重构增益；
从上述实验表明，本发明实施例所述系统重建出来的图像在重构质量上明显优于另外一种方法得到的图像。
综上实施例，本发明相较于现有的基于迭代优化算法的压缩感知重建技术，采用了端到端的神经网络进行信号的采集与重建，大大提升了信号的重建速度和质量。
本发明利用相位补偿的复数神经网络提升信号重构的精确度和效率的同时，采样模块的光学参数调控层可以通过光学器件或技术进行物理实现；本发明的复数重建神经网络架构可以自定义设置，也可以扩展到任何已有的压缩感知重建神经网络架构；本发明中的多传感器部署方案较目前压缩感知的物理光学系统可以避免采样时的模式翻转，大大节省了采样时间，提高了采样的效率，可以实现图像或视频的实时采样与重建；本发明的多传感器部署方案和单传感器部署方案分别在低采样率下和中高采样率下提高了重构增益，同时具备良好的可扩展性。
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (9)
1.一种基于光感知网络和相位补偿的压缩成像方法，其特征在于，包括：
在空域或者频域中，构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获得光强的测量值；其中，采用空频域光感知网络进行采样，所述空频域光感知网络由单个或多个并行或串联的光学参数调控层构建而成，其中，所述光学参数调控层对光信号的振幅和/或相位进行调制，所述光学参数调控层通过光学器件或技术进行物理实现；光线首先经过空频域转换装置，变换到对应的空域或频域中，利用分光器将光线分散到不同的衍射光路上，每条衍射光路上均有单个或多个串联的所述光学参数调控层，当光线照射到所述光学参数调控层时，发生衍射并向下一所述光学参数调控层传播；
对所述光强的测量值进行相位信息补偿，利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频。
2.根据权利要求1所述的压缩成像方法，其特征在于，所述在空域或者频域中，其中，通过空域频域互相转换的装置选择在空域还是频域进行采样。
3.根据权利要求1所述的压缩成像方法，其特征在于，所述构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获取光强的测量值，包括：
在单个光路的情况下，光线直接通过衍射光路；
在多个并行光路的情况下，使用分光器将光线分到多个并行的衍射光路上；
每条衍射光路由单个或多个串联的光学参数调控层构成，所有衍射光路同步地对原始图片视频进行采样，最终汇聚在采样平面的传感器上。
4.根据权利要求3所述的压缩成像方法，其特征在于，所述获取光强的测量值，其中，通过采样平面的传感器获得光线的光强信息，并记录光强的测量值。
5.根据权利要求3所述的压缩成像方法，其特征在于，所述采样平面上的传感器为多传感器或单传感器，其中，
多传感器时，采样平面上均匀分布多个传感器，传感器的数量和分布均与采样率有关，保证通过一次传感器平面的采样实时获取足够数量的采样值；其中，部署多传感器时，采样平面上分布着N个传感器，假定采样图像或视频的尺寸为L×W，则采样率定义为R=N/L×W；
单传感器时，采样平面中心分布一个传感器，通过不断改变光学参数调控层的参数配置来获取足够数量的采样值；其中，部署单传感器时，采样平面中心分布着1个传感器，假定采样图像或视频的尺寸为L×W，光学参数调控层的参数配置将更换N次，每更换一次传感器获得一个新的采样值，此时采样率定义为R=N/L×W。
6.根据权利要求3所述的压缩成像方法，其特征在于，对所述光强的测量值进行相位信息补偿，其中，根据光路环境、光学参数调控层和采样平面的传感器，对仅包含光强信息的采样值进行相位信息补偿。
7.根据权利要求1-6任一项所述的压缩成像方法，其特征在于，所述利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频，包括：
将相位补偿后的测量值输入复数神经网络，进行振幅和相位信息的重构；
通过求模操作融合振幅和相位信息，进行图像或视频的恢复。
8.一种压缩成像系统，其特征在于，包括：
采样模块：在空域或者频域中，构建单个或多个并行或串联的光学参数调控层进行图像或视频的采样，获得光强的测量值；其中，采用空频域光感知网络进行采样，所述空频域光感知网络由单个或多个并行或串联的光学参数调控层构建而成，其中，所述光学参数调控层对光信号的振幅和/或相位进行调制，所述光学参数调控层通过光学器件或技术进行物理实现；光线首先经过空频域转换装置，变换到对应的空域或频域中，利用分光器将光线分散到不同的衍射光路上，每条衍射光路上均有单个或多个串联的所述光学参数调控层，当光线照射到所述光学参数调控层时，发生衍射并向下一所述光学参数调控层传播；
重建模块：对所述光强的测量值进行相位信息补偿，利用复数神经网络从相位补偿后的测量值中重构出原始图像或视频。
9.一种压缩成像装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010303504.6A CN111640069B (zh) | 2020-04-17 | 2020-04-17 | 基于光感知网络和相位补偿的压缩成像方法、系统和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010303504.6A CN111640069B (zh) | 2020-04-17 | 2020-04-17 | 基于光感知网络和相位补偿的压缩成像方法、系统和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640069A CN111640069A (zh) | 2020-09-08 |
| CN111640069B true CN111640069B (zh) | 2022-11-11 |
Family
ID=72331431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010303504.6A Active CN111640069B (zh) | 2020-04-17 | 2020-04-17 | 基于光感知网络和相位补偿的压缩成像方法、系统和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640069B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308941B (zh) * | 2020-11-04 | 2023-06-20 | 上海科技大学 | 基于互信息的受限视角光声图像重构方法 |
| CN114821415B (zh) * | 2022-04-24 | 2022-11-29 | 中国水利水电科学研究院 | 基于机器学习的视频微振动放大校准和实时提取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018218974A1 (zh) * | 2017-06-01 | 2018-12-06 | 华南师范大学 | 一种基于压缩感知的对象成像系统及其成像方法 |
| CN110297242A (zh) * | 2019-07-23 | 2019-10-01 | 北京建筑大学 | 基于压缩感知的合成孔径雷达层析三维成像方法及装置 |
| WO2019200289A1 (en) * | 2018-04-13 | 2019-10-17 | The Regents Of The University Of California | Devices and methods employing optical-based machine learning using diffractive deep neural networks |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060239336A1 (en) * | 2005-04-21 | 2006-10-26 | Baraniuk Richard G | Method and Apparatus for Compressive Imaging Device |
| US8570442B2 (en) * | 2011-07-12 | 2013-10-29 | Xerox Corporation | Hyperspectral image reconstruction via a compressed sensing framework |
| US9070218B2 (en) * | 2013-07-01 | 2015-06-30 | Xerox Corporation | Reconstructing an image of a scene captured using a compressed sensing device |
-
2020
- 2020-04-17 CN CN202010303504.6A patent/CN111640069B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018218974A1 (zh) * | 2017-06-01 | 2018-12-06 | 华南师范大学 | 一种基于压缩感知的对象成像系统及其成像方法 |
| WO2019200289A1 (en) * | 2018-04-13 | 2019-10-17 | The Regents Of The University Of California | Devices and methods employing optical-based machine learning using diffractive deep neural networks |
| CN110297242A (zh) * | 2019-07-23 | 2019-10-01 | 北京建筑大学 | 基于压缩感知的合成孔径雷达层析三维成像方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| All-optical machine learning using diffractive deep neural networks;XING LIN，et al.;《Science》;20180907;全文 * |
| Compressed Sensing via a Deep Convolutional Auto-encoder;Hao Wu，et al.;《2018 IEEE Visual Communications and Image Processing (VCIP)》;20190425;全文 * |
| 基于卷积神经网络的压缩感知重构算法优化;刘玉红等;《计算机科学》;20200331(第03期);全文 * |
| 物理可实现的相位编码压缩成像;张成等;《电子学报》;20130531(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640069A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110646810B (zh) | 一种散斑优化压缩感知鬼成像方法及系统 | |
| CN111640069B (zh) | 基于光感知网络和相位补偿的压缩成像方法、系统和装置 | |
| CN105589210B (zh) | 一种基于光瞳调制的数字化合成孔径成像方法 | |
| CN109883548B (zh) | 基于优化启发的神经网络的光谱成像系统的编码优化方法 | |
| CN110650340B (zh) | 一种时空复用的压缩视频成像方法 | |
| CN107817641B (zh) | 基于多模光纤的单像素相机系统 | |
| CN108844464B (zh) | 基于纠缠双光子信号的压缩感知成像装置和方法 | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN110880163A (zh) | 一种基于深度学习的弱光彩色成像方法 | |
| US20120262610A1 (en) | Pixel Information Reproduction Using Neural Networks | |
| CN111833265A (zh) | 一种基于组稀疏循环调制的鬼成像图像恢复方案 | |
| Lohit et al. | Rate-adaptive neural networks for spatial multiplexers | |
| JP2023540930A (ja) | ニューラル埋め込みを用いたカメラ画像又はビデオ処理パイプライン | |
| CN111028302B (zh) | 一种基于深度学习的压缩对象成像方法及系统 | |
| Zhao et al. | Super resolution imaging based on a dynamic single pixel camera | |
| CN114387164A (zh) | 一种太赫兹单像素超分辨成像方法和系统 | |
| CN114894740A (zh) | 一种太赫兹单像素成像方法与系统 | |
| CN113884234A (zh) | 一种互补单像素质心探测系统及方法 | |
| Jerez et al. | Single pixel spectral image fusion with side information from a grayscale sensor | |
| KR20190100833A (ko) | Hdr 이미지 생성 장치 | |
| Lau et al. | Single-pixel image reconstruction based on block compressive sensing and convolutional neural network | |
| Zheng et al. | DSCR-Net: A diffractive sensing and complex-valued reconstruction network for compressive sensing | |
| CN112884644B (zh) | 一种多尺度编码孔径光谱时间压缩感知成像方法 | |
| JP2021018754A (ja) | 対象識別方法、情報処理装置、情報処理プログラム、光学フィルタ、および照明装置 | |
| CN116528058B (zh) | 一种基于压缩重构的高动态成像方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |