CN116528058B - 一种基于压缩重构的高动态成像方法和系统 - Google Patents
一种基于压缩重构的高动态成像方法和系统 Download PDFInfo
- Publication number
- CN116528058B CN116528058B CN202310602385.8A CN202310602385A CN116528058B CN 116528058 B CN116528058 B CN 116528058B CN 202310602385 A CN202310602385 A CN 202310602385A CN 116528058 B CN116528058 B CN 116528058B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- weight
- resolution
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 58
- 230000006835 compression Effects 0.000 title claims abstract description 41
- 238000007906 compression Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 79
- 230000001186 cumulative effect Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000005316 response function Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 14
- 238000004088 simulation Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及高动态成像技术领域，提供了一种基于压缩重构的高动态成像方法和系统。该方法包括：采集目标场景的原始图像，对原始图像进行编码调制和曝光控制，获得低分辨率多曝光图像序列；根据图像亮度特征的概率分布，对低分辨率多曝光图像序列进行压缩重构，获得高分辨率多曝光图像序列；基于自适应阈值、根据高分辨率多曝光图像的亮度特征的概率分布、高分辨率多曝光图像的亮度特征去除图像曝光不良区域等获得目标融合权重，基于目标融合权重得到高分辨率高动态范围图像。本发明提高融合图像的成像质量，解决了融合图像低曝光和高曝光图像的细节纹理信息缺失的问题。
Description
技术领域
本发明涉及高动态成像技术领域，尤其涉及一种基于压缩重构的高动态成像方法和系统。
背景技术
传统相机利用探测器仅能获得8位离散强度级的亮度信息，而现实场景中的物体存在丰富的亮度信息，远远超出了传统相机本身所能探测和显示的动态范围，导致图像传感器的大面积饱和，形成光晕(blooming)和漏光(smearing)等现象，无法准确获取关键目标的图像数据。为解决复杂光照条件下下高动态图像获取的问题，传统成像技术多采用高动态相机解决该问题，例如：Vargas-Sierra等人设计出了一款动态范围CMOS图像传感器，将色调映射函数嵌入到传感器芯片中，成像动态范围可达到151dB。但高动态相机制作复杂开发难度大，图像数据量大，导致数据传输负担大，且受像元尺寸限制，图像成像分辨率低。因此，多采用附加传感器、滤光片和空间光调制器等硬件设备实现高动态图像获取，如Alghamdi等人通过深度学习获得掩膜模板，通过掩膜模板和对应的深度学习算法，重建高动态范围图像，但掩膜模板不能根据实际环境灵活更换测量矩阵。Huynh等人在2x2阵列式相机上安装了偏振滤光器，同时获得4张不同强度的图像实现高动态融合，但多相机带来了调试和标定的难度；Guan等人提出一种基于相移复合条纹的一阶偏导数的绝对相位映射方法，实现数字微镜(DMD)镜元与相机镜元高精度对应，实现高动态范围成像。上述方法虽然克服了高动态相机制作复杂的局限性，但高动态图像大数据量带来的系统成本和传输困难等问题没有得到有效解决。因此在探测器的分辨率和动态范围有限的情况下，如何获取高分辨率高动态范围图像数据具有重要的研究意义。
发明内容
有鉴于此，本发明提供了一种基于压缩重构的高动态成像方法和系统，以解决现有技术中复杂光照条件下下高动态图像获取的技术问题。
第一方面，本发明提供了一种基于压缩重构的高动态成像方法，包括：
S1.采集目标场景的原始图像，对所述原始图像进行编码调制和曝光控制，获得低分辨率多曝光图像序列；
S2.根据图像亮度特征的概率分布，对所述低分辨率多曝光图像序列进行压缩重构，获得高分辨率多曝光图像序列，其中，所述压缩重构包括将所述低分辨率多曝光图像序列中的每个图像分成多个图像块，对每个图像块单独进行压缩重构；
S3.根据所述高分辨率多曝光图像序列的图像的亮度特征，基于自适应阈值去除图像曝光不良区域，以及结合所述高分辨率多曝光图像序列的方差和均值，获得目标融合权重，并基于所述目标融合权重对所述高分辨率多曝光图像序列进行融合以得到高分辨率高动态范围图像。
进一步地，所述S1包括：
S11.利用二值编码模板对所述原始图像进行曝光调制以得到编码图像；
S12.对所述编码图像进行降采样以得到低分辨率多曝光图像序列。
进一步地，在所述S2中，所述压缩重构包括特征域变换、维纳滤波和阈值处理步骤。
进一步地，所述S3包括：
S31.基于所述高分辨率多曝光图像序列的图像像素值与图像整体之间的关系，构建自适应阈值，并根据所述自适应阈值获得第一权重；
S32.根据所述高分辨率多曝光图像序列的图像亮度特征的概率分布，获得所述高分辨率多曝光图像序列的累计直方图，并根据所述高分辨率多曝光图像序列的累计直方图的平缓梯度值得到第二权重；
S33.根据所述高分辨率多曝光图像序列的图像亮度特征去除图像曝光不良区域，获得第三权重；
S34.基于所述第一权重、所述第二权重和所述第三权重，获得第一融合权重，并结合所述高分辨率多曝光图像序列的方差和均值，获得目标融合权重；
S35.基于所述目标融合权重，结合相机响应函数和色调映射函数进行图像融合，获得所述高分辨率高动态范围图像。
进一步地，所述S34中还包括：采用引导滤波器对所述第一融合权重进行滤波，并对滤波后的第一融合权重进行归一化处理，获得目标融合权重，以及基于所述目标融合权重对所述高分辨率多曝光图像序列进行图像融合，获得所述高分辨率高动态范围图像；
其中，所述目标融合权重通过如下公式得到：
，
，
其中，表示第一融合权重，/>表示引导滤波后的第一融合权重，为目标融合权重，/>表示引导滤波函数，/>表示常数系数。
进一步地，所述第一权重基于如下公式获得：
，
其中，表示第n张重构图像/>坐标处的灰度值，/>表示第n张图像对应的像素均值，/>为常数。
进一步地，所述第二权重基于如下公式获得：
，
其中，表示第n张图像灰度值的累计直方图梯度值，N表示所述高分辨率多曝光图像序列的图像总数；
以及通过如下公式获得第三权重：
，
其中，为预定阈值。
进一步地，所述第一融合权重通过如下公式获得：
，
其中， 表示第n张图像(i,j)坐标处的第一权重值，/>表示第n张图像(i,j)坐标处的第二权重值，/>表示第n张图像(i,j)坐标处的第三权重值。
进一步地，所述S34中，基于如下公式获得所述高分辨率高动态范围图像：
，
其中，表示所述高分辨率高动态范围图像，/>表示第n张重构图像的辐射度信息，/>表示色调映射函数。
第二方面，本发明提供了一种基于压缩重构的高动态成像系统，包括：
光源、目标场景、数字微镜器件DMD、中继镜、探测器和图像处理模块，
经所述光源照射的目标场景通过透镜聚焦成像至所述数字微镜器件DMD上，所述数字微镜器件DMD基于测量矩阵对入射光线进行编码得到编码信息，并将所述编码信息传至中继镜；
所述中继镜将对所述编码信息进行编码后的光汇聚到所述探测器上，得到降采样编码信息；
基于所述降采样编码信息，通过所述探测器进行数模转换和曝光调制得到高分辨率高动态范围图像。
本发明与现有技术相比存在的有益效果是：
1、本发明通过考虑图像像素值与图像整体之间的关系，构建自适应阈值评价像素质量，提高融合图像的成像质量。
2、本发明将累计直方图的梯度值作为权重融合系数，解决了融合图像低曝光和高曝光图像的细节纹理信息缺失的问题。
3、本发明的方法解决了复杂光照条件下高分辨率高动态图像获取的技术问题。
附图说明
为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于压缩重构的高动态成像方法的流程图；
图2（a）是本发明实施例提供的时编码图像的编码调制图像示意图，图2（b）是本发明实施例提供的/>时编码图像的编码调制图像示意图；
图3（a）是本发明实施例提供的低分辨率图像仿真实验图，图3（b）是本发明实施例提供的压缩重构图像仿真实验图；
图4（a）是本发明实施例提供的低分辨率图像仿真实验局部的示意图，图4（b）是本发明实施例提供的重构图像仿真实验局部的示意图；
图5是本发明实施例提供的各种高动态融合图像的示意图；
图6是本发明实施例提供的各种高动态融合局部图像的示意图；
图7是本发明实施例提供的一种基于压缩重构的高动态成像系统实现的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合附图详细说明本发明的一种基于压缩重构的高动态成像方法。
图1是本发明实施例提供的一种基于压缩重构的高动态成像方法的流程图。
图2（a）是本发明实施例提供的时编码图像的编码调制图像示意图，图2（b）是本发明实施例提供的/>时编码图像的编码调制图像示意图。
如图1所示，该高动态成像方法包括：
S1.采集目标场景的原始图像，对所述原始图像进行编码调制和曝光控制，获得低分辨率多曝光图像序列；
所述S1中，所述压缩重构包括特征域变换、维纳滤波和阈值处理步骤。
所述S1包括：
S11.利用二值编码模板对所述原始图像进行曝光调制以得到编码图像；
（i）数码相机成像原理
主要分为光学成像和电子成像两部分。光学成像部分主要通过成像镜头和相机快门获取目标场景的亮度信息。数码相机对目标场景进行拍摄，接收到目标场景的辐射亮度，所述成像镜头将辐射亮度转换为相机辐射度/>，所述相机快门通过控制曝光时间/>进行曝光调制，获取相机的曝光量/>。将压缩感知理论的目标场景/>表示为数字相机成像过程中的辐射度/>；曝光量/>与所述相机辐射度/>表示为如下公式：
（1）
电子成像部分利用探测器进行光电转换。所述曝光量经数模转换变成数字度量值，再经过色调映射等处理变成底片上的像素值/>。该过程可以等效为一个变换函数/>，称作相机响应函数或辐射响应曲线，公式如下：
（2）
现有高动态成像算法多采用多帧图像融合方法实现，通过控制相机的曝光时间，获取不同曝光时间下的图像序列，结合多曝光图像的亮度、纹理和颜色等图像特征[26]构建权重融合函数，加权融合得到高动态范围图像，公式如下所示：
（3）
其中，表示高动态范围图像处/>的像素值，/>和/>分别表示第n张曝光图像及其对应的权重图。
（ii）压缩感知理论
压缩感知理论表明当N维信号S经过测量矩阵Φ得到M维测量信号V(M<<N)，若信号x某变换域下具有稀疏性，同时测量矩阵满足约束等距准则(Restricted IsometryPrinciple, RIP)，则可以用低维测量信号S重构出高维信号V，通过求解最小l 0 -范数问题恢复恢复清晰图像。
（4）
假设原始图像大小，S表示将图像展开后的/>维列向量，Φ表示满足约束等距准则的/>维测量矩阵，/>表示特征变换基，V表示M维列向量。
为降低成像过程中图像采样、传输的成本，将压缩感知理论与计算成像相结合，导致了压缩成像技术的出现。计算压缩成像技术作为一种基于压缩重构理论的成像前光学调制技术，其工作原理可以理解为一个编码降采样过程，目标场景先经过编码模板/>的调制得到编码图像，再经过降采样汇聚到探测器上，得到与探测器分辨率一样的降采样图像，成像过程可通过公式(5)表示：
（5）
结合以上（i）、（ii）两点，本发明基于压缩感知的高动态成像，采用压缩感知理论与数字相机成像原理，将压缩感知理论的目标场景表示为数字相机成像过程中的所述相机辐射度/>，所述量X经数模转换变成数字度量值，再经过色调映射等处理变成底片上的像素值/>，该过程可以等效为一个变换函数，称作相机响应函数或辐射响应曲线， 辐射度信息/>先经过编码模板/>的调制得到编码图像，再经过降采样汇聚到探测器上，得到与探测器分辨率一样的降采样图像/>。
假设成像系统处于理想条件下，所述卷积核函数与所述编码模板/>大小尺寸相等，为所有元素等于/>的/>矩阵，/>和/>为对行列进行系数/>的降采样操作，此时降采样过程/>可以理解为对/>大小的原始图像求平均值。将编码模板/>分解为权重系数/>和0/1编码模板/>，带入公式(4)中得到公式(5)及其矩阵表现形式。
（6）
（7）
其中，表示测量图像/>的列向量形式，/>表示权重系数/>下高分辨率图像/>的列向量形式，/>表示基于0/1编码模板/>的对角矩阵，/>表示降采样矩阵。由公式(6)可知，在所述曝光时间/>一定的情况下，所述编码模板/>可以控制/>和所述编码模板/>实现编码调制和图像曝光。
所述步骤S11之前还包括二值编码模板满足约束等距准则。
从压缩感知理论可知当满足约束等距准则时，公式(7) 可以通过求解最小l 0 -范数问题恢复清晰图像，因此，压缩感知理论可以应用于高动态范围成像，实现低分辨率曝光图像的高分辨率重构。
S12.对所述编码图像进行降采样以得到低分辨率多曝光图像序列。
S2.根据图像亮度特征的概率分布，对所述低分辨率多曝光图像序列进行压缩重构，获得高分辨率多曝光图像序列；其中，所述压缩重构包括将所述低分辨率多曝光图像序列中的每个图像分成多个图像块，对每个图像块单独进行压缩重构；
针对压缩重构算法中测量矩阵占用内存较大且算法复杂度高的问题，采用分块压缩重构算法进行图像复原，将目标图像分成若干个图像块，每个图像块单独进行压缩重构。
其中，压缩重构所采用的方式包括特征域变换、维纳滤波和阈值处理步骤。
包括如下公式：
（8）
（9）
（10）
其中，表示维纳滤波函数，/>表示阈值处理函数。
图3（a）是本发明实施例提供的低分辨率图像仿真实验图，图3（b）是本发明实施例提供的压缩重构图像仿真实验图。
图4（a）是本发明实施例提供的低分辨率图像仿真实验局部的示意图，图4（b）是本发明实施例提供的重构图像仿真实验局部的示意图。
示例性地，采用图像大小256×192的低分辨率图像，重建1024×768的高分辨率图像，仿真实验效果如图3、图4所示。可以看出，低分辨率图像在边缘区域存在明显的模糊现象，图像成像质量较差，而压缩重构图像可以保存更多的细节纹理信息，成像质量明显优于低分辨率图像，证明了基于压缩感知的高动态成像算法利用低分辨率多曝光图像序列重构出高分辨率高动态范围图像。同时比较不同采样率下重构图像的PSNR值，实验数据如表1所示，可看出在采样率0.25条件下重构图像的PSNR值均高于20dB，随着采样率提高，PSNR值也随之增加，满足图像清晰成像条件。其中，PSNR，全拼Peak Signal to Noise Ratio，峰值信噪比。
其中，峰值信噪比表示信号最大功率和噪声功率的比值，可以用来显示重构图像相比原始图像的损失程度。
表1 不同采样率下重构图像的PSNR值
S3.根据所述高分辨率多曝光图像序列的图像亮度特征，基于自适应阈值去除图像曝光不良区域，以及结合所述高分辨率多曝光图像序列的均值和方差，获得目标融合权重，并基于所述目标融合权重对所述高分辨率多曝光图像序列进行融合以得到高分辨率高动态范围图像。
S31.基于所述高分辨率多曝光图像序列的图像像素值与图像整体之间的关系，构建自适应阈值，并根据所述自适应阈值获得第一权重；
S32.根据所述高分辨率多曝光图像序列的图像亮度特征的概率分布，获得所述高分辨率多曝光图像序列的累计直方图，并根据所述高分辨率多曝光图像序列的累计直方图的平缓梯度值得到第二权重；
S33.根据所述高分辨率多曝光图像序列的图像亮度特征去除图像曝光不良区域，获得第三权重；
S34.基于所述第一权重、所述第二权重和所述第三权重，获得第一融合权重，并结合所述高分辨率多曝光图像序列的方差和均值，获得目标融合权重；
所述S34中还包括：采用引导滤波器对所述第一融合权重进行滤波，并对滤波后的第一融合权重进行归一化处理，获得目标融合权重，以及基于所述目标融合权重对所述高分辨率多曝光图像序列进行图像融合，获得所述高分辨率高动态范围图像；
其中，引导滤波器原理如下：
原始引导滤波处理公式：，
具体包括如下公式：，
，
，
其中，表示在局部窗口/>中/>的方差、/>表示局部窗口/>中/>的平均值，/>为大于0的常数、/>和/>表示引导滤波的线性系数，/>表示引导滤波后的融合权重。
所述目标融合权重的获得具体如下：
由于传统权重融合函数公式如公式11所示，以硬阈值0.5作为最优像素值，不能合理评价低曝光和高曝光时间下的图像像素质量，导致融合图像缺失低曝光和高曝光图像的细节纹理信息。因此本发明将阈值进行自适应设计，以提高算法对细节纹理信息的捕获能力。
（11）
其中，表示传统融合权重，/>表示重构图像结果，/>表示常系数，值为0.2。
所述第一权重基于如下公式获得：
（12）
其中，表示第一权重，/>表示第n张重构图像/>坐标处的灰度值，/>表示第n张图像对应的像素均值，/>为常数。
所述第二权重的获得具体如下：
针对缺少纹理信息的图像区域具有低对比度和较小梯度值，导致基于梯度信息的权重函数不能合理评价该区域的问题，本发明将累计直方图的梯度值作为权重融合系数，图像累计直方图表示图像像素值的累积分布，当图像像素值处于曝光良好区域，累计直方图变化平缓。当处于曝光不良区域时，不良像素值会急剧增加，累计直方图变化剧烈，因此该图能够很好地描述缺少纹理信息的图像区域，同时为去除曝光不良区域对成像质量的影响，采用阈值分割的方式检测曝光不良区域，并根据高分辨率多曝光图像的累计直方图变化平缓的梯度值得到第二权重。
所述第二权重基于如下公式获得：
（13）
其中，表示第n张图像灰度值U的累计直方图梯度值，N表示所述高分辨率多曝光图像序列的图像总数；
所述第三权重的获得具体如下：
根据所述高分辨率多曝光图像的亮度特征去除图像曝光不良区域，获得第三权重。
所述第三权重基于如下公式获得：
（14）
其中，阈值为0.2。针对权重图不连续和存在噪声的问题，利用引导滤波器对权重图融合权重进行滤波，结合图像亮度特征和对比度，获得所述目标融合权重。
图5是本发明实施例提供的各种高动态融合图像的示意图。
图6是本发明实施例提供的各种高动态融合局部图像的示意图。
Reinhard 等人、Naila等人、Hui等人和本文算法的高动态融合图像示意图，分别为如图5中（a）、（b）、（c）、（d）所示，分别为Reinhard 等人、Naila等人、Hui等人和本文算法的高动态局部融合图像示意图，分别为如图6中（a）、（b）、（c）、（d）所示，显而易见，相比于其他算法，本发明在细节纹理上明显优于其他几种算法。
所述第一融合权重通过如下公式获得：
（15）
其中， 表示第n张图像(i,j)坐标处的第一权重值，/>表示第n张图像(i,j)坐标处的第二权重值，/>表示第n张图像(i,j)坐标处的第三权重值。
为去除第一融合权重中的离散点和噪声，对公式(15)得到的第一融合权重进行引导滤波处理得到如下公式：
（16）
其中，表示第一融合权重，/>表示引导滤波后的第一融合权重，表示引导滤波。
对所述滤波后的第一融合权重进行归一化处理，获得所述目标融合权重。
所述目标融合权重包括如下表达式：
（17）
其中，为目标融合权重，/>表示常数系数。
S35.基于所述目标融合权重，结合相机响应函数和色调映射函数进行图像融合，获得所述高分辨率高动态范围图像。
其中，所述色调映射函数是一种基于统计聚类的色调映射方法，将辐射度信息进行分块聚类，采用主成分分析法进行色调映射，得到高分辨率高动态范围图像。
重构图像灰度信息U和图像曝光时间重建图像的辐射度信息/>，公式18给出了获取图像辐射度信息的公式：
（18）
其中，表示在像素点/>处的重建图像的辐射度信息，表示重构所述高分辨率高动态范围图像灰度信息，/>表示图像曝光时间。
所述S35中，所述高分辨率高动态范围图像的包括如下表达式：
（19）
其中，表示所述高分辨率高动态范围图像，/>是一种基于统计聚类的色调映射方法，将辐射度信息进行分块聚类，采用主成分分析法进行色调映射，得到高分辨率图像高动态范围图像/>。
本发明通过考虑图像像素值与图像整体之间的关系，构建自适应阈值评价像素质量，提高融合图像的成像质量；通过将累计直方图的梯度值作为权重融合系数，解决了融合图像低曝光和高曝光图像的细节纹理信息缺失的问题；本发明的方法解决了复杂光照条件下高分辨率高动态图像获取的技术问题。
图7是本发明实施例提供的一种基于压缩重构的高动态成像系统实现示意图。
基于同一构思，本发明还提供一种基于压缩重构的高动态成像系统，包括：包括：光源、目标场景、数字微镜器件DMD、中继镜、探测器和图像处理模块，
经所述光源照射的目标场景通过透镜聚焦成像至所述数字微镜器件DMD上，所述数字微镜器件DMD基于测量矩阵对入射光线进行编码得到编码信息，并将所述编码信息传至中继镜；
所述中继镜将对所述编码信息进行编码后的光汇聚到所述探测器上，得到降采样编码信息；
基于所述降采样编码信息，通过所述探测器进行数模转换和曝光调制得到高分辨率高动态范围图像。
在此过程中，所述图像处理模块通过控制数字微镜器件DMD的偏转状态实现对入射光的随机编码和曝光调控，通过压缩感知的高动态成像算法和多曝光图像融合算法对低分辨率多曝光图像进行压缩重构和高动态成像，获得重构的所述高分辨率高动态范围图像。
实施例1
1.1实验系统构成
本发明基于压缩感知的压缩成像系统主要由DMD，探测器和图像处理系统三部分组成。系统选择哈达玛矩阵作为测量矩阵，根据硬件实验要求对哈达玛矩阵进行修改，将矩阵中的-1元素替换为0，将+1元素替换为曝光权重。DMD作为空间光调制器，可以对入射光进行8bit的光强调制，因此曝光权重/>理论上可以实现[0,255]强度调制。
实验系统搭建，DMD的型号为V9501，微反射镜阵列大小为1920×1080，镜元尺寸为10.8um，8Bit最大转换速率为266Hz。探测器选择MER-231-41U3C-L型号相机，分辨率1920×1200，像素大小为5.86um。物镜焦距为100mm，中继镜由两个透镜组成，透镜焦距均为100mm，起延长光路作用。为降低DMD与探测器的配准难度，提高测量精度，将探测器8×8区域看成一个像素点。由于镜元和像元的尺寸限制，为实现DMD与相机的像素大小配准，将DMD上4×4大小的编码区域作为编码模板，实现分块压缩重构。
1.2仿真实验数据生成
选择Desk、Desk2、vinesunset和yosemite的HDR图像作为辐射图像，结合相机响应函数，利用编码模板对HDR图像进行4x4降采样和曝光调制，获得低分辨多曝光图像序列，曝光权重值为[4 8 16 32 64 128 255]/255。
1.3基于压缩感知的高动态成像实验结果与分析
对低分辨率多曝光图像序列，进行高分辨率高动态范围图像重构，为验证本发明采用的算法的有效性，选择Reinhard、Naila、Hui等人提出的融合算法作为比较算法，从主观客观两方面对图像融合效果进行比较分析。显示了多曝光图像的融合效果，Reinhard等人的算法不能有效反映目标场景的亮度范围，造成亮度信息丢失的问题。Naila等人的算法存在颜色失真的问题，不能很好反映图像颜色信息。对高亮度区域图像Hui等人算法存在融合失败的问题，丢失了对应区域图像的纹理信息。相比上述算法，本发明充分反映高分辨率高动态范围图像图像亮度信息，更加清晰地显示了曝光不良区域的细节纹理信息。
1.4 物理实验结果与分析
在仿真实验的基础上，搭建实验系统进行物理实验验证。物体反射的光经物镜聚焦作用，汇聚到DMD上，通过图像降采样获得编码后的低分辨多曝光图像序列。从表2可以看出，重构图像的PSNR（信噪比）值均高于26dB，可以清晰成像。
表2重构图像的PSNR值
/>
图像处理系统结合编码模板对图像进行重构，获得高分辨率高动态范围图像。如表3和表4，相比测量图像和其他几种算法，本发明采用的重构图像具有更清晰的纹理信息，同时保留了低亮度和高亮度区域的图像纹理信息，具有更高的图像成像质量。
表3 不同算法重构图像的pu_psnr值
表4 不同算法重构图像的HDR_VDP值
采用峰值信噪比作为评价指标，所述评价指标包括如下表达式：
，
其中，重构图像中/>位置处的像素值，/>表示参考图像/>位置处的像素值，/>和/>分别表示图像行数和列数。
针对多曝光图像融合算法的评价，采用三种图像质量评价指标：logPSNR、pu2PSNR和pu_ssim，其中，logPSNR、puPSNR表示像素值融合的质量，用于实现对PSNR的扩展，pu_ssim客观评价模型则对参考图像和目标图像间的差异进行客观评估。
1.5结 论
针对高动态相机分辨率低，细节纹理缺失的问题，将压缩感知理论与高动态范围成像技术相结合，提出一种基于压缩重构的高动态成像系统，利用压缩感知理论将低分辨率图像重构为高分辨率图像，同时针对多曝光图像融合过程中细节纹理信息缺失的问题，结合图像亮度和累计直方图信息构建权重融合函数，多曝光图像融合得到获得高分辨率高动态范围图像。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于压缩重构的高动态成像方法，其特征在于，包括：
S1.采集目标场景的原始图像，对所述原始图像进行编码调制和曝光控制，获得低分辨率多曝光图像序列；
S2.根据图像亮度特征的概率分布，对所述低分辨率多曝光图像序列进行压缩重构，获得高分辨率多曝光图像序列，其中，所述压缩重构包括将所述低分辨率多曝光图像序列中的每个图像分成多个图像块，对每个图像块单独进行压缩重构；
S3.根据所述高分辨率多曝光图像序列的图像的亮度特征，基于自适应阈值去除图像曝光不良区域，以及结合所述高分辨率多曝光图像序列的方差和均值，获得目标融合权重，并基于所述目标融合权重对所述高分辨率多曝光图像序列进行融合以得到高分辨率高动态范围图像；
所述S3包括：
S31.基于所述高分辨率多曝光图像序列的图像像素值与图像整体之间的关系，构建自适应阈值，并根据所述自适应阈值获得第一权重；
S32.根据所述高分辨率多曝光图像序列的图像亮度特征的概率分布，获得所述高分辨率多曝光图像序列的累计直方图，并根据所述高分辨率多曝光图像序列的累计直方图的平缓梯度值得到第二权重；
S33.根据所述高分辨率多曝光图像序列的图像亮度特征去除图像曝光不良区域，获得第三权重；
S34.基于所述第一权重、所述第二权重和所述第三权重，获得第一融合权重，并结合所述高分辨率多曝光图像序列的方差和均值，获得目标融合权重；
S35.基于所述目标融合权重，结合相机响应函数和色调映射函数进行图像融合，获得所述高分辨率高动态范围图像；
所述S34中还包括：采用引导滤波器对所述第一融合权重进行滤波，并对滤波后的第一融合权重进行归一化处理，获得目标融合权重，以及基于所述目标融合权重对所述高分辨率多曝光图像序列进行图像融合，获得所述高分辨率高动态范围图像；
其中，所述目标融合权重通过如下公式得到：
其中，Wn(i,j)表示第一融合权重，表示引导滤波后的第一融合权重，/>为目标融合权重，G表示引导滤波函数，ε表示常数系数；
所述第一权重基于如下公式获得：
其中，Un(i,j)表示第n张重构图像(i,j)坐标处的灰度值，mn表示第n张图像对应的像素均值，σ为常数；
所述第二权重基于如下公式获得：
其中，Grad(Un(i,j))表示第n张图像灰度值的累计直方图梯度值，N表示所述高分辨率多曝光图像序列的图像总数；
以及通过如下公式获得第三权重：
其中，λ为预定阈值；
所述第一融合权重通过如下公式获得：
其中，表示第n张图像(i,j)坐标处的第一权重值，/>表示第n张图像(i,j)坐标处的第二权重值，/>表示第n张图像(i,j)坐标处的第三权重值；
所述S34中，基于如下公式获得所述高分辨率高动态范围图像：
其中，Ufinal表示所述高分辨率高动态范围图像，En表示第n张重构图像的辐射度信息，tonemap表示色调映射函数；
根据以下公式获取重构图像的辐射度信息：
En(i,j)＝log(CRF-1(Un(i,j)))-log(Δtn)
其中，En(i,j)表示在像素点(i,j)处的重构图像的辐射度信息，Un(i,j)表示高分辨率高动态范围图像灰度信息，Δtn表示图像曝光时间。
2.根据权利要求1所述的高动态成像方法，其特征在于，所述S1包括：
S11.利用二值编码模板对所述原始图像进行曝光调制以得到编码图像；
S12.对所述编码图像进行降采样以得到低分辨率多曝光图像序列。
3.根据权利要求1所述的高动态成像方法，其特征在于，在所述S2中，所述压缩重构包括特征域变换、维纳滤波和阈值处理步骤。
4.用于实现根据权利要求1-3任一项所述的高动态成像方法的高动态成像系统，其特征在于，包括：光源、目标场景、数字微镜器件DMD、中继镜、探测器和图像处理模块，
经所述光源照射的目标场景通过透镜聚焦成像至所述数字微镜器件DMD上，所述数字微镜器件DMD基于编码模板C对入射光线进行编码得到编码信息，并将所述编码信息传至中继镜；
所述中继镜将对所述编码信息进行编码后的光汇聚到所述探测器上，得到降采样编码信息；
基于所述降采样编码信息，通过所述探测器进行数模转换和曝光调制得到高分辨率高动态范围图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310602385.8A CN116528058B (zh) | 2023-05-26 | 2023-05-26 | 一种基于压缩重构的高动态成像方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310602385.8A CN116528058B (zh) | 2023-05-26 | 2023-05-26 | 一种基于压缩重构的高动态成像方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116528058A CN116528058A (zh) | 2023-08-01 |
| CN116528058B true CN116528058B (zh) | 2023-10-31 |
Family
ID=87406455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310602385.8A Active CN116528058B (zh) | 2023-05-26 | 2023-05-26 | 一种基于压缩重构的高动态成像方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116528058B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107343130A (zh) * | 2017-08-17 | 2017-11-10 | 中国人民解放军国防科技大学 | 一种基于dmd动态分光的高动态成像模块 |
| CN109978802A (zh) * | 2019-02-13 | 2019-07-05 | 中山大学 | 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法 |
| CN110149484A (zh) * | 2019-04-15 | 2019-08-20 | 浙江大华技术股份有限公司 | 图像合成方法、装置及存储装置 |
| CN110599433A (zh) * | 2019-07-30 | 2019-12-20 | 西安电子科技大学 | 一种基于动态场景的双曝光图像融合方法 |
| CN113592726A (zh) * | 2021-06-29 | 2021-11-02 | 北京旷视科技有限公司 | 高动态范围成像方法、装置、电子设备和存储介质 |
| CN114047626A (zh) * | 2021-10-22 | 2022-02-15 | 北京理工大学 | 一种基于dmd的双通道局部高分辨光学系统 |
| CN114638764A (zh) * | 2022-03-25 | 2022-06-17 | 江苏元贞智能科技有限公司 | 基于人工智能的多曝光图像融合方法及系统 |
| CN114928704A (zh) * | 2022-03-31 | 2022-08-19 | 中国人民解放军战略支援部队航天工程大学 | 一种基于双dmd的编码曝光高动态成像方法 |
| WO2022267506A1 (zh) * | 2021-06-23 | 2022-12-29 | 荣耀终端有限公司 | 图像融合方法、电子设备、存储介质及计算机程序产品 |
| CN115731146A (zh) * | 2022-12-26 | 2023-03-03 | 中国人民解放军战略支援部队航天工程大学 | 基于色彩梯度直方图特征光流估计多曝光图像融合方法 |
| CN115883755A (zh) * | 2022-12-09 | 2023-03-31 | 苏州航遥启程科技有限公司 | 一种多类型场景下多曝光图像融合方法 |
| CN116029954A (zh) * | 2023-02-06 | 2023-04-28 | 西安睿维申电子科技有限公司 | 一种图像融合方法及装置 |
-
2023
- 2023-05-26 CN CN202310602385.8A patent/CN116528058B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107343130A (zh) * | 2017-08-17 | 2017-11-10 | 中国人民解放军国防科技大学 | 一种基于dmd动态分光的高动态成像模块 |
| CN109978802A (zh) * | 2019-02-13 | 2019-07-05 | 中山大学 | 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法 |
| CN110149484A (zh) * | 2019-04-15 | 2019-08-20 | 浙江大华技术股份有限公司 | 图像合成方法、装置及存储装置 |
| CN110599433A (zh) * | 2019-07-30 | 2019-12-20 | 西安电子科技大学 | 一种基于动态场景的双曝光图像融合方法 |
| WO2022267506A1 (zh) * | 2021-06-23 | 2022-12-29 | 荣耀终端有限公司 | 图像融合方法、电子设备、存储介质及计算机程序产品 |
| CN113592726A (zh) * | 2021-06-29 | 2021-11-02 | 北京旷视科技有限公司 | 高动态范围成像方法、装置、电子设备和存储介质 |
| CN114047626A (zh) * | 2021-10-22 | 2022-02-15 | 北京理工大学 | 一种基于dmd的双通道局部高分辨光学系统 |
| CN114638764A (zh) * | 2022-03-25 | 2022-06-17 | 江苏元贞智能科技有限公司 | 基于人工智能的多曝光图像融合方法及系统 |
| CN114928704A (zh) * | 2022-03-31 | 2022-08-19 | 中国人民解放军战略支援部队航天工程大学 | 一种基于双dmd的编码曝光高动态成像方法 |
| CN115883755A (zh) * | 2022-12-09 | 2023-03-31 | 苏州航遥启程科技有限公司 | 一种多类型场景下多曝光图像融合方法 |
| CN115731146A (zh) * | 2022-12-26 | 2023-03-03 | 中国人民解放军战略支援部队航天工程大学 | 基于色彩梯度直方图特征光流估计多曝光图像融合方法 |
| CN116029954A (zh) * | 2023-02-06 | 2023-04-28 | 西安睿维申电子科技有限公司 | 一种图像融合方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于图像清晰度函数的调焦机构 限区间变速控制方法;张怀利，李迎春，张廷华;应用光学;全文 * |
| 基于多曝光序列的高动态成像算法研究;段威威;硕士电子期刊;全文 * |
| 基于相机响应曲线的高动态范围图像融合;都 琳，孙华燕，张廷华，王 帅;计算机工程与科学;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116528058A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pérez-Pellitero et al. | NTIRE 2021 challenge on high dynamic range imaging: Dataset, methods and results | |
| Zhang et al. | Hyperspectral image reconstruction using deep external and internal learning | |
| JP4593449B2 (ja) | 検知装置及びエネルギー場の検知方法 | |
| CN113170030A (zh) | 使用神经网络对摄影曝光不足进行校正 | |
| CN111968044A (zh) | 基于Retinex和深度学习的低照度图像增强方法 | |
| CN113168670A (zh) | 使用神经网络的亮点去除 | |
| US8319855B2 (en) | Method, apparatus and system for image acquisition and conversion | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| Akyüz | Deep joint deinterlacing and denoising for single shot dual-ISO HDR reconstruction | |
| WO2023086194A1 (en) | High dynamic range view synthesis from noisy raw images | |
| CN110650340A (zh) | 一种时空复用的压缩视频成像方法 | |
| EP4167134A1 (en) | System and method for maximizing inference accuracy using recaptured datasets | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
| CN116528058B (zh) | 一种基于压缩重构的高动态成像方法和系统 | |
| CN112750087A (zh) | 图像处理方法和装置 | |
| Kozlov et al. | Estimation of camera’s noise by uniform target segmentation | |
| Cao et al. | Oodhdr-codec: Out-of-distribution generalization for hdr image compression | |
| CN114549386A (zh) | 一种基于自适应光照一致性的多曝光图像融合方法 | |
| Kim et al. | Efficient-HDRTV: Efficient SDR to HDR Conversion for HDR TV | |
| Yang et al. | Multi-scale extreme exposure images fusion based on deep learning | |
| Guo et al. | Research on multi-sensor high dynamic range imaging technology and application | |
| Konnik et al. | Optical-digital correlator with increased dynamic range using spatially varying pixels exposure technique | |
| Wu et al. | High Dynamic Range Imaging with Multi-Exposure Binning on Quad Bayer Color Filter Array | |
| KR102234893B1 (ko) | 영상 복원 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |