CN117274055A - 基于信息复用的偏振图像超分辨率重建方法及系统 - Google Patents
基于信息复用的偏振图像超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN117274055A CN117274055A CN202311215451.2A CN202311215451A CN117274055A CN 117274055 A CN117274055 A CN 117274055A CN 202311215451 A CN202311215451 A CN 202311215451A CN 117274055 A CN117274055 A CN 117274055A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- polarization
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000010287 polarization Effects 0.000 claims abstract description 155
- 238000012545 processing Methods 0.000 claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 229920001621 AMOLED Polymers 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供的一种基于信息复用的偏振图像超分辨率重建方法，包括：通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；将偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；对传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组I0 f、I4 f 5、I9 f 0以及I1 f 35；通过高分辨率偏振光强图像组I0 f、I4 f 5、I9 f 0以及I1 f 35计算待重建偏振图像的斯托克斯矢量，并根据斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。对传感器阵列图像做像素复用以及图像边缘填充处理，提高了信号采样率，同时利用斯托克斯矢量重建最终获取到超分辨率的偏振度图像以及偏振角图像，实现了同等探测器面积下更高分辨率偏振图像的获取，有效的降低了硬件成本。
Description
技术领域
本发明涉及光学成像领域，具体涉及一种基于信息复用的偏振图像超分辨率重建方法及系统。
背景技术
偏振成像是近几十年发展起来的一项具有巨大应用价值的前沿技术。偏振成像在传统强度成像基础上增加了偏振态维度，不仅能获取二维空间光强分布，还能获得图像上每一像素点的偏振信息。偏振成像技术在抗干扰目标检测、复杂环境下人造物识别、工业生产、人脸识别及安防检测等领域中具有潜在优势，同时能够获取目标表面理化特性。
现有技术中采用基于双三次插值的偏振图像超分辨率重建方法，该方法基于四幅偏振强度图像做插值，插入像素选取其16邻域像素值加权平均求得，距离越小权重越大。权重的计算采用如下公式：
其中，a为-1/2，x为插入点与有效像素点的距离。用图像可以表示为图1。如图1所示，若待插值的像素点为p，则需要根据其与领域像素之间的距离先求得权重w再进而求解出待插入的像素值。
而基于双三次插值的偏振图像超分辨重建方法，是基于图像灰度规律变化的假设基础上，根据原有图像数值分布对偏振图像进行数值估计与插值，而偏振强度图到偏振度图像或偏振角图像需要进行一系列非线性计算，故现有插值方法往往会导致图像的失真，从而影响下游任务的进行，尤其是测量任务如偏振三维成像等。
发明内容
为了解决现有技术中所存在的上述问题，本发明提供了一种基于信息复用的偏振图像超分辨率重建方法及系统。
本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供了一种基于信息复用的偏振图像超分辨率重建方法，包括：
通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；
将所述偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；
对所述传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>
通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。
可选地，所述将所述偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像，包括：
将所述偏振光强图像组I0、I45、I90以及I135按传感器阵列的顺序排列得到传感器阵列图像A，所述传感器阵列图像A在像素点(u,v)处的值表示为：
当以及/>表示为px(i,j)时，px(i,j)表示偏振光强图像组/>以及/>在像素(i,j)处的像素值，x取值为0，45，90，以及135。
可选地，所述对所述传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>包括：
在不同方向上从所述传感器阵列图像A中取出初始像素偏振计算单元：α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)，α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)分别表示为：
α90(u,v)＝[p90(i,j),p45(i,j),p135(i,j),p0(i,j)]，u,v为奇数，
α45(u,v)＝[p90(i+1,j),p45(i,j),p135(i+1,j),p0(i,j)]，u为偶数，v为奇数，
α135(u,v)＝[p90(i,j+1),p45(i,j+1),p135(i,j),p0(i,j)]，u为奇数，v为偶数，
α0(u,v)＝[p90(i+1,j+1),p45(i+1,j),p135(i+1,j),p0(i,j)]，u,v为为偶数；
将所述α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)按照传感器阵列图像A的顺序进行排列得到复用偏振计算单元矩阵Iα，Iα表示为：Iα(u,v)＝αx(u,v)；
通过所述复用偏振计算单元矩阵Iα逐层读出复用处理后的偏振光强图像组I'90、I'45、I1'35、以及I'0；
对所述复用处理后的偏振光强图像组I'90、I'45、I1'35以及I'0采用最近邻插值将偏振光强图像组放大至M×N大小，得到所述高分辨率偏振光强图像组以及其中，复用处理前的偏振光强图像组大小为M/2×N/2。
可选地，所述通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像，包括：
通过斯托克斯公式以及所述高分辨率偏振光强图像组 计算所述斯托克斯矢量I、Q和U，
通过所述斯托克斯矢量I、Q和U，重建所述超分辨率的偏振度图像P以及超分辨率的偏振角图像
其中，arctan2为四象限反正切函数，
可选地，所述通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及超分辨率的偏振角图像之后，所述基于信息复用的偏振图像超分辨率重建方法还包括：
对所述超分辨率的偏振度图像P以及超分辨率的偏振角图像进行图像去噪处理，得到去噪后的超分辨率偏振度图像以及去噪后的超分辨率偏振角图像。
可选地，所述对所述超分辨率的偏振度图像P以及超分辨率的偏振角图像进行图像去噪处理，得到去噪后的超分辨率偏振度图像以及去噪后的超分辨率偏振角图像，包括：
采用4个预设大小的卷积核k1、k2、k3、k4对所述超分辨率的偏振度图像P以及所述超分辨率的偏振角图像进行预设步长的卷积处理，分别得到超分辨率的偏振度子图像P0、P45、P90、P135和超分辨率的偏振角子图像/>
计算所述超分辨率的偏振度子图像P0、P45、P90、P135的均值和方差，得到超分辨率的偏振度子图像均值和超分辨率的偏振度子图像偏差σP 2，计算所述超分辨率的偏振角子图像/>的均值和方差，得到超分辨率的偏振角子图像均值/>和超分辨率的偏振角子图像偏差/>
计算所述超分辨率的偏振度图像P与所述超分辨率的偏振度子图像均值的偏振度偏离值ΔPx，/>所述超分辨率的偏振角图像/>与超分辨率的偏振角子图像均值/>的偏振角偏离值/>
将偏振度偏离值ΔPx以及偏振角偏离值分别大于其预设倍数方差的像素作为噪声，并对所述噪声分别赋值为偏振度偏离值ΔPx、偏振角偏离值/>得到/>以及/>
表示去噪后的超分辨率偏振度图像，/>表示去噪后的偏振角图像，Z表示预设倍数。
第二方面，本发明提供了一种基于信息复用的偏振图像超分辨率重建装置，包括：采集单元、阵列变换单元、填充单元、以及重建单元；
所述采集单元，用于通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；
所述阵列变换单元，用于将所述偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；
所述填充单元，用于对所述传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>
所述重建单元，用于通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。
可选地，所述阵列变换单元，具体用于：
将所述偏振光强图像组I0、I45、I90以及I135按传感器阵列的顺序排列得到传感器阵列图像A，所述传感器阵列图像A在像素点(u,v)处的值表示为：
当以及/>表示为px(i,j)时，px(i,j)表示偏振光强图像组/>以及/>在像素(i,j)处的像素值，x取值为0，45，90，以及135。
第三方面，本发明提供一种基于信息复用的偏振图像超分辨率重建系统，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述装置运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面所述方法的步骤。
第四方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面所述方法的步骤。
本发明提供的一种基于信息复用的偏振图像超分辨率重建方法，包括：通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；将所述偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；对所述传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>通过所述高分辨率偏振光强图像组/>以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。通过对传感器阵列图像做像素复用以及图像边缘填充处理，提高了信号采样率，同时利用斯托克斯矢量重建最终获取到超分辨率的偏振度图像以及偏振角图像，实现了同等探测器面积下更高分辨率偏振图像的获取，有效的降低了硬件成本。
以下将结合附图及对本发明做进一步详细说明。
附图说明
图1为现有双三次插值的偏振图像超分辨率重建方法示意图；
图2为本发明实施例提供的一种基于信息复用的偏振图像超分辨率重建方法的流程示意图；
图3为本发明实施例提供的传感器阵列图像的示意图；
图4为本发明实施例提供的从偏振光强图像组依次处理得到复用处理后的偏振光强图像组的示意图；
图5为本发明实施例提供的一种基于信息复用的偏振图像超分辨率重建装置的示意图；
图6为本发明实施例提供的基于信息复用的偏振图像超分辨率重建系统的示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
为了解决现有偏振图像超分辨重建方法导致图像失真的问题，本发明实施例提供了一种基于信息复用的偏振图像超分辨率重建方法。图2为本实施例提供的基于信息复用的偏振图像超分辨率重建方法的流程示意图，如图2所示，该方法包括：
S101、通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；
需要说明的是，在本发明实施例中上述偏振光强图像组为针对同一目标场景不同偏振方向的光强图像。
S102、将偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；
可选地，S102具体包括：
将所述偏振光强图像组I0、I45、I90以及I135按传感器阵列的顺序排列得到传感器阵列图像A，所述传感器阵列图像A在像素点(u,v)处的值表示为：
当以及/>表示为px(i,j)时，px(i,j)表示偏振光强图像组/>以及/>在像素(i,j)处的像素值，x取值为0，45，90，以及135。
图3为本发明实施例提供的传感器阵列图像的示意图，如图3所示，图像A为偏振光强图像组I0、I45、I90以及I135依次排布的示意图，图像B为变换后的传感器阵列图像。
S103、对传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>
可选地，S103具体包括：
在不同方向上从所述传感器阵列图像A中取出初始像素偏振计算单元：α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)，α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)分别表示为：
α90(u,v)＝[p90(i,j),p45(i,j),p135(i,j),p0(i,j)]，u,v为奇数，
α45(u,v)＝[p90(i+1,j),p45(i,j),p135(i+1,j),p0(i,j)]，u为偶数，v为奇数，
α135(u,v)＝[p90(i,j+1),p45(i,j+1),p135(i,j),p0(i,j)]，u为奇数，v为偶数，
α0(u,v)＝[p90(i+1,j+1),p45(i+1,j),p135(i+1,j),p0(i,j)]，u,v为为偶数；
将所述α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)按照传感器阵列图像A的顺序进行排列得到复用偏振计算单元矩阵Iα，Iα表示为：Iα(u,v)＝αx(u,v)；
通过所述复用偏振计算单元矩阵Iα逐层读出复用处理后的偏振光强图像组I'90、I'45、I1'35、以及I'0；
对所述复用处理后的偏振光强图像组I'90、I'45、I1'35以及I'0采用最近邻插值将偏振光强图像组放大至M×N大小，得到所述高分辨率偏振光强图像组以及其中，复用处理前的偏振光强图像组大小为M/2×N/2。
需要说明的是，图4(A、B、C、D)为本发明实施例提供的从偏振光强图像组I0、I45、I90以及I135依次处理得到复用处理后的偏振光强图像组I'90、I'45、I1'35以及I'0的示意图。
S104、通过高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。
可选地，S104具体包括：
通过斯托克斯公式以及所述高分辨率偏振光强图像组 计算所述斯托克斯矢量I、Q和U，
通过所述斯托克斯矢量I、Q和U，重建所述超分辨率的偏振度图像P以及超分辨率的偏振角图像
其中，arctan2为四象限反正切函数，
本发明提供的一种基于信息复用的偏振图像超分辨率重建方法，包括：通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；将偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；对传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>通过高分辨率偏振光强图像组/>以及/>计算待重建偏振图像的斯托克斯矢量，并根据斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。通过对传感器阵列图像做像素复用以及图像边缘填充处理，提高了信号采样率，同时利用斯托克斯矢量重建最终获取到超分辨率的偏振度图像以及偏振角图像，实现了同等探测器面积下更高分辨率偏振图像的获取，有效的降低了硬件成本。
可选地，S104之后该基于信息复用的偏振图像超分辨率重建方法还包括：对所述超分辨率的偏振度图像P以及超分辨率的偏振角图像进行图像去噪处理，得到去噪后的超分辨率偏振度图像以及去噪后的超分辨率偏振角图像。
可选地，对所述超分辨率的偏振度图像P以及超分辨率的偏振角图像进行图像去噪处理，得到去噪后的超分辨率偏振度图像以及去噪后的超分辨率偏振角图像，包括：
采用4个预设大小的卷积核k1、k2、k3、k4对所述超分辨率的偏振度图像P以及所述超分辨率的偏振角图像进行预设步长的卷积处理，分别得到超分辨率的偏振度子图像P0、P45、P90、P135和超分辨率的偏振角子图像/>
计算所述超分辨率的偏振度子图像P0、P45、P90、P135的均值和方差，得到超分辨率的偏振度子图像均值和超分辨率的偏振度子图像偏差σP 2，计算所述超分辨率的偏振角子图像/>的均值和方差，得到超分辨率的偏振角子图像均值/>和超分辨率的偏振角子图像偏差/>
计算所述超分辨率的偏振度图像P与所述超分辨率的偏振度子图像均值的偏振度偏离值ΔPx，/>所述超分辨率的偏振角图像/>与超分辨率的偏振角子图像均值/>的偏振角偏离值/>
将偏振度偏离值ΔPx以及偏振角偏离值分别大于其预设倍数方差的像素作为噪声，并对所述噪声分别赋值为偏振度偏离值ΔPx、偏振角偏离值/>得到/>以及/>
表示去噪后的超分辨率偏振度图像，/>表示去噪后的偏振角图像，Z表示预设倍数。
需要说明的是，在本发明实施例中，Z优选取值为2，实际取值可根据需要进行调整。
图5为本发明实施例提供的基于信息复用的偏振图像超分辨率重建装置的示意图，如图5所示，该装置可以包括：采集单元201、阵列变换单元202、填充单元203、以及重建单元204；
采集单元201，用于通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；
阵列变换单元202，用于将偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；
填充单元203，用于对传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>
重建单元204，用于通过高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。
可选地，阵列变换单元202，具体用于：
将偏振光强图像组I0、I45、I90以及I135按传感器阵列的顺序排列得到传感器阵列图像A，传感器阵列图像A在像素点(u,v)处的值表示为：
当以及/>表示为px(i,j)时，px(i,j)表示偏振光强图像组/>以及/>在像素(i,j)处的像素值，x取值为0，45，90，以及135。
图6为本发明实施例提供的基于信息复用的偏振图像超分辨率重建系统的示意图，包括：处理器710、存储介质720和总线730，存储介质720存储有处理器710可执行的机器可读指令，当电子设备运行时，处理器710与存储介质720之间通过总线730通信，处理器710执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
本发明实施例提供了一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
需要说明的是，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与本公开的一些方面相一致的装置和方法的例子。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图以及公开内容，可理解并实现所述公开实施例的其他变化。在本发明的描述中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外,相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述基于信息复用的偏振图像超分辨率重建方法的装置、电子设备及存储介质，则上述基于信息复用的偏振图像超分辨率重建方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
应用本发明实施例所提供的终端设备，可以展示专有名词和/或固定词组供用户选择，进而减少用户输入时间，提高用户体验。
该终端设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子装置。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
另外，本发明实施例还提供了一种显示装置，该显示装置可以包括上述实施例提供的显示基板。该显示装置可以为：LTPO显示装置、Micro LED显示装置、液晶面板、电子纸、OLED面板、AMOLED面板、手机、平板电脑、电视机、显示器、笔记本电脑、数码相框等任何具有显示功能的产品或部件。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于信息复用的偏振图像超分辨率重建方法，其特征在于，包括：
通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；
将所述偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；
对所述传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>
通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。
2.根据权利要求1所述的基于信息复用的偏振图像超分辨率重建方法，其特征在于，所述将所述偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像，包括：
将所述偏振光强图像组I0、I45、I90以及I135按传感器阵列的顺序排列得到传感器阵列图像A，所述传感器阵列图像A在像素点(u,v)处的值表示为：
当以及/>表示为px(i,j)时，px(i,j)表示偏振光强图像组/>以及/>在像素(i,j)处的像素值，x取值为0，45，90，以及135。
3.根据权利要求2所述的基于信息复用的偏振图像超分辨率重建方法，其特征在于，所述对所述传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>包括：
在不同方向上从所述传感器阵列图像A中取出初始像素偏振计算单元：α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)，α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)分别表示为：
α90(u,v)＝[p90(i,j),p45(i,j),p135(i,j),p0(i,j)]，u,v为奇数，
α45(u,v)＝[p90(i+1,j),p45(i,j),p135(i+1,j),p0(i,j)]，u为偶数，v为奇数，
α135(u,v)＝[p90(i,j+1),p45(i,j+1),p135(i,j),p0(i,j)]，u为奇数，v为偶数，
α0(u,v)＝[p90(i+1,j+1),p45(i+1,j),p135(i+1,j),p0(i,j)]，u,v为为偶数；
将所述α90(u,v)、α45(u,v)、α135(u,v)以及α0(u,v)按照传感器阵列图像A的顺序进行排列得到复用偏振计算单元矩阵Iα，Iα表示为：Iα(u,v)＝αx(u,v)；
通过所述复用偏振计算单元矩阵Iα逐层读出复用处理后的偏振光强图像组I'90、I'45、I1'35、以及I'0；
对所述复用处理后的偏振光强图像组I'90、I'45、I1'35以及I'0采用最近邻插值将偏振光强图像组放大至M×N大小，得到所述高分辨率偏振光强图像组以及/>其中，复用处理前的偏振光强图像组大小为M/2×N/2。
4.根据权利要求3所述的基于信息复用的偏振图像超分辨率重建方法，其特征在于，所述通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像，包括：
通过斯托克斯公式以及所述高分辨率偏振光强图像组 计算所述斯托克斯矢量I、Q和U，
通过所述斯托克斯矢量I、Q和U，重建所述超分辨率的偏振度图像P以及超分辨率的偏振角图像
其中，arctan2为四象限反正切函数，
5.根据权利要求4所述的基于信息复用的偏振图像超分辨率重建方法，其特征在于，所述通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及超分辨率的偏振角图像之后，所述基于信息复用的偏振图像超分辨率重建方法还包括：
对所述超分辨率的偏振度图像P以及超分辨率的偏振角图像进行图像去噪处理，得到去噪后的超分辨率偏振度图像以及去噪后的超分辨率偏振角图像。
6.根据权利要求5所述的基于信息复用的偏振图像超分辨率重建方法，其特征在于，所述对所述超分辨率的偏振度图像P以及超分辨率的偏振角图像进行图像去噪处理，得到去噪后的超分辨率偏振度图像以及去噪后的超分辨率偏振角图像，包括：
采用4个预设大小的卷积核k1、k2、k3、k4对所述超分辨率的偏振度图像P以及所述超分辨率的偏振角图像进行预设步长的卷积处理，分别得到超分辨率的偏振度子图像P0、P45、P90、P135和超分辨率的偏振角子图像/>
计算所述超分辨率的偏振度子图像P0、P45、P90、P135的均值和方差，得到超分辨率的偏振度子图像均值和超分辨率的偏振度子图像偏差σP 2，计算所述超分辨率的偏振角子图像的均值和方差，得到超分辨率的偏振角子图像均值/>和超分辨率的偏振角子图像偏差/>
计算所述超分辨率的偏振度图像P与所述超分辨率的偏振度子图像均值的偏振度偏离值ΔPx，/>所述超分辨率的偏振角图像/>与超分辨率的偏振角子图像均值的偏振角偏离值/>
将偏振度偏离值ΔPx以及偏振角偏离值分别大于其预设倍数方差的像素作为噪声，并对所述噪声分别赋值为偏振度偏离值ΔPx、偏振角偏离值/>得到/>以及
表示去噪后的超分辨率偏振度图像，/>表示去噪后的偏振角图像，Z表示预设倍数。
7.一种基于信息复用的偏振图像超分辨率重建装置，其特征在于，包括：采集单元、阵列变换单元、填充单元、以及重建单元；
所述采集单元，用于通过分焦平面偏振相机采集目标场景下的偏振光强图像组I0、I45、I90以及I135；
所述阵列变换单元，用于将所述偏振光强图像组I0、I45、I90以及I135做阵列变换处理，得到传感器阵列图像；
所述填充单元，用于对所述传感器阵列图像做像素复用以及图像边缘填充处理，得到高分辨率偏振光强图像组以及/>
所述重建单元，用于通过所述高分辨率偏振光强图像组以及/>计算待重建偏振图像的斯托克斯矢量，并根据所述斯托克斯矢量重建超分辨率的偏振度图像以及偏振角图像。
8.根据权利要求7所述的基于信息复用的偏振图像超分辨率重建装置，其特征在于，所述阵列变换单元，具体用于：
将所述偏振光强图像组I0、I45、I90以及I135按传感器阵列的顺序排列得到传感器阵列图像A，所述传感器阵列图像A在像素点(u,v)处的值表示为：
当以及/>表示为px(i,j)时，px(i,j)表示偏振光强图像组/>以及/>在像素(i,j)处的像素值，x取值为0，45，90，以及135。
9.一种基于信息复用的偏振图像超分辨率重建系统，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述装置运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-6任一项所述方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311215451.2A CN117274055A (zh) | 2023-09-19 | 2023-09-19 | 基于信息复用的偏振图像超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311215451.2A CN117274055A (zh) | 2023-09-19 | 2023-09-19 | 基于信息复用的偏振图像超分辨率重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117274055A true CN117274055A (zh) | 2023-12-22 |
Family
ID=89203837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311215451.2A Pending CN117274055A (zh) | 2023-09-19 | 2023-09-19 | 基于信息复用的偏振图像超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274055A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939308A (zh) * | 2024-03-15 | 2024-04-26 | 季华实验室 | 偏振成像方法、装置、电子设备及存储介质 |
-
2023
- 2023-09-19 CN CN202311215451.2A patent/CN117274055A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939308A (zh) * | 2024-03-15 | 2024-04-26 | 季华实验室 | 偏振成像方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112823379B (zh) | 用于训练机器学习模型的方法和装置、用于视频风格转移的装置 | |
| CN111898701B (zh) | 模型训练、帧图像生成、插帧方法、装置、设备及介质 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN110222758B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| US9626586B2 (en) | Optimized fast hessian matrix computation architecture | |
| JP2022508988A (ja) | 顔認識のための圧縮－拡張深さ方向畳み込みニューラルネットワーク | |
| CN105635588B (zh) | 一种稳像方法及装置 | |
| CN111259841B (zh) | 一种图像处理方法及相关设备 | |
| CN112488923A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN117274055A (zh) | 基于信息复用的偏振图像超分辨率重建方法及系统 | |
| CN111915481B (zh) | 图像处理方法、装置、电子设备及介质 | |
| US20230252605A1 (en) | Method and system for a high-frequency attention network for efficient single image super-resolution | |
| CN114926336A (zh) | 视频超分辨率重建方法、装置、计算机设备及存储介质 | |
| CN117894038A (zh) | 一种图像中对象姿态生成方法和装置 | |
| US20240273673A1 (en) | Image processing method and device | |
| CN116563109A (zh) | 一种针对低码率视频的时空超分辨率方法、系统及设备 | |
| US12094079B2 (en) | Reference-based super-resolution for image and video enhancement | |
| CN111798385B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN110070482A (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN113077389B (zh) | 一种基于信息蒸馏结构的红外热成像方法 | |
| EP2798614B1 (en) | Method of and apparatus for low-complexity detection of periodic textures | |
| CN116188254A (zh) | 基于傅里叶域的超分图像处理方法、装置、设备及介质 | |
| CN113706385A (zh) | 一种视频超分辨率方法、装置、电子设备及存储介质 | |
| CN103077396B (zh) | 一种彩色图像的向量空间特征点提取方法及装置 | |
| CN111507900A (zh) | 一种图像处理方法、系统、机器可读介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |