CN115018702A - 高分辨光场图像重建方法、装置、电子设备及存储介质 - Google Patents
高分辨光场图像重建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115018702A CN115018702A CN202210555644.1A CN202210555644A CN115018702A CN 115018702 A CN115018702 A CN 115018702A CN 202210555644 A CN202210555644 A CN 202210555644A CN 115018702 A CN115018702 A CN 115018702A
- Authority
- CN
- China
- Prior art keywords
- light field
- field image
- pixel
- target image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 64
- 238000011084 recovery Methods 0.000 claims abstract description 16
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 claims description 56
- 239000000758 substrate Substances 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 33
- 239000011787 zinc oxide Substances 0.000 claims description 28
- 239000010408 film Substances 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 239000011521 glass Substances 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 6
- 238000001259 photo etching Methods 0.000 claims description 6
- 239000010409 thin film Substances 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 230000008021 deposition Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005530 etching Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 11
- 238000003384 imaging method Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 230000005684 electric field Effects 0.000 description 5
- 238000004873 anchoring Methods 0.000 description 4
- 238000000151 deposition Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000004988 Nematic liquid crystal Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 239000004642 Polyimide Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 229920001721 polyimide Polymers 0.000 description 2
- 238000004549 pulsed laser deposition Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000009736 wetting Methods 0.000 description 2
- 238000005411 Van der Waals force Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
- G02F1/294—Variable focal length devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Nonlinear Science (AREA)
- Optics & Photonics (AREA)
- Liquid Crystal (AREA)
Abstract
本发明涉及高分辨光场图像重建方法、装置、电子设备及存储介质，属于光场成像技术领域。本发明利用液晶微透镜阵列的电控调焦特性，实现对不同光场图像的采集，采集过程不需要频繁移动液晶微透镜阵列，能够减少光场图像的采集时间及所需的人力物力，进而提高上述高分辨光场图像重建方法的效率，且利用不同聚焦位置下的光场图像，以基于信号恢复的方法重建高分辨的光场图像，使得高分辨光场图像的重建过程不需要引入高分辨网络，进而使得上述高分辨光场图像重建方法更易于落地实现。
Description
技术领域
本发明涉及光场成像技术领域，尤其涉及到一种高分辨光场图像重建方法、装置、电子设备及存储介质。
背景技术
现有的高分辨光场图像重建方法主要通过高分辨网络完成，但是此类方法需要海量的光场图像数据以训练高分辨网络，而目前对光场图像的采集主要利用多相机阵列(焦距固定的玻璃型微透镜阵列)实现，为采集不同聚焦位置下的光场图像，需要多次移动多相机阵列。
基于对上述相关技术的分析，现有的高分辨光场图像重建方法存在光场图像采集及模型训练耗时耗力的缺陷。
发明内容
为了解决现有的高分辨光场图像重建方法存在光场图像采集及模型训练耗时耗力的缺陷，本发明提供了一种高分辨光场图像重建方法、装置、电子设备及存储介质。
第一方面，为了解决上述技术问题，本发明提供了一种高分辨光场图像重建方法，包括：
利用液晶微透镜阵列对目标场景获取不同聚焦位置下的光场图像；
对于每个光场图像，对光场图像进行信号恢复，得到光场图像对应的目标图像；
基于各个光场图像对应的目标图像，建立目标场景对应的高分辨光场图像。
本发明的有益效果是：利用液晶微透镜阵列的电控调焦特性，实现对不同光场图像的采集，采集过程不需要频繁移动液晶微透镜阵列，能够减少光场图像的采集时间及所需的人力物力，进而提高上述高分辨光场图像重建方法的效率，且利用不同聚焦位置下的光场图像，以基于信号恢复的方法重建高分辨的光场图像，使得高分辨光场图像的重建过程不需要引入高分辨网络，进而使得上述高分辨光场图像重建方法更易于落地实现。
进一步，上述基于各个光场图像对应的目标图像，建立目标场景对应的高分辨光场图像，包括：
对各个目标图像进行去噪处理，得到去噪处理后的各个目标图像；
对于去噪处理后的每个目标图像，根据目标图像中各个像素点位置的像素值，计算目标图像中的每个像素点位置对应的像素视觉显著度，其中，像素视觉显著度用于表征像素点的视觉显著性；
计算去噪处理后的各个目标图像中的相同的像素点位置对应的像素视觉显著度的均值；
基于各个像素视觉显著度的均值，建立目标场景对应的高分辨光场图像。
采用上述改进方案的有益效果是：通过去噪处理以提高每个目标图像的信噪比，并利用像素视觉显著度的均值重建光场图像，从而得到具有更高信噪比峰值和更优视觉显著性的高分辨光场图像。
进一步，上述对各个目标图像进行去噪处理，得到去噪处理后的各个目标图像，包括：
对于每个目标图像，利用融合操作窗口将目标图像划分为多个像素块，对每个像素块分别进行双边滤波处理，得到去噪处理后的目标图像。
采用上述改进方案的有益效果是：采用融合操作窗口结合双边滤波处理的去噪方法，能够较好地实现对目标图像的去噪。
进一步，对于去噪处理后的目标图像中的每个像素点位置，该像素点位置对应的像素视觉显著度通过以下公式确定：
Pvi(x0,y0)＝|Pdi(x0,y0)-meani(i,j)|
其中，(x0,y0)表示像素点位置，Pvi(x0,y0)表示像素点位置对应的像素视觉显著度，Pdi(x0,y0)表示像素点位置的像素值，meani(i,j)表示像素点位置对应的像素块的像素平均值，(i,j)表示像素块的尺寸。
采用上述改进方案的有益效果是：通过计算各像素点位置的像素值与其对应的像素平均值之间的差值，能够合理得到每个像素点位置对应的像素视觉显著度。
进一步，上述对于每个光场图像，对光场图像进行信号恢复，得到光场图像对应的目标图像，包括：
对于每个光场图像，利用预先建立的测量矩阵对光场图像进行信号恢复，得到光场图像对应的目标图像，其中，测量矩阵用于表征光场图像与光场图像对应的目标图像之间的转换关系；
其中，对于每个光场图像，该光场图像对应的目标图像通过以下公式确定：
P(i)＝ΦX(i)
其中，P(i)表示光场图像，X(i)表示目标图像，Φ表示测量矩阵。
采用上述改进方案的有益效果是：利用上述信号恢复方法，能够基于光场图像得到具有更多细节信息的目标图像，从而能够利用各个目标图像得到高分辨光场图像。
进一步，液晶微透镜阵列包括用于使液晶沿预定方向取向的衬底导电层，衬底导电层包含栅格结构的氧化锌薄膜。
采用上述改进方案的有益效果是：利用具有栅格结构的氧化锌薄膜，能够实现基于半导体材料的液晶取向功能，提升对液晶的取向效果。
进一步，衬底导电层还包括玻璃衬底，该衬底导电层通过以下方式制备：
利用脉冲激光沉积技术在玻璃衬底上制备氧化锌薄膜；
利用光刻刻蚀技术，将玻璃衬底上的氧化锌薄膜刻蚀成栅格结构，得到衬底导电层。
采用上述改进方案的有益效果是：通过脉冲激光沉积技术和光刻刻蚀技术制备氧化锌薄膜以对液晶实现取向，能够克服传统摩擦取向所产生的微小杂质、绒毛以及静电等缺陷，减少对器件造成的物理性损伤。
第二方面，本发明提供了一种高分辨光场图像重建装置，包括：
获取模块，用于利用液晶微透镜阵列对目标场景获取不同聚焦位置下的光场图像；
处理模块，用于对于每个光场图像，对光场图像进行信号恢复，得到光场图像对应的目标图像；
重建模块，用于基于各个光场图像对应的目标图像，建立目标场景对应的高分辨光场图像。
第三方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行如第一方面的高分辨光场图像重建方法的全部或部分步骤。
第四方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现如第一方面的高分辨光场图像重建方法的全部或部分步骤。
附图说明
图1为本发明实施例提供的一种高分辨光场图像重建方法的流程示意图；
图2为本发明实施例提供的衬底导电层的结构示意图；
图3为本发明实施例提供的一种高分辨光场图像重建装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。
以下结合附图描述本发明实施例的一种高分辨光场图像重建方法。
参照图1所示，本发明提供了一种高分辨光场图像重建方法，包括如下步骤S1至步骤S3，其中：
在步骤S1中，利用液晶微透镜阵列对目标场景获取不同聚焦位置下的光场图像。
需要说明的是，液晶材料是一种双折射率材料，将液晶材料密封到特定的电场中，不同位置液晶分子的摆动角度的不同会造成折射率的不同，而不同的电压会形成不同的电场，进而影响到折射率的分布。
在该实施例中，将液晶材料应用到光场成像中，利用基于液晶微透镜阵列的光场成像系统，通过接入光场成像系统的时序电信号捕获目标场景出射光束的空间和角度信息，以实现对四维光场信息的探测，从而利用液晶微透镜阵列电控调焦的特点，采集到不同聚焦位置下的光场图像。
可选的，在一个实施例中，液晶微透镜阵列包括用于使液晶沿预定方向取向的衬底导电层，衬底导电层包含栅格结构的氧化锌薄膜。
需要说明的是，氧化锌是一种新型的宽禁带化合物半导体材料，由于其具有优异的光电性能以及高化学稳定性，使其可以在光电显示领域作为透明电极使用。
具有栅格结构的氧化锌薄膜定向的液晶微透镜阵列的器件机理如下：
氧化锌薄膜具有单一的C轴结晶择优取向决定了其具有良好的定向(取向)效果与机电耦合性，该特性为使液晶分子大面积有序排布提供了可能。
沟槽理论假设了聚酰亚胺层经过摩擦取向后形成正弦周期性表面，且液晶的弯曲弹性常数和展曲弹性常数相同(K11＝K33＝K)，则该表面所产生的单位面积锚定能为
其中，A和q(q>0)分别为正弦周期性表面的振幅和波函数，
为沟槽与水平方向的夹角。
而在Cassie-Baxter润湿模型中，液晶液滴与具有栅格微结构的氧化锌薄膜整体间的接触角为cosθr＝ps(cosθs+1)-1。其中，ps表示为液晶液滴与氧化锌薄膜接触的面积占比，θs表示液晶液滴在氧化锌薄膜界面下的本征接触角，可使用水滴角测试仪测出。
结合上述沟槽理论和Cassie-Baxter润湿模型，可得知液晶液滴的接触角大小与液滴与固体表面张力大小紧密相关，而液晶分子为长链状分子，分子各部分有不相同的极性以及表面张力，即薄膜的范德华力可以影响液晶分子在微结构薄膜上产生定向能力。因此，具有周期性栅格微结构的氧化锌薄膜对液晶分子具有较好地定向能力。
可选的，在一个实施例中，衬底导电层还包括玻璃衬底，该衬底导电层通过以下方式制备：
利用脉冲激光沉积技术在玻璃衬底上制备氧化锌薄膜；
利用光刻刻蚀技术，将玻璃衬底上的氧化锌薄膜刻蚀成栅格结构，得到衬底导电层。
需要说明的是，现有对液晶微透镜阵列的制备，包括模式电极法(modaladdressing)、聚合物网络法(polymer network)、表面浮雕法(surface-relief profile)和曲率电极法(curved electrode)等方法。这些方法利用液晶双折射率性质，在电场作用下诱导液晶形成梯度折射率分布，入射光经过液晶层后产生光程差，从而达成电控调焦效果。
现有方法通常采用摩擦聚酰亚胺的方式实现对液晶分子的锚定，即基于摩擦取向的方式制备衬底导电层，但是这种方式会产生由机械摩擦导致的取向缺陷。而本实施例中利用脉冲激光沉积技术和光刻刻蚀技术，制备具有栅格结构的氧化锌薄膜以实现对液晶分子的锚定，可以克服传统摩擦取向所产生的微小杂质、绒毛以及静电等缺陷，也可以减少对器件造成物理性损伤，提升对液晶的取向效果
采用脉冲激光沉积技术制备大面积氧化锌薄膜，并使用光刻刻蚀技术，将制备的大面积氧化锌薄膜刻蚀成栅格结构，该氧化锌薄膜微结构利用单面诱导定向方法可实现对液晶分子大面积有序排布。因此，通过制备氧化锌基液晶微透镜阵列(ZnO-LCMLA)，并将该ZnO-LCMLA与成像探测器耦合，可以实现对不同聚焦位置下的光场图像的采集。
在该实施例中，具有氧化锌薄膜定向的液晶微透镜阵列由具有氧化锌薄膜的衬底导电层与向列相液晶层组成。如图2所示，衬底导电层包括玻璃衬底、以及在玻璃衬底采用脉冲激光沉积技术制备的具有栅格微结构的氧化锌薄膜层；向列相液晶层包括玻璃衬底、ITO(氧化铟锡)层和液晶层，该ITO层设于玻璃衬底和液晶层之间，液晶层中的液晶分子受氧化锌薄膜取向层作用呈水平均匀排列。
在没有外加电压作用的情况下，液晶层中单个向列相液晶(液晶分子)倾向于平行于预先设置的锚定方向进行排列。在外加电压作用下，液晶分子开始进行旋转，然后逐步向电场方向发生偏转，逐渐垂直于液晶微透镜的顶部氧化锌薄膜玻璃衬底和底部ITO玻璃衬底，同时，该液晶器件的透射率也逐步提升。
液晶的分子结构决定其光学各向异性，即有两种折射率ne与no。当电场作用于液晶微透镜阵列时，液晶指向矢旋转至角度θ，此时其有效折射率由非寻常光产生，该有效折射率
从而可通过影响折射率的变化以改变焦点。
作为一种可能的实施方式，设置栅格结构的光刻线宽比为1:5。
在步骤S2中，对于每个光场图像，对光场图像进行信号恢复，得到光场图像对应的目标图像。
需要说明的是，目标场景对应的光场通常采用双平面模型来进行表征，光场数据可表示为L(u,v,s,t)，其中，(u,v)表示光场的角度信息，(s,t)表示光场的空间位置信息。对目标场景采集到的光场图像可以看作将4D光场信息映射到2D图像传感器的辐照度I(x,y)＝∫∫L(u,v,s,t)dudv，其中，(x,y)表示采集光场图像的图像传感器的横纵坐标。
对不同聚焦位置下的光场图像进行信号恢复，也即是基于采集到的光场图像得到具有更多细节信息(如更多的光场的角度信息和光场的空间位置信息)的光场数据(目标图像)。
在该实施例中，将液晶微透镜阵列与图像传感器进行耦合，以组成光场成像系统。当加载不同的电压时，液晶微透镜的透过率发生改变，焦点焦距随之发生变化，为了建立高分辨率的光场图像，需要获取不同电压下对应的光场图像，以重建光场图像。
示例性地，根据ZnO-LCMLA器件的电控调焦特性，调控不同电压以获取对应电压下的光场图像。将从起始电压至液晶器件阈值电压获取的光场图像按电压的数值大小顺序进行排列，得到不同聚焦位置下的光场图像P(i),0≤i≤N，其中，i表示序号为i的光场图像，N表示光场图像的数量。
可选的，在一个实施例中，上述对于每个光场图像，对光场图像进行信号恢复，得到光场图像对应的目标图像的实现过程包括：
对于每个光场图像，利用预先建立的测量矩阵对光场图像进行信号恢复，得到光场图像对应的目标图像，其中，测量矩阵用于表征光场图像与光场图像对应的目标图像之间的转换关系；
其中，对于每个光场图像，光场图像对应的目标图像通过以下公式确定：
P(i)＝ΦX(i)
其中，P(i)表示光场图像，X(i)表示目标图像，Φ表示测量矩阵。
可以理解的是，在压缩感知理论P(i)＝ΦX(i)中，测量矩阵用于在尽量减少原始信号的信息量损失的条件下降低原始信号(目标图像)X(i)的维度，因此，在测量矩阵和光场图像已知的条件下，利用压缩感知理论，能够从光场图像中合理恢复出具有更高维度和更多信息量的原始信号，该原始信号具有更多细节信息的具体表示，具备更好的视觉显著性(清晰度)和空间分辨率。
作为一种可能的实施方式，将测量矩阵设置为高斯矩阵，该高斯矩阵的构造方式如下：随机产生一个服从高斯分布的m×n矩阵Φ，矩阵Φ中的每个元素服从均值为0，方差为1/m的高斯分布。其中，矩阵Φ的大小m×n根据实际需要自由设置，本实施例中对此不作限制。
在步骤S3中，基于各个光场图像对应的目标图像，建立目标场景对应的高分辨光场图像。
其中，高分辨光场图像指相较器件直接采集的光场图像，能够具备更优的视觉显著性和更高峰值信噪比的光场图像。
可选的，在一个实施例中，上述基于各个光场图像对应的目标图像，建立目标场景对应的高分辨光场图像的实现过程包括：
对各个目标图像进行去噪处理，得到去噪处理后的各个目标图像；
对于去噪处理后的每个目标图像，根据目标图像中各个像素点位置的像素值，计算目标图像中的每个像素点位置对应的像素视觉显著度，其中，像素视觉显著度用于表征像素点的视觉显著性；
计算去噪处理后的各个目标图像中的相同的像素点位置对应的像素视觉显著度的均值；
基于各个像素视觉显著度的均值，建立目标场景对应的高分辨光场图像。
可以理解的是，视觉显著性表示图像信息受到视觉注意的程度，例如，某个像素在图像中具有较高的灰阶，则该像素在人眼中的被重视程度相比其它像素在人眼中的被重视程度会更高，即该像素具有的图像信息更容易被注意到(受到视觉注意的程度更高)，而受视觉注意的程度越低的像素具有的图像信息越容易被人眼忽略。
示例性地，上述高分辨光场图像通过以下公式确定：
其中，LH表示高分辨光场图像，Pvi表示第i个去噪处理后的目标图像对应的像素视觉显著度，N表示去噪处理后的目标图像的数量。
可选的，在一个实施例中，上述对各个目标图像进行去噪处理，得到去噪处理后的各个目标图像的实现过程包括：
对于每个目标图像，利用融合操作窗口将目标图像划分为多个像素块，对每个像素块分别进行双边滤波处理，得到去噪处理后的目标图像。
作为一种可能的实施方式，将目标图像作为重建高分辨光场图像的输入源，将融合操作窗口的尺寸设置为液晶微透镜阵列的子孔径大小，子孔径大小指液晶微透镜阵列中的圆孔阵列的最大圆内切正方形的边长。
可选的，在一个实施例中，对于去噪处理后的目标图像中的每个像素点位置，该像素点位置对应的像素视觉显著度通过以下公式确定：
Pvi(x0,y0)＝|Pdi(x0,y0)-meani(i,j)|
其中，(x0,y0)表示像素点位置，Pvi(x0,y0)表示像素点位置对应的像素视觉显著度，Pdi(x0,y0)表示像素点位置的像素值，meani(i,j)表示像素点位置对应的像素块的像素平均值，(i,j)表示像素块的尺寸。
上述实施例提供的高分辨光场图像重建方法，利用液晶微透镜阵列的电控调焦特性，实现对不同光场图像的采集，采集过程不需要频繁移动液晶微透镜阵列，能够减少光场图像的采集时间及所需的人力物力，进而提高上述高分辨光场图像重建方法的效率，且利用不同聚焦位置下的光场图像，以基于信号恢复的方法重建高分辨的光场图像，使得高分辨光场图像的重建过程不需要引入高分辨网络，进而使得上述高分辨光场图像重建方法更易于落地实现。
如图3所示，本发明实施例提供的一种高分辨光场图像重建装置，包括：
获取模块20，用于利用液晶微透镜阵列对目标场景获取不同聚焦位置下的光场图像；
处理模块30，用于对于每个光场图像，对光场图像进行信号恢复，得到光场图像对应的目标图像；
重建模块40，用于基于各个光场图像对应的目标图像，建立目标场景对应的高分辨光场图像。
可选的，重建模块40，具体用于对各个目标图像进行去噪处理，得到去噪处理后的各个目标图像；对于去噪处理后的每个目标图像，根据目标图像中各个像素点位置的像素值，计算目标图像中的每个像素点位置对应的像素视觉显著度，其中，像素视觉显著度用于表征像素点的视觉显著性；计算去噪处理后的各个目标图像中的相同的像素点位置对应的像素视觉显著度的均值；基于各个像素视觉显著度的均值，建立目标场景对应的高分辨光场图像。
可选的，重建模块40，还用于对于每个目标图像，利用融合操作窗口将目标图像划分为多个像素块，对每个像素块分别进行双边滤波处理，得到去噪处理后的目标图像。
可选的，处理模块30，具体用于对于每个光场图像，利用预先建立的测量矩阵对光场图像进行信号恢复，得到光场图像对应的目标图像，其中，测量矩阵用于表征光场图像与光场图像对应的目标图像之间的转换关系；其中，对于每个光场图像，光场图像对应的目标图像通过以下公式确定：
P(i)＝ΦX(i)
其中，P(i)表示光场图像，X(i)表示目标图像，Φ表示测量矩阵。
本发明实施例提供的一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行上述任一实施例的高分辨光场图像重建方法的步骤。
如图4所示，本发明实施例提供的一种电子设备500，包括存储器510、处理器520及存储在存储器510上并在处理器520上运行的程序530，处理器520执行程序530时实现上述任一实施例的高分辨光场图像重建方法的步骤。
其中，电子设备500可以选用电脑、手机等，相对应地，其程序530为电脑软件或手机App等，且上述关于本发明的一种电子设备500中的各参数和步骤，可参考上文中高分辨光场图像重建方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种高分辨光场图像重建方法，其特征在于，包括：
利用液晶微透镜阵列对目标场景获取不同聚焦位置下的光场图像；
对于每个所述光场图像，对所述光场图像进行信号恢复，得到所述光场图像对应的目标图像；
基于各个所述光场图像对应的目标图像，建立所述目标场景对应的高分辨光场图像。
2.根据权利要求1所述的方法，其特征在于，所述基于各个所述光场图像对应的目标图像，建立所述目标场景对应的高分辨光场图像，包括：
对各个所述目标图像进行去噪处理，得到去噪处理后的各个所述目标图像；
对于去噪处理后的每个所述目标图像，根据所述目标图像中各个像素点位置的像素值，计算所述目标图像中的每个像素点位置对应的像素视觉显著度，其中，所述像素视觉显著度用于表征像素点的视觉显著性；
计算去噪处理后的各个所述目标图像中的相同的像素点位置对应的像素视觉显著度的均值；
基于各个所述像素视觉显著度的均值，建立所述目标场景对应的高分辨光场图像。
3.根据权利要求2所述的方法，其特征在于，所述对各个所述目标图像进行去噪处理，得到去噪处理后的各个所述目标图像，包括：
对于每个所述目标图像，利用融合操作窗口将所述目标图像划分为多个像素块，对每个所述像素块分别进行双边滤波处理，得到去噪处理后的所述目标图像。
4.根据权利要求3所述的方法，其特征在于，对于去噪处理后的所述目标图像中的每个像素点位置，所述像素点位置对应的像素视觉显著度通过以下公式确定：
Pvi(x0,y0)＝|Pdi(x0,y0)-meani(i,j)|
其中，(x0,y0)表示像素点位置，Pvi(x0,y0)表示像素点位置对应的像素视觉显著度，Pdi(x0,y0)表示像素点位置的像素值，meani(i,j)表示像素点位置对应的像素块的像素平均值，(i,j)表示像素块的尺寸。
5.根据权利要求1所述的方法，其特征在于，所述对于每个所述光场图像，对所述光场图像进行信号恢复，得到所述光场图像对应的目标图像，包括：
对于每个所述光场图像，利用预先建立的测量矩阵对所述光场图像进行信号恢复，得到所述光场图像对应的目标图像，其中，所述测量矩阵用于表征光场图像与所述光场图像对应的目标图像之间的转换关系；
其中，对于每个所述光场图像，所述光场图像对应的目标图像通过以下公式确定：
P(i)＝ΦX(i)
其中，P(i)表示光场图像，X(i)表示目标图像，Φ表示测量矩阵。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述液晶微透镜阵列包括用于使液晶沿预定方向取向的衬底导电层，所述衬底导电层包含栅格结构的氧化锌薄膜。
7.根据权利要求6所述的方法，其特征在于，所述衬底导电层还包括玻璃衬底，所述衬底导电层通过以下方式制备：
利用脉冲激光沉积技术在所述玻璃衬底上制备氧化锌薄膜；
利用光刻刻蚀技术，将所述玻璃衬底上的氧化锌薄膜刻蚀成栅格结构，得到所述衬底导电层。
8.一种高分辨光场图像重建装置，其特征在于，包括：
获取模块，用于利用液晶微透镜阵列对目标场景获取不同聚焦位置下的光场图像；
处理模块，用于对于每个所述光场图像，对所述光场图像进行信号恢复，得到所述光场图像对应的目标图像；
重建模块，用于基于各个所述光场图像对应的目标图像，建立所述目标场景对应的高分辨光场图像。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至7中任一项所述的高分辨光场图像重建方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的高分辨光场图像重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210555644.1A CN115018702A (zh) | 2022-05-19 | 2022-05-19 | 高分辨光场图像重建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210555644.1A CN115018702A (zh) | 2022-05-19 | 2022-05-19 | 高分辨光场图像重建方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115018702A true CN115018702A (zh) | 2022-09-06 |
Family
ID=83069634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210555644.1A Pending CN115018702A (zh) | 2022-05-19 | 2022-05-19 | 高分辨光场图像重建方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018702A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116782041A (zh) * | 2023-05-29 | 2023-09-19 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
| CN116866731A (zh) * | 2023-05-29 | 2023-10-10 | 武汉工程大学 | 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质 |
-
2022
- 2022-05-19 CN CN202210555644.1A patent/CN115018702A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116782041A (zh) * | 2023-05-29 | 2023-09-19 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
| CN116866731A (zh) * | 2023-05-29 | 2023-10-10 | 武汉工程大学 | 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质 |
| CN116782041B (zh) * | 2023-05-29 | 2024-01-30 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
| CN116866731B (zh) * | 2023-05-29 | 2024-05-10 | 武汉工程大学 | 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115018702A (zh) | 高分辨光场图像重建方法、装置、电子设备及存储介质 | |
| Xin et al. | Dual-polarized light-field imaging micro-system via a liquid-crystal microlens array for direct three-dimensional observation | |
| JP2010121935A (ja) | 偏光画像撮像装置および画像処理装置 | |
| CN101059459A (zh) | 显微热成像方法及其装置 | |
| US20150261024A1 (en) | Electro-Optic Modulators and Thin Film Transistor Array Test Apparatus Including the Same | |
| Muglikar et al. | Event-based shape from polarization | |
| DE69426586T2 (de) | Integrierte elektrooptische Flüssigkristallvorrichtung und Verfahren zu seiner Verwendung | |
| JP2738613B2 (ja) | 液晶演算素子及びこれを用いた画像処理システム | |
| CN102647567A (zh) | Cmos图像传感器及其像素结构 | |
| Joo et al. | Light-field camera for fast switching of time-sequential two-dimensional and three-dimensional image capturing at video rate | |
| US20200154042A1 (en) | Light field imaging system | |
| CN114155353A (zh) | 基于液晶微透镜阵列的点云三维重建方法及装置 | |
| CN104952081A (zh) | 一种基于极值差分统计特征的cog偏移检测方法 | |
| EP4187316A1 (en) | Polarizer, polarizer array, controllable polarization method and apparatus, and electronic device | |
| He et al. | High-resolution light field imaging based on liquid crytal microlens arrays with ZnO microstructure orientation | |
| JP7049274B2 (ja) | より豊富なカラーサンプリング用のプレノプティック・サブアパーチャ・ビュー・シャッフリング | |
| CN101368846B (zh) | 一种基于液晶板自动控制光强实现局部选通的探测器 | |
| CN105842928A (zh) | 显示面板 | |
| CN117054339A (zh) | 一种基于液晶微阵列器件的分焦平面型偏振成像装置 | |
| CN103137026B (zh) | 一种电子设备及其成像方法 | |
| Jiang | High-speed image acquisition system and image acquisition method of ferroelectric liquid crystal light valve film | |
| CN113538300B (zh) | 基于液晶d型光学元件的高清光场成像方法 | |
| Sharma et al. | Morphological and electro optic studies of polymer dispersed liquid crystal in reverse mode | |
| CN117348308A (zh) | 可调液晶透镜、基于可调液晶透镜的光谱成像方法及系统 | |
| TW475060B (en) | Method and device for measuring ion density in liquid crystal panel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |