CN115980049B - 一种透玻透膜清晰成像的方法及系统 - Google Patents

Abstract

本发明公开了一种透玻透膜清晰成像的方法及系统，涉及偏振成像技术领域，本发明方法对入射光线角度、主动激光的偏振态进行调整和优化，最大程度上减小反射光干扰效果，实现对玻璃后景物的最清晰成像，得到玻璃后景物的最优图像。本发明系统中集成了大张角的中红外相机、近红外激光器、小张角的近红外相机、控制单元、处理单元，实现了对场景中的玻璃后景物的快速清晰成像。

Description

一种透玻透膜清晰成像的方法及系统

技术领域

本发明涉及偏振成像技术领域，尤其是一种透玻透膜清晰成像的方法及系统。

背景技术

在公共安全等领域中的夜间特定场合，需要快速发现隐藏在房间窗户或汽车车窗后的可疑目标。这里存在两个技术问题：一是在场景中快速发现玻璃（房间窗户或汽车车窗）；二是对玻璃（包括贴膜）后面的景物进行清晰成像。

玻璃后景物难以被看清的主要原因是玻璃面的反射光干扰了玻璃后面物体的成像，即在成像时，相机既接收到玻璃后面物体的成像反射光同时又接收到玻璃表面的反射光。现有的透玻透膜技术主要有两个方面：一方面是采用被动的偏振光技术；另一方面是采用主动的偏振光技术。被动的偏振光技术就是自然光（或环境光）照射在玻璃上，利用偏振光技术减小玻璃表面的反射光干扰，从而提高玻璃后景物成像的清晰度。主动的偏振光技术就是主动发射偏振激光束照射在玻璃上，再利用偏振光技术减小玻璃表面的反射光干扰，从而提高玻璃后景物成像的清晰度。

偏振光照射在玻璃上产生反射和折射，反射光和折射光的偏振性和光强要遵守斯托克斯公式。但是，现有技术没有利用斯托克斯公式对入射光线的角度、主动激光的偏振态进行调整和优化，从而未能实现最大程度上的减小反射光干扰效果，玻璃后景物成像的清晰度存在很大偶然性。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种透玻透膜清晰成像的方法及系统，对主动激光的偏振态进行调整和优化，最大程度上减小反射光干扰效果，实现对玻璃后景物的最清晰成像，得到玻璃后景物的最优图像。

为实现上述目的，本发明采用以下技术方案，包括：

一种透玻透膜清晰成像的方法，包括以下步骤：

S4，将近红外激光器发射的激光光束指向玻璃，并调整激光扩束镜的焦距，使玻璃上完全覆盖光斑，且光斑大小与玻璃大小相适配；

S5，近红外激光器的激光偏振方向为初始偏振方向；将近红外相机对准玻璃，利用近红外相机对玻璃后景物进行第1次主动成像，得到玻璃后景物的第1次图像，并将所得到的第1次图像初始化为最优图像；

S6，调整近红外激光器中的二分之一波片，改变激光偏振方向；并利用近红外相机对玻璃后景物进行下一次主动成像，得到玻璃后景物的下一次图像；

然后寻找最优图像，寻找方式为：将所得到的下一次图像与最优图像进行比较，若下一次图像的清晰度大于最优图像的清晰度，则将最优图像更新为所得到的下一次图像；否则不对最优图像进行更新；

S7，按照步骤S6的方式，逐步调整近红外激光器中的二分之一波片，逐步改变激光偏振方向，并利用近红外相机对玻璃后景物进行下一次主动成像，然后寻找最优图像；直至激光偏振方向改变90º，寻找得到最终的最优图像。

优选的，在步骤S4之前，还包括以下步骤：

S1，利用中红外相机对场景进行被动成像，得到场景图像；

S2，利用目标检测算法对场景图像进行目标检测，检测出场景图像中的玻璃即目标；

S3，根据中红外相机的相机参数和相机位置，以及场景图像中的玻璃位置，确定场景中的玻璃位置。

优选的，近红外激光器发射的激光光束即入射光线与玻璃表面的法线之间的夹角，即法向夹角小于70º。

优选的，图像的清晰度计算方式为：C=k1×M+k2×N；其中，C为图像的清晰度，k1、k2均为比例系数；M为图像经Sobel算子处理后的平均灰度值，N为图像的方差值。

优选的，近红外激光器的激光偏振方向范围为[α1,α2]，α2=α1+90º；

步骤S5中，以α1为初始偏振方向；

步骤S6-S7中，每次对玻璃后景物进行主动成像时，将近红外激光器的激光偏振方向增加Δβ，直至增加至α2。

优选的，所述近红外激光器的波长为0.8um-1um；所述近红外相机的响应波长为0.8um-1um，张角小于10º。

优选的，所述中红外相机的响应波长为8um-12um，张角大于150º。

优选的，系统包括：中红外相机、近红外激光器、近红外相机、控制单元、处理单元；

所述中红外相机用于对整个场景进行被动成像，得到场景图像，并将场景图像发送给处理单元；

所述处理单元用于对场景图像进行目标检测，检测出场景图像中的玻璃即目标，并根据场景图像中的玻璃位置以及中红外相机的相机参数和相机位置确定场景中的玻璃位置，将场景中的玻璃位置分别发送控制单元；

所述控制单元用于根据场景中的玻璃位置，对近红外激光器和近红外相机进行位置调整；

所述近红外激光器根据场景中的玻璃位置，发射激光光束指向玻璃；所述近红外激光器的二分之一波片为可旋转，即激光偏振方向为可调整；

所述近红外相机用于对场景中的玻璃后景物进行主动成像，得到玻璃后景物的图像，并将玻璃后景物的图像发送给处理单元；

所述处理单元还用于判断玻璃后景物的图像清晰度，寻找最优图像；

所述控制单元还用于控制近红外激光器中二分之一波片，改变激光偏振方向。

优选的，系统整体安装在可升降、可移动的平台上；所述控制单元通过控制平台的移动和升降，使得近红外激光器发射的激光光束指向场景中的玻璃，且激光光束即入射光线与玻璃表面的法线之间的夹角小于70º；以及使得近红外相机对准场景中的玻璃。

本发明的优点在于：

（1）本发明方法对入射光线角度、主动激光的偏振态进行调整和优化，最大程度上减小反射光干扰效果，实现对玻璃后景物的最清晰成像，得到玻璃后景物的最优图像。

（2）入射光线与玻璃表面的法线组成的平面称为入射面，由于玻璃表面的法线方向可能是随意的，各种方向皆有可能。故实际探测中，入射面的方向会有各种可能，因此需要逐步调整入射光的偏振方向，使得入射光的偏振方向落在入射面内，从而使得入射光完全变成的平行分量的光，这时玻璃后景物的成像应是最清晰。

（3）根据斯托克斯公式以及实施例的实验分析，由于透玻透膜成像是利用透璃透膜的折射光来成像的，故有用的折射光强度应越强越好，干扰的反射光越弱越好，因此光源要选用平行分量的偏振光，入射角即入射光线与玻璃表面的法线之间的夹角要小于70º。

（4）本发明系统中设有大张角的中红外相机，利用大张角的中红外相机可以一次性的对大面积场景进行被动成像，使得场景图像中尽可能多的包含目标即玻璃，如房间窗户、汽车车窗、贴膜，节省了目标检测时间。

（5）本发明系统中集成了大张角的中红外相机、近红外激光器、小张角的近红外相机、控制单元、处理单元，实现了对场景中的玻璃后景物的快速清晰成像。

（6）本发明将系统整体安装在可升降、可移动的平台上，通过控制平台的移动和升降，使得近红外激光器发射的激光光束指向玻璃，且激光光束与玻璃表面的法线之间的夹角小于70º，以及使得近红外相机对准场景中的玻璃，方便对场景中的玻璃后景物进行快速清晰成像。

附图说明

图1为一种透玻透膜清晰成像的系统示意图。

图2为一种透玻透膜清晰成像的方法流程图。

图3为光的反射和折射示意图。

图4为反射光和折射光中各偏振分量的菲涅耳系数与入射角之间的关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

由图1所示，一种透玻透膜清晰成像的系统，包括：中红外相机1、近红外激光器2、近红外相机3、控制单元4、处理单元5；

所述中红外相机1用于对整个场景进行被动成像，得到场景图像，并将场景图像发送给处理单元5。本实施例中，所述中红外相机1的响应波长即敏感波长在10um左右，张角大于150º。

所述处理单元5用于对场景图像进行目标检测，检测出场景图像中的玻璃即目标，并根据场景图像中的玻璃位置以及中红外相机1的相机参数和相机位置确定场景中的玻璃位置，处理单元5将场景中的玻璃位置发送给控制单元4。

所述控制单元4用于根据场景中的玻璃位置，对近红外激光器2和近红外相机3进行位置调整。

所述近红外激光器2根据场景中的玻璃位置，发射激光光束指向玻璃；所述近红外激光器2的二分之一波片为可旋转，即激光偏振方向为可调整。本实施例中，所述近红外激光器2的波长在0.8um左右。

所述近红外相机3用于对场景中的玻璃后景物进行主动成像，得到玻璃后景物的图像，并将玻璃后景物的图像发送给处理单元5。本实施例中，所述近红外相机3的响应波长在0.8um左右，张角小于10º。

所述处理单元5还用于判断玻璃后景物的图像清晰度，寻找最优图像。

所述控制单元4还用于控制近红外激光器2中二分之一波片，改变激光偏振方向。

系统整体安装在可升降、可移动的平台上；所述控制单元4通过控制平台的移动和升降，使得近红外激光器2发射的激光光束指向玻璃，且激光光束与玻璃表面的法线之间的夹角小于70º，以及使得近红外相机3对准场景中的玻璃。本实施例中，将系统安装在一个可升降的固定台上，固定台安装在移动车辆上。

实施例2

由图2所示，一种透玻透膜清晰成像的方法，包括以下步骤：

S1，利用大张角的中红外相机1对场景进行被动成像，得到场景图像。

其中，利用大张角的中红外相机1可以一次性的对大面积场景进行成像，使得场景图像中尽可能多的包含目标即玻璃，如房间窗户、汽车车窗、贴膜，节省了目标检测时间。被动成像是指通过接收物体自身发出红外辐射形成图像。

S2，利用目标检测算法对场景图像进行目标检测，检测出场景图像中的目标即玻璃。

本实施例中，采用基于深度学习的多粒度对齐域自适应玻璃检测方法，该方法利用全尺度门控融合模块来适应不同尺度和不同纵横比的各种情况。在粗检测的尺度指导下，选择具有不同卷积核的最合理的卷积单元，提取玻璃尺度方面的紧凑特征。使用多粒度鉴别器从不同的透视图(包括像素、实例和类别)中识别样本是属于源域还是目标域。在优化玻璃检测网络时，通过梯度反转传递反向梯度来减小两个域之间的差异。设计全尺度门控玻璃检测网络，同时对多粒度鉴别器进行了不同粒度的优化，包括像素级、实例级和类别级。该方法可有效地检测出场景中的玻璃，该方法具体可参考于现有技术，也可以采用其他现有技术进行场景图像中的玻璃检测。

S3，根据中红外相机1的相机参数和相机位置，以及场景图像中的玻璃位置，确定场景中的玻璃位置。其中，场景中玻璃位置的确定，可参考于现有技术。

S4，根据场景中的玻璃位置，将近红外激光器2发射的激光光束指向场景中的玻璃，且激光光束与玻璃表面的法线之间的夹角，即法向夹角小于70º；并调整激光扩束镜的焦距，使玻璃上刚好完全覆盖光斑，即光斑大小与玻璃大小相适配。

S5，近红外激光器2的激光偏振方向为初始偏振方向；根据场景中的玻璃位置，调整近红外相机3对准场景中的玻璃，利用近红外相机3对玻璃后景物进行第1次主动成像，得到玻璃后景物的第1次图像，并将所得到的第1次图像初始化为最优图像。

其中，利用小张角的近红外相机3对玻璃后景物进行主动成像。主动成像是指先发出红外光束照射物体，再依靠物体反射的红外辐射形成图像。

S6，调整近红外激光器2中的二分之一波片，改变激光偏振方向；并利用近红外相机3对玻璃后景物进行下一次主动成像，得到玻璃后景物的下一次图像；然后寻找最优图像，寻找方式为：将所得到的下一次图像与最优图像进行比较，若下一次图像的清晰度大于最优图像的清晰度，则将最优图像更新为所得到的下一次图像；否则不对最优图像进行更新。

图像清晰度是指图像上各细部影纹及其边界的清晰程度。图像清晰度的评价算法有很多种，在空域中，主要思路是考察图像的邻域对比度，即相邻像素间灰度特征的梯度差；在频域中，主要思路是考察图像的频率分量，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。

本实施例中，判断玻璃后景物成像的清晰度采用Tenengrad梯度方法和方差方法。Tenengrad梯度方法是指：利用Sobel算子分别计算水平方向和垂直方向的梯度，同一场景下梯度值越高，图像越清晰。Tenengrad梯度方法的衡量指标是图像经过Sobel算子处理后的平均灰度值M，平均灰度值M越大，代表图像越清晰。方差方法是指：对焦清晰的图像相比对焦模糊的图像，对焦清晰的图像中灰度数据之间的差异更大，即对焦清晰图像的方差应该较大，因此可以通过图像中灰度数据的方差值N来衡量图像的清晰度，方差值N越大，表示清晰度越好。同时计算平均灰度值M和方差N两种指标，根据试验数据分别设定两种方法的阈值，当平均灰度值M和方差N都优于各自的阈值时，判定图像为清晰图像。

本实施例中，图像的清晰度计算方式为：C=k1×M+k2×N；

其中，C为图像的清晰度，k1、k2均为比例系数，0≤k1≤1，0≤k2≤1；M为图像经Sobel算子处理后的平均灰度值，N为图像的方差值。

S7，按照步骤S6的方式，逐步调整近红外激光器2中的二分之一波片，逐步改变激光偏振方向，并利用近红外相机3对玻璃后景物进行下一次主动成像，然后寻找最优图像；直至激光偏振方向的改变达到90º，寻找得到最终的最优图像。

本实施例中，近红外激光器2的激光偏振方向范围为[α1,α2]，α2=α1+90º。步骤S5中，以α1为初始偏振方向。步骤S6-S7中，每次对玻璃后景物进行主动成像时，将近红外激光器2的激光偏振方向增加Δβ，直至增加至α2。

本发明中，图像是否清晰的根本原因是近红外激光器2的发射激光即入射激光透玻透膜后的效率是否高，入射激光透玻透膜后的效率越高，图像越清晰。

本发明通过旋转二分之一波片，调整激光偏振方向，以提高入射激光透玻透膜后的效率，其理论依据是光反射和光折射所遵循的菲涅耳定律。光的反射和折射示意图如图3所示，反射光振幅和折射光振幅的菲涅耳公式为：

；

其中，Ep、Es分别为入射光在平行方向的振幅分量和在垂直方向的振幅分量，E1p、E1s分别为反射光在平行方向的振幅分量和在垂直方向的振幅分量，E2p、E2s分别为折射光在平行方向的振幅分量和在垂直方向的振幅分量。i1为入射光的入射角，即近红外激光器2发射的激光光束与玻璃表面的法线之间的夹角。i2为折射光的折射角。

上述公式中的分式项称为菲涅耳系数。

假设一束光以入射角i1射至空气与玻璃的分界面，再假设空气的折射率为1，玻璃的折射率为1.5，则由上述菲涅耳公式，可算出反射光和折射光中各个偏振分量E1p、E1s、E2p、E2s的菲涅耳系数随入射角i1的关系，如图4所示。

从图4中可以看出，当入射角i1小于70º时，反射光中各偏振分量即E1p、E1s的菲涅耳系数小于折射光中各偏振分量即E2p、E2s的菲涅耳系数，且折射光中平行方向的振幅分量E2p的菲涅耳系数最大；当入射角大于70º时，反射光中垂直方向的振幅分量E1s的菲涅耳系数最大。图4中，横坐标表示入射角度，纵坐标表示菲涅耳系数。

由于透玻透膜成像是利用透璃透膜的折射光来成像的，故折射光强度应越大越好。由此图4可知，光源要选用平行分量的偏振光，入射角i1要小于70º。

入射光线与玻璃表面的法线组成的平面称为入射面，由于玻璃表面的法线方向可能是随意的，各种方向皆有可能。故实际探测中，入射面的方向会有各种可能，因此需要逐步调整入射光的偏振方向，使得入射光的偏振方向落在入射面内，从而使得入射光完全变成的平行分量的光，这时玻璃后景物的成像应是最清晰。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (9)

1.一种透玻透膜清晰成像的方法，其特征在于，包括以下步骤：

S4，将近红外激光器（2）发射的激光光束指向玻璃，并调整激光扩束镜的焦距，使玻璃上完全覆盖光斑，且光斑大小与玻璃大小相适配；

S5，近红外激光器（2）的激光偏振方向为初始偏振方向；将近红外相机（3）对准玻璃，利用近红外相机（3）对玻璃后景物进行第1次主动成像，得到玻璃后景物的第1次图像，并将所得到的第1次图像初始化为最优图像；

S6，调整近红外激光器（2）中的二分之一波片，改变激光偏振方向；并利用近红外相机（3）对玻璃后景物进行下一次主动成像，得到玻璃后景物的下一次图像；

然后寻找最优图像，寻找方式为：将所得到的下一次图像与最优图像进行比较，若下一次图像的清晰度大于最优图像的清晰度，则将最优图像更新为所得到的下一次图像；否则不对最优图像进行更新；

S7，按照步骤S6的方式，逐步调整近红外激光器（2）中的二分之一波片，逐步改变激光偏振方向，并利用近红外相机（3）对玻璃后景物进行下一次主动成像，然后寻找最优图像；直至激光偏振方向改变90º，寻找得到最终的最优图像。

2.根据权利要求1所述的一种透玻透膜清晰成像的方法，其特征在于，在步骤S4之前，还包括以下步骤：

S1，利用中红外相机（1）对场景进行被动成像，得到场景图像；

S2，利用目标检测算法对场景图像进行目标检测，检测出场景图像中的玻璃即目标；

S3，根据中红外相机（1）的相机参数和相机位置，以及场景图像中的玻璃位置，确定场景中的玻璃位置。

3.根据权利要求1所述的一种透玻透膜清晰成像的方法，其特征在于，近红外激光器（2）发射的激光光束即入射光线与玻璃表面的法线之间的夹角，即法向夹角小于70º。

4.根据权利要求1所述的一种透玻透膜清晰成像的方法，其特征在于，图像的清晰度计算方式为：C=k1×M+k2×N；其中，C为图像的清晰度，k1、k2均为比例系数；M为图像经Sobel算子处理后的平均灰度值，N为图像的方差值。

5.根据权利要求1所述的一种透玻透膜清晰成像的方法，其特征在于，近红外激光器（2）的激光偏振方向范围为[α1,α2]，α2=α1+90º；

步骤S5中，以α1为初始偏振方向；

步骤S6-S7中，每次对玻璃后景物进行主动成像时，将近红外激光器（2）的激光偏振方向增加Δβ，直至增加至α2。

6.根据权利要求1所述的一种透玻透膜清晰成像的方法，其特征在于，所述近红外激光器（2）的波长为0.8um-1um；所述近红外相机（3）的响应波长为0.8um-1um，张角小于10º。

7.根据权利要求2所述的一种透玻透膜清晰成像的方法，其特征在于，所述中红外相机（1）的响应波长为8um-12um，张角大于150º。

8.适用于权利要求1-7任意一项所述的一种透玻透膜清晰成像的方法的系统，其特征在于，系统包括：中红外相机（1）、近红外激光器（2）、近红外相机（3）、控制单元（4）、处理单元（5）；

所述中红外相机（1）用于对整个场景进行被动成像，得到场景图像，并将场景图像发送给处理单元（5）；

所述处理单元（5）用于对场景图像进行目标检测，检测出场景图像中的玻璃即目标，并根据场景图像中的玻璃位置以及中红外相机（1）的相机参数和相机位置确定场景中的玻璃位置，将场景中的玻璃位置分别发送控制单元（4）；

所述控制单元（4）用于根据场景中的玻璃位置，对近红外激光器（2）和近红外相机（3）进行位置调整；

所述近红外激光器（2）根据场景中的玻璃位置，发射激光光束指向玻璃；所述近红外激光器（2）的二分之一波片为可旋转，即激光偏振方向为可调整；

所述近红外相机（3）用于对场景中的玻璃后景物进行主动成像，得到玻璃后景物的图像，并将玻璃后景物的图像发送给处理单元（5）；

所述处理单元（5）还用于判断玻璃后景物的图像清晰度，寻找最优图像；

所述控制单元（4）还用于控制近红外激光器（2）中二分之一波片，改变激光偏振方向。

9.根据权利要求8所述的一种透玻透膜清晰成像的方法的系统，其特征在于，系统整体安装在可升降、可移动的平台上；

所述控制单元（4）通过控制平台的移动和升降，使得近红外激光器（2）发射的激光光束指向场景中的玻璃，且激光光束即入射光线与玻璃表面的法线之间的夹角小于70º；以及使得近红外相机（3）对准场景中的玻璃。

Images