CN116939376B

CN116939376B - 一种基于stokes矢量的四目相机同时偏振成像系统及方法

Info

Publication number: CN116939376B
Application number: CN202311181417.8A
Authority: CN
Inventors: 刘建华; 刘秉坤; 王大帅; 董玉杰; 范大祥; 文瀚
Original assignee: Changchun University of Science and Technology
Current assignee: Changchun University of Science and Technology
Priority date: 2023-09-14
Filing date: 2023-09-14
Publication date: 2023-12-22
Anticipated expiration: 2043-09-14
Also published as: CN116939376A

Abstract

本发明是一种基于stokes矢量的四目相机同时偏振成像系统及方法。本发明涉及偏振成像技术领域，本发明根据斯托克斯矢量公式，设计搭建了由2×2相机阵列组成的四目偏振相机系统，4个CMOS相机由一机箱固定在同一个平面，选择相同规格型号的CMOS相机，并调整每个相机的曝光度、对比度等参数都相同，以保证每个相机采集到的图像没有明显差异。在每个相机的镜头前固定一个光学调制系统，该系统可以将入射光调制成不同角度的偏振光，由此可以同时采集四路不同角度的偏振图像，对四幅图像进行图像配准，以便进行后续的偏振度、偏振角等重要参数的计算。可用于动态目标的成像，并且与集成好的商用偏振相机相比，成本较低。

Description

一种基于stokes 矢量的四目相机同时偏振成像系统及方法

技术领域

本发明涉及偏振成像技术领域，是一种基于stokes矢量的四目相机同时偏振成像系统及方法。

背景技术

光波属于横波的一种，除振幅，相位及频率外，偏振也是光波的基本物理属性之一。光的偏振指的是光波电场矢量振动的空间分布情况对于光的传播方向失去对称性。利用光波中的偏振信息，可以提高成像对比度，凸显目标的细节信息。鉴于此，偏振成像技术受到广泛关注，在民生、医学、天文和军事等各个领域都有着不同程度的应用。

根据stokes矢量成像原理，分时偏振成像主系统要通过旋转调整光学调制器件来逐次采集不同偏振态图像，无法完成对动态场景的成像探测；分振幅型偏振成像系统繁琐，能量损耗大；分孔径型偏振成像系统空间分辨率低；分焦平面型偏振成像系统的微偏振列工艺制备困难。通过对现有不同的偏振成像系统的研究，设计搭建了一种由 2×2 相机阵列组成的同时偏振成像系统，该系统通过调制四路入射光来获取光波的不同偏振态，解决了现有偏振成像系统的缺点。四个光通道呈 2×2 阵列平行分布用于对同一目标区域成像，每个通道的探测模块由起偏器件与成像系统组成。

发明内容

本发明为克服现有技术的不足，本发明根据斯托克斯矢量公式，设计搭建了由 2×2 相机阵列组成的四目偏振相机系统，4 个CMOS相机由一机箱固定在同一个平面，选择相同规格型号的CMOS相机，并调整每个相机的曝光度、对比度等参数都相同，以保证每个相机采集到的图像没有明显差异。在每个相机的镜头前固定一个光学调制系统，该系统可以将入射光调制成不同角度的偏振光，由此可以同时采集四路不同角度的偏振图像，对四幅图像进行图像配准，以便进行后续的偏振度、偏振角等重要参数的计算。该系统可用于动态目标的成像，并且与集成好的商用偏振相机相比，成本较低。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本发明提供了一种基于stokes矢量的四目相机同时偏振成像系统及方法，本发明提供了以下技术方案：

一种基于 stokes 矢量的四目相机同时偏振成像系统，所述系统包括：相机阵列、偏振片和图像处理系统；

相机阵列由 2×2 相机阵列组成，有四个通道，通过使用偏振片调制四路入射光来获取光波的不同偏振态，完成调制后，通过相机完成对四路图像数据的采集，通过图像处理系统对采集的图像数据进行处理。

优选地，用stokes矢量来表征光波的偏振特性，通过光强来表示斯托克斯矢量，通过不同入射光的光强来表征光的偏振态，4个斯托克斯参数由一个4×1的矩阵来表示：

其中，分别表示不同入射角度，为了方便能同时采集统一目标场景的不同偏振态，使用相同规格型号的 CMOS 相机，在采集数据前对每个相机的各个参数进行统一的设定。

一种基于 stokes 矢量的四目相机同时偏振成像方法，所述方法基于一种基于stokes 矢量的四目相机同时偏振成像系统，其特征是：所述方法包括以下步骤：

步骤1：调整成像系统与被测目标的位置，将基准图像与待配准图像进行灰度化；

步骤2：对灰度化的图像进行边缘检测；

步骤3：确定基准图像与待配准图像处于目标边缘位置的像素点，将其作为特征点；

步骤4：根据图像边缘确定的特征点，对图像进行分割；

步骤5：根据分割完的图像，进行图像配准。

优选地，所述步骤1具体为：

调整成像系统与被测目标的位置，在其中一个相机的采集下，使被测目标处于传感器的成像中心，将其作为基准图像，剩余相机采集到的图像作为待配准图像，首先将基准图像与待配准图像进行灰度化，

其中，x和y为像素点的坐标，表示灰度化后的图像，/>表示原图像，表示灰度化处理。

优选地，所述步骤2具体为：

对灰度化的图像进行边缘检测，在自然背景下，被测目标的像素点与处在采集背景中的像素点的灰度值差距较大，即处于目标轮廓两侧位置的像素点的灰度值变化最大，利用像素灰度值变化函数的导数来表示；

其中，表示灰度值变化最大，/>表示处于被测目标边缘位置的像素点，d为计算函数的导数，dx为x的微分，dy为y的微分，gray为对图像进行灰度化处理。

优选地，所述步骤3具体为：

确定基准图像与待配准图像处于目标边缘位置的像素点，将其作为特征点；位于被测目标边缘的像素点与背景下或被测目标本身的像素点的灰度值相差较大，设置阈值函数，将一个像素点的灰度值与相邻像素点的灰度值相比较，当差值大于阈值，则判定该像素点位于边缘位置；

设置的阈值函数如下，灰度值的取值范围为[0,255]，在区间内收敛：

添加调节因子，使阈值函数更加灵活：

上式中，表示阈值函数，/>为调节因子，e为自然对数的底数，是一个常数；

其中，表示灰度值的差值，/>为图像中处于坐标系/>位置的像素点的灰度值，/>为图像中处于坐标系/>位置的像素点的灰度值。

优选地，所述步骤4具体为：

根据图像边缘确定的特征点，对图像进行分割，每个图像的特征点到图像边缘像素点的距离相等；

其中，为基准图像特征点到图像边缘的距离，/>为待配准图像特征点到图像边缘的距离，/>为基准图像特征点的坐标，/>为图像边缘的坐标，/>为待配准图像特征点的坐标。

优选地，所述方法还包括使用小波阈值进行去噪，选择的分解层数为3；

对阈值进行改进，阈值如下：

其中，为阈值，s为噪声标准差，N为信号尺度，i为分解层数，改进后的阈值会随着分解层数的增加而减小。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种基于 stokes 矢量的四目相机同时偏振成像方法。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于 stokes 矢量的四目相机同时偏振成像方法。

本发明具有以下有益效果：

本发明与现有技术相比：

本发明根据斯托克斯矢量公式，设计搭建了由 2×2 相机阵列组成的四目偏振相机系统，4 个CMOS相机由一机箱固定在同一个平面，选择相同规格型号的CMOS相机，并调整每个相机的曝光度、对比度等参数都相同，以保证每个相机采集到的图像没有明显差异。在每个相机的镜头前固定一个光学调制系统，该系统可以将入射光调制成不同角度的偏振光，由此可以同时采集四路不同角度的偏振图像，对四幅图像进行图像配准，以便进行后续的偏振度、偏振角等重要参数的计算。该系统可用于动态目标的成像，并且与集成好的商用偏振相机相比，成本较低。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种基于 stokes 矢量的四目相机同时偏振成像系统结构示意图；

图2是相机光学调制系统示意图；

图3是成像视场示意图；

图4是阈值函数曲线示意图；

图5是基于 stokes 矢量的四目相机同时偏振成像流程图；

图6是小波分解示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1至图6所示，本发明为解决上述技术问题采取的具体优化技术方案是：本发明涉及一种基于stokes矢量的四目相机同时偏振成像系统及方法。

具体实施例二：

本申请实施例二与实施例一的区别仅在于：

用stokes矢量来表征光波的偏振特性，通过光强来表示斯托克斯矢量，通过不同入射光的光强来表征光的偏振态，4个斯托克斯参数由一个4×1的矩阵来表示：

具体实施例三：

本申请实施例三与实施例二的区别仅在于：

一种基于 stokes 矢量的四目相机同时偏振成像方法，所述方法基于一种基于stokes 矢量的四目相机同时偏振成像系统，所述方法包括以下步骤：

步骤2：对灰度化的图像进行边缘检测；

步骤4：根据图像边缘确定的特征点，对图像进行分割；

步骤5：根据分割完的图像，进行图像配准。

具体实施例四：

本申请实施例四与实施例三的区别仅在于：

所述步骤1具体为：

具体实施例五：

本申请实施例五与实施例四的区别仅在于：

所述步骤2具体为：

具体实施例六：

本申请实施例六与实施例五的区别仅在于：

所述步骤3具体为：

添加调节因子，使阈值函数更加灵活：

具体实施例七：

本申请实施例七与实施例六的区别仅在于：

所述步骤4具体为：

具体实施例八：

本申请实施例八与实施例七的区别仅在于：

所述方法还包括使用小波阈值进行去噪，选择的分解层数为3；

对阈值进行改进，阈值如下：

具体实施例九：

本申请实施例九与实施例八的区别仅在于：

本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如一种基于 stokes 矢量的四目相机同时偏振成像方法。

具体实施例十：

本申请实施例十与实施例九的区别仅在于：

本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其所述处理器执行所述计算机程序时实现一种基于 stokes 矢量的四目相机同时偏振成像方法。

方法包括:

可以采用stokes矢量来表征光波的偏振特性，通过光强来表示斯托克斯矢量。通过不同入射光的光强来表征光的偏振态，4个斯托克斯参数可以由一个4×1的矩阵来表示：

分别表示不同入射角度，为了方便能同时采集统一目标场景的不同偏振态，使用相同规格型号的 CMOS 相机，在采集数据前对每个相机的各个参数进行统一的设定，以避免采集到的数据有较大的差异。

整个系统的工作流程为：搭建一种由 2×2 相机阵列组成的同时偏振成像系统，该系统有四个通道，每个通道主要分为两个部分，分别为光学调制部分和图像采集部分。通过使用偏振片调制四路入射光来获取光波的不同偏振态，完成调制后，通过传感器完成对四路图像数据的采集。

每个通道的光学结构完全相同，且光学器件的误差控制在合理的区间内，从而确定获取到的四幅偏振图像没有差异。

为了降低相机标定以及图像配准的难度，应该使各个相机之间的间距尽可能小，也就是每个光学调制系统的重叠视场会尽可能多。成像视场如图所示：d1所示区域为单相机成像视场，d2为两个平行相机之间的重叠视场。

由于2×2 相机阵列偏振成像系统结构本身的设计与装配误差，采集到的四幅不同偏振方位角图像之间存在着像素位置不匹配的现象，即每个相机因排列位置不同而产生不重叠的成像视场，会对后续偏振度等参数的计算造成影响，因此需要对四幅图像进行配准。

基于边缘检测的图像配准算法的流程如下：

（1）调整成像系统与被测目标的位置，在其中一个传感器的采集下，使被测目标处于传感器的成像中心，将其作为基准图像，其他传感器采集到的图像作为待配准图像。首先将基准图像与待配准图像进行灰度化，

上式中，表示灰度化后的图像，/>表示原图像，/>表示灰度化处理；

（2）对灰度化的图像进行边缘检测，在自然背景下，被测目标的像素点与处在采集背景中的像素点的灰度值差距较大，即处于目标轮廓两侧位置的像素点的灰度值变化最大，可以利用像素灰度值变化函数的导数来表示；

上式中，表示灰度值变化最大，/>表示处于被测目标边缘位置的像素点；

（3）确定基准图像与待配准图像处于目标边缘位置的像素点，将其作为特征点；位于被测目标边缘的像素点与背景下或被测目标本身的像素点的灰度值相差较大，设置阈值函数，将一个像素点的灰度值与相邻像素点的灰度值相比较，若差值大于阈值，则判定该像素点位于边缘位置。设置的阈值函数如下，灰度值的取值范围为[0,255]，在MATLAB中该函数的曲线如图所示，在区间内收敛。

在上式的基础上，添加调节因子，可以使阈值函数更加灵活。

上式中，表示阈值函数，/>为调节因子；

表示灰度值的差值。

（4）根据图像边缘确定的特征点，对图像进行分割，每个图像的特征点到图像边缘像素点的距离相等；

（5）对每张图片进行图像配准。

图像配准流程图

过程实例如下：

两个相同传感器处于不同位置采集同一目标图像；将采集到的目标图像进行灰度化处理；在灰度图的基础上进行边缘检测；根据图像边缘的特征点进行图像分割，两幅图像特征点距离边界点的距离相同；配准完成后的图像。

同时，对于传感器采集到的图像来说，传感器直接获取到的图像数据可能会受到噪声的影响，所以提出一种基于改进阈值函数的小波去噪算法。

在使用小波阈值进行去噪时，选择合理的分解层数尤为重要。分解层数过大，会导致信号重构后发生失真；分解层数过小，会导致去噪效果较差。当信噪比较大时，适合设置较小的分解层数；当信噪比较小时，则需设置较大的分解层数来抑制噪声信号。所以选择的分解层数为3。

阈值或阈值函数的选择会对去噪效果产生较大影响，传统的阈值为固定值。阈值设置为：

表示噪声方差，/>表示信号尺度。

根据公式可以看出传统阈值并不会随着分解层数而变化，是固定不变的，缺乏一定的自适应性。鉴于此，对阈值进行改进，改进的阈值如下：

改进后的自适应阈值会随着分解层数的增加而减小，符合分解层数越高噪声信号的越小，可以更好地克服噪声的干扰。

硬阈值与软阈值的介绍

硬阈值函数

将阈值与小波系数的模比较，阈值较小时，系数不变，阈值较大时，将其变为 0，即

软阈值函数

将阈值与小波系数的模比较，把大于阈值的部分进行适当调整，把小于阈值的部分变为 0，即

虽然上述两个方法在图像进行去噪有一定效果，但是函数自身存在缺点。硬阈值函数在噪声去除后会产生失真，软阈值函数去噪后的会出现边缘模糊的问题。所以提出一种基于改进阈值函数的小波去噪算法：

式中，均为调节因子，/>为当前分解层数，/>为第/>层的估计系数，/>是分解第/>层的小波系数，/>为第i层的阈值。新的阈值函数更加灵活，适应性更强。可以得到去噪效果更好的图像，同时也能够适应不同图像的去噪要求，具有较好的可调性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或 N 个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM 或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N 个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

以上所述仅是一种基于stokes矢量的四目相机同时偏振成像系统及方法的优选实施方式，一种基于stokes矢量的四目相机同时偏振成像系统及方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims

1.一种基于 stokes 矢量的四目相机同时偏振成像方法，所述方法基于一种基于stokes 矢量的四目相机同时偏振成像系统，所述系统包括：相机阵列、偏振片和图像处理系统；

相机阵列由 2×2 相机阵列组成，有四个通道，通过使用偏振片调制四路入射光来获取光波的不同偏振态，完成调制后，通过相机完成对四路图像数据的采集，通过图像处理系统对采集的图像数据进行处理，其特征是：所述方法包括以下步骤：

步骤2：对灰度化的图像进行边缘检测；

步骤4：根据图像边缘确定的特征点，对图像进行分割；

步骤5：根据分割完的图像，进行图像配准；

所述步骤3具体为：

添加调节因子，使阈值函数更加灵活：

其中，表示灰度值的差值，/>为图像中处于坐标系/>位置的像素点的灰度值，/>为图像中处于坐标系/>位置的像素点的灰度值；

所述步骤4具体为：

2.根据权利要求1所述的方法，其特征是：所述步骤1具体为：

其中，x和y为像素点的坐标，表示灰度化后的图像，/>表示原图像，/>表示灰度化处理。

3.根据权利要求2所述的方法，其特征是：所述步骤2具体为：

4.根据权利要求3所述的方法，其特征是：所述方法还包括使用小波阈值进行去噪，选择的分解层数为3；

对阈值进行改进，阈值如下：

其中，为阈值，改进后的阈值会随着分解层数的增加而减小。

5.根据权利要求1所述的方法，其特征是：用stokes矢量来表征光波的偏振特性，通过光强来表示斯托克斯矢量，通过不同入射光的光强来表征光的偏振态，4个斯托克斯参数由一个4×1的矩阵来表示：

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任意一项权利要求所述的方法。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征是：所述处理器执行所述计算机程序时实现权利要求1-5任意一项权利要求所述的方法。