CN111812039B - 一种基于偏振成像原理的水下触觉传感装置及方法 - Google Patents

Abstract

本发明公开一种基于偏振成像原理的水下触觉传感装置及方法，装置由触觉传感皮肤、分孔径实时偏振成像系统、防水壳体和CCD相机组成；触觉传感皮肤位于触觉传感装置的最前端，由光导板和四个红外光条组成，光导板是截面为正方形的薄板结构，红外光条分别粘贴在垂直于光导板正方形平面的四个侧面上；分孔径实时偏振成像系统包括偏振成像镜头、镜筒和CCD相机；偏振成像镜头由共孔径光组、偏振器件组、分孔径光组构成；防水壳体为末端密闭，前端半密闭的桶装结构，偏振成像镜头的前端伸出防水壳体的前端，偏振成像镜头的后端通过镜筒与CCD相机连接；偏振成像镜头前端和防水壳体前端之间密封并用固定板紧压；固定板通过连接柱与触觉传感皮肤连接。

Description

一种基于偏振成像原理的水下触觉传感装置及方法

技术领域

本发明属于水下触觉传感领域，特别是涉及一种基于偏振成像原理的水下触觉传感装置及方法。

背景技术

对于触觉感知，通常使用的是基于应变片和导电聚合物的电阻式传感器。这些典型的触觉传感器都是基于点测量的，即使将多个传感器排列在一起，其提供的空间分辨率也会很低，难以测量接触点的详细分布和检测小对象。

为了实现高空间分辨率，Hiraishi，Begej等人将相机引入触觉测量。基于标记位移的方法是利用相机制作触觉图像传感器最常用的方法。通常，在摄像机前放置一个弹性体，其中布置有若干个标记。当物体与弹性体表面挤压时，嵌入在透明可变形弹性体中的标记物移动，弹性体发生变形。从相机获得的图像中，可以看到每个标记的移动，利用机器学习的方法，可以从标记物的状态判断接触力的大小和方向。Cramphorn在2018，Sferrazza在2019年分别提出了对上述方法的改进方案。这种方法可以提供高分辨率的接触状态指示。但是由于水中散射作用的存在会导致相机成像质量下降，降低空间分辨率，并且装置在水下的移动也会引起弹性体的形变，故上述系统不适用于水下作业。

水下触觉传感器的设计更为复杂。水压对触觉的检测是一种考验，水的流体阻力和惯性力也可能造成由于传感器的错误输出。2018年，J.Zhang构建了水下触觉力传感器阵列，使用机械结构平衡了水压，实现了抓取样本位置的确定和力的感知，实现了水压影响下的精确测量，但是依然存在空间分辨率不足的困扰。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于偏振成像原理的水下触觉传感装置与方法。采用水下偏振光图像复原技术，旨在利用光学触觉传感器进行触觉信息的还原，降低水环境对触觉传感器输出的干扰，保持水下触觉传感的高灵敏度，最大程度地提高水下触觉传感器的空间分辨率。

本发明的目的是通过以下技术方案实现的：

一种基于偏振成像原理的水下触觉传感装置，由触觉传感皮肤、分孔径实时偏振成像系统、防水壳体和CCD相机组成；

所述触觉传感皮肤位于触觉传感装置的最前端，由光导板和四个红外光条组成，所述光导板是截面为正方形的薄板结构，所述红外光条分别粘贴在垂直于光导板正方形平面的四个侧面上，相对两侧面的红外光条关于光导板的中心轴线相互对称，每个红外光条所发射光线与光导板上内表面的夹角大于全内反射角，确保没有接触的状态下红外光发生全内反射；当触觉传感皮肤外部有接触力时，红外光线能够从光导板中泄漏，作为触觉的检测信号；

所述分孔径实时偏振成像系统包括偏振成像镜头、镜筒和CCD相机；所述偏振成像镜头由从前向后依次设置的共孔径光组、偏振器件组、分孔径光组构成，某时刻目标反射的光进入分孔径实时偏振成像系统，经过共孔径光组后，经由偏振器件组和分孔径光组分成4个通道分别成像到CCD相机上；

所述防水壳体为末端密闭，前端半密闭的桶装结构，所述偏振成像镜头的前端伸出防水壳体的前端，偏振成像镜头的后端通过镜筒与CCD相机连接并全部位于防水壳体中；偏振成像镜头前端和防水壳体前端之间的空隙通过防水胶和O型圈密封并用固定板紧压；所述固定板通过连接柱与触觉传感皮肤连接。

进一步的，所述分孔径实时偏振成像系统采集触觉传感皮肤泄漏的红外光的左旋圆偏振光以及0°、90°、45°三个方向的线偏振光的强度信息。

进一步的，所述防水壳体的后端设置有后盖和密封接口用于引出导线，导线一端与CCD相机连接，另一端与设有图像处理单元的计算机连接；所述图像处理单元通过软件实现图像处理和重构的过程。

本发明还提供另一种技术方案如下：

一种基于偏振成像原理的水下触觉传感装置的触觉传感方法，包括以下步骤：

(1)分孔径实时偏振成像系统将采集的图像分割成四部分，分别得到大小相同的左旋圆偏振图像以及0°、90°、45°三个方向的线偏振图像，由此计算得到Stokes矢量，进而得到每个像素点的偏振度和偏振角信息；

(2)采用后向散射抑制和前向散射抑制方法，消除环境中后向散射光和由红外光源引入前向散射光的干扰，得到高清晰度触觉图像；

(3)使用空间传递函数法，利用所复原的高清晰度触觉图像复原垂直于光导板表面方向的正压力的分布信息。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明传感装置由丙烯光导板将触觉接触力转为光学信号，使用四通道分孔径偏振成像系统，完成水环境下较高清晰度的触觉图像获取，实现对水下物体的高精度探测。本发明中设计的光学触觉传感器使用光导板作为接触表面，在光导板四周安装防水光条，利用光线在光导板中的全内反射对接触物体进行探测，相较于传统的电阻式传感器和光学感测装置，不仅具有更高的空间分辨率，还可以直观地看到接触表面的外形信息。

2.在CCD相机与光导板之间的半密封机械结构，不仅结构简单，易于加工，降低了制造成本，而且能够在隔离电子设备与水体的前提下，平衡光导板两面之间的水压，避免水的流体阻力和惯性力造成传感装置的错误输出，实现水压影响下的精确测量；

3.本发明装置将偏振技术与典型的光学触觉传感器联用，提高了传感器在水下的探测能力，同时图像处理单元通过合理设计偏振图像复原算法，使用基于Stokes矢量的后向散射抑制算法和刃边法估算前向散射退化函数方法，消除水体散射的影响，保持了相机的高分辨率特性，实现触觉的高空间分辨率测量。同时，通过提高相机帧率可以实现高速率的动态测量，用于滑觉的检测。总体来说，本装置为水下探测科研工作的开展和水下机器人的应用提供了更坚实的保障，有望成为水下探测的重要辅助设备，具有十分重要的现实意义

附图说明

图1是本发明装置的剖视结构示意图。

图2是本发明装置的后视结构示意图。

图3是本发明中分孔径实时偏振成像系统工作原理示意图。

图4是本发明中偏振成像镜头及镜头外框结构示意图。

图5是本发明中触觉成像原理以及工作过程示意图。

附图标记：1-光导板，2-支柱，3-固定板，4-偏振成像镜头，5-相机固定架，6-CCD相机，7-相机固定架，8-防水胶圈，9-防水壳体，10-防水壳体后盖，11-密封接口，12-红外光条，13-镜筒，14-共孔径光组，15-偏振器件组，16-分孔径光组

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于偏振成像原理的水下触觉传感装置，由触觉传感皮肤、分孔径实时偏振成像系统、防水壳体和CCD相机组成；

如图1所示，该装置包括由光导板1和红外光条12构成的前端触觉传感皮肤，由偏振成像镜头4、CCD相机6和镜筒13构成的分孔径实时偏振成像系统和由防水胶圈8、防水壳体9、防水壳体后盖10和密封接口11构成的防水系统组成。光导板1采用丙烯酸塑料为材料。前端触觉传感皮肤与后面分孔径实时偏振成像系统的连接方式为开放式结构。前端触觉传感皮肤通过四根支柱2与和固定板3连接，固定板3通过螺纹连接的方式固定在后面的防水壳体上，这样就消除了水压的影响，与封闭式结构相比，不会出现水压较强时，水压与气压不匹配，会引起光导板形变，产生较大误差的情况。光导板与偏振成像镜头4作用距离250mm，偏振成像镜头视场角14°，CCD相机的像元尺寸3.45μm，靶面3840×3000像素的探测器。光学镜头焦距11mm。分孔径实时偏振成像系统理想空间分辨率可以达到40μm。该图还给出了防水壳体结构的设计方法。该部分将电子设备与水环境隔离开来，确保设备能适应水下工作环境，整个防水壳体为一端密闭，一端半密闭的桶装结构。分孔径实时偏振成像系统前端和防水壳体9前端之间的空隙用防水胶和防水胶圈8密封并用固定板3紧压，既保证了设备的防水效果，也兼具一定灵活性。CCD相机6通过相机固定架5和相机固定架7固定在防水壳体9的内部。

图2给出了防水壳体9后端的设计方法。防水壳体9后端设包括防水后盖10和密封接口11，密封接口11用来引出导线，连接其他设备，方便拆卸并且可以标准件代替，降低了制作成本。本实施例中密封接口11引出的导线一端与CCD相机连接，另一端与计算机连接。

图像处理和重构的过程运用计算机中的图像处理软件实现。将CCD相机采集到的触觉传感皮肤泄漏的红外图像相面划分为四部分，分别得到大小相同的左旋圆偏振图像以及0°、90°、45°三个方向的线偏振图像；利用红外点光线在不同孔径所成像的像素对应关系，将四部分图像的信息整合到一张图中。经过像素重排，得到每个孔径面上所有像素点的Stokes矢量，进而得到每个像素点的偏振度和偏振角数据。采用如后文所述的后向散射抑制和前向散射抑制方法，可以消除环境中后向散射光和由红外光源引入前向散射光的干扰，得到高清晰度触觉图像。后向散射抑制和前向散射抑制建立在物体水下成像模型的基础上。后向散射抑制利用了像素重排后得到的偏振度和偏振角信息对整合后各个像素点处无穷远处杂散光光强和到达相机时的光强进行估计，再利用估计值对红外光的分布进行还原。在抑制后向散射的基础上，利用刃边法对退化函数进行拟合，降低水体本身以及水中的各类悬浮粒子引起的图像模糊。前向散射抑制和后向散射抑制解决了水下偏振成像中前向散射光造成成像结果分辨率下降的问题，进而实现了高空间分辨率的触觉传感。利用CCD相机拍摄的多幅连续图像，可以得到滑觉信息。其时间分辨率取决于CCD相机的时间分辨率。最后，使用空间传递函数法，利用所复原的高清晰度触觉图像复原垂直于光导板表面方向的正压力的分布信息。

图3是本发明中分孔径实时偏振成像系统工作原理示意图。分孔径实时偏振成像系统的偏振成像镜头4由共孔径光组14、偏振器件组15、分孔径光组16组成。该偏振成像镜头4可将同一场景以不同偏振态成像到CCD相机上。

如图4所示，共孔径光组14、偏振器件组15、分孔径光组16中的镜片在镜筒中的间距通过修切压圈控制，镜筒13通过螺纹接口与CCD相机6连接。共孔径光组14采用双高斯透镜组，方便后续设计并能较好的控制色差。分孔径光组16的作用是将光路分割成4个通道，将同一物体成4幅图像，采用三片式透射结构，在红外波段可以较好的消除像差。偏振器件组15可看作平行玻璃板，在光学设计中可以暂不考虑其影响，根据偏振原理，每个通道采用一个四分之一波片和一个线偏振片，四分之一波片快轴与x轴的方向，以及偏振片偏振方向与x轴方向夹角分别为(0°，0°)、(90°，90°)、(45°，45°)、(45°，0°)，这便可以得到0°、45°、90°偏振方向的线偏振光以及左旋圆偏振光图像。

图5为本发明中触觉成像原理以及工作过程示意图，红外发光二极管的光线从折射率为n₂的光导板入射到折射率为n₁的水环境中，入射角大于全反射临界角，在光导板内发生全内反射，临界角表示为：

当外界物体与光导板不接触时，入射光线满足全反射条件，光线在光导板内发生全反射，此时，分孔径实时偏振成像系统不能探测到红外发光二极管发出的光线。当有物体接触光导板时，全内反射被破坏，红外光泄露出去，被相机探测。通过CCD相机所成的图像可以反映接触点的信息。探测红外光可以排除杂散光的干扰，获得更可靠的触觉图像。

以下进行高清晰度触觉复原图像算法以及接触力信息复原算法的基本思路说明：

1)偏振成像模型

场景中导光板泄露的光光强为L，在向探测器传播时，受到水中粒子的散射和吸收作用，到达相机的直接透射光光强为D。D随传输距离指数衰减，设透射率为t(z)，z为导光板与相机的距离，衰减系数为β(衰减系数实际应为空间函数)，则有如下关系:

D＝Lt(z)＝Le^-βz (2)

其中，e为自然对数底数(后文中e与此相同)。杂散光是由水中粒子直接散射光线所造成的，到达相机时的光强B可表示为：

B＝B_∞+(L-B_∞)e^-βz (3)

其中，B_∞是无穷远处杂散光光强，表示无目标处的杂散光光强。直接透射光光强和杂散光光强之和即为相机接收到的总光强I，即：

I＝D+B (4)

得到消去透射率的光导板泄露的光光强L表达式为

上式即为水下偏振成像物理模型，B、B_∞这两个参数的估计精度决定了水下复原后图像的质量。

2)偏振信息计算

使用分孔径实时偏振成像系统，各个孔径同时得到导光板的泄露光的不同偏振态的光强。整合不同孔径的光强，可以得到同一物空间点光源在不同孔径所呈相的像素对应关系，进而得到空间物点的不同角度偏振值。这个过程通过像面分割实现。

获取0°、45°、90°线偏振图像和左旋圆偏振图像为I_0°、I_45°、I_90°、I_l，对于135°线偏振图像I_135°和右旋圆偏振图像I_r，可利用等式I_0°+I_90°＝I_45°+I_135°＝I_l+I_r得到。之后计算得到Stokes矢量如下

其中，S₀、S₁、S₂、S₃是Stokes矢量的四个分量。

进而得到每个像素点的偏振度和偏振角数据。

DOP表示偏振度。θ表示偏振角。

3)后向散射抑制

光源为非偏振光光源，前端传感部分将触觉信息转化成的光信息也应该是非偏振光，根据Mie氏散射理论，在散射角0°时，散射光仍为非偏光，在其他方向则为部分偏振光，即直接透射光为非偏振光，后向散射光为部分偏振光，利用二者偏振态的差异，可以有效的将杂散光从目标射光中分离，进而将其从原图像中扣除，提高了水下图像复原的质量。因为偏振度中包含非偏振光光强信息，故利用偏振角对杂散光光强进行估算可以较好的消除直接透射光的干扰，提高估算的精确度。

对所有像素点的偏振角值进行统计，令杂散光偏振角θ_B等于统计概率最高的偏振角值,该偏振角值等于θ_B像素群记为BG，则杂散光偏振度P_B为BG像素群计算出的偏振度最大值。

定义I_0°图像拍摄角度方向和I_90°图像拍摄角度方向分别为x轴和y轴，杂散光偏振部分光强B_P在x轴和y轴的分量B_px和B_py为

B_px＝B_p cos² θ_B (9)

B_py＝B_p sin² θ_B (10)

像素点非偏振光的光强可表达为S₀(1-DOP)，非偏振光在一个正交系中分量相等，为总光强的一半，则

综合以上四式，可得杂散光偏振分量为

再结合杂散光的偏振度P_B，可得杂散光B估计值为

式(3)中，当z→∞时，B＝B_∞。将I_0°的杂散光改写成偏振部分与非偏振部分之和，同时根据前述假设条件，即直接透射光为非偏振光，可得下式

令z→∞，得

即可得无穷远出杂散光光强理论估计值为

实际上图像中绝大多数像素点不满足z趋于无穷的假设条件，因此将上式得到的无穷远处杂散光光强理论估计值与原图像各像素点光强进行比较，与该理论估计值最接近的光强值认为是实际的B_∞。经过以上过程，得到了B、B_∞的估计值，根据式(5)，可以得到较为准确的强度值L。

4)前向散射抑制

光的前向散射可以用退化函数评价，退化函数所代表的退化过程既包含成像系统自身的系统响应也包含介质对图像退化的影响，水下成像中介质即为水体本身以及水中的各类悬浮粒子，退化函数表示为：

g(x,y)＝f(x,y)*h(x,y)+n(x,y) (18)

g(x,y)为抑制后向散射后的图像，h(x,y)即为表示成像退化过程的退化函数，f(x,y)为原始高质量图像，n(x,y)为成像过程中引入的加性噪声。

退化模型频域变换表示为：

G(u,v)＝F(u,v)H(u,v)+N(u,v) (19)

其中，G(u,v)，F(u,v)，H(u,v)和N(u,v)分别代表退化图像g(x,y)，原始图像f(x,y)，退化函数h(x,y)和噪声函数n(x,y)的傅里叶变换。

精确估计退化函数，就可以通过逆卷积的方法复原光导板泄露的光图像。

找到图像中的刃边，用最小二乘法对刃边进行直线拟合。以刃边区域中像素点到拟合直线的距离为边缘扩展函数分布的横坐标，刃边区域相应位置像素点的强度值为纵坐标，做边缘扩展函数(EdgeSpreadFunction，ESF)曲线。

利用三个费米函数之和精确估计ESF，最终边缘扩展函数有如下表示形式：

其中，D，A_i，B_i，C_i(i＝0,1,2)为10个常数。

对ESF微分得到线扩展函数(LineSpreadFunction，LSF):

认为点扩散函数(PointSpreadFunction，PSF)的分布是各向同性的，因此点扩散函数可以表示为两个正交方向上的线扩展函数相乘的形式

PSF(x,y)＝LSF(x)×LSF(y) (22)

通过刃边法估计得到了由前向散射光造成的退化图像的退化函数:

H(x,y)＝PSF(x,y)) (23)

对抑制后向散射的图像利用退化函数，解算出f(x,y)，表达为：

表示傅里叶逆变换。

5)正压力复原

通过空间传递函数法复原垂直于光导板方向的正压力。以光导板中心轴与上表面交点为原点、x轴和y轴分别平行于光导板正方形边，建立二维坐标系。在传感器标定阶段，首先，在光导板上表面施加一个大小为F₀、方向垂直于光导板上表面、作用点为(0,0)的点接触力，然后拍摄该力的触觉图像并使用上述算法复原，得到触觉图像，并将其放大k倍至光导板大小，得到在点(x,y)处的触觉光学信息

从而得到本发明中光导板对于正压力的空域单位冲激响应I_h(x,y)为

在测量未知大小和分布正压力F(x,y)时，经过上述算法得到的触觉图像f(m,n)，经过放大k倍后，得到

I(x,y)＝f(km,kn) (26)

其中(m,n)代表像素坐标，则

I(x,y)＝I_h(x,y)*F(x,y) (27)

该式两边取傅里叶变换得

表示傅里叶变换。

从而可得复原的正压力

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (2)

1.一种基于偏振成像原理的水下触觉传感装置，其特征在于，由触觉传感皮肤、分孔径实时偏振成像系统、防水壳体和CCD相机组成；

所述触觉传感皮肤位于触觉传感装置的最前端，由光导板和四个红外光条组成，所述光导板是截面为正方形的薄板结构，所述红外光条分别粘贴在垂直于光导板正方形平面的四个侧面上，相对两侧面的红外光条关于光导板的中心轴线相互对称，每个红外光条所发射光线与光导板上内表面的夹角大于全内反射角，确保当触觉传感皮肤外部没有接触力时，红外光线发生全内反射；当触觉传感皮肤外部有接触力时，红外光线能够从光导板中泄漏，作为触觉的检测信号；

所述分孔径实时偏振成像系统包括偏振成像镜头、镜筒和CCD相机；所述偏振成像镜头由从前向后依次设置的共孔径光组、偏振器件组、分孔径光组构成，某时刻目标反射的光进入分孔径实时偏振成像系统，经过共孔径光组后，经由偏振器件组和分孔径光组分成 4 个通道分别成像到CCD相机上；

所述防水壳体为末端密闭，前端半密闭的桶状结构，所述偏振成像镜头的前端伸出防水壳体的前端，偏振成像镜头的后端通过镜筒与CCD相机连接并全部位于防水壳体中；偏振成像镜头前端和防水壳体前端之间的空隙通过防水胶和O型圈密封并用固定板紧压；所述固定板通过连接柱与触觉传感皮肤连接，所述分孔径实时偏振成像系统采集触觉传感皮肤泄漏的红外光的左旋圆偏振光以及0°、90°、45°三个方向的线偏振光的强度信息；

所述防水壳体的后端设置有后盖和密封接口用于引出导线，导线一端与CCD相机连接，另一端与设有图像处理单元的计算机连接；所述图像处理单元通过软件实现图像处理和重构的过程，采用后向散射抑制和前向散射抑制方法，消除环境中后向散射光和由红外光源引入前向散射光的干扰，得到高清晰度触觉图像；使用空间传递函数法，利用所复原的高清晰度触觉图像复原垂直于光导板表面方向的正压力的分布信息。

2.一种基于权利要求1所述的水下触觉传感装置实施的触觉传感方法，其特征在于，包括以下步骤：

（1）分孔径实时偏振成像系统将采集的图像分割成四部分，分别得到大小相同的左旋圆偏振图像以及0°、90°、45°三个方向的线偏振图像，由此计算得到Stokes矢量，进而得到每个像素点的偏振度和偏振角信息；

（2）采用后向散射抑制和前向散射抑制方法，消除环境中后向散射光和由红外光源引入前向散射光的干扰，得到高清晰度触觉图像；

（3）使用空间传递函数法，利用所复原的高清晰度触觉图像复原垂直于光导板表面方向的正压力的分布信息。

Images