CN109544575B - 一种基于isar序列多边形匹配的三维轮廓重构方法 - Google Patents

Abstract

本发明涉及一种ISAR序列多边形匹配的三维轮廓重构方法，首先，针对典型目标的ISAR序列图像利用聚类法抑制目标背景；其次，利用数学形态学方法将典型ISAR目标的各个像素点连通；然后，提取典型ISAR序列图像的边缘，利用Douglas‑Peucker方法对ISAR轮廓进行多边形拟合；再然后，将ISAR序列多边形进行匹配，使其各个边和顶点间一一对应；最后，利用因式分解法对匹配好的序列ISAR多边形进行三维解算，获得ISAR目标的三维轮廓重构。本方法适用于低信噪比图像(如ISAR图像)，其多边形检测可用于SAR图像中机场跑道的检测，自动驾驶和智能交通中车牌检测，工业机器人工件抓取，智能仓储货物识别等；三维轮廓重构方法可适用于典型ISAR目标的三维重构。

Description

一种基于ISAR序列多边形匹配的三维轮廓重构方法

技术领域

本发明属于ISAR序列图像的多边形检测、序列多边形间的匹配以及目标轮廓的三维重构技术，涉及一种基于ISAR序列多边形匹配的三维轮廓重构方法，可广泛应用于SAR图像中机场跑道的检测，智能交通中车牌检测，工业机器人工件抓取等领域；多边形匹配的三维重构方法可广泛用于典型ISAR目标的三维重构。

背景技术

空间、空中、国土、海洋安全已经成为国家安全系统中重要的组成部分，对空间、空中、国土、海洋进行探测识别，可给国土安全、经济发展带来巨大的利益，存在重大的实用价值和广泛的应用前景。空间、空中、国土、海洋中典型目标的态势感知，如感知目标的姿态、形状、运动状态等信息，对国土安全、经济建设更是意义重大。若能获得目标的空间三维结构，可使目标检测、识别准确率大大提升，从而提升目标探测感知能力。

以往针对典型目标三维重构算法只能重构出少量无序的三维点，其难以表示目标真实的三维结构，由于ISAR图像相对光学图像来说有如下特性：信噪比较低；有时不完整(甚至缺失)；随着成像角度的不同而存在闪烁等。导致以往的基于ISAR序列图像的三维重构方法重构出来的三维点噪声较大，甚至这些三维点完全不符合实际三维空间情况。单纯从序列图像中提取特征点，并对特征点进行序列间匹配，然后对匹配好的点进行三维重构这种传统处理流程，难以获得满意的三维重构结果，即难以获得目标真实的三维空间形状，因此急需要一个方法，其不仅仅依赖于像素点(特征点) 来对目标进行三维重构。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于ISAR序列多边形匹配的三维轮廓重构方法，解决现有ISAR图像信噪比低、ISAR图像中目标部件可能缺失、ISAR 序列图像间散射点存在闪烁现象等等原因，导致目标三维重构困难问题。可在图像成像质量相对不佳的情况下，能准确地重构出目标的三维轮廓。

技术方案

一种基于ISAR序列多边形匹配的三维轮廓重构方法，其特征在于步骤如下：

步骤1：利用K聚类法对ISAR序列图像的每幅图像进行聚类，得到每幅图像的 K-means阈值，以K-means阈值对ISAR图像进行二值化分割，得到ISAR序列图像的背景抑制的ISAR序列图像；

步骤2：对每幅背景抑制的ISAR图像进行数学填充和腐蚀操作：

其中：C为ISAR序列图像，D代表结构元素(圆形或者线形)，获得平滑饱满的 ISAR序列图像；

步骤3、提取N帧ISAR序列图像的多边形：首先提取每幅ISAR图像中目标的边缘，然后采用Douglas-Peuker算法对ISAR图像边缘拟合，使拟合后的多边形相应弧最远距离小于设定阈值K：

步骤1)在ISAR图像边缘曲线上取任意一段，其起始点定义为C，结束点定义为 D，该条线段CD定义为该边缘曲线的弦；

步骤2)计算曲线上每个像素点与CD的距离，得到与CD弦最远距离d；

步骤3)当最远距离d小于设定阈值K，则此弦可作为多边形的一条边，此条边缘曲线处理完毕；当最远距离d大于设定阈值K，则将CD分为CO和OD，然后对 CO和OD重复步骤2)～步骤3)；

得到每幅ISAR图像对应的多边形；

所述阈值K为3～5个像素；

步骤4、ISAR序列多边形的匹配：统计序列ISAR图像提取出的多边形的成对几何特征，以多边形不同的顶点作为起始编号，分别遍历计算

当且仅当序列ISAR图像中的多边形顶点之间完全正确匹配的情况下，S值为最大，最大S值对应于ISAR序列多边形之间的最佳匹配；

其中：

分别表示两个ISAR序列图像中的第V个顶点的第T个特征，M代表多边形顶点总数，N代表特征总数

步骤5、ISAR序列多边形三维轮廓重构：将N帧ISAR图像的P个多边形顶点坐标组成测量矩阵：

其中：x_np,y_np分别代表第n个多边形的第p个顶点的横、纵坐标值

加入条件约束，利用因式分解将W分解为测量设备的运动矩阵和目标的真实三维轮廓转折点坐标的乘积，为：

W＝M·S

其中：

M∈R^2N×3，矢量i_n和j_n分别表示第n帧ISAR图像测量设备的X轴和Y轴方向，S∈[s₁...s_p]，S∈R^3×P，s_p为目标三维轮廓的第P个三维空间坐标(x_p,y_p,z_p)，

分解的约束条件：

由此解出矩阵X，代入W即可求得S，代表ISAR目标的三维轮廓；

其中：对序列多边形顶点组成的测量矩阵SVD(奇异值分解)后，W＝U∑V^T， U∈R^{2N ×3}∑＝diag(σ₁,σ₂,σ₃)，σ₁≥σ₂≥σ₃＞0，V∈R^p×3，只取U的前三行，∑的前3× 3的子矩阵,V的前三列。设：

则

有益效果

本发明提出的一种ISAR序列多边形匹配的三维轮廓重构方法，首先，针对典型目标的ISAR序列图像利用聚类法抑制目标背景；其次，利用数学形态学方法将典型 ISAR目标的各个像素点连通；然后，提取典型ISAR序列图像的边缘，利用 Douglas-Peucker方法对ISAR轮廓进行多边形拟合；再然后，将ISAR序列多边形进行匹配，使其各个边和顶点间一一对应；最后，利用因式分解法对匹配好的序列ISAR 多边形进行三维解算，获得ISAR目标的三维轮廓重构。本方法适用于低信噪比图像 (如ISAR图像)，其多边形检测可用于SAR图像中机场跑道的检测，自动驾驶和智能交通中车牌检测，工业机器人工件抓取，智能仓储货物识别等；三维轮廓重构方法可适用于典型ISAR目标的三维重构。

本发明优点在于：第一，本发明基于多边形(面)匹配而不是基于特征点(像素点)匹配实现目标三维轮廓重构方法；第二，针对于模糊或者缺失图像(例如ISAR 图像)，本发明解决了如何准确提取ISAR图像中的多边形；第三，针对ISAR序列图像中提取出来的序列多边形，本发明解决了如何对序列多边形匹配。第四，相对于以往的基于特征点(像素点)的三维重构方法具有更好的鲁棒性。

附图说明

图1：本发明方法的流程图

图2：步骤3中ISAR轮廓多边形拟合提取方法示意图

图3：典型ISAR目标序列图像

图4：ISAR序列图像单张多边形提取结果图

图5(a)：ISAR序列图像多边形匹配三维轮廓重构结果1

图5 (b)：ISAR序列图像多边形匹配三维轮廓重构结果2

具体实施方式

现结合实施例、附图对本发明作进一步描述：

基于ISAR序列多边形匹配的三维轮廓重构方法，其特征在于包括以下步骤：

步骤1：利用K聚类法对ISAR序列图像背景抑制：首先针对于ISAR序列图像，对每帧ISAR图像分别处理，在每帧ISAR图像中选取K个像素点(散射点)作为聚类中心，分别计算每帧ISAR图像中的每个像素点(散射点)与各个聚类中心的欧氏距离，将ISAR图像中每个像素点(散射点)划分到距离(与聚类中心的距离)最近的类别中，然后分别计算各个类别中所有像素点(散射点)和中心的平均距离，以其更新各个类别的聚类中心，对每帧ISAR图像重复上述过程直到以下三种情况之一即完成聚类。

(a)ISAR图像中所有像素所在类别不变。

(b)ISAR图像的聚类中心改变小于设定阈值。

(c)ISAR图像中每点的误差平方和局部最小。

得到了ISAR序列图像的每个K-means阈值后，对ISAR序列图像进行二值化分割，实现ISAR序列图像的背景抑制。

步骤2：ISAR序列图像目标散射点连通处理：对序列ISAR图像进行数学填充和腐蚀操作，利用合适的结构元素(典型如圆形或线)对ISAR序列图像进行了如下操作，表示为：

和

C为ISAR序列图像，D代表结构元素(圆形或者线形)，获得平滑饱满的ISAR序列图像。

步骤3：提取ISAR序列图像的多边形：在步骤1、2操作后，得到背景抑制和区域连通的ISAR序列图像，为提取ISAR序列图像中的多边形最好充分准备。首先提取 ISAR序列图像中目标的边缘，然后采用Douglas-Peuker算法对ISAR序列图像边缘拟合，使拟合后的多边形相应弧最远距离小于设定阈值K。其具体步骤如下：

(a)在ISAR目标边缘曲线上取任意一段，其开始点定义为C，结束点定义为 D，该条线段CD定义为该边缘曲线(弧)的弦；

(b)计算ISAR目标轮廓曲线(弧)上每点与CD的最远距离d；

(c)如果最远距离d小于设定阈值K，则此弦可作为多边形的一条边，此条边缘曲线处理完毕。

(d)如最远距离d大于设定阈值K，则假如曲线上点O与CD最远，则将CD 分为CO和OD，然后对CO和OD重复(a)、(b)、(c)的处理。

经过步骤(a)、(b)、(c)、(d)的处理，ISAR目标的边缘曲线完成多边形拟合，步骤 3结束。

步骤4：ISAR序列多边形的匹配：统计序列ISAR图像提取出的多边形(即二维轮廓)的成对几何特征，以多边形不同的顶点作为起始编号(即V＝1，V为顶点编号)，分别遍历计算

其中

分别表示两个ISAR序列图像中的第V个顶点的第T个特征，M代表多边形顶点总数，N代表特征总数。当且仅当序列ISAR图像中的多边形顶点之间完全正确匹配的情况下，S值为最大，最大S值对应于ISAR 序列多边形之间的最佳匹配。

步骤5ISAR序列多边形三维轮廓重构：在步骤1、2、3、4中，已有ISAR序列图像的多边形并准确匹配，可对ISAR目标三维轮廓重构。将N帧ISAR图像的P个多边形顶点坐标组成测量矩阵

x_np,y_np分别代表第n个多边形的第p 个顶点的横、纵坐标值，加入条件约束，利用因式分解将W分解为测量设备的运动矩阵和目标的真实三维轮廓转折点坐标的乘积，即：W＝M·S，M＝[i_i ^T···i_N ^T,j_i ^T···j_N ^T]^T， M∈R^2N×3，矢量i_n和j_n分别表示第n帧ISAR图像测量设备的X轴和Y轴方向， S∈[s₁...s_p]，S∈R^3×P，s_p为目标三维轮廓的第P个三维空间坐标(x_p,y_p,z_p)，

对序列多边形顶点组成的测量矩阵SVD处理后，W＝U∑V^T， U∈R^2N×3∑＝diag(σ₁,σ₂,σ₃)，σ₁≥σ₂≥σ₃＞0，V∈R^p×3，只取U的前三行，∑的前3×3的子矩阵,V的前三列。设：

则

设约束条件：

由此解出矩阵X，代入W即可求得S，代表ISAR目标的三维轮廓。

具体实施的硬件环境是：Intel(R)Xeon(R),E5504,4GB RAM,3.6GHz；运行的软件环境是：Mat1ab2014a和Win10；用Matlab语言编程实现了本发明提出的新算法。采用双射线绕射仿真得到ISAR实验数据，共有三个模型各十五张随机角度的ISAR序列图像，图3为其中一个模型的多帧ISAR图像。

步骤1利用K聚类法对ISAR序列图像背景抑制：由于ISAR成像距离远，物理空间中电磁波噪声干扰较大，成像本身的特性，往往目标背景区域存在一定的噪声，此步骤主要目的是：将典型ISAR目标背景抑制，避免横向条纹、相干斑噪声等影响后续操作。

首先选取K个对象作为聚类的中心，计算每一个对象和K个中心的欧氏距离，根据距离最小的原则划分到不同的聚类中心之中，将每一个聚类中心和被分到它的对象一起成为一个聚类。接下来在每个聚类之中重复上述过程直到以下三种情况就停止分类。

(a)ISAR图像中没有(或最小数)像素被重新分配到不同的聚类。

(b)ISAR序列像没有(或最小数目)聚类中心再发生变化。

(c)ISAR序列像每点的误差平方和局部最小。

得到了ISAR图像的K-means阈值后，对图像进行二值化分割，去除图像的背景。

步骤2ISAR序列图像目标散射点连通处理：在步骤1处理过后，图像背景得到较好地抑制，但是由于ISAR成像特性，图像目标为离散的散射点，对于后续目标边缘、形状提取带来较大的困难，另外，图像存在小的斑点和毛刺，本发明需对ISAR 图像进行适当的填充和腐蚀操作，具体利用合适的结构元素(比如圆形或者线形)对 ISAR图像进行了如下操作，表示为：

其中A表示ISAR图像，B代表选取的结构元素，从而获得平滑饱满的ISAR目标图像。

步骤3提取ISAR序列图像的多边形：在步骤1、2操作后，得到了处理后的ISAR 图像，首先提取ISAR图像中目标的边缘，然后采用Douglas-Peuker算法对图像边缘拟合，边缘拟合算法流程如下：

(1)在ISAR目标轮廓曲线首尾两点C，D之间连接一条直线CD，该直线为曲线的弦；

(2)得到ISAR目标轮廓曲线上离该直线段距离最大的点C，计算其CD的距离d；

(3)比较该距离与预先给定的阈值K的大小，如果小于K，则该直线作为ISAR目标轮廓曲线的近似，该段ISAR目标轮廓曲线处理完毕。

(4)如果距离大于阈值，则用O将ISAR目标轮廓曲线分为两段CO和DO，并分别对两段曲线进行(1)～(3)的处理。

(5)当所有曲线都处理完毕时，依次连接各个分割点形成的折线，即可以作为曲线的近似。

步骤4ISAR序列多边形的匹配：提出的ISAR多边形匹配算法要求模板轮廓和目标轮廓多边形的顶点数相等，而步骤3中Douglas-Peuker多边形拟合算法通过选择合适的阈值(3-5个像素)能够实现顶点数目可控。统计序列ISAR图像的成对几何特征，借鉴匹配滤波思想，通过下式来表示计算过程：

其中

分别表示两个ISAR图像中的第V个顶点和第T个特征，当且仅当两幅ISAR图像中近似的多边形的顶点之间匹配完全正确的情况下，S值为最大，从而实现了多边形之间的匹配。

步骤5ISAR序列多边形三维轮廓重构：假设ISAR序列图像共有N帧图像，在前4个步骤中，提取到了ISAR序列的多边形，并对序列之间的多边形进行了配对。在所有N帧图像中的P个顶点位置坐标构成输入测量矩阵W。坐标(x_np,y_np)代表第P 个参考点在第n帧图像中的位置，其中x、y是ISAR图像中的横、纵向坐标，则输入测量矩阵W是一个2N×P矩阵：

因式分解就是经过各种条件约束后，将测量矩阵W表示为两矩阵M和S的乘积， M表示图像获取设备相对目标的运动(或目标相对设备的逆向运动)，S表示目标的三维散射中心坐标，反映目标的形状。即：

W＝M·S (5)

其中，M∈R^2N×3为M＝[i_i ^T···i_N ^T,j_i ^T···j_N ^T]^T，矢量i_n和j_n，为对应于第n帧图像的图像获取设备的坐标方向，i_n对应图像平面的戈轴，j_n对应Y轴，矩阵M体现了目标相对于图像获取设备(这里指雷达)的运动信息。S∈R^3×P为S∈[s₁...s_p]，s_p为第P个参考点的三维空间坐标(x_p,y_p,z_p)，且有

在因式分解法的具体实现过程中，可以利用奇异值分解(SVD)将输入测量矩阵形分解为两个秩为3的矩阵。奇异值分解后，可以获得正交阵U∈R^2N×3和R∈R^p×3，即：

W＝U∑V^T (6)

其中，∑＝diag(σ₁,σ₂,σ₃)，并且σ₁≥σ₂≥σ₃>0。

实际上，由于噪声的影响，输人矩阵W的秩不能准确为3，而是近似为3，因此取U的前三列为U′，∑的第一个3×3的子矩阵Σ′，和V的前三列组成V′，在噪声环境下，对角矩阵∑中为奇异值的排列为降序，Σ′会包含无噪声测量矩阵中那些大于噪声水平的奇异值，所以，在理想测量矩阵的所有秩为3的近似矩阵中，最优的近似矩阵U′Σ′V′的转置中包含了几乎所有的运动及形状信息，因此W＝U′Σ′V′^T。

设：

则有：

可以证明式(8)的矩阵分解结果不是唯一的，如果有一个任意3×3的可逆矩阵A，那么由

知

和

也是有效的分解，因此，需找到一个约束条件，求得真实解。

通过求解一个3×3的非奇异矩阵A，利用这个矩阵可以将矩阵

和

变换为M 和S的真实解：

通过真实的旋转运动矩阵M可以得出，矩阵M的行矢量是单位矢量并且前N个行矢量和与之对应的后N个行矢量相互正交，即有约束条件：

由式(10)解出矩阵A，带入式(9)并结合式(7)即可求得代表目标的三维轮廓结构的矩阵S。

发明提出的方法，它不依赖于ISAR序列图像间像素点(特征点)间匹配，而是根据ISAR序列图像中提取出的多边形，对序列多边形匹配而实现目标的三维轮廓重构。本发明解决了ISAR序列图像中多边形如何提取，序列多边形之间如何匹配以及序列多边形如何重构三维轮廓等技术问题。基于仿真和实测结果表明，本发明提出的方法能准确地提取ISAR序列图像中的多边形，并使序列多边形准确地匹配，从而重构出ISAR目标的三维轮廓。

Claims (1)

1.一种基于ISAR序列多边形匹配的三维轮廓重构方法，其特征在于步骤如下：

步骤1：利用K聚类法对ISAR序列图像的每幅图像进行聚类，得到每幅图像的K-means阈值，以K-means阈值对ISAR图像进行二值化分割，得到ISAR序列图像的背景抑制的ISAR序列图像；

步骤2：对每幅背景抑制的ISAR图像进行数学填充和腐蚀操作：

其中：C为ISAR序列图像，D代表结构元素，即圆形或者线形，获得平滑饱满的ISAR序列图像；

步骤3、提取N帧ISAR序列图像的多边形：首先提取每幅ISAR图像中目标的边缘，然后采用Douglas-Peuker算法对ISAR图像边缘拟合，使拟合后的多边形相应弧最远距离小于设定阈值K：

步骤1)在ISAR图像边缘曲线上取任意一段，其起始点定义为C，结束点定义为D，该条线段CD定义为该边缘曲线的弦；

步骤2)计算曲线上每个像素点与CD的距离，得到与CD弦最远距离d；

步骤3)当最远距离d小于设定阈值K，则此弦可作为多边形的一条边，此条边缘曲线处理完毕；当最远距离d大于设定阈值K，则将CD分为CO和OD，然后对CO和OD重复步骤2)～步骤3)；

得到每幅ISAR图像对应的多边形；

所述阈值K为3～5个像素；

步骤4、ISAR序列多边形的匹配：统计序列ISAR图像提取出的多边形的成对几何特征，以多边形不同的顶点作为起始编号，分别遍历计算

当且仅当序列ISAR图像中的多边形顶点之间完全正确匹配的情况下，S值为最大，最大S值对应于ISAR序列多边形之间的最佳匹配；

其中：

分别表示两个ISAR序列图像中的第V个顶点的第T个特征，M代表多边形顶点总数，N代表特征总数；

步骤5、ISAR序列多边形三维轮廓重构：将N帧ISAR图像的P个多边形顶点坐标组成测量矩阵：

其中：x_np,y_np分别代表第n个多边形的第p个顶点的横、纵坐标值

加入条件约束，利用因式分解将W分解为测量设备的运动矩阵和目标的真实三维轮廓转折点坐标的乘积，为：

W＝M·S

其中：M＝[i_i ^T···i_N ^T,j_i ^T···j_N ^T]^T，M∈R^2N×3，矢量i_n和j_n分别表示第n帧ISAR图像测量设备的X轴和Y轴方向，S∈[s₁...s_p]，S∈R^3×P，s_p为目标三维轮廓的第P个三维空间坐标(x_p,y_p,z_p)，

分解的约束条件：

由此解出矩阵X，代入W即可求得S，代表ISAR目标的三维轮廓；

其中：对序列多边形顶点组成的测量矩阵SVD奇异值分解后，W＝U∑V^T，U∈R^2N×3∑＝diag(σ₁,σ₂,σ₃)，σ₁≥σ₂≥σ₃＞0，V∈R^p×3，只取U的前三行，∑的前3×3的子矩阵,V的前三列；设：

则

Images