CN112652000A - 一种针对图像小尺度运动方向判定的方法 - Google Patents

Abstract

本发明公开了一种针对图像小尺度运动方向判定的方法，首先，对一幅运动尺度较小的模糊图像进行分块；接着，对已选取的图块使用SRCNN网络进行超分辨率重建，放大运动模糊给图像造成的线性拖影效应；最后，对于已超分辨重建的图块使用构建好的角度微分滤波器计算图块每个方向的梯度。本发明针对图像运动尺度过小，如3‑10像素，导致模糊方向难以鉴别的难题，依次采用分块，图块选择，图块超分辨率重建，加权平均角度微分滤波的方法。本发明针对小尺度运动模糊图像，角度鉴别精度较高，场景鲁棒性较强，抗噪声能力较强，适用于匀速直线运动、加速运动、振动等多种运动引起的图像模糊方向鉴别。

Description

一种针对图像小尺度运动方向判定的方法

技术领域

本发明涉及图像处理领域，尤其是一种针对图像小尺度运动方向判定的方法。

背景技术

伴随着空间遥感技术的发展，航天光学遥感器的地面分辨率日益提高，遥感图像在测绘、军事侦察、国土资源监测等诸多领域扮演越来越重要的角色。但是遥感器在轨运行期间由于在轨姿态调节，电气元件振动等因素，使得遥感器载荷相机与拍摄景物之间存在线性相对运动，这种相对运动会对遥感图像造成运动模糊。若能准确识别出运动方向，不仅可以指导航天器在轨调整技术优化，亦有利于对已获取的模糊图像建立退化模型，进而提升图像的像质。

由于近年来航天器技术水平的不断提高，这种运动的尺度越来越小，但由于目前航天器光学载荷的分辨率很高，加之很多领域对图像的像质要求提高，即使很小的相对运动也会对图像造成重要的影响。目前针对图像运动模糊方向鉴别的算法，大多为了解决运动尺度较大时的方向鉴别，即使有适用于小尺度运动模糊方向的方法，其鉴别精度也较低，且对于不同场景的鲁棒性较差，不能满足要求。因此，针对小尺度运动模糊，场景鲁棒性强的运动模糊方向鉴别是图像处理邻域亟需研究解决的问题。

发明内容

为了解决上述背景技术中的问题，本发明的目的是提供一种针对图像小尺度运动方向判定的方法，能够大幅降低运动尺度在3-10像素情况下的运动模糊方向鉴别误差。

本发明提供一种针对图像小尺度运动方向判定的方法，所述方法包括以下步骤：

步骤一，构建小尺度运动模糊图像数据库，并将数据库分为训练集和测试集；将训练集中的图像进行分块

步骤二，对训练集的图块计算信息熵、直线比例、对比度，构建特征向量；

步骤三，对训练集的图块使用步骤五的微分算子鉴别角度，并与真实模糊角度做差取绝对值得到角度鉴别误差；将训练集图块的特征向量和图块对应的角度鉴别误差送入全连接神经网络训练；将测试集图块按照步骤一的方法分成图块，对测试集图块按同样方式构建特征向量并输入训练好的网络中，选出测试集中运动模糊特征最明显且直线纹理干扰最少的图块；

步骤四，对已选取出的测试集图块使用SRCNN网络进行超分辨率重建；

步骤五，对于已超分辨重建的图块使用构建好的角度微分算子鉴别角度，按1°为步长每个方向的梯度，梯度最小的方向即图像高频成分最少的方向，也就是运动模糊的方向。

进一步的，所述步骤一具体包括：

步骤1.1，构建小尺度运动模糊图像数据库，将数据库按7：3比例分为训练集和测试集，具体为：

PSF＝fspecial('motion',l,θ)；

J＝imfilter(I,PSF,'conv','circular')；

其中l为线性运动的尺度，单位为像素pixel，θ为运动方向与x轴正方向的夹角，取值 (-90°,+90°]。I为原始图像，J为运动模糊图像；

步骤1.2，将训练集的图像进行分块，按无重叠分割为40*40的图块。

进一步的，所述步骤二具体包括：

步骤2.1，对所述步骤1.2中得到的每个训练集图块计算信息熵，设p_i为表示图块中灰度值为i的像素所占的比例，i的取值为0-255，则定义图块的信息熵H为：

步骤2.2，对所述步骤1.2中得到的每个训练集图块计算直线段所占图块的比例，先使用直线段检测算法LSD得到图块中线段成分的二值图像，再计算线段像素点数量在整个二值图像的比例R；

步骤2.3，对所述步骤1.2中得到的每个训练集图块计算对比度C，使用周边像素复制的方法对原始图块扩展，再计算中心像素灰度值与周围近邻像素灰度值之差的平方之和δ(i,j)²，除以图块总像素数，其中i，j分别指八邻域内中心点和周围点的灰度值，M，N为图块的长和宽：

δ(i,j)＝|i-j|

C＝∑δ(i,j)²/(M*N)

步骤2.4，对每个训练集图块构建三维特征向量r＝[H,R,C]，其中H表示图块的信息熵， R表示图块中的直线段比例，C表示图块的对比度。

进一步的，所述步骤三具体包括：

步骤3.1，对训练集中的图块使用步骤五的微分算子鉴别角度，并与真实模糊角度对比出计算鉴别误差；

步骤3.2，将训练集图块的特征向量和对应图块的角度鉴别误差送入全连接神经网络训练；对测试集中一幅待测试的图像按相同方式分为40*40的N幅图块，对每个测试集图块构建三维特征向量r＝[H,R,C]，将该特征向量送入全连接网络，网络输出值越小表示运动模糊特征和对比度明显且直线纹理干扰少，选出网络输出最小的3个图块进行下一步计算。

进一步的，所述步骤五具体包括：

步骤5.1，采用加权平均法，在每个方向上选取2个点计算方向微分，构建角度微分滤波器D，设角度微分计算方向相对于x轴正方向的角度为α；

步骤5.2，对所述步骤3.2选出的运动模糊图块g(i,j)使用角度微分滤波器D在α＝[-90°,+90°)按步长1°进行滤波运算，得到180幅微分图块Δg(i,j)：

Δg(i,j)＝imfilter(g(i,j),D,'conv')；

步骤5.3，计算图块像素点灰度值绝对值之和

I(Δg(i,j))对应的α角即为运动模糊图块中运动模糊方向与水平轴的夹角，也即为整幅遥感图像的运动模糊方向；

步骤5.4，计算出每个图块的模糊角度，使用三个图块鉴别角度的均值即得整幅图像的运动模糊方向。

作为本申请的一种优选实施方案，所述角度微分滤波器D为，设角度微分计算方向相对于x轴正方向的角度为α：

α∈[0°,30°]时，该方向的角度微分为该方向的两个黑点的像素值减去g(i,j)的差再除以 2得到；而两个黑点的像素值有其四周最近的四个像素点经双线性插值得到，因此：

α∈(30°,60°]时，

α∈(60°,90°]时，

α∈(-90°,0°)的情况与α∈[0°,90°]的情况互成镜像，这里不再赘述。

本发明的有益效果为：本发明可大幅降低运动尺度在3-10像素情况下的运动模糊图像方向判定误差，且本发明提出的分块算法可以有效应对不同场景，如海洋、码头、农田、城市、道路、机场以及自然场景图像等等，增强了算法的场景鲁棒性。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对本发明中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其它附图。

图1为本发明的方法流程示意图；

图2为本发明仿真小尺度运动模糊图像的方法框图；

图3为本发明的全连接网络图；

图4为α∈[0°,30°]时两点加权的微分滤波器求法向量图；

图5为α∈(30°,60°]时两点加权的微分滤波器求法向量图；

图6为α∈(60°,90°]时两点加权的微分滤波器求法向量图。

具体实施方式

现将结合附图对本发明的技术方案进行完整的描述。以下描述仅仅是本发明的一部分实施案例而已，并非全部。基于本发明中的实施案例，本领域技术人员在没有作出创造性劳动的前提下所获得的所有其他实施案例，都属于本发明的权利保护范围之内。

本发明提供一种针对图像小尺度运动方向判定的方法，所述方法包括以下步骤：

步骤一，构建小尺度运动模糊图像数据库，并将数据库分为训练集和测试集；将训练集中的图像进行分块

步骤二，对训练集的图块计算信息熵、直线比例、对比度，构建特征向量；

步骤三，对训练集的图块使用步骤五的微分算子鉴别角度，并与真实模糊角度做差取绝对值得到角度鉴别误差；将训练集图块的特征向量和图块对应的角度鉴别误差送入全连接神经网络训练；将测试集图块按照步骤一的方法分成图块，对测试集图块按同样方式构建特征向量并输入训练好的网络中，选出测试集中运动模糊特征最明显且直线纹理干扰最少的图块；

步骤四，对已选取出的测试集图块使用SRCNN网络进行超分辨率重建；

步骤五，对于已超分辨重建的图块使用构建好的角度微分算子鉴别角度，按1°为步长每个方向的梯度，梯度最小的方向即图像高频成分最少的方向，也就是运动模糊的方向。

(1)使用图2框图所示的仿真方法构建小尺度运动模糊图像数据库，将数据库按7：3 比例分为训练集和测试集。小尺度运动模糊图像的仿真主要是用matlab中的imfilter()函数对图像进行线性空间滤波，产生运动模糊图像。具体实现流程为：(1)先读入原始图像，对这幅图像进行傅里叶变换；(2)再构建运动模糊对应的点扩散函数psf，点扩散函数psf有两个重要参数：1.运动模糊方向；2.运动模糊尺度。在本专利中，运动方向的取值范围为 (-90°,+90°]，此范围覆盖了图像模糊方向的全部角度；由于本专利是针对小尺度运动模糊的方向判定，所以线性运动的模糊尺度取值范围为3-9像素。(3)用傅里叶变换后的图像乘以构建好的运动模糊点扩散函数psf。(4)最后对得到的结果进行傅里叶反变换，即得到小尺度运动模糊的仿真图像。具体实现方式在Matlab中使用语句：

PSF＝fspecial('motion',l,θ)；

J＝imfilter(I,PSF,'conv','circular')；

其中l为线性运动的尺度，单位为pixel(像素)，θ为运动的角度，取值-90—90度。I为原始图像，J为运动模糊图像；

将训练集中的图像分块，按无重叠分割为40*40的图块。

将训练集中的图像进行分块，按无重叠分割为40*40的图块。分块的意义在于：其一，小尺度运动造成的模糊效果不明显，选取图像中运动模糊特征明显的部分有利于运动模糊角度鉴别；其二，图块相较于整幅图像尺寸变小，图块中运动产生的拖影效应并未减小，反而占据的比例相对性地提高了，运动模糊效应相对性地被“放大”。其三，使用合适的图块可以增强该算法的场景鲁棒性。由于线性运动对图像不同部分造成的模糊方向均是相同的，因此我们可以计算图像部分图块的运动模糊方向即可得到整幅图像的运动模糊方向。

(2)图像信息熵是一种统计形式，图像的信息熵表示图像中灰度分布的聚集特征所包含的信息量，信息熵越大表示图块的纹理越丰富，越适合用于角度鉴别；由于图块中的线性纹理会干扰角度微分计算，因此我们需要尽量减少这种干扰，这里我们使用LSD直线检测来对图块中的直线纹理含量进行评估衡量；图块整体的对比度越高，运动模糊造成的线性拖尾效应越明显。

对每个图块计算信息熵，设p_i为表示图块中灰度值为i的像素所占的比例，i的取值为 0-255，则定义图块的信息熵H为：

计算每个图块中直线段所占的比例，先使用LSD直线检测算法得到图块中线段成分的二值图像，再计算线段部分的像素点占整个二值图像的比例R。

计算每个图块的对比度C，具体方法为使用周边像素复制的方法对原始图块扩展，再计算中心像素灰度值与周围8近邻像素灰度值之差的平方之和δ(i,j)²，除以图块总像素数，其中M， N为图块的长和宽：

C＝∑δ(i,j)²/(M*N)

构建三维特征向量r＝[H,R,C]。

(3)基于图块构建好特征向量后，我们建立一个全连接网络并使用训练集中的图块训练此网络，建立特征向量对角度鉴别误差的映射，来拟合对应关系，后续可以利用已训练好的网络取遴选测试集中的图块。

对训练集中的图块使用步骤(5)的微分算子鉴别角度，并与真实模糊角度对比出计算鉴别误差。

将训练集图块的特征向量和对应的角度鉴别误差送入全连接神经网络训练。

对测试集中一幅待测试的图像按照步骤(1)的方式分为40*40的N幅图块，并构建测试集中每个图块的三维特征向量r＝[H,R,C]，将测试集图块对应的特征向量送入已训练好的全连接网络，网络输出越小表示该图块越适合角度鉴别计算，选出网络输出最小的3个图块进行下一步计算。

(4)对已选取出的3个测试集图块使用SRCNN网络进行超分辨率重建，放大运动模糊给图像造成的线性拖影效应，放大尺度为原图块的9倍(长和宽分别扩大至原图块的3倍)。

(5)运动模糊降低了运动方向上图像的高频成分，而图像其他方向上的高频并无明显变化，本发明对运动模糊图块进行各个方向上按1°为步长进行角度微分，当微分方向同运动模糊方向一致时高频成分最小，也就是运动模糊的方向。

为了解决随机因素导致图像局部偏离各向同性的问题，采用加权平均法，在每个方向上选取2个点计算方向微分，构建角度微分滤波器D：

如图4所示，α∈[0°,30°]时，该方向的角度微分为该方向的两个黑点的像素值减去g(i,j)的差再除以2得到；而两个黑点的像素值有其四周最近的四个像素点(周围的四个红点和四个蓝点)经双线性插值得到，因此：

α∈(30°,60°]时，如图5所示，

α∈(60°,90°]时，如图6所示，

α∈(-90°,0°)的情况与α∈[0°,90°]的情况互成镜像，这里不再赘述。

在Matlab中对图块g(i,j)使用角度微分滤波器D在α＝[-90°,+90°)按步长1°进行滤波运算，得到180幅微分图块Δg(i,j)：

Δg(i,j)＝imfilter(g(i,j),D,'conv')；

计算每幅微分图块像素点灰度值绝对值之和

I(Δg(i,j))对应的α角即为运动模糊图块中运动模糊方向与水平轴的夹角，也即为整幅遥感图像的运动模糊方向。

对遴选出的3幅图块分别进行上述[0051]--[0053]步骤，计算出每个图块的模糊角度，将三个图块鉴别角度的求均值即得整幅图像的运动模糊方向。

为了解决上述背景技术中的问题，本发明旨在提供一种针对图像小尺度运动方向判定的方法，相比与当前主流方法，本发明能够大幅降低运动尺度在3-10像素情况下的运动模糊方向鉴别误差(经验证可将角度鉴别误差由16度降为1度左右)，而且借助分块的思想，本发明可以有效应对不同场景，如海洋，码头，农田，城市，道路，机场以及自然场景图像等等，增强了算法的场景鲁棒性。

上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种针对图像小尺度运动方向判定的方法，其特征在于，所述方法包括以下步骤：

步骤一，构建小尺度运动模糊图像数据库，并将数据库分为训练集和测试集；将训练集中的图像进行分块

步骤二，对训练集的图块计算信息熵、直线比例、对比度，构建特征向量；

步骤三，对训练集的图块使用步骤五的微分算子鉴别角度，并与真实模糊角度做差取绝对值得到角度鉴别误差；将训练集图块的特征向量和图块对应的角度鉴别误差送入全连接神经网络训练；将测试集图块按照步骤一的方法分成图块，对测试集图块按同样方式构建特征向量并输入训练好的网络中，选出测试集中运动模糊特征最明显且直线纹理干扰最少的图块；

步骤四，对已选取出的测试集图块使用SRCNN网络进行超分辨率重建；

步骤五，对于已超分辨重建的图块使用构建好的角度微分算子鉴别角度，按1°为步长每个方向的梯度，梯度最小的方向即图像高频成分最少的方向，也就是运动模糊的方向。

2.根据权利要求1所述的图像小尺度运动的模糊方向鉴别方法，其特征在于，所述步骤一具体包括：

步骤1.1，构建小尺度运动模糊图像数据库，将数据库按7：3比例分为训练集和测试集，具体为：

PSF＝fspecial('motion',l,θ)；

J＝imfilter(I,PSF,'conv','circular')；

其中l为线性运动的尺度，单位为像素pixel，θ为运动方向与x轴正方向的夹角，取值(-90°,+90°]，I为原始图像，J为运动模糊图像；

步骤1.2，将训练集的图像进行分块，按无重叠分割为40*40的图块。

3.根据权利要求1所述的图像小尺度运动的模糊方向鉴别方法，其特征在于，所述步骤二具体包括：

步骤2.1，对所述步骤1.2中得到的每个训练集图块计算信息熵，设p_i为表示图块中灰度值为i的像素所占的比例，i的取值为0-255，则定义图块的信息熵H为：

步骤2.2，对所述步骤1.2中得到的每个训练集图块计算直线段所占图块的比例，先使用直线段检测算法LSD得到图块中线段成分的二值图像，再计算线段像素点数量在整个二值图像的比例R；

步骤2.3，对所述步骤1.2中得到的每个训练集图块计算对比度C，使用周边像素复制的方法对原始图块扩展，再计算中心像素灰度值与周围近邻像素灰度值之差的平方之和δ(i,j)²，除以图块总像素数，其中i，j分别指八邻域内中心点和周围点的灰度值，M，N为图块的长和宽：

δ(i,j)＝|i-j|

C＝∑δ(i,j)²/(M*N)

步骤2.4，对每个训练集图块构建三维特征向量r＝[H,R,C]，其中H表示图块的信息熵，R表示图块中的直线段比例，C表示图块的对比度。

4.根据权利要求1所述的图像小尺度运动的模糊方向鉴别方法，其特征在于，所述步骤三具体包括：

步骤3.1，对训练集中的图块使用步骤五的微分算子鉴别角度，并与真实模糊角度对比出计算鉴别误差；

步骤3.2，将训练集图块的特征向量和对应图块的角度鉴别误差送入全连接神经网络训练；对测试集中一幅待测试的图像按相同方式分为40*40的N幅图块，对每个测试集图块构建三维特征向量r＝[H,R,C]，将该特征向量送入全连接网络，网络输出值越小表示运动模糊特征和对比度明显且直线纹理干扰少，选出网络输出最小的3个图块进行下一步计算。

5.根据权利要求1所述的图像小尺度运动模糊方向鉴别的方法，其特征在于，所述步骤五具体包括：

步骤5.1，采用加权平均法，在每个方向上选取2个点计算方向微分，构建角度微分滤波器D，设角度微分计算方向相对于x轴正方向的角度为α；

步骤5.2，对所述步骤3.2选出的运动模糊图块g(i,j)使用角度微分滤波器D在α＝[-90°,+90°)按步长1°进行滤波运算，得到180幅微分图块Δg(i,j)：Δg(i,j)＝imfilter(g(i,j),D,'conv')；

步骤5.3，计算图块像素点灰度值绝对值之和

I(Δg(i,j))对应的α角即为运动模糊图块中运动模糊方向与水平轴的夹角，也即为整幅遥感图像的运动模糊方向；

步骤5.4，计算出每个图块的模糊角度，使用三个图块鉴别角度的均值即得整幅图像的运动模糊方向。

6.根据权利要求5所述的图像小尺度运动模糊方向鉴别的方法，其特征在于，

所述角度微分滤波器D为，设角度微分计算方向相对于x轴正方向的角度为α：α∈[0°,30°]时，该方向的角度微分为该方向的两个黑点的像素值减去g(i,j)的差再除以2得到；而两个黑点的像素值有其四周最近的四个像素点经双线性插值得到，因此：

α∈(30°,60°]时，

α∈(60°,90°]时，

α∈(-90°,0°)的情况与α∈[0°,90°]的情况互成镜像，这里不再赘述。

Images