CN109544584B - 一种实现巡检稳像精度测量的方法及系统 - Google Patents

Abstract

本发明公开了一种实现巡检稳像精度测量的方法及系统，利用多阈值直方图分割方法对检测目标进行识别检测，确定目标位置；利用区域预测匹配方法，对定位的目标进行实时跟踪并记录目标位置移动变化量；最后，分析位置变化数据确定视频中目标变化范围，进而确定无人机整体的稳像性能。本发明有益效果：实现了对无人机本体与云台稳像能力的评测，指导输电线路无人机智能采集系统设备选型与系统搭建。

Description

一种实现巡检稳像精度测量的方法及系统

技术领域

本发明涉及数字图像处理领域，尤其涉及一种实现巡检稳像精度测量的方法及系统。

背景技术

小型无人机作为灵活的高速空中飞行器，可以通过搭载各种辅助设备完成各种艰巨的任务，在军用和民用领域具有重要的使用价值，已经受到业界的高度重视。

无人机智能采集系统，通过在巡检过程中自主控制云台转动、相机拉焦拍摄的方式，实现对输电线路信息的自动采集。但是由于无人机本体、云台自身稳定性能的影响，无法有效的克服飞行过程中由于自身的抖动、旋转、风力等影响，导致获取的视频图像出现像素位移、相机失焦造成视频图像模糊以及在拍摄固定目标时画面抖动较严重等，影响巡检作业效果。传统的无人机影像质量与稳定性判定方法，主要依靠测试员对获取的视频序列采用人眼主观判读进行。而人工判读存在两个主要问题，一是不同人对同一段视频的评价标准不一，缺少量化指标；二是人工检测效率低下，需要投入大量的人员以及工作量。这就需要我们通过技术手段完成对无人机视频稳定性的全自动检测。实现对无人机视频图像稳定性的客观、公正及快速评价。

现有技术通过获取云台的惯性测量单元数据并进行积分运算，实现对云台姿态的检测；现有技术通过检测导航定位、飞行控制的水平与垂直方向的偏差，完成对巡检系统的飞行性能评价。但是，上述无人机系统相关性能评测技术中，均没有针对无人机稳像精度进行评测。

发明内容

本发明为了解决上述问题，提出了一种实现巡检稳像精度测量的方法及系统，利用多阈值直方图分割方法对检测目标进行识别检测，确定目标位置；利用区域预测匹配方法，对定位的目标进行实时跟踪并记录目标位置移动变化量；最后，分析位置变化数据确定视频中目标变化范围，进而确定无人机整体的稳像性能。

为了实现上述目的，本发明采用如下技术方案：

在一个或多个实施方式公开的一种实现巡检稳像精度测量的方法，包括：

对获取到的拍摄影像进行解压处理，形成图像集合并转化为灰度图像序列，并将灰度图像序列输入到环形缓冲区中；

根据灰度图像的到灰度直方图，统计灰度直方图并确定第一个分割阈值，结合多阈值分割方案将剩余灰度分成三部分，完成对目标的定位与提取；

设计多级分层匹配运动估计模型，利用多级分层与逐级优化的搜索策略，实现对关键目标点的搜索与跟踪，并记录关键目标点的运动偏移量；

构建稳像参数估计模型，分析关键点运动偏移量数据，确定稳像性能。

需要说明的是，上述的拍摄视频可以是无人机智能采集获取到的视频或者影像信息，也可以是电力巡检机器人拍摄到的视频或者影像信息。

进一步地，根据灰度图像的到灰度直方图，统计灰度直方图并确定第一个分割阈值，具体为：

把灰度直方图中波峰值的t％所对应的右侧灰度值T₁作为多阈值分割的第一个阈值；其中，t为设定值。

进一步地，t的值优选为50％。

进一步地，结合多阈值分割方案将剩余灰度分成三部分，完成对目标的定位与提取，具体为：

在[0,T1]区间内求类间最大方差对应的值，即为T2；

在[0,T2]区间内求类间最大方差对应的值，即为T3；

利用阈值T₂，T₃把[T₁，255]区域的灰度值进行分割；

通过阈值T₃，把灰度图像转换成二值图像。

进一步地，设计多级分层匹配运动估计模型，具体为：多级分层运动估计首先要对当前帧和参考帧进行分层处理，也就是构建两个原始图像帧的金字塔表示；在金字塔结构中，底层为原始图像帧，然后按照上层大小为下层的四分之一进行逐层缩小，层层堆叠，一直到金字塔的顶端。

进一步地，利用多级分层与逐级优化的搜索策略，实现对关键目标点的搜索与跟踪，具体为：

在顶层进行运动估计，在计算块匹配误差时采用绝对误差和(Sum of AbsoluteDifference SAD)作为匹配准则；

往金字塔底层逐层推进，将较高分级层的运动估计结果传到较低分级层作为较低分级层的运动估计初值，依次下去，直到在金字塔最底层找到最佳匹配。

进一步地，记录关键目标点的运动偏移量，具体为：

为了实现快速的匹配，选择静态时初始帧作为基准图像，并将基准图像分成若干区域，记录区域的中心点的位置，将视频序列中的每一帧与基准图像做对比，在一定的搜索范围内定位到相应的目标点，并计算出目标点与基准图像中目标点的绝对位移，作为目标点的偏移量。

进一步地，构建稳像参数估计模型，分析关键目标点运动偏移量数据，确定稳像性能，具体为：

将图像中两个像素点距离、绝对震动方位图与最大偏移位置作为评测指标，在客观上量化比较设备的稳像能力：像素点距离越大，表明稳像能力越差；绝对震动方位图角度变化越大，表明稳像能力越差；最大偏移值越大，表明稳像能力越差。

在一个或多个实施方式公开的一种实现巡检稳像精度测量的系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种实现巡检稳像精度测量的方法。

在一个或多个实施方式公开的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述的一种实现巡检稳像精度测量的方法。

与现有技术相比，本发明的有益效果是：

对目标采用多阈值分割方法，在连续视频画面中采用区域匹配算法跟踪目标，获取目标移动的矢量位移，根据相机的成像原理，推算出吊舱运动的真实轨迹及振动的方位与幅度。进而通过计算绝对震动方位的分布图、实际最大振幅值、计算震动的周期性、检测出目标面积大小的变化确定其清晰度，从而建立对智能采集系统的吊舱稳像性能的客观评价方法，实现了对无人机本体与云台稳像能力的评测，指导输电线路无人机智能采集系统设备选型与系统搭建。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是不同亮度场景下的灰度直方图与峰值图；

图2为原始图像帧的金字塔结构示意图；

图3为右边为金字塔各层结构示意图；

图4为物高与像高关系示意图；

图5(a)为直角坐标与极坐标转换示意图；

图5(b)为目标偏移的极坐标分布结果示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中公开的一种实现巡检稳像精度测量的方法，包括以下步骤：

步骤一：视频图像预处理。对获取到的巡检设备拍摄视频进行解压处理，形成图像集合并转化为灰度图像序列，并将图像序列输入到环形缓冲区中。

步骤二：目标定位。统计图像灰度直方图并确定第一个分割阈值，结合多阈值分割方案将剩余灰度分成三部分，完成对目标的定位与提取。

步骤三：目标跟踪。设计多级分层匹配运动估计模型，利用多级分层与逐级优化的搜索策略，实现对关键目标点的搜索与跟踪，并记录关键目标点的运动偏移量。

步骤四：稳像参数测量。构建稳像参数估计模型，分析关键点运动偏移量数据，确定稳像性能。

需要说明的是，上述稳像精度测量方法可以应用于对无人机稳像精度测量，也可以应用于其他设备，比如：电力巡检机器人稳像精度测量。

为了降低匹配搜索数据，降低块匹配准则计算复杂度。根据提供的静止状态下的背景图像帧，将该背景图像分成若干个区域，记录下目标的中心点所在的位置，将视频序列中的每一帧与该原始帧做对比，在一定的搜索范围内定位到相应的目标，并计算出目标与原始视频帧中目标的绝对位移，作为目标的偏移指标。

步骤二目标定位具体步骤为：

步骤1：通过灰度图像得到灰度直方图，对灰度直方图进行分析，把直方图中波峰值的50％所对应的右侧灰度值T₁作为多阈值分割的第一个阈值，如图1所示。

步骤2：在[0,T1]区间内求类间最大方差对应的值，即为T2；在[0,T2]区间内求类间最大方差对应的值，即为T3；通过多阈值的方法利用阈值T₂，T₃把[T₁，255]区域的灰度值进行分割。

步骤3：通过步骤2所得到的阈值T₃，把灰度图像转换成二值图像；即，将大于阈值T3的像素置为0，小于阈值T3的像素的置为1。

在步骤三的目标跟踪中，主要包括以下步骤：

步骤1：构建原始图像金字塔，图2为原始图像帧的金字塔结构，图3为金字塔各层结构。

多级分层运动估计首先要对当前帧和参考帧进行分层处理，也就是构建两个原始图像帧的金字塔表示。在金字塔结构中，底层为原始图像帧，然后按照上层大小为下层的四分之一进行逐层缩小，层层堆叠，一直到金字塔的顶端。金字塔依据下式进行构建：

其中，L为金字塔结构层数索引值，L-1层表示L层的下一层，I^L(i,j)表示L层(i,j)坐标处的像素值，u,v分别为像素点的横、纵坐标。

步骤2：

首先，在顶层进行运动估计，考虑到块匹配计算的复杂性，在计算块匹配误差时采用绝对误差和SAD(Sum of Absolute Difference)作为匹配准则：

其中，

分别代表当前帧图像、参考帧图像在L层的像素块，金字塔各层的SAD值可由索引L标识。匹配搜索由金字塔顶端开始，在这里像素数目少，即使匹配是在全部参考点上进行，搜索过程所需的计算仍然会比较少，根据匹配准则可以快速得到该层运动矢量；如果误差过大说明匹配失误，就要重新进行匹配。

块匹配的目的是将上层与下层(上层下层都进行了图像的区域切分)的图像块匹配起来，知道上下层图像块的对应关系。其次，往金字塔底层逐层推进，将较高分级层的运动估计结果传到较低分级层作为这一级的运动估计初值，此时搜索范围只限于一个局部的区域，在这一分级层进行运动估计的计算量大大减少；依次下去，直到在金字塔最底层找到最佳匹配。

由金子塔的上层到下层进行匹配，每次都会计算两层间的图像块的SAD值，块与块之间选择SAD最小的对应关系，作为最佳匹配。同一个图像块在上、下两层，总会找到匹配关系。其中，运动估计结果就是目标的预估位置。根据上层的位置关系，推理出目标在下层的位置，以加速计算。

最后，为了实现快速的匹配，选择静态时初始帧(开始的第一帧图像)为基准图像，并将基准图像分成若干区域，记录区域的中心点的位置,将视频序列中的每一帧与基准图像做对比，在一定的搜索范围内定位到相应的目标，并计算出目标与基准图像中目标的绝对位移，作为目标的偏移量。

为了标准化的不同设备的稳像能力，在步骤四中制定多个评测指标，在客观上量化比较设备的稳像能力，步骤四主要步骤为：

首先，计算像素间的距离d。根据物理光学成像中的相似三角形原理：

得到：

示意图如图4所示，转换相机的焦距、物距、像距间的关系：

可计算得到图像中两个像素点距离。

两像素点之间的距离，对应了偏移量；两像素点之间的距离越大说明稳像能力越差。

其次，计算绝对震动方位图与最大偏移位置，评测设备稳像能力。

(1)通过计算相邻两帧的相对水平位移、垂直位移；进而计算机相对参考帧的绝对水平位移、绝对垂直位移；以基准图像作为参考，将偏移的水平位移与垂直位移，转换到极坐标系中，并将计算结果实时显示到极坐标图形中。

由图5(a)可知直角坐标系中坐标点转换到极坐标中的表示为：

依次统计每一帧中目标点的偏移坐标在极坐标中的表示，根据目标偏移的极坐标分布结果可以直观的显示出振动的方位和大小分布，判断视频抖动的整体结果，如图5(b)所示。

(2)最大偏移值

1)采用单目标定的方式标定无人机云台中的相机，在静止状态下，依据步骤四第一步的计算准则获取像素间的标准距离；

2)根据步骤二目标跟踪，计算出每帧图像中的偏移像素数据，即可计算出每帧中目标实际的水平位移H_i与竖直位移V_i(i表示每帧图像的序号)。

3)统计视频中所有帧中目标的实际水平位移与实际竖直位移，求出实际最大水平偏移max H和实际最大竖直偏移max V：

通过分析震动过程中，设备跟踪标准物变化的方位图和偏移量，可实现设备稳像精度的客观评定。方位图角度变化越大，表明稳像能力越差；最大偏移值越大，表明稳像能力越差。

实施例二

在一个或多个实施方式中公开的一种实现巡检稳像精度测量的系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一所述的实现巡检稳像精度测量的方法。

实施例三

在一个或多个实施方式中公开的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行实施例一所述的实现巡检稳像精度测量的方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种实现稳像精度测量的方法，其特征在于，包括：

对获取到的拍摄影像进行处理，完成对目标图像的定位与提取；

对目标图像进行多级分层与逐级优化处理，利用区域预测匹配方法，对定位的目标进行实时跟踪并记录目标位置移动变化量，得到关键目标点的运动偏移量；

分析关键点运动偏移量数据，确定稳像性能；具体为：将图像中两个像素点距离、绝对震动方位图与最大偏移位置作为评测指标，在客观上量化比较设备的稳像能力；绝对震动方位图以基准图像作为参考，将偏移的水平位移与垂直位移转换到极坐标系中，依次统计每一帧中目标点的偏移坐标在极坐标中的表示，并将计算结果实时显示到极坐标图形中。

2.如权利要求1所述的一种实现稳像精度测量的方法，其特征在于，所述对目标图像进行多级分层与逐级优化处理，具体为：

对当前帧和参考帧进行分层处理，构建两个原始图像帧的金字塔表示；

在金字塔结构中，底层为原始图像帧，然后按照上层大小为下层的四分之一进行逐层缩小，层层堆叠，一直到金字塔的顶端。

3.如权利要求2所述的一种实现稳像精度测量的方法，其特征在于，利用多级分层与逐级优化的搜索策略，实现对关键目标点的搜索与跟踪：

在金字塔顶层进行运动估计，往金字塔底层逐层推进，将较高分级层的运动估计结果传到较低分级层作为较低分级层的运动估计初值，依次下去，直到在金字塔最底层找到最佳匹配。

4.如权利要求1所述的一种实现稳像精度测量的方法，其特征在于，所述得到关键目标点的运动偏移量，具体为：

选择静态时初始帧作为基准图像，并将基准图像分成若干区域，记录区域的中心点的位置，将影像序列中的每一帧与基准图像做对比，在一定的搜索范围内定位到相应的目标点，并计算出目标点与基准图像中目标点的绝对位移，作为目标点的偏移量。

5.如权利要求1所述的一种实现稳像精度测量的方法，其特征在于，所述对获取到的影像进行处理，完成对目标图像的定位与提取，具体为：

根据灰度图像的到灰度直方图，确定第一个分割阈值，将第一个分割阈值之后的灰度分成三部分，完成对目标的定位与提取。

6.如权利要求5所述的一种实现稳像精度测量的方法，其特征在于，把灰度直方图中波峰值的t％所对应的右侧灰度值T₁作为多阈值分割的第一个阈值；其中，t为设定值。

7.如权利要求5所述的一种实现稳像精度测量的方法，其特征在于，将第一个分割阈值之后的灰度分成三部分，具体为：

在[0,T1]区间内求类间最大方差对应的值T2；

在[0,T2]区间内求类间最大方差对应的值T3；

利用阈值T₂，T₃将T₁之后的灰度值进行分割；

通过阈值T₃，把灰度图像转换成二值图像。

8.一种实现稳像精度测量的系统，其特征在于，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7任一项所述的稳像精度测量的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行权利要求1-7任一项所述的稳像精度测量的方法。

Images