CN113139949A - 一种机器人图像模糊度检测方法 - Google Patents

Abstract

本发明公开了一种机器人图像模糊度检测方法，包括以下步骤：S01、对于相机采集的图像，采用基于边缘分析的评价方法得到初步估计的图像模糊度；S02、获取图像帧对应时刻的相机角速度；S03、根据初步估计的图像模糊度和对应时刻相机的角速度，通过自适应神经模糊推理算法，得到最终估计的图像模糊度。本方案在保证算法实时性的情况下，提高了图像模糊度检测的准确性，适用于移动的机器人尤其是球形机器人的图像处理。

Description

一种机器人图像模糊度检测方法

技术领域

本发明涉及图像模糊度检测领域，尤其是涉及一种机器人图像模糊度检测方法。

背景技术

机器人是一种通过手动或者自动控制，模拟人类完成各种指令的一种智能化装置。机器人可以代替人体进行各种复杂精细的操作，也可以代替人类进入复杂、危险的环境进行探索作业，保证人员安全。机器人完成人类所提出的不同巡检、遍历等任务的首要的前提是需要获得自身的位置和姿态。因此对机器人的定位需求随即而来。机器人的定位主要是利用了移动机器人身上的不同传感器来获得机器人本体以及周围环境的不同信息，通过对这些信息进行相应的处理来获取机器人在环境中的位置和姿态。相机是主流的机器人平台装载的一种传感器，被用来采集图像，提供丰富的周围环境信息，通过感知周围环境进行机器人定位。

本方案针对的对象为移动机器人，由于机器人存在快速移动和旋转的运动情况，搭载在机器人平台上的相机采集的图像容易产生模糊，导致以相机为感知主体的定位方案容易出现较大的定位偏差。对图像进行模糊度检测，筛选并忽略模糊图像，可以有效提高定位精度。

现阶段，图像模糊度检测多是针对图像本身信息，采用基于边缘分析的评价方法、基于变换域的评价方法或基于像素信息统计的评价方法。这些方法并不适合处理机器人相机等处于移动状态的相机。

发明内容

本发明主要是解决现有技术所存在的不能准确处理移动状态下的相机的技术问题，提供一种与运动信息结合的机器人图像模糊度检测方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种机器人图像模糊度检测方法，包括以下步骤：

S01、对于相机采集的图像，采用基于边缘分析的评价方法得到初步估计的图像模糊度；

S02、获取图像帧对应时刻的相机角速度；

S03、根据初步估计的图像模糊度和对应时刻相机的角速度，通过自适应神经模糊推理算法，得到最终估计的图像模糊度。

作为优选，所述步骤S01中，基于边缘分析的评价方法通过计算图像平均边缘宽度实现，包括以下步骤：

S101、进行图像边缘点检测：以点(x,y)为中心，在四个方向上计算3×3邻域内的灰度一阶导数，四个方向分别为0°、45°、90°和135°，取四个方向中梯度最大的为该点梯度，如果该点梯度大于阈值T，则认为该点为初步边缘点；重复本过程直至遍历图像的所有像素；图像边界点直接忽略不进行检测；阈值T为预设参数，一般T可以为150；

S102、对图像噪点进行处理：

取以初步边缘点M为中心的7×7邻域范围，计算此范围内所有初步边缘点(即使已经被判定为噪声点的初步边缘点也仍然进行计算)的梯度方向，梯度方向定义为：

G_0°为初步边缘点在0°方向上的梯度，G_90°为初步边缘点在90°方向上的梯度；将中心边缘点M的梯度方向与范围内其它各个初步边缘点的梯度方向逐一进行比较，如果两个梯度方向的差值Δφ(x,y)<90°，则认为中心边缘点M与该初步边缘点方向相近；如果范围内与中心边缘点M方向相近的初步边缘点数量大于3，则判断此中心边缘点M为真正的边缘点，否则认为此中心边缘点M为噪声点进行删除；重复本过程直至遍历所有初步边缘点；

S103、分块计算平均边缘宽度：

将图像分割为32×32像素的分块，对每一分块计算平均边缘宽度

公式如下：

式中，ω(x,y)为分块内坐标是(x,y)的真正边缘点N的边缘宽度，n为分块内梯度方向小于梯度方向阈值的真正边缘点的个数；ω(x,y)由以下公式获得：

ω_up(x,y)和ω_down(x,y)分别为边缘点N与局部灰度极大值和局部灰度极小值的距离，φ(x,y)<φ_max，φ_max为梯度方向阈值，一般取值为45°，梯度方向大于或等于梯度方向阈值的真正边缘点不处理，不计算宽度；

S104、计算整幅图像的平均边缘宽度，作为初步估计的图像模糊度。

本方案取的是竖直方向的灰度极大值和极小值间距，除以cos角得到边缘宽度。如果梯度方向远远偏离竖直方向，cos值很小，误差会很大，所以需要用梯度方向阈值限制梯度方向角。阈值取值可以根据实际效果调整。竖直方向的灰度值直接决定计算结果，而水平方向的灰度值对最终结果影响极小甚至完全没有改善，因此从加快运算速度的目的考虑，只提取竖直方向的像素灰度值进行计算。

作为优选，所述步骤S02中，图像帧对应时刻的相机角速度由与相机刚性连接的惯性传感器测量得到。

作为优选，所述步骤S03中，通过自适应神经模糊推理算法计算图像模糊度具体过程如下：

S311、通过隶属度函数对输入信号进行模糊化处理，输入信号包括图像平均边缘宽度和对应的相机运动角速度，本方案主要针对球形机器人，角速度对图像的影响为主要影响，平移速度可以忽略，因此只需要处理角速度，公式如下：

式中，x和y为节点i的输入，x为图像的平均边缘宽度，y为相机运动角速度，A_i和B_i为模糊集，

为输入x隶属于模糊集A_i的隶属度，

为输入y隶属于模糊集B_i的隶属度，a_i、b_i和c_i为前件参数；

S312、将隶属度信号相乘，得到一条规则的可信度，网络有四条规则，分别是：

规则1：如果x隶属于A₁并且y隶属于B₁，则f₁＝p₁x+q₁y+r₁；

规则2：如果x隶属于A₁并且y隶属于B₂，则f₂＝p₂x+q₂y+r₂；

规则3：如果x隶属于A₂并且y隶属于B₁，则f₃＝p₃x+q₃y+r₃；

规则4：如果x隶属于A₂并且y隶属于B₂，则f₄＝p₄x+q₄y+r₄；

则第二层的节点Π的输出为：

S313、计算每条规则的归一化强度，第三层的节点N的输出为：

S314、模糊子空间的输出，节点的输出为：

式中p_i、q_i和r_i为后件参数；

S315、计算最终输出：

即系统的输出，也就是最终得到的图像模糊度。

作为优选，后件参数通过前向过程得到：

在自适应神经模糊推理系统的前向传递过程中，设前件参数固定不变，系统输出为后件参数的线性组合：

写成矩阵形式，有：

f＝A·X

其中，X为后件参数构成的集合[p₁,q₁,r₁,p₂,q₂,r₂,p₃,q₃,r₃,p₄,q₄,r₄]^T，设有P组输入输出，矩阵A为P×12大小的矩阵；当样本数量远大于参数数量，即P＞＞12时，使用最小二乘法，通过最小化均方误差‖AX-f‖²，得到后件参数的最佳估计：

X^*＝(A^TA)^-1A^Tf

其中，(A^TA)^-1A^T为A的伪逆矩阵。

作为优选，前件参数通过反向过程得到：

根据前向过程计算得到的后件参数进行误差计算，再将误差信号逐层反向传播，由梯度下降法得到前件参数，参数更新规则为：

其中，梯度由链式法则计算：

η_a、η_b、η_c分别为参数a_i、b_i、c_i的学习率，由训练集大小和结果收敛速度决定，一般可以设为0.5。

作为优选，局部灰度极大值和局部灰度极小值获得方式为：

提取分块内边缘点N所在竖直列的各像素灰度值构成灰度值曲线，提取灰度值曲线上的所有极大值点和极小值点，距离边缘点N最近的极大值点为局部灰度极大值，距离边缘点N最近的极小值点为局部灰度极小值；这里的灰度值曲线上的极大值点和极小值点就是一般数学概念上的极大值和极小值，即曲线的波峰点和波谷点，也就是先增后减产生极大值，先减后增产生极小值。

作为优选，计算整幅图像的平均边缘宽度具体为：

对全部分块进行平均边缘宽度计算后，根据计算结果对分块进行排序，对排序前γ位的平均边缘宽度求均值，得到整幅图像的平均边缘宽度；γ为预设参数，一般取值为12。

本发明带来的实质性效果是，利用图像中的边缘信息以及图像采集时刻的相机运动信息估计图像的模糊度，在保证算法实时性的情况下，提高了图像模糊度检测的准确性。

附图说明

图1是本发明的一种流程图；

图2是本发明的一种图像平均边缘宽度计算流程图；

图3是本发明的一种自适应神经模糊推理算法的网络结构图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种机器人图像模糊度检测方法，基于相机的角速度，相机角速度通过与相机刚性连接的惯性测量器测量得到。

如图1所示，具体方法包括以下步骤：

S01、对于相机采集的图像，采用基于边缘分析的评价方法得到初步估计的图像模糊度；

S02、获取图像帧对应时刻的相机角速度；

S03、根据初步估计的图像模糊度和对应时刻相机的角速度，通过自适应神经模糊推理算法，得到最终估计的图像模糊度。

首先进行图像平均边缘宽度计算，如图2所示，图像平均边缘宽度计算包括以下步骤：

步骤1：图像边缘点检测。

以点(x,y)为中心，在四个方向上计算3×3邻域内的灰度一阶导数。四个方向分别为0°、45°、90°和135°。取四个方向中梯度最大的为该点梯度，则梯度值为：

G(x,y)＝max(|G_0°|,|G_45°|,|G_90°|,|G_135°|)

其中，G_i通过相应方向的算子模板M_i计算得到。

即对于点(x,y)，设灰度值为f(x,y)，有：

G_0°＝(f(x+1,y+1)+2f(x+1,y)+f(x+1,y-1))-(f(x-1,y+1)+2f(x-1,y)+f(x-1,y-1))

G_45°＝(f(x+1,y)+2f(x+1,y+1)+f(x,y+1))-(f(x-1,y)+2f(x-1,y-1)+f(x,y-1))

G_90°＝(f(x+1,y+1)+2f(x,y+1)+f(x-1,y+1))-(f(x+1,y-1)+2f(x,y-1)+f(x-1,y-1))

G_135°＝(f(x-1,y)+2f(x-1,y+1)+f(x,y+1))-(f(x,y-1)+2f(x+1,y-1)+f(x+1,y))

使用上式对图像点邻域进行运算后，即可求得图像点的梯度幅度值G(x,y)，设置阈值T，当G(x,y)>T时，认为该点为边缘点，本身实施例中T为150。

步骤2：图像噪点处理。

取以边缘点为中心的7×7邻域范围，计算与当前边缘点梯度方向相近的边缘点的数量N。梯度方向定义为：

若两个边缘点的梯度方向差值Δφ(x,y)<90°，则认为该边缘点与中心边缘点方向相近。当N>3时，判断中心边缘点为边缘点，否则该点为噪声点。

步骤3：分块计算平均边缘宽度

为了降低景深造成的图像不同区域模糊程度不一带来的影响，将图像分割为32×32像素的分块，对于每一分块计算平均边缘宽度。

设φ_max为梯度方向阈值，本实施例中φ_max为45°，当φ(x,y)<φ_max时，计算边缘宽度为：

其中，ω_up(x,y)和ω_down(x,y)分别为边缘点与局部灰度极大值和极小值的距离。

则平均边缘宽度为：

其中，n为分块内边缘点的总数量。

步骤4：整体模糊度计算

对全部分块进行平均边缘宽度计算后，根据计算结果对分块进行排序，对排序前γ位的平均边缘宽度求均值，得到整幅图像的平均边缘宽度。

局部灰度极大值和局部灰度极小值获得方式为：

提取分块内边缘点N所在竖直列的各像素灰度值构成灰度值曲线，提取灰度值曲线上的所有极大值点和极小值点，距离边缘点N最近的极大值点为局部灰度极大值，距离边缘点N最近的极小值点为局部灰度极小值。

通过对图像进行处理得到平均边缘宽度，通过对惯性传感器数据进行处理得到对应时间的相机运动角速度之后，经过自适应神经模糊推理算法，得到图像最终估计的模糊度。如图3所示，自适应神经模糊推理算法的网络结构包括以下五层：

第一层：负责输入信号的模糊化处理。对于有两个输入的自适应神经模糊推理系统，第一层的节点i的函数为：

其中，x(y)为节点i的输入，即图像平均边缘宽度和对应的相机运动角速度，A_i(B_i)为模糊集，本实施例中，A₁为清晰，A₂为模糊，B₃为快，B₄为慢，

即模糊集A_i(B_i)的隶属度，表示输入x(y)隶属于模糊集A_i(B_i)的程度。隶属函数取钟形函数：

式中{a_i,b_i,c_i}为待优化的参数集，通常被称为前件参数。

第二层：负责将隶属度信号相乘，得到一条规则的可信度。假设网络有四条规则，分别是：

规则1：If x is A₁ and y is B₁,then f₁＝p₁x+q₁y+r₁

规则2：If x is A₁ and y is B₂,then f₂＝p₂x+q₂y+r₂

规则3：If x is A₂ and y is B₁,then f₃＝p₃x+q₃y+r₃

规则4：If x is A₂ and y is B₂,then f₄＝p₄x+q₄y+r₄

则第二层的节点Π的输出为：

第三层：负责计算每条规则的归一化强度。第三层的节点N的输出为：

第四层：负责计算模糊子空间的输出，节点的输出为：

式中{p_i,q_i,r_i}为该节点的参数集，通常被称为后件参数。

第五层：负责计算最终输出：

即系统的输出f(x,y)。

自适应神经模糊推理系统需要自适应调整的参数为第一层的前件参数{a_i,b_i,c_i}与第四层的后件参数{p_i,q_i,r_i}。采用最小二乘法和反向传播算法进行参数学习。

前向过程：在自适应神经模糊推理系统的前向传递过程中，设前件参数固定不变，系统输出为后件参数的线性组合：

写成矩阵形式，有：

f＝A·X

其中，X为后件参数构成的集合[p₁,q₁,r₁,p₂,q₂,r₂，p₃,q₃,r₃,p₄，q₄，r₄]^T，设有P组输入输出，矩阵A为P×12大小的矩阵。当样本数量远大于参数数量，即P＞＞12时，使用最小二乘法，通过最小化均方误差‖AX-f‖²，得到后件参数的最佳估计：

X^*＝(A^TA)^-1A^Tf

其中，(A^TA)^-1A^T为A的伪逆矩阵。

反向过程：根据前向过程计算得到的后件参数进行误差计算，再将误差信号逐层反向传播，由梯度下降法得到前件参数。参数更新规则为：

其中，η_a、η_b、η_c分别为参数a_i、b_i、c_i的学习率，本实施例中均为0.5，梯度由链式法则计算：

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了角速度、边缘宽度等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (8)

1.一种机器人图像模糊度检测方法，其特征在于，包括以下步骤：

S01、对于相机采集的图像，采用基于边缘分析的评价方法得到初步估计的图像模糊度；

S02、获取图像帧对应时刻的相机角速度；

S03、根据初步估计的图像模糊度和对应时刻相机的角速度，通过自适应神经模糊推理算法，得到最终估计的图像模糊度。

2.根据权利要求1所述的机器人图像模糊度检测方法，其特征在于，所述步骤S01中，基于边缘分析的评价方法通过计算图像平均边缘宽度实现，包括以下步骤：

S101、进行图像边缘点检测：以点(x，y)为中心，在四个方向上计算3×3邻域内的灰度一阶导数，四个方向分别为0°、45°、90°和135°，取四个方向中梯度最大的为该点梯度，如果该点梯度大于阈值T，则认为该点为初步边缘点；重复本过程直至遍历图像的所有像素；图像边界点直接忽略不进行检测；阈值T为预设参数；

S102、对图像噪点进行处理：

取以初步边缘点M为中心的7×7邻域范围，计算此范围内所有初步边缘点的梯度方向，梯度方向定义为：

G_0°为初步边缘点在0°方向上的梯度，G_90°为初步边缘点在90°方向上的梯度；将中心边缘点M的梯度方向与范围内其它各个初步边缘点的梯度方向逐一进行比较，如果两个梯度方向的差值Δφ(x，y)<90°，则认为中心边缘点M与该初步边缘点方向相近；如果范围内与中心边缘点M方向相近的初步边缘点数量大于3，则判断此中心边缘点M为真正的边缘点，否则认为此中心边缘点M为噪声点进行删除；重复本过程直至遍历所有初步边缘点；

S103、分块计算平均边缘宽度：

将图像分割为32×32像素的分块，对每一分块计算平均边缘宽度

公式如下：

式中，ω(x，y)为分块内坐标是(x，y)的真正边缘点N的边缘宽度，n为分块内梯度方向小于梯度方向阈值的真正边缘点的个数；ω(x,y)由以下公式获得：

ω_up(x，y)和ω_down(x，y)分别为边缘点N与局部灰度极大值和局部灰度极小值的距离，φ(x，y)<φ_max，φ_max为梯度方向阈值，梯度方向大于或等于梯度方向阈值的真正边缘点不处理，不计算宽度；

S104、计算整幅图像的平均边缘宽度，作为初步估计的图像模糊度。

3.根据权利要求1所述的机器人图像模糊度检测方法，其特征在于，所述步骤S02中，图像帧对应时刻的相机角速度由与相机刚性连接的惯性传感器测量得到。

4.根据权利要求1所述的机器人图像模糊度检测方法，其特征在于，所述步骤S03中，通过自适应神经模糊推理算法计算图像模糊度具体过程如下：

S311、通过隶属度函数对输入信号进行模糊化处理，输入信号包括图像平均边缘宽度和对应的相机运动角速度，公式如下：

式中，x和y为节点i的输入，x为图像的平均边缘宽度，y为相机运动角速度，A_i和B_i为模糊集，

为输入x隶属于模糊集A_i的隶属度，

为输入y隶属于模糊集B_i的隶属度，a_i、b_i和c_i为前件参数；

S312、将隶属度信号相乘，得到一条规则的可信度，网络有四条规则，分别是：

规则1：如果x隶属于A₁并且y隶属于B₁，则f₁＝p₁x+q₁y+r₁；

规则2：如果x隶属于A₁并且y隶属于B₂，则f₂＝p₂x+q₂y+r₂；

规则3：如果x隶属于A₂并且y隶属于B₁，则f₃＝p₃x+q₃y+r₃；

规则4：如果x隶属于A₂并且y隶属于B₂，则f₄＝p₄x+q₄y+r₄；

则第二层的节点Π的输出为：

S313、计算每条规则的归一化强度，第三层的节点N的输出为：

S314、模糊子空间的输出，节点的输出为：

式中p_i、q_i和r_i为后件参数；

S315、计算最终输出：

即系统的输出，也就是最终得到的图像模糊度。

5.根据权利要求4所述的机器人图像模糊度检测方法，其特征在于，后件参数通过前向过程得到：

在自适应神经模糊推理系统的前向传递过程中，设前件参数固定不变，系统输出为后件参数的线性组合：

写成矩阵形式，有：

f＝A·X

其中，X为后件参数构成的集合[p₁,q₁,r₁,p₂,q₂,r₂,p₃,q₃,r₃,p₄,q₄,r₄]^T，设有P组输入输出，矩阵A为P×12大小的矩阵；当样本数量远大于参数数量，即P＞＞12时，使用最小二乘法，通过最小化均方误差‖AX-f‖²，得到后件参数的最佳估计：

X^*＝(A^TA)^-1A^Tf

其中，(A^TA)^-1A^T为A的伪逆矩阵。

6.根据权利要求5所述的机器人图像模糊度检测方法，其特征在于，前件参数通过反向过程得到：

根据前向过程计算得到的后件参数进行误差计算，再将误差信号逐层反向传播，由梯度下降法得到前件参数，参数更新规则为：

其中，梯度由链式法则计算：

η_a、η_b、η_c分别为参数a_i、b_i、c_i的学习率，由训练集大小和结果收敛速度决定。

7.根据权利要求2所述的机器人图像模糊度检测方法，其特征在于，所述局部灰度极大值和局部灰度极小值获得方式为：

提取分块内边缘点N所在竖直列的各像素灰度值构成灰度值曲线，提取灰度值曲线上的所有极大值点和极小值点，距离边缘点N最近的极大值点为局部灰度极大值，距离边缘点N最近的极小值点为局部灰度极小值。

8.根据权利要求2或7所述的机器人图像模糊度检测方法，其特征在于，计算整幅图像的平均边缘宽度具体为：

对全部分块进行平均边缘宽度计算后，根据计算结果对分块进行排序，对排序前γ位的平均边缘宽度求均值，得到整幅图像的平均边缘宽度；γ为预设参数。

Images