CN115409890B

CN115409890B - 基于msr和广义霍夫变换的自定义标志检测方法及系统

Info

Publication number: CN115409890B
Application number: CN202211358977.1A
Authority: CN
Inventors: 皇攀凌; 颜承壮; 周军; 史建杰
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2022-11-02
Filing date: 2022-11-02
Publication date: 2023-03-24
Anticipated expiration: 2042-11-02
Also published as: CN115409890A

Abstract

本发明提供了一种基于MSR和广义霍夫变换的自定义标志检测方法及系统，属于一般的图像处理技术领域。根据自定义标记图像创建广义霍夫查找表；对待检测图像进行预处理，所述预处理依次包括MSR、转灰度图和高斯模糊；根据预处理后的图像生成待处理的第一梯度角度图，使用广义霍夫查找表对第一梯度角度图进行投票，采用非极大值抑制得到自定义标志的预测位置，根据所有预测位置得到检测结果图像；本发明采用改进的多尺度Retinex（MSR）算法实现输入图像的色彩恒常性，通过改进广义霍夫变换快速检测出自定义标志物在图像中的位置，极大的提高了自定义标志检测结果的精度。

Description

基于MSR和广义霍夫变换的自定义标志检测方法及系统

技术领域

本发明涉及一般的图像处理技术领域，特别涉及一种基于MSR和广义霍夫变换的自定义标志检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

近年来，随着移动机器人和自动驾驶技术的蓬勃发展，机器人的用途越来越多，在这些机器人中，拥有一颗能识别周身环境与标志的眼睛是必不可少的。不同用途的机器人对识别不同的标志物有不同需求，例如：自动驾驶汽车需要识别不同的交通标志；建筑开槽机器人需要检测墙体上开槽位置的标记；在一些机器人SLAM算法中要使用特定标志来辅助定位；甚至在医学领域的肿瘤诊断过程中也有使用图像处理方法进行肿瘤标志物检测的先例。

发明人发现，现有的标志检测技术复杂多样，大体分为两类，一类是基于深度学习的方法，这种方法通常需要大量的数据集，然后训练神经网络的参数，在使用时将待检测图片输入神经网络近行推理得到预测的结果，基于深度学习的方法具有推理速度快、准确度高等优点，但是准备数据集并进行训练需要耗费大量的人力并使用高性能计算机，无法检测训练集中没有出现过的目标，如果需要检测新加的目标只能重新训练模型；另一类是传统的基于图像处理的方法，常用的有模板匹配和广义霍夫变换。在检测过程中往往需要遍历图像中的所有像素位置进行计算，算法准确度高，但是运算量大，不能实现实时检测，且受环境光线影响较大。

发明内容

为了解决现有技术的不足，本发明提供了一种基于MSR和广义霍夫变换的自定义标志检测方法及系统，采用改进的多尺度Retinex（Multi-Scale Retinex，MSR）算法实现输入图像的色彩恒常性，通过改进广义霍夫变换，快速检测出自定义标志物在图像中的位置，极大的提高了自定义标志检测结果的精度。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种基于MSR和广义霍夫变换的自定义标志检测方法。

一种基于MSR和广义霍夫变换的自定义标志检测方法，包括以下过程：

根据自定义标记图像创建广义霍夫查找表；

对待检测图像进行预处理，所述预处理依次包括MSR、转灰度图和高斯模糊；其中，MSR，包括：采用多尺度高斯卷积模板对待检测图像的亮度分量进行模糊处理，对模糊处理的结果进行加权平均处理，计算每个像素点处的加权平均处理后的亮度分量与原始亮度分量的比值，用所述比值与原图RGB通道相乘得到MSR处理后的彩色图像；

根据预处理后的图像生成待处理的第一梯度角度图，使用广义霍夫查找表对第一梯度角度图进行投票，采用非极大值抑制得到自定义标志的预测位置，根据所有预测位置得到检测结果图像。

作为可选的一种实现方式，根据自定义标记图像创建广义霍夫查找表，包括：

将自定义标记图像转为单通道灰度图，在单通道灰度图上构建XY坐标系；

使用Socel算子分别计算单通道灰度图的X方向和Y方向的梯度，将X方向和Y方向的梯度转换为梯度幅值和梯度角度，过滤掉梯度幅值小于设定值的部分，得到第二梯度角度图，根据第二梯度角度图创建广义霍夫查找表。

作为进一步的限定，过滤掉梯度幅值小于设定值的部分之后，将剩余的梯度角度从0-2π变成整数1到angle_step+1之间，其中，angle_step +1为设定值。

作为可选的一种实现方式，采用多尺度高斯卷积模板对待检测图像的亮度分量进行模糊处理，对模糊处理的结果进行加权平均处理，包括：

其中，

为第k个尺度的反射分量，

为MSR处理后的亮度分量，

为第k个尺度的方差，

为第k个尺度的权重，D为高斯模板中指定点到模板中心的距离，F _k为第k个尺度高斯卷积模板，N为尺度的个数。

作为可选的一种实现方式，根据预处理后的图像生成待处理的第一梯度角度图，包括：

将预处理后的图像转为单通道灰度图，在单通道灰度图上构建XY坐标系，使用Socel算子分别计算单通道灰度图的X方向和Y方向的梯度，将X方向和Y方向的梯度转换为梯度幅值和梯度角度，过滤掉梯度幅值小于设定值的部分，得到待处理的第一梯度角度图。

作为进一步的限定，使用广义霍夫查找表对第一梯度角度图进行投票，包括：

以梯度角度为索引，在广义霍夫查找表中查找对应的相对位移，将该梯度角度在第一梯度角度图中的坐标加上相对位移得到投票坐标，此时投票统计图中投票坐标处的像素值加1，遍历梯度角度图中所有的梯度角度并投票，得到投票统计图。

作为进一步的限定，采用非极大值抑制得到自定义标志的预测位置，包括：

对投票统计图做膨胀操作，将邻域中的每个像素值替换为邻域中的最大值，将膨胀前的投票图像与膨胀后的投票图像进行openCV位与操作，得到标志候选位置；

过滤掉投票数量低于自适应投票阈值的标志候选位置，得到最终标记目标的像素坐标，其中自适应投票阈值为创建广义霍夫查找表时所有投票次数的总和乘以系数P。

本发明第二方面提供了一种基于MSR和广义霍夫变换的自定义标志检测系统。

一种基于MSR和广义霍夫变换的自定义标志检测系统，包括：

广义霍夫查找表创建模块，被配置为：根据自定义标记图像创建广义霍夫查找表；

图像预处理模块，被配置为：对待检测图像进行预处理，所述预处理依次包括MSR、转灰度图和高斯模糊，其中，MSR，包括：采用多尺度高斯卷积模板对待检测图像的亮度分量进行模糊处理，对模糊处理的结果进行加权平均处理，计算每个像素点处的加权平均处理后的亮度分量与原始亮度分量的比值，用所述比值与原图RGB通道相乘得到MSR处理后的彩色图像；

检测结果生成模块，被配置为：根据预处理后的图像生成待处理的第一梯度角度图，使用广义霍夫查找表对第一梯度角度图进行投票，采用非极大值抑制得到自定义标志的预测位置，根据所有预测位置得到检测结果图像。

本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于MSR和广义霍夫变换的自定义标志检测方法中的步骤。

本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于MSR和广义霍夫变换的自定义标志检测方法中的步骤。

与现有技术相比，本发明的有益效果是：

1、本发明所述的基于MSR和广义霍夫变换的自定义标志检测方法及系统，使用MSR的图像处理方法可以有效改善待检测图像在低照度情况下的呈现效果，相对于未使用MSR的输入图像，在进行Sobel算子求梯度时更加鲁棒，有效解决了在光线整体偏暗时梯度遗漏的问题。

2、本发明所述的基于MSR和广义霍夫变换的自定义标志检测方法及系统，使用Sobel算子替换原始广义霍夫变换中的Canny边缘检测，降低了计算复杂度，加快了运算时间，并且引入了更多的投票点，使得检测到目标的概率更高。

3、本发明所述的基于MSR和广义霍夫变换的自定义标志检测方法及系统，将得到的梯度角度进行缩放、偏移和转换，使0-2π变成整数1到angle_step+1，大幅减少了索引量以及查表时间。

4、本发明所述的基于MSR和广义霍夫变换的自定义标志检测方法及系统，采用多线程同步检测多个标志，最终合并到一张结果图中，解决了原始广义霍夫变换一次只能检测一种形状的问题。

5、本发明所述的基于MSR和广义霍夫变换的自定义标志检测方法及系统，相比原始广义霍夫变换大幅加快检测速度，成功解决了原始广义霍夫变换难以进行实时检测的问题。

6、本发明所述的基于MSR和广义霍夫变换的自定义标志检测方法及系统，可以检测任意形状的标志，例如使用者手绘的自定义标志，也可以识别车标、路标等，适用场景广泛，使用时只需先导入自定义标志模板图像即可。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的基于MSR和广义霍夫变换的自定义标志检测方法流程图；

图2为本发明实施例1提供的几种自定义图像标志；

图3为本发明实施例1提供的建立广义霍夫表的原理图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1：

本实施例以ubuntu18.04系统为运行载体，基于MSR和广义霍夫变换，提供一种自定义标志检测方法，流程如图1所示，包括：

S1：从输入的自定义标记图像中创建广义霍夫查找表；

S2：对待检测图像进行预处理，包括MSR、转灰度图、高斯模糊；

S3：在预处理后的图像中计算梯度方向并使用广义霍夫查找表投票，采用非极大值抑制得到最终预测的位置，绘制结果图像。

在本实施例中，所述步骤S1为从输入的自定义标记图像中创建广义霍夫查找表，以备投票使用，包括：加载自定义标记图像、转单通道灰度图、使用Socel算子计算灰度图梯度幅值图和角度图、从梯度角度图像创建广义霍夫查找表，具体地：

S11：加载自定义标记图像，加载时可以设置载入图像地尺度；

在加载自定义标记图像时可以更改导入图像的尺度（默认的尺度为1），如果预先知道待检测图像中目标标记物相对于自定义标记图像的尺度，则可预先设置该尺度，可以增加检测准确率，如图2所示，为自定义的图像标志，自定义的图像标志可以是手绘图像标志，也可以是规则的计算机制图标志；

S12：转单通道灰度图，RGB三通道图像转灰度图的公式为：

其中，Gray为图中单个像素点地灰度值，R、G、B分别为对应像素点红色通道、绿色通道、蓝色通道的像素值。

S13：计算第二梯度角度图，使用Socel算子分别计算灰度图的X方向和Y方向的梯度，将X-Y梯度转换为幅值和角度，过滤掉梯度幅值较低的部分。为了加快检测速度，将剩余部分梯度的角度从0-2π变成整数1到angle_step+1之间，其中在计算梯度时所采用的X方向和Y方向的Sobel算子分别为：

。

可以根据自定义标志图像复杂程度手动设置angle_step的大小，标志的形状越复杂，调高该参数可增大检测准确率，但会增加检测时间，默认值为8。

S14：从第二梯度角度图像创建广义霍夫查找表，所有非零的梯度方向都对应一个其坐标指向图像中心的相对位移，对每一个相对位移乘以自定义标记图像的尺度，广义霍夫查找表中以梯度方向为索引，内容是相对位移。

图3为创建广义霍夫查找表的原理图，其中P ₁、P ₂为轮廓上的两点，θ ₁和θ ₂为两点的梯度方向，r ₁、r ₂分别为两点到标志图像中心的位移，点C为标志图像中心。

在本实施例中，采用某品牌电脑自带的相机获取待识别图像，分辨率为640×480，所述步骤S2为对待检测图像进行预处理（在光线条件较好时，可以选择关闭MSR预处理功能以减少计算量，加快运算速度），可以同时加载多个自定义标志图像，系统进行多线程并行运算，对同一张输入图像同时检测不同的标志，最终汇总到一张结果图像中，具体的预处理包括MSR、转灰度图、高斯模糊，具体的，包括：

S21：先从输入的待检测图像中提取出亮度分量I(x, y)。

S22：对亮度分量进行MSR处理，得到增强后的亮度分量I _MSR(x, y)，其原理如下：

Retinex理论主要包含了两个方面的内容：（1）物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的；（2）物体的色彩不受光照非均匀性的影响，具有一致性。

根据Retinex理论，人眼感知物体的亮度取决于环境的照明和物体表面对照射光的反射，即原始图像可以表示为照度分量和反射分量的乘积，其数学表达式为：

式中，I(x, y)为原图像的亮度分量，R (x, y)为反射分量；L(x, y)为照度分量；“·”表示像素点对点相乘。

将上式两边取对数，则可抛开入射光的强度（照度分量）得到物体的本来面貌（反射分量），即有关系式：

本实施中的多尺度Retinex（Multi-Scale Retinex，MSR）增强算法将原图像的亮度分量I(x, y)进行高斯模糊作为L(x, y)的估计值，采用多尺度高斯卷积模板对原图像的亮度分量I(x, y)进行模糊，对模糊处理的结果进行加权平均处理，如下式所示：

其中，在加权前将

归一化为0到255的范围以得到近似的

。

式中，

为MSR的输出结果，F _k为第k个尺度高斯卷积模板，D为高斯模板中指定点到模板中心的距离；

为第k个尺度的方差，

为第k个尺度的权重，N为尺度的个数。

S23：得到每个像素点处的处理后的值与原始亮度的比值：

用该比值分别与原图RGB三通道的对应位置的像素值相乘得到MSR处理后的彩色图像，如式：

其中,

为MSR处理后的彩色图像的三通道的像素值，r(x,y)、g(x,y)和b(x,y)为原图RGB三通道的对应位置的像素值。

S24：将S23中得到的彩色图转单通道灰度图。

S25：高斯模糊，在本实施例中采用的高斯核大小为7×7，可以调节高斯模糊核的大小（默认值为7），较大的核可以增大检测到目标的几率，同时会加大误检率。

在本实施例中，所述步骤S3为在预处理后的图像中计算第一梯度方向图并使用广义霍夫查找表投票，采用非极大值抑制得到最终预测的位置，绘制结果图像，具体地：

S31：计算第一梯度角度图，使用Socel算子分别计算灰度图的X方向和Y方向的梯度，将X-Y梯度图转换为梯度幅值图和梯度角度图，在梯度角度图中过滤掉梯度幅值较低的部分，为了加快检测速度，将剩余部分梯度的角度从0-2π变成整数1到angle_step+1之间。即

S32：应用广义霍夫变换对标记中心位置进行投票，即以梯度角度为索引，在广义霍夫查找表中查找对应的相对位移，将该梯度角度在第一梯度角度图中的坐标加上相对位移得到投票坐标，此时投票统计图中投票坐标处的像素值加1，遍历梯度角度图中所有的梯度角度并投票，得到投票统计图。

在输入图像中用矩形框标记出检测到的标记及其名称、置信度（该点的投票数/创建广义霍夫查找表时所有投票次数的总和）。

S33：进行非极大值抑制操作，对投票统计图做膨胀操作，即将邻域中的每个像素值替换为邻域中的最大值，然后将膨胀前的投票图像与膨胀后的投票图像进行openCV位与操作，得到几个候选的标志目标位置；通过自适应投票阈值过滤掉投票数量过低的候选位置得到最终标记目标的像素坐标，其中自适应投票阈值为创建广义霍夫查找表时所有投票次数的总和乘以系数P（默认值为0.25），可以调节自适应投票阈值的系数P的大小（默认值为0.25），较大的值会降低误检率。

S34：在输入图像中用矩形框标记出检测到的标记及其名称、置信度（该点的投票数/创建广义霍夫查找表时所有投票次数的总和）。

本实施例将上述方案进行测试，分辨率为640×480，环境为ubuntu18.04系统下，单帧图像测试耗时在60~90毫秒内，完全可以达到工业领域的应用。

本实施例中，可以调节Sobel算子的核的大小（默认值为7），较大的核可以增大检测到目标的几率，同时会加大误检率。

实施例2：

本发明实施例2提供了一种基于MSR和广义霍夫变换的自定义标志检测系统，包括：

所述系统的工作方法与实施例1提供的基于MSR和广义霍夫变换的自定义标志检测方法相同，这里不再赘述。

实施例3：

本发明实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的基于MSR和广义霍夫变换的自定义标志检测方法中的步骤。

实施例4：

本发明实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的基于MSR和广义霍夫变换的自定义标志检测方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于MSR和广义霍夫变换的自定义标志检测方法，其特征在于，

包括以下过程：

根据自定义标记图像创建广义霍夫查找表；

对待检测图像进行预处理，所述预处理依次包括MSR、转灰度图和高斯模糊；其中，MSR包括：采用多尺度高斯卷积模板对待检测图像的亮度分量进行模糊处理，对模糊处理的结果进行加权平均处理，计算每个像素点处的加权平均处理后的亮度分量与原始亮度分量的比值，用所述比值与原图RGB通道相乘得到MSR处理后的彩色图像；

根据预处理后的图像生成待处理的第一梯度角度图，使用广义霍夫查找表对第一梯度角度图进行投票，采用非极大值抑制得到自定义标志的预测位置，根据所有预测位置得到检测结果图像；

采用多尺度高斯卷积模板对待检测图像的亮度分量进行模糊处理，对模糊处理的结果进行加权平均处理，包括：

其中，R_k(x，y)为第k个尺度的反射分量，I_MSR(x，y)为MSR处理后的亮度分量，σ_k为第k个尺度的方差，ω_k为第k个尺度的权重，D为高斯模板中指定点到模板中心的距离，F_k为第k个尺度高斯卷积模板，N为尺度的个数；

根据预处理后的图像生成待处理的第一梯度角度图，包括：

将预处理后的图像转为单通道灰度图，在单通道灰度图上构建XY坐标系，使用Socel算子分别计算单通道灰度图的X方向和Y方向的梯度，将X方向和Y方向的梯度转换为梯度幅值和梯度角度，过滤掉梯度幅值小于设定值的部分，得到待处理的第一梯度角度图；

使用广义霍夫查找表对第一梯度角度图进行投票，包括：

以梯度角度为索引，在广义霍夫查找表中查找对应的相对位移，将该梯度角度在第一梯度角度图中的坐标加上相对位移得到投票坐标，此时投票统计图中投票坐标处的像素值加1，遍历梯度角度图中所有的梯度角度并投票，得到投票统计图；

采用非极大值抑制得到自定义标志的预测位置，包括：

过滤掉投票数量低于自适应投票阈值的标志候选位置，得到最终标记目标的像素坐标。

2.如权利要求1所述的基于MSR和广义霍夫变换的自定义标志检测方法，其特征在于，根据自定义标记图像创建广义霍夫查找表，包括：

3.如权利要求2所述的基于MSR和广义霍夫变换的自定义标志检测方法，其特征在于，过滤掉梯度幅值小于设定值的部分之后，将剩余的梯度角度从0-2π变成整数1到ANGLE_STEP+1之间，其中ANGLE_STEP+1为设定值。

4.如权利要求1所述的基于MSR和广义霍夫变换的自定义标志检测方法，其特征在于，自适应投票阈值为创建广义霍夫查找表时所有投票次数的总和乘以系数P。

5.一种基于MSR和广义霍夫变换的自定义标志检测系统，其特征在于，

包括：

检测结果生成模块，被配置为：根据预处理后的图像生成待处理的第一梯度角度图，使用广义霍夫查找表对第一梯度角度图进行投票，采用非极大值抑制得到自定义标志的预测位置，根据所有预测位置得到检测结果图像；

根据预处理后的图像生成待处理的第一梯度角度图，包括：

使用广义霍夫查找表对第一梯度角度图进行投票，包括：

采用非极大值抑制得到自定义标志的预测位置，包括：

6.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的基于MSR和广义霍夫变换的自定义标志检测方法中的步骤。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的基于MSR和广义霍夫变换的自定义标志检测方法中的步骤。