CN113326722A

CN113326722A - 基于序列模式的图像模糊检测方法及设备

Info

Publication number: CN113326722A
Application number: CN202010578384.0A
Authority: CN
Inventors: 肖湘江; 肖楠; 郭刚; 罗钟强; 栾悉道; 蒿敬波; 章博
Original assignee: Hunan Chaonengrobot Technology Co ltd; Beijing Institute of Technology BIT
Current assignee: Hunan Chaonengrobot Technology Co ltd; Beijing Institute of Technology BIT
Priority date: 2020-02-29
Filing date: 2020-06-23
Publication date: 2021-08-31
Anticipated expiration: 2040-06-23
Also published as: CN113326722B

Abstract

本发明提供一种基于序列模式的图像模糊检测方法、设备及计算机可读存储介质，属于图像处理与分析技术领域。获得RGB彩色图像；将RGB彩色图像转换为灰度图像；将灰度图像使用Sobel算子求取水平和垂直方向的边缘检测算子的卷积因子；使用Tenengrad算法计算分数；将本图像的分数减去上一张图像的分数，利用分数差结果来判断当前图像处于哪一个模式；根据不同的模式使用不同的判断方法来存储清晰的图像；实时推送图像或手动调用各个模式中存储清晰的图像。总之，本发明提供的基于序列模式的图像模糊检测方法通过序列图像的相邻图像来判断选取相对而言最清晰的图片，同时采取对应不同模式的判断方法判断图像清晰度，在保证检测准确性的基础上达成了实时性的要求。

Description

基于序列模式的图像模糊检测方法及设备

技术领域

本发明属于图像处理领域，具体的讲，涉及一种基于序列模式的图像模糊检测方法及设备。

背景技术

在本公司幼儿园晨检机器人产品的使用过程中，在幼儿园晨检机器人产品的使用过程当中，由于现场环境差异和儿童本身活泼好动等原因，摄像头采集到用于疱疹检测的儿童手掌图像时常出现模糊失真的情况，严重影响后台疱疹检测的效率和准确性。为解决上述问题，需要实现一种可在前端嵌入式平台上执行的快速有效的图像模糊检测方法，用于手掌图像的实时过滤。

已有的模糊检测方法分为三种：全参考、半参考、无参考。其中全参考最成熟，但实际应用无参考的价值更大。因为全参考需要一张质量参考图，但在实际应用中同一个算法可能要应用到不同的环境里去，显然一张参考图难以评价所有，而无参考的准确率达不到应用的范围。在201810137970.4中，其使用了SSIM(Structural Similarity)结构相似性，做法是对原图进行二次模糊然后和原图进行对比，本发明也使用类似的方法，但是比较的是前一帧与后一帧，这样做的好处是能够弥补不同环境而导致判断标准不一致的缺陷，可以应用到更加复杂的现实环境中，从绝对的角度转向相对的角度来看待问题，在检测场景中获取相对清晰的图像，这样能杜绝在检测过程中可能获取不到清晰图像而导致检测无效的缺陷，确保程序稳健进行。

发明内容

本发明吸纳了全参考和无参考的优点，弥补了各自一定的缺陷，而且能在机器人等嵌入式平台上，计算资源受限的情况下使用。本发明针对嵌入式应用场景视频流检测，比以往的使用单张图像的检测准确性要有极大的提高，能在整个检测过程中相对的挑选出最清晰的图像。

本发明提供的基于序列模式的图像模糊检测方法的技术方案具体为：

步骤S1：获得RGB彩色图像；

步骤S2：将RGB彩色图像转换为灰度图像；

步骤S3：将灰度图像使用Sobel算子求取水平和垂直方向的边缘检测算子的卷积因子；

步骤S4：使用Tenengrad算法计算分数；

步骤S5：将本图像的分数减去上一张图像的分数，利用分数差结果来判断当前图像处于哪一个模式；

步骤S6：根据不同的模式使用不同的判断方法来存储清晰的图像；

步骤S7：实时推送图像或手动调用各个模式中存储清晰的图像。

优选地，步骤S4具体为:

将S3计算出的水平和垂直边缘检测算子的卷积因子分别进行平方得到L和V，再把L和V相加再开方得到R矩阵，把R矩阵里的每个元素与边缘阈值进行比较筛选；当该元素大于边缘阈值2时，认为是真边缘，则保留不做任何处理；否则认为不是真边缘而遗弃，同时把该元素重新赋值为零；

把R矩阵里的每一个元素相加除以R矩阵中元素的个数得到所求分数S。

优选地，步骤S5模式判断的方法具体为:

若当前的图像是整个图像序列中的第一张，则不进行模式判断，只保留S4计算的分数，从第二张开始每张图像用其步骤S4计算的分数减去前一张图像的分数计算出分数差；若分数差大于7则认为是跳跃模式；若分数差的绝对值小于1则认为是波动模式；若分数差的绝对值与自身分数乘积大于0，则认为是运动模式。

优选地，步骤S6存储图像的判断方法具体为：

波动模式存储图像的规则是：连续不间断达到七次认定为波动模式则认为确实处于波动模式，存储当前和往后处于该模式的图像直到模式被打破；同时波动模式保存的图像按分数升序进行排列；

运动模式存储图像的规则是：连续不间断达到七次认定为运动模式则认为确实处于运动模式，存储该模式被打破时的图像；

跳跃模式存储图像的规则是：每次进入跳跃模式的图像皆保存。

优选地，波动模式的打破规则为分数差的绝对值不小于1；

运动模式的打破规则为分数差绝对值与自身分数乘积不大于0。

本发明还提供一种基于序列模式的图像模糊检测方法的设备，其特征在于，包括：

存储器，其上存储有计算机程序代码；以及

处理器，其被配置为运行所述计算机程序代码，以执行上述的方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序代码，所述计算机程序代码在被运行时执行如权利要求1至5中任一项所述的方法。

相较于现有技术，本发明提供的基于序列模式的图像模糊检测方法本发明的关键点在于通过序列图像的相邻图像来判断选取相对而言最清晰的图像并采取不同的模式来进行不同的方法判断清晰度。具体为：

一、本专利提供的方法使用的是轻量级的算法，使用的计算资源少，可以做到嵌入式平台上图像模糊与否的实时检测。本专利的算法是使用序列图像进行检测，通过一一对比可准确推送出检测过程中最清晰的图像。

二、对于不同的复杂环境，本专利提供的方法可以自适应环境的差异。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本发明提供的基于序列模式的图像模糊检测方法的应用实例流程示意图。

图2是本发明提供的基于序列模式的图像模糊检测方法的应用实例输入图。

图3是图2的输出图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。

请参阅图1，图1是本发明提供的基于序列模式的图像模糊检测方法的应用实例流程示意图。具体技术方案如下：

步骤S1：获取RGB彩色图像。具体的所述RGB彩色图像可为直接通过电脑上传或通过网络摄像头传输而得。

步骤S2：将RGB彩色图像转换为灰度图像。灰度图像是用不同饱和度的黑色来表示每个图像像素点，比如用8位，即0-255数字表示“灰色”程度。RGB值和灰度转换的公式：

Grey = 0.299*R + 0.587*G + 0.114*B

步骤S3：对步骤S2所得灰度图采用Sobel算子进行边缘检测。Sobel算子是图像边缘检测中最重要的算子之一，该算子包含两组3x3的矩阵，分别对应横向与纵向，将之与图像作平面卷积，得出横向与纵向的灰度梯度。

Gx和Gy分别是Sobel水平和垂直方向边缘检测算子的卷积因子：

具体计算如下：

Gx = (-1)*f(x-1， y-1) + 0*f(x，y-1) + 1*f(x+1，y-1)+(-2)*f(x-1，y) + 0*f(x，y)+2*f(x+1，y) +(-1)*f(x-1，y+1) + 0*f(x，y+1) + 1*f(x+1，y+1)

=[f(x+1，y-1)+2*f(x+1，y)+f(x+1，y+1)]-[f(x-1，y-1)+2*f(x-1，y)+f(x-1，y+1)]；

Gy =1* f(x-1， y-1) + 2*f(x，y-1)+ 1*f(x+1，y-1) +0*f(x-1，y) 0*f(x，y) + 0*f(x+1，y) +(-1)*f(x-1，y+1) + (-2)*f(x，y+1) + (-1)*f(x+1， y+1)

= [f(x-1，y-1) + 2f(x，y-1) + f(x+1，y-1)]-[f(x-1， y+1) + 2*f(x，y+1)+f(x+1，y+1)]

其中f(a，b)，表示图像(a，b)点的灰度值；

步骤S4：将步骤S3计算出的水平和垂直边缘检测算子的卷积因子Gx和Gy分别进行平方得到L和V，再把L和V相加再开方得到R矩阵，把R矩阵里的每个元素进行边缘筛选；若大于边缘阈值2则认为是真边缘，则保留不做任何处理，而小于边缘阈值2的认为不是真边缘，则遗弃后把该元素重新赋值为零；最后把R矩阵里的每一个元素相加除以R矩阵元素的个数得到所求分数Si，分数Si越大认为图像就越清晰。

Tenengrad算法具体公式如下:

G(x，y) 的形式如下：

其中：T是给定的边缘检测阈值这里我们设置T为2，Gx和Gy分别是像素点(x，y)处Sobel水平和垂直方向边缘检测算子的卷积。

步骤S5：如果当前的图像是整个图像序列中的第一张，则不进行模式判断只保留步骤S4计算的分数Si，以后的每张图像用步骤S4计算的分数Si减去去前一张图像计算出的分数Si-1得到ΔS，如果ΔS大于7则认为是跳跃模式，如果ΔS的绝对值小于1则认为是波动模式，如果ΔS的绝对值与自身分数乘积大于0则认为是运动模式。

步骤S6：根据不同的模式来使用不同的判断方法来存储清晰的图像。

其中，波动模式存储图像的规则是要连续不间断达到七次认定为波动模式则认为确实处于波动模式，并且会保留当前和往后处于该模式的图像直到该模式被打破。打破的定义为ΔS的绝对值不小于1，则进入其他的模式，如果波动模式保存了图像则把所有图像按分数升序排列。

运动模式存储图像的规则是要连续不间断达到七次认定为运动模式则认为确实处于运动模式，并且会保留模式被打破时的图像。打破的定义为ΔS的绝对值与自身分数乘积不大于0，则进入其他的模式。

跳跃模式存储图像的规则是每次进入跳跃模式的图像都进行保存。

实时推送图像是在一个模式结束后，立马推送该模式保存的图像；如果跳跃模式中临时存储了图像，则在其他模式没有推送图像时推送这里临时存储的图像，否则不进行推送。手动调用图像是调动各模式中存储的图像，优先启用波动模式中的图像。

如图2所示至图3所示所进行的步骤为：Frame2图像计算出的分数减去Frame1图像分数的绝对值小于1就开始进入波动模式一直到Frame9图像模式被打破，所以在波动模式保存Frame7和Frame8这两张图像，而Frame8图像的分数要高于Frame7图像的分数所以把Frame8图像推送出去，Frame7图像留在图像存储库里等待手动调用。

具体实施例中，跳跃模式是指摄像头从对焦到对焦完成；波动模式是指视频中的人物动作缓慢趋于静止；运动模式是指视频中的人物快速运动,远离摄像头或者靠近摄像头。

存储器，其上存储有计算机程序代码；以及

本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如"C"语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种基于序列模式的图像模糊检测方法，其特征在于：具体技术方案如下：

步骤S1：获得RGB彩色图像；

步骤S2：将RGB彩色图像转换为灰度图像；

步骤S4：使用Tenengrad算法计算图像的分数；

步骤S6：根据不同的模式使用不同的判断方法来存储图像；

步骤S7：实时推送图像或手动调用各个模式中存储图像。

2.根据权利要求1所述的基于序列模式的图像模糊检测方法，其特征在于：步骤S4具体为:

3.根据权利要求1所述的基于序列模式的图像模糊检测方法，其特征在于：步骤S5模式判断的方法具体为:

4.根据权利要求1所述的基于序列模式的图像模糊检测方法，其特征在于：步骤S6存储图像的判断方法具体为：

5.根据权利要求4所述的基于序列模式的图像模糊检测方法，其特征在于：波动模式的打破规则为分数差的绝对值不小于1；

6.一种基于序列模式的图像模糊检测方法的设备，其特征在于，包括：

存储器，其上存储有计算机程序代码；以及

处理器，其被配置为运行所述计算机程序代码，以执行如权利要求1至5中任一项所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序代码，所述计算机程序代码在被运行时执行如权利要求1至5中任一项所述的方法。