CN111445411B

CN111445411B - 图像去噪方法、装置、计算机设备和存储介质

Info

Publication number: CN111445411B
Application number: CN202010224459.5A
Authority: CN
Inventors: 尹海波; 金欢欢
Original assignee: Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Current assignee: Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2023-08-01
Anticipated expiration: 2040-03-26
Also published as: CN111445411A

Abstract

本发明实施例公开了一种图像去噪方法、装置、计算机设备和存储介质，包括：获取待去噪图像和所述待去噪图像对应的红外图像；获取所述待去噪图像对应的邻帧红外图像集，所述邻帧红外图像集中包括帧序与所述红外图像相邻的多张红外图像；根据所述邻帧红外图像集确定背景红外图像，所述背景红外图像为所述邻帧红外图像集中只包含背景和噪声的红外图像；根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像。本发明能够达到较好的去噪效果。

Description

图像去噪方法、装置、计算机设备和存储介质

技术领域

本发明涉及图像去噪技术领域，尤其涉及一种图像去噪方法、装置、计算机设备和存储介质。

背景技术

受限于隐私保护、个人安全等因素，传统的RGB摄像头无法大规模的应用在具有私密性的家居场景，而红外热成像摄像头具有温度敏感、低分辨率等特点，可考虑将其用于家居场景，以推进家居场景的智能化。

低帧率红外热成像摄像头无法很好的对室内生物的监控，高帧率红外热成像摄像头能够感知更多的动作细节，因此，在家居场景中通常会采用高帧率红外热成像摄像头。虽然高帧率红外热成像摄像头相对于低帧率红外热成像摄像头具有更高的细节感知能力，但是，高帧率红外热成像摄像头也引入了更多的噪声。

现有的去噪方法，通常采用阈值分割，通过统计或者机器学习的方法设置阈值，然后根据设置的阈值去除图像中的噪声，虽然这样的方法能够去除一定量的噪声，但是，预先设置阈值的方法由于阈值固定，使得设置的阈值很难满足各种各样的应用场景。

发明内容

基于此，有必要针对上述问题，提出一种适用于更多应用场景的图像去噪方法、装置、计算机设备和存储介质。

第一方面，提供了一种图像去噪方法，所述方法包括：

获取待去噪图像和所述待去噪图像对应的红外图像；

获取所述待去噪图像对应的邻帧红外图像集，所述邻帧红外图像集中包括帧序与所述红外图像相邻的多张红外图像；

根据所述邻帧红外图像集确定背景红外图像，所述背景红外图像为所述邻帧红外图像集中只包含背景和噪声的红外图像；

根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像。

第二方面，提供了一种图像去噪装置，包括：

第一获取模块，用于获取待去噪图像和所述待去噪图像对应的红外图像；

第二获取模块，用于获取所述待去噪图像对应的邻帧红外图像集，所述邻帧红外图像集中包括帧序与所述红外图像相邻的多张红外图像；

背景图像模块，用于根据所述邻帧红外图像集确定背景红外图像，所述背景红外图像为所述邻帧红外图像集中只包含背景和噪声的红外图像；

图像去噪模块，用于根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像。

第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

获取待去噪图像和所述待去噪图像对应的红外图像；

第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取待去噪图像和所述待去噪图像对应的红外图像；

实施本发明实施例，将具有如下有益效果：

本发明提出了一种图像去噪方法、装置、计算机设备和存储介质，由于在降噪的时候用到了邻帧红外图像集，而邻帧红外图像集是由帧序与所述红外图像相邻的多张红外图像组成的，因此，根据此邻帧红外图像集可以找到只包含背景和噪声的背景红外图像，由于找到了只包含背景和噪声的背景红外图像，使得能够根据该背景红外图像和待去噪图像对应的红外图像实现去噪。相较于单纯的根据待去噪图像和待去噪图像对应的红外图像中的信息去降噪的方式，这样的方式由于结合了更多的信息去去噪，能够达到更好的去噪效果；并且，相较于设置固定阈值直接去除待去噪图像中的噪声的方式，这样的方式由于结合了实际的应用场景的信息去降噪，使其能更好的与实际的应用场景相适应，对不同的应用场景也具有相对更高的去噪能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中图像去噪方法的实现流程示意图；

图2为一个实施例中待去噪图像和对应的红外图像的示意图；

图3为一个实施例中步骤106的实现流程示意图；

图4为一个实施例中图像稳定值的示意图；

图5为一个实施例中背景红外图像的示意图；

图6为一个实施例中步骤106A的实现流程示意图；

图7为一个实施例中步骤108的实现流程示意图；

图8为一个实施例中经过背景红外阈值处理的红外图像和目标降噪图像的示意图；

图9为一个实施例中步骤108A的实现流程示意图；

图10为一个实施例中步骤108B的实现流程示意图；

图11为一个实施例中步骤108B5的实现流程示意图；

图12为一个实施例中二值膨胀图像和空洞填充图像的示意图；

图13为一个实施例中摄像头视线与地面垂直的示意图；

图14为一个实施例中图像去噪装置的结构框图；

图15为一个实施例中计算机设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一个实施例中，提供了一种图像去噪方法，本发明实施例所述的图像去噪方法的执行主体为能够实现本发明实施例所述的图像去噪方法的设备，该设备可以包括但不限于终端和服务器。其中，终端包括台式终端和移动终端，台式终端包括但不限于台式电脑和车载电脑；移动终端包括但不限于手机、平板、笔记本电脑和智能手表。服务器包括高性能计算机和高性能计算机集群。

如图1所示，本发明实施例所述的图像去噪方法，具体包括：

步骤102，获取待去噪图像和所述待去噪图像对应的红外图像。

其中，待去噪图像，为包含前景(人物或者动物)、背景及大量噪声的RGB图像，如图2(a)所示。

其中，红外图像，为反映前景、背景及噪声的温度情况的图像，如图2(b)所示，每个小方格中的数字代表该坐标位置对应的温度值，从图2(b)可以看出，温度值越高，颜色越浅，温度值越低，颜色越深，通常，前景的温度值高于背景和噪声，即前景部分的颜色会比背景和噪声更浅，更偏向白色。

示例性的，图2所示的待去噪图像和红外图像是通过热成像摄像头拍摄得到的，具体的，热成像摄像头通过拍摄实际的应用场景会得到一组摄像头数据，为了更好的呈现这组摄像头数据以便于理解，将该摄像头数据分别转换为RGB形式(待去噪图像)和红外形式(红外图像)。

为了去除待去噪图像中的噪声，需要用到该待去噪图像对应的红外图像，即结合温度信息来实现噪声的去除，从而达到更好的去噪效果。

步骤104，获取所述待去噪图像对应的邻帧红外图像集，所述邻帧红外图像集中包括帧序与所述红外图像相邻的多张红外图像。

其中，帧序，反映每张图像的顺序，根据拍摄图像的时间的先后顺序确定，拍摄时间越早，帧序越小，拍摄时间越晚，帧序越大，若两张图像的帧序相差不大，则认为两张图像为帧序相邻的图像。例如，热成像摄像头采样率为32Hz，即每秒拍摄32张图像，每张图像认为是一帧，每张图像都对应有一个帧序，32张图像中越早拍摄的图像帧序越小，越晚拍摄的图像帧序越大。

示例性的，提供一种邻帧红外图像集的生成方法：获取待去噪图像对应的红外图像的生成时间；获取时间间隔；根据待去噪图像对应的红外图像的生成时间以及时间间隔生成时间范围；将该时间范围内的红外图像进行组合得到邻帧红外图像集。

例如，待去噪图像对应的红外图像的生成时间是10:01:01，时间间隔为11秒，于是，生成的时间范围为：[10:01:01，10:01:12]，获取10:01:01到10:01:12之间热成像摄像头拍摄得到的红外图像，将这些红外图像进行组合，得到邻帧红外图像集合。

步骤106，根据所述邻帧红外图像集确定背景红外图像，所述背景红外图像为所述邻帧红外图像集中只包含背景和噪声的红外图像。

由于待去噪图像对应的红外图像中包含前景，故，如果根据待去噪图像对应的红外图像去去噪必然受到前景的影响导致去噪效果不好，如果想要提高去噪效果，那么必然需要用到一些复杂的方法对待去噪图像中的前景、背景以及噪声进行区分，如果前景、背景以及噪声区分不准确，还是会导致去噪效果不佳，因此，本发明实施例不采用待去噪图像的相关信息去去噪。考虑到虽然待去噪图像对应的红外图像中包含有前景，但是，在实际的应用场景中，帧序与所述红外图像相邻的多张红外图像中必然存在至少一张红外图像只包含有背景和噪声，在这种情况下，没有人物进入到相应的应用场景，使得该应用场景只包含背景和噪声，因此，通过帧序与所述红外图像相邻的多张红外图像首先找到背景红外图像，由于背景红外图像中只包含背景和噪声，相当于明确的区分出了前景、背景和噪声，因此，根据该背景红外图像去去噪将取得更高的去噪准确率，得到更好的去噪效果。

示例性的，提供一种确定背景红外图像的方法：计算邻帧红外图像集中每张红外图像的各个坐标位置的温度值的和；将温度值的和最小的红外图像作为背景红外图像。由于前景相较于背景和噪声具有更高的温度值，因此，温度值的和最小，说明其为背景红外图像的可能性最大，故将满足这样的条件的红外图像确定为背景红外图像。

步骤108，根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像。

其中，对待去噪图像进行处理，包括对待去噪图像进行去噪处理，该去噪处理，指去取待去噪图像中的背景和噪声的处理。

其中，目标降噪图像，为对待去噪图像进行处理后得到的图像。

考虑到单张图像无法很好的凸显背景以及噪声的影响，同时，固定设置的阈值无法适用于各种各样的应用场景，因此，结合待去噪图像对应的红外图像和邻帧红外图像集中的背景红外图像去去噪，由于每次去噪使用的信息都结合了具体的应用场景，因此，这样的方式能够更好的与实际应用场景相适应，达到更好的去噪效果。

上述图像去噪方法，由于在降噪的时候用到了邻帧红外图像集，而邻帧红外图像集是由帧序与所述红外图像相邻的多张红外图像组成的，因此，根据此邻帧红外图像集可以找到只包含背景和噪声的背景红外图像，由于找到了只包含背景和噪声的背景红外图像，使得能够根据该背景红外图像和待去噪图像对应的红外图像实现去噪。相较于单纯的根据待去噪图像和待去噪图像对应的红外图像中的信息去降噪的方式，这样的方式由于结合了更多的信息去去噪，能够达到更好的去噪效果；并且，相较于设置固定阈值直接去除待去噪图像中的噪声的方式，这样的方式由于结合了实际的应用场景的信息去降噪，使其能更好的与实际的应用场景相适应，对不同的应用场景也具有相对更高的去噪能力。

在一个实施例中，当应用场景中没有出现人或者动物的时候，整个应用场景是静止的，只有在人或动物出现的时候，才认为应用场景为非静止的，当应用场景是静止的时候，拍摄的红外图像会比较稳定，即红外图像中各个坐标位置的温度值不会出现大幅度变动，当应用场景是非静止的时候，拍摄的红外图像必然会出现一定的波动，即红外图像中各个坐标位置的温度值会出现一定的变动，因此，可以根据红外图像的稳定情况来搜索背景红外图像。如图3所示，步骤106所述根据所述邻帧红外图像集确定背景红外图像，包括：

步骤106A，根据所述邻帧红外图像集确定所述邻帧红外图像集中的每张红外图像对应的图像稳定值，所述图像稳定值用于反映红外图像中温度值的波动情况。

当应用场景中出现人或动物的时候，红外图像中的温度值会出现一定的波动，即某些坐标位置处的温度值会突然变大；当应用场景中没有人或动物出现的时候，红外图像中的温度值不会出现大幅度波动，各个坐标位置处的温度值表现的比较稳定，不会突然变大或变小，因此，红外图像的图像稳定值可以根据红外图像中各个坐标位置对应的温度值的波动情况确定，例如，首先求得红外图像中各个坐标位置对应的温度值的和，然后根据温度值的和以及红外图像中像素点的总个数求得平均温度值，最后根据各个坐标位置对应的温度值以及平均温度值求方差，从而将求得的方差作为图像稳定值。

步骤106B，将所述邻帧红外图像集中图像稳定值最小的红外图像作为所述背景红外图像。

图像稳定值最小，则红外图像中温度值的波动情况最小，此时的图像为背景红外图像的可能性最大，因此，将邻帧红外图像集中图像稳定值最小的红外图像作为背景红外图像。如图4所示，图4展示了不同时间点(一个时间点对应一张红外图像)的图像稳定值，根据图4可以很容易找到图像稳定值最小的时间点，从而找到背景红外图像，例如图5所示，为挑选出的背景红外图像。

在一个实施例中，图像是否稳定与相邻帧图像相关，譬如，当应用场景中出现人的时候，由于人的活动，相邻帧的红外图像呈现的温度值的分布必然不同，最终，计算得到的稳定值相对比较大；当应用场景中没有出现人只有背景的时候，由于没人活动，相邻帧的红外图像呈现的温度值的分布变化很小，最终计算得到的稳定值相对较小，甚至为0。考虑到上述因素，根据相邻帧的温度值的差值的方差来确定图像稳定值，能够有更高的准确度。如图6所示，步骤106A所述根据所述邻帧红外图像集确定所述邻帧红外图像集中的每张红外图像对应的图像稳定值，包括：

步骤106A1，计算待处理红外图像和邻近红外图像中坐标位置相同的像素点的温度差值，所述待处理红外图像为所述邻帧红外图像集中的任一红外图像，所述邻近红外图像为所述邻帧红外图像集中与所述待处理图像帧序相邻的红外图像。

由于邻帧红外图像集中有多张红外图像，因此，每次只挑选出其中的一张还未确定图像稳定值的来红外图像进行处理。

例如，待处理红外图像的帧序为8，与该待处理红外图像帧序相邻的红外图像的帧序为7和9，选择帧序7或9的红外图像作为邻近红外图像。

例如，对于坐标位置(x，y)，在待处理红外图像中，该坐标位置对应的温度值为T1，在邻近红外图像中，该坐标位置对应的温度值为T2，则温度差值为T1-T2。

步骤106A2，根据所述待处理红外图像和所述邻近红外图像中坐标位置相同的像素点的温度差值得到所述待处理红外图像对应的图像方差。

例如，假设图像尺寸为K＝M×N，则待处理红外图像对应的图像方差＝(1/K)×[(x₁-y)²+(x₂-y)²+…(x_K-y)²]，其中，x₁到x_K为图像中K个温度差值，y为K个温度差值的平均值，即(x₁+x₂+…x_K)/K。

步骤106A3，根据所述待处理红外图像对应的图像方差确定所述待处理红外图像对应的图像稳定值。

示例性的，图像稳定值＝图像方差+d，其中，d为一个预先设置的常数，可以根据经验设置，也可以通过统计或者机器学习的方式得到。在本发明实施例中，将d的值设置为0，即直接将计算得到的图像方差作为图像稳定值。

在一个实施例中，由于已经确定了背景红外图像，因此，简单的根据背景红外图像即可确定用于区分待去噪图像对应的红外图像中的背景、噪声和前景的背景红外阈值，从而实现去噪，这样的确定阈值的方式得到的阈值由于没有前景的干扰将更加的准确，从而得到更好的去噪效果。如图7所示，步骤108所述根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像，包括：

步骤108A，根据所述背景红外图像计算背景红外阈值，所述背景红外阈值用于区分所述待去噪图像对应的红外图像中的背景、噪声和前景。

其中，背景红外阈值，为用于区分待去噪图像对应的红外图像中的背景、噪声和前景的温度值的临界值。由于背景和噪声的温度值相对前景更低，所以，小于或等于背景红外阈值的温度值认为是属于背景和噪声的温度值，而高于背景红外阈值的温度值则认为是属于前景的温度值，或者是当前无法判定需要再次去噪的温度值。

示例性的，提供一种确定背景红外阈值的方法：计算背景红外图像中各个坐标位置对应的温度值的和；获取背景红外图像中像素点的总个数；将背景红外图像中各个坐标位置对应的温度值的和除以该总个数得到平均温度值；根据平均温度值确定背景红外阈值，例如，将平均温度值再加上一个预设的温度值得到背景红外阈值。

步骤108B，根据所述背景红外阈值和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到所述目标降噪图像。

由于已经确定了背景红外阈值，此时，小于或等于背景红外阈值的温度值认为是背景和噪声，在待去噪图像对应的红外图像中，将相应的坐标位置处的温度值置为0；大于背景红外阈值的温度值认为是前景或者暂时无法确定其是否是前景，于是，在待去噪图像对应的红外图像中，相应的坐标位置处的温度值不做任何处理，保持不变，从而得到经过背景红外阈值处理的红外图像，如图8(a)所示。根据该经过背景红外阈值处理的红外图像，对于其中的温度值为0的像素点，在待去噪图像中将相应坐标位置处的像素值置为0，对于其中的温度值为非0的像素点，在待去噪图像中保持相应坐标位置处的像素值不变，从而得到目标降噪图像，如图8(b)所示。

在一个实施例中，如果不考虑热成像摄像头的偏差，那么在得到背景红外图像之后，即可以直接将背景红外图像中的最大的温度值作为背景红外阈值，即此时的分位点为100，但是，通常情况下，热成像摄像头是有一定的偏差的，即，其在拍摄的时候必然会在前景和背景之间产生一定的噪点，这些噪点不利于前景的获取，如果此时还是直接将背景红外图像中的最大的温度值作为背景红外阈值，那么此时得到的背景红外阈值可能并不是很准确，因此，为了得到更加准确的背景红外阈值，需要设置一个合理的分位点来处理热成像摄像头偏差的问题，从而找到最终的背景红外阈值。如图9所示，步骤108A所述根据所述背景红外图像计算背景红外阈值，包括：

步骤108A1，将所述背景红外图像中各个像素点对应的温度值按从小到大的顺序排列，得到温度值集合，所述温度值集合中的每个温度值都对应一个温度值序号，所述温度值序号与所述温度值序号对应的温度值呈正相关。

例如，温度值集合为{(21，1)，(22，2)，(23，3)…(30，10)}，其中，21到30为温度值，1到10为温度值序号。

步骤108A2，根据预置分位点和所述背景红外图像对应的像素个数确定目标温度值序号。

其中，预置分位点，为预先设置的分位点，预置分位点为0到100之间的一个数。预置分位点可以根据热成像摄像头的偏差的大小来确定，例如，若热成像摄像头的偏差比较大，则预置分位点可以设置的小一些；若热成像摄像头的偏差比较小，则预置分位点可以设置的大一些。

其中，背景红外图像对应的像素个数，指背景红外图像中的总的像素个数，例如，背景红外图像尺寸为M×N，那么，背景红外图像对应的像素个数为M×N。

其中，目标温度值序号，为用于计算背景红外阈值的目标温度值的温度值序号，目标温度值，为初步确定的背景红外阈值，该目标温度值为根据目标温度值序号从温度值集合中挑选出来的温度值。

将预置分位点除以100，得到小数分位点(即将预置分位点转换为0到1之间的小数)；将所述小数分位点与所述背景红外图像对应的像素个数相乘，得到初步温度值序号；根据所述初步温度值序号确定目标温度值序号。

例如，预置分位点为98.5，背景红外图像对应的像素个数为768，则小数分位点为0.958，将0.958余768相乘得到初步温度值序号为756.48，此时，可以确定目标温度值序号为756和/或757。

步骤108A3，根据所述目标温度值序号在所述温度值集合中确定目标温度值，所述目标温度值对应的温度值序号与所述目标温度值序号相关联。

在温度值集合中找到温度值序号为目标温度值序号的温度值，该温度值即为目标温度值，即目标温度值对应的温度值序号为目标温度值序号。

若目标温度值序号只有一个值，则直接将温度值集合中该目标温度值序号对应的温度值作为目标温度值；若目标温度值序号包含两个值，则将温度值集合中目标温度值序号对应的两个温度值的平均值作为目标温度值。例如，若目标温度值序号为756，则温度值集合中第756个温度值为目标温度值；若目标温度值序号为757，则温度值集合中第757个温度值为目标温度值；若目标温度值序号为756和757，则目标温度值为温度值集合中第756和第757个温度值的平均值。

步骤108A4，根据所述目标温度值计算背景红外阈值。

背景红外阈值＝目标温度值+k，k为一个常数，k可以根据经验、统计或者机器学习的方法得到。示例性的，将k的值设置为0，即背景红外阈值＝目标温度值。

在一个实施例中，采用腐蚀和膨胀的方法可以简单的去除掉噪声，降低算法复杂度。如图10所示，步骤108B所述根据所述背景红外阈值和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到所述目标降噪图像，包括：

步骤108B1，根据所述背景红外阈值和所述待去噪图像对应的红外图像生成与所述待去噪图像对应的二值图像。

其中，二值图像，指示图像中各个坐标位置的值要么是A要么是B，例如，A和B分别是0和1。

小于或等于背景红外阈值的温度值认为是背景和噪声，在待去噪图像对应的红外图像中，将相应的坐标位置处的温度值置为0；大于背景红外阈值的温度值认为是前景或者暂时无法确定其是否是前景，于是，在待去噪图像对应的红外图像中，相应的坐标位置处的温度值不做任何处理，保持不变，从而得到经过背景红外阈值处理的红外图像。生成与该经过背景红外阈值处理的红外图像的尺寸相同的空图像，所述空图像中每个坐标位置的值为0，对于经过背景红外阈值处理的红外图像中的温度值为0的像素点，在空图像中，保持相同坐标位置处的值不变；对于经过背景红外阈值处理的红外图像中的温度值为非0的像素点，在空图像中，将相同坐标位置处的值置为1，从而得到二值图像。

步骤108B2，获取预设的腐蚀参数和膨胀参数。

其中，腐蚀参数，为用于对二值图像进行腐蚀操作需要的参数，其中，腐蚀操作，为对物体的边缘进行腐蚀的操作，预置一个宽m，高n的矩形模板，对图像中的每一个像素点O做如下处理：像素点O至于该矩形模板的中心，根据矩形模版的大小，遍历所有被矩形模板覆盖的其他像素点，修改像素点O的值为所有像素点中最小值，通过上述处理能够将图像外围的突出点加以腐蚀(去除)，示例性的，预设的腐蚀参数为：3×3的矩形模板，移动步长为(1，1)，即每次向左或者向右或者向上或者向下移动一步，以遍历矩形模板覆盖的其他像素点。

其中，膨胀参数，为用于对二值腐蚀图像进行膨胀操作需要的参数，其中，膨胀操作，为对物体的边缘、轮廓进行膨胀的操作，预置一个宽m，高n的矩形模板，对图像中的每一个像素点O做如下处理：像素点O至于该矩形模板的中心，根据矩形模版的大小，遍历所有被矩形模板覆盖的其他像素点，修改像素点O的值为所有像素点中最大值，通过上述处理能够将图像外围的突出点加以膨胀(向外延伸)，示例性的，预设的膨胀参数为：3×3的矩形模板，移动步长为(1，1)，即每次向左或者向右或者向上或者向下移动一步，以遍历矩形模板覆盖的其他像素点。

步骤108B3，根据所述腐蚀参数对所述二值图像进行腐蚀，得到二值腐蚀图像。

其中，二值腐蚀图像，为经过预设的腐蚀参数腐蚀后得到的二值图像。

步骤108B4，根据所述膨胀参数对所述二值腐蚀图像进行膨胀，得到二值膨胀图像。

其中，二值膨胀图像，为经过预设的膨胀参数膨胀后得到的二值图像，如图12(a)所示的二值膨胀图像。

步骤108B5，根据所述二值膨胀图像得到目标降噪图像。

在得到二值膨胀图像之后，即可根据二值膨胀图像得到目标降噪图像了：在二值膨胀图像中找到像素值为1的像素点；在待去噪图像中，保持相同坐标位置处的像素点的值不变；在二值膨胀图像中找到像素值为0的像素点；在待去噪图像中，将相同坐标位置处的像素点的值修改为0，从而得到目标降噪图像。

在一个实施例中，由于经过腐蚀和膨胀操作之后的二值膨胀图像可能存在空洞，这将大大的影响最终得到的目标降噪图像的质量，因此，还需要对二值膨胀图像进行空洞填充，然后再根据空洞填充后的二值膨胀图像得到目标降噪图像，提高最终得到的目标降噪图像的图像质量。如图11所示，步骤108B5所述根据所述二值膨胀图像得到目标降噪图像，包括：

步骤108B5-1，确定所述二值膨胀图像中的零值像素点和非零像素点。

其中，零值像素点，为二值膨胀图像中坐标位置的值为0的像素点，这些像素点为背景或者噪声对应的像素点。

其中，非零像素点，为二值膨胀图像中坐标位置的值不为0的像素点，这些像素点为前景对应的像素点。

步骤108B5-2，统计与所述零值像素点邻近的非零点像素点的个数。

为了确定目标空洞点，需要首先确定哪些像素点与零值像素点邻近，即需要首先确定邻近方式从而根据该邻近方式判断哪些像素点与零值像素点邻近，从而判断与零值像素点邻近的非零点像素点的个数。

示例性的，邻近方式包括：4邻域邻近和8邻域邻近，4邻域邻近是指：以零值像素点(x，y)为中心，在该零值像素点上(x，y+1)、下(x，y-1)、左(x-1，y)、右(x+1，y)四个坐标位置的像素点与零值像素点邻近；8邻域邻近是指：以零值像素点(x，y)为中心，在该零值像素点上左(x-1，y+1)、上(x，y+1)、上右(x+1，y+1)、左(x-1，y)、右(x+1，y)、下左(x-1，y-1)、下(x，y-1)以及下右(x+1，y-1)八个坐标位置的像素点与零值像素点邻近。

步骤108B5-3，根据预设的空洞判断阈值和与所述零值像素点邻近的非零点像素点的个数确定所述二值膨胀图像中的目标空洞点。

其中，空洞判断阈值，为预先设置的用于判断空洞的数量值。

目标空洞点，指最终确定的存在于二值膨胀图像中的空洞点，空洞点被非零像素点包围，如图12(a)所示的空洞点。

在确定哪些非零像素点与零值像素点邻近之后，需要结合空洞判断阈值来判断该零值像素点是否是目标空洞点。具体的，若与零值像素点邻近的非零点像素点的个数大于或等于空洞判断阈值，则该零值像素点为目标空洞点；若与零值像素点邻近的非零点像素点的个数小于空洞判断阈值，则该零值像素点不是目标空洞点。

步骤108B5-4，根据所述目标空洞点生成所述二值膨胀图像对应的空洞填充图像。

其中，空洞填充图像，为经过空洞填充后的二值膨胀图像，如图12(b)所示，具体的，将目标空洞点的像素值置为非零，从而实现空洞填充。

步骤108B5-5，根据所述空洞填充图像得到目标降噪图像。

找到空洞填充图像中的零值像素点，在待去噪图像中，将相同坐标位置处的像素点的值置为0；找到空洞填充图像中的非零像素点，在待去噪图像中，保持相同坐标位置处的像素点的值不变，即可得到目标降噪图像。

在一个实施例中，不同应用场景的人流量不同，如果邻帧红外图像集中的红外图像的数量固定，那么可能并不利于包含前景的待去噪图像的获取以及后续背景红外阈值等的计算，例如，有的应用场景人流量比较大，那么热成像摄像头拍摄得到的图像中包含前景的概率比较大，此时，可以将邻帧红外图像集中的红外图像的数量设置小一点，而有的应用场景人流量比较小，那么热成像摄像头拍摄得到的图像中包含前景的概率比较小，此时，可以将邻帧红外图像集中的红外图像的数量设置大一点，如果邻帧红外图像集中的红外图像的数量固定，不根据实际的应用场景的人流量进行设置，那么很可能邻帧红外图像集中的所有红外图像全部是包含前景的红外图像，没有一张是不包含前景的红外图像，因此，需要根据具体应用场景的人流量来确定邻帧红外图像集中红外图像的数量。在所述获取所述待去噪图像对应的邻帧红外图像集之前，还包括：

获取所述待去噪图像对应的应用场景；

根据所述待去噪图像对应的应用场景确定所述应用场景对应的人流量；

根据所述应用场景对应的人流量确定所述邻帧红外图像集中的红外图像的数量。

其中，应用场景，指示热成像摄像头所要拍摄的应用环境。例如，应用场景是商场入口大门处；再如，应用场景是养老院卫生间大门处。预先建立应用场景与人流量的对应关系，后续便可以直接根据该预先建立的对应关系确定应用场景对应的人流量。同时，预先建立人流量与邻帧红外图像集中的红外图像的数量的对应关系，后续便可以直接根据该预先建立的对应关系确定人流量对应的邻帧红外图像集中的红外图像的数量，例如，当人流量大于M1时，红外图像的数量为L1；当人流量介于M2到M1之间时，红外图像的数量为L2；当人流量小于M2时，红外图像的数量为L3。

在一个实施例中，考虑到人的头部通常温度最高，将构成与背景和噪声更大的区别，因此，将摄像头的视线设置为与地面垂直，使之拍摄到的前景中主要包含人的头部，这样对于前景人物的分割、提取以及噪声的去除将更加有力。步骤102所述获取待去噪图像和所述待去噪图像对应的红外图像，包括：

获取预置摄像头拍摄得到的待去噪图像和所述待去噪图像对应的红外图像，所述预置摄像头的视线与地面垂直。如图13所示，预置摄像头设置于卫生间入口处，并且，预置摄像头的视线与地面垂直，其中，图13中虚线三角形底边的垂直平分线为摄像头视线。

如图14所示，提供了一种图像去噪装置1400，具体包括：

第一获取模块1402，用于获取待去噪图像和所述待去噪图像对应的红外图像；第二获取模块1404，用于获取所述待去噪图像对应的邻帧红外图像集，所述邻帧红外图像集中包括帧序与所述红外图像相邻的多张红外图像；背景图像模块1406，用于根据所述邻帧红外图像集确定背景红外图像，所述背景红外图像为所述邻帧红外图像集中只包含背景和噪声的红外图像；图像去噪模块1408，用于根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像。

上述图像去噪装置，由于在降噪的时候用到了邻帧红外图像集，而邻帧红外图像集是由帧序与所述红外图像相邻的多张红外图像组成的，因此，根据此邻帧红外图像集可以找到只包含背景和噪声的背景红外图像，由于找到了只包含背景和噪声的背景红外图像，使得能够根据该背景红外图像和待去噪图像对应的红外图像实现去噪。相较于单纯的根据待去噪图像和待去噪图像对应的红外图像中的信息去降噪的方式，这样的方式由于结合了更多的信息去去噪，能够达到更好的去噪效果；并且，相较于设置固定阈值直接去除待去噪图像中的噪声的方式，这样的方式由于结合了实际的应用场景的信息去降噪，使其能更好的与实际的应用场景相适应，对不同的应用场景也具有相对更高的去噪能力。

在一个实施例中，所述背景图像模块1406，具体用于：根据所述邻帧红外图像集确定所述邻帧红外图像集中的每张红外图像对应的图像稳定值，所述图像稳定值用于反映红外图像中温度值的波动情况；将所述邻帧红外图像集中图像稳定值最小的红外图像作为所述背景红外图像。

在一个实施例中，所述背景图像模块1406，具体用于：计算待处理红外图像和邻近红外图像中坐标位置相同的像素点的温度差值，所述待处理红外图像为所述邻帧红外图像集中的任一红外图像，所述邻近红外图像为所述邻帧红外图像集中与所述待处理图像帧序相邻的红外图像；根据所述待处理红外图像和所述邻近红外图像中坐标位置相同的像素点的温度差值得到所述待处理红外图像对应的图像方差；根据所述待处理红外图像对应的图像方差确定所述待处理红外图像对应的图像稳定值。

在一个实施例中，所述图像去噪模块1408，具体用于：根据所述背景红外图像计算背景红外阈值，所述背景红外阈值用于区分所述待去噪图像对应的红外图像中的背景、噪声和前景；根据所述背景红外阈值和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到所述目标降噪图像。

在一个实施例中，所述图像去噪模块1408，具体用于：将所述背景红外图像中各个像素点对应的温度值按从小到大的顺序排列，得到温度值集合，所述温度值集合中的每个温度值都对应一个温度值序号，所述温度值序号与所述温度值序号对应的温度值呈正相关；根据预置分位点和所述背景红外图像对应的像素个数确定目标温度值序号；根据所述目标温度值序号在所述温度值集合中确定目标温度值，所述目标温度值对应的温度值序号与所述目标温度值序号相关联；根据所述目标温度值计算背景红外阈值。

在一个实施例中，所述图像去噪模块1408，具体用于：根据所述背景红外阈值和所述待去噪图像对应的红外图像生成与所述待去噪图像对应的二值图像；获取预设的腐蚀参数和膨胀参数；根据所述腐蚀参数对所述二值图像进行腐蚀，得到二值腐蚀图像；根据所述膨胀参数对所述二值腐蚀图像进行膨胀，得到二值膨胀图像；根据所述二值膨胀图像得到目标降噪图像。

在一个实施例中，所述图像去噪模块1408，具体用于：确定所述二值膨胀图像中的零值像素点和非零像素点；统计与所述零值像素点邻近的非零点像素点的个数；根据预设的空洞判断阈值和与所述零值像素点邻近的非零点像素点的个数确定所述二值膨胀图像中的目标空洞点；根据所述目标空洞点生成所述二值膨胀图像对应的空洞填充图像；根据所述空洞填充图像得到目标降噪图像。

在一个实施例中，所述装置1400，还包括：数量确定模块，用于获取所述待去噪图像对应的应用场景；根据所述待去噪图像对应的应用场景确定所述应用场景对应的人流量；根据所述应用场景对应的人流量确定所述邻帧红外图像集中的红外图像的数量。

图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端或服务器。如图15所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像去噪方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像去噪方法。本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的图像去噪方法可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成图像去噪装置的各个程序模板。比如，第一获取模块1402、第二获取模块1404和图像去噪模块1408。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取待去噪图像和所述待去噪图像对应的红外图像；

在一个实施例中，所述根据所述邻帧红外图像集确定背景红外图像，包括：根据所述邻帧红外图像集确定所述邻帧红外图像集中的每张红外图像对应的图像稳定值，所述图像稳定值用于反映红外图像中温度值的波动情况；将所述邻帧红外图像集中图像稳定值最小的红外图像作为所述背景红外图像。

在一个实施例中，所述根据所述邻帧红外图像集确定所述邻帧红外图像集中的每张红外图像对应的图像稳定值，包括：计算待处理红外图像和邻近红外图像中坐标位置相同的像素点的温度差值，所述待处理红外图像为所述邻帧红外图像集中的任一红外图像，所述邻近红外图像为所述邻帧红外图像集中与所述待处理图像帧序相邻的红外图像；根据所述待处理红外图像和所述邻近红外图像中坐标位置相同的像素点的温度差值得到所述待处理红外图像对应的图像方差；根据所述待处理红外图像对应的图像方差确定所述待处理红外图像对应的图像稳定值。

在一个实施例中，所述根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像，包括：根据所述背景红外图像计算背景红外阈值，所述背景红外阈值用于区分所述待去噪图像对应的红外图像中的背景、噪声和前景；根据所述背景红外阈值和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到所述目标降噪图像。

在一个实施例中，所述根据所述背景红外图像计算背景红外阈值，包括：将所述背景红外图像中各个像素点对应的温度值按从小到大的顺序排列，得到温度值集合，所述温度值集合中的每个温度值都对应一个温度值序号，所述温度值序号与所述温度值序号对应的温度值呈正相关；根据预置分位点和所述背景红外图像对应的像素个数确定目标温度值序号；根据所述目标温度值序号在所述温度值集合中确定目标温度值，所述目标温度值对应的温度值序号与所述目标温度值序号相关联；根据所述目标温度值计算背景红外阈值。

在一个实施例中，所述根据所述背景红外阈值和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到所述目标降噪图像，包括：根据所述背景红外阈值和所述待去噪图像对应的红外图像生成与所述待去噪图像对应的二值图像；获取预设的腐蚀参数和膨胀参数；根据所述腐蚀参数对所述二值图像进行腐蚀，得到二值腐蚀图像；根据所述膨胀参数对所述二值腐蚀图像进行膨胀，得到二值膨胀图像；根据所述二值膨胀图像得到目标降噪图像。

在一个实施例中，所述根据所述二值膨胀图像得到目标降噪图像，包括：确定所述二值膨胀图像中的零值像素点和非零像素点；统计与所述零值像素点邻近的非零点像素点的个数；根据预设的空洞判断阈值和与所述零值像素点邻近的非零点像素点的个数确定所述二值膨胀图像中的目标空洞点；根据所述目标空洞点生成所述二值膨胀图像对应的空洞填充图像；根据所述空洞填充图像得到目标降噪图像。

在一个实施例中，所述计算机程序被处理器执行时，还用于：在所述获取所述待去噪图像对应的邻帧红外图像集之前，取所述待去噪图像对应的应用场景；根据所述待去噪图像对应的应用场景确定所述应用场景对应的人流量；根据所述应用场景对应的人流量确定所述邻帧红外图像集中的红外图像的数量。

在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取待去噪图像和所述待去噪图像对应的红外图像；

需要说明的是，上述图像去噪方法、图像去噪装置、计算机设备及计算机可读存储介质属于一个总的发明构思，图像去噪方法、图像去噪装置、计算机设备及计算机可读存储介质实施例中的内容可相互适用。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图像去噪方法，其特征在于，包括：

获取待去噪图像和所述待去噪图像对应的红外图像；

所述根据所述邻帧红外图像集确定背景红外图像，包括：

根据所述邻帧红外图像集确定所述邻帧红外图像集中的每张红外图像对应的图像稳定值，所述图像稳定值用于反映红外图像中温度值的波动情况；

将所述邻帧红外图像集中图像稳定值最小的红外图像作为所述背景红外图像；

所述根据所述邻帧红外图像集确定所述邻帧红外图像集中的每张红外图像对应的图像稳定值，包括：

计算待处理红外图像和邻近红外图像中坐标位置相同的像素点的温度差值，所述待处理红外图像为所述邻帧红外图像集中的任一红外图像，所述邻近红外图像为所述邻帧红外图像集中与所述待处理图像帧序相邻的红外图像；

根据所述待处理红外图像和所述邻近红外图像中坐标位置相同的像素点的温度差值得到所述待处理红外图像对应的图像方差；

根据所述待处理红外图像对应的图像方差确定所述待处理红外图像对应的图像稳定值；

2.根据权利要求1所述的方法，其特征在于，所述根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像，包括：

根据所述背景红外图像计算背景红外阈值，所述背景红外阈值用于区分所述待去噪图像对应的红外图像中的背景、噪声和前景；

根据所述背景红外阈值和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到所述目标降噪图像。

3.如权利要求2所述的方法，其特征在于，所述根据所述背景红外图像计算背景红外阈值，包括：

将所述背景红外图像中各个像素点对应的温度值按从小到大的顺序排列，得到温度值集合，所述温度值集合中的每个温度值都对应一个温度值序号，所述温度值序号与所述温度值序号对应的温度值呈正相关；

根据预置分位点和所述背景红外图像对应的像素个数确定目标温度值序号；

根据所述目标温度值序号在所述温度值集合中确定目标温度值，所述目标温度值对应的温度值序号与所述目标温度值序号相关联；

根据所述目标温度值计算背景红外阈值。

4.根据权利要求2所述的方法，其特征在于，所述根据所述背景红外阈值和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到所述目标降噪图像，包括：

根据所述背景红外阈值和所述待去噪图像对应的红外图像生成与所述待去噪图像对应的二值图像；

获取预设的腐蚀参数和膨胀参数；

根据所述腐蚀参数对所述二值图像进行腐蚀，得到二值腐蚀图像；

根据所述膨胀参数对所述二值腐蚀图像进行膨胀，得到二值膨胀图像；

根据所述二值膨胀图像得到目标降噪图像。

5.如权利要求4所述的方法，其特征在于，所述根据所述二值膨胀图像得到目标降噪图像，包括：

确定所述二值膨胀图像中的零值像素点和非零像素点；

统计与所述零值像素点邻近的非零点像素点的个数；

根据预设的空洞判断阈值和与所述零值像素点邻近的非零点像素点的个数确定所述二值膨胀图像中的目标空洞点；

根据所述目标空洞点生成所述二值膨胀图像对应的空洞填充图像；

根据所述空洞填充图像得到目标降噪图像。

6.如权利要求1所述的方法，其特征在于，在所述获取所述待去噪图像对应的邻帧红外图像集之前，还包括：

获取所述待去噪图像对应的应用场景；

7.一种图像去噪装置，其特征在于，包括：第一获取模块，用于获取待去噪图像和所述待去噪图像对应的红外图像；第二获取模块，用于获取所述待去噪图像对应的邻帧红外图像集，所述邻帧红外图像集中包括帧序与所述红外图像相邻的多张红外图像；背景图像模块，用于根据所述邻帧红外图像集确定背景红外图像，所述背景红外图像为所述邻帧红外图像集中只包含背景和噪声的红外图像；图像去噪模块，用于根据所述背景红外图像和所述待去噪图像对应的红外图像对所述待去噪图像进行处理得到目标降噪图像。

8.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述图像去噪方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像去噪方法的步骤。