CN112801903A - 一种基于视频降噪的目标跟踪方法、装置和计算机设备 - Google Patents

Abstract

本发明公开了一种基于视频降噪的目标跟踪方法、装置、计算机设备和存储介质，所述方法包括：根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频；根据目标跟踪模型和降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；对跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频，因此，采用本申请实施例，由于能够通过视频降噪处理模型对噪声视频进行有效地视频降噪处理，能够在去除图像噪声信息的同时保留更多的图像特征，从而使得输出的降噪后的视频具有较好的清晰度，这样，有利于对目标对象的检测和跟踪，从而有效地提升了对目标对象的跟踪准确率。

Description

一种基于视频降噪的目标跟踪方法、装置和计算机设备

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于视频降噪的目标跟踪方法、装置和计算机设备。

背景技术

视觉目标跟踪需要对视频序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，但视频中存在的图像噪声会导致的目标区域被噪声影响而难以被检索，影响运动目标的运动参数的获取，导致跟踪效果不佳以及影响后续对运动目标的处理与分析。

针对上述情况，在进行目标检测跟踪前需要先对视频进行降噪处理，在尽可能地保持原始信息完整性的同时，还能够去除视频序列中无用的信息，有利于后续对运动目标进行检测、提取、识别和跟踪。

传统的图像降噪算法有均值滤波、中值滤波和双边滤波等方法，在进行目标检测跟踪前先对视频中经常出现的噪声，比如高斯噪声、泊松噪声和乘性噪声进行降噪，以提升目标跟踪正确性和精度。

传统的降噪算法如均值滤波、中值滤波和双边滤波并不能很好地去除视频序列中存在的噪声。均值滤波本身存在着固有的缺陷，它不能很好地保护图像细节，在进行图像降噪的同时也破坏了图像的细节部分，从而使图像变得模糊。同样在点、线、尖顶等细节较多的图像中，中值滤波会引起图像信息的丢失。而双边滤波不能干净滤掉彩色图像里的高频噪声，只能够对于低频信息进行较好的滤波。传统降噪算法的这些缺点均会影响后续目标跟踪效果，甚至会使得目标跟踪效果变差。

发明内容

本申请实施例提供了一种基于视频降噪的目标跟踪方法、装置、计算机设备和存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种基于视频降噪的目标跟踪方法，所述方法包括：

获取包括目标对象的噪声视频，以及用于对所述噪声视频进行降噪处理的视频降噪处理模型；

根据所述视频降噪处理模型对所述噪声视频进行视频降噪处理，输出降噪后的视频；

根据目标跟踪模型和所述降噪后的视频，对所述目标对象进行跟踪，得到目标对象的跟踪数据；

对所述跟踪数据进行处理，得到处理后的跟踪数据，并基于所述处理后的跟踪数据生成所述目标对象的轨迹视频。

在一种实施方式中，在所述根据目标跟踪模型，对所述目标对象进行跟踪之前，所述方法还包括：

根据目标检测模型，对所述降噪后的视频中的所述目标对象进行目标检测，得到用于标识所述目标对象边界的目标检测框，以及与所述目标检测框对应的各个顶点坐标数据。

在一种实施方式中，所述视频降噪处理模型为BM3D降噪处理模型，所述根据所述视频降噪处理模型对所述噪声视频进行视频降噪处理包括：

将所述噪声视频进行视频切分处理，得到所述噪声视频的每一帧图像；

根据所述BM3D降噪处理模型，对所述噪声视频的每一帧图像分别进行视频降噪处理。

在一种实施方式中，在所述根据所述BM3D降噪处理模型，对所述噪声视频的每一帧图像分别进行视频降噪处理之前，所述方法还包括：

将所述噪声视频中的任意一帧图像作为当前待处理图像；

根据噪声强度估计模型，对当前待处理图像的噪声强度进行估计，得到对应的噪声强度估计结果，所述噪声强度估计结果包括用于对当前待处理图像进行图像降噪处理的图像噪声强度；

根据所述噪声强度估计结果，对当前待处理图像中的噪声进行降噪处理，输出降噪后的图像。

在一种实施方式中，所述根据噪声强度估计模型，对当前待处理图像的噪声强度进行估计包括：

从当前待处理图像中选取任意一个区域为变换区域；

对所述变换区域进行正交小波变换处理，得到与所述变换区域对应的低频子带、水平高频子带、垂直高频子带、对角高频子带和各个对角高频子带系数；

根据所述噪声强度估计模型和各个对角高频子带系数，确定出用于对当前待处理图像的所述变换区域进行降噪处理的区域噪声强度。

在一种实施方式中，用于对所述变换区域的所述区域噪声强度进行估计的公式为：

σ＝median(W_HH(i,j))*·C，

其中，σ为所述区域噪声强度、W_HH(i,j)为各个对角高频子带系数、median为对各个对角高频子带系数W_HH(i,j)依据从大到小的顺序进行排序，并取排序后的一系列值的中间值、C为预设常数。

在一种实施方式中，所述对所述跟踪数据进行处理，得到处理后的跟踪数据包括：

对所述跟踪数据进行数据平滑插值处理，得到处理后的跟踪数据。

第二方面，本申请实施例提供了一种基于视频降噪的目标跟踪装置，所述装置包括：

获取模块，用于获取包括目标对象的噪声视频，以及用于对所述噪声视频进行降噪处理的视频降噪处理模型；

视频降噪处理模块，用于根据所述获取模块获取的所述视频降噪处理模型对所述获取模块获取的所述噪声视频进行视频降噪处理，输出降噪后的视频；

跟踪模块，用于根据目标跟踪模型和所述视频降噪处理模块得到的所述降噪后的视频，对所述目标对象进行跟踪，得到目标对象的跟踪数据；

处理模块，用于对所述跟踪模块得到的所述跟踪数据进行处理，得到处理后的跟踪数据，并基于所述处理后的跟踪数据生成所述目标对象的轨迹视频。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上所述目标跟踪方法的步骤。

第四方面，本申请实施例提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上所述目标跟踪方法的步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频；根据目标跟踪模型和降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；对跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频，因此，采用本申请实施例，由于能够通过视频降噪处理模型对噪声视频进行有效地视频降噪处理，能够在去除图像噪声信息的同时保留更多的图像特征，从而使得输出的降噪后的视频具有较好的清晰度，这样，有利于对目标对象的检测和跟踪，从而有效地提升了对目标对象的跟踪准确率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的一种基于视频降噪的目标跟踪方法的流程示意图；

图2是本申请实施例具体应用场景下的基于优化后的BM3D降噪处理模型对噪声视频进行视频降噪处理的方法流程示意图；

图3是本申请实施例具体应用场景下的根据目标跟踪模型对降噪后的视频进行目标跟踪处理的方法流程示意图；

图4是本申请实施例提供的一种基于视频降噪的目标跟踪装置的一结构示意图；

图5是本申请实施例具体应用场景下的基于视频降噪的目标跟踪装置的另一结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

基于现有的基于视频对目标对象进行目标跟踪的准确率低的问题，为此，本申请提供了一种基于视频降噪的目标跟踪方法、装置、计算机设备和存储介质，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频；根据目标跟踪模型和降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；对跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频，因此，采用本申请实施例，由于能够通过视频降噪处理模型对噪声视频进行有效地视频降噪处理，能够在去除图像噪声信息的同时保留更多的图像特征，从而使得输出的降噪后的视频具有较好的清晰度，这样，有利于对目标对象的检测和跟踪，从而有效地提升了对目标对象的跟踪准确率，下面采用示例性的实施例进行详细说明。

下面将结合图1-图4，对本申请实施例提供的一种基于视频降噪的目标跟踪方法进行详细介绍。

如图1所示，是本申请实施例提供的一种基于视频降噪的目标跟踪方法的流程示意图；如图1所示，本申请实施例的目标跟踪方法可以包括以下步骤：

S101，获取包括目标对象的噪声视频，以及用于对噪声视频进行降噪处理的视频降噪处理模型。

在本申请实施例中，为了实现较好的降噪处理效果，对噪声视频进行降噪处理的视频降噪处理模型为BM3D(Block-Matching and 3D filtering，基于块匹配和3D滤波)降噪处理模型。

S102，根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频。

在本申请实施例中，视频降噪处理模型为BM3D降噪处理模型，根据视频降噪处理模型对噪声视频进行视频降噪处理包括以下步骤：

将噪声视频进行视频切分处理，得到噪声视频的每一帧图像；

根据BM3D降噪处理模型，对噪声视频的每一帧图像分别进行视频降噪处理。

本申请实施例提供的目标跟踪方法，为了能够得到具有较佳降噪效果的视频，对传统的BM3D降噪算法进行了优化。传统的M3D降噪算法默认知道噪声强度值，因此，无法对具有不同噪声强度的噪声进行区别处理，因此，由于无法对视频中的噪声进行有效消除，最终输出的降噪后的视频仍具有多个噪点，从而影响了降噪后的视频的清晰度，这样，不利于对目标对象的精准检测和精准跟踪。

在本申请实施例中，本申请实施例提供的目标跟踪方法，在BM3D降噪处理模型，对噪声视频的每一帧图像分别进行视频降噪处理之前，所述方法还包括以下步骤：

将噪声视频中的任意一帧图像作为当前待处理图像；

根据噪声强度估计模型，对当前待处理图像的噪声强度进行估计，得到对应的噪声强度估计结果，噪声强度估计结果包括用于对当前待处理图像进行图像降噪处理的图像噪声强度；

根据噪声强度估计结果，对当前待处理图像中的噪声进行降噪处理，输出降噪后的图像。

在一种可能的实现方式中，根据噪声强度估计模型，对当前待处理图像的噪声强度进行估计包括以下步骤：

从当前待处理图像中选取任意一个区域为变换区域；

对变换区域进行正交小波变换处理，得到与变换区域对应的低频子带、水平高频子带、垂直高频子带、对角高频子带和各个对角高频子带系数；

根据噪声强度估计模型和各个对角高频子带系数，确定出用于对当前待处理图像的变换区域进行降噪处理的区域噪声强度。

在本申请实施例中，能够对由噪声视频切分出的每一帧图像进行单独降噪。在对每一帧图像进行单独降噪的过程中，由于引入了噪声强度估计模型，不仅能够对每一帧图像所具有的噪声强度进行估计，还能够对每一帧图像的任意一个所选变换区域的噪声强度进行估计，有效地改良了现有的BM3D算法不能自适应处理具有不同噪声强度的噪声图像的缺陷。此外，由于引入了噪声强度估计模型，可以在噪声不均匀的图像中，对图像的各个部分估计出更加准确的噪声强度值，从而提升了BM3D视频降噪处理模型的降噪效果，有效地提升了降噪后的视频的画质清晰度，有利于根据降噪后的视频对目标对象进行精准检测及跟踪，最终提升了对目标对象跟踪的准确率。

根据大数据统计的结果，本申请实施例提供的目标跟踪方法，能够使得对目标对象的跟踪准确率提升至少百分之十以上。

在本申请实施例中，用于对区域噪声强度进行估计的公式为：

σ＝median(W_HH(i,j))*·C，

其中，σ为区域噪声强度、W_HH(i,j)为各个对角高频子带系数、median为对各个对角高频子带系数W_HH(i,j)依据从大到小的顺序进行排序，并取排序后的一系列值的中间值、C为预设常数。

在本申请实施例中，C为预设常数，可以根据不同应用场景的需求，将C配置为对应的数值，在此对C的数值并不做具体限制。在某一具体应用场景中，可以将C的数值配置为6.8。

如图2所示，是本申请实施例具体应用场景下的基于BM3D降噪处理模型对噪声视频进行视频降噪处理的方法流程示意图。

正如前述可知，本申请实施例所采用的降噪处理模型为经过上述优化处理所得到的BM3D降噪处理模型，即：经由噪声强度估计模型优化后所得的BM3D降噪处理模型。具体优化过程参见前述即可，在此不再赘述。

如图2所示，是本申请实施例具体应用场景下的基于优化后的BM3D降噪处理模型对噪声视频进行视频降噪处理的方法流程示意图。

根据优化后的BM3D降噪处理模型对噪声视频进行视频降噪处理的步骤具体包括基础估计过程和最终估计过程，针对基础估计过程和最终估计过程的描述具体如下所述：

基础估计过程具体如下所述：

步骤a1：相似块分组：首先在噪声图像中选择固定大小的参照块，考虑到算法复杂度，在实际操作中不需要每个像素点都选参照块，通常隔N个像素为一个步长进行选取，将复杂度降到原来的1/N²，然后在参照块的周围适当大小区域内进行搜索，寻找若干个差异度最小的块，并把这些块整合成一个三维的矩阵。这一过程的公式如下：

G(P)＝{d(P,Q)≤τ,step＝N}；

其中，Q为参考块，P为相似块，G(P)表示相似块的集合，d(P,Q)为两个块之间的欧氏距离，τ为相似度阈值。

步骤a2：块噪声强度估计：在当前参考块Q周围取一个更大的图像块M，M为噪声强度估计图像块。

M＝f(Q+stride)；

其中，f(Q+stride)代表以参考块Q为中心，在距离参考块的上下左右stride大小的位置取出噪声强度估计图像块M，stride的值取28。通过对图像块M进行噪声强度估计，得到参考块的噪声强度σ，根据得到的参考块的噪声强度σ，可以自适应地实现不同噪声强度下的BM3D图像去噪算法。

步骤a3：协同滤波：形成若干个三维的矩阵之后，首先将每个三维矩阵中的二维的块,即噪声图像中的某个块进行二维DCT变换。二维变换结束后，在矩阵的第三个维度进行一维小波变换，变换完成后对三维矩阵进行硬阈值处理，将小于阈值的系数置零，同时统计非零成分的数量作为后续权重的参考。然后通过在第三维的一维反变换和二维反变换得到处理后的图像块。这一过程的公式如下：

其中，O(P)指的是二维块，T_3Dhard指的是三维变换，即一次二维变换和一次一维变换，

指的是三维反变换，即一次一维反变换和一次二维反变换，γ为硬阈值操作，θ_3D为阈值：

步骤a4：聚合：经过前面两个步骤后，此刻每个二维块都是对降噪图像的估计。这一步分别将这些块融合到原来图像中的位置，每个像素的灰度值是通过对每个对应位置的块的值进行加权平均，其中它的权重取决于硬阈值处理时非零成分的数量和噪声强度σ；这样，就得到了可以自适应于不同噪声强度的基础估计的降噪图像。

最终估计过程具体如下所述：

步骤b1：相似块分组：基础估计已经极大地消除了含噪原图的每个目标图块的噪点，这一步使用对应基础估计图块的欧氏距离衡量相似程度。按欧氏距离从小到大排序选取若干个差异度最小的块。将基础估计图块、含噪原图的图块分别叠成两个三维数组。最终估计相似块分组与基础估计相似块分组不同的是最终估计相似块分组会得到两个三维数组，一个是噪声图像形成的三维数组，一个是基础估计图像得到的三维数组。

步骤b2：块噪声强度估计：在噪声原图当前参考块Q周围取一个更大的图像块M，M为噪声强度估计图像块，通过对图像块M进行噪声强度估计，得到参考块的噪声强度σ。此外，也可以直接调用基础估计中相对应参考块的块噪声强度估计值σ。

步骤b3：协同滤波：两个三维矩阵都进行二维和一维变换，这里的二维变换采用DCT变换。用维纳滤波(Wiener Filtering)将噪声图像形成的三维矩阵进行系数放缩，该系数通过基础估计的三维矩阵的值以及噪声强度得出。这一过程用如下公式表示，

其中，w_p是维纳滤波的系数。

步骤b4：聚合：这一步分别将这些块融合到原来图像中的位置，每个像素的灰度值是通过对每个对应位置的块的值进行加权平均，其中它的权重取决于维纳滤波的系数和噪声强度；这样，就得到了最终估计的降噪图像。

S103，根据目标跟踪模型和降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据。

在本申请实施例中，目标跟踪模型可以为由Deep Sort算法建立起来的模型，构建模型的方法为常规方法，Deep Sort算法也为常规算法，在此不再赘述。

如图3所示，是本申请实施例具体应用场景下的根据目标跟踪模型对降噪后的视频进行目标跟踪处理的方法流程示意图。

如图3所示，根据目标跟踪模型对降噪后的视频进行目标跟踪处理的步骤具体如下所述：

步骤c1：对降噪后的视频的每一帧图像进行Fast R-CNN目标检测，首先需要提取候选区域，利用选择搜索算法在输入图像中提取出候选区域，并把这些候选区域按照空间位置关系映射到最后的卷积特征层；然后进行区域归一化，对于卷积特征层上的每个候选区域进行感兴趣区域池化操作，得到固定维度的特征；最后将提取到的特征输入全连接层，然后用Softmax进行分类，对候选区域的位置进行回归，得到目标检测结果。

在本申请实施例中，基于Fast R-CNN目标检测方法为常规方法，在此不再赘述。

步骤c2：根据Fast R-CNN算法检测出的结果进行跟踪，使用Deep Sort获得跟踪结果。Deep Sort是一种多目标跟踪算法，基本思想为tracking-by-detection，它利用运动模型和外观信息进行数据关联，运行速率主要由检测算法所决定，算法对每一帧进行目标检测，后续通过带权值的匈牙利匹配算法对之前的运动轨迹和当前检测对象进行匹配，形成物体的运动轨迹。权值由点和运动轨迹的马氏距离及图像块的相似性加权求和得到。

在本申请实施例中，基于Fast R-CNN算法、Deep Sort算法均为常规算法，在此不再赘述。

步骤c3：对通过Deep Sort处理后的目标跟踪结果进行数据平滑，并生成目标轨迹视频。

在本申请实施例中，基于Deep Sort算法为常规算法，在此不再赘述。

在一种可能的实现方式中，在根据目标跟踪模型，对目标对象进行跟踪之前，本申请实施例提供的目标跟踪方法还包括以下步骤：

根据目标检测模型，对降噪后的视频中的目标对象进行目标检测，得到用于标识目标对象边界的目标检测框，以及与目标检测框对应的各个顶点坐标数据；通过目标检测模型，能够有效地区分出噪声视频中的不同目标对象。

在本申请实施例中，目标检测模型为Fast R-CNN目标检测模型，基于Fast R-CNN算法为常规算法，在此不再赘述。

在本申请实施例中，可以追踪噪声视频中的至少一个目标对象。在实际应用中，每一个目标对象均具有对应的目标检测框，通过对应的目标检测框能够有效地框住当前目标对象的各个边界，并通过不同目标检测框有效地区分处于同一噪声视频中的不同目标对象，并对不同目标对象均进行跟踪，得到不同目标对象的轨迹视频。

在本申请实施例中，在对不同目标对象进行跟踪的过程中，不仅每一个目标对象均具有对应的目标检测框，而且每一个目标对象均具有唯一的ID，这样，有效地减少了目标跟踪过程中所产生的数据量，提升了数据处理效率。

S104，对跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频。

在本申请实施例中，对跟踪数据进行处理，得到处理后的跟踪数据包括以下步骤：

对跟踪数据进行数据平滑插值处理，得到处理后的跟踪数据。

基于数据平滑插值处理为常规技术，在此不再赘述。

在本申请实施例中，根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频；根据目标跟踪模型和降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；对跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频，因此，采用本申请实施例，由于能够通过视频降噪处理模型对噪声视频进行有效地视频降噪处理，能够在去除图像噪声信息的同时保留更多的图像特征，从而使得输出的降噪后的视频具有较好的清晰度，这样，有利于对目标对象的检测和跟踪，从而有效地提升了对目标对象的跟踪准确率。

下述为本发明基于视频降噪的目标跟踪装置实施例，可以用于执行本发明基于视频降噪的目标跟踪方法实施例。对于本发明基于视频降噪的目标跟踪装置实施例中未披露的细节，请参照本发明基于视频降噪的目标跟踪方法实施例。

请参见图4，其示出了本发明一个示例性实施例提供的基于视频降噪的目标跟踪装置的结构示意图。该基于视频降噪的目标跟踪装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该基于视频降噪的目标跟踪装置包括获取模块10、视频降噪处理模块20、跟踪模块30和处理模块40。

具体而言，获取模块10，用于获取包括目标对象的噪声视频，以及用于对噪声视频进行降噪处理的视频降噪处理模型；

视频降噪处理模块20，用于根据获取模块10获取的视频降噪处理模型对获取模块10获取的噪声视频进行视频降噪处理，输出降噪后的视频；

跟踪模块30，用于根据目标跟踪模型和视频降噪处理模块20得到的降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；

处理模块40，用于对跟踪模块30得到的跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频。

可选的，所述装置还包括：

目标检测模块(在图4中未示出)，用于在跟踪模块30根据目标跟踪模型，对目标对象进行跟踪之前，根据目标检测模型，对降噪后的视频中的目标对象进行目标检测，得到用于标识目标对象边界的目标检测框，以及与目标检测框对应的各个顶点坐标数据。

可选的，视频降噪处理模型为BM3D降噪处理模型，视频降噪处理模块20具体用于：

将噪声视频进行视频切分处理，得到噪声视频的每一帧图像；

根据BM3D降噪处理模型，对噪声视频的每一帧图像分别进行视频降噪处理。

可选的，在视频降噪处理模块20根据BM3D降噪处理模型，对噪声视频的每一帧图像分别进行视频降噪处理之前，处理模块40还用于：

将噪声视频中的任意一帧图像作为当前待处理图像；

根据噪声强度估计模型，对当前待处理图像的噪声强度进行估计，得到对应的噪声强度估计结果，噪声强度估计结果包括用于对当前待处理图像进行图像降噪处理的图像噪声强度；

根据噪声强度估计结果，对当前待处理图像中的噪声进行降噪处理，输出降噪后的图像。

可选的，处理模块40具体用于：

从当前待处理图像中选取任意一个区域为变换区域；

对变换区域进行正交小波变换处理，得到与变换区域对应的低频子带、水平高频子带、垂直高频子带、对角高频子带和各个对角高频子带系数；

根据噪声强度估计模型和各个对角高频子带系数，确定出用于对当前待处理图像的变换区域进行降噪处理的区域噪声强度。

可选的，用于对变换区域的区域噪声强度进行估计的公式为：

σ＝median(W_HH(i,j))*·C，

其中，σ为区域噪声强度、W_HH(i,j)为各个对角高频子带系数、median为对各个对角高频子带系数W_HH(i,j)依据从大到小的顺序进行排序，并取排序后的一系列值的中间值、C为预设常数。

可选的，处理模块40具体用于：

对跟踪数据进行数据平滑插值处理，得到处理后的跟踪数据。

如图5所示，是本申请实施例具体应用场景下的基于视频降噪的目标跟踪装置的另一结构示意图。

如图5所示，目标跟踪装置包括BM3D视频降噪处理模块和跟踪模块，输入的为带噪声视频序列，分别经由BM3D视频降噪处理模块和跟踪模块进行处理，输出降噪后的目标跟踪视频序列。图5中的BM3D视频降噪处理模块和跟踪模块的具体功能参见前述对应的方法实施例以及图4中的相同或相似描述，在此不再赘述。

需要说明的是，上述实施例提供的基于视频降噪的目标跟踪装置在执行基于视频降噪的目标跟踪方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于视频降噪的目标跟踪装置与基于视频降噪的目标跟踪方法实施例属于同一构思，其体现实现过程详见基于视频降噪的目标跟踪方法实施例，这里不再赘述。

在本申请实施例中，视频降噪处理模块用于根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频；跟踪模块用于根据目标跟踪模型和视频降噪处理模块降噪处理得到的降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；以及处理模块用于对跟踪模块得到的跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频，因此，采用本申请实施例，由于能够通过视频降噪处理模型对噪声视频进行有效地视频降噪处理，能够在去除图像噪声信息的同时保留更多的图像特征，从而使得输出的降噪后的视频具有较好的清晰度，这样，有利于对目标对象的检测和跟踪，从而有效地提升了对目标对象的跟踪准确率。

在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取包括目标对象的噪声视频，以及用于对噪声视频进行降噪处理的视频降噪处理模型；根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频；根据目标跟踪模型和降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；对跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取包括目标对象的噪声视频，以及用于对噪声视频进行降噪处理的视频降噪处理模型；根据视频降噪处理模型对噪声视频进行视频降噪处理，输出降噪后的视频；根据目标跟踪模型和降噪后的视频，对目标对象进行跟踪，得到目标对象的跟踪数据；对跟踪数据进行处理，得到处理后的跟踪数据，并基于处理后的跟踪数据生成目标对象的轨迹视频。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视频降噪的目标跟踪方法，其特征在于，所述方法包括：

获取包括目标对象的噪声视频，以及用于对所述噪声视频进行降噪处理的视频降噪处理模型；

根据所述视频降噪处理模型对所述噪声视频进行视频降噪处理，输出降噪后的视频；

根据目标跟踪模型和所述降噪后的视频，对所述目标对象进行跟踪，得到目标对象的跟踪数据；

对所述跟踪数据进行处理，得到处理后的跟踪数据，并基于所述处理后的跟踪数据生成所述目标对象的轨迹视频。

2.根据权利要求1所述的方法，其特征在于，在所述根据目标跟踪模型，对所述目标对象进行跟踪之前，所述方法还包括：

根据目标检测模型，对所述降噪后的视频中的所述目标对象进行目标检测，得到用于标识所述目标对象边界的目标检测框，以及与所述目标检测框对应的各个顶点坐标数据。

3.根据权利要求1所述的方法，其特征在于，所述视频降噪处理模型为BM3D降噪处理模型，所述根据所述视频降噪处理模型对所述噪声视频进行视频降噪处理包括：

将所述噪声视频进行视频切分处理，得到所述噪声视频的每一帧图像；

根据所述BM3D降噪处理模型，对所述噪声视频的每一帧图像分别进行视频降噪处理。

4.根据权利要求3所述的方法，其特征在于，在所述根据所述BM3D降噪处理模型，对所述噪声视频的每一帧图像分别进行视频降噪处理之前，所述方法还包括：

将所述噪声视频中的任意一帧图像作为当前待处理图像；

根据噪声强度估计模型，对当前待处理图像的噪声强度进行估计，得到对应的噪声强度估计结果，所述噪声强度估计结果包括用于对当前待处理图像进行图像降噪处理的图像噪声强度；

根据所述噪声强度估计结果，对当前待处理图像中的噪声进行降噪处理，输出降噪后的图像。

5.根据权利要求4所述的方法，其特征在于，所述根据噪声强度估计模型，对当前待处理图像的噪声强度进行估计包括：

从当前待处理图像中选取任意一个区域为变换区域；

对所述变换区域进行正交小波变换处理，得到与所述变换区域对应的低频子带、水平高频子带、垂直高频子带、对角高频子带和各个对角高频子带系数；

根据所述噪声强度估计模型和各个对角高频子带系数，确定出用于对当前待处理图像的所述变换区域进行降噪处理的区域噪声强度。

6.根据权利要求5所述的方法，其特征在于，

用于对所述变换区域的所述区域噪声强度进行估计的公式为：

σ＝median(W_HH(i,j))*·C，

其中，σ为所述区域噪声强度、W_HH(i,j)为各个对角高频子带系数、median为对各个对角高频子带系数W_HH(i,j)依据从大到小的顺序进行排序，并取排序后的一系列值的中间值、C为预设常数。

7.根据权利要求1所述的方法，其特征在于，所述对所述跟踪数据进行处理，得到处理后的跟踪数据包括：

对所述跟踪数据进行数据平滑插值处理，得到处理后的跟踪数据。

8.一种基于视频降噪的目标跟踪装置，其特征在于，所述装置包括：

获取模块，用于获取包括目标对象的噪声视频，以及用于对所述噪声视频进行降噪处理的视频降噪处理模型；

视频降噪处理模块，用于根据所述获取模块获取的所述视频降噪处理模型对所述获取模块获取的所述噪声视频进行视频降噪处理，输出降噪后的视频；

跟踪模块，用于根据目标跟踪模型和所述视频降噪处理模块得到的所述降噪后的视频，对所述目标对象进行跟踪，得到目标对象的跟踪数据；

处理模块，用于对所述跟踪模块得到的所述跟踪数据进行处理，得到处理后的跟踪数据，并基于所述处理后的跟踪数据生成所述目标对象的轨迹视频。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述目标跟踪方法的步骤。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述目标跟踪方法的步骤。

Images