CN114881889A - 视频图像噪声评估方法及装置 - Google Patents

视频图像噪声评估方法及装置 Download PDF

Info

Publication number
CN114881889A
CN114881889A CN202210658211.9A CN202210658211A CN114881889A CN 114881889 A CN114881889 A CN 114881889A CN 202210658211 A CN202210658211 A CN 202210658211A CN 114881889 A CN114881889 A CN 114881889A
Authority
CN
China
Prior art keywords
noise
video image
foreground
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210658211.9A
Other languages
English (en)
Inventor
杨莹
靳凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Singapore Pte Ltd
Original Assignee
Bigo Technology Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Singapore Pte Ltd filed Critical Bigo Technology Singapore Pte Ltd
Priority to CN202210658211.9A priority Critical patent/CN114881889A/zh
Publication of CN114881889A publication Critical patent/CN114881889A/zh
Priority to PCT/CN2023/095180 priority patent/WO2023236757A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本申请实施例公开了一种视频图像噪声评估方法及装置，该方法包括：对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据；对所述视频图像进行区域划分得到前景区域和背景区域；根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息，本方案可以实现噪声点的精确定位，能够精准评估视频图像的噪声水平，获得更有目的性也更加符合主观认知的噪声水平估计，为后续的定向降噪处理提供良好支撑。

Description

视频图像噪声评估方法及装置
技术领域
本申请实施例涉及噪声识别技术领域，尤其涉及一种视频图像噪声评估方法及装置。
背景技术
随着直播视频业务的持续发展和应用普及，直播视频已经成为普通人生活社交中非常重要的一部分，与此同时观众对于直播视频本身质量和画质也产生了更高的要求。而视频画面中是否有较多的噪声点是显著影响受众和主播视觉观感的一个衡量因素，而噪声作为一种画面中出现的异常信号，成因复杂同时视觉表现各异，所以精准地刻画视频画面中的噪声也是提升直播质量非常关键的一个环节，其可以有效地评估视频噪声水平并且指导降噪工作。
相关技术中，存在从信号滤波的角度出发进行噪声估计的方案，该种方式中噪声的估计是粗略的，且并不稳定，在实际的应用中效果有限同时耗时过长；针对采用深度学习方法进行噪声确定的方案，其确定的噪声结果同样细致程度不够，其确定的噪声无法在后续实现局部降噪处理，且使用的深度学习模型如果要取得比较满意的结果，通常要求大量精细标注过的数据进行模型训练，充足且完整标注的大量视频噪声数据通常不存在且需要大量精力完成高质量标注，因此实现过程相对复杂。
发明内容
本申请实施例提供了一种视频图像噪声评估方法及装置，可以实现噪声点的精确定位，能够精准评估视频图像的噪声水平，为后续的定向降噪处理提供良好支撑。
第一方面，本申请实施例提供了一种视频图像噪声评估方法，该方法包括：
对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据；
对所述视频图像进行区域划分得到前景区域和背景区域；
根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
第二方面，本申请实施例还提供了一种视频图像噪声评估装置，包括：
像素噪声确定模块，配置为对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据；
图像区域划分模块，配置为对所述视频图像进行区域划分得到前景区域和背景区域；
噪声信息确定模块，配置为根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
第三方面，本申请实施例还提供了一种视频图像噪声评估设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的视频图像噪声评估方法。
第四方面，本申请实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请实施例所述的视频图像噪声评估方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的视频图像噪声评估方法。
本申请实施例中，通过对视频图像进行噪声估计得到视频图像中每个像素点的噪声数据，对视频图像进行区域划分得到前景区域和背景区域，根据噪声数据确定视频图像的全图噪声信息，以及前景区域对应的前景噪声信息和背景区域对应的背景噪声信息，该种噪声评估方法更加精细，细化到像素点的噪声情况，同时采用划分区域并对各个区域进行单独的噪声信息的评估，可以获得更有目的性也更加符合主观认知的噪声水平估计，为后续的定向降噪处理提供良好支撑。
附图说明
图1为本申请实施例提供的一种视频图像噪声评估方法的流程图；
图2为本申请实施例提供的一种噪声图可视化展示的示意图；
图3为本申请实施例提供的一种将视频图像噪声覆盖至原始视频图像的示意图；
图4为本申请实施例提供的一种包含对输入图像进行变换调整的视频图像噪声评估方法的流程图；
图5为本申请实施例提供的一种包含对视频图像进行边缘处理的视频图像噪声评估方法的流程图；
图6为本申请实施例提供的一种对视频图像进行区域划分的视频图像噪声评估方法的流程图；
图7为本申请实施例提供的一种将视频图像划分为前景区域和背景区域的示意图；
图8为本申请实施例提供的一种确定全图噪声信息的视频图像噪声评估方法的流程图；
图9为本申请实施例提供的一种确定前景区域和背景区域噪声信息的视频图像噪声评估方法的流程图；
图10为本申请实施例提供的一种视频图像噪声评估装置的结构框图；
图11为本申请实施例提供的一种视频图像噪声评估设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请实施例提供的一种视频图像噪声评估方法的流程图，可用于对视频图像或者单一图像进行噪声评估，确定图像的噪声情况，该方法可以由计算设备如服务器、智能终端、笔记本、平板电脑等来执行，以服务器为执行设备为例，具体可以是视频后端处理的Linux服务器，具体包括如下步骤：
步骤S101、对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据。
在一个实施例中，通过集成的算法模块进行视频图像噪声评估，对输入的视频图像进行噪声估计得到视频图像中每个像素点的噪声数据。其中，该视频图像可以是直播视频的图像画面，或者输入的单独的静态图像等。可选的，该噪声数据可以为像素点对应的噪声值，即针对视频图像中的每个像素点得到该像素点的具体的噪声值。示例性的，噪声值的取值范围为0至1，其中，取值越大表征噪声越明显。
可选的，对视频图像进行噪声估计过程为：通过训练完成的多层深度学习神经网络对视频图像进行噪声估计，得到视频图像中每个像素点的噪声数据。其中，该多层深度学习神经网络包括堆叠设置的多个残差网络模块，针对输入的视频图像，通过该多层深度学习神经网络输出与输入视频图像一致大小的噪声图。可选的，该噪声图可以以矩阵的形式表征并存储，矩阵中的每个元素对应视频图像中的一个像素点，具体的元素的值为像素点的噪声值。
在一个实施例中，通过多层深度学习神经网络对视频图像进行噪声估计，输出噪声图后，对该噪声图进行可视化显示。示例性的，如图2所示，图2为本申请实施例提供的一种噪声图可视化展示的示意图，图中亮点区域即为视频图像中的噪声部分，越集中且亮度越高的点对应的视频图像的噪声越明显。可选的，在进行噪声图可视化展示的过程中，可将噪声点叠加至原图进行显示。示例性的，如图3所示，图3为本申请实施例提供的一种将视频图像噪声覆盖至原始视频图像的示意图，以此可以更直观的进行视频图像噪声的观察。
步骤S102、对所述视频图像进行区域划分得到前景区域和背景区域。
在一个实施例中，进行视频图像的噪声估计时，对视频图像进行区域划分得到前景区域和背景区域。其中区域划分的目的在于，由于晕影效应存使得产生的噪声不均衡，且用户人眼集中观看的区域有限，通常集中在中心区域，故进一步的视频图像进行区域划分得到前景区域和背景区域，其中，前景区域为划分的用户人眼集中观看的区域，背景区域为划分的用户人眼非集中观看的区域。并在后续噪声估计时，基于划分的区域进行分区的噪声统计。
可选的，前景区域可以是以视频图像画面为中心，框选的固定尺寸大小的矩形、圆形等图形所围成的区域。相应的，所围成区域以外的视频图像的区域为背景区域。
步骤S103、根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
在一个实施例中，确定出细粒度的像素点的噪声数据后，分别确定划分的前景区域和背景区域前景噪声信息和背景区域，以及全图噪声信息，通过对该三种噪声信息的统计以真实反映每张输入的视频图像的噪声水平。其中，全图噪声信息表征视频图像的整图的噪声情况，前景噪声信息表征人眼关注的区域的噪声情况，背景噪声信息表征非人眼关注的区域的噪声情况。即基于确定出的噪声数据进行分区域的噪声情况的评估，以反映真实的符合人眼主观感受的噪声情况。示例性的，针对相同噪声值的情况，噪声出现在前景区域相对于噪声出现在背景区域的情况，视频图像质量越差，噪声情况越严重。
在一个实施例中，在确定出视频图像的全图噪声信息、前景噪声信息和背景噪声信息后，分别输出包含该三个变量的视频图像的信息，如以直观的曲线图的形式输出，以进行分区域的噪声水平的展示。
由上述方案可知，通过对视频图像进行噪声估计得到视频图像中每个像素点的噪声数据，对视频图像进行区域划分得到前景区域和背景区域，根据噪声数据确定视频图像的全图噪声信息，以及前景区域对应的前景噪声信息和背景区域对应的背景噪声信息，该种噪声评估方法更加精细，细化到像素点的噪声情况，同时采用划分区域并对各个区域进行单独的噪声信息的评估，可以获得更有目的性也更加符合主观认知的噪声水平估计，为后续的定向降噪处理提供良好支撑。
图4为本申请实施例提供的一种包含对输入图像进行变换调整的视频图像噪声评估方法的流程图，如图4所示，具体包括：
步骤S201、在确定出输入的视频图像的分辨率小于预设分辨率大小的情况下，对所述视频图像进行边缘填补得到所述预设分辨率大小的视频图像，对调整后的视频图像进行图像像素值的归一化处理。
在一个实施例中，进行视频图像的噪声评估时，针对固定大小尺寸的视频图像进行噪声评估处理，以提高处理效率。在进行视频图像的评估前，确定该视频图像的分辨率和设置的预设分辨率大小是否相同，如果不同则相应的进行调整。示例性的，设置的预设分辨率大小1280x720(720P)。通过大量对比实验得出，将较高分辨率的图像(如720P图像)等比例缩放到较低分辨率(如540P或360P)图像时，其噪声水平的估计在缩放过程中会扭曲和损失，无法实现一个等比例系数的图像噪声的无损缩放，故此时，在确定出输入的视频图像的分辨率小于预设分辨率大小的情况下，对视频图像进行边缘填补得到预设分辨率大小的视频图像。示例性的，如对输入的视频图像进行黑色边缘区域的填充以得到固定尺寸大小的视频图像。同时将调整后的视频图像进行图像像素值的归一化处理，将原有的像素值的取值区间由[0，255]调整为[0，1]的区间以便于进行像素点的噪声数据的确定，提高运算效率。
在一个实施例中，还包括对输入图像的录制模式进行识别，示例性的，录制模式包括水平录制模式和垂直录制模式，假定设置的进行视频图像噪声评估的输入的视频图像为垂直模式，则检测到当前视频图像为非垂直模式，则将其调整为垂直模式。示例性的，假定当前的视频图像的录制模式为水平模式，则将视频图像旋转90°以调整为垂直模式。
在另一个实施例中，针对输入的视频图像的分辨率高于设置的预设分辨率大小的情况，可以是采用对输入的视频图像进行裁剪或等比例缩小的方式以得到和设置的固定尺寸大小的视频图像。
步骤S202、对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据。
步骤S203、对所述视频图像进行区域划分得到前景区域和背景区域。
步骤S204、根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
由上述可知，在确定出输入的视频图像的分辨率小于预设分辨率大小的情况下，对视频图像进行边缘填补得到预设分辨率大小的视频图像，对调整后的视频图像进行图像像素值的归一化处理，使得进行噪声评估的视频图像更利于高效的进行噪声数据的确定，提高了数据处理效率，简化了算法模块的计算处理过程。
图5为本申请实施例提供的一种包含对视频图像进行边缘处理的视频图像噪声评估方法的流程图，如图5所示，具体包括：
步骤S301、在确定出输入的视频图像的分辨率小于预设分辨率大小的情况下，对所述视频图像进行边缘填补得到所述预设分辨率大小的视频图像，对调整后的视频图像进行图像像素值的归一化处理。
步骤S302、对分辨率调整以及归一化处理后的视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据。
步骤S303、对调整后的视频图像进行尺寸大小以及图像像素值的恢复，对恢复后的视频图像进行边缘检测得到高频边缘信息，对所述高频边缘信息进行剔除。
在一个实施例中，进行调整后的视频图像进行尺寸大小的恢复的过程可以是，将边缘填充时填充的区域进行删除，即恢复原有的图像大小尺寸，符合真实的视频录制或图像拍摄的大小，优化噪声评估的直观显示效果。同时，在进行区域划分前，对恢复后的视频图像进行边缘检测得到高频边缘信息，对高频边缘信息进行剔除。可选的，对恢复后的视频图像进行边缘检测的方式可以是利用边缘检测Canny算法将得到的噪声数据中潜在存在的高频边缘信息与噪声信号进行分离，即对高频的边缘进行剔除，以避免后续进行噪声信息的确定时对噪声值的确定产生影响。
步骤S304、对进行恢复处理以及高频边缘剔除后的视频图像进行区域划分得到前景区域和背景区域。
步骤S305、根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
由上述可知，通过对调整后的视频图像进行恢复，以便于视频图像的直观的显示，同时进行高频边缘信息进行剔除，避免了视频图像中锐利的边缘对噪声信息的确定产生影响。
图6为本申请实施例提供的一种对视频图像进行区域划分的视频图像噪声评估方法的流程图，如图6所示，具体包括：
步骤S401、对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据。
步骤S402、以所述视频图像的中心为原点，构造内接椭圆，将所述内接椭圆所在的图像区域确定为前景区域，将所述内接椭圆以外的图像区域确定为背景区域。
在一个实施例中，进行视频图像区域的划分时，以视频图像的中心为原点，构造内接椭圆，其中，内接椭圆的面积大小根据视频图像的尺寸以及预设的调节参数确定。示例性的，构造的椭圆可表示为：
Figure BDA0003689280110000081
其中，参数
Figure BDA0003689280110000082
H和W分别为视频图像的高和宽，ratio为预设的调节参数。
在一个实施例中，通过对预设的调节参数的大小进行设置以满足不同的观察需要和具体的不同业务场景，示例性的，将其设置为0.8。如图7所示，图7为本申请实施例提供的一种将视频图像划分为前景区域和背景区域的示意图，其中，4021为前景区域，4022为背景区域。
步骤S403、根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
由上述可知，通过以视频图像的中心为原点，构造内接椭圆，将内接椭圆所在的图像区域确定为前景区域，将内接椭圆以外的图像区域确定为背景区域，进行符合人眼主观视觉观察的区域划分，以进行相应的不同区域的噪声信息的标定，获得更有目的性也更加符合主观认知的噪声水平估计，为后续的定向降噪处理提供良好支撑。
图8为本申请实施例提供的一种确定全图噪声信息的视频图像噪声评估方法的流程图，如图8所示，具体包括：
步骤S501、对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据。
步骤S502、对所述视频图像进行区域划分得到前景区域和背景区域。
步骤S503、获取预先基于图像数据集计算得到的平均衡量阈值，对所述噪声数据中大于所述平均衡量阈值的像素点的噪声值进行筛选，对筛选的像素点的噪声值进行均值计算得到视频图像的全图噪声信息。
在一个实施例中，首先基于图像数据集进行分析计算得到平均衡量阈值。该平均衡量阈值示例性的可以是通过统计分析计算得到的值，即像素点的噪声值大于该平均衡量阈值时，为相对明显的噪声。对于输入的视频图像中的每个像素点确定出的噪声值中，对大于该平均衡量阈值的像素点的噪声值进行筛选，即筛选出相对明显的噪声值的点，对筛选的像素点的噪声值进行均值计算得到视频图像的全图噪声信息。
可选的，由于人眼对于处于亮度中间的值，比其他过亮或者过暗的区域更为敏感，且视觉敏感度随亮度增加呈现非均匀的增长，在计算全图噪声信息时，还可以是：确定每个筛选的像素点的亮度值，基于所述亮度值确定对应噪声值的权重；对筛选的像素点的噪声值分别乘以对应的权重后，进行均值计算得到所述视频图像的全图噪声信息。具体的根据像素点的亮度计算对应噪声值的权重的方式可以是如下公式：
fweighted＝a(x-b)z+c
其中，fweigted为计算得到的权重值，x为每个像素点的亮度值，a、b和c为具体的函数方程的参数，示例性的，a的取值区间可以是[1.5，3]，b的取值范围可以是[30，50]，c的取值范围为[1.5，3]。
其中，该图像数据集可以是包含该视频图像的整个视频的图像数据集。示例性的，以噪声值的取值范围为[0，1]为例，该平均衡量阈值通过计算确定为0.76。可选的，
步骤S504、根据所述噪声数据确定所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
由上述可知，在确定全图噪声信息时，利用各个像素点的噪声值进行计算，首先进行明显噪声值的筛选，对于筛选出的噪声值采用加权平均的方式进行计算得到全图噪声信息，其中，权重值依据像素点的亮度值计算得到，使得最终计算的噪声信息更加符合人眼主观感受，噪声评估效果更佳。
图9为本申请实施例提供的一种确定前景区域和背景区域噪声信息的视频图像噪声评估方法的流程图，如图9所示，具体包括：
步骤S601、对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据。
步骤S602、对所述视频图像进行区域划分得到前景区域和背景区域。
步骤S603、根据所述噪声数据确定所述视频图像的全图噪声信息。
步骤S604、获取预先基于图像数据集计算得到的平均衡量阈值，对所述前景区域和所述背景区域的噪声数据中大于所述平均衡量阈值的像素点的噪声值进行筛选得到前景噪声值和背景噪声值。
在一个实施例中，首先基于图像数据集进行分析计算得到平均衡量阈值。该平均衡量阈值示例性的可以是通过统计分析计算得到的值，即像素点的噪声值大于该平均衡量阈值时，为相对明显的噪声。对于输入的视频图像中的每个像素点确定出的噪声值中，对大于该平均衡量阈值的像素点的噪声值进行筛选，即筛选出相对明显的噪声值的点，分别得到前景区域和背景区域对应的前景噪声值和背景噪声值。
步骤S605、根据所述前景噪声值和所述前景区域的区域大小计算得到前景噪声值占比，以及根据所述背景噪声值和所述背景区域的区域大小计算得到背景噪声值占比。
在一个实施例中，确定前景噪声信息和背景噪声信息的方式可以是确定噪声值占比。具体的，针对前景区域而言，计算该前景区域中筛选出的噪声值之和，除以前景区域的面积大小以得到前景噪声值占比。同理，针对背景区域而言，计算该背景区域中筛选出的噪声值之和，除以背景区域的面积大小以得到背景噪声值占比，即通过噪声值占比表征划分的对应区域的噪声情况。
可选的，以前景区域中筛选出的像素点的噪声值分别为noise1至noisei，再分别计算每个噪声值对应的权重值，该权重值基于对应的像素点的亮度值计算得到，具体计算方式参见步骤S503的解释部分，此处不再赘述。假设噪声值noise1至noisei分别对应的权重值记为weigt1至weigti，筛选出的噪声值的加权求和的计算公式如下：
weightedSum＝noise1*weight1+…noisei*weighti
相应的，针对前景区域计算的前景噪声信息以前景噪声值占比的方式表征时，计算公式如下：
Figure BDA0003689280110000111
其中，针对背景区域的背景噪声值占比的计算方式同理，此处不再赘述。
由上述可知，在确定区域的噪声信息时，利用各个像素点的噪声值进行计算，首先进行明显噪声值的筛选，对于筛选出的噪声值采用加权平均的方式进行计算得到区域噪声信息，以表征不同人眼主观感受下的噪声评估，其中，权重值依据像素点的亮度值计算得到，使得最终计算的噪声信息更加符合人眼主观感受，噪声评估效果更佳。
图10为本申请实施例提供的一种视频图像噪声评估装置的结构框图，该装置用于执行上述实施例提供的视频图像噪声评估方法，具备执行方法相应的功能模块和有益效果。如图10所示，该装置具体包括：像素噪声确定模块101、图像区域划分模块102和噪声信息确定模块103，其中，
像素噪声确定模块101，配置为对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据；
图像区域划分模块102，配置为对所述视频图像进行区域划分得到前景区域和背景区域；
噪声信息确定模块103，配置为根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
由上述方案可知，通过对视频图像进行噪声估计得到视频图像中每个像素点的噪声数据，对视频图像进行区域划分得到前景区域和背景区域，根据噪声数据确定视频图像的全图噪声信息，以及前景区域对应的前景噪声信息和背景区域对应的背景噪声信息，该种噪声评估方法更加精细，细化到像素点的噪声情况，同时采用划分区域并对各个区域进行单独的噪声信息的评估，可以获得更有目的性也更加符合主观认知的噪声水平估计，为后续的定向降噪处理提供良好支撑。
在一个可能的实施例中，所述像素噪声确定模块，配置为：
通过多层深度学习神经网络对视频图像进行噪声估计，得到所述视频图像中每个像素点的噪声数据，所述多层深度学习神经网络包括堆叠设置的多个残差网络模块；
基于所述噪声数据生成所述视频图像对应的可视化噪声图。
在一个可能的实施例中，该装置还包括图像处理模块，配置为：
在所述对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据之前，在确定出输入的视频图像的分辨率小于预设分辨率大小的情况下，对所述视频图像进行边缘填补得到所述预设分辨率大小的视频图像；
对调整后的视频图像进行图像像素值的归一化处理。
在一个可能的实施例中，所述图像处理模块，配置为：
在所述对所述视频图像进行区域划分得到前景区域和背景区域之前，对恢复后的视频图像进行边缘检测得到高频边缘信息，对所述高频边缘信息进行剔除。
在一个可能的实施例中，所述图像区域划分模块，配置为：
以所述视频图像的中心为原点，构造内接椭圆，所述内接椭圆的面积大小根据所述视频图像的尺寸以及预设的调节参数确定；
将所述内接椭圆所在的图像区域确定为前景区域，将所述内接椭圆以外的图像区域确定为背景区域。
在一个可能的实施例中，所述噪声信息确定模块，配置为：
获取预先基于图像数据集计算得到的平均衡量阈值，对所述噪声数据中大于所述平均衡量阈值的像素点的噪声值进行筛选；
对筛选的像素点的噪声值进行均值计算得到所述视频图像的全图噪声信息。
在一个可能的实施例中，所述噪声信息确定模块，配置为：
确定每个筛选的像素点的亮度值，基于所述亮度值确定对应噪声值的权重；
对筛选的像素点的噪声值分别乘以对应的权重后，进行均值计算得到所述视频图像的全图噪声信息。
在一个可能的实施例中，所述噪声信息确定模块，配置为：
获取预先基于图像数据集计算得到的平均衡量阈值，对所述前景区域和所述背景区域的噪声数据中大于所述平均衡量阈值的像素点的噪声值进行筛选得到前景噪声值和背景噪声值；
根据所述前景噪声值和所述前景区域的区域大小计算得到前景噪声值占比，以及根据所述背景噪声值和所述背景区域的区域大小计算得到背景噪声值占比。
在一个可能的实施例中，所述噪声信息确定模块，配置为：
将每个所述前景噪声值和对应的权重的乘积之和，除以所述前景区域的区域大小，得到前景噪声值占比；
将每个所述背景噪声值和对应的权重的乘积之和，除以所述背景区域的区域大小，得到背景噪声值占比，其中，所述前景噪声值和所述背景噪声值的权重基于对应的像素点的亮度值计算得到。
图11为本申请实施例提供的一种视频图像噪声评估设备的结构示意图，如图11所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图11中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图11中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的视频图像噪声评估方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视频图像噪声评估方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的视频图像噪声评估方法，其中，包括：
对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据；
对所述视频图像进行区域划分得到前景区域和背景区域；
根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
值得注意的是，上述视频图像噪声评估装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的视频图像噪声评估方法。所述程序产品可以采用一个或多个可读介质的任意组合实现。

Claims (13)

1.视频图像噪声评估方法，其特征在于，包括：
对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据；
对所述视频图像进行区域划分得到前景区域和背景区域；
根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
2.根据权利要求1所述的视频图像噪声评估方法，其特征在于，所述对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据，包括：
通过多层深度学习神经网络对视频图像进行噪声估计，得到所述视频图像中每个像素点的噪声数据，所述多层深度学习神经网络包括堆叠设置的多个残差网络模块；
基于所述噪声数据生成所述视频图像对应的可视化噪声图。
3.根据权利要求1所述的视频图像噪声评估方法，其特征在于，在所述对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据之前，还包括：
在确定出输入的视频图像的分辨率小于预设分辨率大小的情况下，对所述视频图像进行边缘填补得到所述预设分辨率大小的视频图像；
对调整后的视频图像进行图像像素值的归一化处理。
4.根据权利要求3所述的视频图像噪声评估方法，其特征在于，在所述对所述视频图像进行区域划分得到前景区域和背景区域之前，还包括：
对调整后的视频图像进行尺寸大小以及图像像素值的恢复；
对恢复后的视频图像进行边缘检测得到高频边缘信息，对所述高频边缘信息进行剔除。
5.根据权利要求1所述的视频图像噪声评估方法，其特征在于，所述对所述视频图像进行区域划分得到前景区域和背景区域，包括：
以所述视频图像的中心为原点，构造内接椭圆，所述内接椭圆的面积大小根据所述视频图像的尺寸以及预设的调节参数确定；
将所述内接椭圆所在的图像区域确定为前景区域，将所述内接椭圆以外的图像区域确定为背景区域。
6.根据权利要求1-5中任一项所述的视频图像噪声评估方法，其特征在于，所述根据所述噪声数据确定所述视频图像的全图噪声信息，包括：
获取预先基于图像数据集计算得到的平均衡量阈值，对所述噪声数据中大于所述平均衡量阈值的像素点的噪声值进行筛选；
对筛选的像素点的噪声值进行均值计算得到所述视频图像的全图噪声信息。
7.根据权利要求6所述的视频图像噪声评估方法，其特征在于，所述对筛选的像素点的噪声值进行均值计算得到所述视频图像的全图噪声信息，包括：
确定每个筛选的像素点的亮度值，基于所述亮度值确定对应噪声值的权重；
对筛选的像素点的噪声值分别乘以对应的权重后，进行均值计算得到所述视频图像的全图噪声信息。
8.根据权利要求1-5中任一项所述的视频图像噪声评估方法，其特征在于，根据所述噪声数据确定所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息，包括：
获取预先基于图像数据集计算得到的平均衡量阈值，对所述前景区域和所述背景区域的噪声数据中大于所述平均衡量阈值的像素点的噪声值进行筛选得到前景噪声值和背景噪声值；
根据所述前景噪声值和所述前景区域的区域大小计算得到前景噪声值占比，以及根据所述背景噪声值和所述背景区域的区域大小计算得到背景噪声值占比。
9.根据权利要求8所述的视频图像噪声评估方法，其特征在于，所述根据所述前景噪声值和所述前景区域的区域大小计算得到前景噪声值占比，以及根据所述背景噪声值和所述背景区域的区域大小计算得到背景噪声值占比，包括：
将每个所述前景噪声值和对应的权重的乘积之和，除以所述前景区域的区域大小，得到前景噪声值占比；
将每个所述背景噪声值和对应的权重的乘积之和，除以所述背景区域的区域大小，得到背景噪声值占比，其中，所述前景噪声值和所述背景噪声值的权重基于对应的像素点的亮度值计算得到。
10.视频图像噪声评估装置，其特征在于，包括：
像素噪声确定模块，配置为对视频图像进行噪声估计得到所述视频图像中每个像素点的噪声数据；
图像区域划分模块，配置为对所述视频图像进行区域划分得到前景区域和背景区域；
噪声信息确定模块，配置为根据所述噪声数据确定所述视频图像的全图噪声信息，以及所述前景区域对应的前景噪声信息和所述背景区域对应的背景噪声信息。
11.一种视频图像噪声评估设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-9中任一项所述的视频图像噪声评估方法。
12.一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行权利要求1-9中任一项所述的视频图像噪声评估方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的视频图像噪声评估方法。
CN202210658211.9A 2022-06-10 2022-06-10 视频图像噪声评估方法及装置 Pending CN114881889A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210658211.9A CN114881889A (zh) 2022-06-10 2022-06-10 视频图像噪声评估方法及装置
PCT/CN2023/095180 WO2023236757A1 (zh) 2022-06-10 2023-05-19 视频图像噪声评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658211.9A CN114881889A (zh) 2022-06-10 2022-06-10 视频图像噪声评估方法及装置

Publications (1)

Publication Number Publication Date
CN114881889A true CN114881889A (zh) 2022-08-09

Family

ID=82680715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658211.9A Pending CN114881889A (zh) 2022-06-10 2022-06-10 视频图像噪声评估方法及装置

Country Status (2)

Country Link
CN (1) CN114881889A (zh)
WO (1) WO2023236757A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023236757A1 (zh) * 2022-06-10 2023-12-14 广州市百果园信息技术有限公司 视频图像噪声评估方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530248A (zh) * 2016-10-28 2017-03-22 中国南方电网有限责任公司 一种变电站场景视频噪声的智能检测方法
CN111583160B (zh) * 2020-06-03 2023-04-18 浙江大华技术股份有限公司 一种视频画面的噪声评估方法及装置
CN114881889A (zh) * 2022-06-10 2022-08-09 百果园技术(新加坡)有限公司 视频图像噪声评估方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023236757A1 (zh) * 2022-06-10 2023-12-14 广州市百果园信息技术有限公司 视频图像噪声评估方法及装置

Also Published As

Publication number Publication date
WO2023236757A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
Gu et al. Saliency-guided quality assessment of screen content images
Li et al. No-reference quality assessment of deblocked images
US8698910B2 (en) Apparatus, camera, method, and computer-readable storage medium for generating advice for capturing an image
US7764844B2 (en) Determining sharpness predictors for a digital image
US20170208207A1 (en) Method and device for correcting document image captured by image pick-up device
KR20030029909A (ko) 디지털 비디오 품질 측정 방법
CN112818737B (zh) 视频识别方法、装置、存储介质及终端
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
CN110366001B (zh) 视频清晰度的确定方法和装置、存储介质、电子装置
CN110443783B (zh) 一种图像质量评估方法及装置
US20210044791A1 (en) Video quality determination system and method
CN114881889A (zh) 视频图像噪声评估方法及装置
CN105979283A (zh) 视频转码方法和装置
Bohr et al. A no reference image blur detection using cumulative probability blur detection (cpbd) metric
Croci et al. A framework for quality control in cinematic VR based on Voronoi patches and saliency
CN112132774A (zh) 一种色调映射图像的质量评价方法
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
CN111311584B (zh) 视频质量评估方法及装置、电子设备、可读介质
CN116129195A (zh) 图像质量评价装置、方法、电子设备和存储介质
CN111083468B (zh) 一种基于图像梯度的短视频质量评价方法及系统
CN108696747A (zh) 一种视频测试方法和装置
CN114339203A (zh) 相机性能检测方法、设备和存储介质
CN113315995A (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN112581461A (zh) 基于生成网络的无参考图像质量评价方法及装置
Zhao et al. Objective assessment of perceived sharpness of projection displays with a calibrated camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination