CN117196979A - 图像噪声处理方法、装置、电子设备及存储介质 - Google Patents
图像噪声处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117196979A CN117196979A CN202311150170.3A CN202311150170A CN117196979A CN 117196979 A CN117196979 A CN 117196979A CN 202311150170 A CN202311150170 A CN 202311150170A CN 117196979 A CN117196979 A CN 117196979A
- Authority
- CN
- China
- Prior art keywords
- noise
- image
- target
- audio
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 20
- 230000008447 perception Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 92
- 238000012806 monitoring device Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002688 persistence Effects 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本申请适用于图像技术领域，提供一种噪声处理方法、装置、电子设备及存储介质，包括：从i帧图像中分别获取对应的噪声图像数据，基于各帧图像对应的噪声图像数据获取当前帧图像对应的目标噪声粗糙因子，以表征当前帧图像的噪声粗糙程度；根据预设图像关注事件从i帧图像中分别获取对应的目标图像数据，基于各帧图像对应的噪声图像数据和目标图像数据获取当前帧图像对应的目标视频影响因子，以反映当前帧图像噪声是否属于观看用户所关心的图像内容；最后根据目标噪声粗糙因子和目标视频影响因子确定当前帧图像的噪声粗糙等级，以便于电子设备能按照噪声粗糙等级从去噪时机和去噪力度两个维度对当前帧图像合理化去噪，提高了用户体验。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及图像噪声处理方法、装置、电子设备及存储介质。
背景技术
当前关于图像噪声的去噪技术有很多，但主要集中在对单张图像的客观数值量化，较少关注到噪声去除的时机和力度，更没有从人眼感知图像噪声的方式去评价图像噪声的严重程度和去除效果，容易因噪声去除时机或力度不合理而产生人眼可明显察觉的噪声跳动或模糊交替出现等问题，导致最终经过去噪后呈现的图像或者视频与人眼的感知评价相距较远，图像去噪效果不理想。
发明内容
本申请实施例提供一种图像噪声处理方法、装置、电子设备及存储介质，可以解决图像经过现有去噪技术去噪后的图像结果不符合人眼的主观感受评价、图像去噪效果不理想的技术问题。
第一方面，本申请实施例提供了一种图像噪声处理方法，包括：
在当前时刻获取待检音视频流，所述待检音视频流包括i帧图像，所述i帧图像包括当前时刻对应的当前帧图像，其中，i为大于1的正整数；
从所述i帧图像中分别获取对应的噪声图像数据，得到i个噪声图像数据；
基于所述i个噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子；
从所述i帧图像中分别获取对应的目标图像数据，所述目标图像数据根据预设图像关注事件确定；
基于所述i帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子；
根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级。
第二方面，本申请实施例提供了一种图像噪声处理装置，包括：
音视频获取模块，用于在当前时刻获取待检音视频流，所述待检音视频流包括i帧图像，所述i帧图像包括当前时刻对应的当前帧图像其中，i为大于1的正整数；
第一提取模块，用于从所述i帧图像中分别获取对应的噪声图像数据；
第一确定模块，用于基于所述i帧图像对应的噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子；
第二提取图像模块，用于从所述i帧图像中分别获取对应的目标图像数据，所述目标图像数据根据预设图像关注事件确定；
第二确定模块，用于基于所述i帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子；
噪声等级获取模块，用于根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是：
在本申请实施例中，结合人类视觉效应在当前时刻获取包括i帧图像的待检音视频流，所述i帧图像包括当前时刻对应的当前帧图像、以及涉及人类视觉效应的其他帧图像；
从所述i帧图像中分别获取对应的噪声图像数据，然后基于各帧图像对应的噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子，以表征当前帧图像的噪声粗糙程度；
根据预设图像关注事件从所述i帧图像中分别获取对应的目标图像数据，然后基于各帧图像对应的噪声图像数据和目标图像数据获取所述当前帧图像对应的目标视频影响因子，以从客观上反映当前帧图像噪声是否属于观看用户所关心的图像内容；
最后根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级，以便于计算机电子设备能够按照所述噪声粗糙等级从去噪时机和去噪力度两个维度对当前帧图像实现合理化去噪，提高了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的一种图像噪声处理方法的流程示意图；
图2是本申请一实施例提供的一种噪声处理装置的结构示意图；
图3是本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
实施例一：
当前关于图像噪声的去噪技术有很多，但主要集中在对单张图像的客观数值量化，较少关注到噪声去除的时机和力度，更没有从人眼感知图像噪声的方式去评价图像噪声的严重程度和去除效果，容易因噪声去除时机或力度不合理而产生人眼可明显察觉的噪声跳动或模糊交替出现等问题，导致最终经过去噪后呈现的图像或者视频与人眼的感知评价相距较远，图像去噪效果不理想。
因此，本实施例提供一种图像噪声处理方法，通过本实施例的图像噪声处理方法能够获取一种接近人眼感知的噪声粗糙等级来引导计算机设备对图像合理化去噪；
本实施例的图像噪声处理方法的执行主体为电子设备，所述电子设备可以是具有高清摄像头的安防监控设备，也可以是安装有物联监控程序的终端设备，如安装有物联监控应用程序的移动终端(如手机或者平板电脑)或者电脑主机(如台式主机或笔记本电脑等)。其中，安装有物联监控程序的终端设备能够与安防监控设备进行无线通讯连接，移动终端或电脑主机能够远程获取安防监控设备采集的音视频流。
下面结合附图对本申请实施例提供的噪声处理方法进行描述。
图1示出了本申请实施例提供的一种图像噪声处理方法的流程图，应用于电子设备，详述如下：
步骤S11，在当前时刻获取待检音视频流，所述待检音视频流包括i帧图像，所述i帧图像包括当前时刻对应的当前帧图像、以及位于所述当前时刻之前的i-1帧图像，其中，i为大于1的正整数；
可理解的是，为了结合人类视觉(0.4秒)、听觉(0.02秒)的暂留特性，电子设备在播放音视频流前，可缓存特定长度的图像序列(含当前图像)作为待检序列(待检音视频流)。
其中，所述待检音视频流可以是从安防监控设备得到的音视频流中缓存的待检序列，本实施例中，结合人类视觉效应在当前时刻获取包括i帧图像的待检音视频流，所述i帧图像包括当前时刻对应的当前帧图像、以及涉及人类视觉效应的其他i-1帧图像；
在具体实现中，本实施例可以按标准帧率25fps计算，人眼在观看视频时前10张图像及前0.06秒音频片断在大脑暂留。将图像序列记为Rt＝[It-i+1，It-i+2，…，It]，其中It为时刻t的图像、i为图像序列长度(本实施例为10，即i＝10)。
步骤S12，从所述i帧图像中分别获取对应的噪声图像数据，得到i个噪声图像数据；
在具体实现中，噪声图像数据可以具体包括噪声图像，本实施例可使用预先训练好的图像噪声提取器(CNN网络)，对上述图像序列的每张图像进行噪声提取，得到总共i帧图像序列的噪声图像Nt＝[nt-i+1,nt-i+2,…nt]；其中，nt代表t时刻下对应的噪声图像数据。
步骤S13，基于所述i个噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子；
可理解的是，因人眼的视觉暂留机制，当前帧图像之前的i-1帧图像也会对当前帧图像的噪声粗糙程度造成影响；例如当前帧图像的前0.4秒历史图像序列也会对当前图像的噪声感知产生影响，并且这个影响是与在先图像出现的时间先后强相关的，故而在一实施例中，可采用预先训练的时间注意力方法来计算待检音视频流中每一帧在先图像对当前帧图像的噪声的影响权重，将得到的影响权重作为预设权重(预设权重由所述待检音视频流中的i帧图像之间的时刻顺序决定)，最后按照不同的预设权重对图像序列Nt＝[nt-i+1,nt-i+2,…nt]的全部i帧噪声图像进行加权求和，进而得到所述当前帧图像对应的目标噪声粗糙因子CIt。
步骤S14，从所述i帧图像中分别获取对应的目标图像数据，所述目标图像数据根据预设图像关注事件确定；
可理解的是，所述预设图像关注事件可理解为电子设备中的软件程序预先设置好的关注对象发生的事件，关注对象可以是人和/或目标体，目标体可以是车辆或其他用户关注的物体等，事件可以是人/动物的行为动作，或车辆/载具的行驶方式等；
步骤S15，基于所述i帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子，所述目标视频影响因子表征所述当前帧图像中噪声对观看体验的影响程度；
在具体实现中，可预先训练目标图像事件(如人形、车辆等用户关注的目标物体)检测器，分别对图像序列的Rt＝[It-i+1，It-i+2，…，It]中的每张(帧)图像，提取目标图像数据(可以是目标图像事件区域)，计算所述噪声图像数据与所述目标图像数据的图像特征重合度(可以是像素特征重合度)，例如可以是确定落在目标图像事件区域的噪声像素数与目标图像事件区域的全部像素数之间的比值；最后计算各帧图像对应的图像特征重合度的平均值，将该平均值作为所述当前帧图像对应的目标视频影响因子EIt。
步骤S16，根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级。
在一实施例中，可以在电子设备中的软件程序中预先建立一个音视频数据集(称之为自建音视频数据集)，所述自建音视频数据集中包括多种典型的音视频典型数据，目的是把可能的图像噪声情况(含对应的音视频片段)列全，并通过MOS(平均意见分,为用户群体根据自己的体验预先打分)获得这些图像噪声情况(音视频典型数据)的人眼评级。其中，所述自建音视频数据集中的音视频典型数据能够被动态扩充，用户可以根据自己的需求对音视频数据集中原有的音视频数据集进行添加、修改和替换。
为便于说明，本实施例将人眼评级记为y，每一种典型的音视频数据对应一个人眼评级y，而每个人眼评级y又至少与图像的噪声粗糙因子CI(噪声内容事例)以及视频影响因子EI(图像内容事例)强相关，本实施例的软件程序预先将与图像噪声分级强相关的特征因子(CI和EI)映射到不同的人眼评级，即通过拟合找到一个映射函数关系式f，使得y＝f(CI,EI)对于自建音视频数据集里的绝大多数数据(音视频典型数据)均成立，即所述映射函数关系式与所述自建音视频数据集的各个音视频典型数据均有关。
电子设备将所述当前帧图像的目标噪声粗糙因子和所述目标视频影响因子与上述预先拟合好的映射函数关系式f结合，将结合得到的待定评级结果与所述自建音视频数据集中不同的人眼评级进行比对，将与所述待定评级结果最接近的人眼评级作为目标人眼评级，所述目标人眼评级表征所述当前帧图像的噪声粗糙等级；
可理解的是，电子设备将步骤S16中的当前帧图像的目标噪声粗糙因子CIt和所述目标视频影响因子EIt带入映射函数关系式f(CI,EI)，由于CI＝CIt，EI＝EIt，最终得到待定评级结果为yt＝f(CIt,EIt)，将待定评级结果为yt与所述自建音视频数据集中不同的人眼评级进行比对，选取与所述待定评级结果yt最接近的人眼评级作为目标人眼评级，所述目标人眼评级表征所述当前帧图像的噪声粗糙等级，即本申请最终要获得的噪声粗糙等级。
在本申请实施例中：结合人类视觉效应在当前时刻获取包括i帧图像的待检音视频流，所述i帧图像包括当前时刻对应的当前帧图像、以及涉及人类视觉效应的其他帧图像；从所述i帧图像(各帧图像)中分别获取对应的噪声图像数据，然后基于各帧图像对应的噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子，以表征当前帧图像的噪声粗糙程度；根据预设图像关注事件从所述i帧图像中分别获取对应的目标图像数据，然后基于各帧图像对应的噪声图像数据和目标图像数据获取所述当前帧图像对应的目标视频影响因子，以从客观上反映当前帧图像噪声是否属于观看用户所关心的图像内容；最后根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级，以便于计算机电子设备能够按照所述噪声粗糙等级从去噪时机和去噪力度两个维度对当前帧图像实现合理化去噪，提高了用户体验。
实施例二：
在一些实施例中，所述噪声图像数据具体包括噪声图像和背景图像；
具体地，本实施例可使用预先训练好的图像噪声提取器(CNN网络)，对上述图像序列的每张图像进行噪声提取，得到总共i帧图像序列的噪声图像及背景图像(背景图像的由来可以是从原图中去除噪声图像后的图像)；
其中，噪声图像序列用Nt＝[nt-i+1,nt-i+2,…nt]表示，其中，nt代表t时刻下对应的噪声图像；背景图像序列用Bt＝[bt-i+1,bt-i+2,…bt]表示，其中，Bt代表t时刻下对应的背景图像；
可理解的是，背景图像的内容会影响人眼对噪声的感知(比如大面积单色区域上的噪声会格外明显)，因此本实施例考虑背景图像能够有助于更准确地确定当前帧图像的噪声粗糙程度。
相应的，所述图像噪声处理方法还包括：
A1，获取所述噪声图像的各个噪声点对应的像素数据；
A2，按照像素数据的类型为所述噪声图像的各个噪声点分配对应的噪点权重；
A3，根据所述噪点权重更新所述噪声图像的各个噪声点对应的像素数据，得到具有新噪声点像素值的新噪声图像；
具体地，在所述步骤A1中的像素数据可以是噪声图像的L(亮度)、a(色度)、b(色度)信息；
对同一时刻(同一帧)噪声图像，基于噪声图像的L、a、b信息，使用预先训练的空间注意力方法，根据该噪声图像各噪点像素数据的类型计算对应的单点显著性权重(即按照像素数据的类型为所述噪声图像的各个噪声点分配对应的噪点权重)，噪点像素数据的类型可以至少包括亮度L的具体数值(黑白深浅度即亮度)、色度a的具体数值(红绿色度)、和色度b的具体数值(蓝黄色度)；
同时为了便于计算，将此时像素数据由L、a、b信息转化为噪声像素值RGB信息；并将得到噪点权重乘以对应的噪声像素值RGB信息，以对各个噪声图像的像素数据进行更新，得到新的噪声像素值，更新原噪声图像序列为N`t＝[n`t-i+1,n`t-i+2,…n`t]，得到具有新噪声点像素值的新噪声图像；
A4，获取所述背景图像的亮度信息；
对于与同一时刻噪声图像对应的背景图像，获取每一张背景图像对应的L通道信息(可以是该背景图像的亮度信息)；
A5，按照亮度信息的类型为不同的背景图像分配对应的人眼噪声感知权重；
A6，根据所述人眼噪声感知权重获取所述新噪声图像对应的噪声粗糙因子；
具体地，本实施例可基于每张背景图像的L通道信息(亮度信息)，通过空间注意力机制，计算单张背景图像各像素点的人眼噪声感知权重，并将计算得到人眼噪声感知权重与(步骤A3得到的)该时刻更新后的新噪声图像进行点乘，得到新噪声图像的序列对于的噪声粗糙因子序列Ct＝[Ct-i+1,Ct-i+2,…Ct]，其中Ct代表t时刻对应噪声图像的噪声粗糙因子。
相应的，所述步骤S13“基于各帧图像对应的噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子”，进一步包括以下子步骤：
A7，获取所述待检音视频流中各帧图像对应的预设权重，所述预设权重由所述i帧图像之间的时刻顺序决定；
A8，按照所述预设权重对各个新噪声图像对应的噪声粗糙因子进行加权求和，得到所述当前帧图像对应的目标噪声粗糙因子。
可理解的是，因人眼的视觉暂留机制，当前帧图像之前的i-1帧图像也会对当前帧图像的噪声粗糙程度造成影响；例如当前帧图像的前0.4秒历史图像序列也会对当前图像的噪声感知产生影响，并且这个影响是与在先图像出现的时间先后强相关的，故而在本实施例中，采用预先训练的时间注意力方法来计算待检音视频流中每一帧在先图像对当前帧图像的噪声粗糙因子的影响权重，将得到的影响权重作为预设权重(预设权重由所述待检音视频流中的i帧图像之间的时刻顺序决定)，最后基于不同的预设权重对总共i帧图像序列的噪声图像的噪声粗糙因子Ct＝[Ct-i+1,Ct-i+2,…Ct]进行加权求和，得到所述当前帧图像对应的目标噪声粗糙因子CIt。
在本申请实施例中，通过待检视频流中噪声图像的各个噪声点对应的像素数据来对待检视频流中的各噪声图像进行更新，并通过引入待检视频流中各个背景图像来确定各个新噪声图像对应的噪声粗糙因子，最后按照各帧图像的时间顺序所决定的预设权重来对各个新噪声图像对应的噪声粗糙因子进行加权求和，进而得到当前帧图像对应的目标噪声粗糙因子，能够更准确地确定当前帧图像的噪声粗糙程度。因此，本实施例获取上述目标噪声粗糙因子有利于后续能够更准确地确定出当前帧图像对应的噪声粗糙等级。
实施例三：
在一些实施例中，在求取当前帧图像对应的目标视频影响因子的过程中，还会考虑到待检音视频流中的音频数据，本实施例的所述图像噪声处理方法还包括：
C1，从所述待检音视频流中获取与所述当前帧图像的时刻对应的音频数据，所述音频数据包括多帧音频片段；
在具体实现中,本实施例与上述实施例一一样以标准帧率25fps计算为例进行说明，人眼在观看视频时前10张图像及前0.06秒(含当前图像对应的音频帧0.04秒)音频片断在大脑暂留。将图像序列记为Rt＝{It-i+1，It-i+2，…，It]，其中It为时刻t的图像、i为图像序列长度(本实施例以为10，即i＝10)。相应地，时刻t图像对应的音频数据的音频片段序列记为At；
可理解的是，假设视频的帧率为25fps，则当前时刻对应的当前帧图像的持续时间为40ms，再加上人耳听觉暂留效应的20ms，当前帧图像对应的音频序列长度为60ms，可按特定长度(例如10ms)将该段音频序列分为N帧(例如6帧)，记为At＝[at-N-1,at-N-2,…,at-1,at]，其中t为当前时刻，N是该音频序列拆分后的帧数。
C2，分别从各帧音频片段中获取目标声音，所述目标声音根据预设语音关注事件确定；
C3，基于所述各帧音频片段中的目标声音获得所述当前帧图像的目标音频影响因子；
需要说明的是，本实施例的预设语音关注事件可以包括人类发出的声音、动物发出的声音、人造声等用户关注的目标声音；通过预先训练语音关注事件的检测器，对图像序列Rt对应的音频序列At进行目标声音检测，检测结果为1或0(分别代指存在或不存在目标声音两类情况)。将整个音频序列的目标声音检测结果乘以对应的影响权重(预定义)，其值称为当前帧图像的目标音频影响因子EAt；
在具体实现中，At经目标音频事件检测器处理后，输出音频事件序列aet，M为音频帧at的第M类预定义音频事件的检测结果，取值为1或0(分别代指存在或不存在目标声音两类情况)，例如第1类预定义音频事件为哭声、第2类为脚步声，而音频帧at检测到哭声但未检测到脚步声，则aet，1为1，aet，2为0。令预定义的音频事件影响权重矩阵为/>则EAt＝WA·AEt(点乘)。
在一实施例中，当前帧图像的目标音频影响因子EAt可以通过以下几个子步骤实现：
子步骤(1)按类别构建所需的音频高层语义矩阵并赋予对应的影响权重。权重为预先定义。以电子设备的工作环境是安防场景为例，通常安防场景下主要关注对象(例如人类)或关注语义(例如示意类)的音频语义影响权重更高，不关注的音频语义类型的权重可设为0。针对安防场景，一种构建维度示例如下：
子步骤(2)按音频语义矩阵，建立音频语义数据集。建立方法为：使用特定音频设备(例如人工耳)采集不同距离、方向下的各类声音，并标注对应的类别、语义和具体声音类型标签。
子步骤(3)训练类别提取器。使用所建立数据集所有数据的类别标签，基于公开的Transformer模型，训练类别提取器。
子步骤(4)训练高层语义提取器。在上述训练完成的类别提取器的基础上，冻结Transformer的Encoder部分的参数，使用所建立数据集所有数据的高层语义标签对Decoder部分参数进行调优，得到高层语义提取器。
子步骤(5)计算目标音频影响因子。将待检音频序列输入高层语义提取器，提到音频高层语义矩阵(元素为1或0，分别代表有或无指定语义)。再将该高层语义矩阵乘以预定义的影响权重矩阵，得到的数值即为目标音频影响因子EAt。
进一步的，本实施例中，所述步骤S16根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级，进一步包括：
C4：根据所述噪声粗糙因子、所述目标视频影响因子和所述目标音频影响因子确定所述当前帧图像的噪声粗糙等级。
在具体实现中，电子设备将所述当前帧图像的目标噪声粗糙因子、所述目标视频影响因子和所述目标音频影响因子作为一个整体输入至上述预先拟合好的映射函数关系式f中，将输出得到的待定评级结果与所述自建音视频数据集中不同的人眼评级进行比对，将与所述待定评级结果最接近的人眼评级作为目标人眼评级，所述目标人眼评级表征所述当前帧图像的噪声粗糙等级。
在一实施例中，可以在电子设备中的软件程序中预先建立一个音视频数据集(称之为自建音视频数据集)，所述自建音视频数据集中包括多种典型的音视频典型数据，目的是把可能的图像噪声情况(含对应的音视频片段)列全，并通过MOS(平均意见分,为用户群体根据自己的体验预先打分)获得这些图像噪声情况(音视频典型数据)的人眼评级。
具体地，所述人眼评级可以是用户对一种音视频典型数据进行整体观看后，根据用户自己的观看体验给出评分，该评分表征一个人眼评级；在另一种实施例中，每一种音视频典型数据均具有噪声内容事例、图像内容事例和音频事件事例；用户预先为噪声内容事例打分，得到噪声事例意见分，用户预先为图像内容事例打分，得到视频事例意见分，用户预先为音频事件事例打分，得到音频事例意见分；噪声事例意见分、视频事例意见分和音频事例意见分组合后形成一个人眼评级。
可理解的是，每一种典型的音视频数据对应一个人眼评级y，而每个人眼评级y又至少与图像的噪声粗糙因子CI(噪声内容事例)、视频影响因子EI(图像内容事例)以及音频影响因子EA(音频事件事例)强相关，本实施例的软件程序预先将与图像噪声分级强相关的特征因子(CI、EI和EA)映射到不同的人眼评级，即通过拟合方式找到一个映射函数关系式f，使得y＝f(CI,EI,EA)对于自建音视频数据集里的绝大多数数据(音视频典型数据)均成立。
在具体实现中，电子设备将步骤C4中的当前帧图像的目标噪声粗糙因子CIt、所述目标视频影响因子EIt、目标音频影响因子EAt带入映射函数关系式f(CI,EI,EA)，由于CI＝CIt，EI＝EIt，EA＝EAt，最终得到待定评级结果为yt＝f(CIt,EIt,EAt)，将待定评级结果为yt与所述自建音视频数据集中不同的人眼评级进行比对，选取与所述待定评级结果yt最接近的人眼评级作为目标人眼评级，所述目标人眼评级表征所述当前帧图像的噪声粗糙等级，即本申请最终要获得的噪声粗糙等级。
本实施例的图像噪声处理方法在考虑当前帧图像的人眼感知特性的同时，还考虑了当前帧图像对应的音频片段的内容语义信息，融合视频和音频内容语义信息，最终确定的当前帧图像的噪声粗糙等级能够表征更加接近人眼对当前帧图像噪声的感知。
实施例四：
在一些实施例中，考虑到现有常规技术对图像噪声强度的分级仅局限在单张图像单一尺度，未考虑安防监控场景下用户在感知图像噪声时可能使用的多种图像尺度(不同的观看设备、观看距离等造成不同的感官)；
以安防监控场景为例，用户在查看监控时，可能使用的设备包括手机/平板电脑、中控屏、PC显示器和显示屏(大电视或PC显示器阵列)。这几个观看设备的尺寸各不相同，用户观看的习惯也不同，例如：
手机/平板电脑：一般家用场景，主要的观看者为摄像头拥有者，通常是远程近距离观看；
中控屏：智能家居场景，通常摄像头会接入中控屏，由室内用户较近距离观看；
PC显示器：一般家用或小型商业场景，主要观看者为摄像头拥有者或管理者(例如，保安)，通常是坐着近距离或站着较近距离观看；
大电视或PC显示器阵列：商业场景，主要观看者为摄像头拥有者的客户，例如餐饮(明厨亮灶工程)、学校、工地等需将监控上墙的场景，通常观看距离较远。
鉴于以上因素，本实施例提出的图像噪声处理方法，能够基于过往特定长度图像序列的多尺度背景、噪声及音视频语义信息，引入注意力机制计算图像噪声粗糙等级和平滑等级，根据噪声粗糙等级决定去除图像噪声的力度，根据噪声平滑等级确定是否去除图像噪声。
具体地，所述步骤S12之前，还包括：
D1:按照不同的缩放尺寸对所述i帧图像中的每帧图像进行缩放处理，使得所述待检音视频流的每帧图像具有n种不同显示尺寸；
具体地，按照预设尺度X＝[X1,…Xj,…,Xn](放大或缩小倍率，模拟人眼的不同观看尺度)对图像序列Rt进行缩放并生成新的n(预设尺度的数量)张图像。使用预先训练好的图像噪声提取器(CNN网络)，对上述图像序列的每张图像进行噪声提取，得到各图像序列在各预设尺度下的噪声图像及背景图像。以预设尺度Xj为例，噪声图像序列和背景图像序列分别记为Nt,j＝[nt-i+1,j,nt-i+2,j,…nt,j]和Bt,j＝[bt-i+1,j,bt-i+2,j,…bt,j]；nt,j、bt,j代表t时刻j尺度下的噪声图像和背景图像。
所述步骤S12，进一步包括：
D2:从第n种显示尺寸的i帧图像中分别获取对应的噪声图像数据；
所述步骤S13，进一步包括：
D3:基于各噪声图像数据获取所述当前帧图像在所述第n种显示尺寸下的目标噪声粗糙因子；
所述步骤S14，进一步包括：
D4:从所述第n种显示尺寸的i帧图像中分别获取对应的目标图像数据；
所述步骤S15，进一步包括：
D5:基于所述第n种显示尺寸的各帧图像对应的所述噪声图像数据和所述目标图像数据，获取所述当前帧图像在所述第n种显示尺寸下的目标视频影响因子。
可理解的是，在提取待检视频的噪声相关特征之前，安防监控设备这一侧需先按安防监控设备的摄像头可能有的观看场景对待检图像序列(视频)进行预设比例的放大和缩小操作，以获得“不同观看设备(即第n种显示尺寸)”所感知到的噪声特征因子(第n种显示尺寸下的目标噪声粗糙因子、和第n种显示尺寸下的目标视频影响因子)。
所述步骤S16，进一步包括：
D61:获取播放所述待检音视频流的设备播放尺寸，所述设备播放尺寸为所述第n种显示尺寸；
D62:从所述预设音视频库中确定在所述第n种显示尺寸下对应的音视频典型数据集合；
D63:将所述当前帧图像在所述第n种显示尺寸下的目标噪声粗糙因子、所述当前帧图像在所述第n种显示尺寸下的目标视频影响因子、和/或所述目标音频影响因子作为一个整体与所述第n种显示尺寸对应的音视频典型数据集合中的各种音视频典型数据进行匹配，若匹配成功，则获取匹配成功的目标音视频典型数据对应的目标人眼评级，所述目标人眼评级表征所述当前帧图像在所述第n种显示尺寸下的噪声粗糙等级。
可理解的是，在预先构建预设音视频库的多种典型的音视频典型数据时，可事先按照播放设备的显示尺寸给音视频典型数据打意见分，考虑人眼在不同观看设备下的人眼感知差异，预设音视频库中的同一音视频典型数据在不同显示尺寸下的意见分不同。
本实施例的图像噪声处理方法考虑人眼感知特性，在多尺度图像噪声强度特征的基础上融合视频内容语义信息，更接近人眼对当前图像噪声的感知。
实施例五：
进一步地，在所述步骤S16之后，进一步包括：
D7：根据所述当前帧图像的噪声粗糙等级选择对应的处理策略对所述待检音视频流进行去噪处理。
可理解的是，步骤S16(步骤D61\步骤D62\步骤D62)和步骤D7的执行主体可以是采集待检音视频流的安防监控设备，也可以是播放待检音视频流的用户侧终端设备；
在一个应用场景实施例中，如果执行主体是安防监控设备，则安防监控设备会获取与其连接的用户侧终端设备的设备播放尺寸，并在安防监控设备这一侧对待检音视频流进行去噪处理，并按照当前帧图像在所述第n种显示尺寸下的噪声粗糙等级对音视频流去噪后发送给用户侧终端设备进行播放。
在另一个应用场景实施例中，如果执行主体是用户侧终端设备，用户侧终端设备会接收安防监控设备传输的待检音视频流，然后用户侧终端设备获取自身的设备播放尺寸，并按照当前帧图像在所述第n种显示尺寸下的噪声粗糙等级对待检音视频流进行去噪后进行播放。
具体地，噪声粗糙等级可以划分为5个等级，如果当前帧图像的噪声粗糙等级达到某一等级，则执行去噪处理。
在一些实施例中，若当前帧图像的噪声粗糙等级大于预设等级(例如大于2)，则根据该预设等级对当前帧图像执行对应强度(噪声粗糙等级越大，去噪强度越高)的预去噪，并重新计算噪声粗糙因子，作为当前图像预去噪后的噪声粗糙等级；读取当前帧图像前N秒图像(N的数值可根据具体应用场景来调整，N也包含当前图像)的噪声粗糙等级，使用预先训练的时间注意力方法，计算噪声平滑等级，若该图像噪声平滑等级小于预设等级(例如3)，则执行去噪。否则，不执行去噪。存储该图像的最终噪声粗糙等级，供后续计算噪声平滑等级时使用。
可理解的是，由于后续步骤在计算噪声平滑等级时需要用到当前图像的前N秒图像的噪声粗糙等级，为避免重复计算，在当前帧图像的噪声粗糙等级确定后立刻进行存储，避免当前帧图像的下一帧图像在计算噪声平滑等级时再次计算前序所有图像的噪声粗糙等级。
本实施例的图像噪声处理方法能根据人眼感知，更平滑、自然地执行图像噪声去除。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例六：
对应于上文实施例上述的噪声处理方法，图2示出了本申请实施例提供的图像噪声处理装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图2，该图像噪声处理应用于电子设备，包括：
音视频获取模块10，用于在当前时刻获取待检音视频流，所述待检音视频流包括i帧图像，所述i帧图像包括当前时刻对应的当前帧图像其中，i为大于1的正整数；
第一提取模块20，用于从所述i帧图像中分别获取对应的噪声图像数据；
第一确定模块30，用于基于所述i帧图像对应的噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子；
第二提取图像模块40，用于从所述i帧图像中分别获取对应的目标图像数据，所述目标图像数据根据预设图像关注事件确定；
第二确定模块50，用于基于所述i帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子；
噪声等级获取模块60，用于根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例七：
图3为本申请一实施例提供的电子设备的结构示意图。如图3所示，该实施例的电子设备3包括：至少一个处理器31(图3中仅示出一个处理器)、存储器32以及存储在所述存储器32中并可在所述至少一个处理器31上运行的计算机程序33，所述处理器31执行所述计算机程序33时实现上述任意各个方法实施例中的步骤。
所述电子设备3可以是具有高清摄像头的安防监控设备，也可以是安装有物联监控程序的终端设备，如安装有物联监控应用程序的移动终端(如手机或者平板电脑)或者电脑主机(如台式主机或笔记本电脑等)。
该电子设备可包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，图3仅仅是电子设备3的举例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器31可以是中央处理单元(Central Processing Unit，CPU)，该处理器31还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器32在一些实施例中可以是所述电子设备3的内部存储单元，例如电子设备3的硬盘或内存。所述存储器32在另一些实施例中也可以是所述电子设备3的外部存储设备，例如所述电子设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器32还可以既包括所述电子设备3的内部存储单元也包括外部存储设备。所述存储器32用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (11)
1.一种图像噪声处理方法，其特征在于，包括：
在当前时刻获取待检音视频流，所述待检音视频流包括i帧图像，所述i帧图像包括当前时刻对应的当前帧图像，其中，i为大于1的正整数；
从所述i帧图像中分别获取对应的噪声图像数据，得到i个噪声图像数据；
基于所述i个噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子；
从所述i帧图像中分别获取对应的目标图像数据，所述目标图像数据根据预设图像关注事件确定；
基于所述i帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子；
根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级。
2.如权利要求1所述的图像噪声处理方法，其特征在于，所述方法还包括：
计算所述噪声图像数据与所述目标图像数据的图像特征重合度；
所述基于各帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子，包括：
计算各帧图像对应的图像特征重合度的平均值，得到所述当前帧图像对应的目标视频影响因子。
3.如权利要求1所述的图像噪声处理方法，其特征在于，所述噪声图像数据包括噪声图像和背景图像；
所述图像噪声处理方法还包括：
获取所述噪声图像的各个噪声点对应的像素数据；
按照像素数据的类型为所述噪声图像的各个噪声点分配对应的噪点权重；
根据所述噪点权重更新所述噪声图像的各个噪声点对应的像素数据，得到具有新噪声点像素值的新噪声图像；
获取所述背景图像的亮度信息；
按照亮度信息的类型为不同的背景图像分配对应的人眼噪声感知权重；
根据所述人眼噪声感知权重获取所述新噪声图像对应的噪声粗糙因子；
所述基于所述i个噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子，包括：
获取所述待检音视频流中i帧图像对应的预设权重，所述预设权重由所述i帧图像之间的时刻顺序决定；
按照所述预设权重对各个新噪声图像对应的噪声粗糙因子进行加权求和，得到所述当前帧图像对应的目标噪声粗糙因子。
4.如权利要求1所述的图像噪声处理方法，其特征在于，所述图像噪声处理方法还包括：
从所述待检音视频流中获取与所述当前帧图像的时刻对应的音频数据，所述音频数据包括多帧音频片段；
分别从各帧音频片段中获取目标声音，所述目标声音根据预设语音关注事件确定；
基于所述各帧音频片段中的目标声音获得所述当前帧图像的目标音频影响因子；
所述根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级，包括：
根据所述噪声粗糙因子、所述目标视频影响因子和所述目标音频影响因子确定所述当前帧图像的噪声粗糙等级。
5.如权利要求1所述的图像噪声处理方法，其特征在于，所述根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级之后，还包括：
根据所述当前帧图像的噪声粗糙等级选择对应的处理策略对所述待检音视频流进行去噪处理。
6.如权利要求1-5任一项所述的图像噪声处理方法，其特征在于，所述根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级，包括：
获取与自建音视频数据集的各个音视频典型数据有关的映射函数关系式；
将所述目标噪声粗糙因子、所述目标视频影响因子和/或所述目标音频影响因子作为一个整体输入至所述映射函数关系式，将输出得到的待定评级结果与所述自建音视频数据集中不同的人眼评级进行比对，将与所述待定评级结果最接近的人眼评级作为目标人眼评级，所述目标人眼评级表征所述当前帧图像的噪声粗糙等级。
7.如权利要求1-5任一项所述图像噪声处理方法，其特征在于，所述从所述i帧图像中分别获取对应的噪声图像数据之前，还包括：
按照不同的缩放尺寸对所述i帧图像中的每帧图像进行缩放处理，使得所述待检音视频流的每帧图像具有n种不同显示尺寸；
所述从所述i帧图像中分别获取对应的噪声图像数据，包括：
从第n种显示尺寸的i帧图像中分别获取对应的噪声图像数据；
所述基于各帧图像对应的噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子，包括：
基于各噪声图像数据获取所述当前帧图像在所述第n种显示尺寸下的目标噪声粗糙因子；
所述从所述i帧图像中分别获取对应的目标图像数据，包括：
从所述第n种显示尺寸的i帧图像中分别获取对应的目标图像数据；
所述基于各帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子，包括：
基于所述第n种显示尺寸的各帧图像对应的所述噪声图像数据和所述目标图像数据，获取所述当前帧图像在所述第n种显示尺寸下的目标视频影响因子。
8.如权利要求7所述的图像噪声处理方法，其特征在于，所述根据所述目标噪声粗糙因子、所述目标视频影响因子和/或所述目标音频影响因子，从预设音视频库中确定目标音视频典型数据，包括：
获取播放所述待检音视频流的设备播放尺寸，所述设备播放尺寸为所述第n种显示尺寸；
从所述预设音视频库中确定在所述第n种显示尺寸下对应的音视频典型数据集合；
根据所述当前帧图像在所述第n种显示尺寸下的目标噪声粗糙因子、所述当前帧图像在所述第n种显示尺寸下的目标视频影响因子、和/或所述目标音频影响因子，从所述第n种显示尺寸对应的音视频典型数据集合中确定目标音视频典型数据。
9.一种图像噪声处理装置，其特征在于，包括：
音视频获取模块，用于在当前时刻获取待检音视频流，所述待检音视频流包括i帧图像，所述i帧图像包括当前时刻对应的当前帧图像其中，i为大于1的正整数；
第一提取模块，用于从所述i帧图像中分别获取对应的噪声图像数据；
第一确定模块，用于基于所述i帧图像对应的噪声图像数据获取所述当前帧图像对应的目标噪声粗糙因子；
第二提取图像模块，用于从所述i帧图像中分别获取对应的目标图像数据，所述目标图像数据根据预设图像关注事件确定；
第二确定模块，用于基于所述i帧图像对应的所述噪声图像数据和所述目标图像数据获取所述当前帧图像对应的目标视频影响因子；
噪声等级获取模块，用于根据所述目标噪声粗糙因子和所述目标视频影响因子确定所述当前帧图像的噪声粗糙等级。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
11.一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311150170.3A CN117196979A (zh) | 2023-09-06 | 2023-09-06 | 图像噪声处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311150170.3A CN117196979A (zh) | 2023-09-06 | 2023-09-06 | 图像噪声处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117196979A true CN117196979A (zh) | 2023-12-08 |
Family
ID=88989916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311150170.3A Pending CN117196979A (zh) | 2023-09-06 | 2023-09-06 | 图像噪声处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117196979A (zh) |
-
2023
- 2023-09-06 CN CN202311150170.3A patent/CN117196979A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108322788B (zh) | 一种视频直播中的广告展示方法及装置 | |
| CN112954312B (zh) | 一种融合时空特征的无参考视频质量评估方法 | |
| US8698910B2 (en) | Apparatus, camera, method, and computer-readable storage medium for generating advice for capturing an image | |
| JP7100729B2 (ja) | 画像強調モデルのトレーニング方法、装置及び記憶媒体 | |
| EP2439953A1 (en) | Method and device for obtaining video quality parameter and electronic equipment | |
| US11762905B2 (en) | Video quality evaluation method and apparatus, device, and storage medium | |
| CN112818737B (zh) | 视频识别方法、装置、存储介质及终端 | |
| CN110866563B (zh) | 相似视频检测、推荐方法、电子设备和存储介质 | |
| CN113034384A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN111327824A (zh) | 拍摄参数的选择方法、装置、存储介质及电子设备 | |
| Siahaan et al. | Semantic-aware blind image quality assessment | |
| US10445865B1 (en) | Method and apparatus for converting low dynamic range video to high dynamic range video | |
| Zeng et al. | 3D-SSIM for video quality assessment | |
| US20180314916A1 (en) | Object detection with adaptive channel features | |
| US20130308829A1 (en) | Still image extraction apparatus | |
| CN113452996B (zh) | 一种视频编码、解码方法及装置 | |
| CN113923378A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN113538304A (zh) | 图像增强模型的训练方法及装置、图像增强方法及装置 | |
| CN111754412B (zh) | 构建数据对的方法、装置及终端设备 | |
| JP4359120B2 (ja) | コンテンツ品質評価装置及びそのプログラム | |
| CN117196979A (zh) | 图像噪声处理方法、装置、电子设备及存储介质 | |
| CN109040778B (zh) | 视频封面的确定方法、用户设备、存储介质及装置 | |
| CN112866683B (zh) | 基于视频前处理及转码的质量评估方法 | |
| CN117336465A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113905177A (zh) | 视频生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |