CN116309093A - 一种类背腹侧注意机制的视频降噪方法和系统 - Google Patents
一种类背腹侧注意机制的视频降噪方法和系统 Download PDFInfo
- Publication number
- CN116309093A CN116309093A CN202211511999.7A CN202211511999A CN116309093A CN 116309093 A CN116309093 A CN 116309093A CN 202211511999 A CN202211511999 A CN 202211511999A CN 116309093 A CN116309093 A CN 116309093A
- Authority
- CN
- China
- Prior art keywords
- feature
- weight
- video
- features
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000007246 mechanism Effects 0.000 title claims abstract description 34
- 210000001015 abdomen Anatomy 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000010354 integration Effects 0.000 claims abstract description 8
- 238000009826 distribution Methods 0.000 claims description 33
- 230000003068 static effect Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006872 improvement Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 210000001142 back Anatomy 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明公开了一种类背腹侧注意机制的视频降噪方法和系统，所述方法包括：将所述视频流分别依次进行亮度对标和对比度对标，得到对标视频序列；根据所述对标视频序列获取视频视觉空间特征作为类背侧特征，并获取视觉刺激特征作为类腹侧特征；利用类背腹注意机制自适应降噪特征控制将所述类背侧特征和类腹侧特征进行特征整合，得到整合特征；计算整合特征的特征占比，根据所述整合特征的特征占比进行自适应降噪输出视频流。
Description
技术领域
本发明涉及图像视频处理技术领域，特别涉及一种类背腹侧注意机制的视频降噪方法和系统。
背景技术
目前视频降噪主要分为传统降噪和机器学习两大类降噪方案；传统时空频混合降噪模型，多为针对某类噪声表现设计的固定特征检测和降噪，虽然降噪效果较优，但输入适应性较差，不同外界条件效果差异性较大；同样机器学习类常见模型也有类似弊端，要么场景依赖性过大，要么特征复杂性过高，依靠人工调参参与较多。
发明内容
本发明其中一个发明目的在于提供一种类背腹侧注意机制的视频降噪方法和系统，所述方法和系统引入类背特征和类腹特征，将视频降噪系统的降噪特征进行设计分类，使得所述视频降噪方法和系统可以自适应地输入系统杆兴趣的区域进行降噪，通过上述类背特征和类腹特征的设计使得降噪系统对特征分割具有更好的适应性。
本发明另一个发明目的在于提供一种类背腹侧注意机制的视频降噪方法和系统，所述方法和系统通过所述类背特征和类腹特征的设计，并利用类背腹注意中断机制设计特征控制，从而使得在不同的场景下可以更好地适应性切换，降低人工调参成本。
本发明另一个发明目的在于提供一种类背腹侧注意机制的视频降噪方法和系统，所述方法和系统通过所述类背特征和类腹特征设计，使得多种视频图像特征可以符合视觉机制的方式进行整合，从而可以提高降噪分区的优化效果。
为了实现至少一个上述发明目的，本发明进一步提供一种类背腹侧注意机制的视频降噪方法，所述方法包括：
将所述视频流分别依次进行亮度对标和对比度对标，得到对标视频序列；
根据所述对标视频序列获取视频视觉空间特征作为类背侧特征，并获取视觉刺激特征作为类腹侧特征；
利用类背腹注意机制自适应降噪特征控制将所述类背侧特征和类腹侧特征进行特征整合，得到整合特征；
计算整合特征的特征占比，根据所述整合特征的特征占比进行自适应降噪输出视频流。
根据本发明其中一个较佳实施例，所述对标数据获取包括：获取视频流，将所述视频流进行亮度和对比度的对标操作，其中计算输入视频每帧亮度均值，并预设目标亮度值，计算目标亮度值和输入视频亮度均值之商作为对比系数进行视频帧亮度对标，分别对每帧视频进行亮度对标操作，生成第一对标数据。
根据本发明另一个较佳实施例，在完成所述亮度对标并获取第一对标数据后，预设目标对比度参数，获取第一对标数据的对比度直方分布图，并根据所述目标对比度参数和对比度直方分布图执行第一对标数据下的目标对比度对标操作，得到第二对标数据，将所述第二对标数据进行格式转换得到标准对标视频格式的对标视频序列。
根据本发明另一个较佳实施例，将所述对标视频序列的帧内像素梯度特征、帧内空域细节分布特征、帧间像素差分特征和帧间分块方位特征中至少一个特征进行特征提取作为所述类背侧特征；将所述对标视频序列的局部亮度聚类特征、局部颜色聚类特征、运动光强差聚类特征和运动特殊角度聚类特征中的至少一个特征进行特征提取作为所述类腹侧特征。
根据本发明另一个较佳实施例，所述视频降噪方法包括：利用构建的所述类背侧特征和类腹侧特征进行降噪特征的构造分类，其中将所述类腹侧特征构造为静止级特征和运动级特征，并计算类腹侧特征和类背侧特征对应的静止级特征权重和运动级特征权重，采用自适应加权的方式进行对应的权重计算。
根据本发明另一个较佳实施例，根据计算的静止级特征权重和运动级特征权重进行占比计算，设定第一占比阈值，其中所述第一占比阈值大于50％，当所述静止级特征权重的占比大于所述占比阈值，则根据所述权重占比采用包括帧间iir降噪方法占主导对输入的对标视频进行降噪。
根据本发明另一个较佳实施例，根据计算的静止级特征权重和运动级特征权重进行占比计算，设定第二占比阈值，其中所述第二占比阈值小于50％，当所述静止特征权重的占比小于所述第二占比阈值时，则根据所述权重占比采用空频域降噪方法占主导对输入的对标视频进行降噪。
根据本发明另一个较佳实施例，根据计算的静止级特征权重和运动级特征权重进行占比计算，当所述静止特征权重的占比在所述第一占比阈值和第二占比阈值之间时，同时均衡采用所述帧间iir降噪方法或空频域降噪方法对所述对标视频进行降噪。
根据本发明另一个较佳实施例，所述特征整合方法包括：计算静止级特征下的基底权重，偏移权重和补偿权重，根据所述静止级特征下基底权重，偏移权重和补偿权重计算静止级权重；计算所述运动级特征下的基底权重，偏移权重和补偿权重，并根据所述运动级特征下的基底权重，偏移权重和补偿权重计算运动级权重。
根据本发明另一个较佳实施例，获取帧内空域细节分布特征的最大值和最小值，根据所述帧内空域细节分布特征的最大值和最小值以及当前帧内空域细节分布特征值，计算帧内空域细节分布特征的基底权重作为静止级特征基底权重，并计算所述帧内像素梯度特征的最大值和最小值，并根据所述帧内像素梯度特征的最大值和最小值以及当前帧内像素梯度特征值计算偏移权重并作为静止级特征的偏移权重，并根据局部颜色聚类特征和局部亮度聚类特征计算静止级补偿特征，用于计算所述静止级特征权重，所述静止级特征权重[w]ij计算公式如下：
[w]ij＝[w]baseij*4096+[w]ofstij*16+[w]cmpij；
其中静止级特征基底权重为[w]baseij,静止级特征偏移权重为[w]ofstij和静止级特征补偿权重为[w]cmpij。
根据本发明另一个较佳实施例，计算获取帧间分块方位特征作的运动级的基底权重，计算获取运动光强差聚类特征的偏移权重，计算获取运动特殊角度聚类特征的补偿权重，并计算运动级特征权重，其中所述运动级特征权重计算公式如下：[wm]ij＝[wm]basetype*32+[wm]ofsttype*16+[wm]cmpij；
其中运动级特征基底权重为[wm]basetype,运动级特征偏移权重为[wm]ofsttype,运动级特征补偿权重为[wm]cmpij。
为了实现至少一个上述发明目的，本发明进一步提供一种类背腹侧注意机制的视频降噪系统，所述系统执行上述一种类背腹侧注意机制的视频降噪方法。
本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行上述一种类背腹侧注意机制的视频降噪方法。
附图说明
图1显示的是本发明一种类背腹侧注意机制的视频降噪方法流程示意图。
图2显示的是本发明一种类背腹侧注意机制的视频降噪系统的结构示意图。
图3显示的是本发明中类背侧帧内像素梯度特征的示意图。
图4显示的是本发明中类背侧帧间分块方位特征的示意图。
图5显示的是本发明中类腹侧运动特殊角度聚类特征,其中中心黑块表示当前像素点，边界黑块表示对应角度特征块。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
请结合图1-图5，本发明公开了一种类背腹侧注意机制的视频降噪方法和系统，所述系统主要包括：预处理子系统；类背侧降噪特征提取子系统；类腹侧降噪特征提取子系统；类背腹注意机制自适应降噪特征控制子系统；降噪以及输出子系统。其中所述预处理子系统用于将输入的相同或不同格式的视频数据进行对标操作，通过对标后生成满足视频降噪特征检测要求的对标视频序列。其中所述类背侧降噪特征提取子系统用于提取类似于大脑空间的特征信息，本发明中对于视频信息的类背侧降噪特征为视频空间特征，并构建视频。所述类腹侧降噪特征提取子系统用于提取视频信息的视觉刺激特征，并构建视频的类腹侧特征。其中所述类背腹注意机制自适应降噪特征控制子系统用于将构建的视频类背侧特征和类腹侧特征进行整合，构建整合特征，所述整合特征用于后续的降噪操作。所述降噪以及输出子系统将根据上述整合特征中的静止级和运动级特征的权重占比分别执行不同主导方式的降噪。
具体而言，所述预处理子系统执行对输入视频的预处理对标操作，以输入RAW格式的视频流为例，所述对标操作包括：预设目标亮度为a，计算输入的RAW视频每帧的亮度均值为b，计算每帧的亮度对标系数k＝a/b。进一步根据所述每帧亮度对标系数，对每一帧输入视频亮度乘以对应帧的对标系数即可完成每一帧视频的对标操作。将完成亮度对标操作的视频数据定义为第一对标数据。
在完成所述视频数据的亮度对标后，进一步预设目标对比度对标参数numl，numh，thrl，thrh，其中numl和numh分别表示设定暗，亮区像素数目，而thrl和thrh表示暗，亮区对应灰度阈值；进一步统计上述第一对标数据的直方图分布图，并对所述第一对标数据进行非线性变化，使得在thrl以下数据分布接近numl，在thrh以上数据分布接近numh即可。进一步将完成对比度对标的数据定义为第二对标数据。所述预处理还包括对所述第二对标数据进行格式转换，并对每一格式转换的数据执行上述对标操作，比如原始的第二对标数据为RAW格式的数据，可以转换为RGB格式数据进行上述对标操作，并进一步转化为YUV数据执行上述对标操作。数据格式转换后完成的对标数据定义为视频对标序列。
进一步的，利用所述类背侧降噪特征提取子系统和类腹侧降噪特征提取子系统对所述视频对标序列分别进行背侧特征提取和腹侧特征提取。其中所述背侧特征包括：帧内像素梯度特征、帧内空域细节分布特征、帧间像素差分特征和帧间分块方位特征等4种；其中所述腹侧特征包括：局部亮度聚类特征，局部颜色聚类特征，运动光强差聚类特征和运动特殊角度聚类特征。
其中所述帧内像素梯度特征为在像素邻域内8个方向的梯度差，具体以图3显示为例，在9*9大小的相似邻域范围内，各个方向所述梯度差计算为各方向以黑色像素点划分的两侧白色像素点和的差值的绝对值。并进一步计算8个方向差值绝度值的最大值。
所述帧内空域细节分布特征提取方法包括：以对标视频序列每帧细节图为统计输入，细节图计算方法包括一般常规高斯掩膜，sobel差分算子等，对每个像素点细节图进行如31*31大小邻域的方差计算，所得方差记为对应帧内空域细节分布特征；对于支持较大数据处理的系统环境，可设置多组邻域大小求得多个帧内空域细节分布特征用于后续降噪自适应控制。
所述帧间像素差分特征提取方法包括：对对标视频序列每帧每个像素，将其与其前后帧数据分别计算差值绝对值，并按较大值取为当前点帧间像素差分特征。
帧间分块方位特征的提取方法包括：对上述帧间像素差分特征，如图4作为一种分方位示例，对各方位块帧间像素差分特征进行求和统计，得到帧间分块方位特征.
需要说明的是上述4种背侧特征的提取方式仅以举例说明，本发明可以设置包括不同大小的相似领域，不同的邻域方向进行不同的特征提取，本发明不限于上述举例说明。
其中所述类腹侧降噪特征子系统所提取类腹测视觉刺激特征包括：局部亮度聚类特征、局部颜色聚类特征、运动光强差聚类特征和运动特殊角度聚类特征。
所述局部亮度聚类特征计算方法包括：将对标视频序列进行亮度下采样，下采样方式为块均值下采样，下采样大小设为分辨率自适应模式，即根据输入分辨率，设置固定下采样倍数Ndn即可。
所述局部颜色聚类特征计算方法包括：主要为局部饱和度聚类特征，即对对标数据3的uv分量提取饱和度，同时对饱和度进行同上自适应大小下采样即可。
所述运动光强差聚类特征计算方法包括：对对标视频序列进行进行帧间差分计算，并对每帧数据采用[x,y,diffabs]格式排列，其中，x,y分别表示像素点横纵坐标，diffabs即为该像素点帧间差分，利用kmeans聚类算法，统计该帧图像运动光强差聚类特征，即运动光强差分布质心[xc，yc]。
所述运动特殊角度聚类特征计算方法包括：对对标视频序列进行帧间运动方向计算，如图4，该实施例选用帧间运动方向计算邻域大小31*31，特殊角度为12个，运动方向计算采用SAD块匹配，块大小7*7。需要说明的是，上述类腹侧特征提取方法仅举例说明，本发明实施方式不限于上述举例。
在提取上述类背侧特征和类腹侧特征后，进一步针对所述类背侧特征和类腹侧特征进行自适应的特征整合，其中特征整合方式采用类背腹注意机制自适应降噪特征控制子系统对应的类背腹注意机制，并且对整合的特征进行自适应的降噪，具体举例说明如下：
对类背侧帧内像素梯度特征，记为[d]ij，其中ij表示像素坐标；
对类背侧帧内空域细节分布特征，记为[σ]ij,其中ij表示像素坐标；
对类背侧帧间像素差分特征，记为[fd]ij,其中ij表示像素坐标；
对类背侧帧间分块方位特征，记为[fdoa],即分块方位标识；
对类腹侧局部亮度聚类特征，记为[Lit]we，其中we表示下采样坐标；
对类腹侧局部颜色聚类特征，记为[Sat]we,其中we表示下采样坐标；
对类腹侧运动光强差聚类特征，记为[xc,yc],即运动光强差分布质心；
对类腹侧运动特殊角度聚类特征，记为[Ang]ij其中ij表示像素坐标；
所述特征整合将根据所述对标视频序列的静止级和运动级特征进行特征构造，所述静止级特征为视频中静止的特征，所述运动级特征为视频中运动的特征。本发明对不同视频帧中构造的静止级特征和运动级特征根据权重占比进行不同的自适应降噪方案。
所述特征权重包括基底权重，偏移权重和补充权重。
在所述静止级特征构建方法中，以类背侧帧内空域细节分布特征[σ]ij计算基底权重[w]baseij，精度8bit，统计当前帧类背侧帧内空域细节分布特征最大值[σmax]和类背侧帧内空域细节分布特征最小值[σmin]，所述类背侧帧内空域细节分布特征基底权重计算公式为：
所述静止级特征构建中，以帧内像素梯度特征[d]ij计算偏移权重[w]ofstij，精度8bit，统计当前帧统计当前帧最大帧内像素梯度特征[dmax]和最小帧内像素梯度特征[dmin]。其中所述帧内像素梯度特征的偏移权重计算公式为：
在所述静止级特征构建方法中，以局部亮度聚类特征[Lit]we和局部颜色聚类特征[Sat]we计算补偿权重[w]cmpij，精度配置为4bit，分别对每个下采样局部亮度聚类特征[Lit]we和局部颜色聚类特征[Sat]we求均值，记为[LS]we，同上统计最大[LSmax]和最小[LSmin]，并按照上述基底权重和偏移权重相同的计算方法计算补偿权重[w]cmpij。
在获取静止级特征构建的基底权重[w]baseij、偏移权重[w]ofstij和补偿权重[w]cmpij后，进一步采用如下公式计算静止级特征权重[w]ij：
[w]ij＝[w]baseij*4096+[w]ofstij*16+[w]cmpij。
在运动级特征构建方法中，以帧间分块方位特征计算基底权重[wm]basetype，精度1bit，将分块方位对应块区域内像素[wm]basetype置1，在分块方位对应块区域外像素[wm]basetype置0。
在运动级特征构建方法中，以运动光强差聚类特征[xc,yc]计算偏移权重[wm]ofsttype，精度1bit，在[xc,yc]附近，以分辨率1/Ndn大小为辐射范围，在辐射范围内像素[wm]basetype置1，在辐射范围外像素[wm]basetype置0，其中，Ndn即为上述聚类特征设定的下采样倍率；
在运动级特征构建方法中，以运动特殊角度聚类特征[Ang]ij计算补偿权重[wm]cmpij，精度为4bit，其值等于[Ang]ij特征本身。
在获取运动级特征构建中的基底权重[wm]basetype、[wm]ofsttype和补偿权重[wm]cmpij后，采用如下公式计算运动级特征权重[wm]ij：
[wm]ij＝[wm]basetype*32+[wm]ofsttype*16+[wm]cmpij。
需要说明的是，所述类背腹注意机制自适应降噪特征控制子系统输出为静止级特征权重[w]ij和运动级特征权重[wm]ij。
所述降噪和输出子系统将根据所述静止级特征权重[w]ij和运动级特征权重[wm]ij占比对输入的视频进行不同的时空频混合降噪。
对于所述静止级特征权重和运动级特征权重占比可以采用硬阈值或软阈值的方式实现占比等级划分。比如软阈值的占比计算划分权重等级方法包括：根据计算的静止级特征权重和运动级特征权重进行占比计算，设定第一占比阈值，其中所述第一占比阈值大于50％，当所述静止级特征权重的占比大于所述占比阈值，则根据所述权重占比采用包括帧间iir降噪方法占主导对输入的对标视频进行降噪。根据计算的静止级特征权重和运动级特征权重进行占比计算，设定第二占比阈值，其中所述第二占比阈值小于50％，当所述静止特征权重的占比小于所述第二占比阈值时，则根据所述权重占比采用空频域降噪方法占主导对输入的对标视频进行降噪。根据计算的静止级特征权重和运动级特征权重进行占比计算，当所述静止特征权重的占比在所述第一占比阈值和第二占比阈值之间时，同时均衡采用所述帧间iir降噪方法或空频域降噪方法对所述对标视频进行降噪。
需要说明的是，上述背侧和腹侧特征构、以及降噪方法可以包括但不仅限于如下可选择部分：
类背侧帧内梯度特征设计包括但不限于像素级梯度、块级梯度甚至主体级梯度等；
作为一种改进，类背侧帧内分布特征从维度设计包括但不限于空域分布、值域分布等；从特征设计包括但不限于亮度分布、细节分布、颜色分布等；
作为一种改进，类背侧帧间差分特征设计包括但不限于帧间像素差、帧间光流差等；
作为一种改进，类背侧帧间方位特征设计包括但不限于帧间分块方位差；
对于视频视觉刺激特征：
作为一种改进，类腹测视觉刺激特征包括但不限于亮度聚类特征，颜色聚类特征，运动差强聚类特征，运动方向聚类特征等；
作为一种改进，类腹测亮度聚类特征设计包括但不限于全局亮度聚类，局部亮度聚类以及局部亮度差聚类等；
作为一种改进，类腹测颜色聚类特征设计包括但不限于全局颜色聚类，局部颜色聚类以及局部颜色差聚类等；
作为一种改进，类腹测运动差强聚类特征设计包括但不限于运动光强差聚类，运动投影变换聚类等；
作为一种改进，类腹测运动方向聚类特征设计包括但不限于运动矢量聚类，特殊角度聚类等；
其中类背腹注意机制自适应降噪特征控制子系统主要用于对输入视频类背腹特征进行分析，得到符合该输入视频的自适应降噪特征；
作为一种改进，降噪自中断类背腹注意机制自适应降噪特征控制子系统类背腹特征分析方法包括但不限于自适应加权分析、自适应特征聚合分析等；
作为一种改进，类背腹注意机制自适应降噪特征控制子系统输出自适应降噪特征形式包括但不限于权重分布，中心分布等方式；
作为一种改进，降噪及输出子系统主要根据自适应降噪特征进行降噪处理并输出对应降噪结果视频流；
作为一种改进，降噪及输出子系统降噪处理包括但不限于空域降噪，频域降噪，时域降噪等及其组合；
作为一种改进，降噪及输出子系统输出视频流包括但不限于常见未编码格式类型。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (11)
1.一种类背腹侧注意机制的视频降噪方法，其特征在于，所述方法包括：
将所述视频流分别依次进行亮度对标和对比度对标，得到对标视频序列；
根据所述对标视频序列获取视频视觉空间特征作为类背侧特征，并获取视觉刺激特征作为类腹侧特征；
利用类背腹注意机制自适应降噪特征控制将所述类背侧特征和类腹侧特征进行特征整合，得到整合特征；
计算整合特征的特征占比，根据所述整合特征的特征占比进行自适应降噪输出视频流。
2.根据权利要求1所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，将所述对标视频序列的帧内像素梯度特征、帧内空域细节分布特征、帧间像素差分特征和帧间分块方位特征中至少一个特征进行特征提取作为所述类背侧特征；将所述对标视频序列的局部亮度聚类特征、局部颜色聚类特征、运动光强差聚类特征和运动特殊角度聚类特征中的至少一个特征进行特征提取作为所述类腹侧特征。
3.根据权利要求1所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，所述视频降噪方法包括：利用构建的所述类背侧特征和类腹侧特征进行降噪特征的构造分类，其中将所述类腹侧特征构造为静止级特征和运动级特征，并计算类腹侧特征和类背侧特征对应的静止级特征权重和运动级特征权重，采用自适应加权的方式进行对应的权重计算。
4.根据权利要求1所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，根据计算的静止级特征权重和运动级特征权重进行占比计算，设定第一占比阈值，其中所述第一占比阈值大于50％，当所述静止级特征权重的占比大于所述占比阈值，则根据所述权重占比采用包括帧间iir降噪方法占主导对输入的对标视频进行降噪。
5.根据权利要求4所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，根据计算的静止级特征权重和运动级特征权重进行占比计算，设定第二占比阈值，其中所述第二占比阈值小于50％，当所述静止特征权重的占比小于所述第二占比阈值时，则根据所述权重占比采用空频域降噪方法占主导对输入的对标视频进行降噪。
6.根据权利要求5所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，根据计算的静止级特征权重和运动级特征权重进行占比计算，当所述静止特征权重的占比在所述第一占比阈值和第二占比阈值之间时，同时均衡采用所述帧间iir降噪方法或空频域降噪方法对所述对标视频进行降噪。
7.根据权利要求1所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，所述特征整合方法包括：计算静止级特征下的基底权重，偏移权重和补偿权重，根据所述静止级特征下基底权重，偏移权重和补偿权重计算静止级权重；计算所述运动级特征下的基底权重，偏移权重和补偿权重，并根据所述运动级特征下的基底权重，偏移权重和补偿权重计算运动级权重。
8.根据权利要求7所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，获取帧内空域细节分布特征的最大值和最小值，根据所述帧内空域细节分布特征的最大值和最小值以及当前帧内空域细节分布特征值，计算帧内空域细节分布特征的基底权重作为静止级特征基底权重，并计算所述帧内像素梯度特征的最大值和最小值，并根据所述帧内像素梯度特征的最大值和最小值以及当前帧内像素梯度特征值计算偏移权重并作为静止级特征的偏移权重，并根据局部颜色聚类特征和局部亮度聚类特征计算静止级补偿特征，用于计算所述静止级特征权重，所述静止级特征权重[w]ij计算公式如下：
[w]ij＝[w]baseij*4096+[w]ofstij*16+[w]cmpij；
其中静止级特征基底权重为[w]baseij,静止级特征偏移权重为[w]ofstij和静止级特征补偿权重为[w]cmpij。
9.根据权利要求7所述的一种类背腹侧注意机制的视频降噪方法，其特征在于，计算获取帧间分块方位特征作的运动级的基底权重，计算获取运动光强差聚类特征的偏移权重，计算获取运动特殊角度聚类特征的补偿权重，并计算运动级特征权重，其中所述运动级特征权重计算公式如下：[wm]ij＝[wm]basetype*32+[wm]ofsttype*16+[wm]cmpij；
其中运动级特征基底权重为[wm]basetype,运动级特征偏移权重为[wm]ofsttype,运动级特征补偿权重为[wm]cmpij。
10.一种类背腹侧注意机制的视频降噪系统，其特征在于，所述系统执行权利要求1-8中任意一项所述的一种类背腹侧注意机制的视频降噪方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行权利要求1-8中任意一项所述的一种类背腹侧注意机制的视频降噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211511999.7A CN116309093A (zh) | 2022-11-29 | 2022-11-29 | 一种类背腹侧注意机制的视频降噪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211511999.7A CN116309093A (zh) | 2022-11-29 | 2022-11-29 | 一种类背腹侧注意机制的视频降噪方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309093A true CN116309093A (zh) | 2023-06-23 |
Family
ID=86780298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211511999.7A Pending CN116309093A (zh) | 2022-11-29 | 2022-11-29 | 一种类背腹侧注意机制的视频降噪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309093A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117595920A (zh) * | 2024-01-19 | 2024-02-23 | 国任财产保险股份有限公司 | 一种基于卫星通信的保险处理方法及系统 |
-
2022
- 2022-11-29 CN CN202211511999.7A patent/CN116309093A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117595920A (zh) * | 2024-01-19 | 2024-02-23 | 国任财产保险股份有限公司 | 一种基于卫星通信的保险处理方法及系统 |
| CN117595920B (zh) * | 2024-01-19 | 2024-04-05 | 国任财产保险股份有限公司 | 一种基于卫星通信的保险处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Enhancing underwater image via color correction and bi-interval contrast enhancement | |
| CN102202163B (zh) | 一种监控视频的自适应增强方法及其装置 | |
| CN106920221B (zh) | 兼顾亮度分布和细节呈现的曝光融合方法 | |
| CN101950416B (zh) | 基于双边滤波的实时图像去雾增强方法 | |
| Kwok et al. | Simultaneous image color correction and enhancement using particle swarm optimization | |
| WO2013168618A1 (ja) | 画像処理装置及び画像処理方法 | |
| CN105898111B (zh) | 一种基于谱聚类的视频去雾方法 | |
| CN107392879B (zh) | 一种基于参考帧的低照度监控图像增强方法 | |
| CN109493291A (zh) | 一种自适应伽马校正的彩色图像对比度增强方法 | |
| Dharejo et al. | A color enhancement scene estimation approach for single image haze removal | |
| CN102222328A (zh) | 一种边缘保持的自然场景图像自适应加权滤波方法 | |
| Gao et al. | A novel UAV sensing image defogging method | |
| Zhang et al. | Image quality assessment based on Prewitt magnitude | |
| CN108711160B (zh) | 一种基于hsi增强性模型的目标分割方法 | |
| Gao et al. | Sandstorm image enhancement based on YUV space | |
| CN105046670A (zh) | 一种图像去雨方法及系统 | |
| CN111460964A (zh) | 一种广电传输机房低照度条件下运动目标检测方法 | |
| CN116309093A (zh) | 一种类背腹侧注意机制的视频降噪方法和系统 | |
| CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
| US20240086661A1 (en) | Method and apparatus for processing graphic symbol and computer-readable storage medium | |
| Zhang et al. | Hardware implementation for haze removal with adaptive filtering | |
| CN114037641A (zh) | 一种低照度图像增强方法、装置、设备及介质 | |
| Li et al. | Contrast enhancement algorithm for outdoor infrared images based on local gradient-grayscale statistical feature | |
| US8897378B2 (en) | Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression | |
| CN114549358A (zh) | 基于引导滤波的相机特性的低照度图像增强方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |