CN101742292B - 基于图像内容信息的环路滤波方法和滤波器 - Google Patents
基于图像内容信息的环路滤波方法和滤波器 Download PDFInfo
- Publication number
- CN101742292B CN101742292B CN 200810226583 CN200810226583A CN101742292B CN 101742292 B CN101742292 B CN 101742292B CN 200810226583 CN200810226583 CN 200810226583 CN 200810226583 A CN200810226583 A CN 200810226583A CN 101742292 B CN101742292 B CN 101742292B
- Authority
- CN
- China
- Prior art keywords
- filtering
- neighborhood
- edge
- zones
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000000694 effects Effects 0.000 claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims 1
- 238000003708 edge detection Methods 0.000 abstract description 8
- 230000000903 blocking effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000873 masking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000020061 kirsch Nutrition 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明披露一种应用于视频编解码的环路滤波方法和环路滤波器。该方法包括下列步骤：使用边缘检测技术分析边界邻域内的边缘信息；根据边缘信息将邻域分类；对不同类型的领域有选择地应用去方块滤波技术。本发明在能有效滤除方块效应、增加图像编码的主观质量的同时，也保存图像的边缘以及细节信息，从而改善了图像编码的保真度。
Description
技术邻域
本发明涉及视频编解码，具体地说涉及去除方块效应的滤波技术。
背景技术
在视频编码标准中，编解码器反变换/反量化后图像会出现方块效应。在去方块滤波技术中，非常重要的是要区分图像中的真实边界和由DCT变换系数量化而造成的假边界。为了保持图像的逼真性，应该尽量在滤除假边界以不致被看出的同时，保持图像真实边界不被滤波。目前使用的去方块滤波方法缺乏对视频图像本身的图像内容特征的充分分析，在滤除方块效应所形成的边界的同时可能造成图像本身的内容信息的丢失。
发明内容
本发明的目的在于提出一种基于视频内容特征的环路滤波方法，应用于忠实场景的高保真视频压缩技术，根据对于视频自身的内容特征的分析，在滤波方块效应时，正确判断边界是视频图像本身的真实边界还是方块效应所形成的边界。对于真实边界不进行滤波处理，而对方块效应所形成的边界则根据周围图像的内容特征和编码方法采用不同强度的滤波。
根据第一方面，本发明一种应用于视频编解码的环路滤波方法，包括下列步骤：使用边缘检测技术分析边界邻域内的边缘信息；根据边缘信息将邻域分类；对不同类型的领域有选择地应用去方块滤波技术。
根据第二方面，本发明提供一种应用于视频编解码的环路滤波器，包括：使用边缘检测技术分析一个边界邻域内的边缘信息的模块；根据边缘信息将邻域分类的模块；对不同类型的领域有选择地应用去方块滤波的模块。
根据第三方面，本发明提供一种应用于视频编解码的环路滤波器，包括：分类模块，使用灰度信息将平滑区域从边界邻域中分离，然后使用边缘检测技术分析边界邻域内的边缘信息，以便区分出纹理区域和边缘区域；滤波模块，对平滑区域进行去方块的环路滤波，对边缘区域有选择地应用去方块滤波，对纹理区域不做滤波。
本发明在能有效滤除方块效应、增加图像编码的主观质量的同时，也保存图像的边缘以及细节信息，从而改善了图像编码的保真度。
附图说明
下面将参照附图对本发明的具体实施方案进行更详细的说明，附图中：
图1是图像的边界滤波示意图；
图2是根据本发明的基于图像内容信息的环路滤波方法框图；
图3是对邻域S进行分类的示意图；
图4是边缘方向的示意图。
具体实施方式
图1是图像的边界滤波示意图。如图1所示，虚线代表了块A、B间的水平或者垂直边界，在不同情况下块A、B可能代表的是8×8、4×4的亮度或者色度块，决A和B组成了待滤波边界的一个邻域。
图2是根据本发明的基于图像内容信息的环路滤波方法框图。
该环路滤波器应用于视频编解码，包括：分类模块，使用灰度信息将平滑区域从边界邻域中分离，然后使用边缘检测技术分析边界邻域内的边缘信息，以便区分出纹理区域和边缘区域；滤波模块，对平滑区域进行去方块的环路滤波，对边缘区域有选择地应用去方块滤波，对纹理区域不做滤波。如图2所示，假设某待滤波边界的一个邻域为S，包含了M个像素点，静态图像的内容特征主要包括颜色、纹理、形状、结构等。其中颜色、灰度为低层特征，边缘、纹理称为中层特征，可以由低层特征计算得到。
在滤波该边界的方块效应时，首先使用边缘检测技术分析该边界邻域内的边缘信息，包括邻域内各个方向的边缘强度和方向信息。
根据这些边缘的方向和强度信息将邻域分为例如三类：平滑区域、边缘区域和纹理区域。其中，平滑区域代表图像中亮度色度变化小的平坦区域；边缘区域代表图像中包含少量的单一方向边缘的区域；纹 理区域代表图像中包含大量的多个方向的边缘、细节信息多的区域。
为保持纹理区域的细节信息并有效滤除方块效应，对纹理区域利用视觉系统HVS的纹理掩蔽特性，不进行去块效应滤波处理；对于平滑区域，在水平和垂直两个方向进行环路滤波处理；在边缘(结构)区域，根据区域内的边缘的方向和强度信息决定对水平和垂直两个方向是否进行环路滤波处理。
图3是对邻域S进行分类的示意图。如图3所示，根据提取的灰度、边缘信息(由灰度和颜色信息计算而来)，使用二叉树状分类器将邻域为S分为三类：平滑区域、边缘区域和纹理区域。需要说明的是，除二叉树分类器外，也可以采用其它的分类模块。
考虑到提取边缘信息有一定计算量。因此，可以首先使用灰度信息将平滑类型的邻域分离出来，避免不必要的边缘检测过程。令Vgray为邻域S的灰度方差值，当Vgray小于某一阈值T1时，判定邻域S为平滑区域。
当Vgray大于阈值T1，使用边缘检测算法如sobel、Kirsch模板算法获得邻域S内每个象素点的边缘强度和方向信息。图像的边缘反映了图像局部区域像素值变化的大小和方向。边缘强度反映了图像像素值变化的快慢，在图像边缘处强度值较大，而在图像的平坦部分值很小；边缘的方向反映了区域图像内像素变化的趋势。图4是边缘方向的示意图。由于边缘方向值相差π角度的边缘为同一方向的边缘，因此令边缘点的边缘方向值δ的取值范围为[0，π)。令g(i，j)和δ(i，j)分别为使用边缘检测算法计算出邻域S中象素点p(i，j)的边缘强度和方向值，δ(i，j)表示的八个方向如图4所示。对于S中象素点p(i，j)，当g(i，j)＞T2时，则判定象素点p(i，j)为边缘点。计数器集合D＝{D(k)，k＝1，2......8}记录邻域S中相应八个边缘方向上的边缘点的个数，Dcount为D中满足D(k)＞T3(k＝1，2......8)的方向数。如果Dcount＞T4，则判定邻域S中为纹理区域。当前两种情况都不满足的时候判断S为边缘区域。在实际应用中，考虑具体需求、计算复杂度、编码质量、实时性等要求可以选择不同的边缘检测算法，可以选择检测精度更高的边缘检测算法获得更好的边缘检测结果和视频压缩效果。
根据本发明，对于纹理区域中的边界不进行去块效应滤波处理；对 于平滑区域的边界，无论是水平还是垂直方向，都要进行去块效应滤波处理；对于边缘区域需要根据边缘的方向信息做出进一步的判断。在一个实施例中，将图4所示的边缘方向分为四个区域：垂直区域[0，π/8)和[7π/8，π)，对角线的45°区域[π/8，3π/8)，水平区域[3π/8，5π/8)，对角线的135°区域[5π/8，7π/8)。当邻域S为边缘区域时，统计S中边缘点在四个区域内的数目。当45°对角线区域或者135°对角线区域内包含的边缘点数目最多时，不进行去块效应滤波处理；当垂直区域包含的边缘点数目最多时，只对垂直方向的边界进行去块效应滤波处理；当水平区域包含的边缘点数目最多时，只对水平方向的边界进行去块效应滤波处理。
本发明提出的基于图像内容信息的环路滤波方法充分利用了图像本身的边缘信息，根据使用边缘检测算法获得的边界邻域内的边缘强度和方向信息能可靠的分辨图像本身的内容特征，在保留图像真实边缘和内容特征的前提下有效地滤除编码过程造成的认为的图像边界。并且利用了视觉系统HVS的纹理掩蔽特性，对于纹理区域不进行去块效应滤波，保存了图像本身的细节信息，避免了图像细节区域的模糊化，从而有效的进一步提高了编码图像的保真度和视觉质量。
显而易见，在此描述的本发明可以有许多变化，这种变化不能认为偏离本发明的精神和范围。因此，所有对本邻域技术人员显而易见的改变，都包括在本权利要求书的涵盖范围之内。
Claims (15)
1.一种应用于视频编解码的环路滤波方法，包括下列步骤：
使用边缘检测技术分析边界邻域内的边缘信息，边缘信息包括邻域内各个方向的边缘强度和方向信息；
根据边缘信息将邻域分类，分为平滑区域、边缘区域和纹理区域，其中首先使用灰度信息将平滑类型的邻域分离出来；
对不同类型的邻域有选择地应用去方块滤波技术，边缘方向分为四个区域：垂直区域[0，π/8)和[7π/8，π)、对角线的45°区域[π/8，3π/8)、水平区域[3π/8，5π/8)、对角线的135°区域[5π/8，7π/8)；当邻域S为边缘区域时，统计S中边缘点在四个区域内的数目，当45°对角线区域或者135°对角线区域内包含的边缘点数目最多时，不进行去块效应滤波处理；当垂直区域包含的边缘点数目最多时，只对垂直方向的边界进行去块效应滤波处理；当水平区域包含的边缘点数目最多时，只对水平方向的边界进行去块效应滤波处理。
2.如权利要求1所述的方法，其特征在于所述边缘信息包括邻域内各个方向的边缘强度和方向信息。
3.如权利要求1所述的方法，其特征在于所述领域分类包括平滑区域、边缘区域和纹理区域中的一种或多种。
4.如权利要求3所述的方法，其特征在于对不同的领域有选择地应用去方块滤波的步骤包括对纹理区域不进行去块效应滤波处理。
5.如权利要求3所述的方法，其特征在于对不同的领域有选择地应用去方块滤波的步骤包括对平滑区域，在水平或垂直两个方向进行环路滤波处理。
6.如权利要求3所述的方法，其特征在于对不同的领域有选择地应用去方块滤波的步骤包括在边缘区域，根据区域内边缘的方向和强度信息决定对水平和垂直两个方向是否进行环路滤波处理。
7.如权利要求6所述的方法，其特征在于所述边缘区域按边缘方向分为四个区域：垂直区域，对角线区域，水平区域，对不同的领域有选择地应用去方块滤波的步骤包括统计边缘点在不同区域的步骤。
8.如权利要求7所述的方法，其特征在于对不同的领域有选择地应用去方块滤波的步骤包括当对角线区域内包含的边缘点数目最多时，不 进行去块效应滤波处理。
9.如权利要求7所述的方法，其特征在于对不同的领域有选择地应用去方块滤波的步骤包括当垂直或水平区域包含的边缘点数目最多时，只对该垂直或水平方向的边界进行去块效应滤波处理。
10.如权利要求1所述的方法，其特征在于包括在使用边缘检测技术分析的步骤之前使用灰度信息将平滑类型的邻域分离的步骤。
11.一种应用于视频编解码的环路滤波器，包括：
使用边缘检测技术分析一个边界邻域内的边缘信息的模块，所述边缘信息包括邻域内各个方向的边缘强度和方向信息；
根据边缘信息将邻域分类的模块，所述分类包括分为平滑区域、边缘区域和纹理区域，其中首先使用灰度信息将平滑类型的邻域分离出来；
对不同类型的领域有选择地应用去方块滤波的模块，其中，边缘方向分为四个区域：垂直区域[0，π/8)和[7π/8，π)、对角线的45°区域[π/8，3π/8)、水平区域[3π/8，5π/8)、对角线的135°区域[5π/8，7π/8)；当邻域S为边缘区域时，统计S中边缘点在四个区域内的数目，当45°对角线区域或者135°对角线区域内包含的边缘点数目最多时，不进行去块效应滤波处理；当垂直区域包含的边缘点数目最多时，只对垂直方向的边界进行去块效应滤波处理；当水平区域包含的边缘点数目最多时，只对水平方向的边界进行去块效应滤波处理。
12.一种应用于视频编解码的环路滤波器，包括：
分类模块，使用灰度信息将平滑区域从边界邻域中分离，然后使用边缘检测技术分析边界邻域内的边缘信息，以便区分出纹理区域和边缘区域；
滤波模块，对平滑区域进行去方块的环路滤波，对边缘区域有选择地应用去方块滤波，对纹理区域不做滤波；
其中，边缘方向分为四个区域：垂直区域[0，π/8)和[7π/8，π)、对角线的45°区域[π/8，3π/8)、水平区域[3π/8，5π/8)、对角线的135°区域[5π/8，7π/8)；当邻域S为边缘区域时，统计S中边缘点在四个区域内的数目，当45°对角线区域或者135°对角线区域内包含的边缘点数目最多时，不进行去块效应滤波处理；当垂直区域包含的边缘点数目最多时，只对垂直方向的边界进行去块效应滤波处理；当水平区域包含的 边缘点数目最多时，只对水平方向的边界进行去块效应滤波处理。
13.如权利要求12所述的环路滤波器，其特征在于对角线区域内包含的边缘点数目最多时，不进行去块效应滤波处理。
14.如权利要求12所述的环路滤波器，其特征在于垂直或水平区域包含的边缘点数目最多时，只对该垂直或水平方向的边界进行去块效应滤波处理。
15.如权利要求12所述的环路滤波器，其特征在于所述分类模块是二叉树分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810226583 CN101742292B (zh) | 2008-11-14 | 2008-11-14 | 基于图像内容信息的环路滤波方法和滤波器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810226583 CN101742292B (zh) | 2008-11-14 | 2008-11-14 | 基于图像内容信息的环路滤波方法和滤波器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101742292A CN101742292A (zh) | 2010-06-16 |
| CN101742292B true CN101742292B (zh) | 2013-03-27 |
Family
ID=42465072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200810226583 Active CN101742292B (zh) | 2008-11-14 | 2008-11-14 | 基于图像内容信息的环路滤波方法和滤波器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101742292B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2011158657A1 (ja) * | 2010-06-17 | 2013-08-19 | シャープ株式会社 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
| CN103026708B (zh) * | 2010-07-28 | 2018-01-26 | 马维尔国际有限公司 | 数字视频信号中的块压缩赝像检测 |
| KR101526349B1 (ko) * | 2010-10-05 | 2015-06-05 | 미디어텍 인크. | 영역 기반의 적응 루프 필터링의 방법 및 장치 |
| CN102123285B (zh) * | 2011-03-23 | 2015-10-28 | 深圳市云宙多媒体技术有限公司 | 一种块效应去噪方法、装置 |
| AU2012327672B2 (en) * | 2011-10-24 | 2015-09-03 | Hfi Innovation Inc. | Method and apparatus for non-cross-tile loop filtering |
| CN102611831B (zh) * | 2012-01-12 | 2014-09-24 | 陆许明 | 降低压缩图像编码噪声的方法 |
| CN102547296B (zh) | 2012-02-27 | 2015-04-01 | 开曼群岛威睿电通股份有限公司 | 移动估计加速电路、移动估计方法及环路滤波加速电路 |
| CN103780914B (zh) * | 2012-02-27 | 2017-04-12 | 英特尔公司 | 环路滤波加速电路及环路滤波方法 |
| CN108566551B (zh) * | 2018-04-18 | 2020-11-27 | 上海顺久电子科技有限公司 | 一种图像处理方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1816149A (zh) * | 2005-02-06 | 2006-08-09 | 腾讯科技（深圳）有限公司 | 去除视频图像中块效应的滤波方法及环路滤波器 |
| CN1867075A (zh) * | 2005-09-19 | 2006-11-22 | 华为技术有限公司 | 图像编码处理中的环路滤波方法 |
| CN101207812A (zh) * | 2007-12-10 | 2008-06-25 | 海信集团有限公司 | 一种视频环路滤波方法 |
-
2008
- 2008-11-14 CN CN 200810226583 patent/CN101742292B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1816149A (zh) * | 2005-02-06 | 2006-08-09 | 腾讯科技（深圳）有限公司 | 去除视频图像中块效应的滤波方法及环路滤波器 |
| CN1867075A (zh) * | 2005-09-19 | 2006-11-22 | 华为技术有限公司 | 图像编码处理中的环路滤波方法 |
| CN101207812A (zh) * | 2007-12-10 | 2008-06-25 | 海信集团有限公司 | 一种视频环路滤波方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101742292A (zh) | 2010-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101742292B (zh) | 基于图像内容信息的环路滤波方法和滤波器 | |
| WO2018099136A1 (zh) | 一种低照度图像降噪方法、装置及存储介质 | |
| Huang et al. | An advanced single-image visibility restoration algorithm for real-world hazy scenes | |
| WO2022027931A1 (zh) | 基于视频图像的运动车辆前景检测方法 | |
| JP2006507775A (ja) | 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置 | |
| CN107729814B (zh) | 一种检测车道线的方法及装置 | |
| WO2020130799A1 (en) | A system and method for licence plate detection | |
| CN103905821A (zh) | 能够识别人脸的视频编码方法及装置 | |
| KR100903816B1 (ko) | 정지영상에서의 얼굴추출시스템과 그 방법 | |
| CN104700405A (zh) | 一种前景检测方法和系统 | |
| CN100367770C (zh) | 一种去除视频孤立噪声点的方法 | |
| CN107886518B (zh) | 图片检测方法、装置、电子设备及可读取存储介质 | |
| CN111080554B (zh) | 一种投影内容中字幕区域增强方法、装置及可读存储介质 | |
| Chen et al. | Edge preservation ratio for image sharpness assessment | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| KR101615479B1 (ko) | 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법 | |
| CN108269221B (zh) | 一种jpeg重压缩图像篡改定位方法 | |
| Mahmoud et al. | Edge-detected guided morphological filter for image sharpening | |
| US20130216097A1 (en) | Image-feature detection | |
| CN115830513A (zh) | 一种图像场景变化确定的方法、装置、系统及存储介质 | |
| CN116189037A (zh) | 一种火焰检测的识别方法、装置及终端设备 | |
| CN116030430A (zh) | 铁轨识别方法、装置、设备及存储介质 | |
| CN109784176B (zh) | 车载热成像行人检测RoIs提取方法和装置 | |
| CN111091526A (zh) | 一种视频模糊的检测方法和系统 | |
| Naseeba et al. | KP Visibility Restoration of Single Hazy Images Captured in Real-World Weather Conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20171221 Address after: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Co-patentee after: Vimicro Electronics Co., Ltd. Patentee after: Zhongxing Technology Co., Ltd. Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Co-patentee before: Vimicro Electronics Co., Ltd. Patentee before: Beijing Vimicro Corporation |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Co-patentee after: Vimicro Electronics Co., Ltd. Patentee after: Mid Star Technology Limited by Share Ltd Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Co-patentee before: Vimicro Electronics Co., Ltd. Patentee before: Zhongxing Technology Co., Ltd. |