CN104243994B - 一种实时运动感知图像增强的方法 - Google Patents
一种实时运动感知图像增强的方法 Download PDFInfo
- Publication number
- CN104243994B CN104243994B CN201410500982.0A CN201410500982A CN104243994B CN 104243994 B CN104243994 B CN 104243994B CN 201410500982 A CN201410500982 A CN 201410500982A CN 104243994 B CN104243994 B CN 104243994B
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- area
- quantization parameter
- macro block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种实时运动感知图像增强的方法，适用于视频会议系统，将前景、背景分离算法与图像编码器相结合，通过前景、背景分离算法获取图像的前景区域、背景区域和前景区域运动向量，并传输给图像编码器，增加了图像编码器先验知识，图像编码器根据当前编码宏块所处不同区域采用不同的策略进行编码。本发明的优点是：通过降低图像编码器的计算量，减少了图像编码器的性能消耗，又提高了图像编码器运动搜索的准确性，进而有效地提升了编码图像的质量。
Description
技术领域
本发明涉及视频编码领域，更具体地说，涉及一种实时运动感知图像增强、提升运动图像编码质量的方法。
背景技术
在视频编码领域，针对静态图像编码效率高，编码图像质量好，但是针对动态图像或者动态内容，在同等带宽条件下，编码效果较静态图像有一定差距，并且带宽越低，差异越明显。当前视频编码系统基本采用原始编码器的策略，针对新的一帧待编码图像没有任何先验知识，一般以图像宏块(一般是16*16的像素块)为单位，通过运动搜索(MotionEstimation)手段来判断该宏块是否运动，计算量大，并且过于局限于局部信息，部分情况下搜索匹配效果较差，影响编码图像质量。
混合高斯模型就是使用多个（基本为3到5个）高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。
目前存在的相关技术，比如2014-05-14公开的，公开号为103796028A的中国发明《一种视频编码中基于图像信息的运动搜索方法和装置》，其特征在于，所述方法包括：先对当前待编码图像进行前、背景性质划分，得到该图像的前、背景信息；再根据所述前景信息对前景区域采用高复杂度搜索方法，根据所述背景信息对背景区域采用低复杂度搜索方法。与该发明相比，本发明方法对前景信息和量化信息进行了不同的量化控制，有效提升了图像编码的整体效果，且本发明使用图像前景运动向量信息作为运动搜索的起始点，增加了编码器先验知识，从而进一步提升了运动搜索的准确性。
再如2013-06-26公开的，公开号为103179402A的中国发明《一种视频压缩编码与解码方法及其装置》，其特征在于，所述方法包括；实时建立视频的背景模型，并根据背景模型对背景视频进行压缩编码；检测前景运动目标，保存前景运动目标的相关信息，并根据检测到的前景运动目标对前景视频数据进行压缩编码；将所述压缩编码后的背景视频数据和前景视频数据融合后解码进行视频播放。该发明对前景、背景分别编码，并且解码端对两部分信息进行融合与解码操作，需要配对编码和解码系统，应用范围受限，而本发明方法仅仅使用前、背景信息对整幅图像进行编码，最终输出为一路码流，不需要解码端的任何处理，通用性更好。
发明内容
本发明要解决的技术问题，在于提供一种实时运动感知图像增强的方法，将前景、背景分离算法与图像编码器相结合，通过前景、背景分离算法获取图像的前景区域以及背景区域信息，并且将该信息传输给图像编码器，图像编码器对不同区域采用不同策略进行编码，从而提升总体编码图像的质量。
本发明要解决的技术问题是这样实现的：一种实时运动感知图像增强的方法，适用于视频会议系统，所述方法包括如下步骤：
步骤10、根据实际场景及需求动态调节图像的帧率，并对其中分辨率较高的图像进行缩小操作，降低图像的分辨率，这样可以减少系统性能的消耗；
步骤11、对经过步骤10处理后的图像建立混合高斯模型，判别所述图像的背景点与前景点，作为输出的背景信息和前景信息；
步骤12、提取步骤11输出的所述前景信息，对所述前景信息进行聚类操作，从而得到前景区域，然后剔除较小的前景区域；
步骤13、利用卡尔曼滤波算法（所述卡尔曼滤波算法是一种最优化自回归数据处理算法，它是现有的公开算法） 在所述前景区域内进行目标跟踪，得到前景区域的运动向量；
步骤14、将所述前景信息、背景信息和前景区域的运动向量作为图像的先验知识传递给图像编码器进行运动搜索和量化控制；
步骤15、进行图像编码。
进一步的，所述聚类操作是通过八邻域连通搜索算法（所述八邻域连通搜索算法是以一像素点为中心，搜索它的八个领域点作为一个连通区域的现有公开算法）对以像素为单位的前景信息进行处理，获得与每个像素点连通的矩形区域的集合作为前景区域。
进一步的，所述剔除较小的前景区域是采用噪声滤波的方式，设定一个滤波阈值，滤除低于该滤波阈值的前景区域。
进一步的，所述运动搜索是，图像编码器根据判断当前编码宏块所在区域进行不同位置的运动搜索：若当前编码宏块处于背景区域，则以当前位置作为起始点进行运动搜索，若当前编码宏块处于前景区域，则以所述前景区域的运动向量作为起始点进行运动搜索，这样进一步提升了运动搜索的准确性。
进一步的，所述量化控制是，图像编码器根据判断当前编码宏块所在区域来调整区域的量化参数：若当前编码宏块处于背景区域，则调整背景区域的量化参数比当前编码宏块邻域的量化参数大，若当前编码宏块处于前景区域，则调整前景区域的量化参数比当前编码宏块邻域的量化参数小，且所述背景区域的量化参数与当前编码宏块邻域的量化参数、所述前景区域的量化参数与当前编码宏块邻域的量化参数的差值范围均由图像编码器性能决定；根据不同区域调整相应的量化参数，可以有效提升编码图像的整体效果。
与现有技术相比，本发明具有如下优点：
1、前景、背景分离算法与图像编码器结合，获取准确的前景信息以及背景信息，增加了图像编码器先验知识，即根据当前编码宏块所处前景区域或者背景区域，为图像编码器提供不同的量化控制策略，进而提升编码图像质量；
2、通过前景、背景分离算法获得前景区域的运动向量，提高图像编码器运动搜索的准确性，进而可以降低图像编码器的计算量（通常编码器的运动搜索模块性能耗费占整个编码器性能耗费的60%以上），特别是针对大分辨率编码系统（例如1080P编码）很有意义。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
请参阅图1，本发明一种实时运动感知图像增强的方法，此方法适用于视频会议系统，包括如下步骤：
步骤10、根据实际场景及需求动态调节图像的帧率，并对其中分辨率较高的图像进行缩小操作，降低图像的分辨率，这样可以减少系统性能的消耗；
步骤11、对经过步骤10处理后的图像建立混合高斯模型，判别所述图像的背景点与前景点，作为输出的背景信息和前景信息；
步骤12、提取步骤11输出的所述前景信息，对所述前景信息进行聚类操作，从而得到前景区域覆盖范围并剔除覆盖范围过小的前景区域；
步骤13、利用卡尔曼滤波算法在所述前景区域的覆盖范围内进行目标跟踪，得到前景区域的运动向量；
步骤14、将所述前景信息、背景信息和前景区域的运动向量作为图像的先验知识传递给图像编码器进行运动搜索和量化控制；
步骤15、进行图像编码。
所述步骤10至步骤13作为前景、背景分离算法的整体，得到前景信息、背景信息和前景区域的运动向量传递给图像编码器，增加了图像编码器先验知识，进而有利于提升编码图像质量。
所述聚类操作是通过八邻域连通搜索算法对以像素为单位的前景信息进行处理，获得与每个像素点连通的矩形区域的集合作为前景区域；例如，以一像素点为中心，可以取与该像素点邻近的上、下、左、右、左上、左下、右上、右下共八个像素点围成一个连通的矩形区域。
所述剔除覆盖范围过小的前景区域是采用噪声滤波的方式，根据实际场景设定一个滤波阈值，滤除低于该滤波阈值的前景区域，例如，在视频会议系统中，可以设定滤波阈值为图像总像素数目的5%。
所述运动搜索是，图像编码器根据判断当前编码宏块所在区域进行不同位置的运动搜索：若当前编码宏块处于背景区域，则以当前位置作为起始点进行运动搜索，若当前编码宏块处于前景区域，则以所述前景区域的运动向量作为起始点进行运动搜索，这样可以进一步提升运动搜索的准确性。
所述量化控制是，图像编码器根据判断当前编码宏块所在区域来调整区域的量化参数：若当前编码宏块处于背景区域，则调整背景区域的量化参数比当前编码宏块邻域的量化参数大，若当前编码宏块处于前景区域，则调整前景区域的量化参数比当前编码宏块邻域的量化参数小，且所述背景区域的量化参数与当前编码宏块邻域的量化参数、所述前景区域的量化参数与当前编码宏块邻域的量化参数的差值范围均由图像编码器性能决定；以h.264编码器为例，所述差值范围最大不能超过4；根据当前编码宏块所处不同区域调整相应的量化参数，可以有效提升编码图像的整体效果。
本发明方法适用于视频会议系统，但不局限于视频会议系统，还可以应用在其它动态图像处理的过程，既能减少图像编码器性能消耗，又能有效提升编码图像的质量，通用性更好。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (5)
1.一种实时运动感知图像增强的方法，适用于视频会议系统，其特征在于：所述方法包括如下步骤：
步骤10、根据实际场景及需求动态调节图像的帧率，并对其中分辨率较高的图像进行缩小操作，降低图像的分辨率；
步骤11、对经过步骤10处理后的图像建立混合高斯模型，判别所述图像的背景点与前景点，作为输出的背景信息和前景信息；
步骤12、提取步骤11输出的所述前景信息，对所述前景信息进行聚类操作，从而得到前景区域，然后剔除较小的前景区域；
步骤13、利用卡尔曼滤波算法在所述前景区域内进行目标跟踪，得到前景区域的运动向量；
步骤14、将所述前景信息、背景信息和前景区域的运动向量作为图像的先验知识传递给图像编码器进行运动搜索和量化控制；
步骤15、进行图像编码。
2.根据权利要求1所述的一种实时运动感知图像增强的方法，其特征在于：所述聚类操作是通过八邻 域连通搜索算法对以像素为单位的前景信息进行处理，获得与每个像素点连通的矩形区域的集合作为前景区域。
3.根据权利要求1所述的一种实时运动感知图像增强的方法，其特征在于：所述剔除较小前景区域是采用噪声滤波的方式，设定一个滤波阈值，滤除低于该滤波阈值的前景区域。
4.根据权利要求1所述的一种实时运动感知图像增强的方法，其特征在于：所述运动搜索是，图像编码器根据判断当前编码宏块所在区域进行不同位置的运动搜索：若当前编码宏块处于背景区域，则以当前位置作为起始点进行运动搜索，若当前编码宏块处于前景区域，则以所述前景区域的运动向量作为起始点进行运动搜索。
5.根据权利要求1所述的一种实时运动感知图像增强的方法，其特征在于：所述量化控制是，图像编码器根据判断当前编码宏块所在区域来调整区域的量化参数：若当前编码宏块处于背景区域，则调整背景区域的量化参数比当前编码宏块邻域的量化参数大，若当前编码宏块处于前景区域，则调整前景区域的量化参数比当前编码宏块邻域的量化参数小，且所述背景区域的量化参数与当前编码宏块邻域的量化参数、所述前景区域的量化参数与当前编码宏块邻域的量化参数的差值范围均由图像编码器性能决定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410500982.0A CN104243994B (zh) | 2014-09-26 | 2014-09-26 | 一种实时运动感知图像增强的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410500982.0A CN104243994B (zh) | 2014-09-26 | 2014-09-26 | 一种实时运动感知图像增强的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104243994A CN104243994A (zh) | 2014-12-24 |
| CN104243994B true CN104243994B (zh) | 2017-06-27 |
Family
ID=52231212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410500982.0A Active CN104243994B (zh) | 2014-09-26 | 2014-09-26 | 一种实时运动感知图像增强的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104243994B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506852B (zh) * | 2014-12-25 | 2016-08-24 | 北京航空航天大学 | 一种面向视频会议编码的客观质量评估方法 |
| CN105451023B (zh) * | 2015-11-20 | 2018-10-02 | 南京杰迈视讯科技有限公司 | 一种运动感知的视频存储系统和方法 |
| CN109951706B (zh) * | 2019-04-22 | 2021-01-01 | 湖南国科微电子股份有限公司 | 一种视频编码方法、装置及编码器 |
| CN113438483B (zh) * | 2020-03-23 | 2022-05-10 | 浙江大学 | 一种众包的视频编码方法与装置 |
| TWI775158B (zh) * | 2020-09-25 | 2022-08-21 | 宏碁股份有限公司 | 顯示系統及其影像清晰度強化方法 |
| CN117857808B (zh) * | 2024-03-06 | 2024-06-04 | 深圳市旭景数字技术有限公司 | 一种基于数据分类压缩的高效视频传输方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006473A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 视频编码器和编码方法以及视频解码器和解码方法 |
| CN103179402A (zh) * | 2013-03-19 | 2013-06-26 | 中国科学院半导体研究所 | 一种视频压缩编码与解码方法及其装置 |
| CN103796028A (zh) * | 2014-02-26 | 2014-05-14 | 北京大学 | 一种视频编码中基于图像信息的运动搜索方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090062049A (ko) * | 2007-12-12 | 2009-06-17 | 삼성전자주식회사 | 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템 |
-
2014
- 2014-09-26 CN CN201410500982.0A patent/CN104243994B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006473A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 视频编码器和编码方法以及视频解码器和解码方法 |
| CN103179402A (zh) * | 2013-03-19 | 2013-06-26 | 中国科学院半导体研究所 | 一种视频压缩编码与解码方法及其装置 |
| CN103796028A (zh) * | 2014-02-26 | 2014-05-14 | 北京大学 | 一种视频编码中基于图像信息的运动搜索方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104243994A (zh) | 2014-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104243994B (zh) | 一种实时运动感知图像增强的方法 | |
| CN110087087B (zh) | Vvc帧间编码单元预测模式提前决策及块划分提前终止方法 | |
| CN103002289B (zh) | 面向监控应用的视频恒定质量编码装置及其编码方法 | |
| CN111355956A (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法 | |
| CN102917225B (zh) | Hevc帧内编码单元快速选择方法 | |
| US8165344B2 (en) | Image processing apparatus, moving image encoding apparatus, information processing method and information processing program | |
| CN107371022B (zh) | 应用于hevc医学影像无损编码的帧间编码单元快速划分方法 | |
| CN101207810A (zh) | 一种h264视频编码快速模式选择方法和装置 | |
| CN102324019A (zh) | 一种视频序列中自动提取手势候选区域的方法及系统 | |
| CN107454395A (zh) | 一种高清网络摄像机及智能码流控制方法 | |
| CN102630043A (zh) | 一种基于对象的视频转码方法和装置 | |
| Li et al. | Fast motion estimation methods for HEVC | |
| CN107018412B (zh) | 一种基于关键帧编码单元划分模式的dvc-hevc视频转码方法 | |
| Chen et al. | Compressed domain deep video super-resolution | |
| CN102663375A (zh) | H.264中基于数字水印技术的主动目标识别方法 | |
| CN105554502A (zh) | 基于前景背景分离的分布式压缩感知视频编解码方法 | |
| CN106993187A (zh) | 一种可变帧率的编码方法及装置 | |
| CN105657420A (zh) | 一种面向hevc的快速帧内预测模式判决方法和装置 | |
| WO2017004889A1 (zh) | 基于jnd因子的超像素高斯滤波预处理方法 | |
| CN108833925B (zh) | 一种基于深度神经网络的帧间预测方法 | |
| CN108769696A (zh) | 一种基于Fisher判别式的DVC-HEVC视频转码方法 | |
| Chen et al. | Efficient partition decision based on visual perception and machine learning for H. 266/versatile video coding | |
| CN115482265A (zh) | 一种基于连续视频流的室外场景深度补全方法 | |
| CN105825234A (zh) | 一种融合超像素和背景模型的前景检测方法 | |
| CN101436301A (zh) | 视频编码中特征运动区域的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230525 Address after: Room 208-7, Hengye Building, No. 100 Xiangxing Road, Xiang'an Industrial Zone, Torch High tech Zone, Xiamen City, Fujian Province, 361100 Patentee after: Xiamen Yilian Communication Technology Co.,Ltd. Address before: 361009 unit 402-502, No.63, erwanghailu, software park, Xiamen City, Fujian Province Patentee before: YEALINK (XIAMEN) NETWORK TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |