CN105472205A - 编码过程中的实时视频降噪方法和装置 - Google Patents

编码过程中的实时视频降噪方法和装置 Download PDF

Info

Publication number
CN105472205A
CN105472205A CN201510798985.1A CN201510798985A CN105472205A CN 105472205 A CN105472205 A CN 105472205A CN 201510798985 A CN201510798985 A CN 201510798985A CN 105472205 A CN105472205 A CN 105472205A
Authority
CN
China
Prior art keywords
macro block
current sub
sub
noise reduction
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510798985.1A
Other languages
English (en)
Other versions
CN105472205B (zh
Inventor
邓海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510798985.1A priority Critical patent/CN105472205B/zh
Publication of CN105472205A publication Critical patent/CN105472205A/zh
Priority to PCT/CN2016/082415 priority patent/WO2017084258A1/zh
Priority to KR1020187015730A priority patent/KR102123958B1/ko
Priority to JP2018526059A priority patent/JP6615346B2/ja
Priority to EP16865440.8A priority patent/EP3379817B1/en
Priority to US15/699,710 priority patent/US10587874B2/en
Application granted granted Critical
Publication of CN105472205B publication Critical patent/CN105472205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种编码过程中的实时视频降噪方法和装置。所述方法包括以下步骤：获取图像的当前帧及当前帧中的平坦区域；对所述平坦区域进行降噪处理；判断所述当前帧是否为P帧，若是，则读取所述当前帧的子宏块，若否，则结束；判断读取的当前子宏块是否为帧间子宏块，若是，则对读取的当前子宏块进行整数离散余弦变换降噪处理，再判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；否则读取下一个子宏块，再进入判断读取的当前子宏块是否为帧间子宏块的步骤。上述实时视频降噪方法和装置，由于整数离散余弦变换是编码过程中的已有模块，直接复用，从而减小了计算量，通过降噪降低了码流，适应实时视频，缓解网络带宽瓶颈。

Description

编码过程中的实时视频降噪方法和装置
技术领域
本发明涉及信号处理领域，特别是涉及一种编码过程中的实时视频降噪方法和装置。
背景技术
目前绝大多数智能手机都已经具有视频拍摄功能，由于受镜头和成本限制，导致单像素上的光通量较小，采集的视频中含有大量随机噪声，尤其在场景较暗弱的情况下更加明显。这种噪声一方面破坏了图像的清晰度和质量，另一方面使得编码时残差过大，导致码流增加，加剧了网络和存储的负担。
对视频进行降噪预处理不仅可以提高视频质量，有利于网络传输。因此视频降噪对于带宽受限的实时流媒体服务、移动可视电话、网络视频聊天等具有一定的实用价值。
目前的降噪方法一般是基于空间域或时间域。空间域降噪只考虑单幅图像中相邻像素之间的相关性，如均值降噪、非局部平均(NonLocalMeans，简称NLM)、三维块匹配(BlockMatch3D，简称BM3D)等。均值降噪平滑了边缘和纹理区域，导致图像质量下降，NLM和BM3D计算量非常大，无法适应视频聊天的场合。时间域降噪考虑了相邻帧之间的信息，其基本思路是判断前景和背景像素，对于静止的背景区域采用时间域均值降噪，对于运动的前景区域采用空间域降噪。这种方法的难点在于前背景的准确判断，同时需要缓存多帧数据，同样不太适应手机端。
另外变换域的方法，即将图像通过某种变换如小波、傅里叶变换等，转换到频率域中。对处于高频段的系数进行降噪处理，也取得了不错的效果。这类方法需要额外的转换过程，而且计算复杂度比较高。
发明内容
基于此，有必要针对目前的降噪方法计算量大无法适应实时视频的问题，提供一种编码过程中的实时视频降噪方法，可以充分利用编码过程中已有的整数离散余弦变换的信息，减小计算量，适应实时视频，缓解网络带宽瓶颈。
此外，还有必要提供一种编码过程中的实时视频降噪装置，能减小计算量，适应实时视频，缓解网络带宽瓶颈。
一种编码过程中的实时视频降噪方法，包括以下步骤：
获取图像的当前帧及当前帧中的平坦区域；
对所述平坦区域进行降噪处理；
判断所述当前帧是否为P帧，若是，则读取所述当前帧的子宏块，若否，则结束；
判断读取的当前子宏块是否为帧间子宏块，若是，则对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；
否则读取下一个子宏块，再进入判断读取的当前子宏块是否为帧间子宏块的步骤。
一种编码过程中的实时视频降噪装置，包括：
获取模块，用于获取当前帧及当前帧中的平坦区域；
降噪模块，用于对所述平坦区域进行降噪处理；
判断模块，用于判断所述当前帧是否为P帧，若是，则读取模块用于读取所述当前帧的子宏块，若否，则结束；
所述判断模块还用于判断读取的当前子宏块是否为帧间子宏块，若是，则所述降噪模块还用于对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再由所述判断模块判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；
否则所述读取模块还用于读取下一个子宏块，再由所述判断模块判断读取的当前子宏块是否为帧间子宏块。
上述编码过程中的实时视频降噪方法和装置，首先通过对图像的平坦区域进行降噪处理，降低了平坦区域的噪声，再对当前帧的子宏块进行整数离散余弦变换，并对整数离散余弦变换后的当前子宏块进行降噪处理，由于整数离散余弦变换是编码过程中的已有模块，因此可以直接复用，从而减小了计算量，通过降噪降低了码流，适应实时视频，缓解网络带宽瓶颈。
附图说明
图1为一个实施例中编码过程中的实时视频降噪方法的应用环境示意图；
图2为一个实施例中图1中的终端的内部结构示意图；
图3为一个实施例中编码过程中的实时视频降噪方法的流程图；
图4为对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理的具体流程图；
图5为一个实施例中编码过程中的实时视频降噪装置的结构框图；
图6为另一个实施例中编码过程中的实时视频降噪装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中编码过程中的实时视频的降噪方法的应用环境示意图。该应用环境可包括一个或多个终端。该实时视频的降噪方法可应用于一个终端的视频拍摄功能中的视频降噪处理或实时流媒体服务中的视频降噪处理，也可应用于多个终端之间进行实时视频通话中视频的降噪处理。图1是以两个终端进行实时视频通话的应用环境，仅为示例，不限于此。在其他实施例中，多个终端之间也可通过服务器传输数据。
图2为一个实施例中图1中的终端的内部结构示意图。如图2所示，该终端包括通过系统总线连接的处理器、存储介质、内存、网络接口、声音采集装置、显示屏、扬声器和输入装置。其中，终端的存储介质存储有操作系统，还包括一种编码过程中的实时视频降噪装置，该编码过程中的实时视频降噪装置用于实现一种编码过程中的实时视频降噪方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。终端中的内存为存储介质中的实时视频降噪的装置的运行提供环境，网络接口用于与服务器或其他终端进行网络通信，如发送数据至服务器或终端，接收服务器或终端返回的数据等。终端的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑或者个人数字助理。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图3为一个实施例中编码过程中的实时视频降噪方法的流程图。如图3所示，一种编码过程中的实时视频降噪方法，包括以下步骤：
步骤302，获取图像的当前帧及当前帧中的平坦区域。
在一个实施例中，获取当前帧中的平坦区域的步骤包括：获取当前帧中的当前像素点及选取的包含当前像素点的区域；判断该区域中其余像素点的像素值与该当前像素点的像素值的差值的绝对值是否小于给定阈值，若是，则认为该区域属于平坦区域，若否，则不认为该区域为平坦区域。
具体地，图像可采用YUV或RGB颜色空间表示。YUV中Y表示明亮度，即灰阶值，U和V表示色度，用于描述图像的色彩和饱和度，指定像素的颜色。RGB是指Red(红色)、Green(绿色)、Blue(蓝色)。
设图像灰度的取值范围为[0，255]，图像的宽度为M，高度为N。给定阈值为TH，当前像素点(i,j)的像素值为p(i,j)，滤波器模板的半径为r，以滤波器模板的半径r范围为选取的包含当前像素点的区域。当以滤波器模板的半径r范围内的像素点的像素值与当前像素点(i,j)的像素值p(i,j)的差值的绝对值小于给定阈值TH，则认为以滤波器模板的半径r范围的区域为平坦区域。
步骤304，对该平坦区域进行降噪处理。
具体地，对平坦区域中像素点进行降噪处理可采用均值降噪或加权平均降噪。
对平坦区域中像素点进行均值降噪处理得到的该像素点的像素值可为将平坦区域中与该像素点的像素值的差值的绝对值小于给定阈值的所有像素点的像素值的平均值。
计算公式如公式(1)和(2)。
p ′ ( i , j ) = Σ m = i - r / 2 , n = j - r / 2 m = i + r / 2 , n = j + r / 2 s i g n ( m , n ) * p ( m , n ) / Σ m = i - r / 2 , n = j - r / 2 m = i + r / 2 , n = j + r / 2 s i g n ( m , n ) 公式(1)
其中， s i g n ( m , n ) = 1 i f ( a b s ( p ( i , j ) - p ( m , n ) ) < T H 0 e l s e 公式(2)
p(i,j)表示像素点(i,j)降噪前的像素值，p(m,n)表示像素点(m,n)降噪前的像素值，p'(i,j)表示像素点(i,j)降噪后的像素值。(m,n)的值由半径r确定。
对平坦区域中像素点进行加权平均降噪是指对上述公式(1)(2)中每个参与计算的像素点赋予一个权重值。将平坦区域中与像素点的像素值的差值的绝对值小于给定阈值的所有像素点的像素值乘以所对应的权重值，然后再求取平均值，得到该像素点降噪后的像素值。
此处的给定阈值TH可以由滤波强度控制。如果TH＝255，则退化为普通的均值滤波，此时滤波强度最大；如果TH＝0，则不对图像进行滤波。因此在带宽较低的情况下，可以适当加大TH的值，对图像进行较强滤波，以降低码率。在带宽较高的情况下，可以降低TH的值，使得其仅对平坦区域进行滤波，防止破坏纹理和边界信息。
步骤306，判断该当前帧是否为P帧，若是，执行步骤308，若否，则结束。
具体地，视频编码中帧分为I帧、P帧和B帧。I帧是帧内参考帧，也称之为关键帧，是GOP(GroupofPictures，画面组)编码的第一帧，其编码不依赖于前后帧。P帧是通过充分降低与图像序列中前面已编码帧的时间冗余信息来压缩传输的数据量的编码图像，也叫预测帧。B帧是双向预测帧，其参考帧为邻近的前几帧、本帧以及后几帧。在视频编码中设定了I帧间隔后，相邻两个I帧之间只能为P帧或B帧，对于视频通话的应用场景而言，其实时性要求很高，一般选用I帧和P帧，不使用带有延迟的B帧。
步骤308，读取该当前帧的子宏块。
具体地，当前帧可为一个宏块(macroblock)，可以被分为多个子宏块。以H.264为例，子宏块的大小可能为8×8、16×16等。子宏块的大小小于或者等于宏块。首先，读取当前帧的第一个子宏块。
步骤310，判断读取的当前子宏块是否为帧间子宏块，若是，则执行步骤312，若否，则执行步骤316。
具体地，帧间子宏块是指inter子宏块，可以通过参考块的值调整inter子宏块的系数，使得inter子宏块更接近于其参考块。因intra块没有对应的参考块，所以不进行处理。intra块只依赖于本帧，并且是根据本帧位置的上方像素和左边像素预测得到的。
步骤312，对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理。
具体地，在编码过程中对读取的当前子宏块进行整数离散余弦变换。
步骤314，判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束，若否，则执行步骤316。
步骤316，读取下一个子宏块，再进入步骤310。
上述编码过程中的实时视频降噪方法，首先通过对图像的平坦区域进行降噪处理，降低了平坦区域的噪声，再对当前帧的子宏块进行整数离散余弦变换，并对整数离散余弦变换后的当前子宏块进行降噪处理，由于整数离散余弦变换是编码过程中的已有模块，因此可以直接复用，从而减小了计算量。通过降噪降低了码流，适应实时视频，缓解网络带宽瓶颈。
在一个实施例中，如图4所示，对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理的步骤包括：
步骤402，对读取的当前子宏块的残差系数进行整数离散余弦变换得到当前子宏块的非直流分量系数。
具体地，残差系数是指待编码图像和预测图像之间的差值。预测图像是在编码过程中生成的。
步骤404，对该当前子宏块的非直流分量系数进行调整，以使该非直流分量系数的绝对值向0调整。
具体地，残差系数经过DCT变换后，最开始的第0个系数为低频的直流分量，其余的系数统称为非直流分量。直流分量是块的低频分量，决定了图像明暗程度。非直流分量是图像的高频分量，决定了图像的细节。由于滤除的噪声主要位于中高频，所以主要对非直流分量进行处理。
在一个实施例中，对当前子宏块的非直流分量系数进行调整，以使该非直流分量系数的绝对值向0调整的步骤包括：
若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，则将该非直流分量系数保留原来的符号位，并减小非直流分量系数的绝对值；
若当前子宏块的非直流分量系数的绝对值小于当前子宏块的非直流分量系数的，则将该非直流分量系数的值为0。
进一步的，若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，则将该非直流分量系数保留原来的符号位，并减小非直流分量系数的绝对值的步骤包括：
若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，且非直流分量系数的值大于0，则将该非直流分量系数减小该偏移量，若非直流分量系数的值小于0，则将该非直流分量系数加上该偏移量。
在一个实施例中，上述编码过程中的实时视频降噪方法还包括：获取当前子宏块的每个系数的偏移量。
获取当前子宏块的每个系数的偏移量的步骤包括：获取降噪强度、已处理的与当前子宏块尺寸相同的子宏块的次数及当前子宏块的非直流分量系数；根据该降噪强度、次数及当前子宏块的非直流分量系数计算得到当前子宏块的非直流分量系数的偏移量。
偏移量offset表示子宏块每个系数对应的偏移量，其是一个统计值。以H.264为例，其子宏块的类型可以分为亮度4×4、8×8、16×16，色度4×4、8×8。
每个类型的子宏块的offset计算公式如公式(3)。
offset(i)＝(strength*count+sum(i)/2)/(sum(i)+1)公式(3)
其中，offset(i)表示子宏块的第i个系数的偏移量，strength为降噪强度，count为已处理的与当前子宏块尺寸相同的子宏块的次数，sum(i)表示i个系数值之和，加上sum(i)/2是为了四舍五入，分母中加1是为了防止分母为0，上述公式(3)也可以进行变形，如分母中加入的1可为其他正数等。
如果滤波强度strength增加，那么offset(i)的值将会增加，子宏块每个非直流分量系数成为零的概率就会增大，从而使得Inter子宏块更相似于对应的参考块。最终达到降低码率和降噪的目的。如果网络带宽或者存储空间不足，可以增强滤波强度strength，达到降低码率的目的。
图5为一个实施例中编码过程中的实时视频降噪装置的结构框图。如图5所示，一种实时视频的降噪装置，包括获取模块510、降噪模块520、判断模块530、读取模块540。其中：
获取模块510用于获取当前帧及当前帧中的平坦区域。
本实施例中，获取模块510用于获取当前帧中的当前像素点及选取的包含当前像素点的区域；判断该区域中其余像素点的像素值与该当前像素点的像素值的差值的绝对值是否小于给定阈值，若是，则认为该区域属于平坦区域，若否，则不认为该区域为平坦区域。
设图像灰度的取值范围为[0，255]，图像的宽度为M，高度为N。给定阈值为TH，当前像素点(i,j)的像素值为p(i,j)，滤波器模板的半径为r，以滤波器模板的半径r范围为选取的包含当前像素点的区域。当以滤波器模板的半径r范围内的像素点的像素值与当前像素点(i,j)的像素值p(i,j)的差值的绝对值小于给定阈值TH，则认为以滤波器模板的半径r范围的区域为平坦区域。
降噪模块520用于对该平坦区域进行降噪处理。
具体地，降噪模块520对平坦区域中像素点进行降噪处理可采用均值降噪或加权平均降噪。
对平坦区域中像素点进行均值降噪处理得到的该像素点的像素值可为将平坦区域中与该像素点的像素值的差值的绝对值小于给定阈值的所有像素点的像素值的平均值。
计算公式如公式(1)和(2)。
p &prime; ( i , j ) = &Sigma; m = i - r / 2 , n = j - r / 2 m = i + r / 2 , n = j + r / 2 s i g n ( m , n ) * p ( m , n ) / &Sigma; m = i - r / 2 , n = j - r / 2 m = i + r / 2 , n = j + r / 2 s i g n ( m , n ) 公式(1)
其中， s i g n ( m , n ) = 1 i f ( a b s ( p ( i , j ) - p ( m , n ) ) < T H 0 e l s e 公式(2)
p(i,j)表示像素点(i,j)降噪前的像素值，p(m,n)表示像素点(m,n)降噪前的像素值，p'(i,j)表示像素点(i,j)降噪后的像素值。(m,n)的值由半径r确定。
对平坦区域中像素点进行加权平均降噪是指对上述公式(1)(2)中每个参与计算的像素点赋予一个权重值。将平坦区域中与像素点的像素值的差值的绝对值小于给定阈值的所有像素点的像素值乘以所对应的权重值，然后再求取平均值，得到该像素点降噪后的像素值。
此处的给定阈值TH可以由滤波强度控制。如果TH＝255，则退化为均值滤波，此时滤波强度最大；如果TH＝0，则不对图像进行滤波。因此在带宽较低的情况下，可以适当加大TH的值，对图像进行较强滤波，以降低码率。在带宽较高的情况下，可以降低TH的值，使得其仅对平坦区域进行滤波，防止破坏纹理和边界信息。
判断模块530用于判断该当前帧是否为P帧，若是，则读取模块540用于读取该当前帧的子宏块，若否，则结束。
具体地，视频编码中帧分为I帧、P帧和B帧。I帧是帧内参考帧，也称之为关键帧，是GOP编码的第一帧，其编码不依赖于前后帧。P帧是通过充分降低与图像序列中前面已编码帧的时间冗余信息来压缩传输的数据量的编码图像，也叫预测帧。B帧是双向预测帧，当把一帧压缩成B帧时，其参考帧为邻近的前几帧、本帧以及后几帧。在视频编码中设定了I帧间隔后，相邻两个I帧之间只能为P帧或B帧，对于视频通话的应用场景而言，其实时性要求很高，一般选用I帧和P帧，不使用带有延迟的B帧。
判断模块530还用于判断读取的当前子宏块是否为帧间子宏块，若是，则该降噪模块还用于对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再由该判断模块530判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；否则该读取模块540还用于读取下一个子宏块，再由该判断模块540判断读取的当前子宏块是否为帧间子宏块。
帧间子宏块是指inter子宏块，可以通过参考块的值调整inter子宏块的系数，使得inter子宏块更类似于其参考块。因intra块没有对应的参考块，所以不进行处理。intra块只依赖于本帧，并且是根据本帧位置的上方像素和左边像素预测得到的。
上述编码过程中的实时视频降噪装置，首先通过对图像的平坦区域进行降噪处理，降低了平坦区域的噪声，再对当前帧的子宏块进行整数离散余弦变换，并对整数离散余弦变换后的当前子宏块进行降噪处理，由于整数离散余弦变换是编码过程中的已有模块，因此可以直接复用，从而减小了计算量，通过降噪降低了码流，适应实时视频，缓解网络带宽瓶颈。
在一个实施例中，降噪模块520还用于对读取的当前子宏块的残差系数进行整数离散余弦变换得到当前子宏块的非直流分量系数；以及对该当前子宏块的非直流分量系数进行调整，以使该非直流分量系数的绝对值向0调整。
具体地，残差系数经过DCT变换后，最开始的第0个系数为低频的直流分量，其余的系数统称为非直流分量。直流分量是块的低频分量，决定了图像明暗程度。非直流分量是图像的高频分量，决定了图像的细节。由于滤除的噪声主要位于中高频，所以主要对非直流分量进行处理。
在一个实施例中，降噪模块520还用于若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，则将该非直流分量系数保留原来的符号位，并减小非直流分量系数的绝对值；以及若当前子宏块的非直流分量系数的绝对值小于当前子宏块的非直流分量系数的，则将该非直流分量系数的值为0。
进一步的，降噪模块520还用于若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，且非直流分量系数的值大于0，则将该非直流分量系数减小该偏移量，若非直流分量系数的值小于0，则将该非直流分量系数加上该偏移量。
图6为另一个实施例中编码过程中的实时视频降噪装置的结构框图。如图6所示，一种编码过程中的实时视频降噪装置，除了包括获取模块510、降噪模块520、判断模块530和读取模块540，还包括偏移量获取模块550。
偏移量获取模块550用于获取当前子宏块的每个系数的偏移量，具体的包括：获取降噪强度、已处理的与当前子宏块尺寸相同的子宏块的次数及当前子宏块的非直流分量系数；以及根据该降噪强度、次数及当前子宏块的非直流分量系数计算得到当前子宏块的非直流分量系数的偏移量。
偏移量offset表示子宏块每个系数对应的偏移量，其是一个统计值。以H.264为例，其子宏块的类型可以划分为亮度4×4、8×8、16x16，色度4×4、8×8。
每个类型的子宏块的offset计算公式如公式(3)。
offset(i)＝(strength*count+sum(i)/2)/(sum(i)+1)公式(3)
其中，offset(i)表示子宏块的第i个系数的偏移量，strength为降噪强度，count为已处理的与当前子宏块尺寸相同的子宏块的次数，sum(i)表示i个系数值之和，加上sum(i)/2是为了四舍五入，分母中加1是为了防止分母为0，上述公式(3)也可以进行变形，如分母中加入的1可为其他正数等。
如果滤波强度strength增加，那么offset(i)的值将会增加，子宏块每个非直流分量系数成为零的概率就会增大，从而使得Inter子宏块更相似于对应的参考块。最终达到降低码率和降噪的目的。如果网络带宽或者存储空间不足，可以增强滤波强度，达到降低码率的目的。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种编码过程中的实时视频降噪方法，包括以下步骤：
获取图像的当前帧及当前帧中的平坦区域；
对所述平坦区域进行降噪处理；
判断所述当前帧是否为P帧，若是，则读取所述当前帧的子宏块，若否，则结束；
判断读取的当前子宏块是否为帧间子宏块，若是，则对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；
否则读取下一个子宏块，再进入判断读取的当前子宏块是否为帧间子宏块的步骤。
2.根据权利要求1所述的方法，其特征在于，所述获取当前帧中的平坦区域的步骤包括：
获取当前帧中的当前像素点及选取的包含当前像素点的区域；
判断所述区域中其余像素点的像素值与所述当前像素点的像素值的差值的绝对值是否小于给定阈值，若是，则认为所述区域属于平坦区域，若否，则不认为所述区域为平坦区域。
3.根据权利要求1所述的方法，其特征在于，所述对平坦区域进行降噪处理的步骤包括：
对所述平坦区域进行均值降噪处理或加权平均降噪处理。
4.根据权利要求1所述的方法，其特征在于，所述对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理的步骤包括：
对读取的当前子宏块的残差系数进行整数离散余弦变换得到当前子宏块的非直流分量系数；
对所述当前子宏块的非直流分量系数进行调整，以使所述非直流分量系数的绝对值向0调整。
5.根据权利要求4所述的方法，其特征在于，对所述当前子宏块的非直流分量系数进行调整，以使所述非直流分量系数的绝对值向0调整的步骤包括：
若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，则将所述非直流分量系数保留原来的符号位，并减小非直流分量系数的绝对值；
若当前子宏块的非直流分量系数的绝对值小于当前子宏块的非直流分量系数的，则将所述非直流分量系数的值置为0。
6.根据权利要求5所述的方法，其特征在于，若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，则将所述非直流分量系数保留原来的符号位，并减小非直流分量系数的绝对值的步骤包括：
若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，且非直流分量系数的值大于0，则将所述非直流分量系数减小所述偏移量，若非直流分量系数的值小于0，则将所述非直流分量系数加上所述偏移量。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
获取降噪强度、已处理的与当前子宏块尺寸相同的子宏块的次数及当前子宏块的非直流分量系数；
根据所述降噪强度、次数及当前子宏块的非直流分量系数计算得到当前子宏块的非直流分量系数的偏移量。
8.一种编码过程中的实时视频降噪装置，其特征在于，包括：
获取模块，用于获取当前帧及当前帧中的平坦区域；
降噪模块，用于对所述平坦区域进行降噪处理；
判断模块，用于判断所述当前帧是否为P帧，若是，则读取模块用于读取所述当前帧的子宏块，若否，则结束；
所述判断模块还用于判断读取的当前子宏块是否为帧间子宏块，若是，则所述降噪模块还用于对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再由所述判断模块判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；
否则所述读取模块还用于读取下一个子宏块，再由所述判断模块判断读取的当前子宏块是否为帧间子宏块。
9.根据权利要求8所述的装置，其特征在于，所述获取模块还用于获取当前帧中的当前像素点及选取的包含当前像素点的区域；
以及判断所述区域中其余像素点的像素值与所述当前像素点的像素值的差值的绝对值是否小于给定阈值，若是，则认为所述区域属于平坦区域，若否，则不认为所述区域为平坦区域。
10.根据权利要求8所述的装置，其特征在于，所述降噪模块还用于对所述平坦区域进行均值降噪处理或加权平均降噪处理。
11.根据权利要求8所述的装置，其特征在于，所述降噪模块还用于对读取的当前子宏块的残差系数进行整数离散余弦变换得到当前子宏块的非直流分量系数；以及对所述当前子宏块的非直流分量系数进行调整，以使所述非直流分量系数的绝对值向0调整。
12.根据权利要求11所述的装置，其特征在于，所述降噪模块还用于若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，则将所述非直流分量系数保留原来的符号位，并减小非直流分量系数的绝对值；以及若当前子宏块的非直流分量系数的绝对值小于当前子宏块的非直流分量系数的，则将所述非直流分量系数的值置为0。
13.根据权利要求12所述的装置，其特征在于，所述降噪模块还用于若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系数的偏移量，且非直流分量系数的值大于0，则将所述非直流分量系数减小所述偏移量，若非直流分量系数的值小于0，则将所述非直流分量系数加上所述偏移量。
14.根据权利要求12或13所述的装置，其特征在于，所述装置还包括：
偏移量获取模块，用于获取降噪强度、已处理的与当前子宏块尺寸相同的子宏块的次数及当前子宏块的非直流分量系数；以及根据所述降噪强度、次数及当前子宏块的非直流分量系数计算得到当前子宏块的非直流分量系数的偏移量。
CN201510798985.1A 2015-11-18 2015-11-18 编码过程中的实时视频降噪方法和装置 Active CN105472205B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201510798985.1A CN105472205B (zh) 2015-11-18 2015-11-18 编码过程中的实时视频降噪方法和装置
PCT/CN2016/082415 WO2017084258A1 (zh) 2015-11-18 2016-05-17 编码过程中的实时视频降噪方法、终端和非易失性计算机可读存储介质
KR1020187015730A KR102123958B1 (ko) 2015-11-18 2016-05-17 코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체
JP2018526059A JP6615346B2 (ja) 2015-11-18 2016-05-17 符号化処理におけるリアルタイムビデオノイズ低減のための方法、端末、および、不揮発性コンピュータ可読記憶媒体
EP16865440.8A EP3379817B1 (en) 2015-11-18 2016-05-17 Method for real-time video noise reduction in coding process, terminal, and nonvolatile computer readable storage medium
US15/699,710 US10587874B2 (en) 2015-11-18 2017-09-08 Real-time video denoising method and terminal during coding, and non-volatile computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510798985.1A CN105472205B (zh) 2015-11-18 2015-11-18 编码过程中的实时视频降噪方法和装置

Publications (2)

Publication Number Publication Date
CN105472205A true CN105472205A (zh) 2016-04-06
CN105472205B CN105472205B (zh) 2020-01-24

Family

ID=55609443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510798985.1A Active CN105472205B (zh) 2015-11-18 2015-11-18 编码过程中的实时视频降噪方法和装置

Country Status (6)

Country Link
US (1) US10587874B2 (zh)
EP (1) EP3379817B1 (zh)
JP (1) JP6615346B2 (zh)
KR (1) KR102123958B1 (zh)
CN (1) CN105472205B (zh)
WO (1) WO2017084258A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658004A (zh) * 2016-11-24 2017-05-10 浙江大学 一种基于图像平坦区域特征的压缩方法和装置
WO2017084258A1 (zh) * 2015-11-18 2017-05-26 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法、终端和非易失性计算机可读存储介质
CN108174057A (zh) * 2018-01-10 2018-06-15 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN110246090A (zh) * 2018-09-27 2019-09-17 浙江大华技术股份有限公司 一种图像处理的方法和设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10140689B2 (en) * 2017-01-20 2018-11-27 Sony Corporation Efficient path-based method for video denoising
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
CN110891177B (zh) * 2018-09-07 2023-03-21 腾讯科技（深圳）有限公司 视频降噪、视频转码中的降噪处理方法、装置和机器设备
US11900566B1 (en) * 2019-06-26 2024-02-13 Gopro, Inc. Method and apparatus for convolutional neural network-based video denoising
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN112261474A (zh) * 2020-10-26 2021-01-22 安徽众新电子科技有限公司 一种多媒体视频图像处理系统及处理方法
US20230059035A1 (en) * 2021-08-23 2023-02-23 Netflix, Inc. Efficient encoding of film grain noise
CN116260973B (zh) * 2023-03-31 2024-03-19 北京百度网讯科技有限公司 一种时域滤波方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703900A (zh) * 2002-10-03 2005-11-30 奥林巴斯株式会社 摄像系统和播放系统
CN101540834A (zh) * 2009-04-16 2009-09-23 杭州华三通信技术有限公司 去除视频图像噪声的方法和视频编码装置
CN101742288A (zh) * 2008-11-11 2010-06-16 北京中星微电子有限公司 视频降噪编码方法和视频降噪编码装置
CN101883280A (zh) * 2009-05-07 2010-11-10 香港科技大学 一种恢复噪声的视频编解码方法和系统
CN102801983A (zh) * 2012-08-29 2012-11-28 上海国茂数字技术有限公司 一种基于dct的去噪方法及装置
CN103281526A (zh) * 2011-12-15 2013-09-04 弗莱克斯电子有限责任公司 网络图像/视频处理系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06224773A (ja) 1993-01-26 1994-08-12 Toshiba Corp 高能率符号化回路
JPH08186842A (ja) 1994-12-28 1996-07-16 Fuji Photo Film Co Ltd 画像データの雑音低減装置および方法
US20030035586A1 (en) * 2001-05-18 2003-02-20 Jim Chou Decoding compressed image data
JP3880862B2 (ja) * 2002-01-29 2007-02-14 富士フイルムホールディングス株式会社 撮像装置
JP2004336103A (ja) * 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
JP2006011568A (ja) 2004-06-23 2006-01-12 Yokogawa Electric Corp 光学式タッチパネル
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US8326580B2 (en) * 2008-01-29 2012-12-04 Qualcomm Incorporated Sparse sampling of signal innovations
US20090290645A1 (en) * 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
CN102132554A (zh) * 2008-06-20 2011-07-20 惠普开发有限公司 用于高效视频处理的方法和系统
US20120116703A1 (en) * 2009-04-24 2012-05-10 Nicolas Pavillon Method and apparatus for enhanced spatial bandwidth wavefronts reconstructed from digital interferograms or holograms
KR101051569B1 (ko) * 2009-07-10 2011-07-25 삼성전기주식회사 영상 잡음 제거 장치 및 방법
US9635308B2 (en) * 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
JP5761979B2 (ja) * 2010-12-10 2015-08-12 Hoya株式会社 ノイズ除去システムおよび撮像装置
JP5291133B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
US9326008B2 (en) * 2012-04-10 2016-04-26 Google Inc. Noise reduction for image sequences
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
JP6013178B2 (ja) * 2012-12-28 2016-10-25 株式会社東芝 画像処理装置および画像処理方法
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703900A (zh) * 2002-10-03 2005-11-30 奥林巴斯株式会社 摄像系统和播放系统
CN101742288A (zh) * 2008-11-11 2010-06-16 北京中星微电子有限公司 视频降噪编码方法和视频降噪编码装置
CN101540834A (zh) * 2009-04-16 2009-09-23 杭州华三通信技术有限公司 去除视频图像噪声的方法和视频编码装置
CN101883280A (zh) * 2009-05-07 2010-11-10 香港科技大学 一种恢复噪声的视频编解码方法和系统
CN103281526A (zh) * 2011-12-15 2013-09-04 弗莱克斯电子有限责任公司 网络图像/视频处理系统
CN102801983A (zh) * 2012-08-29 2012-11-28 上海国茂数字技术有限公司 一种基于dct的去噪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PETER M.B. VAN ROOSMALEN 等: "Embedded Coring in MPEG Video Compression", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS,USA》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084258A1 (zh) * 2015-11-18 2017-05-26 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法、终端和非易失性计算机可读存储介质
US10587874B2 (en) 2015-11-18 2020-03-10 Tencent Technology (Shenzhen) Limited Real-time video denoising method and terminal during coding, and non-volatile computer readable storage medium
CN106658004A (zh) * 2016-11-24 2017-05-10 浙江大学 一种基于图像平坦区域特征的压缩方法和装置
CN106658004B (zh) * 2016-11-24 2019-05-17 浙江大学 一种基于图像平坦区域特征的压缩方法和装置
CN108174057A (zh) * 2018-01-10 2018-06-15 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN108174057B (zh) * 2018-01-10 2020-06-23 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN110246090A (zh) * 2018-09-27 2019-09-17 浙江大华技术股份有限公司 一种图像处理的方法和设备
CN110246090B (zh) * 2018-09-27 2023-03-28 浙江大华技术股份有限公司 一种图像处理的方法和设备

Also Published As

Publication number Publication date
CN105472205B (zh) 2020-01-24
US10587874B2 (en) 2020-03-10
WO2017084258A1 (zh) 2017-05-26
KR102123958B1 (ko) 2020-06-17
EP3379817A4 (en) 2018-09-26
JP6615346B2 (ja) 2019-12-04
US20170374363A1 (en) 2017-12-28
EP3379817B1 (en) 2023-12-27
JP2018534877A (ja) 2018-11-22
KR20180078310A (ko) 2018-07-09
EP3379817A1 (en) 2018-09-26

Similar Documents

Publication Publication Date Title
CN105472205A (zh) 编码过程中的实时视频降噪方法和装置
US11368699B2 (en) Methods and systems for masking multimedia data
WO2020097888A1 (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
WO2021203394A1 (zh) 环路滤波的方法与装置
CN113727106B (zh) 视频编码、解码方法、装置、电子设备及存储介质
CN101945281B (zh) 视频编码的滤波方法及装置
US20220116664A1 (en) Loop filtering method and device
CN116916036A (zh) 视频压缩方法、装置及系统
KR20040106416A (ko) 저비율 애플리케이션들을 위한 디지털 이미지들의 처리 방법
WO2020186763A1 (zh) 图像分量预测方法、编码器、解码器以及存储介质
JP3800435B2 (ja) 動画像信号処理装置
WO2022077490A1 (zh) 一种帧内预测方法、编码器、解码器及存储介质
JP3736291B2 (ja) 画像信号復号化装置および方法
KR100628839B1 (ko) 모서리 잡음 검출 및 보상방법
KR100885441B1 (ko) 블록 경계 영역 필터링 방법
WO2021238606A1 (zh) 视频编码、解码方法、装置、电子设备及存储介质
CN115623215B (zh) 一种播放视频的方法、电子设备和计算机可读存储介质
EP4280602A1 (en) Motion vector (mv) constraints and transform constraints in video encoding
KR100598369B1 (ko) 블록 경계 영역 필터링 방법
CN107277508B (zh) 一种采用自适应模式选择的像素级两向帧内预测方法
KR100917207B1 (ko) 블록 경계 영역 필터링 방법
KR100917208B1 (ko) 블록 경계 영역 필터링 방법
KR100839304B1 (ko) 동영상 디코딩 방법
KR100598367B1 (ko) 블록 경계 영역 필터링 방법
CN114554207A (zh) 运动矢量约束范围确定方法、装置、设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231227

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right