CN110891177B - 视频降噪、视频转码中的降噪处理方法、装置和机器设备 - Google Patents

视频降噪、视频转码中的降噪处理方法、装置和机器设备 Download PDF

Info

Publication number
CN110891177B
CN110891177B CN201811045432.9A CN201811045432A CN110891177B CN 110891177 B CN110891177 B CN 110891177B CN 201811045432 A CN201811045432 A CN 201811045432A CN 110891177 B CN110891177 B CN 110891177B
Authority
CN
China
Prior art keywords
denoising
video
macro block
coding
strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811045432.9A
Other languages
English (en)
Other versions
CN110891177A (zh
Inventor
刘兆瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811045432.9A priority Critical patent/CN110891177B/zh
Publication of CN110891177A publication Critical patent/CN110891177A/zh
Application granted granted Critical
Publication of CN110891177B publication Critical patent/CN110891177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭示了一种视频降噪方法、视频转码中的降噪处理方法、装置和机器设备。所述方法包括：在视频流进行视频编码的一帧视频图像，为所划分宏块获取匹配于视频类型的去噪强度模板，所述去噪强度模板包括所述视频类型之下适应于不同编码过程的去噪强度；为宏块编码的进行从获取的所述去噪强度模板自适应选取去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码。由此，能够在任意视频编码模式下实现视频流的降噪处理，视频流中降噪处理能够与视频流自身相适应，也不再受限于视频编码模式，通用性得到增强。

Description

视频降噪、视频转码中的降噪处理方法、装置和机器设备
技术领域
本发明涉及互联网应用技术领域，特别涉及一种视频降噪方法、视频转码中的降噪处理方法、装置和机器设备。
背景技术
随着视频应用技术的迅猛发展，越来越多的视频内容能够基于互联网络而分发，例如，游戏场景所相关的视频内容，以及各种视频业务输出的视频内容，都互联网络中视频流的传输而实现内容分发。
无论何种视频内容的呈现都依赖于互联网带宽，互联网带宽是极其宝贵重要的资源，因此，往往借助于编码过程对承载视频内容的视频流进行码率限制，以避免占用过多带宽。
而对于进行视频内容呈现的用户终端，也会选择符合自己带宽和流量需求的码率来进行视频内容加载显示。
由此可知，承载了视频内容的视频流，都受到多种不同码率的限制。在码率受限的条件下，视频流往往会由于码率不足导致产生噪点和伪影，需消除噪声。
现有消除噪声的算法，是编码器中所提供简易消除噪声的功能，能够在一定程度上解决噪点问题。但是，现有消除噪声的算法仅能够适用于单一视频编码模式，而无法对所有视频编码模式下的宏块执行噪声消除。
此外，所执行噪声消除的过程是按照预设去噪强度值进行的，在去噪强度值较大时，会使得原本清晰的宏块模糊化；去噪强度值较小则会导致去噪效果不明显，因此，可以看到，现有视频噪声消息的实现受限于视频编码模式，且并不适应于视频流的编码过程。
亟待为视频流实现降噪处理，不再受限于视频编码模式，且能够与视频流相适应。
发明内容
为了解决相关技术中受限于视频编码模式，且不适应于视频流的编码过程的技术问题，本发明提供一种视频降噪方法、视频转码中的降噪处理方法、装置和机器设备。
一种视频降噪方法，所述方法包括：
视频流进行视频编码的一帧视频图像中，获取宏块所匹配视频类型的去噪强度模板，所述去噪强度模板包括所述视频类型之下适应于不同编码过程的去噪强度；
为宏块编码的进行从获取的所述去噪强度模板自适应选取去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码。
一种视频转码中的降噪处理方法，所述方法包括：
对转码为指定码率的视频流，逐帧对所述视频流中进行视频编码的视频图像获取匹配于视频类型的去噪强度模板；
为所述视频图像中宏块编码的进行从获取的所述去噪强度模板自适应选取去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码，获得指定码率下自适应消除噪声的视频流。
一种视频降噪装置，所述装置包括：
去噪模板获取模块，用于视频流进行视频编码的一帧视频图像中，获取宏块所匹配视频类型的去噪强度模板，所述去噪强度模板包括所述视频类型之下适应于不同编码过程的去噪强度；、
强度选取模块，用于为宏块编码的进行从获取的所述去噪强度模板自适应选取去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
强度应用模块，用于将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码。
一种视频转码中的降噪处理装置，所述装置包括：
模板匹配模块，用于对转码为指定码率的视频流，逐帧对所述视频流中进行视频编码的视频图像获取匹配于视频类型的去噪强度模板；
自适应选取模块，用于为所述视频图像中宏块编码的进行从获取的所述去噪强度模板自适应选取去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
选取使用模块，用于将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码，获得指定码率下自适应消除噪声的视频流。
一种机器设备，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
对于一给定视频流，视频流进行视频编码的一帧视频图像中，首先获取宏块所匹配视频类型的去噪强度模板，此去噪强度模板包括当前视频类型之下适应于不同编码过程的去噪强度，然后为宏块编码的进行从获取的去噪强度模板自适应选取去噪强度，所选取去噪强度用于控制所进行宏块编码的编码参数优化，最后将去噪强度应用于宏块对应的宏块编码过程，使视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码，由此，即可使得视频流中每一帧视频图像的宏块都适应于视频类型和所需要进行的宏块编码得到去噪强度，并应用于所进行的宏块编码过程中，视频流中每一帧视频图像上的每一宏块都能够获得所动态适应的去噪强度，任意宏块所执行的宏块编码过程不再采用预设为固定值的去噪强度，视频流中降噪处理的进行与视频编码模式无关，也就是说，能够在任意视频编码模式下实现视频流的降噪处理，视频流中降噪处理能够与视频流自身相适应，也不再受限于视频编码模式，通用性得到增强。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据本发明所涉及的实施环境的示意图；
图2是根据一示例性实施例示出的一种装置的框图
图3是根据一示例性实施例示出的一种视频降噪方法的流程图
图4是根据一示例性实施例示出的对检测进行视频编码的视频图像中宏块是否执行去噪操作，获得适应于此宏块中噪声存在状况的去噪操作执行指令步骤进行描述的流程图；
图5是根据另一示例性实施例示出的对检测进行视频编码的视频图像中宏块是否执行去噪操作，获得适应于此宏块中噪声存在状况的去噪操作执行指令步骤进行描述的流程图；
图6是根据图3对应实施例示出的对步骤310进行描述的框图；
图7是根据图3对应实施例示出的对步骤330进行描述的流程图；
图8是根据一示例性实施例示出的一直播场景的架构示意图；
图9是根据一实施例示出的对应于复杂场景的直播流中一帧视频图像的示意图；
图10是根据一实施例示出的对应于平坦场景的直播流中一帧视频图像的示意图；
图11是根据一实施例示出的实现视频直播的云平台实现架构的应用示意图；
图12是对应图11的云平台实现架构的示意图；
图13是根据一示例性实施例示出的篮球运动的直播中自适应去噪的流程示意图；
图14是根据一示例性实施例示出的转码服务系统架构示意图；
图15是根据一示例性实施例示出的一种视频降噪装置的框图；
图16是根据一示例性实施例示出的对检测模块进行描述的框图；
图17是根据另一示例性实施例示出的对检测模块进行描述的框图；
图18是根据图15对应实施例示出的对强度选取模块进行描述的框图；
图19是根据一示例性实施例示出的一种视频转码中的降噪处理装置的框图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本发明所涉及的实施环境的示意图。在一个示例性实施例中，该实施环境包括视频源110、流媒体服务器130以及用户终端150。
视频源110用于提供视频流，具体而言，视频源110是互联网络中提供流的一端。例如，视频源110是能够进行视频采集的摄像头，或者装配了摄像头的便携移动终端，还可以是玩家交互下产生游戏数据的设备等，无论何种视频源，都借助于流媒体服务器130而使得视频内容，例如所采集的视频内容，或者游戏场景，得在用户终端150进行清晰显示。
视频源110将所得到的视频流推流上传至流媒体服务器130。应当理解，视频源110并非单一存在，与此相对应的，流媒体服务器130是适应于视频源110以及所在的应用场景部署的，无论何种视频源110，都有其所对应的流媒体服务器130。根据所对应的应用场景，进行着视频源110以及流媒体服务器130的部署，进而面向于此应用场景下的诸多用户终端150。
相对一应用场景下部署的流媒体服务器130，往往相应部署了众多视频源110，在众多视频源110的作用下，使得流媒体服务器130存储了大量视频。
所存储的视频，为保证其在用户终端150的加载显示不会过多占用带宽，往往进行着一定码率下的转码，此时，将通过本发明视频降噪的实现来一定码率，特别是低码率下的视频质量。
例如，在视频监控场景下，视频源110是部署于各处的监控摄像头，并且持续进行着视频数据的采集而获得视频流，推流至流媒体服务器130，任一用户终端150都通过对流媒体服务器130的访问而获得对应监控视频的播放。进行的监控视频播放，是在所设定码率，例如低码率下进行的，并且在流媒体服务器130，已通过执行本发明的视频降噪避免了噪声和伪影的产生，在转码的基础上消除噪声。
又例如，在视频直播场景下，视频源110是在主播操控下实现视频数据采集的，与之相对应的，流媒体服务器130则对视频源110推流而接收到的视频流通过本发明实现噪声消除，进而在观众的操控下拉取至用户终端150播放。
再例如，在游戏场景下，一对局游戏中，视频源110即为玩家所使用的用户终端，在玩家操控下获得游戏数据，并推送至流媒体服务器130，即游戏服务器，此时，对于参与对局游戏的其他玩家所使用的用户终端150，即可接收到游戏服务器推送的视频流。游戏服务器推送的视频流是对游戏数据经过转码以及噪声消息所得到的，以此来保障游戏场景下诸多游戏细节的清晰显示。
应当补充说明的是，通过本发明所视频的视频降噪，一方面可对码率受限的视频编码中进行，另一方面也将是视频流的转码中进行，在此不进行限定。
图2是根据一示例性实施例示出的一种装置的框图。例如，装置200可以是图1所示实施环境中的便携移动终端110。例如，便携移动终端110是智能手机、平板电脑等终端设备、各种摄像机等。
参照图2，装置200至少包括以下组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202至少包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202至少包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204至少由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图4、图5、图6、图7、图8和图9任一所示方法中的全部或者部分步骤。
电源组件206为装置200的各种组件提供电力。电源组件206至少包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还包括有机电致发光显示器(Organic Light Emitting Display，简称OLED)。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(Microphone，简称MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214检测到装置200的打开/关闭状态，组件的相对定位，传感器组件214还检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中，该传感器组件214还包括磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件216还包括近场通信(Near Field Communication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(Radio FrequencyIdentification，简称RFID)技术，红外数据协会(Infrared Data Association，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。
在示例性实施例中，装置200被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。
图3是根据一示例性实施例示出的一种视频降噪方法的流程图。该视频降噪方法，在一个示例性实施例中，如图3所示，至少包括以下步骤。
在步骤310中，视频流进行视频编码的一帧视频图像中，获取宏块所匹配视频类型的去噪强度模板，去噪强度模板包括视频类型之下适应于不同编码过程的去噪强度。
其中，对于给定视频流，将对所进行视频编码的一帧视频图像执行降噪处理，即在此视频图像上执行去噪操作，降噪处理的执行将是以宏块为单位进行的，即，针对于视频图像上的每一宏块执行去噪操作。
视频流对应于若干帧视频图像所构成的视频序列。随着视频源所进行的视频流推流，流媒体服务器获得视频流之后，将对所获得的视频流进行视频编码，以适应其在信道中的传输以及视频质量，除此之外，也需适应于用户终端可进行视频流畅观看的码率而进行转码。因此，所进行的视频降噪是面向于进行视频编码的视频流以及在此基础上转码所得以的视频流进行的。
也就是说，在视频进行视频编码的一帧视频图像，是在任意视频编码模式下进行视频编码所得到的一帧视频图像，此外，也可以是通过码率控制的执行，转码所得到对应于一码率的一帧视频图像，在此不进行限定。
以此类推，对于这一给定视频流，其所对应的每一帧视频图像都将通过步骤310的执行而面向于所有宏块分别进行视频降噪，进而达成整个视频流中的噪声消除，特别是对视频流进行低码率压缩之后，由于码率不足所导致产生的噪点和伪影得到消除，保证视频播放的流畅性的同时，得以增强了视频画面的完整性和清晰性，增强用户的视觉感官效果。
宏块是视频流中对视频图像执行视频编码的基本单元，也是进行视频编码的最小单元，以此延续进行着视频图像中的降噪处理。可理解的，一帧视频图像上划分了若干宏块，每一宏块都是此帧视频图像上所对应区域的视频内容表示，因此，有的宏块对应于平坦区域，存在较少细节内容；有的宏块对应于复杂区域，存在着较多细节内容，因此，对于所进行的视频降噪而言，在为视频图像所划分宏块获取了去噪强度模板之后，适应于不同的宏块而从去噪强度模板中选取去噪强度，进而为所划分宏块各自执行宏块编码中的视频降噪。
视频类型用于指示视频流中视频内容所描述的场景，每一视频类型都有着对应的去噪强度模板，并且每一去噪强度模板都记录着所对应视频类型下适用于不同编码过程的去噪强度。
例如，视频类型所对应视频内容描述的场景，包括户内主播场景、户外运动场景、足球运动场景、篮球运动场景以及电子游戏场景等。不同去噪强度模板之间去噪强度有区别，比如，电子游戏场景的视频内容中游戏细节较多，所对应视频类型的去噪强度模板是边缘噪声感知明显，去噪强度偏高的去噪强度模板；而户内主播等场景所对应视频类型，仅需使用去噪强度低的去噪强度模板。
无论何种视频类型的去噪强度模板，所包含的不同去噪强度，都是适应于所对应视频类型之下不同编码过程的。
对于给定视频流，都逐帧进行着视频图像所划分宏块的视频降噪，并首先为此视频降噪的进行获取视频类型，根据此视频类型来获取对应的去噪强度模板。
在此过程的执行下，所获取的视频类型，是对应于视频流的，即此视频流中视频内容描述的场景。可选的，在此基础之上也可针对于视频流中的每一帧视频图像进行着视频类型的获取，进而为此帧视频图像对应的视频类型获取匹配的去噪强度模板，以此来不断细化所进行的视频降噪过程，增强噪声消除性能以及所进行噪声消除的精准性。
在步骤330中，为宏块编码的进行从获取的去噪强度模板自适应选取去噪强度，去噪强度用于用于控制所进行宏块编码的编码参数优化。
其中，通过执行步骤310获取得到去噪强度模板之后，正如前述描述所指出的，所获取的去噪强度模板至少是匹配于视频流对应的视频类型的，因此，对于视频流中的一帧视频图像，将从所获取的去噪强度模板进行去噪强度的自适应选取。
视频图像上对宏块所进行的宏块编码包括DCT(Discrete Cosine Transform，离散余弦变换)变换和量化过程，而所进行的视频降噪可以是进行DCT变换之后，在频域上处理DCT系数，以降低高频分量，进而减少视频中的噪声。
所进行的视频降噪是将在宏块编码过程中进行，且与自身所进行的宏块编码相适应，因此所选取用于执行视频降噪的去噪强度，必将被更新于所进行宏块编码的编码参数，以此来达成编码参数的优化。
一宏块所进行的视频降噪，一方面是在宏块编码中执行的，另一方面，也是对视频图像进行视频编码的输出，在宏块编码中执行的，基于此，将根据已经进行的视频编码和后续所需要执行的宏块编码在去噪强度模板中进行去噪强度的自适应选取，以此来获得能够准确适配于整个视频编码过程的去噪强度。
在步骤350中，将去噪强度应用于宏块对应的宏块编码过程，使视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码。
其中，通过前述步骤的执行，将为每一宏块都获取其所需要的去噪强度，进而在此宏块对应的宏块编码过程中应用获取的去噪强度来执行宏块编码，实现宏块编码过程中的降噪处理。
宏块编码过程的执行中，所获取去噪强度的应用即可使得原本按照预设去噪强度值执行的噪声消除，变换为所获取去噪强度的噪声消除过程执行，以此类推，对每一需要进行视频降噪的宏块均是如此，所在视频图像中每一宏块都进行着自身所适应去噪强度的宏块编码过程执行，进而使得整个视频流仍然以宏块为最小单元进行着所需要的降噪处理。
通过如上所述示例性实施例，使得视频降噪的进行不再经由固定设置的去噪强度实现，而是充分适应于所进行的视频编码以及宏块编码而动态执行的，存在于编码参数的去噪强度被优化，不再是固定设置的数值，自适应的实现了视频降噪。
通过如上所述的示例性实施例，能够在视频编码以及转码实时进行的基础上进行噪声的消除。在匹配于所对应的视频类型获得去噪强度模板之后，结合了当前编码宏块以及其在后续所进行的宏块编码，以此来动态获得适配的强度值，进而自适应地进行宏块级的视频处理，对噪声宏块进行优化，同时保留清晰宏块的完整性。
由此上述示例性实施例，可以看到，借助于去噪强度模板以及去噪强度模板所包含适应于不同编码过程的去噪强度，即可动态得到所适用的去噪强度，因此，能够以极低的CPU消耗实现对宏块噪声的优化。
如上所述的示例性实施例，适用于H.264编码标准，在码率受限的条件下，低码率压缩的H.264视频会由于码率不足而导致产生噪点和伪影，进而影响着用户的视觉感观效果，因此，对于低码率压缩的H.264视频，实时转码的过程中通过本发明视频降噪的实现，得以进行不同强度的视频降噪，使得H.264视频无论是帧间预测还是帧内预测的宏块，都得以进行自适应降噪，解决现有噪声消除算法仅能够对单一视频编码模式下预测的宏块进行降噪的痛点。
互联网视频领域H.264编码标准占据主导地位，由于带宽和存储资源相对有限，在直播等领域往往将视频转码为多种不同的码率，用户选择符合自己带宽和流量需求的码率档位进行观看，进而保证观看视频的流畅性，同时也为各个业务平台，例如直播平台节省CDN(Content Delivery Network，内容分发网络)带宽，而本发明自适应降噪技术的实现，在产品侧将得以提供低码率高清晰度的转码服务。
通过本发明自适应降噪技术所实现低码率高清晰度的转码服务，仅需要在后台指定对所接收的直播流等视频流配置开启极速高清，即可在接收到推流时，将视频流转移至所实现的转码服务进行转码，此时，下游用户就能够获取得到高质量的视频流观看。
在另一个示例性实施例中，该视频降噪方法还包括：
检测进行视频编码的视频图像中宏块是否执行去噪操作，获得适应于宏块中噪声存在状况的去噪操作执行指令，此去噪操作执行指令用于控制步骤310的跳转执行。
其中，正如前述示例性实施例所描述的，所进行的视频降噪是面向于视频图像上的各宏块进行的，在宏块上执行着自身所需要的自适应降噪技术。因此，自适应降噪的进行是针对于噪声宏块的，对于清晰宏块，则不需要对其执行去噪操作，以保证清晰宏块的完整性，且提高视频降噪效率，避免处理时间和负载的增加。
对此，在一示例性实施例中，有必要进行视频图像上宏块是否需要执行去噪操作的检测，以确定需要执行去噪操作的宏块，即噪声宏块，进而为此获得此宏块所对应的去噪操作执行指令。
应当说明的是，噪声宏块是指其上混入了图像噪声的宏块，而清晰宏块则是未混入图像噪声的宏块，因此不需要对其进行自知应降噪。
对于进行视频编码的每一帧视频图像，其在完成帧内预测或者帧间预测之后，都对此帧视频图像上的每一宏块进行噪声存在状况的检测，以此来确定所检测的宏块是否为噪声宏块，进而确认是否为此而生成去噪操作执行指令。
去噪操作执行指令是对应于当前检测的宏块的，去噪操作执行指令控制所对应宏块上图3对应示例性实施例的执行，进而实现所对应宏块上的自适应降噪。
在一个示例性实施例中，宏块中噪声存在状况的检测，是基于宏块类型和/或宏块残差进行的，通过进行所对应宏块类型和/或宏块残差的检测而确定宏块中的噪声存在状况，以此来判定宏块是噪声宏块还是清晰宏块。
图4是根据一示例性实施例示出的对检测进行视频编码的视频图像中宏块是否执行去噪操作，获得适应于此宏块中噪声存在状况的去噪操作执行指令步骤进行描述的流程图。在一个示例性实施例中，检测进行视频编码的视频图像中宏块是否执行去噪操作，获得适应于此宏块中噪声存在状况的去噪操作执行指令步骤，如图4所示，至少包括：
在步骤401中，获取视频图像中宏块所对应的宏块类型。
其中，视频流中，每一帧视频图像所进行的视频编码仍然是以宏块为单元进行的，在所进行的视频编码中宏块是编码单元，有的宏块与参考宏块非常接近，或者直接使用参考宏块代表当前宏块，因此，宏块都有着对应的宏块类型。
在一个示例性实施例中，宏块类型至少包括B_SKIP、P_SKIP以及I_PCM。
经由视频图像所进行的视频编码，即可获知哪些宏块是作为参考宏块，哪些宏块是以参考宏块为基础进行编码的，以此类依据获得宏块所对应的宏块类型。
宏块类型对应了视频编码过程，以此，经过视频编码的宏块是否存在噪声，也是由所对应的视频编码过程所决定的，故需要根据所获取的宏块类型来检测是否对宏块执行去噪。
在步骤403中，区别于指定不对宏块执行去噪操作的宏块类型，向对应于其它宏块类型的宏块生成去噪操作执行指令。
其中，首先应当说明的是，指定不对宏块执行去噪操作的宏块类型至少包括：B_SKIP、P_SKIP以及I_PCM。
对于视频图像上的一宏块，在获取得到其所对应的宏块类型之后，一旦此宏块类型是区别于指定不对宏块执行去噪操作的宏块类型的，则对此宏块触发生成去噪操作执行指令，以便于控制执行视频降噪。
通过此示例性实施例中，得以识别出视频图像中噪声宏块的存在，以及清晰宏块的存在，进而为此而相适应的生成去噪执行操作指令。
视频图像上，一宏块所对应的宏块类型，如果为B_SKIP或者P_SKIP，则表明所对应的宏块接近参考宏块，是直接使用参考宏块代表当前宏块的，因此，对于此宏块类型的宏块，不需要做额外操作，因此，不需要为此而生成去噪操作执行指令。
如果宏块类型是I_PCM，则表示当前宏块为无损失宏块，因此也不需要去噪，对此也不需要生成去噪操作执行指令。
在根据宏块类型获得当前宏块与参考宏块并不匹配，即不接近于参考宏块，也不直接使用参考宏代表当前宏块，总而言之，无法从参考的视频帧找到与当前宏块差别很小的宏块，则当前宏块存在着噪声，需要对当前宏块生成去噪操作执行指令。
通过此示例性实施例，得以有选择的对宏块进行自适应降噪，而避免了对视频图像上所有宏块都进行噪声消除的处理，以此来有效的降低所需要耗费的处理时间和负载，噪声宏块和清晰宏块都存在的视频图像上，清晰宏块得到保留，噪声宏块被有效消除混入的图像噪声，二者区别处理，视频降噪的性能得到提升，精准性得到增强。
图5是根据另一示例性实施例示出的对检测进行视频编码的视频图像中宏块是否执行去噪操作，获得适应于此宏块中噪声存在状况的去噪操作执行指令步骤进行描述的流程图。在另一个示例性实施例中，该步骤如图5所示，至少包括：
在步骤501中，获取视频图像中宏块对应的宏块残差。
其中，视频流中的每一帧视频图像，都在一定的视频编码模式下进行着编码预测，例如，帧内编码预测或者帧间编码预测，此过程，视频图像中的宏块是作为编码单元而存在的。
因此，随着视频编码过程中残差的产生，对于视频图像中的宏块而言，将得到与之对应的宏块残差。宏块残差将表征着当前宏块和参考宏块之间的差距，故将以此为依据而判断当前宏块是否为噪声宏块。
随着视频图像进行的视频编码，即可为此视频图像上的宏块分别获得对应的宏块残差，通过宏块残差得以获知当前宏块和参考宏块之间的差距，进而以此为依据确定当前宏块是否能从参考的视频帧中找到差别很小的宏块，以最终与图4对应实施例所类似的，生成去噪操作执行指令。
在步骤503中，根据宏块残差判定进行该宏块未匹配于参考宏块，对未匹配于参考宏块的宏块生成去噪操作执行指令，该宏块与参考宏块之间的匹配指该宏块不必执行去噪操作。
其中，在根据宏块残差判定当前宏块与参考宏块差距较大时，对当前宏块生成去噪操作执行指令，但是在根据宏块残差判定当前宏块与参考宏块接近甚至于相同时，例如宏块残差为零，当前宏块与参考宏块相匹配，则不需要为当前宏块生成去噪操作执行指令，当前宏块不需要进行视频降噪。
在一个示例性实施例中，对于所获取的宏块残差，其与指定系数之间的乘积小于限值时，表示当前宏块和参考宏块接近，差距较小，不对当前宏块执行去噪操作执行指令的生成。
例如，指定系数为0.3，限值为1，则
satd^0.3<1
其中，satd为宏块残差。
由此可知，对于一宏块，其在参考的视频中找到与当前宏块差别很小的宏块，此时当前宏块即可不进行视频降噪，有针对性的进行着视频图像上诸多宏块的视频降噪。
图6是根据图3对应实施例示出的对步骤310进行描述的框图。在一个示例性实施例中，如图6所示，步骤310包括：
在步骤311中，对进行视频编码的一帧视频图像获取视频类型，该视频类型用于指示视频图像中视频内容对应的场景。
其中，视频类型与视频流所在的业务强相关，例如，业务为视频直播业务时，视频类型可包括户内主播、户外运动等。进行视频编码的一帧视频图像，其将进行宏块编码，即执行DCT变换以及量化过程，因此，需要为此视频图像获取视频类型，以便于由所对应的视频类型获知视频图像中视频内容对应的场景，进而方能够在后续所进行的宏块编码中相适应的执行视频降噪。
在步骤313中，根据视频类型为视频图像中划分的宏块相应获取去噪强度模板。
其中，宏块作为编码单元，进行视频编码的视频图像中必然划分着若干宏块。视频图像后续所进行的DCT变换以及量化过程都是面向于宏块进行的，因此，需要视频类型来为划分的宏块获取去噪强度模板，以便于通过去噪强度模板中的不同去噪强度而为划分的各宏块动态进行视频降噪。
应当补充说明的是，每一视频类型都有对应的去噪强度模板，视频类型所对应去噪强度模板中包含的若干去噪强度，以适应于此视频类型下不同的视频编码以及转码过程。
可选的，每一去噪强度模板，包含十个不同强度的去噪值，即十个不同的去噪强度。在去噪起始根据视频类型设置不同的去噪强度模板，在视频编码时，每一个宏块都会根据具体编码情况选择当前所对应去噪强度模板下对应的去噪强度。
例如，去噪强度模板可以根据线上运营经验设置得到的若干组去噪强度，其中设置的两组去噪强度模板可为下述形式，即：
{6,300,600,900,1500,2000,2500,3500,5000,6000}以及
{6,600,900,1500,2500,3000,4000,5000,6000,7000}
通过此示例性实施例中，将为视频流的自适应降噪实现去噪强度模板的选取，当然，应当理解的是，对于任意视频流，其必然对应着至少一视频类型，根据所对应的至少一视频类型为视频流中视频图像的自适应降噪选取自身所适用的去噪强度模板。
图7是根据图3对应实施例示出的对步骤330进行描述的流程图。在一个示例性实施例中，如图7所示，该步骤330至少包括：
在步骤331中，对视频图像所划分宏块获取编码预测得到的宏块残差。
其中，如前所述的，经由视频图像进行的视频编码便得到此视频图像相对于参考图像的残差，而宏块作为视频图像的编码单元，且视频图像是由若干宏块构成的，因此，进行视频编码所得到的残差，包括宏块残差。
可由视频图像进行的编码预测而获取得到此视频图像上每一宏块的宏块残差。
在步骤333中，根据宏块残差和编码参数中配置的步长运算得到去噪强度模板中所选取去噪强度的偏移。
其中，步长(qp)是H.264编码量化步长，是qstep的序号，在视频编码中，将对所获得的宏块残差执行DCT变换和量化过程，这一过程所涉及的编码参数便包含着配置的步长。
步长的数值大小，影响着所进行的码率控制以及量化精度，因此，编码参数中配置的步长是考虑了所需要进行的码率控制和量化精度而配置的，至关重要。充分考虑步长的影响而进行去噪强度的选取，进而实现视频降噪，这是适应于所进行的DCT变换和量化的。
在一个示例性实施例中，步骤333包括：收敛宏块残差，通过宏块残差的收敛将宏块残差和编码参数中配置的步长约束至一范围内评估去噪强度模板中宏块所适用去噪强度的偏移。
其中，偏移用于指示当前宏块在去噪强度模板所适用的去噪强度。应当理解，根据宏块残差和步长大小运算得到的偏移是去噪强度模板中选取适用于当前宏块的物理地址，后续可根据所运算得到的偏移而在去噪强度模板中直接定位到当前宏块适用的去噪强度。
应当理解，步长qp越大，则宏块所码率越小，而宏块残差satd越大，则当前宏块和参考宏块之间的差距越大，需要的码率越多，因此，宏块残差satd和步长qp之间乘积越大，当前宏块获取到的码率越小，越容易在DCT变换后的高频区域出现噪声，因此，对于去噪强度模板，将以satd*qp为核心，进行当前宏块所适用去噪强度的偏移运算。
在此示例性实施例中，首先应当说明的是，宏块残差satd在数值上的范围广泛，即波动范围特别广泛，例如，其在0～10000间都有可能，这将导致宏块残差satd的权重特别大；而步长qp的波动则较小，一般仅在20至50之间。
因此，需要收敛宏块残差satd，使其与步长qp在一个范围内进行当前宏块所对应偏移的评估。
可选的，通过costδ来收敛satd范围，t为宏块残差，δ取小数，例如0.3，将根据需求调试，具体如下所示的公式运算得到偏移，即：
Figure BDA0001793175150000171
其中，maxlose为编码的前一帧中最大的costδ*qp值，i则用于标示当前宏块。
在步骤335中，按照偏移定位去噪强度模板中的去噪强度。
其中，去噪强度模板中，按照一定的顺序进行着去噪强度的排列，因此，由偏移所对应的数值，即获得去噪强度所对应的物理偏移位置，进而定位至所对应的去噪强度。
通过此示例性实施例，充分结合宏块残差和步长进行了去噪强度的选取，以使得所选取去噪强度能够适应于所进行的视频编码，即编码预测和宏块编码过程，进而对编码预测所产生的噪声，以及宏块编码过程中DCT变换而引入的噪声实现消除。
在另一个示例性实施例中，步骤335之后，该视频降噪方法还包括：
根据宏块所在视频图像对应的视频帧类型以及被后续帧的参考情况，对运算得到的偏移再次执行偏移操作，再次执行偏移操作所得到的偏移对应了增强或减弱处理的去噪强度。
在此示例性实施例中，通过图7所对应实施例为当前宏块运算得到偏移之后，还将根据视频帧类型和所在视频图像被后续帧参考的情况，对运算得到的偏移执行再次偏移操作，以此来相对于首次偏移所对应的去噪强度执行增强或者减弱处理。
也就是说，图7所对应实施例的实现是在去噪强度模板中执行一次偏移所实现的去噪强度选取，而在此示例性实施例的结合下，通过二次偏移的进行而进行着所选取去噪强度的调整，通过增强处理或者减弱处理所实现的调整而使得后续所执行的去噪操作能够适应于视频编码以及视频编码中的码率控制，也适应于宏块以及所在视频图像。
此示例性实施例，是对图7所对应实施例所运算得到的偏移进行再偏移计算的过程，可选的，将通过下述公式实现，即：
Figure BDA0001793175150000181
其中，clip()函数用于将偏移nsoffseti的值约束在0-9之间，如果越界则取边界值；λup是大于1.0的数值，表示对当前宏块进行更大强度的去噪处理；λdown是小于1.0的数值，表示减弱对当前宏块的去噪强度。
通过上述再次偏移计算过程的执行，将使得B帧(B frame)视频图像的宏块得到噪声消除的增强处理，即增强去噪强度；使得P帧(P frame)视频图像在被后续帧参考时，其上的宏块得到噪声消除的减弱处理；I帧(I frame)视频图像上宏块所对应的偏移被分配到默认值，例如0。
对于所执行的再次偏移计算过程，对B帧视频图像上的宏块进行了去噪强度的增强处理，与之相对应的，在得到增强的去噪强度作用下，对宏块所进行的自适应降噪也得到增强；而B帧由于不会被别的帧参考，且B帧所分配得到的码率最少，因此B帧大部分是参考别的帧获得的，易于产生噪声，此时，在得增强的去噪强度作用下面向于B帧上产生的噪声而准确实现降噪。
对P帧视频图像，在一般情况下，即P帧视频图像未被参考的情况下，将不做特殊偏移，即不需要应用此示例性实施例进行去噪强度的增强或减弱处理；一旦P帧视频图像会被后续帧所参考，则通过所额外进行的一些处理来略微减弱P帧视频图像上的噪声。
对于I帧视频图像，其会被后面很多帧所参考，且被编码器分赋予了很高的码率，因此，I帧视频图像是最为清晰的，并不需要对其执行高强度的去噪操作，如果对I帧视频图像执行去噪，在此过程中一旦I帧视频图像被误操作，则必然会导致后续很多帧受到影响，因此，I帧仅仅执行最弱的去噪操作即可，与之相对应的，其所对应的去噪强度为最小，故偏移分配到默认值0即可。
无论图7所对应实施例，还是在此示例性实施例，都得以通过所对应的去噪强度模板来得到当前宏块的去噪强度nsi。
例如，去噪强度nsi如下：
nsi＝templ[nsoffseti]
其中，所适用的去噪强度模板格式如下：
templ＝[ns1,ns2,ns3…ns10]
示例性的，去噪强度模板中包含着十个去噪强度，对于当前宏块而言，根据所运算得到的偏移来确定所适用的去噪强度。
在另一个示例性实施例中，步骤350包括：将自适应选取的去噪强度替换编码参数中设定的宏块去噪强度值，使得自适应选取的去噪强度值被应用于视频图像中对应宏块的宏块编码过程。
其中，在所进行的宏块编码过程，去噪强度作为编码参数之一，以控制所进行的视频降噪。因此，在为当前宏块自适应选取了去噪强度之后，以此去噪强度替换编码参数中设定的宏块去噪强度值，以达成编码参数在视频降噪方面的优化，并且使得自适应选取的去噪强度能够真正应用于当前宏块在宏块编码过程中的视频降噪。
在通过前述示例性实施例得到了当前宏块所适用的去噪强度之后，都在进行视频残差的DCT变换之后根据所适用的去噪强度处理DCT系数，以此来对所有噪声宏块都进行去噪操作，而不考虑噪声宏块是采用帧间预测还是帧内预测所进行编码的。
在对视频残差进行DCT变换之后，对视频图像进行了压缩，减少了视频图像中的高频分量，在频域上对DCT系数进行处理，降低高频分量，以此业减少视频中的噪声。应当理解，高频主要是对应于视频图像中的细节信息的，而人眼对细节信息不敏感，因此，可以去除高频的信息，即降低高频分量
去噪操作所实现的视频降噪，当前宏块从自身视频类型所对应的去噪强度模板自适应选取得到去噪强度之后，将此去噪强度替换原本固定设置的宏块去噪强度值，然后再根据视频残差的DCT变换之后，就能够根据所动态设置的去噪强度处理DCT系数，达到减少视频中噪声的目的。
其中，去噪强度的范围为0-1000，根据去噪强度处理DCT系数的过程如下：
1、根据公式
Figure BDA0001793175150000191
进行运算，ns为去噪强度，count为当前帧有多少宏块进行了去噪优化，即自适应降噪，NRsumi,j为所有进行优化后宏块的DCT系数累加和，weight为经验值预设的权重。
2、根据公式DCTi,j＝DCTi,j-NRi,j最终完成DCT系数的处理。
通过此过程的实现，不再对所有的宏块使用统一的去噪强度进行操作，考虑当前宏块的残差情况、步长情况、是否被后续帧参考的情况，避免了去噪强度的数值较大而导致的清晰宏块模糊化，也避免步去噪强度的数值较小所导致的去噪效果不明显。
通过如上所述的示例性实施例，为视频流提供了视频降噪技术，所接收的视频流通过本发明所实现的视频降噪，以宏块为单元进行着自适应的噪声消除，得以在码率不变的情况下提升视频清晰度，减少了低码率视频中常见的伪影和噪声，无论是对于云服务商、企业用户还是观看视频的观众来说都十分重要。
通过如上所述的示例性实施例，得以实现了低码率高清晰度的转码服务，不再由于码率的受限而导致视频清晰度的损失，且满足视频直播、电子游戏等的实时性需求。
如上所述的示例性实施例，实现过程中对硬件服务器等没有特殊要求，一般的linux服务器、PC家用机、移动端手机等都可以进行处理。即便针对直播中较大的1080P的视频流，通过如上所述示例性实施例的实现，每一帧视频图像增加的额外处理时间在1毫秒以内，不会增加观看直播用户的卡顿和延迟。
此外，如上所述示例性实施例所实现的视频降噪对CPU的消息很少，对运维中的负载也没有额外压力，能够应用于诸多视频所相关的业务中。
下面以云平台中直播流的处理为例，结合上述方法实现进行阐述。
图8是根据一示例性实施例示出的一直播场景的架构示意图。在一个示例性实施例中，应当理解的，对于直播场景仍然包括了视频源、流媒体服务器以及播放端三方。如图8所示的，视频源为主播所在的终端810，播放端则是观众所在的终端850。
通过如上所述的实现过程，在保证低码率的同时，能够保证视频人眼感官，视频质量能够得到显著提升。
下表是各种视频类型下，如上所述方法所进行的自适应降噪以及现有通过固定设置的强度进行视频降噪的去噪质量比对，即：
视频类型 分辨率 帧率 码率 现有去噪vmaf评分 自适应去噪vmaf评分
复杂场景 1024x576 30 900kbps 88.2 90.4
平坦场景 1024x576 30 900kbps 92.6 93.9
复杂场景 1280x720 30 1100kbps 85.7 88.1
平坦场景 1280x720 30 1100kbps 88.2 90.1
表1去噪质量比对表
图9是根据一实施例示出的对应于复杂场景的直播流中一帧视频图像的示意图。正如图9所示出的，复杂场景下，视频图像中的草地纹理很多，运动较快，存在着很难压缩的情况，相对于平坦场景，所进行的图像压缩会存在着难以处理的噪声，而通过本发明所实现的自适应去噪，将能够明显增强质量，例如，自适应去噪所对应的vmaf(质量评估标准)评分有明显提高。
而对于平坦场景，图10是根据一实施例示出的对应于平坦场景的直播流中一帧视频图像的示意图。正如图10所示出的，平坦场景下，视频图像中的视频内容简单，易于进行压缩，但通过本发明所实现的自适应去噪，其vmaf评估也得到提升。
图11是根据一实施例示出的实现视频直播的云平台实现架构的应用示意图，图12是对应图11的云平台实现架构的示意图。
通过如上所述的实现过程，得以使得云服务通过本发明的实现，节省了带宽成本，用同样的带宽传输更多的直播流，节省了用户成本，在此基础之上，视频质量却能够得到增强，真切实现低码率的图像压缩下的高清晰视频。
如上所述的方法实现中，会在视频直播过程中为直播流持续进行每一帧视频图像上宏块级的视频降噪，所进行的视频降噪能够准确适应于视频直播中的视频内容，且能够根据视频场景，即视频类型的变化而实时更新所适用的去噪强度模板，以及动态选取去噪强度，针对于宏块的变化而及时优化编码参数，即去噪强度，将高去噪强度用在最为需要的地方。
以篮球运动的直播这一视频类型为例，结合上述方法实现进行阐述。
图13是根据一示例性实施例示出的篮球运动的直播中自适应去噪的流程示意图。在篮球运动的直播，篮球运动的直播画面1010划分了若干宏块block，针对于每一宏块block，首先通过步骤1020的执行来判断当前宏块block是否需要denoise，即执行去噪操作，如果不需要denoise，则计算下一block。
对于需要denoise的当前宏块block，执行步骤1030，在篮球运动直播这一视频类型下自适应获取所适用的denoise强度，即前述所指的去噪强度模板，然后为此去噪强度模板中去噪强度的自适应选取计算denoise偏移，再为当前宏块执行偏移操作，如步骤1040和步骤1050所示，得到去噪强度。
对当前宏块应用所得到的去噪强度实现宏块编码中的降噪，统计denoise后的DCT系数。
至少，便完成了当前宏块的视频降噪，进入下一宏块block的计算。
以云服务商和企业用户采用本发明所部署的系统架构为例，结合上述方法实现进 行阐述。
所部署的系统架构，是为了实现低码率高清晰度的转码服务，也就是说，实现的转码服务为转码所得到的低码率视频流进行着自适应降噪，以获得低码率高清晰度的视频流。
应当理解，对于视频流的转码，实质上是一个解码再重新编码的过程，以将视频流重构为指定码率的下行视频流。
在对视频流所进行的编码中，首先会对即将进行编码的一帧视频图像进行所指定低码率的参数更新，所更新的参数是编码参数，包括了去噪强度。
因此，低码率高清晰度转码服务的实现中，对所接收视频流进行着视频分类识别以及分类存储，并按照所对应的分类，进行分类编码参数模块配置，此配置包括了去噪强度模板的配置。
对此，应当说明的是，对于此过程的进行，图14是根据一示例性实施例示出的转码服务系统架构示意图，正如图14所示出的，将执行以下三大步骤，即：
1、深度学习模型视频分类判断；
2、图像特征点提取识别去重；
3、纹理、运动幅度分析；
4、编码参数综合1-3分析选择最优编码参数模板和参数值设置。
转码服务在向所接入视频源通知分类拉流之后，向视频源拉取一视频分类下的视频。此时，对于所拉取的视频流，将调度进行极速高清转码，此转码过程将所配置的参数。
在所进行的极速高清转码中，首先进行着参数的实时更新，然后由所更新参数进行着码率控制，进而在执行降噪等处理，以此来提供低码率高清晰度的下行视频流，供CDN分发。
通过此图14所示系统架构的低码率高清晰度转码服务实现，对云服务商来说，能够在同等码率下提供更优的画质，进而吸引更多的企业用户。
对企业用户来说，本发明自适应降噪技术的实现，能够保证C端的客户得到更好的视觉体验，提升自身服务能力。
下述为本发明装置实施例，用于执行本发明上视频降噪方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明视频降噪方法实施例。
图15是根据一示例性实施例示出的一种视频降噪装置的框图。该视频降噪装置，如图15所示，至少包括：去噪模板获取1210、强度选取模块1230以及强度应用模块1250。
去噪模板获取模块1210，用于视频流进行视频编码的一帧视频图像中，获取宏块所匹配视频类型的去噪强度模板，所述去噪强度模板包括所述视频类型之下适应于不同编码过程的去噪强度；
强度选取模块1230，用于为宏块编码的进行从获取的所述去噪强度模板自适应选取去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
强度应用模块1250，用于将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码。
在另一个示例性实施例中，视频降噪装置还包括检测模块。该检测模块用于检测进行视频编码的所述视频图像中宏块是否执行去噪操作，获得适应于所述宏块中噪声存在状况的去噪操作执行指令，所述去噪操作执行指令用于控制所述在视频流进行视频编码的一帧视频图像，为所划分宏块获取匹配于视频类型的去噪强度模板步骤的跳转执行。
图16是根据一示例性实施例示出的对检测模块进行描述的框图。在一个示例性实施例中，如图16所示，该检测模块1310包括：宏块类型获取单元1311和操作控制单元1313。
宏块类型获取单元1311，用于获取所述视频图像中宏块所对应的宏块类型；
操作控制单元1313，用于区别于指定不对宏块执行去噪操作的宏块类型，向对应于其它宏块类型的宏块生成去噪操作执行指令。
图17是根据另一示例性实施例示出的对检测模块进行描述的框图。在一个示例性实施例中，如图17所示，该检测模块1310包括：宏块残差获取单元1317和宏块匹配单元1319。
宏块残差获取单元1317，用于获取所述视频图像中宏块对应的宏块残差；
宏块匹配单元1319，用于根据所述宏块残差判定所述宏块未匹配于参考宏块，对未匹配于参考宏块的所述宏块生成去噪操作执行指令，所述宏块与参考宏块之间的匹配指示对所述宏块不必执行去噪操作。
图18是根据图15对应实施例示出的对强度选取模块进行描述的框图。在一个示例性实施例中，该强度选取模块1230如图18所示，包括残差获取单元1231、偏移单元1233和强度获取单元1235。
残差获取单元1231，用于对视频图像所划分宏块获取编码预测得到的宏块残差；
偏移单元1233，用于根据所述宏块残差和编码参数中配置的步长运算得到所述去噪强度模板中所选取去噪强度的偏移；
强度获取单元1235，用于按照所述偏移定位所述去噪强度模板中的去噪强度。
在一个示例性实施例中，偏移单元1233进一步用于收敛所述宏块残差，通过所述宏块残差的收敛将所述宏块残差和编码参数中配置的步长约束至一范围内评估所述去噪强度模板中宏块所适用去噪强度的偏移。
在另一个示例性实施例中，该视频降噪装置还包括再偏移模块。再偏移模块用于根据所述宏块所在视频图像对应的视频帧类型以及被后续帧的参考情况，对运算得到的所述偏移再次执行偏移操作，再次执行偏移操作所得到的偏移对应了增强或减弱处理的去噪强度。
在另一个示例性实施例中，强度应用模块1250进一步用于将自适应选取的所述去噪强度替换编码参数中设定的宏块去噪强度值，使得自适应选取的所述去噪强度值被应用于所述视频图像中对应宏块的宏块编码过程。
可选的，本发明还提供一种视频转码中的降噪处理装置，如图19所示的，该装置包括模板匹配模块1310、自适应选取模块1330和选取使用模块1350。
模板匹配模块1310，用于对转码为指定码率的视频流，逐帧对所述视频流中进行视频编码的视频图像获取匹配于视频类型的去噪强度模板；
自适应选取模块1330，用于为所述视频图像中宏块编码的进行从获取的所述去噪强度模板自适应选取去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
选取使用模块1350，用于将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码，获得指定码率下自适应消除噪声的视频流。
可选的，本发明还提供一种电子设备，该电子设备可以用于图1所示实施环境中，执行图3、图4、图5、图6和图7任一所示的方法的全部或者部分步骤。所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行实现前述所指的方法。
该实施例中的装置的处理器执行操作的具体方式已经在有关前述实施例中执行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器204，上述指令可由装置200的处理器218执行以完成上述方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种视频降噪方法，其特征在于，所述方法包括：
视频流进行视频编码的一帧视频图像中，获取宏块所匹配视频类型的去噪强度模板，所述去噪强度模板包括所述视频类型之下适应于不同编码过程的去噪强度；
对视频图像所划分宏块获取编码预测得到的宏块残差；
根据所述宏块残差和编码参数中配置的步长运算得到所述去噪强度模板中所选取去噪强度的偏移；
按照所述偏移定位所述去噪强度模板中的去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
根据宏块所在视频图像对应的视频帧类型以及被后续帧的参考情况，对运算得到的偏移再次执行偏移操作，再次执行偏移操作所得到的偏移对应了增强或减弱处理的去噪强度，即：
Figure FDA0003942334380000011
其中，clip()函数用于将偏移nsoffseti的值约束在0-9之间，如果越界则取边界值；λup是大于1.0的数值，表示对当前宏块进行更大强度的去噪处理；λdown是小于1.0的数值，表示减弱对当前宏块的去噪强度；
将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
检测进行视频编码的所述视频图像中宏块是否执行去噪操作，获得适应于所述宏块中噪声存在状况的去噪操作执行指令，所述去噪操作执行指令用于控制所述在视频流进行视频编码的一帧视频图像，为所划分宏块获取匹配于视频类型的去噪强度模板步骤的跳转执行。
3.根据权利要求2所述的方法，其特征在于，所述检测进行视频编码的所述视频图像中宏块是否执行去噪操作，获得适应于所述宏块中噪声存在状况的去噪操作执行指令，包括：
获取所述视频图像中宏块所对应的宏块类型；
区别于指定不对宏块执行去噪操作的宏块类型，向对应于其它宏块类型的宏块生成去噪操作执行指令。
4.根据权利要求2或3所述的方法，其特征在于，所述检测进行视频编码的所述视频图像中宏块是执行去噪操作，获得适应于所述宏块中噪声存在状况的去噪操作执行指令，包括：
获取所述视频图像中宏块对应的宏块残差；
根据所述宏块残差判定所述宏块未匹配于参考宏块，对未匹配于参考宏块的所述宏块生成去噪操作执行指令，所述宏块与参考宏块之间的匹配指示对所述宏块不必执行去噪操作。
5.根据权利要求1所述的方法，其特征在于，所述视频流进行视频编码的一帧视频图像中，获取宏块所匹配视频类型的去噪强度模板，包括：
对进行视频编码的一帧视频图像获取视频类型，所述视频类型用于指示所述视频图像中视频内容对应的场景；
根据所述视频类型为所述视频图像中划分的宏块相应获取去噪强度模板。
6.根据权利要求1所述的方法，其特征在于，所述根据所述宏块残差和编码参数中配置的步长运算得到所述去噪强度模板中所选取去噪强度的偏移，包括：
收敛所述宏块残差，通过所述宏块残差的收敛将所述宏块残差和编码参数中配置的步长约束至一范围内评估所述去噪强度模板中宏块所适用去噪强度的偏移。
7.根据权利要求1所述的方法，其特征在于，所述将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述图像中每一宏块均应用自身所适应的去噪强度执行宏块编码，包括：
将自适应选取的所述去噪强度替换编码参数中设定的宏块去噪强度值，使得自适应选取的所述去噪强度值被应用于所述视频图像中对应宏块的宏块编码过程。
8.一种视频转码中的降噪处理方法，其特征在于，所述方法包括：
对转码为指定码率的视频流，逐帧对所述视频流中进行视频编码的视频图像获取匹配于视频类型的去噪强度模板；
对视频图像所划分宏块获取编码预测得到的宏块残差；
根据所述宏块残差和编码参数中配置的步长运算得到所述去噪强度模板中所选取去噪强度的偏移；
按照所述偏移定位所述去噪强度模板中的去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
根据宏块所在视频图像对应的视频帧类型以及被后续帧的参考情况，对运算得到的偏移再次执行偏移操作，再次执行偏移操作所得到的偏移对应了增强或减弱处理的去噪强度，即：
Figure FDA0003942334380000031
其中，clip()函数用于将偏移nsoffseti的值约束在0-9之间，如果越界则取边界值；λup是大于1.0的数值，表示对当前宏块进行更大强度的去噪处理；λdown是小于1.0的数值，表示减弱对当前宏块的去噪强度；
将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码，获得指定码率下自适应消除噪声的视频流。
9.一种视频降噪装置，其特征在于，所述装置包括：
去噪模板获取模块，用于视频流进行视频编码的一帧视频图像中，获取宏块所匹配视频类型的去噪强度模板，所述去噪强度模板包括所述视频类型之下适应于不同编码过程的去噪强度；
强度选取模块，用于对视频图像所划分宏块获取编码预测得到的宏块残差；
根据所述宏块残差和编码参数中配置的步长运算得到所述去噪强度模板中所选取去噪强度的偏移；
按照所述偏移定位所述去噪强度模板中的去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
根据宏块所在视频图像对应的视频帧类型以及被后续帧的参考情况，对运算得到的偏移再次执行偏移操作，再次执行偏移操作所得到的偏移对应了增强或减弱处理的去噪强度，即：
Figure FDA0003942334380000041
其中，clip()函数用于将偏移nsoffseti的值约束在0-9之间，如果越界则取边界值；λup是大于1.0的数值，表示对当前宏块进行更大强度的去噪处理；λdown是小于1.0的数值，表示减弱对当前宏块的去噪强度；
强度应用模块，用于将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
检测模块，用于检测进行视频编码的所述视频图像中宏块是否执行去噪操作，获得适应于所述宏块中噪声存在状况的去噪操作执行指令，所述去噪操作执行指令用于控制所述在视频流进行视频编码的一帧视频图像，为所划分宏块获取匹配于视频类型的去噪强度模板步骤的跳转执行。
11.一种视频转码中的降噪处理装置，其特征在于，所述装置包括：
模板匹配模块，用于对转码为指定码率的视频流，逐帧对所述视频流中进行视频编码的视频图像获取匹配于视频类型的去噪强度模板；
自适应选取模块，用于对视频图像所划分宏块获取编码预测得到的宏块残差；
根据所述宏块残差和编码参数中配置的步长运算得到所述去噪强度模板中所选取去噪强度的偏移；
按照所述偏移定位所述去噪强度模板中的去噪强度，所述去噪强度用于控制所进行宏块编码的编码参数优化；
根据宏块所在视频图像对应的视频帧类型以及被后续帧的参考情况，对运算得到的偏移再次执行偏移操作，再次执行偏移操作所得到的偏移对应了增强或减弱处理的去噪强度，即：
Figure FDA0003942334380000051
其中，clip()函数用于将偏移nsoffseti的值约束在0-9之间，如果越界则取边界值；λup是大于1.0的数值，表示对当前宏块进行更大强度的去噪处理；λdown是小于1.0的数值，表示减弱对当前宏块的去噪强度；
选取使用模块，用于将所述去噪强度应用于所述宏块对应的宏块编码过程，使所述视频图像中每一宏块均应用自身所适应的去噪强度执行宏块编码，获得指定码率下自适应消除噪声的视频流。
12.一种机器设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至8中任一项所述的方法。
CN201811045432.9A 2018-09-07 2018-09-07 视频降噪、视频转码中的降噪处理方法、装置和机器设备 Active CN110891177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811045432.9A CN110891177B (zh) 2018-09-07 2018-09-07 视频降噪、视频转码中的降噪处理方法、装置和机器设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811045432.9A CN110891177B (zh) 2018-09-07 2018-09-07 视频降噪、视频转码中的降噪处理方法、装置和机器设备

Publications (2)

Publication Number Publication Date
CN110891177A CN110891177A (zh) 2020-03-17
CN110891177B true CN110891177B (zh) 2023-03-21

Family

ID=69744723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811045432.9A Active CN110891177B (zh) 2018-09-07 2018-09-07 视频降噪、视频转码中的降噪处理方法、装置和机器设备

Country Status (1)

Country Link
CN (1) CN110891177B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173137A (zh) * 2020-09-10 2022-03-11 北京金山云网络技术有限公司 视频编码方法、装置及电子设备
CN112686828B (zh) * 2021-03-16 2021-07-02 腾讯科技（深圳）有限公司 视频去噪方法、装置、设备及存储介质
CN113438488B (zh) * 2021-06-18 2023-01-31 北京锐马视讯科技有限公司 低码率视频优化编码方法和装置、设备及存储介质
CN113542741B (zh) * 2021-07-13 2024-05-07 Oppo广东移动通信有限公司 图像码流去噪方法及装置、计算机可读介质和电子设备
CN113542746B (zh) * 2021-07-13 2024-04-12 Oppo广东移动通信有限公司 视频编码方法及装置、计算机可读介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204029A (ja) * 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
CN1574968A (zh) * 2003-05-15 2005-02-02 松下电器产业株式会社 运动图像解码装置及运动图像解码方法
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
JP2008227876A (ja) * 2007-03-13 2008-09-25 Matsushita Electric Ind Co Ltd 撮像装置
WO2018149995A1 (en) * 2017-02-16 2018-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Filter apparatus and methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030177A (ja) * 2009-06-29 2011-02-10 Sony Corp 復号装置、復号制御装置、復号方法およびそのプログラム
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204029A (ja) * 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
CN1574968A (zh) * 2003-05-15 2005-02-02 松下电器产业株式会社 运动图像解码装置及运动图像解码方法
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
JP2008227876A (ja) * 2007-03-13 2008-09-25 Matsushita Electric Ind Co Ltd 撮像装置
WO2018149995A1 (en) * 2017-02-16 2018-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Filter apparatus and methods

Also Published As

Publication number Publication date
CN110891177A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110891177B (zh) 视频降噪、视频转码中的降噪处理方法、装置和机器设备
Barman et al. QoE modeling for HTTP adaptive video streaming–a survey and open challenges
US20220030244A1 (en) Content adaptation for streaming
US10009628B2 (en) Tuning video compression for high frame rate and variable frame rate capture
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
CN101164341B (zh) 用于视频电话的质量度量偏移的关注区编码
US20170103577A1 (en) Method and apparatus for optimizing video streaming for virtual reality
CN106961603A (zh) 帧内编码帧码率分配方法和装置
JP2015513717A (ja) データ、マルチメディアおよびビデオの送信の更新システム
US9565404B2 (en) Encoding techniques for banding reduction
CN110166780B (zh) 视频的码率控制方法、转码处理方法、装置和机器设备
US10432946B2 (en) De-juddering techniques for coded video
US20240187548A1 (en) Dynamic resolution switching in live streams based on video quality assessment
US10735773B2 (en) Video coding techniques for high quality coding of low motion content
De Praeter et al. Simultaneous encoder for high-dynamic-range and low-dynamic-range video
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
Garcia et al. Video streaming
Van den Ende et al. Towards content-aware coding: User study
CN114071121A (zh) 影像品质评估装置及其影像品质评估方法
US20150350688A1 (en) I-frame flashing fix in video encoding and decoding
Mazhar et al. Efficient Video Encoding Acceleration for Cloud Gaming
Dragić et al. Power consumption and bandwidth savings with video transcoding to mobile device-specific spatial resolution
CN117354524B (zh) 编码器编码性能测试方法、装置、设备及计算机介质
US20240163436A1 (en) Just noticeable differences-based video encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021675

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant