CN114466221B - 一种图像处理方法、装置、存储介质和电子设备 - Google Patents
一种图像处理方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN114466221B CN114466221B CN202210041117.9A CN202210041117A CN114466221B CN 114466221 B CN114466221 B CN 114466221B CN 202210041117 A CN202210041117 A CN 202210041117A CN 114466221 B CN114466221 B CN 114466221B
- Authority
- CN
- China
- Prior art keywords
- video frame
- set threshold
- target video
- scene
- scene type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 141
- 238000013139 quantization Methods 0.000 claims description 72
- 230000003068 static effect Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 12
- 230000000875 corresponding effect Effects 0.000 description 141
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供一种图像处理方法、装置、存储介质和电子设备，涉及图像处理技术领域。该方法基于对目标视频帧进行编码得到的编码结果，获取目标视频帧对应的编码信息，并对编码信息进行分析，确定出目标视频帧对应的场景类型，根据该场景类型，可以确定出相应的图像优化策略，以根据图像优化策略，对目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对图像处理后的设定时间长度内的视频帧进行编码。由于视频帧之间具有时间连续性，根据目标视频帧对应的编码信息确定出的场景类型，可以反馈获得后续视频帧的图像优化策略，从而可以达到在保证编码码率不变的前提下，提高后续视频帧的图像质量的效果；或者保证图像质量的前提下，降低编码码率。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质和电子设备。
背景技术
视频编码是一项十分重要的技术，被广泛运用于视频压缩和视频传输领域。视频编码技术通过减少视频空间和时间上的冗余性，能在很大程度上降低视频文件的大小，大大节省视频存储和传输成本，为视频快速传输提供了可能性。
而由于光线较暗、曝光时间不足等原因的存在，拍摄出来的视频往往会遭受严重的噪声干扰，并且，视频中存在的噪声会影响视频编码的编码码率。因此，在视频编码中需要同时对视频进行降噪处理。
目前，通常采用的方法是在编码前根据编码预测量化步长对视频帧的场景进行判断，判定视频帧为运动或者静止场景，再基于判断出的场景对视频帧进行降噪处理后再编码。然而，该方法仅通过使用编码量化步长来对视频的场景进行判定，会导致确定出的视频场景的准确性不高，从而不能达到降低编码码率的同时，提高图像效果的目的。
发明内容
为解决现有存在的技术问题，本申请实施例提供了一种图像处理方法、装置、存储介质和电子设备，可以在降低编码码率的同时，提高图像效果。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
基于对目标视频帧进行编码得到的编码结果，获取所述目标视频帧对应的编码信息；
对所述编码信息进行分析，确定所述目标视频帧对应的场景类型，并根据所述场景类型，确定相应的图像优化策略；
根据所述图像优化策略，对所述目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对所述图像处理后的设定时间长度内的视频帧进行编码。
本申请实施例提供的图像处理方法，基于对目标视频帧进行编码得到的编码结果，获取目标视频帧对应的编码信息，并对编码信息进行分析，确定目标视频帧对应的场景类型，以及根据场景类型，确定相应的图像优化策略，从而可以根据图像优化策略，对目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对图像处理后的设定时间长度内的视频帧进行编码。由于视频帧之间具有时间连续性，根据目标视频帧对应的编码信息来确定出目标视频帧的场景类型，以反馈确定出后续视频帧的图像优化策略，从而可以达到在保证编码码率不变的前提下，提高后续视频帧的图像质量的效果；或者保证图像质量的前提下，降低编码码率。
在一种可选的实施例中，所述对所述编码信息进行分析，确定所述目标视频帧对应的场景类型，包括：
将所述编码信息包括的多个类型的参数值与各类型对应的阈值进行比较，得到各类型对应的多个比较结果；
基于所述多个比较结果，确定所述目标视频帧对应的场景类型。
在该实施例中，可以将编码信息包括的多个类型的参数值与各类型对应的阈值进行比较，得到各类型对应的多个比较结果，进而基于多个比较结果，确定出目标视频帧对应的场景类型。由于编码信息中包括的每个类型的参数值都可以分别表明目标视频帧的画面状态如何，因此，根据每个类型的参数值与各类型对应的阈值进行比较得到的多个比较结果，就可以较为准确地判断出目标视频帧所对应的场景类型。
在一种可选的实施例中，所述编码信息包括编码码率、量化参数值、跳过宏块数和运动矢量；
所述基于所述多个比较结果，确定所述目标视频帧对应的场景类型，包括：
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为静态复杂场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，在第一设定视频帧区域内，所述运动矢量大于第四设定阈值且所述运动矢量的方向满足第一设定条件，则确定所述目标视频帧对应的场景类型为局部运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量大于第四设定阈值且所述运动矢量的方向相同，则确定所述目标视频帧对应的场景类型为整体运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为整体噪声场景。
在该实施例中，当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机时，可以确定目标视频帧对应的场景类型为静态复杂场景；当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，在第一设定视频帧区域内，运动矢量大于第四设定阈值且运动矢量的方向满足第一设定条件时，可以确定目标视频帧对应的场景类型为局部运动场景；当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，运动矢量大于第四设定阈值且运动矢量的方向相同时，可以确定目标视频帧对应的场景类型为整体运动场景；当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机时，可以确定目标视频帧对应的场景类型为整体噪声场景。从而可以准确地判断出目标视频帧所对应的场景类型。
在一种可选的实施例中，所述编码信息包括编码码率、量化参数值和运动矢量；
所述基于所述多个比较结果，确定所述目标视频帧对应的场景类型，包括：
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，在第二设定视频帧区域内，所述运动矢量大于第四设定阈值且所述运动矢量的方向满足第二设定条件，则确定所述目标视频帧对应的场景类型为普通运动场景；
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为普通静态场景。
在该实施例中，当编码码率小于第一设定阈值，量化参数值小于第二设定阈值，在第二设定视频帧区域内，运动矢量大于第四设定阈值且运动矢量的方向满足第二设定条件时，可以确定目标视频帧对应的场景类型为普通运动场景；当编码码率小于第一设定阈值，量化参数值小于第二设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机时，可以确定目标视频帧对应的场景类型为普通静态场景。从而可以准确地判断出目标视频帧所对应的场景类型。
在一种可选的实施例中，所述根据所述场景类型，确定相应的图像优化策略，包括：
基于预设的场景类型与图像优化策略之间的对应关系，确定所述目标视频帧的场景类型对应的图像优化策略。
在该实施例中，可以基于预设的场景类型与图像优化策略之间的对应关系，确定目标视频帧的场景类型对应的图像优化策略。由于每个场景类型都对应有相应的图像优化策略，从而在获取到目标视频帧对应的场景类型，可以基于得到的场景类型，准确地确定出目标视频帧对应的图像优化策略。
在一种可选的实施例中，所述预设的场景类型与图像优化策略之间的对应关系包括下列中的部分或全部：
若所述目标视频帧对应的场景类型为静态复杂场景，则所述图像优化策略为增加空域降噪强度和降低锐化强度；
若所述目标视频帧对应的场景类型为局部运动场景，则所述图像优化策略为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度；
若所述目标视频帧对应的场景类型为整体运动场景，则所述图像优化策略为增加时域降噪强度和降低锐化强度；或者所述图像优化策略为提高编码码率；
若所述目标视频帧对应的场景类型为整体噪声场景，则所述图像优化策略为增加空域降噪强度；
若所述目标视频帧对应的场景类型为普通静态场景，则所述图像优化策略为减低空域降噪强度和提高锐化强度；
若所述目标视频帧对应的场景类型为普通运动场景，则所述图像优化策略为提高对目标宏块的锐化强度，其中目标宏块是所述目标视频帧中宏块面积小于设定面积阈值的宏块。
在该实施例中，当目标视频帧对应的场景类型为静态复杂场景时，可以确定图像优化策略为增加空域降噪强度和降低锐化强度；当目标视频帧对应的场景类型为局部运动场景时，可以确定图像优化策略为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度；当目标视频帧对应的场景类型为整体运动场景时，可以确定图像优化策略为增加时域降噪强度和降低锐化强度，或者图像优化策略为提高编码码率；当目标视频帧对应的场景类型为整体噪声场景时，可以确定图像优化策略为增加空域降噪强度；当目标视频帧对应的场景类型为普通静态场景时，可以确定图像优化策略为减低空域降噪强度和提高锐化强度；当目标视频帧对应的场景类型为普通运动场景时，可以确定图像优化策略为提高对目标宏块的锐化强度，其中目标宏块是目标视频帧中宏块面积小于设定面积阈值的宏块。从而可以根据目标视频帧所对应的场景类型，准确地确定出需要对目标视频帧执行的图像优化策略。
第二方面，本申请实施例还提供了一种图像处理装置，包括：
编码信息获取单元，用于基于对目标视频帧进行编码得到的编码结果，获取所述目标视频帧对应的编码信息；
优化策略确定单元，用于对所述编码信息进行分析，确定所述目标视频帧对应的场景类型，并根据所述场景类型，确定相应的图像优化策略；
视频编码单元，用于根据所述图像优化策略，对所述目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对所述图像处理后的设定时间长度内的视频帧进行编码。
在一种可选的实施例中，所述优化策略确定单元，具体用于：
将所述编码信息包括的多个类型的参数值与各类型对应的阈值进行比较，得到各类型对应的多个比较结果；
基于所述多个比较结果，确定所述目标视频帧对应的场景类型。
在一种可选的实施例中，所述编码信息包括编码码率、量化参数值、跳过宏块数和运动矢量；所述优化策略确定单元，还用于：
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为静态复杂场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，在第一设定视频帧区域内，所述运动矢量大于第四设定阈值且所述运动矢量的方向满足第一设定条件，则确定所述目标视频帧对应的场景类型为局部运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量大于第四设定阈值且所述运动矢量的方向相同，则确定所述目标视频帧对应的场景类型为整体运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为整体噪声场景。
在一种可选的实施例中，所述编码信息包括编码码率、量化参数值和运动矢量；所述优化策略确定单元，还用于：
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，在第二设定视频帧区域内，所述运动矢量大于第四设定阈值且所述运动矢量的方向满足第二设定条件，则确定所述目标视频帧对应的场景类型为普通运动场景；
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为普通静态场景。
在一种可选的实施例中，所述优化策略确定单元，还用于：
基于预设的场景类型与图像优化策略之间的对应关系，确定所述目标视频帧的场景类型对应的图像优化策略。
在一种可选的实施例中，所述优化策略确定单元，还用于：
若所述目标视频帧对应的场景类型为静态复杂场景，则所述图像优化策略为增加空域降噪强度和降低锐化强度；
若所述目标视频帧对应的场景类型为局部运动场景，则所述图像优化策略为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度；
若所述目标视频帧对应的场景类型为整体运动场景，则所述图像优化策略为增加时域降噪强度和降低锐化强度；或者所述图像优化策略为提高编码码率；
若所述目标视频帧对应的场景类型为整体噪声场景，则所述图像优化策略为增加空域降噪强度；
若所述目标视频帧对应的场景类型为普通静态场景，则所述图像优化策略为减低空域降噪强度和提高锐化强度；
若所述目标视频帧对应的场景类型为普通运动场景，则所述图像优化策略为提高对目标宏块的锐化强度，其中目标宏块是所述目标视频帧中宏块面积小于设定面积阈值的宏块。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的图像处理方法。
第四方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的图像处理方法。
第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程图；
图2为本申请实施例提供的另一种图像处理方法的流程图；
图3为本申请实施例提供的一种图像处理装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将结合附图，对本申请实施例提供的技术方案进行详细说明。
本申请实施例提供了一种图像处理方法，如图1所示，包括如下步骤：
步骤S101，基于对目标视频帧进行编码得到的编码结果，获取目标视频帧对应的编码信息。
根据对目标视频帧进行编码后得到的编码结果，可以获取目标视频帧对应的编码信息。在对目标视频帧进行编码时，可以采用H.264或H.265编码。并且，无论是H.264还是H.265编码，都会把图像分割成块，在H.264中可以称之为宏块(Macro Block，MB)，在H.265中可以称之为编码树单元(Coding Tree Unit，CTU)，为便于理解，以下均统称为宏块。
步骤S102，对编码信息进行分析，确定目标视频帧对应的场景类型，并根据场景类型，确定相应的图像优化策略。
在获取到目标视频帧对应的编码信息后，可以先将编码信息包括的多个类型的参数值与各类型对应的阈值进行比较，得到各类型对应的多个比较结果，然后基于多个比较结果，确定目标视频帧对应的场景类型。
具体地，编码信息中包括有编码码率、量化参数值、跳过宏块数和运动矢量。若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机，则确定目标视频帧对应的场景类型为静态复杂场景。其中，在确定编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值后，还需要确定在目标视频帧中，有绝大部分的运动矢量小于第四设定阈值且该部分运动矢量的方向随机，才能确定目标视频帧对应的场景类型为静态复杂场景。
若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，在第一设定视频帧区域内，运动矢量大于第四设定阈值且运动矢量的方向满足第一设定条件，则确定目标视频帧对应的场景类型为局部运动场景。其中，第一设定视频帧区域可以是目标视频帧中的局部区域，且在局部区域内，运动矢量较集中，第一设定条件可以是在局部区域内，运动矢量的方向较一致。
若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，运动矢量大于第四设定阈值且运动矢量的方向相同，则确定目标视频帧对应的场景类型为整体运动场景。其中，在确定编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值后，还需要确定在目标视频帧中，有绝大部分的运动矢量大于第四设定阈值且该部分运动矢量的方向相同，才能确定目标视频帧对应的场景类型为整体运动场景。
若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机，则确定目标视频帧对应的场景类型为整体噪声场景。其中，在确定编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值后，还需要确定在目标视频帧中，有绝大部分的运动矢量小于第四设定阈值且该部分运动矢量的方向随机，才能确定目标视频帧对应的场景类型为整体噪声场景。
若编码码率小于第一设定阈值，量化参数值小于第二设定阈值，在第二设定视频帧区域内，运动矢量大于第四设定阈值且运动矢量的方向满足第二设定条件，则确定目标视频帧对应的场景类型为普通运动场景。其中，第二设定视频帧区域为目标视频帧中的局部区域，第二设定条件为在局部区域内运动矢量的方向基本一致。
若编码码率小于第一设定阈值，量化参数值小于第二设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机，则确定目标视频帧对应的场景类型为普通静态场景。其中，在确定编码码率小于第一设定阈值，量化参数值小于第二设定阈值后，还需要确定在目标视频帧中，有绝大部分的运动矢量小于第四设定阈值且该部分运动矢量的方向随机，才能确定目标视频帧对应的场景类型为普通静态场景。
在确定出目标视频帧对应的场景类型后，可以基于预设的场景类型与图像优化策略之间的对应关系，确定出目标视频帧的场景类型对应的图像优化策略。
具体地，若目标视频帧对应的场景类型为静态复杂场景，则图像优化策略可以为增加空域降噪强度和降低锐化强度。若目标视频帧对应的场景类型为局部运动场景，则图像优化策略可以为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度。
若目标视频帧对应的场景类型为整体运动场景，则图像优化策略可以为增加时域降噪强度和降低锐化强度，或者图像优化策略可以为提高编码码率。若目标视频帧对应的场景类型为整体噪声场景，则图像优化策略可以为增加空域降噪强度。
若目标视频帧对应的场景类型为普通静态场景，则图像优化策略可以为减低空域降噪强度和提高锐化强度。若目标视频帧对应的场景类型为普通运动场景，则图像优化策略可以为提高对目标宏块的锐化强度，其中目标宏块是目标视频帧中宏块面积小于设定面积阈值的宏块。
步骤S103，根据图像优化策略，对目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对图像处理后的设定时间长度内的视频帧进行编码。
基于视频数据的时间连续性，当前编码帧的统计信息和预测信息，对于后续短时间内的图像处理具有很可靠的参考意义。因此，在确定出相应的图像优化策略后，就可以根据图像优化策略，对目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对图像处理后的设定时间长度内的视频帧进行编码。
根据对当前视频帧，即目标视频帧进行编码的编码结果，可以获取相应的编码信息，包括量化参数(Quantization Parameter，QP)值、跳过(skip)宏块数、运动矢量、宏块大小分布和编码码率，这些信息可以反映出当前视频帧的细节、运动区域、编码带宽压力等。由这些编码信息，分析出当前视频帧的画面内容类型，以及编码性能状态，反馈调节后续图像降噪、图像增强参数，以此达到动态自适应消除编码马赛克并尽量保证图像细节清晰度的效果。
根据对编码信息，即QP值、skip宏块数、运动矢量、宏块大小分布和编码码率的分析，可以判定当前视频帧的当前画面状态。具体分析如下：
QP值与量化步长正相关，值越大，量化步长越大，编码效果也越差，一般在编码码率较大接近或者达到编码码率上限的时候，QP值会明显增大，或者在出现局部运动的场景下，会出现背景区域QP值明显变大的情况；
skip宏块表示跳过编码区域，出现时该宏块不单独编码，而使用匹配块直接填充，一般出现在视频运动小，QP较大的场景下。skip宏块数越多，表示当前场景运动较少，且编码压力较大，编码效果不佳，容易出现细节丢失和马赛克现象；
运动矢量表征了当前视频帧相对于前一视频帧的差异，当局部区域运动矢量较大时，表示画面中存在运动物体，值越大运动越剧烈；当画面整体运动矢量较均匀且方向一致时，表示当前画面整体运动，可能摄像机在转动；当画面整体运动矢量较均匀且方向比较无序，表示可能为噪声干扰或者树叶被风吹动等情况；
宏块大小分布和区域细节程度强相关，在细节较丰富的区域，编码器会划分更小的宏块以免损失细节，在较平坦区域，编码器会划分相对较大红外以降低编码数据量。
在一些实施例中，根据上述分析得到的编码规律，本申请实施例提供的图像方法还可以按照如图2所示的过程进行实现，如图2所示，包括如下步骤：
步骤S201，基于对目标视频帧进行编码得到的编码结果，获取目标视频帧对应的编码信息，包括编码码率、量化参数值、跳过宏块数和运动矢量。
步骤S202，确定编码码率是否大于第一设定阈值且量化参数值是否大于第二设定阈值；如果是，执行步骤S203；如果否，执行步骤S214。
步骤S203，确定跳过宏块数是否大于第三设定阈值；如果是，执行步骤S204；如果否，执行步骤S209。
步骤S204，确定运动矢量是否大于第四设定阈值；如果是，执行步骤S205；如果否，执行步骤S207。
步骤S205，确定目标视频帧对应的场景类型为局部运动场景。
当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，目标视频帧中的局部区域内运动矢量均大于第四设定阈值，且在局部区域内的运动矢量较为集中，以及局部区域内的运动矢量的方向较为一致时，可以确定目标视频帧对应的场景类型为局部运动场景。
步骤S206，图像优化策略为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度。
步骤S207，确定目标视频帧对应的场景类型为静态复杂场景。
当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，目标视频帧中的绝大部分的运动矢量都小于第四设定阈值且该绝大部分的运动矢量的方向随机时，可以确定目标视频帧对应的场景类型为静态复杂场景。
步骤S208，图像优化策略为增加空域降噪强度和降低锐化强度。
步骤S209，确定运动矢量是否大于第四设定阈值；如果是，执行步骤S210；如果否，执行步骤S212。
步骤S210，确定目标视频帧对应的场景类型为整体运动场景。
当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，目标视频帧中的绝大部分的运动矢量都大于第四设定阈值且该绝大部分的运动矢量的方向相同时，可以确定目标视频帧对应的场景类型为整体运动场景。
步骤S211，图像优化策略为增加时域降噪强度和降低锐化强度，或者图像优化策略为提高编码码率。
步骤S212，确定目标视频帧对应的场景类型为整体噪声场景。
当编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，目标视频帧中的绝大部分的运动矢量都小于第四设定阈值且该绝大部分的运动矢量的方向随机时，可以确定目标视频帧对应的场景类型为整体噪声场景。
步骤S213，图像优化策略为增加空域降噪强度。
步骤S214，确定运动矢量是否大于第四设定阈值；如果是，执行步骤S215；如果否，执行步骤S217。
步骤S215，确定目标视频帧对应的场景类型为普通运动场景。
当编码码率小于第一设定阈值，量化参数值小于第二设定阈值，目标视频帧的局部区域内，运动矢量大于第四设定阈值且运动矢量的方向局部一致时，可以确定目标视频帧对应的场景类型为普通运动场景。
步骤S216，图像优化策略为提高对目标宏块的锐化强度，其中目标宏块是所述目标视频帧中宏块面积小于设定面积阈值的宏块。
步骤S217，确定目标视频帧对应的场景类型为普通静态场景。
当编码码率小于第一设定阈值，量化参数值小于第二设定阈值，目标视频帧中的绝大部分的运动矢量都小于第四设定阈值且该绝大部分的运动矢量的方向随机时，可以确定目标视频帧对应的场景类型为普通静态场景。
步骤S218，图像优化策略为减低空域降噪强度和提高锐化强度。
具体地，对目标视频帧进行编码后，可以得到相应的编码结果，根据该编码结果，可以获取到目标视频帧对应的编码信息。其中，编码信息中可以包括编码码率、量化参数值、跳过宏块数和运动矢量。
当编码码率较大，达到或者接近上限时，如果QP值较大，skip宏块数较多，则判定为静态复杂场景或者局部运动场景。
如果运动矢量较小且方向随机，则为静态复杂场景，可适当增加空域降噪(2D降噪)强度，降低锐化强度，从而降低整体编码压力，防止出现马赛克；
如果运动矢量局部较大，且方向较一致则为局部运动场景，可适当增加时域降噪(3D降噪)强度，减少运动噪声带来的编码压力，从而降低编码码率。更进一步，可以对运动区域局部提高清晰度，而对其他区域降低清晰度，达到在有限的编码带宽下优先保证重点目标细节，但同时背景区域又不至于出现严重马赛克现象影响主观感受的目的。
当编码码率较大，达到或者接近上限时，如果QP值较大，skip宏块数很少，则为整体运动或者噪声较严重场景。
如果整体运动矢量方向和大小一致，则为画面整体运动，这种情况下必然会导致大量马赛克现象，这种情况较常见于可转动的摄像机，如安防摄像头中的云台机、球机等，以及便携式相机如手机。靠微调降噪基本作用不大，对于编码码率控制要求较高的产品可以较大幅加强降噪、降低锐化，压低细节来尽量减少马赛克，对于图像质量要求更高的产品可以提高编码码率来保证图像质量；
如果大小方向较随机无序，则为噪声或者画面内物体例如树叶扰动等，可以提高时域降噪(3D降噪)强度，减少扰动带来的编码压力。
当编码码率较低，QP值较小时，说明当前编码压力小，性能富余，此时可以适当提高锐化强度以加强细节，提高清晰度。
如果运动矢量局部较大且方向一致，则为一般局部运动场景，针对小宏块区域加大图像锐化，提升重点目标区域细节；
如果运动矢量分散随机，则为一般静态场景，全局适当减低降噪强度，提升锐化强度，提升整体清晰度。
本申请提供的图像处理方法，可以基于对目标视频帧进行编码得到的编码结果，获取目标视频帧对应的编码信息，并对编码信息进行分析，确定出目标视频帧对应的场景类型，从而可以根据获得的场景类型，确定出相应的图像优化策略，来对目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对图像处理后的设定时间长度内的视频帧进行编码。在基本不额外增加性能消耗的前提下，对图像降噪、图像增强和编码策略进行综合评估，选择最佳效果，平衡图像效果和编码码率要求。
相比与相关技术，本申请提供的图像处理方法具有以下优点：
1、可以对编码后的数据进行分析，只要是符合H264/265标准或类似协议的编码数据都可以，不依赖于编码器的实现，适用于编码器完全封闭的产品，通用性强。
2、根据编码结果分析当前的视频场景类型，根据QP分布、编码skip宏块分布、运动矢量分布、宏块大小分布信息和当前编码码率等多种信息，进行精细化精准分类，并针对性的进行图像2D降噪、3D降噪、图像增强、编码码率调整等处理。
3、根据编码信息进行全局、局部分析，判定全局或者局部运动特点，针对性地对图像进行优化。
4、几乎不增加计算资源消耗，可用于性能紧张的设备产品。
与图1所示的图像处理方法基于同一发明构思，本申请实施例中还提供了一种图像处理装置。由于该装置是本申请图像处理方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图3示出了本申请实施例提供的一种图像处理装置的结构示意图，如图3所示，该图像处理装置包括编码信息获取单元301、优化策略确定单元302和视频编码单元303。
其中，编码信息获取单元301，用于基于对目标视频帧进行编码得到的编码结果，获取目标视频帧对应的编码信息；
优化策略确定单元302，用于对编码信息进行分析，确定目标视频帧对应的场景类型，并根据场景类型，确定相应的图像优化策略；
视频编码单元303，用于根据图像优化策略，对目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对图像处理后的设定时间长度内的视频帧进行编码。
在一种可选的实施例中，优化策略确定单元302，具体用于：
将编码信息包括的多个类型的参数值与各类型对应的阈值进行比较，得到各类型对应的多个比较结果；
基于多个比较结果，确定目标视频帧对应的场景类型。
在一种可选的实施例中，编码信息包括编码码率、量化参数值、跳过宏块数和运动矢量；优化策略确定单元302，还用于：
若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机，则确定目标视频帧对应的场景类型为静态复杂场景；
若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数大于第三设定阈值，在第一设定视频帧区域内，运动矢量大于第四设定阈值且运动矢量的方向满足第一设定条件，则确定目标视频帧对应的场景类型为局部运动场景；
若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，运动矢量大于第四设定阈值且运动矢量的方向相同，则确定目标视频帧对应的场景类型为整体运动场景；
若编码码率大于第一设定阈值，量化参数值大于第二设定阈值，跳过宏块数小于第三设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机，则确定目标视频帧对应的场景类型为整体噪声场景。
在一种可选的实施例中，编码信息包括编码码率、量化参数值和运动矢量；优化策略确定单元302，还用于：
若编码码率小于第一设定阈值，量化参数值小于第二设定阈值，在第二设定视频帧区域内，运动矢量大于第四设定阈值且运动矢量的方向满足第二设定条件，则确定目标视频帧对应的场景类型为普通运动场景；
若编码码率小于第一设定阈值，量化参数值小于第二设定阈值，运动矢量小于第四设定阈值且运动矢量的方向随机，则确定目标视频帧对应的场景类型为普通静态场景。
在一种可选的实施例中，优化策略确定单元302，还用于：
基于预设的场景类型与图像优化策略之间的对应关系，确定目标视频帧的场景类型对应的图像优化策略。
在一种可选的实施例中，优化策略确定单元302，还用于：
若目标视频帧对应的场景类型为静态复杂场景，则图像优化策略为增加空域降噪强度和降低锐化强度；
若目标视频帧对应的场景类型为局部运动场景，则图像优化策略为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度；
若目标视频帧对应的场景类型为整体运动场景，则图像优化策略为增加时域降噪强度和降低锐化强度；或者图像优化策略为提高编码码率；
若目标视频帧对应的场景类型为整体噪声场景，则图像优化策略为增加空域降噪强度；
若目标视频帧对应的场景类型为普通静态场景，则图像优化策略为减低空域降噪强度和提高锐化强度；
若目标视频帧对应的场景类型为普通运动场景，则图像优化策略为提高对目标宏块的锐化强度，其中目标宏块是目标视频帧中宏块面积小于设定面积阈值的宏块。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于对视频帧进行图像处理。在一种实施例中，该电子设备可以是服务器，也可以是终端设备或其他电子设备。在该实施例中，电子设备的结构可以如图4所示，包括存储器401，通讯模块403以及一个或多个处理器402。
存储器401，用于存储处理器402执行的计算机程序。存储器401可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器401可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器401也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器401是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器401可以是上述存储器的组合。
处理器402，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器402，用于调用存储器401中存储的计算机程序时实现上述图像处理方法。
通讯模块403用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器401、通讯模块403和处理器402之间的具体连接介质。本公开实施例在图4中以存储器401和处理器402之间通过总线404连接，总线404在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线404可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的图像处理方法。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
基于对目标视频帧进行编码得到的编码结果，获取所述目标视频帧对应的编码信息；
对所述编码信息进行分析，确定所述目标视频帧对应的场景类型，并根据所述场景类型，确定相应的图像优化策略；
根据所述图像优化策略，对所述目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对所述图像处理后的设定时间长度内的视频帧进行编码；
其中，所述对所述编码信息进行分析，确定所述目标视频帧对应的场景类型，包括：
将所述编码信息包括的多个类型的参数值与各类型对应的阈值进行比较，得到各类型对应的多个比较结果；
基于所述多个比较结果，确定所述目标视频帧对应的场景类型；
其中，所述编码信息包括编码码率、量化参数值和运动矢量。
2.如权利要求1所述的方法，其特征在于，所述编码信息包括编码码率、量化参数值、跳过宏块数和运动矢量；
所述基于所述多个比较结果，确定所述目标视频帧对应的场景类型，包括：
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为静态复杂场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，在第一设定视频帧区域内，所述运动矢量大于第四设定阈值且所述运动矢量的方向满足第一设定条件，则确定所述目标视频帧对应的场景类型为局部运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量大于第四设定阈值且所述运动矢量的方向相同，则确定所述目标视频帧对应的场景类型为整体运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为整体噪声场景。
3.如权利要求1所述的方法，其特征在于，所述基于所述多个比较结果，确定所述目标视频帧对应的场景类型，包括：
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，在第二设定视频帧区域内，所述运动矢量大于第四设定阈值且所述运动矢量的方向满足第二设定条件，则确定所述目标视频帧对应的场景类型为普通运动场景；
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为普通静态场景。
4.如权利要求1所述的方法，其特征在于，所述根据所述场景类型，确定相应的图像优化策略，包括：
基于预设的场景类型与图像优化策略之间的对应关系，确定所述目标视频帧的场景类型对应的图像优化策略。
5.如权利要求4所述的方法，其特征在于，所述预设的场景类型与图像优化策略之间的对应关系包括下列中的部分或全部：
若所述目标视频帧对应的场景类型为静态复杂场景，则所述图像优化策略为增加空域降噪强度和降低锐化强度；
若所述目标视频帧对应的场景类型为局部运动场景，则所述图像优化策略为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度；
若所述目标视频帧对应的场景类型为整体运动场景，则所述图像优化策略为增加时域降噪强度和降低锐化强度；或者所述图像优化策略为提高编码码率；
若所述目标视频帧对应的场景类型为整体噪声场景，则所述图像优化策略为增加空域降噪强度；
若所述目标视频帧对应的场景类型为普通静态场景，则所述图像优化策略为减低空域降噪强度和提高锐化强度；
若所述目标视频帧对应的场景类型为普通运动场景，则所述图像优化策略为提高对目标宏块的锐化强度，其中目标宏块是所述目标视频帧中宏块面积小于设定面积阈值的宏块。
6.一种图像处理装置，其特征在于，包括：
编码信息获取单元，用于基于对目标视频帧进行编码得到的编码结果，获取所述目标视频帧对应的编码信息；
优化策略确定单元，用于对所述编码信息进行分析，确定所述目标视频帧对应的场景类型，并根据所述场景类型，确定相应的图像优化策略；
视频编码单元，用于根据所述图像优化策略，对所述目标视频帧之后的设定时间长度内的视频帧进行图像处理，并对所述图像处理后的设定时间长度内的视频帧进行编码；
其中，所述优化策略确定单元，具体用于：
将所述编码信息包括的多个类型的参数值与各类型对应的阈值进行比较，得到各类型对应的多个比较结果；
基于所述多个比较结果，确定所述目标视频帧对应的场景类型；
其中，所述编码信息包括编码码率、量化参数值和运动矢量。
7.如权利要求6所述的装置，其特征在于，所述编码信息包括编码码率、量化参数值、跳过宏块数和运动矢量；所述优化策略确定单元，还用于：
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为静态复杂场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数大于第三设定阈值，所述运动矢量大于第四设定阈值且所述运动矢量的方向相同，则确定所述目标视频帧对应的场景类型为局部运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量大于第四设定阈值且所述运动矢量的方向相同，则确定所述目标视频帧对应的场景类型为整体运动场景；
若所述编码码率大于第一设定阈值，所述量化参数值大于第二设定阈值，所述跳过宏块数小于第三设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为整体噪声场景。
8.如权利要求6所述的装置，其特征在于，所述优化策略确定单元，还用于：
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，所述运动矢量大于第四设定阈值且所述运动矢量的方向相同，则确定所述目标视频帧对应的场景类型为普通运动场景；
若所述编码码率小于第一设定阈值，所述量化参数值小于第二设定阈值，所述运动矢量小于第四设定阈值且所述运动矢量的方向随机，则确定所述目标视频帧对应的场景类型为普通静态场景。
9.如权利要求6所述的装置，其特征在于，所述优化策略确定单元，还用于：
基于预设的场景类型与图像优化策略之间的对应关系，确定所述目标视频帧的场景类型对应的图像优化策略。
10.如权利要求9所述的装置，其特征在于，所述优化策略确定单元，还用于：
若所述目标视频帧对应的场景类型为静态复杂场景，则所述图像优化策略为增加空域降噪强度和降低锐化强度；
若所述目标视频帧对应的场景类型为局部运动场景，则所述图像优化策略为增加时域降噪强度，提高对图像中的运动区域的锐化强度，以及降低对图像中的除运动区域以外的其他区域的锐化强度；
若所述目标视频帧对应的场景类型为整体运动场景，则所述图像优化策略为增加时域降噪强度和降低锐化强度；或者所述图像优化策略为提高编码码率；
若所述目标视频帧对应的场景类型为整体噪声场景，则所述图像优化策略为增加空域降噪强度；
若所述目标视频帧对应的场景类型为普通静态场景，则所述图像优化策略为减低空域降噪强度和提高锐化强度；
若所述目标视频帧对应的场景类型为普通运动场景，则所述图像优化策略为提高对目标宏块的锐化强度，其中目标宏块是所述目标视频帧中宏块面积小于设定面积阈值的宏块。
11.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～5中任一项所述的方法。
12.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210041117.9A CN114466221B (zh) | 2022-01-14 | 2022-01-14 | 一种图像处理方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210041117.9A CN114466221B (zh) | 2022-01-14 | 2022-01-14 | 一种图像处理方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114466221A CN114466221A (zh) | 2022-05-10 |
| CN114466221B true CN114466221B (zh) | 2024-02-02 |
Family
ID=81410183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210041117.9A Active CN114466221B (zh) | 2022-01-14 | 2022-01-14 | 一种图像处理方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114466221B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627134B (zh) * | 2022-05-18 | 2022-08-09 | 深圳元象信息科技有限公司 | 场景图像生成方法 |
| CN114925226B (zh) * | 2022-06-22 | 2023-03-10 | 上海威固信息技术股份有限公司 | 一种图像存储方法、系统、图像存储设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108989804A (zh) * | 2018-08-23 | 2018-12-11 | 杭州雄迈集成电路技术有限公司 | 图像的编码方法及装置 |
| CN109905711A (zh) * | 2019-02-28 | 2019-06-18 | 深圳英飞拓智能技术有限公司 | 一种图像的处理方法、系统及终端设备 |
| CN110166781A (zh) * | 2018-06-22 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置和可读介质 |
| CN111193927A (zh) * | 2018-11-14 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 编码数据处理方法、装置、计算机设备和存储介质 |
| CN112312134A (zh) * | 2019-08-01 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 编码方法、装置、电子设备及可读存储介质 |
| CN112449182A (zh) * | 2019-08-28 | 2021-03-05 | 广州虎牙科技有限公司 | 视频编码方法、装置、设备及存储介质 |
| CN112543328A (zh) * | 2019-09-20 | 2021-03-23 | 广州虎牙科技有限公司 | 辅助编码方法、装置、计算机设备及存储介质 |
| CN112788364A (zh) * | 2019-11-07 | 2021-05-11 | 国基电子（上海）有限公司 | 码流动态调整装置、方法及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001245303A (ja) * | 2000-02-29 | 2001-09-07 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
| US11470327B2 (en) * | 2020-03-30 | 2022-10-11 | Alibaba Group Holding Limited | Scene aware video content encoding |
-
2022
- 2022-01-14 CN CN202210041117.9A patent/CN114466221B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110166781A (zh) * | 2018-06-22 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置和可读介质 |
| CN108989804A (zh) * | 2018-08-23 | 2018-12-11 | 杭州雄迈集成电路技术有限公司 | 图像的编码方法及装置 |
| CN111193927A (zh) * | 2018-11-14 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 编码数据处理方法、装置、计算机设备和存储介质 |
| CN109905711A (zh) * | 2019-02-28 | 2019-06-18 | 深圳英飞拓智能技术有限公司 | 一种图像的处理方法、系统及终端设备 |
| CN112312134A (zh) * | 2019-08-01 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 编码方法、装置、电子设备及可读存储介质 |
| CN112449182A (zh) * | 2019-08-28 | 2021-03-05 | 广州虎牙科技有限公司 | 视频编码方法、装置、设备及存储介质 |
| CN112543328A (zh) * | 2019-09-20 | 2021-03-23 | 广州虎牙科技有限公司 | 辅助编码方法、装置、计算机设备及存储介质 |
| CN112788364A (zh) * | 2019-11-07 | 2021-05-11 | 国基电子（上海）有限公司 | 码流动态调整装置、方法及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多层次特征表示的场景图像分类算法;范敏;韩琪;王芬;宿晓岚;徐浩;吴松麟;;吉林大学学报(工学版)(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114466221A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11412229B2 (en) | Method and apparatus for video encoding and decoding | |
| US10205953B2 (en) | Object detection informed encoding | |
| CN114466221B (zh) | 一种图像处理方法、装置、存储介质和电子设备 | |
| GB2550008A (en) | Motion vector coding using dynamic reference motion vectors | |
| US20130336393A1 (en) | Video encoding/decoding methods, video encoding/decoding apparatuses, and programs therefor | |
| WO2014139396A1 (en) | Video coding method using at least evaluated visual quality and related video coding apparatus | |
| US10623744B2 (en) | Scene based rate control for video compression and video streaming | |
| US10869042B2 (en) | Template based adaptive weighted bi-prediction for video coding | |
| US9445089B2 (en) | Video encoding device, video encoding method and video encoding program | |
| US9578324B1 (en) | Video coding using statistical-based spatially differentiated partitioning | |
| KR102201604B1 (ko) | 예측 파라미터들에서의 데이터 숨김을 위한 방법 및 장치 | |
| CN111416977A (zh) | 视频编码器、视频解码器及相应方法 | |
| US20210227216A1 (en) | Template refined bi-prediction for video coding using anchor point | |
| Hassan et al. | Predicting split decisions of coding units in HEVC video compression using machine learning techniques | |
| CN113422959A (zh) | 视频编解码的方法、装置、电子设备及存储介质 | |
| CN110769255B (zh) | 一种图像编码方法及装置 | |
| US20150189301A1 (en) | Encoding apparatus, encoding method, and image capture apparatus | |
| CN115428451A (zh) | 视频编码方法、编码器、系统以及计算机存储介质 | |
| Lin et al. | HEVC early termination methods for optimal CU decision utilizing encoding residual information | |
| Pakdaman et al. | Fast motion estimation algorithm with efficient memory access for HEVC hardware encoders | |
| US20160360219A1 (en) | Preventing i-frame popping in video encoding and decoding | |
| CN113557525A (zh) | 自适应跨分量滤波的方法和系统 | |
| Pakdaman | Complexity reduction and control techniques for power-constrained video coding | |
| CN116760983B (zh) | 用于视频编码的环路滤波方法及装置 | |
| WO2023019407A1 (zh) | 帧间预测方法、编码器、解码器以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |