CN110895794A - 视频效果自修复方法和视频自修复装置 - Google Patents
视频效果自修复方法和视频自修复装置 Download PDFInfo
- Publication number
- CN110895794A CN110895794A CN201811070616.0A CN201811070616A CN110895794A CN 110895794 A CN110895794 A CN 110895794A CN 201811070616 A CN201811070616 A CN 201811070616A CN 110895794 A CN110895794 A CN 110895794A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- image
- image display
- display problem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008439 repair process Effects 0.000 claims abstract description 21
- 230000000875 corresponding effect Effects 0.000 claims description 23
- 238000009432 framing Methods 0.000 claims description 23
- 230000000241 respiratory effect Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 19
- 238000013139 quantization Methods 0.000 claims description 17
- 230000002596 correlated effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 7
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 208000003028 Stuttering Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical group CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请实施例提供一种视频效果自修复方法和视频自修复装置，涉及视频修复技术领域，所述方法包括：检测视频图像组的图像信息；根据检测的图像信息，判断所述视频对应存在的图像显示问题类型；根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子；采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。通过检测到的信息对视频图像组进行处理，能够通过算法解决视频中出现的多个问题。
Description
技术领域
本申请涉及视频修复领域，具体而言，涉及一种视频效果自修复方法和视频自修复装置。
背景技术
随着监控领域各项技术的快速发展，人们越来越注重更加高质量的视觉体验，对图像的清晰度要求也就全面的提升，这增加了网络的负担，丢包率随之上升。在实时监控系统中，由于硬件和带宽的限制，往往出现如下典型的问题：由于发送传输不及时导致卡顿，甚至丢包；由于带宽限制等原因导致I帧、P帧图像质量的不一致，而引起图像显示的呼吸效应；由于运动引起的，运动区域拖影残留和刷新不及时的问题，即拖尾效应。
目前，存在的视频效果修复方法只能针对其中一种图像显示问题进行修复，无法兼容多种图像显示问题。
发明内容
为了解决上述问题，本申请实施例提供一种视频效果自修复方法和视频自修复装置。
第一方面，本申请实施例提供一种视频效果自修复方法，所述方法包括：检测视频图像组的图像信息；根据检测的图像信息，判断所述视频对应存在的图像显示问题类型；根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子；采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。
可选地，在本实施例中，所述检测图像组的图像信息，包括：检测所述视频图像组中相邻帧的发帧间隔；检测所述视频图像组中I帧的峰值信噪比、P帧的峰值信噪比；检测所述视频图像组中的感兴趣区域，及该感兴趣区域的运动强度。
可选地，在本实施例中，所述根据检测的图像信息，判断所述视频对应存在的图像显示问题类型，包括：将所述发帧间隔与预设的时间间隔进行比对，在所述发帧间隔大于所述预设的时间间隔时，判定所述视频对应存在卡顿的图像显示问题；
计算所述I帧的峰值信噪比与所述P帧的峰值信噪比的差值，将所述差值与阈值进行比较，当所述差值大于阈值时，判定所述视频对应存在呼吸效应的图像显示问题；
通过检测出的感兴趣区域判定所述视频存在运动拖尾效应的图像显示问题。
可选地，在本实施例中，在图像显示问题类型为卡顿时，所述图像调节因子包括ISP滤波强度因子及I帧调节因子，所述计算用于修复该图像显示问题的图像调节因子，包括：根据所述发帧间隔计算ISP滤波强度因子及I帧调节因子，其中，所述ISP滤波强度因子和所述I帧调节因子与所述发帧间隔正相关。
可选地，在本实施例中，在图像显示问题类型为呼吸效应时，所述图像调节因子包括I帧和P帧的帧级量化参数调节因子，所述计算用于修复该图像显示问题的图像调节因子，包括：根据所述I帧的峰值信噪比和所述P帧的峰值信噪比的差值计算I帧和P帧的帧级量化参数调节因子，其中，所述I帧和P帧的帧级量化参数调节因子的大小与所述I帧的峰值信噪比和所述P帧的峰值信噪比的差值正相关。
可选地，在本实施例中，在图像显示问题类型为拖尾时，所述图像调节因子包括感兴趣区域宏块质量调节因子，所述计算用于修复该图像显示问题的图像调节因子，包括：根据所述感兴趣区域的运动量计算感兴趣区域宏块质量调节因子，其中，所述感兴趣区域宏块质量调节因子与所述感兴趣区域的运动量正相关。
可选地，在本实施例中，采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题，包括：按照图像显示问题为卡顿、呼吸效应、拖尾的先后顺序，按顺序采用对应的图像调节因子对视频图像进行循环修复，直到解决所述图像显示问题。
第二方面，本申请实施例还提供一种视频自修复装置，所述装置包括：检测模块，用于检测视频图像组的图像信息；
判断模块，用于根据检测的图像信息，判断所述视频对应存在的图像显示问题类型；
计算模块，用于根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子；
修复模块，用于采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。
可选地，在本实施例中，所述检测模块具体用于：检测所述视频图像组中相邻帧的发帧间隔；检测所述视频图像组中I帧的峰值信噪比、P帧的峰值信噪比；检测所述视频图像组中的感兴趣区域，及该感兴趣区域的运动强度。
可选地，在本实施例中，所述判断模块具体用于：将所述发帧间隔与预设的时间间隔进行比对，在所述发帧间隔大于所述预设的时间间隔时，判定所述视频对应存在卡顿的图像显示问题；
计算所述I帧的峰值信噪比与所述P帧的峰值信噪比的差值，将所述差值与阈值进行比较，当所述差值大于阈值时，判定所述视频对应存在呼吸效应的图像显示问题；
通过检测出的感兴趣区域，判定所述视频存在运动拖尾效应的图像显示问题。
相对于现有技术，本申请实施例具有以下有益效果：
本申请实施例提供一种视频效果自修复方法，所述方法包括：检测视频图像组的图像信息；根据检测的图像信息，判断所述视频对应存在的图像显示问题类型；根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子；采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。通过检测到的信息获得图像显示问题类型，并根据不同图像显示类型进行对应的修复，该方法能对多种图像显示问题进行处理，达到视频显示效果的提升，该方法既能适用于普通的视频显示场景，也能适用于复杂的监控场景，使得视频监控系统更加智能高效。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的硬件结构示意图；
图2为本申请实施例提供的视频效果自修复方法的流程图；
图3为本申请实施例提供的对卡顿问题进行处理的流程图；
图4为本申请实施例提供的对呼吸效应问题进行处理的流程图；
图5为本申请实施例提供的对拖尾效应问题进行处理的流程图；
图6为本申请实施例提供的一种视频自修复装置的功能模块图。
图标：1-电子设备；10-视频自修复装置；110-检测模块；120-判断模块；130-计算模块；140-修复模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在现有技术中，对视频图像存在的不同问题只能采用不同的方案解决。
比如，现有技术1为了解决视频出现的卡顿问题，可依据I帧的抖动对I帧间隔进行调整避免由于I帧抖动不均匀造成的视频卡顿现象。首先发送端在发送RTP(Real-timeTransport Protocol)包和发送端报告，接收接收端报告的同时，发送端会获得I帧抖动参数，然后发送端根据I帧抖动参数获得I帧的延时抖动，判断I帧的延时抖动与阈值的大小关系，若I帧的延时抖动大于抖动阈值，发送端将增大相邻I帧的间隔，发送端视频编码层的编码器根据新的I帧间隔对视频数据进行编码，从而实现了根据I帧的抖动对I帧间隔进行调整，从而在保证视频数据流解码质量的同时，避免了由于I帧抖动不均匀而造成视频卡顿的现象。
现有技术2，提供了一种对比度自适应视频去噪系统，其中运动自适应时域滤波模块通过视频的当前输入帧和帧存中缓存的前一滤波帧的帧间差异特征，以及每个像素的运动概率来进行运动自适应时域滤波，最后输出当前滤波帧存入帧存。其中，帧间差异特征计算模块用于计算视频当前输入帧和帧存中的前一滤波帧的帧间差异特征；对比度计算模块用于计算当前输入帧的局部对比度,然后输入到低对比度区域检测模块，计算出的低对比度区域的置信度与帧间差异特征共同输入到运动检测模块，计算出每个像素的运动概率。利用该方法能够解决传统视频去噪系统在处理低对比度运动视频产生的运动拖尾和模糊问题。
上述提供的两种现有技术，都只能处理一种视频显示问题，无法对其他显示问题进行处理，兼容性差。
为了克服上述现有技术中存在的缺陷，发明人通过研究提供下面实施例给出解决方案。
请参照图1，图1为本申请实施例提供的一种电子设备1的硬件结构示意图。电子设备1包括视频效果自修复装置10、存储器11、处理器12及通信单元13。
存储器11、处理器12及通信单元13的各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器11用于存储程序，处理器12在接收到执行指令后，执行所述程序。通信单元13用于通过网络建立电子设备1与其它设备之间的通信连接，并用于通过网络进行数据的接收和发送。
视频效果自修复装置10包括至少一个可以软件或固件(firmware)的形式存储于存储器11中或固化在电子设备1的操作系统(operating system，OS)中的软件功能模块。处理器12用于执行存储器11中存储的可执行模块，例如视频效果自修复装置10所包括的软件功能模块及计算机程序等。本实施例中，视频效果自修复装置10为电子设备1提供一种视频进行自修复方法，具体的方法在后续进行详细说明。
应当理解的是，图1所示的结构仅为示意，电子设备1还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请第一实施例提供的视频效果自修复方法的流程图，在本申请实施例中，所述视频效果自修复方法应用于电子设备1。所述视频效果自修复方法包括：
步骤S110，检测视频图像组的图像信息。
电子设备1对视频的图像信息进行检测，包括相邻帧之间的发帧间隔、I帧峰值信噪比、P帧峰值信噪比、感兴趣区域以及运动强度。
其中，相邻帧的帧间隔表示当前帧首包发送开始到下一帧首包发送结束的时间间隔。
I帧(I frame)又称为帧内编码帧(intra picture)，I帧通常是每个GOP(一个画面组)的第一个帧，经过适度地压缩，作为随机访问的参考点，可以当成图像。
P帧又称帧间编码帧，需要参考前面的帧才能进行编码。表示的是当前帧与前一帧(前一帧可能是I帧也可能是P帧)的差别。解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。
步骤S120，根据检测的图像信息，判断所述视频对应存在的图像显示问题类型。
电子设备1根据检测的图像信息，判断所述视频对应存在的图像显示问题类型。
将所述发帧间隔与预设的时间间隔进行比对，在所述发帧间隔大于所述预设的时间间隔时，得出所述视频对应存在卡顿的图像显示问题。
计算所述I帧的峰值信噪比与所述P帧的峰值信噪比的差值，将所述差值与阈值进行比较，当所述差值大于阈值时，得出所述视频对应存在呼吸效应的图像显示问题。
通过检测出的感兴趣区域判断得到所述视频存在运动拖尾效应的图像显示问题。
步骤S130，根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子。
在本实施例中，电子设备1根据所述发帧间隔计算出ISP滤波强度因子及I帧调节因子，其中所述ISP滤波强度因子及I帧调节因子与所述发帧间隔正相关，如可以是正比例相关。根据所述I帧的峰值信噪比和所述P帧的峰值信噪比的差值计算出I帧和P帧的帧级量化参数调节因子，所述I帧和P帧的帧级量化参数调节因子与所述I帧的峰值信噪比和所述P帧的峰值信噪比的差值正相关，，如可以是正比例相关。根据所述感兴趣区域的运动量计算出感兴趣区域宏块质量调节因子，所述感兴趣区域宏块质量调节因子与所述运动量正相关，如可以是正比例相关。
步骤S140，采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。
电子设备1通过所述图像调节因子调节所述视频，以修复所述视频的图像显示问题，其中，所述图像调节因子用于判断图像参数调节大小。
在本实施例中，采用ISP滤波强度因子及I帧调节因子对视频进行修复；调节方法为调整ISP模块参数以降低I帧数据量或调整编码模块参数以降低I帧数据；所述调整ISP模块参数以降低I帧数据量的方法包括加大ISP空域滤波强度，使得高频信息减少，最终I帧数据量降低；所述调整编码模块参数以降低I帧数据的方法包括增大I帧帧级QP(量化参数)，以降低I帧数据量。
通过I帧和P帧的帧级量化参数调节因子对视频进行修复；可通过调节I帧、P帧大小来避免呼吸效应。具体方法包括调整I帧、P帧的帧级QP(量化参数)，缩小帧级QP差。
采用感兴趣区域宏块质量调节因子对视频进行修复；修复方法为调整宏块级编码参数。
请参照图3，图3为本申请实施例提供的对卡顿问题进行处理的流程图，其步骤包括：
S210：检测所述视频图像组中相邻帧的发帧间隔。
S220：将所述发帧间隔与预设的时间间隔进行比对，在所述发帧间隔大于所述预设的时间间隔时，得到所述视频对应存在卡顿的图像显示问题。
S230：根据所述发帧间隔计算ISP滤波强度因子及I帧调节因子。
S240：采用ISP滤波强度因子及I帧调节因子对视频进行修复。
在本实施中，所述电子设备1对发帧间隔进行检测，并将所述发帧间隔与所述预设的时间间隔进行比对，若所述发帧间隔大于所述预设的时间间隔，判断得到视频存在卡顿的问题，在得出视频存在卡顿的问题后，所述电子设备1根据发帧间隔的大小计算出ISP滤波强度因子及I帧调节因子，并对所述视频存在的卡顿问题进行修复。
在本实施例的一种实施方式中，所述预设的时间间隔可以是两倍默认帧间隔，当所述发帧间隔大于两倍默认帧间隔时，即可判断出存在卡顿问题。其中，默认帧间隔的大小为帧率的倒数，发帧间隔表示当前帧首包发送开始到下一帧首包发送结束的时间间隔。
在本实施例中，当视频出现卡顿问题时，可通过调整ISP模块参数以降低I帧数据量进行修复，例如加大ISP空域滤波强度，使得高频信息减少，最终I帧数据量降低；或增大I帧帧级量化参数，以降低I帧数据量对视频进行修复。
请参照图4，图4为本申请实施例提供的对呼吸效应问题进行处理的流程图，所述步骤包括：
步骤S310：检测所述视频图像组中I帧的峰值信噪比、P帧的峰值信噪比。
步骤S320：计算所述I帧的峰值信噪比与所述P帧的峰值信噪比的差值，将所述差值与阈值进行比较，当所述差值大于阈值时，得到所述视频对应存在呼吸效应的图像显示问题。
在本实施中，假设监控帧结构为IPPP结构，首先对整个画面组的首帧即I帧进行处理，计算I帧的峰值信噪比，随后处理整个画面组的后续帧的平均峰值信噪比，得到P帧的峰值信噪比，计算可得到I帧的峰值信噪比和P帧的峰值信噪比的差值，若差值大于阈值，判断存在呼吸效应问题，在本实施例的一种实施方式中，所述阈值可以为3dB。
步骤S330：根据所述I帧的峰值信噪比和所述P帧的峰值信噪比的差值计算I帧和P帧的帧级量化参数调节因子。
步骤S340：采用I帧和P帧的帧级量化参数调节因子对视频进行修复。
在本实施例中，所述电子设备1对I帧的峰值信噪比、P帧的峰值信噪比进行检测，并将I帧的峰值信噪比与所述P帧的峰值信噪比的差值与阈值进行比对，若所述差值大于阈值，判断得到视频存在呼吸效应的问题，在得出视频存在呼吸效应的问题后，所述电子设备1根据差值的大小计算出I帧和P帧的帧级量化参数调节因子，对所述视频存在的呼吸效应问题进行修复，所述调节因子大小决定相应参数调节的幅度。
在本实施例中，通过调节I帧、P帧的大小对呼吸效应的问题进行修复。例如通过调整I帧、P帧的帧级量化参数，缩小帧级量化参数差以修复呼吸效应问题。
请参照图5，图5为本申请实施例提供的对拖尾效应问题进行处理的流程图，其步骤包括：
步骤S410：检测所述视频图像组中的感兴趣区域，及该感兴趣区域的运动强度。
步骤S420：通过对所述感兴趣区域的运动量计算，可得出运动强度，根据所述运动强度，得到所述视频存在运动拖尾效应的图像显示问题。
步骤S430：根据所述感兴趣区域的运动量计算感兴趣区域宏块质量调节因子。
步骤S440：采用感兴趣区域宏块质量调节因子对视频进行修复。
在本实施例中，在本实施例中，所述电子设备1检测所述视频图像中的感兴趣区域，并对所述感兴趣区域的运动量进行计算，得出运动强度，所述运动强度表示所述感兴趣区域内当前帧与背景帧的平均差异度，只要检测出感兴趣区域，得出所述视频存在运动拖尾效应的图像显示问题，在得出视频存在运动拖尾效应的问题后，所述电子设备1根据所述感兴趣区域的运动量计算感兴趣区域宏块质量调节因子，其中，所述感兴趣区域宏块质量调节因子与所述感兴趣区域的运动量正相关，例如正比例相关，通过所述感兴趣区域宏块质量调节因子的大小对所述视频存在的拖尾效应问题进行修复，所述修复方法包括调整宏块级编码参数，降低QP值，最大下降3。
上述视频效果自修复方法能够对视频存在的卡顿问题、呼吸效应问题以及拖尾效应问题进行检测并修复，先对卡顿问题进行修复，当卡顿问题得到修复后对呼吸效应的问题进行修复，最后对拖尾效应进行修复，在进行问题修复的过程中，按照调节模块范围从大到小的顺序进行，具体的，调节的模块有ISP模块、编码模块，其中编码模块包括帧级调节和宏块级调节。调节范围从大到小依次是模块间调节、编码模块帧级调节、编码模块宏块级调节，卡顿调节主要是模块间调节，呼吸效应是编码模块帧级调节，拖尾是编码模块宏块级调节。因此按照卡顿、呼吸效应、拖尾的顺序依次调节。在参数调节后，解决了某一个问题的同时可能会引起其他两个问题的出现，因此，在对视频进行修复的过程中需要不断的进行调节，重复上述步骤，按照卡顿问题、呼吸效应问题、拖尾效应问题的顺序进行循环修复，直到修复完成。
请参照图6，图6为本申请实施例还提供的一种视频自修复装置10的系统框图，所述装置包括：
检测模块110，用于检测视频图像组的图像信息。
判断模块120，用于根据检测的图像信息，判断所述视频对应存在的图像显示问题类型。
计算模块130，用于根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子。
修复模块140，用于采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。
在本实施例中，检测模块110具体用于检测所述视频图像组中相邻帧的发帧间隔；检测所述视频图像组中I帧的峰值信噪比、P帧的峰值信噪比；检测所述视频图像组中的感兴趣区域，及该感兴趣区域的运动强度。
判断模块120具体用于将所述发帧间隔与预设的时间间隔进行比对，在所述发帧间隔大于所述预设的时间间隔时，得到所述视频对应存在卡顿的图像显示问题；计算所述I帧的峰值信噪比与所述P帧的峰值信噪比的差值，将所述差值与阈值进行比较，当所述差值大于阈值时，得到所述视频对应存在呼吸效应的图像显示问题；通过检测出的感兴趣区域判断得到所述视频存在运动拖尾效应的图像显示问题。
综上所述，本申请实施例提供一种视频效果自修复方法，所述方法包括：检测视频图像组的图像信息；根据检测的图像信息，判断所述视频对应存在的图像显示问题类型；根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子；采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。通过检测到的信息获得图像显示问题类型，并根据不同图像显示类型进行对应的修复，该方法能对多个图像显示问题进行处理。通过检测到的不同的信息判断出视频可能存在的问题，包括卡顿问题、呼吸效应问题以及拖尾效应问题，根据所述视频存在的不同问题计算与之对应的调节因子，并根据调节因子对所述视频存在的问题进行修复，本申请仅采用一套算法即可对三种问题进行修复。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频效果自修复方法，其特征在于，所述方法包括：
检测视频图像组的图像信息；
根据检测的图像信息，判断所述视频对应存在的图像显示问题类型；
根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子；
采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。
2.根据权利要求1所述的方法，其特征在于，所述检测视频图像组的图像信息，包括：
检测所述视频图像组中相邻帧的发帧间隔；
检测所述视频图像组中I帧的峰值信噪比、P帧的峰值信噪比；
检测所述视频图像组中的感兴趣区域，及该感兴趣区域的运动强度。
3.根据权利要求2所述的方法，其特征在于，所述根据检测的图像信息，判断所述视频对应存在的图像显示问题类型，包括：
将所述发帧间隔与预设的时间间隔进行比对，在所述发帧间隔大于所述预设的时间间隔时，判定所述视频对应存在卡顿的图像显示问题；
计算所述I帧的峰值信噪比与所述P帧的峰值信噪比的差值，将所述差值与阈值进行比较，当所述差值大于阈值时，判定所述视频对应存在呼吸效应的图像显示问题；
通过检测出的感兴趣区域判定所述视频存在运动拖尾效应的图像显示问题。
4.根据权利要求3所述的方法，其特征在于，在图像显示问题类型为卡顿时，所述图像调节因子包括ISP滤波强度因子及I帧调节因子，所述计算用于修复该图像显示问题的图像调节因子，包括：
根据所述发帧间隔计算ISP滤波强度因子及I帧调节因子，其中，所述ISP滤波强度因子和所述I帧调节因子与所述发帧间隔正相关。
5.根据权利要求3所述的方法，其特征在于，在图像显示问题类型为呼吸效应时，所述图像调节因子包括I帧和P帧的帧级量化参数调节因子，所述计算用于修复该图像显示问题的图像调节因子，包括：
根据所述I帧的峰值信噪比和所述P帧的峰值信噪比的差值计算I帧和P帧的帧级量化参数调节因子，其中，所述I帧和P帧的帧级量化参数调节因子的大小与所述I帧的峰值信噪比和所述P帧的峰值信噪比的差值正相关。
6.如权利要求3所述的方法，其特征在于，在图像显示问题类型为拖尾时，所述图像调节因子包括感兴趣区域宏块质量调节因子，所述计算用于修复该图像显示问题的图像调节因子，包括：
根据所述感兴趣区域的运动量计算感兴趣区域宏块质量调节因子，其中，所述感兴趣区域宏块质量调节因子与所述感兴趣区域的运动量正相关。
7.如权利要求1-6中任意一项所述的方法，其特征在于，采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题，包括：
按照图像显示问题为卡顿、呼吸效应、拖尾的先后顺序，按顺序采用对应的图像调节因子对视频图像进行循环修复，直到解决所述图像显示问题。
8.一种视频自修复装置，其特征在于，所述装置包括；
检测模块，用于检测视频图像组的图像信息；
判断模块，用于根据检测的图像信息，判断所述视频对应存在的图像显示问题类型；
计算模块，用于根据所述图像显示问题类型，计算用于修复该图像显示问题的图像调节因子；
修复模块，用于采用所述图像调节因子调节所述视频，以修复所述视频的图像显示问题。
9.如权利要求8所述的装置，其特征在于，所述检测模块具体用于：
检测所述视频图像组中相邻帧的发帧间隔；
检测所述视频图像组中I帧的峰值信噪比、P帧的峰值信噪比；
检测所述视频图像组中的感兴趣区域，及该感兴趣区域的运动强度。
10.如权利要求8所述的装置，其特征在于，所述判断模块具体用于：
将所述发帧间隔与预设的时间间隔进行比对，在所述发帧间隔大于所述预设的时间间隔时，判断所述视频对应存在卡顿的图像显示问题；
计算所述I帧的峰值信噪比与所述P帧的峰值信噪比的差值，将所述差值与阈值进行比较，当所述差值大于阈值时，判断所述视频对应存在呼吸效应的图像显示问题；
通过检测出的感兴趣区域，判断所述视频存在运动拖尾效应的图像显示问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811070616.0A CN110895794B (zh) | 2018-09-13 | 2018-09-13 | 视频效果自修复方法和视频自修复装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811070616.0A CN110895794B (zh) | 2018-09-13 | 2018-09-13 | 视频效果自修复方法和视频自修复装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110895794A true CN110895794A (zh) | 2020-03-20 |
| CN110895794B CN110895794B (zh) | 2022-11-25 |
Family
ID=69785560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811070616.0A Active CN110895794B (zh) | 2018-09-13 | 2018-09-13 | 视频效果自修复方法和视频自修复装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110895794B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369477A (zh) * | 2020-05-27 | 2020-07-03 | 杭州微帧信息科技有限公司 | 一种针对视频恢复任务的预分析和工具自适应的方法 |
| CN112258407A (zh) * | 2020-10-20 | 2021-01-22 | 北京集创北方科技股份有限公司 | 一种图像采集设备的信噪比获取方法、装置及存储介质 |
| CN112738442A (zh) * | 2020-12-24 | 2021-04-30 | 中标慧安信息技术股份有限公司 | 智能化监控录像存储方法和系统 |
| CN113408440A (zh) * | 2021-06-24 | 2021-09-17 | 展讯通信（上海）有限公司 | 一种视频数据卡顿检测方法、装置、设备及存储介质 |
| CN114268832A (zh) * | 2021-12-20 | 2022-04-01 | 杭州逗酷软件科技有限公司 | 一种修复方法、电子设备及计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101202912A (zh) * | 2007-11-30 | 2008-06-18 | 上海广电（集团）有限公司中央研究院 | 一种平衡码率和图像质量的码率控制方法 |
| US20090034622A1 (en) * | 2007-08-01 | 2009-02-05 | Her Majesty The Queen In Right Of Canada Represented By The Minister Of Industry | Learning Filters For Enhancing The Quality Of Block Coded Still And Video Images |
| CN101635846A (zh) * | 2008-07-21 | 2010-01-27 | 华为技术有限公司 | 一种视频质量评估方法、系统及装置 |
| CN105069801A (zh) * | 2015-08-17 | 2015-11-18 | 江苏物联网研究发展中心 | 基于图像质量诊断的视频图像预处理方法 |
| CN107451066A (zh) * | 2017-08-22 | 2017-12-08 | 网易（杭州）网络有限公司 | 卡顿处理方法和装置、存储介质、终端 |
-
2018
- 2018-09-13 CN CN201811070616.0A patent/CN110895794B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090034622A1 (en) * | 2007-08-01 | 2009-02-05 | Her Majesty The Queen In Right Of Canada Represented By The Minister Of Industry | Learning Filters For Enhancing The Quality Of Block Coded Still And Video Images |
| CN101202912A (zh) * | 2007-11-30 | 2008-06-18 | 上海广电（集团）有限公司中央研究院 | 一种平衡码率和图像质量的码率控制方法 |
| CN101635846A (zh) * | 2008-07-21 | 2010-01-27 | 华为技术有限公司 | 一种视频质量评估方法、系统及装置 |
| CN105069801A (zh) * | 2015-08-17 | 2015-11-18 | 江苏物联网研究发展中心 | 基于图像质量诊断的视频图像预处理方法 |
| CN107451066A (zh) * | 2017-08-22 | 2017-12-08 | 网易（杭州）网络有限公司 | 卡顿处理方法和装置、存储介质、终端 |
Non-Patent Citations (1)
| Title |
|---|
| 南斯云等: "基于方向梯度的时域降噪算法及实现", 《上海工程技术大学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369477A (zh) * | 2020-05-27 | 2020-07-03 | 杭州微帧信息科技有限公司 | 一种针对视频恢复任务的预分析和工具自适应的方法 |
| CN112258407A (zh) * | 2020-10-20 | 2021-01-22 | 北京集创北方科技股份有限公司 | 一种图像采集设备的信噪比获取方法、装置及存储介质 |
| CN112738442A (zh) * | 2020-12-24 | 2021-04-30 | 中标慧安信息技术股份有限公司 | 智能化监控录像存储方法和系统 |
| CN112738442B (zh) * | 2020-12-24 | 2021-10-08 | 中标慧安信息技术股份有限公司 | 智能化监控录像存储方法和系统 |
| CN113408440A (zh) * | 2021-06-24 | 2021-09-17 | 展讯通信（上海）有限公司 | 一种视频数据卡顿检测方法、装置、设备及存储介质 |
| CN114268832A (zh) * | 2021-12-20 | 2022-04-01 | 杭州逗酷软件科技有限公司 | 一种修复方法、电子设备及计算机存储介质 |
| CN114268832B (zh) * | 2021-12-20 | 2024-05-28 | 杭州逗酷软件科技有限公司 | 一种修复方法、电子设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110895794B (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110895794B (zh) | 视频效果自修复方法和视频自修复装置 | |
| JP5917638B2 (ja) | エラーフィードバックに応答するビデオリフレッシュ適合アルゴリズム | |
| US9197904B2 (en) | Networked image/video processing system for enhancing photos and videos | |
| US9030565B2 (en) | Method, apparatus, and system for evaluating video quality | |
| US20130156095A1 (en) | Networked image/video processing system | |
| US9137548B2 (en) | Networked image/video processing system and network site therefor | |
| CN105072345B (zh) | 视频编码方法和装置 | |
| US8493499B2 (en) | Compression-quality driven image acquisition and processing system | |
| CN107770538B (zh) | 一种检测场景切换帧的方法、装置和系统 | |
| US20130148744A1 (en) | Block Error Compensating Apparatus Of Image Frame And Method Thereof | |
| US11889122B2 (en) | Quality aware error concealment technique for streaming media | |
| US10405032B2 (en) | Video analyzer | |
| WO2013115972A1 (en) | Video coding using eye tracking maps | |
| CN111182352A (zh) | 一种视频播放的自适应码流控制装置及方法 | |
| KR20050105630A (ko) | 동영상 화질 평가시스템 및 방법 | |
| US10531001B2 (en) | Controller, video camera, and method for controlling a video camera | |
| US10038906B2 (en) | Video analyzer | |
| JP2019528635A (ja) | ビデオ品質評価を実行するための方法、装置およびシステム | |
| US10834394B2 (en) | Method and a controller for adding comfort noise to a video sequence | |
| US8768088B2 (en) | Error concealment method and device | |
| US20120133836A1 (en) | Frame level quantization estimation | |
| CN113038135A (zh) | 基于块效应检测的crf自适应方法 | |
| EP2884742A1 (en) | Process for increasing the resolution and the visual quality of video streams exchanged between users of a video conference service | |
| US11716475B2 (en) | Image processing device and method of pre-processing images of a video stream before encoding | |
| Papp et al. | Real-time video quality assessment platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |