CN106604057A - 视频处理方法及装置 - Google Patents
视频处理方法及装置 Download PDFInfo
- Publication number
- CN106604057A CN106604057A CN201611115294.8A CN201611115294A CN106604057A CN 106604057 A CN106604057 A CN 106604057A CN 201611115294 A CN201611115294 A CN 201611115294A CN 106604057 A CN106604057 A CN 106604057A
- Authority
- CN
- China
- Prior art keywords
- pixel
- picture frame
- grad
- frame
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 abstract description 4
- 230000001052 transient effect Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本发明实施例是关于一种本发明实施例提供的视频处理方法及装置，其方法包括：获取待处理视频中具有相同场景的第一图像帧；对所述第一图像帧进行平滑处理，得到第二图像帧；分别计算所述第一图像帧和所述第二图像帧中像素的梯度值，并根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域；对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理。本发明通过将去噪处理和锐化处理合为一步，可以大大提高视频处理的效率，并且通过对不同场景中的图像帧分开处理，可以避免现有技术当中因对不同场景中的图像帧采用相同的处理方式造成的色彩闪烁问题。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种视频处理方法及装置。
背景技术
随着技术的不断发展，可供用户使用终端的品种和类型也越来越多，例如：智能手机、平板电脑和电视机等。用户可以很方便的通过终端在线或者点播所需观看的视频。然而，发明人在实现本发明的过程中，至少发现现有技术至少存在如下技术问题：现有技术在对视频中的图像帧进行处理时，如果有些相邻两帧图像的噪声等级不同，这些相邻两帧图像在图像处理后，会导致两帧图像之间的像素值差别较大，使得用户在观看视频时，通常会发现视频中画面闪烁的现象，严重影响视频画面的质量。
发明内容
为克服现有技术中存在的问题，本发明实施例提供一种视频处理方法及装置。
根据本发明实施例的第一方面，提供一种视频处理方法，包括：
获取待处理视频中具有相同场景的第一图像帧；
对所述第一图像帧进行平滑处理，得到第二图像帧；
分别计算所述第一图像帧和所述第二图像帧中像素的梯度值，并根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域；
对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理。
这样通过将去噪处理和锐化处理合为一步，可以大大提高视频处理的效率，并且通过对不同场景中的图像帧分开处理，可以避免现有技术当中因对不同场景中的图像帧采用相同的处理方式造成的色彩闪烁问题。
可选地，所述获取待处理视频中具有相同场景的第一图像帧，包括：
提取所述待处理视频中的关键帧；
将所述待处理视频中两个关键帧之间图像帧作为所述第一图像帧。
本发明实施例将位于两个关键帧之间的图像帧作为位于同一场景下的图像帧，即第一图像帧，这样可以通过关键帧很好的提取出位于同一场景下的图像帧。
可选地，所述根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域，包括：
分别获取所述第一图像帧、所述第二图像帧中像素的梯度值；
将所述第一图像帧中梯度值不小于第一阈值且所述第二图像帧中梯度值不小于第二阈值的像素作为边缘，所述第一阈值小于所述第二阈值；
将所述第一图像帧中梯度值不小于所述第一阈值且所述第二图像帧中梯度值小于所述第二阈值的像素作为噪声。
本发明实施例在分别计算第一图像帧和第二图像帧像素的梯度值，并根据第一图像帧和第二图像帧的梯度值来确定第一图像帧中的噪声区域和边缘区域，这样可以准确确定出图像帧中的噪声和边缘。
可选地，所述对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理，包括：
获取所述第一图像帧的噪声等级；
分别获取与所述噪声等级相对应的去噪参数、锐化参数；
根据所述去噪参数对所述噪声区域中的像素进行去噪处理并根据所述锐化参数对所述边缘区域中的像素进行锐化处理。
本发明实施例在判断像素是边缘还是噪声的时候，需要设定阈值，如果噪声强度较大，可以适应性提高阈值，以便将梯度值稍大一些的像素判断为噪声，而不会被误判为边缘。
可选地，所述获取所述第一图像帧的噪声等级，包括：
将所述第一图像帧中的像素划分为预设个区域；
分别计算所述预设个区域中每个区域的像素的梯度值；
获取所述预设个区域中平均梯度值最小的目标区域；
将所述目标区域中梯度值的中值作为所述第一图像帧的噪声等级。
本发明实施例还可以获取不同场景下图像帧的噪声等级，并根据图像帧的噪声等级来确定去噪和锐化参数，进而可以对不同场景的图像帧适应性的处理，可以提高视频的画面质量。
根据本发明实施例的第二方面，提供一种视频处理装置，包括：
第一获取单元，用于获取待处理视频中具有相同场景的第一图像帧；
第二获取单元，用于对所述第一图像帧进行平滑处理，得到第二图像帧；
梯度值计算单元，用于分别计算所述第一图像帧和所述第二图像帧中像素的梯度值；
区域确定单元，用于根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域；
处理单元，用于对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理。
可选地，所述第一获取单元，包括：
关键帧提取模块，用于提取所述待处理视频中的关键帧；
图像帧确定模块，用于将所述待处理视频中两个关键帧之间图像帧作为所述第一图像帧。
可选地，所述区域确定单元，包括：
梯度值获取模块，用于分别获取所述第一图像帧、所述第二图像帧中像素的梯度值；
边缘确定模块，用于将所述第一图像帧中梯度值不小于第一阈值且所述第二图像帧中梯度值不小于第二阈值的像素作为边缘，所述第一阈值小于所述第二阈值；
噪声确定模块，用于将所述第一图像帧中梯度值不小于所述第一阈值且所述第二图像帧中梯度值小于所述第二阈值的像素作为噪声。
可选地，所述处理单元，包括：
噪声等级获取模块，用于获取所述第一图像帧的噪声等级；
参数获取模块，用于分别获取与所述噪声等级相对应的去噪参数、锐化参数；
处理模块，用于根据所述去噪参数对所述噪声区域中的像素进行去噪处理并根据所述锐化参数对所述边缘区域中的像素进行锐化处理。
可选地，所述噪声等级获取模块，包括：
区域划分子模块，用于将所述第一图像帧中的像素划分为预设个区域；
梯度值计算子模块，用于分别计算所述预设个区域中每个区域的像素的梯度值；
目标区域获取子模块，用于获取所述预设个区域中平均梯度值最小的目标区域；
噪声等级确定子模块，用于将所述目标区域中梯度值的中值作为所述第一图像帧的噪声等级。
根据本发明实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被设置为用于执行上述所述的视频处理方法。
根据本发明实施例的第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施例提供的所述视频处理方法。
根据本发明实施例的第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述实施例提供的所述视频处理方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例提供的视频处理方法，在获取待处理视频中具有相同场景的第一图像帧，通过对第一图像帧进行平滑处理，得到第二图像帧。分别分解计算得到的第一图像帧和第二图像帧的梯度值，来确定第一图像帧中像素的边缘区域和噪声区域，并对第一图像帧中的边缘区域和噪声区域分别进行去噪、如何处理。这样通过将去噪处理和锐化处理合为一步，可以大大提高视频处理的效率，并且通过对不同场景中的图像帧分开处理，可以避免现有技术当中因对不同场景中的图像帧采用相同的处理方式造成的色彩闪烁问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明实施例。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明实施例的原理。
图1是本发明例性实施例提供的一种视频处理方法的流程图；
图2是本发明例性实施例示提供的图像帧中相邻像素的示意图；
图3是本发明例性另一实施例示提供的计算图像帧中相邻像素的示意图；
图4是图1中步骤S110的流程图；
图5是图1中步骤S130的流程图；
图6是图1中步骤S140的流程图；
图7是图6中步骤S141的流程图；
图8是本发明实施例提供的一种视频处理装置的结构示意图；
图9是图8中第一获取单元的示意图；
图10是图8中区域确定单元的示意图；
图11是图8中处理单元的示意图；
图12是图11中噪声等级获取模块的示意图；
图13是本发明实施例提供的视频处理的电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
为了解决现有技术在对视频中的图像帧进行处理时，如果有些相邻两帧图像的噪声等级不同，这些相邻两帧图像在图像处理后，会导致两帧图像之间的像素值差别较大，使得用户在观看视频时，通常会发现视频中画面闪烁的现象，严重影响视频画面的质量的问题，本发明实施例首先提供了一种视频处理方法，如图1所示，该方法可以包括如下步骤：
在步骤S110中，获取待处理视频中具有相同场景的第一图像帧。
视频由多个图像帧组成，通过将视频帧按照一定次序连续播放形成视频。因此，对待播放视频中视频画面的处理可以转换为对视频中图像帧的处理。
一般情况下，用户观看的一部视频中可以包括多个场景，不同场景下图像帧的整体色彩差异较大，例如视频中雪天的场景与视频中夜间的场景具有非常大的差异，不同场景之间图像帧色彩的差异具体表现在该像素的像素值上。
为了提高用户的观看效果，很多情况下都需要将待播放视频进行去噪和锐化处理，以提高用户观看的视觉效果，犹如用户为了将自拍的照片显示的更加美观，需要利用修图工具进行处理一样。然而，一般情况下待处理视频中包括多个场景，如果将待播放视频中的视频帧按照同样的方式进行去噪和锐化处理，那么视频中不同场景下的两个图像帧很可能由于采用相同的处理方式造成画面颜色闪烁的现象，给用户视觉上的不舒服。
因此，本发明实施例获取待处理视频中具有相同场景的图像帧，这些具有相同场景的图像帧在待处理视频中的位置可能不是连续存在的。并获取待处理视频中不同场景下对应的视频帧，这样就对待处理视频中的视频帧按照场景的不同进行分类，以便分别对每一类中的图像帧进行处理。
本发明实施例中对待处理视频中一个场景下的图像帧进行处理为例进行说明，待播放视频中其他场景下的图像帧可以采用同样的处理方式进行处理。将需要位于同一场景下需要处理的图像帧作为第一图像帧，其中，该第一图像帧可以包括多个图像帧。实施例中主要对第一图像帧中的一个图像帧进行处理为例进行说明，第一图像帧中的其他图像帧可以采用同样的方式进行处理。
在步骤S120中，对第一图像帧进行平滑处理，得到第二图像帧。
本发明实施例中对第一图像帧进行的平滑处理，也可以称为平滑滤波，平滑滤波是低频增强的空间域滤波技术。它的目的有两类：一类是模糊；另一类是消除噪音。空间域的平滑滤波一般采用简单平均法进行，就是求邻近像元点的平均亮度值。
平滑处理在现有技术当中的应用已经十分成熟，具体实现方式这里不再赘述。
在步骤S130中，分别计算第一图像帧和第二图像帧中像素的梯度值，并根据得到的第一图像帧和第二图像帧中像素的梯度值确定第一图像帧中的噪声区域和边缘区域。
计算梯度值有很多方式和算子，例如Sobel等，可以计算出图像帧中每个像素的梯度值。为了提高处理效率，本发明实施例可以通过只计算相邻像素相减的绝对值，例如图2中第一图像帧中任意位置的像素。本发明实施例中可以将第一图像帧记为A，将第二图像帧记为B。
那么第一图像帧中像素的梯度值可以通过下述公式(1)计算得出：
TA＝max(abs(a0-a3),abs(a1-a2)) (1)
第二图像帧中像素的梯度值可以通过下述公式(2)计算得出：
TB＝max(abs(b0-b3),abs(b1-b2)) (2)
这样本发明实施例分别通过上述公式(1)和公式(2)计算出第一图像中像素的梯度值和第二图像中像素的梯度值。需要说明的是，本发明实施例中还可以采用已有的其他求梯度值的算法进行计算，这里不再赘述。
本发明实施例中在分别计算出第一图像帧和第二图像帧中像素的梯度值后，可以根据第一图像帧和第二图像帧中像素的梯度值来确定第一图像帧中哪些像素是噪声，哪些像素是边缘。
示例性的，在本发明提供的实施例中，根据第一图像帧和第二图像帧中像素的梯度值来确定该像素是边缘还是噪声。当第一图像帧中的像素TA(x,y)大于等于一定的阈值t1且第二图像中同样的位置的梯度值TB(x,y)大于等于一定的阈值t2时，该像素(x，y)被认定为边缘。其中(x，y)为第一图像中任一位置上的像素。另外，当第一图像帧中的像素TA(x,y)大于等于t1且第二图像中同样的位置的梯度值TB(x,y)小于t2时，该像素(x，y)被认定为边缘。
在步骤S140中，对噪声区域中的像素进行去噪处理并对边缘区域中的像素进行锐化处理。
本发明实施例在通过上述方式确定第一图像帧中哪些像素属于噪声，哪些像素属于边缘后，就可以对位于噪声区域的噪声进行去噪处理，对位于边缘区域中的边缘进行锐化处理。本发明实施例可以将现有技术当中先对图像进行去噪处理，然后对去噪后的图像进行锐化处理的两步处理合为一步处理，大大提高了图像处理的效率。并且本发明实施例对图像帧中的噪声和边缘分别进行处理，避免在去噪的过程中影响后续对边缘的锐化的效果。
本发明实施例提供的视频处理方法，在获取待处理视频中具有相同场景的第一图像帧，通过对第一图像帧进行平滑处理，得到第二图像帧。分别分解计算得到的第一图像帧和第二图像帧的梯度值，来确定第一图像帧中像素的边缘区域和噪声区域，并对第一图像帧中的边缘区域和噪声区域分别进行去噪、如何处理。这样通过将去噪处理和锐化处理合为一步，可以大大提高视频处理的效率，并且通过对不同场景中的图像帧分开处理，可以避免现有技术当中因对不同场景中的图像帧采用相同的处理方式造成的色彩闪烁问题。
为了详细阐述如何获取待处理视频中具有相同场景的图像帧，作为图1方法的细化，在本发明提供的又一实施例中，如图4所示，步骤S110还可以包括如下步骤：
在步骤S111中，提取待处理视频中的关键帧。
在步骤S112中，将待处理视频中两个关键帧之间图像帧作为第一图像帧。
下面首先介绍下视频中的帧，帧——就是动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头。在动画软件的时间轴上帧表现为一格或一个标记。另外，关键帧——相当于二维动画中的原画。指角色或者物体运动或变化中的关键动作所处的那一帧。关键帧与关键帧之间的动画可以由软件来创建，叫做过渡帧或者中间帧。
提取待处理视频中的关键帧可以是较为成熟的技术，可以通过已有的算法提取视频中的关键帧，这里不再赘述。本发明实施例在提取待处理视频中的关键帧之后，就可以根据待处理视频中的关键帧获取处于同一场景中的图像帧，本发明实施例将位于两个关键帧之间的图像帧作为位于同一场景下的图像帧，即第一图像帧。这样可以通过关键帧很好的提取出位于同一场景下的图像帧。
为了确定第一图像帧中的像素哪些是噪声，哪些是边缘，作为图1方法的细化，在本发明提供的又一实施例中，如图5所示，步骤S130还可以包括如下步骤：
在步骤S131中，分别获取第一图像帧、第二图像帧中像素的梯度值。
在步骤S132中，将第一图像帧中梯度值不小于第一阈值且第二图像帧中梯度值不小于第二阈值的像素作为边缘，第一阈值小于第二阈值。
在步骤S133中，将第一图像帧中梯度值不小于第一阈值且第二图像帧中梯度值小于第二阈值的像素作为噪声。
本发明实施例在分别计算第一图像帧和第二图像帧像素的梯度值，并根据第一图像帧和第二图像帧的梯度值来确定第一图像帧中的噪声区域和边缘区域，这样可以准确确定出图像帧中的噪声和边缘。其中，具体参见上述图2和图3及其对应的实施例，这里不再赘述。
为了详述对第一图像帧的噪声区域中的像素去噪处理，以及对第一图像帧中的边缘区域中的像素锐化处理，在本发明提供的又一实施例中，如图6所示，步骤S140还可以包括如下步骤：
在步骤S141中，获取第一图像帧的噪声等级。
本发明实施例在视频中同一个场景下采用同一个噪声等级，即采用同一套去噪和锐化的等级。
在步骤S142中，分别获取与噪声等级相对应的去噪参数、锐化参数。
在步骤S143中，根据去噪参数对噪声区域中的像素进行去噪处理并根据锐化参数对边缘区域中的像素进行锐化处理。
本发明实施例在判断像素是边缘还是噪声的时候，需要设定阈值，如果噪声强度较大，可以适应性提高阈值，以便将梯度值稍大一些的像素判断为噪声，而不会被误判为边缘。
本发明实施例通过对同一场景中的图像帧设定噪声等级，在对图像帧中的噪声区域和边缘区域分别进行去噪和锐化处理时，可以获取与该图像帧噪声等级相对应的去噪参数和锐化参数。其中，去噪操作可以是平滑操作，在对图像进行平滑处理时平滑的程度和选择的滑动框的尺寸有关，滑动框的尺寸越大，平滑后的图像越模糊。当噪声等级较大时，可适当增大滑动框的尺寸，当噪声等级较小时，可适当减小滑动框的尺寸甚至是不进行去噪。
另外，本发明实施例中的锐化处理，可以是usm算法，该usm算法可以通过下述公式(3)处理：
pixelnew＝pixelraw+(pixelraw-pixelsmooth)·alpha (3)
其中，pixelraw是图像上某一点的像素值，pixelnew是锐化后的像素值，pixelsmooth是像素平滑后的像素值，alpha是锐化的系数。公式(3)的意义是图像每个像素减去平滑后的像素，然后乘以一个系数，这个系数控制着锐化的程度。如果噪声等级较大，不适合做明显的锐化，适当减小alpha可以减弱噪声带来的不良影响。因此，可以将噪声等级与alpha之间建立对应关系，在获取到图像的噪声等级时，可以找到与该噪声等级对应的处理参数。
在本发明提供的又一实施例中，作为图6方法的细化，如图7所示，步骤S141还可以包括如下步骤：
在步骤S1411中，将第一图像帧中的像素划分为预设个区域。
在步骤S1412中，分别计算预设个区域中每个区域的像素的梯度值。
在步骤S1413中，获取预设个区域中平均梯度值最小的目标区域。
在步骤S1414中，将目标区域中梯度值的中值作为第一图像帧的噪声等级。
本发明实施例中噪声等级的确定方式，是先将图像划分为若干份，示例性的，将图像第一图像帧平均划分为16个区域，然后分别计算每一区域中像素的梯度值，根据像素的梯度值获取包含边缘最少的区域，并将该区域作为目标区域。将该目标区域中的像素进行小波变换，对应该目标区域中的每个像素，将分别该像素横向、纵向和斜向的梯度值相加，得到该像素的梯度值。最后将目标区域中每个像素的梯度值进行排序，取这些像素的中值作为第一图像帧的噪声等级。需要说明的是，本发明实施例可以将第一图像帧中的某一图像帧的噪声等级作为第一图像帧的噪声等级，还可以对第一图像帧中所有图像帧的噪声等级求平均，将平均结果作为第一图像帧的噪声等级。根据图像帧的噪声等级来确定去噪和锐化参数，进而可以对不同场景的图像帧适应性的处理，可以提高视频的画面质量。
本发明实施例提供的视频处理方法，在获取待处理视频中具有相同场景的第一图像帧，通过对第一图像帧进行平滑处理，得到第二图像帧。分别分解计算得到的第一图像帧和第二图像帧的梯度值，来确定第一图像帧中像素的边缘区域和噪声区域，并对第一图像帧中的边缘区域和噪声区域分别进行去噪、如何处理。这样通过将去噪处理和锐化处理合为一步，可以大大提高视频处理的效率，并且通过对不同场景中的图像帧分开处理，可以避免现有技术当中因对不同场景中的图像帧采用相同的处理方式造成的色彩闪烁问题。
另外，本发明实施例还可以获取不同场景下图像帧的噪声等级，并根据图像帧的噪声等级来确定去噪和锐化参数，进而可以对不同场景的图像帧适应性的处理，可以提高视频的画面质量。
通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另外，作为对上述各实施例的实现，本发明实施例还提供了一种视频处理装置，该装置位于终端或服务器中，如图8所示，该装置包括：
第一获取单元10，用于获取待处理视频中具有相同场景的第一图像帧；
第二获取单元20，用于对所述第一图像帧进行平滑处理，得到第二图像帧；
梯度值计算单元30，用于分别计算所述第一图像帧和所述第二图像帧中像素的梯度值；
区域确定单元40，用于根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域；
处理单元50，用于对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理。
本发明实施例通过将去噪处理和锐化处理合为一步，可以大大提高视频处理的效率，并且通过对不同场景中的图像帧分开处理，可以避免现有技术当中因对不同场景中的图像帧采用相同的处理方式造成的色彩闪烁问题。
在本发明又一实施例中，基于图8，如图9所示，所述第一获取单元10，包括：
关键帧提取模块11，用于提取所述待处理视频中的关键帧；
图像帧确定模块12，用于将所述待处理视频中两个关键帧之间图像帧作为所述第一图像帧。
本发明实施例将位于两个关键帧之间的图像帧作为位于同一场景下的图像帧，即第一图像帧，这样可以通过关键帧很好的提取出位于同一场景下的图像帧。
在本发明又一实施例中，基于图8，如图10所示，所述区域确定单元40，包括：
梯度值获取模块41，用于分别获取所述第一图像帧、所述第二图像帧中像素的梯度值；
边缘确定模块42，用于将所述第一图像帧中梯度值不小于第一阈值且所述第二图像帧中梯度值不小于第二阈值的像素作为边缘，所述第一阈值小于所述第二阈值；
噪声确定模块43，用于将所述第一图像帧中梯度值不小于所述第一阈值且所述第二图像帧中梯度值小于所述第二阈值的像素作为噪声。
本发明实施例在分别计算第一图像帧和第二图像帧像素的梯度值，并根据第一图像帧和第二图像帧的梯度值来确定第一图像帧中的噪声区域和边缘区域，这样可以准确确定出图像帧中的噪声和边缘。
在本发明又一实施例中，基于图8，如图11所示，所述处理单元50，包括：
噪声等级获取模块51，用于获取所述第一图像帧的噪声等级；
参数获取模块52，用于分别获取与所述噪声等级相对应的去噪参数、锐化参数；
处理模块53，用于根据所述去噪参数对所述噪声区域中的像素进行去噪处理并根据所述锐化参数对所述边缘区域中的像素进行锐化处理。
本发明实施例在判断像素是边缘还是噪声的时候，需要设定阈值，如果噪声强度较大，可以适应性提高阈值，以便将梯度值稍大一些的像素判断为噪声，而不会被误判为边缘。
在本发明又一实施例中，基于图11，如图12所示，所述噪声等级获取模块51，包括：
区域划分子模块511，用于将所述第一图像帧中的像素划分为预设个区域；
梯度值计算子模块512，用于分别计算所述预设个区域中每个区域的像素的梯度值；
目标区域获取子模块513，用于获取所述预设个区域中平均梯度值最小的目标区域；
噪声等级确定子模块514，用于将所述目标区域中梯度值的中值作为所述第一图像帧的噪声等级。
本发明实施例还可以获取不同场景下图像帧的噪声等级，并根据图像帧的噪声等级来确定去噪和锐化参数，进而可以对不同场景的图像帧适应性的处理，可以提高视频的画面质量。
本发明实施例提供的视频处理装置，在获取待处理视频中具有相同场景的第一图像帧，通过对第一图像帧进行平滑处理，得到第二图像帧。分别分解计算得到的第一图像帧和第二图像帧的梯度值，来确定第一图像帧中像素的边缘区域和噪声区域，并对第一图像帧中的边缘区域和噪声区域分别进行去噪、如何处理。这样通过将去噪处理和锐化处理合为一步，可以大大提高视频处理的效率，并且通过对不同场景中的图像帧分开处理，可以避免现有技术当中因对不同场景中的图像帧采用相同的处理方式造成的色彩闪烁问题。另外，本发明实施例还可以获取不同场景下图像帧的噪声等级，并根据图像帧的噪声等级来确定去噪和锐化参数，进而可以对不同场景的图像帧适应性的处理，可以提高视频的画面质量。
本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的视频处理方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的视频处理方法。
图13是本发明实施例提供的视频处理的电子设备的硬件结构示意图，如图13所示，该设备包括：
一个或多个处理器610以及存储器620，图11中以一个处理器610为例。
执行视频处理方法的设备还可以包括：输入装置630和输出装置640。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图11中以通过总线连接为例。
存储器620作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的视频处理方法对应的程序指令/模块(例如，附图6所示的第一获取单元10、第二获取单元20、梯度值计算单元30、区域确定单元40和处理单元50)。处理器610通过运行存储在存储器620中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例视频处理方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据视频处理装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至视频处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与视频处理装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的视频处理方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
可以理解的是，本发明实施例可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里公开的发明实施例后，将容易想到本发明实施例的其它实施方案。本申请旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求来限制。
Claims (11)
1.一种视频处理方法，其特征在于，包括：
获取待处理视频中具有相同场景的第一图像帧；
对所述第一图像帧进行平滑处理，得到第二图像帧；
分别计算所述第一图像帧和所述第二图像帧中像素的梯度值，并根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域；
对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理视频中具有相同场景的第一图像帧，包括：
提取所述待处理视频中的关键帧；
将所述待处理视频中两个关键帧之间图像帧作为所述第一图像帧。
3.根据权利要求1所述的方法，其特征在于，所述根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域，包括：
分别获取所述第一图像帧、所述第二图像帧中像素的梯度值；
将所述第一图像帧中梯度值不小于第一阈值且所述第二图像帧中梯度值不小于第二阈值的像素作为边缘，所述第一阈值小于所述第二阈值；
将所述第一图像帧中梯度值不小于所述第一阈值且所述第二图像帧中梯度值小于所述第二阈值的像素作为噪声。
4.根据权利要求1至3中任一所述的方法，其特征在于，所述对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理，包括：
获取所述第一图像帧的噪声等级；
分别获取与所述噪声等级相对应的去噪参数、锐化参数；
根据所述去噪参数对所述噪声区域中的像素进行去噪处理并根据所述锐化参数对所述边缘区域中的像素进行锐化处理。
5.根据权利要求4所述的方法，其特征在于，所述获取所述第一图像帧的噪声等级，包括：
将所述第一图像帧中的像素划分为预设个区域；
分别计算所述预设个区域中每个区域的像素的梯度值；
获取所述预设个区域中平均梯度值最小的目标区域；
将所述目标区域中梯度值的中值作为所述第一图像帧的噪声等级。
6.一种视频处理装置，其特征在于，包括：
第一获取单元，用于获取待处理视频中具有相同场景的第一图像帧；
第二获取单元，用于对所述第一图像帧进行平滑处理，得到第二图像帧；
梯度值计算单元，用于分别计算所述第一图像帧和所述第二图像帧中像素的梯度值；
区域确定单元，用于根据得到的所述第一图像帧和所述第二图像帧中像素的梯度值确定所述第一图像帧中的噪声区域和边缘区域；
处理单元，用于对所述噪声区域中的像素进行去噪处理并对所述边缘区域中的像素进行锐化处理。
7.根据权利要求6所述的装置，其特征在于，所述第一获取单元，包括：
关键帧提取模块，用于提取所述待处理视频中的关键帧；
图像帧确定模块，用于将所述待处理视频中两个关键帧之间图像帧作为所述第一图像帧。
8.根据权利要求6所述的装置，其特征在于，所述区域确定单元，包括：
梯度值获取模块，用于分别获取所述第一图像帧、所述第二图像帧中像素的梯度值；
边缘确定模块，用于将所述第一图像帧中梯度值不小于第一阈值且所述第二图像帧中梯度值不小于第二阈值的像素作为边缘，所述第一阈值小于所述第二阈值；
噪声确定模块，用于将所述第一图像帧中梯度值不小于所述第一阈值且所述第二图像帧中梯度值小于所述第二阈值的像素作为噪声。
9.根据权利要求6至8中任一所述的装置，其特征在于，所述处理单元，包括：
噪声等级获取模块，用于获取所述第一图像帧的噪声等级；
参数获取模块，用于分别获取与所述噪声等级相对应的去噪参数、锐化参数；
处理模块，用于根据所述去噪参数对所述噪声区域中的像素进行去噪处理并根据所述锐化参数对所述边缘区域中的像素进行锐化处理。
10.根据权利要求9所述的装置，其特征在于，所述噪声等级获取模块，包括：
区域划分子模块，用于将所述第一图像帧中的像素划分为预设个区域；
梯度值计算子模块，用于分别计算所述预设个区域中每个区域的像素的梯度值；
目标区域获取子模块，用于获取所述预设个区域中平均梯度值最小的目标区域；
噪声等级确定子模块，用于将所述目标区域中梯度值的中值作为所述第一图像帧的噪声等级。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1～5任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611115294.8A CN106604057A (zh) | 2016-12-07 | 2016-12-07 | 视频处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611115294.8A CN106604057A (zh) | 2016-12-07 | 2016-12-07 | 视频处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106604057A true CN106604057A (zh) | 2017-04-26 |
Family
ID=58597204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611115294.8A Pending CN106604057A (zh) | 2016-12-07 | 2016-12-07 | 视频处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106604057A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113096014A (zh) * | 2021-03-31 | 2021-07-09 | 咪咕视讯科技有限公司 | 视频超分处理方法、电子设备及存储介质 |
| CN113592776A (zh) * | 2021-06-30 | 2021-11-02 | 北京旷视科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN117423113A (zh) * | 2023-12-18 | 2024-01-19 | 青岛华正信息技术股份有限公司 | 一种档案ocr图像自适应去噪方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1462978A (zh) * | 2002-05-29 | 2003-12-24 | 北京中星微电子有限公司 | 数码图像噪声净化和锐化方法 |
| CN104700421A (zh) * | 2015-03-27 | 2015-06-10 | 中国科学院光电技术研究所 | 一种基于canny的自适应阈值的边缘检测算法 |
| US9256922B2 (en) * | 2013-06-14 | 2016-02-09 | Abbyy Development Llc | Applying super resolution for quality improvement of OCR processing |
| CN105654445A (zh) * | 2016-01-28 | 2016-06-08 | 东南大学 | 一种基于小波变换边缘检测的手机图像去噪方法 |
| CN105812621A (zh) * | 2014-12-31 | 2016-07-27 | 乐视致新电子科技（天津）有限公司 | 自适应调节图像噪声水平方法以及装置 |
-
2016
- 2016-12-07 CN CN201611115294.8A patent/CN106604057A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1462978A (zh) * | 2002-05-29 | 2003-12-24 | 北京中星微电子有限公司 | 数码图像噪声净化和锐化方法 |
| US9256922B2 (en) * | 2013-06-14 | 2016-02-09 | Abbyy Development Llc | Applying super resolution for quality improvement of OCR processing |
| CN105812621A (zh) * | 2014-12-31 | 2016-07-27 | 乐视致新电子科技（天津）有限公司 | 自适应调节图像噪声水平方法以及装置 |
| CN104700421A (zh) * | 2015-03-27 | 2015-06-10 | 中国科学院光电技术研究所 | 一种基于canny的自适应阈值的边缘检测算法 |
| CN105654445A (zh) * | 2016-01-28 | 2016-06-08 | 东南大学 | 一种基于小波变换边缘检测的手机图像去噪方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113096014A (zh) * | 2021-03-31 | 2021-07-09 | 咪咕视讯科技有限公司 | 视频超分处理方法、电子设备及存储介质 |
| CN113096014B (zh) * | 2021-03-31 | 2023-12-08 | 咪咕视讯科技有限公司 | 视频超分处理方法、电子设备及存储介质 |
| CN113592776A (zh) * | 2021-06-30 | 2021-11-02 | 北京旷视科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN113592776B (zh) * | 2021-06-30 | 2024-07-19 | 北京旷视科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN117423113A (zh) * | 2023-12-18 | 2024-01-19 | 青岛华正信息技术股份有限公司 | 一种档案ocr图像自适应去噪方法 |
| CN117423113B (zh) * | 2023-12-18 | 2024-03-05 | 青岛华正信息技术股份有限公司 | 一种档案ocr图像自适应去噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8755628B2 (en) | Image de-hazing by solving transmission value | |
| Guo et al. | Fast background subtraction based on a multilayer codebook model for moving object detection | |
| CN112308095A (zh) | 图片预处理及模型训练方法、装置、服务器及存储介质 | |
| Mechrez et al. | Photorealistic style transfer with screened poisson equation | |
| CN108509917A (zh) | 基于镜头类相关性分析的视频场景分割方法和装置 | |
| CN106604057A (zh) | 视频处理方法及装置 | |
| CN107533758B (zh) | 用于处理视频的方法、计算机可读介质和系统 | |
| Gao et al. | Detail preserved single image dehazing algorithm based on airlight refinement | |
| CN112561846A (zh) | 训练图像融合模型的方法、装置和电子设备 | |
| Chen et al. | Motion saliency detection using a temporal fourier transform | |
| Swami et al. | Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal | |
| Huang et al. | SIDNet: a single image dedusting network with color cast correction | |
| Park et al. | Single image haze removal using novel estimation of atmospheric light and transmission | |
| Gödrich et al. | Joint tone mapping and denoising of thermal infrared images via multi-scale Retinex and multi-task learning | |
| CN105447846A (zh) | 一种图像处理方法及电子设备 | |
| Soma et al. | An efficient and contrast-enhanced video de-hazing based on transmission estimation using HSL color model | |
| Feng et al. | Low-light image enhancement by refining illumination map with self-guided filtering | |
| Song et al. | Optimized tone mapping function for contrast enhancement considering human visual perception system | |
| Favorskaya et al. | Intelligent inpainting system for texture reconstruction in videos with text removal | |
| Liu et al. | Blind quality assessment for tone-mapped images based on local and global features | |
| Shi et al. | Underwater image enhancement based on adaptive color correction and multi-scale fusion | |
| Yang et al. | Single image dehazing algorithm based on double exponential attenuation model | |
| Kansal et al. | Weighted image de-fogging using luminance dark prior | |
| Peng et al. | Detail enhancement for infrared images based on propagated image filter | |
| Chen et al. | Candidate region acquisition optimization algorithm based on multi-granularity data enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170426 |