CN114862725A - 基于光流法实现运动感知模糊特效的方法及装置 - Google Patents
基于光流法实现运动感知模糊特效的方法及装置 Download PDFInfo
- Publication number
- CN114862725A CN114862725A CN202210791337.3A CN202210791337A CN114862725A CN 114862725 A CN114862725 A CN 114862725A CN 202210791337 A CN202210791337 A CN 202210791337A CN 114862725 A CN114862725 A CN 114862725A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- frame image
- result
- image
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000000694 effects Effects 0.000 title claims abstract description 41
- 230000008447 perception Effects 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 238000002156 mixing Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明涉及一种基于光流法实现运动感知模糊特效的方法及装置，所述方法包括提取目标视频中的当前帧图像和当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；光流结果纹理包括光流方向及光流强度；保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。本发明通过使用光流法，将运动内容的识别和幅度感知的性能开销降低到可支持不同性能级别的移动设备使用，同时保证使用过程中表现稳定。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于光流法实现运动感知模糊特效的方法及装置。
背景技术
运动模糊效果是通过感知视频中的运动内容及运动幅度的强弱，来只对运动内容叠加模糊效果，并根据运动幅度来智能添加模糊的程度，从而让视频变得更具有动感。运动模糊效果是视频特效处理中的热门效果之一，是个长久有需求的特效处理。
相关技术中，目前运动模糊效果仅可在电脑端处理。现有移动端的模糊效果都是对视频整体内容进行模糊处理，并不识别和针对性处理运动内容，不能符合用户需求的。另外一种替代方案是通过物体追踪来识别内容并进行模糊处理，具体为通过物体追踪或特征点追踪算法先识别出画面中的运动内容，再针对运动内容进行模糊处理。该方案由于追踪算法的性能开销普遍很大，以移动端芯片的计算能力难以支持该类算法的实时处理，且仅依靠追踪算法识别出的结果进行智能模糊处理的效果也欠佳，因此该方案通常在电脑端的视频编辑软件中作为辅助手段被采用，无法真正在移动端实现，因此也无法满足移动端用户的需求。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于光流法实现运动感知模糊特效的方法及装置，以解决现有技术中运动模糊效果无法满足移动端用户需求的问题。
为实现以上目的，本发明采用如下技术方案：一种基于光流法实现运动感知模糊特效的方法，包括：
提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；
保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；
根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；
将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
进一步的，所述基于光流法求解得到光流结果纹理，包括：
获取所述目标视频中相邻的两个帧图像；
采用光流法求解目标物体在当前帧图像中的第一位置坐标，以及所述目标物体在当前帧图像的下一帧图像中的第二位置坐标；
根据所述第一位置坐标和第二位置坐标，得到所述下一帧图像像素到当前帧图像像素流动的光流方向及光流强度。
进一步的，所述保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流，包括：
对所述光流结果纹理进行采样，得到对应所述光流纹理的像素点上的光流；
判断像素点是否满足敏感度条件；
将满足敏感度条件的像素点进行映射处理，得到非线性强度的光流；
其中，motion 表示光流纹理结果，
表示向量
的第i个元素，texture(t,c) 表示对纹理t在坐标c处进行采样获得像素点处的值，coord表示像素点的初始纹理坐标，
表示对光流纹理进行采样得到的对应像素点上的光流表示，
表示经过映射得到的非线性强度的光流，sensitivity表示敏感度参数；所述非线性空间中向量各元素的取值范围为[0，1]。
进一步的，对下一帧图像的像素点进行高斯模糊处理。
进一步的，采用如下方式对下一帧图像的像素点进行高斯模糊处理：
其中，n表示采样次数，gaussian(w)表示一维高斯分布中x=w时对应的y值，blured表示经模糊处理后的模糊结果，
表示对下一帧图像纹理next在坐标
处进行采样获得像素点处的值，next表示下一帧图像纹理，
表示像素点的纹理坐标，
表示与
向量同方向同长度的偏移量，i表示第i次采样。
进一步的，所述将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果，包括：
根据非线性强度的光流计算得到比例系数；
根据所述比例系数对下一帧图像的模糊结果与当前帧图像采用如下方式进行插值处理，
其中，p表示比例系数，prev表示当前帧图像，result表示渲染输出结果，
表示向量
的C次幂。
进一步的，所述光流法为基于OpenCV函数得到的DIS光流算法。
本申请实施例提供一种基于光流法实现运动感知模糊特效的装置，包括：
提取模块，用于提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；
映射模块，用于保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；
处理模块，用于根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；
输出模块，用于将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一实施例提供的方法的步骤。
本发明采用以上技术方案，能够达到的有益效果包括：
①通过使用光流法，将运动内容的识别和幅度感知的性能开销降低到可支持不同性能级别的移动设备使用，同时保证使用过程中表现稳定，并支持实时预览；②通过不断调试参数，拟合出对不同运动幅度的最佳智能模糊效果，使其高度接近电脑端处理的表现；③通过使用光流法，让导出效率大幅提升，达到了常规视频处理的水平。
通过这三点突破，本发明为用户提供真正可用、好用的移动端运动模糊效果处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于光流法实现运动感知模糊特效的方法的步骤示意图；
图2为本发明基于光流法实现运动感知模糊特效的装置的结构示意图；
图3为本发明基于光流法实现运动感知模糊特效的方法实施的硬件环境示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于光流法实现运动感知模糊特效的方法及装置。
如图1所示，本申请实施例中提供的基于光流法实现运动感知模糊特效的方法，包括：
S101，提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；
可以理解的是，光流是关于视域的物体运动检测中的概念，用来描述相对观察者的运动所造成的观测目标、表面或边缘的运动。通俗来讲，光流的含义就是光的流动，这里的光可以理解为图片里的像素，流则表示像素的流动或是运动。
一些实施例中，所述基于光流法求解得到光流结果纹理，包括：
获取所述目标视频中相邻的两个帧图像；
采用光流法求解目标物体在当前帧图像中的第一位置坐标，以及所述目标物体在当前帧图像的下一帧图像中的第二位置坐标；
根据所述第一位置坐标和第二位置坐标，得到所述下一帧图像像素到当前帧图像像素流动的光流方向及光流强度。
举例说明，例如画面中有一个物体在第一帧画面里处于点（x1， y1）（该文档中皆用笛卡尔直角坐标系的表示方法来描述位置信息），到了第二帧画面，该物体移动到位置（x2，y2）处。那么可用向量
来表示该物体在这相邻两帧间发生的移动，则其光流方向可用
的方向向量
来表示；向量
的长度，即
则表示对应的光流强度。因此，向量
同时也表示该物体的光流，而根据光流的定义，
又可近似等价于两帧之间物体运动所产生的位移的方向及距离。在本方法中，预先给定视频里相邻的前后两帧画面，光流法需要做的事情就是近似求解从后一帧到当前像素流动的方向以及强度。
需要说明的是，根据计算光流的稠密程度，光流法可分为稠密光流法和稀疏光流法两种类别。稠密光流法会求解画面里每一个像素点的光流，相对而言，稀疏光流法则只会求解部分像素点的光流，可以是人为指定的一些像素点，通常是某些特征明显的像素点，其运行效率一般比稠密光流法更高，但计算得到的结果相较之下也会显得不足。为了保证能尽量准确地检测出画面中所有物体的运动，本申请中是由OpenCV实现的DIS光流算法。对于OpenCV版本的DIS光流算法的计算质量。考虑到移动设备芯片的处理能力普遍较弱，已经经过实际使用时的运动模糊效果得知，本申请选择了耗时最少的ULTRAFAST方法。
最后，将计算得到的光流结果存储在RG16F类型的纹理中，供下一步在OpenGL渲染中使用。其中，RG16F格式的含义是纹理上每个像素点含有两个元素，元素的类型是16位浮点数。选择RG16F格式是因为代表光流的向量
正好由两个元素组成，且16位浮点数已足以保留不同强度的光流的细节。
S102，保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；
具体的，首先得到视频当前帧画面的纹理prev，视频后一帧画面的纹理next，以及步骤101中获得的光流结果纹理motion。
通过映射函数将原本处于线性空间的光流强度映射至一个非线性空间，而光流的方向保持不变，同时保证该非线性空间中向量各元素的取值范围均属于[0, 1]，该过程可表示为如下公式：
其中，motion 表示光流纹理结果，
表示向量
的第i个元素，texture(t,c) 表示对纹理t在坐标c处进行采样获得该像素点处的值，coord表示像素点的初始纹理坐标（下文中的texture与coord含义皆与此等同），那么
就是对光流纹理进行采样得到的对应像素点上的光流表示，
是经过映射得到的非线性结果。
公式(2)中的sensitivity表示敏感度参数，只有当光流强度不低于sensitivity时，才认为该像素点在两帧画面之间有进行运动，否则，在后续处理流程中将不会考虑该像素点。
即表示对像素点是否满足敏感度条件做判别处理后的中间结果，公式(3)中transform函数的输入亦是该中间结果；需注意的是，当输入为(0, 0)时，输出也应为(0,0)，且不应改变任意非零输入向量的方向。
本申请中将光流强度从线性空间映射至非线性空间，有助于使得最终效果在人眼的视觉感知中更显平滑；过滤光流强度低于某一阈值的像素点，有助于提升经过运动模糊处理的视频在播放时的画面平稳性，尽量避免出现画面频繁抖动的现象。
S103，根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；
根据映射过后的光流
，对像素点进行模糊处理。本方法中，模糊方法采用的是高斯模糊，其计算过程可表示为公式(4)：
其中n表示采样次数，gaussian(w) 表示一维高斯分布中x=w时对应的y值，blured则是经模糊处理后的结果颜色，
表示对下一帧图像纹理next在坐标
处进行采样获得像素点处的值，next表示下一帧图像纹理，
表示像素点的纹理坐标，
表示与
向量同方向同长度的偏移量，i表示第i次采样。
公式(4)展开来讲，就是首先进行n次循环，每次循环都对上次循环内采样的坐标进行与
同方向同长度的偏移，在偏移后的位置进行采样（第一次循环则直接用像素点自身对应的纹理坐标coord采样），记录其颜色值，同时记录一个根据高斯分布计算出来的权重。在循环完成后，对之前循环采样得到的所有颜色进行加权平均求和，得到blured。
S104，将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
一些实施例中，根据非线性强度的光流计算得到比例系数；
根据所述比例系数对下一帧图像的模糊结果与当前帧图像采用如下方式进行插值处理，
最后用后一帧画面的模糊结果blured与当前画面prev做混合操作，该过程可用公式(5)表示，其本质是根据映射到非线性空间的光流强度
计算得到一个比例系数p，然后再对blured与prev以比例p进行插值。光流强度越大，p的值随之越大，prev上的像素值对渲染输出结果result的影响就越大，其中，
表示向量
的C次幂。
需要说明的是，因为光流法只能求得一个近似解，当前后两帧画面内容差距过大时，光流法结果的置信度相对较低，换言之，物体的运动幅度越大，计算得到的光流与真实情况的误差通常也会越大。如果仅凭借模糊这一单一手段进行处理，输出的运动模糊效果易出现果冻效应，而通过对模糊结果和前一帧画面进行插值，就能极大程度地缓解光流法误差所带来的负面影响。
本申请中通过光流法求解视频相邻前后两帧画面内各物体的运动，在保证一定求解质量的情况下满足移动端视频编辑应用所要求的实时性。凭借光流法计算得到的光流，调校出一套合适的后处理流程，使得运动模糊的最终效果真实自然，并平稳作用于整个视频。
如图2所示，本申请实施例提供一种基于光流法实现运动感知模糊特效的装置，包括：
提取模块201，用于提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；
映射模块202，用于保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；
处理模块203，用于根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；
输出模块204，用于将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
本申请提供的基于光流法实现运动感知模糊特效的装置的工作原理为，提取模块201提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；映射模块202保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；处理模块203根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；输出模块204将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
本申请提供一种计算机设备，包括：存储器和处理器，还可以包括网络接口，所述存储器存储有计算机程序，存储器可以包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。该计算机设备存储有操作系统，存储器是计算机可读介质的示例。所述计算机程序被所述处理器执行时，使得所述处理器执行基于光流法实现运动感知模糊特效的方法，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于光流法实现运动感知模糊特效的方法可以实现为一种计算机程序的形式，计算机程序可在如图3所示的计算机设备上运行。
一些实施例中，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
其中，计算机设备可以为移动端或是其他设备，本申请在此不做限定。
综上所述，本发明提供一种基于光流法实现运动感知模糊特效的方法及装置，具有以下有益效果：
①通过使用光流法，将运动内容的识别和幅度感知的性能开销降低到可支持不同性能级别的移动设备使用，同时保证使用过程中表现稳定，并支持实时预览；②通过不断调试参数，拟合出对不同运动幅度的最佳智能模糊效果，使其高度接近电脑端处理的表现；③通过使用光流法，让导出效率大幅提升，达到了常规视频处理的水平。通过这三点突破，本发明为用户提供真正可用、好用的移动端运动模糊效果处理。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种基于光流法实现运动感知模糊特效的方法，其特征在于，包括：
提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；
保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；
根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；
将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
2.根据权利要求1所述的方法，其特征在于，所述基于光流法求解得到光流结果纹理，包括：
获取所述目标视频中相邻的两个帧图像；
采用光流法求解目标物体在当前帧图像中的第一位置坐标，以及所述目标物体在当前帧图像的下一帧图像中的第二位置坐标；
根据所述第一位置坐标和第二位置坐标，得到所述下一帧图像像素到当前帧图像像素流动的光流方向及光流强度。
3.根据权利要求1所述的方法，其特征在于，所述保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流，包括：
对所述光流结果纹理进行采样，得到对应所述光流纹理的像素点上的光流；
判断像素点是否满足敏感度条件；
将满足敏感度条件的像素点进行映射处理，得到非线性强度的光流；
其中，motion 表示光流纹理结果，
表示向量
的第i个元素，texture(t, c)表示对纹理t在坐标c处进行采样获得像素点处的值，coord表示像素点的初始纹理坐标，
表示对光流纹理进行采样得到的对应像素点上的光流表示，
表示经过映射得到的非线性强度的光流，sensitivity表示敏感度参数；所述非线性空间中向量各元素的取值范围为[0，1]。
4.根据权利要求1所述的方法，其特征在于，
对下一帧图像的像素点进行高斯模糊处理。
5.根据权利要求4所述的方法，其特征在于，采用如下方式对下一帧图像的像素点进行高斯模糊处理：
其中，n表示采样次数，gaussian(w)表示一维高斯分布中x=w时对应的y值，blured表示经模糊处理后的模糊结果，
表示对下一帧图像纹理next在坐标
处进行采样获得像素点处的值，next表示下一帧图像纹理，
表示像素点的纹理坐标，
表示与
向量同方向同长度的偏移量，i表示第i次采样。
6.根据权利要求3所述的方法，其特征在于，所述将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果，包括：
根据非线性强度的光流计算得到比例系数；
根据所述比例系数对下一帧图像的模糊结果与当前帧图像采用如下方式进行插值处理，
其中，p表示比例系数，prev表示当前帧图像，result表示渲染输出结果，
表示向量
的C次幂。
7.根据权利要求1所述的方法，其特征在于，
所述光流法为基于OpenCV函数得到的DIS光流算法。
8.一种基于光流法实现运动感知模糊特效的装置，其特征在于，包括：
提取模块，用于提取目标视频中的当前帧图像和所述当前帧图像的下一帧图像，根据所述当前帧图像和下一帧图像，基于光流法求解得到光流结果纹理；所述光流结果纹理包括光流方向及光流强度；
映射模块，用于保持所述光流方向不变，通过预设的映射函数将处于线性空间的光流强度映射至非线性空间，得到非线性强度的光流；
处理模块，用于根据所述非线性强度的光流，对下一帧图像的像素点进行模糊处理，得到模糊结果；
输出模块，用于将下一帧图像的模糊结果与当前帧图像进行混合处理，得到渲染输出结果。
9.一种移动端，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210791337.3A CN114862725B (zh) | 2022-07-07 | 2022-07-07 | 基于光流法实现运动感知模糊特效的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210791337.3A CN114862725B (zh) | 2022-07-07 | 2022-07-07 | 基于光流法实现运动感知模糊特效的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114862725A true CN114862725A (zh) | 2022-08-05 |
| CN114862725B CN114862725B (zh) | 2022-09-27 |
Family
ID=82626979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210791337.3A Active CN114862725B (zh) | 2022-07-07 | 2022-07-07 | 基于光流法实现运动感知模糊特效的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862725B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193279A (zh) * | 2022-12-29 | 2023-05-30 | 影石创新科技股份有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN117725843A (zh) * | 2024-02-08 | 2024-03-19 | 天津大学 | 一种基于深度学习的房屋结构变形预测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240147A (zh) * | 2017-05-26 | 2017-10-10 | 清华大学 | 图像渲染方法及系统 |
| CN109377516A (zh) * | 2018-11-01 | 2019-02-22 | 清华大学 | 一种使用动态视觉数据的光流计算方法 |
| CN110390293A (zh) * | 2019-07-18 | 2019-10-29 | 南京信息工程大学 | 一种基于高阶能量约束的视频对象分割算法 |
| CN110868580A (zh) * | 2018-08-09 | 2020-03-06 | 辉达公司 | 使用可变速率着色的运动自适应渲染 |
| CN112465728A (zh) * | 2020-12-07 | 2021-03-09 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 视频图像处理方法、系统、电子设备及存储介质 |
| CN112584077A (zh) * | 2020-12-11 | 2021-03-30 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| WO2021167394A1 (en) * | 2020-02-20 | 2021-08-26 | Samsung Electronics Co., Ltd. | Video processing method, apparatus, electronic device, and readable storage medium |
| US11232644B1 (en) * | 2020-12-31 | 2022-01-25 | Facebook Technologies, Llc | Systems and methods for providing spatial awareness in virtual reality |
| CN114187398A (zh) * | 2021-12-15 | 2022-03-15 | 广州光锥元信息科技有限公司 | 基于法线贴图进行人体光照渲染的处理方法及装置 |
| CN114419073A (zh) * | 2022-03-09 | 2022-04-29 | 荣耀终端有限公司 | 一种运动模糊生成方法、装置和终端设备 |
-
2022
- 2022-07-07 CN CN202210791337.3A patent/CN114862725B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240147A (zh) * | 2017-05-26 | 2017-10-10 | 清华大学 | 图像渲染方法及系统 |
| CN110868580A (zh) * | 2018-08-09 | 2020-03-06 | 辉达公司 | 使用可变速率着色的运动自适应渲染 |
| CN109377516A (zh) * | 2018-11-01 | 2019-02-22 | 清华大学 | 一种使用动态视觉数据的光流计算方法 |
| CN110390293A (zh) * | 2019-07-18 | 2019-10-29 | 南京信息工程大学 | 一种基于高阶能量约束的视频对象分割算法 |
| WO2021167394A1 (en) * | 2020-02-20 | 2021-08-26 | Samsung Electronics Co., Ltd. | Video processing method, apparatus, electronic device, and readable storage medium |
| CN112465728A (zh) * | 2020-12-07 | 2021-03-09 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 视频图像处理方法、系统、电子设备及存储介质 |
| CN112584077A (zh) * | 2020-12-11 | 2021-03-30 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| US11232644B1 (en) * | 2020-12-31 | 2022-01-25 | Facebook Technologies, Llc | Systems and methods for providing spatial awareness in virtual reality |
| CN114187398A (zh) * | 2021-12-15 | 2022-03-15 | 广州光锥元信息科技有限公司 | 基于法线贴图进行人体光照渲染的处理方法及装置 |
| CN114419073A (zh) * | 2022-03-09 | 2022-04-29 | 荣耀终端有限公司 | 一种运动模糊生成方法、装置和终端设备 |
Non-Patent Citations (3)
| Title |
|---|
| HUI WANG 等: "Sports Video Augmented Reality Real-Time Image Analysis of Mobile Devices", 《MATHEMATICAL PROBLEMS IN ENGINEERING》 * |
| TIM BROOKS 等: "Learning to Synthesize Motion Blur", 《IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 叶聪丽 等: "视频透视增强现实系统中的运动模糊研究", 《计算机工程》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193279A (zh) * | 2022-12-29 | 2023-05-30 | 影石创新科技股份有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN117725843A (zh) * | 2024-02-08 | 2024-03-19 | 天津大学 | 一种基于深度学习的房屋结构变形预测方法 |
| CN117725843B (zh) * | 2024-02-08 | 2024-04-30 | 天津大学 | 一种基于深度学习的房屋结构变形预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114862725B (zh) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Learning temporal consistency for low light video enhancement from single images | |
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| Wang et al. | Gladnet: Low-light enhancement network with global awareness | |
| CN114862725B (zh) | 基于光流法实现运动感知模糊特效的方法及装置 | |
| CN108122234B (zh) | 卷积神经网络训练及视频处理方法、装置和电子设备 | |
| US9615039B2 (en) | Systems and methods for reducing noise in video streams | |
| US7149355B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program | |
| CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| US20110211749A1 (en) | System And Method For Processing Video Using Depth Sensor Information | |
| CN106485720A (zh) | 图像处理方法和装置 | |
| CN107749987B (zh) | 一种基于块运动估计的数字视频稳像方法 | |
| US9619884B2 (en) | 2D to 3D image conversion device and method | |
| CN111340732B (zh) | 一种低照度视频图像增强方法及装置 | |
| CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
| Qian et al. | Video background replacement without a blue screen | |
| CN112288628A (zh) | 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统 | |
| CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
| CN111353955A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
| CN108647605B (zh) | 一种结合全局颜色与局部结构特征的人眼凝视点提取方法 | |
| Hsia et al. | A cost-effective line-based light-balancing technique using adaptive processing | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| CN115601616A (zh) | 一种样本数据生成方法、装置、电子设备和存储介质 | |
| CN116263942A (zh) | 一种调整图像对比度的方法、存储介质及计算机程序产品 | |
| CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |