CN114419073A - 一种运动模糊生成方法、装置和终端设备 - Google Patents

一种运动模糊生成方法、装置和终端设备 Download PDF

Info

Publication number
CN114419073A
CN114419073A CN202210220987.2A CN202210220987A CN114419073A CN 114419073 A CN114419073 A CN 114419073A CN 202210220987 A CN202210220987 A CN 202210220987A CN 114419073 A CN114419073 A CN 114419073A
Authority
CN
China
Prior art keywords
optical flow
motion
image
motion blur
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210220987.2A
Other languages
English (en)
Other versions
CN114419073B (zh
Inventor
刘小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Glory Smart Technology Development Co ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210220987.2A priority Critical patent/CN114419073B/zh
Publication of CN114419073A publication Critical patent/CN114419073A/zh
Application granted granted Critical
Publication of CN114419073B publication Critical patent/CN114419073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种运动模糊生成方法、装置和终端设备。解决了当拍摄对象和/或相机快速移动时，视频相邻画面之间缺乏过渡的技术问题。其中，运动模糊生成方法，包括：获取图像序列，图像序列包括多个图像帧；识别每个图像帧的动态物体，确定每个图像帧的前景区域和背景区域；根据第一光流优化函数优化背景区域，得到第一光流结果；根据第二光流优化函数优化前景区域，得到第二光流结果；第二光流优化函数包括第二极线约束；根据第一光流结果和第二光流结果，计算像素点运动轨迹和运动速度；根据运动速度沿运动轨迹进行像素RGB加权求和，获得相邻两个图像帧的带有运动模糊的模糊图像帧，模糊图像帧用以替换相邻两个图像帧的后一帧。

Description

一种运动模糊生成方法、装置和终端设备
技术领域
本申请涉及终端技术领域，尤其涉及一种运动模糊生成方法、装置和终端设备。
背景技术
在终端设备中，相机可以用来录像。当用户选择相机中的“录像”控件时，相机通常以每秒24帧画面频率对摄像头中的拍摄对象进行录像。当相机快速运动或其所拍摄的对象快速运动时，相机录制的视频对应的图像序列会发生时空变化，视频的每帧画面之间缺乏过渡和连接，因而，录制好的视频会出现帧间抖动、不连续的视觉感受。
目前，相机为了获得更好拍摄质量，相机以每秒48帧画面频率进行录制，高帧率可带来更清晰稳定的画面，图像序列会发生时空变化相对减小，从而减轻帧间抖动、不连续的视觉感受。另一种减轻帧间抖动的方法是“插帧法”，当原视频有30帧时，在任意相邻两帧之间插入一帧，插入的这一帧通常采用灰度加权的方法确认。
然而，增加帧数的方法，只能在一定程度上缓解帧间抖动的幅度，并不能解决视频的每帧画面之间缺乏过渡和连接的问题。
发明内容
为了提升用户观看视频的用户体验，本申请实施例提供了一种运动模糊生成方法、装置和终端设备。解决了当拍摄对象和/或相机快速移动时，视频相邻画面之间缺乏过渡的技术问题。
第一方面，本申请实施例提供了一种运动模糊生成方法，包括：获取图像序列，图像序列包括多个图像帧；识别每个图像帧的动态物体，确定每个图像帧的前景区域和背景区域；前景区域为包括动态物体的区域，背景区域为图像帧上除前景区域外的其他区域；根据第一光流优化函数优化背景区域，得到第一光流结果；第一光流优化函数包括第一极线约束，第一极线约束是根据终端设备在拍摄相邻两个图像帧时的相对位姿得到的，相对位姿包括终端设备的平移参数和旋转参数，第一光流结果包括背景区域矫正错误光流后的光流结果；根据第二光流优化函数优化前景区域，得到第二光流结果；第二光流优化函数包括第二极线约束，第二极线约束是根据相邻两个图像帧的特征匹配结果得到的，特征匹配用于表征同一像素点在相邻两个图像帧对应关系；根据第一光流结果和第二光流结果，计算像素点运动轨迹和运动速度；根据运动速度沿运动轨迹进行像素RGB加权求和，获得相邻两个图像帧的带有运动模糊的模糊图像帧，模糊图像帧用以替换相邻两个图像帧的后一帧。
这样，本申请通过在原有成像清晰画质良好的图像序列上叠加运动模糊的效果，使得画面具有过渡和连接，并不影响每一帧原有物体的清晰度。
在一种实现方式中，运动模糊生成方法还包括：对每个图像帧进行缩放，获取每个图像帧对应不同分辨率的图像金字塔；图像金字塔从金字塔顶层起至金字塔底层图像帧的分辨率逐层增大；根据第一光流优化函数优化背景区域，用以得到第一光流结果的步骤包括：对每一个分辨率对应的图像帧的背景区域得到光流结果；其中，在得到第一光流结果的过程中，低分辨率图像帧的光流结果作为计算高分辨图像帧的光流结果的输入。
在一种实现方式中，运动模糊生成方法中根据第二光流优化函数优化前景区域，得到第二光流结果的步骤包括：对每一个分辨率对应的图像帧的前景区域得到光流结果；其中，在得到第二光流结果的过程中，低分辨率图像帧的光流结果作为计算高分辨图像帧的光流结果的输入。
这样，本申请通过对图像序列进行缩放，从而得到精确的光流跟踪结果，进一步优化运动模糊的效果，获得更加自然的模糊图像帧，使得用户观看视频时，在视觉上获得更好的感受。
在一种实现方式中，运动模糊生成方法中相对位姿是根据终端设备的相机位姿得到的，相机位姿是根据终端设备采集到的IMU原始数据通过滤波算法得到的。
在一种实现方式中，运动模糊生成方法中极线约束包括：根据相对位姿，获取相邻两个图像帧之间的本质矩阵；根据本质矩阵和终端设备的相机的内参矩阵，得到基础矩阵，基础矩阵用以为像素点提供极线约束。
在一种实现方式中，运动模糊生成方法还包括：获取相邻两个图像帧的前一帧中的任一像素点的位置坐标；将位置坐标带入基础矩阵F，得到像素点对应于相邻两个图像帧的后一帧上的极线，用以作为引入极线约束的光流优化函数的极限距离约束的依据。
在一种实现方式中，运动模糊生成方法中根据运动速度沿运动轨迹进行像素RGB加权求和的步骤，包括：获取像素点在运动轨迹的运动速度V，根据运动轨迹得到像素点的R值、G值和B值。
在一种实现方式中，运动模糊生成方法还包括：分别计算相邻两个图像帧的半稠密光流，分别对相邻两个图像帧的半稠密光流进行上采样，得到相邻两个图像帧的稠密光流，用以预测像素点运动。
在一种实现方式中，运动模糊生成方法中动态物体包括第一动态物体和第二动态物体，第一动态物体对应第一前景区域，第二动态物体对应第二前景区域，根据第二光流优化函数优化前景区域，得到第二光流结果还包括：根据第二光流优化函数优化分别优化第一前景区域和第二前景区域。
在一种实现方式中，运动模糊生成方法中获取图像序列包括：在录制视频的过程中，响应于生成运动模糊的指令，获取图像序列；其中，生成运动模糊的指令是用户在录制界面的点击操作触发生成的。
在一种实现方式中，运动模糊生成方法还包括：在录制视频的过程中，检测到相机在运动或拍摄场景中有运动物体时，在录制界面生成授权界面，授权界面包括供用户点击的授权运动模糊的选项。
在一种实现方式中，运动模糊生成方法获取图像序列还包括：检测视频是否存在抖动或像素点不连续，若存在抖动或像素点不连续，则生成运动模糊的指令；响应于生成运动模糊的指令，获取图像序列。
第二方面，本申请实施例提供了运动模糊生成装置，运动模糊生成装置包括：获取模块，用于获取图像序列，图像序列包括多个图像帧；识别模块，用于识别每个图像帧的动态物体，确定每个图像帧的前景区域和背景区域；前景区域为包括动态物体的区域，背景区域为图像帧上除前景区域外的其他区域；第一优化模块，用于根据第一光流优化函数优化背景区域，得到第一光流结果；第一光流优化函数包括第一极线约束，第一极线约束根据终端设备在拍摄相邻两个图像帧时的相对位姿得到的，相对位姿包括终端设备的平移参数和旋转参数，第一光流结果包括背景区域矫正错误光流后的光流结果；第二优化模块，用于根据第二光流优化函数优化前景区域，得到第二光流结果；第二光流优化函数包括第二极线约束，第二极线约束是根据相邻两个图像帧的特征匹配结果得到的，特征匹配用于表征同一像素点在相邻两个图像帧对应关系；计算模块，用于根据第一光流结果和第二光流结果，计算像素点运动轨迹和运动速度；模糊处理模块，用于根据运动速度沿运动轨迹进行像素RGB加权求和，获得相邻两个图像帧的带有运动模糊的模糊图像帧，模糊图像帧用以替换相邻两个图像帧的后一帧。
第三方面，本申请实施例提供了一种终端设备，包括：处理器、存储器和显示屏；存储器存储有程序指令，当程序指令被处理器执行时，使得终端设备执行上述运动模糊生成方法。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例示出的图像序列中相邻两帧中前一帧的示意图；
图1b是本申请实施例示出的图像序列中相邻两帧中后一帧的示意图；
图1c是本申请实施例示出的图像序列中相邻两帧的示意图；
图2是本申请实施例适用的一种场景示意图；
图3是本申请实施例提供的一种终端设备的结构示意图；
图4是本申请实施例提供的运动模糊生成方法的流程图；
图5是本申请实施例提供的终端设备获取图像帧的触发界面的示意图；
图6是本申请实施例提供的图像分割的场景图；
图7是本申请实施例示出的背景区域的光流优化示意图；
图8是本申请实施例提供的前景区域的光流优化示意图；
图9是本申请实施例示出的图像序列中相邻两帧的示意图；
图10是本申请实施例提供的模糊图像帧的模糊效果示意图；
图11是本申请实施例提供的图像金字塔的示意图；
图12是本申请实施例提供一种运动模糊生成装置的结构示意图；
图13是本申请实施例提供另一种运动模糊生成装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请中字符“/”，一般表示前后关联对象是一种“或者”的关系。例如，A/B可以理解为A或者B。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括其他没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
另外，在本申请实施例中，“示例性的”、或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、或者“例如”等词旨在以具体方式呈现概念。
为便于对申请的技术方案进行说明，在对本申请实施例的运动模糊生成方法进行详细介绍之前，首先在对本申请所涉及到的一些概念进行说明。
在终端设备中，相机可以用来拍摄视频。当用户使用相机拍摄视频时，相机传感器可以以每秒24帧画面频率对被拍摄对象进行图像采集，得到一组与时间或空间位置相关联的图像帧，即图像序列。图像序列中的各图像帧按时间顺序连续播放即形成了视频。在视频播放时，相邻帧上同一像素点运动位置的连续性决定了视频在视觉上的流畅度。图1a是本申请实施例示出的图像序列中相邻两帧中前一帧的示意图；图1b是本申请实施例示出的图像序列中相邻两帧中后一帧的示意图；图1c是本申请实施例示出的图像序列中相邻两帧的示意图。如图1a、1b和1c所示，当终端设备为“24帧电影模式”时，如果相机快速运动或其所拍摄的对象快速运动，相机所录制视频的图像序列中相邻帧上同一像素点运动位置变化较大，造成视频的每帧画面之间缺乏过渡和连接。例如，图1c图像帧上的足球在第一帧和第二帧的位置变化大，在播放时，从第一帧直接跳转到第二帧，会给用户造成视觉上不连续观看体验。
目前，相对于专业的摄像机，终端设备由于成像传感器等硬件上的欠缺，导致其在拍摄运动物体时，视觉效果远差于用于拍摄电影的摄影机。因而，为了获得更好录像质量，通常在终端设备上配备高速摄像机（slow-motion），高速摄像机可以在同样的时间内拍摄更多的画面，用以获得更高的帧率，增加画面的连续性。例如以每秒48帧画面频率进行录制，高帧率可带来更清晰稳定的画面，图像序列会发生时空变化相对减小，从而减轻帧间抖动、不连续的视觉感受。另一种提高帧率减轻帧间抖动的方法是“插帧法”，例如当原视频有30帧时，在任意相邻两帧之间均插入一帧，得到60帧。其中，插入的这一帧通常采用灰度加权的方法得到的。科学研究显示人眼的极限是55帧率。所以，高帧率会带来更加真实的感受。
然而，通过增加帧数的方法，只能在一定程度上缓解帧间抖动的幅度，并不能解决视频的每帧画面之间缺乏过渡和连接的问题。如何增强相邻两帧之间在视觉上的相关联程度成为解决问题的关键。本申请通过在每相邻两帧中的后一帧中为快速运动的物体叠加运动模糊的效果来细化构图，使得相邻画面之间得到过渡和连接，这样可以增加动作的真实感，使抖动的镜头观看起来更流畅自然。
在一些摄像场景中，电影镜头快速摇移，图像就会有抖动(judder)或者频闪(strobe)，从而使得每一帧都会有模糊(blur)，造成视频成像不清晰，这种“每一帧都会有模糊”并不等同本申请所述的“为每一帧上快速运动的物体叠加运动模糊的效果”，本申请在原有成像清晰画质良好的图像序列上叠加运动模糊的效果，使得画面具有过渡和连接，并不影响每一帧原有物体的清晰度。
为此，本申请实施例提供了一种运动模糊生成方法，该方法可以用于终端设备生成具有过渡和连接性的视频画面。在该方法中，终端设备响应于生成运动模糊的指令，获取图像序列，图像序列中每一帧画面都是清晰的，对每一帧图像的动态物体和背景分别进行光流优化，根据光流优化结果获得运动轨迹和运动速度，根据运动速度在运动轨迹上叠加运动模糊，进而每相邻两个图像帧都能得到一个对应的模糊图像帧，用模糊图像帧替换相邻两个图像帧的后一帧，从而得到具有过渡性和连接性的视频。
图2是本申请实施例适用的一种场景示意图。参照图2，当用户使用终端设备100的相机功能拍摄视频时，拍摄的对象可能会移动，例如当拍摄对象为踢足球的儿童，球和儿童都随着时间的变化快速移动；在一些情境中，为了保证拍摄的对象位于相机的画面中，相机需要随着拍摄对象的移动而移动。当拍摄对象和/或相机快速移动时，采集到的图像序列中任意相邻帧上同一像素点运动位置变化较大，这样，从相邻两帧的前一帧切换到后一帧时，需要为每一帧上快速运动的物体叠加运动模糊的效果，以增强相邻两帧之间在视觉上的相关联程度。
图3是本申请实施例提供的一种终端设备的结构示意图。该终端设备100可以作为图2中采集图像序列的设备。参照图3，该终端设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriberidentification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电，也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备（不限于扬声器170A，受话器170B等）输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端设备100上的包括无线局域网（wirelesslocal area networks，WLAN）（如Wi-Fi网络），蓝牙等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。
终端设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
终端设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如文件传输功能，相册功能等）等。存储数据区可存储终端设备100使用过程中所创建的数据（比如文件、照片、视频等）等。
终端设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定终端设备100围绕三个轴（即，x，y和z轴）的角速度。
气压传感器180C用于测量气压。在一些实施例中，终端设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当终端设备100是折叠屏终端设备时，终端设备100可以根据磁传感器180D检测折叠屏终端设备的开合。
加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。
距离传感器180F，用于测量距离。终端设备100可以通过红外或激光测量距离。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测终端设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，终端设备100利用温度传感器180J检测的温度，执行温度处理策略。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和终端设备100的接触和分离。终端设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。
对于本领域的技术人员而言将显而易见的是，上文关于终端设备100所呈现的具体细节中的一些细节可为实践特定的所述实施方案或其等同物所不需要的。类似地，其他终端设备可以包括更多数量模块、部件等。在适当的情况下，一些模块可以被实现为软件或硬件。因此，应当理解，上述描述并非旨在穷举或将本申请限制于本文所述的精确形式。相反，对于本领域的普通技术人员而言将显而易见的是，根据上述教导内容，许多修改和变型是可能的。
下面对本申请实施例提供的运动模糊生成方法的各方法步骤进行示例性说明。
图4是本申请实施例提供的运动模糊生成方法的流程图。
在本申请实施例中，终端设备响应于生成运动模糊的指令，执行如图4所示的以下步骤S1-S6：
S1，终端设备获取图像序列，图像序列包括多个图像帧。
当用户使用相机拍摄视频时，相机传感器可以以每秒24帧画面频率对被拍摄对象进行图像采集，得到一组与时间或空间位置相关联的图像帧，即图像序列。可以理解的是，相机传感器还可以以其他频率对被拍摄对象进行图像采集，例如48帧。
终端设备获取图像帧的触发方式有多种。
一种实现方式为终端设备在录制视频的过程中，用户在录制界面的点击操作触发生成运动模糊的指令，响应于生成运动模糊的指令，获取图像序列。
如图5所示，另一种实现方式为终端设备在录制视频的过程中，检测到相机在运动或拍摄场景中有运动物体时，在录制界面生成授权界面，授权界面包括供用户点击的授权运动模糊的选项，当用户点击“是”，则生成运动模糊的指令，响应于生成运动模糊的指令，获取图像序列。
第三种实现方式为在未录制视频时或在观看视频的页面时，检测视频是否存在抖动或像素点不连续，若存在抖动或像素点不连续，则生成运动模糊的指令，响应于生成运动模糊的指令，获取图像序列。在这种实现方式中，终端设备需要事先保存数据，保存的数据包括相机运动参数，才能进行后续步骤S2-S6的操作。
获取图像序列后，为了更方便进行后续步骤S2-S6的操作，在一种实现方式中，在获取图像序列后，分别计算相邻两个图像帧的半稠密光流，分别对每个半稠密光流结果进行上采样，得到相邻两个图像帧的稠密光流。
其中，光流（optical flow）是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。当终端设备对物体进行拍摄时，如果物体产生运动，那么，在相邻两帧图像中，物体对应的像素点的位置会发生变化。在相邻的两帧，存在像素点的移动，上一帧的像素点在下一帧中，其位置有变化，这个变化就是位移向量，尤其相邻两个图像帧的前一帧的起始位置指向相邻两个图像帧的后一帧的末位置，即是像素点的光流。半稠密光流是指首先计算出图像中像素梯度变化较大的像素区域；其次利用时变图像灰度的时空梯度函数来计算像素的速度矢量，进而实现像素区域的跟踪；最后将状态向量作为剔除跟踪失败的依据，保留跟踪质量优良的像素区域。稠密光流（dense optical flow）是一种针对图像进行逐点匹配的图像配准方法，稠密光流通过计算图像上所有的点的偏移量，从而形成一个稠密的光流场。
S2，终端设备识别每个图像帧的动态物体，确定每个图像帧的前景区域和背景区域；前景区域为包括动态物体的区域，背景区域为图像上除前景区域外的其他区域。
本申请实施例中终端设备可以通过采用图像分割的方式，例如深度学习网络进行实例分割，识别出每个图像帧中的前景区域和背景区域。图像分割（image segmentation）技术是计算机视觉领域的个重要的研究方向，图像分割是指将图像分成若干具有相似性质的区域的过程，从数学角度来看，图像分割是将图像划分成互不相交的区域的过程。实例分割任务有其自己的任务需求与度量矩阵，实例分割则不仅分割类型，同时还可以分割同类型的目标是否为同一个实例。
如图6所示，本申请实施例中终端设备可以通过实例分割的方法，识别出图像帧中包括前景区域100、200和背景区域300。
S3，终端设备根据第一光流优化函数优化背景区域，得到第一光流结果；第一光流优化函数包括第一极线约束，第一极线约束是根据终端设备在拍摄相邻两个图像帧时的相对位姿得到的，相对位姿包括终端设备的平移参数和旋转参数，第一光流结果包括背景区域矫正错误光流后的光流结果。
其中，相对位姿可以通过终端设备上配备的惯性测量单元（inertialmeasurement unit， IMU）得到。IMU可以在短时间内提供高精度的自身姿态预测信息，IMU的运行频率也远高于摄像机，可以很好的应对快速运动的情况。通过采集的IMU原始数据，采用滤波算法估计相机位姿，从而得到相对位姿。
接下来，利用相对位姿，获取两帧之间的本质矩阵E，𝐸=𝑡^𝑅。
其中，𝑡表示为相机运动的平移量，𝑡的单位是米，𝑅表示为相机运动的旋转量，𝑅的单位是度。
利用本质矩阵E求得基础矩阵𝐹，𝐹=𝐾−𝑇𝐸𝐾−1，其中，K表示为相机内参矩阵。
相机内参矩阵K表示如下：
Figure 710568DEST_PATH_IMAGE001
；
其中，f表示为焦距，单位毫米；dx表示为像素x方向宽度，单位毫米；1/dx表示为x方向1毫米内有多少个像素；f/dx表示为使用像素来描述x轴方向焦距的长度；f/dy表示为使用像素来描述y轴方向焦距的长度；u0和v0表示主点的实际位置，单位也是像素。
基础矩阵𝐹用于为两帧之间的光流结果提供第一极线约束，第一极线约束通过约束极线距离实现。以第一帧和第二帧为例，极线距离的计算方式如下：
如图7所示，在第一帧的背景区域取一像素点（x，y）作为光流预测点，将（x，y）带入基础矩阵F，得到像素点（x，y）对应于第二帧上的极线；其中，A、B和C是将（x，y）带入基础矩阵F获得参数值。
该极线作为引入第一极线约束的第一光流优化函数的极限距离约束的依据，则第一光流优化函数的公式为：
Figure 755272DEST_PATH_IMAGE002
；
其中，
Figure 535009DEST_PATH_IMAGE003
为灰度约束，I1表示为相邻两帧中的前一帧，I2 表示为相邻两帧中的后一帧，例如相邻两个图像帧，相邻两个图像帧的前一帧为I1，相邻两 个图像帧的后一帧为I2；
Figure 54852DEST_PATH_IMAGE004
为第一极线约束。
接下来，将需要优化的像素点（x，y）带入前述第一光流优化函数中，以“灰度约束和第一极线约束的和”最小为依据，确定和的值。
在一种实现方式中，根据前述引入第一极线约束的第一光流优化函数，可以优化背景区域的稠密光流，用以矫正错误光流。
S4，终端设备根据第二光流优化函数优化前景区域，得到第二光流结果；第二光流优化函数包括第二极线约束，第二极线约束是根据相邻两个图像帧的特征匹配结果得到的，特征匹配用于表征同一像素点在相邻两个图像帧对应关系。
其中，特征匹配中的特征是指图像特征。图像特征不仅可以用于相机内参的标定；可以匹配获取相机姿态，用以完成图像拼接；可以间接使用特征点作为种子点扩散匹配得到稠密点云，完成稠密重建；还可以特征点为中心生成关键特征，用以进行场景识别。
本实施例首先对图像特征进行检测，基于深度学习的方法，通过检测局部像素灰度变化来得到的特征点的位置，进而得到的同一三维点的特征点在相邻两帧前一帧和后一帧的位置坐标值。
根据图像特征的检测结果进行特征匹配，特征匹配就是计算特征描述子（featuredescriptor）距离，即计算两幅图像中特征描述子的匹配关系，可以使用欧式距离公式，也可以使用马氏距离公式。
其中，欧式距离公式为：
Figure 869224DEST_PATH_IMAGE005
；
Figure 816320DEST_PATH_IMAGE006
；
马氏距离公式为：
Figure 83354DEST_PATH_IMAGE007
；
其中，a表示为相邻两帧前一帧，b表示为相邻两帧的后一帧，ai表示为第i个像素点的起始点向量，bi表示为第i个像素点的末尾点向量。
在一种实现方式中，根据上述特征匹配的结果得到基础矩阵F，前述过程包括将特 征匹配的结果输入opencv中的findFundmental函数以获得F，再由F计算得到极线方程
Figure 406888DEST_PATH_IMAGE008
。
如图8所示，以第一帧和第二帧为例，得到的同一像素点在第一帧和第二帧的位置 坐标值，求得极线方程
Figure 226767DEST_PATH_IMAGE009
。
则第二光流优化函数的公式为：
Figure 220131DEST_PATH_IMAGE010
其中，
Figure 99094DEST_PATH_IMAGE003
为灰度约束，I1表示为相邻两帧中的前一帧，I2 表示为相邻两帧中的后一帧；
Figure 836106DEST_PATH_IMAGE011
为第二极线约束。
将需要优化的像素点（x，y）带入前述第二光流优化函数中，以“灰度约束和第二极 线约束的和”最小为依据，确定
Figure 484125DEST_PATH_IMAGE012
和
Figure 913969DEST_PATH_IMAGE013
的值。
在一种实现方式中，根据引入第二极线约束的第二光流优化函数，优化前景区域的稠密光流，得到第二光流结果。
S5，终端设备根据第一光流结果和第二光流结果，计算像素点运动轨迹和运动速度。
终端设备通过光流计算获取到像素点的运动轨迹（trace）和运动速度𝑣𝑗。
S6，终端设备根据运动速度沿运动轨迹进行像素RGB加权求和，获得相邻两个图像帧的带有运动模糊的模糊图像帧，模糊图像帧用以替换相邻两个图像帧的后一帧。
如图9所示，以相邻的相邻两个图像帧为例，每一帧上像素点的轨迹有多个，例如运动轨迹trace1、trace2，进行像素RGB加权求和时，公式如下：
Figure 280229DEST_PATH_IMAGE014
；
Figure 555352DEST_PATH_IMAGE015
；
Figure 326387DEST_PATH_IMAGE016
；
Figure 661553DEST_PATH_IMAGE017
；
其中，
Figure 515108DEST_PATH_IMAGE018
表示为第i个轨迹交汇点的red值，
Figure 593923DEST_PATH_IMAGE019
表示为第i个轨迹交汇点的green 值，
Figure 216534DEST_PATH_IMAGE020
表示为第i个轨迹交汇点的blue值；
Figure 988181DEST_PATH_IMAGE021
表示为第一条轨迹的起始点的red值；
Figure 63453DEST_PATH_IMAGE022
表示 为第二条轨迹的起始点的red值；
Figure 945959DEST_PATH_IMAGE023
表示为第一条轨迹的起始点的green值；
Figure 426006DEST_PATH_IMAGE024
表示为第 二条轨迹的起始点的green值；
Figure 493188DEST_PATH_IMAGE025
为第一条轨迹的起始点的blue值；
Figure 931123DEST_PATH_IMAGE026
表示为第二条轨迹 的起始点的blue值；
Figure 476373DEST_PATH_IMAGE027
表示为第j条轨迹所占的权重；
Figure 948943DEST_PATH_IMAGE028
表示为第j条轨迹上像素点的运动 速度。
按照上述公式，通过相邻两个图像帧的前一帧上像素点的运动轨迹和速度，由相邻两个图像帧的前一帧(frame1)处像素值加权获得相邻两个图像帧的后一帧图像(frame2)轨迹上的像素值。
图9是本申请实施例示出的图像序列中相邻两帧的示意图。如图9所示，如图9中a所示的相邻两个图像帧的前一帧和如图9中b所示的相邻两个图像帧的后一帧是图像序列中相邻两帧，其中，如图9中a所示的相邻两个图像帧的前一帧中包括第一目标对应的初始位置1、第二目标对应的初始位置2、第一轨迹3和第二轨迹4，第一轨迹3是第一目标从相邻两个图像帧的前一帧到相邻两个图像帧的后一帧的运动轨迹，第二轨迹4是第二目标从相邻两个图像帧的前一帧到相邻两个图像帧的后一帧的运动轨迹；如图9中b所示的相邻两个图像帧的后一帧中包括第一目标对应的末位置1’、第二目标对应的末位置2’、第一轨迹3和第二轨迹4。也就是说，图像序列中相邻的相邻两个图像帧展现了第一目标由初始位置1沿着第一轨迹3运动至末位置1’，同时，第二目标由初始位置2沿着第二轨迹4运动至末位置2’。当图像序列未进行运动模糊的处理时，在视频播放的实际场景中，由如图9中c所示的相邻两个图像帧的前一帧切换至如图9中d所示的相邻两个图像帧的后一帧。而本申请根据上述步骤S1-S6，获得图像像素点的运动轨迹，根据RGB沿轨迹加权，形成如图9中f的运动模糊效果，这样，在视频播放的实际场景中，由如图9中e所示的相邻两个图像帧的前一帧切换至如图9中f所示具有运动模糊效果的模糊图像。需要说明的是，图9中c和图9中e是完全一致的相邻两个图像帧的前一帧，由于相邻两个图像帧的前一帧是视频的首个图像帧，可以不进行运动模糊。
在一些实施例中，可以将图9中f叠加至图9中d上，从而使得相邻画面之间得到过渡和连接，这样可以增加动作的真实感，使抖动的镜头观看起来更流畅自然。
这样，本申请通过对图像序列上相邻的两帧执行上述S1-S5的步骤，能够得到用于替换相邻两帧中后一帧的模糊图像。例如，如图10所示，模糊图像在原有成像清晰画质良好的图像上叠加运动模糊的效果，使得画面具有过渡和连接。
在一些实施例中，对每个图像帧进行缩放，获取每个图像帧对应不同分辨率的图像金字塔；图像金字塔从金字塔顶层起至金字塔底层图像帧的分辨率逐层增大；根据第一光流优化函数优化背景区域，用以得到第一光流结果的步骤包括：对每一个分辨率对应的图像帧的背景区域得到光流结果；其中，在得到第一光流结果的过程中，低分辨率图像帧的光流结果作为计算高分辨图像帧的光流结果的输入。
在一些实施例中，运动模糊生成方法中根据第二光流优化函数优化前景区域，得到第二光流结果的步骤包括：对每一个分辨率对应的图像帧的前景区域得到光流结果；其中，在得到第二光流结果的过程中，低分辨率图像帧的光流结果作为计算高分辨图像帧的光流结果的输入。
其中，图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。如图11所示，一幅图像的图像金字塔是一系列以金字塔形状（自下而上）逐步降低，且来源于同一张原始图的图像分辨率集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的层级越高，则图像越小，分辨率越低。
金字塔特征跟踪算法描述如下：首先，在图像的顶层计算光流和仿射变换矩阵，将上一层的计算结果作为初值传递给下一层的图像。基于这个初值，该层的图像计算该层的光流和仿射变换矩阵。然后将这一层的光流和仿射矩阵作为初值传递到下一层的图像，直到传递到最后一层，即原始图像层。将计算得到的该层的光流和仿射变换矩阵作为最终的光流和仿射变换矩阵的结果。
示例性的，当前图像序列的分辨率为640fps和480fps，通过对图像序列进行缩放，可以得到图像序列的分辨率为320fps和240fps。对于图像序列的分辨率为320fps和240fps，从分辨率最小的240fps的图像开始计算图像的光流跟踪，并将240fps的图像光流跟踪结果作为320fps的图像计算光流跟踪的起始，从而得到精确的光流跟踪结果。
这样，本申请通过对图像序列进行缩放，从而得到精确的光流跟踪结果，进一步优化运动模糊的效果，获得更加自然的模糊图像帧，使得用户观看视频时，在视觉上获得更好的感受。
在一些实施例中，判断相机是否运动，若相机没有运动，则不对背景区域进行光流优化。相机不运动时，背景不模糊，相邻两帧背景区域的像素点位置不变，因而，不必进行光流优化，不必对相邻两帧中后一帧上背景区域进行运动模糊。然而，相机在运动时，录像区域中的背景会模糊，这时需要对背景区域进行光流优化，用以预测背景区域的像素点的光流结果，根据光流结果进行运动模糊。
在一种实施例中，所述动态物体包括第一动态物体和第二动态物体，第一动态物体得到的第一前景区域，第二动态物体得到的第二前景区域，根据第二光流优化函数优化分别优化所述第一前景区域和所述第二前景区域。
在一种实现方式中，当动态物体包含有多个时，前景区域可以有多个，通过区分动态物体的类型，不同的类型对应不同的前景区域。如图6所示，图像帧中包括第一前景区域100、第二前景区域200以及背景区域300，其中，第一前景区域100是“一个运动的足球”所在的区域，第二前景区域200是“一个运动的人”所在的区域，背景300是林茵球场。对于足球光流的预测，通过对第一前景区域100内的像素点进行光流优化得到；对于人的光流的预测，通过对第二前景区域200内的像素点进行光流优化得到。关于光流优化的方法参见前述实施例，在此不作赘述。
以上实施例提供的运动模糊生成方法解决了当拍摄对象和/或相机快速移动时，视频相邻画面之间缺乏过渡的技术问题。
上述本申请提供的实施例中，从终端设备的角度对本申请提供的运动模糊生成方法的各方案进行了介绍。可以理解的是，终端设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
图12是本申请实施例提供的一种运动模糊生成装置的结构示意图。
在一些实施例中，终端设备可以通过图12所示的硬件装置实现相应的功能。如图12所示，该运动模糊生成装置可以包括：存储器1201、处理器1202、相机1203和传感器模块1204。
在一种实现方式中，处理器1202可以包括一个或多个处理单元，例如：处理器1202可以包括应用处理器，调制解调处理器，图形处理器，图像信号处理器，控制器，视频编解码器，数字信号处理器，基带处理器，和/或神经网络处理器等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。存储器1201与处理器1202耦合，用于存储各种软件程序和/或多组指令。在一些实施例中，存储器1201可包括易失性存储器和/或非易失性存储器。相机1203可以包括一个或者镜头和感光元件，物体通过镜头生成光学图像投射到感光元件，用于捕获静态图像或视频。传感器模块1204用于测量手机的相机位姿。在一些实施例中，传感器模块1204可以包括陀螺仪传感器，以测量终端设备的平移参数和旋转参数。
在一个实施例中，当存储器1201中的软件程序和/或多组指令被处理器1202运行时，使得终端设备用于执行如下方法步骤：获取图像序列，图像序列包括多个图像帧；识别每个图像帧的动态物体，确定每个图像帧的前景区域和背景区域；前景区域为包括动态物体的区域，背景区域为图像帧上除前景区域外的其他区域；根据第一光流优化函数优化背景区域，得到第一光流结果；第一光流优化函数包括第一极线约束，第一极线约束是根据终端设备在拍摄相邻两个图像帧时的相对位姿得到的，相对位姿包括终端设备的平移参数和旋转参数，第一光流结果包括背景区域矫正错误光流后的光流结果；根据第二光流优化函数优化前景区域，得到第二光流结果；第二光流优化函数包括第二极线约束，第二极线约束是根据相邻两个图像帧的特征匹配结果得到的，特征匹配用于表征同一像素点在相邻两个图像帧对应关系；根据第一光流结果和第二光流结果，计算像素点运动轨迹和运动速度；根据运动速度沿运动轨迹进行像素RGB加权求和，获得相邻两个图像帧的带有运动模糊的模糊图像帧，模糊图像帧用以替换相邻两个图像帧的后一帧。
另外，在一些实施例中，终端设备可以通过软件模块来实现相应的功能。如图13所示，用于实现上述终端设备行为的功能的运动模糊生成装置包括：获取模块1301，用于获取图像序列，图像序列包括多个图像帧；识别模块1302，用于识别每个图像帧的动态物体，确定每个图像帧的前景区域和背景区域；前景区域为包括动态物体的区域，背景区域为图像帧上除前景区域外的其他区域；第一优化模块1303，用于根据第一光流优化函数优化背景区域，得到第一光流结果；第一光流优化函数包括第一极线约束，第一极线约束是根据终端设备在拍摄相邻两个图像帧时的相对位姿得到的，相对位姿包括终端设备的平移参数和旋转参数，第一光流结果包括背景区域矫正错误光流后的光流结果；第二优化模块1304，用于根据第二光流优化函数优化前景区域，得到第二光流结果；第二光流优化函数包括第二极线约束，第二极线约束是根据相邻两个图像帧的特征匹配结果得到的，特征匹配用于表征同一像素点在相邻两个图像帧对应关系；计算模块1305，用于根据第一光流结果和第二光流结果，计算像素点运动轨迹和运动速度；模糊处理模块1306，用于根据运动速度沿运动轨迹进行像素RGB加权求和，获得相邻两个图像帧的带有运动模糊的模糊图像帧，模糊图像帧用以替换相邻两个图像帧的后一帧。
本申请实施例还提供一种计算机存储介质，计算机可读存储介质中存储有程序指令，当程序指令在计算机上运行时，使得计算机执行上述各方面及其各个实现方式中的方法。
本申请实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式中的方法。
本申请还提供了一种芯片系统。该芯片系统包括处理器，用于支持上述装置或设备实现上述方面中所涉及的功能，例如，生成或处理上述方法中所涉及的信息。在一种可能的设计中，芯片系统还包括存储器，用于保存上述装置或设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (14)

1.一种运动模糊生成方法，其特征在于，包括：
获取图像序列，所述图像序列包括多个图像帧；
识别每个所述图像帧的动态物体，确定每个所述图像帧的前景区域和背景区域；所述前景区域为包括动态物体的区域，所述背景区域为所述图像帧上除所述前景区域外的其他区域；
根据第一光流优化函数优化所述背景区域，得到第一光流结果；所述第一光流优化函数包括第一极线约束，所述第一极线约束是根据终端设备在拍摄相邻两个图像帧时的相对位姿得到的，所述相对位姿包括所述终端设备的平移参数和旋转参数，所述第一光流结果包括所述背景区域矫正错误光流后的光流结果；
根据第二光流优化函数优化所述前景区域，得到第二光流结果；所述第二光流优化函数包括第二极线约束，所述第二极线约束是根据所述相邻两个图像帧的特征匹配结果得到的，所述特征匹配用于表征同一像素点在所述相邻两个图像帧对应关系；
根据所述第一光流结果和所述第二光流结果，计算像素点运动轨迹和运动速度；
根据所述运动速度沿所述运动轨迹进行像素RGB加权求和，获得所述相邻两个图像帧的带有运动模糊的模糊图像帧，所述模糊图像帧用以替换所述相邻两个图像帧的后一帧。
2.根据权利要求1所述的运动模糊生成方法，其特征在于，还包括：
对每个所述图像帧进行缩放，获取每个所述图像帧对应不同分辨率的图像金字塔；所述图像金字塔从金字塔顶层起至金字塔底层图像帧的分辨率逐层增大；
所述根据第一光流优化函数优化所述背景区域，用以得到第一光流结果的步骤包括：
对每一个分辨率对应的图像帧的所述背景区域得到光流结果；其中，在得到所述第一光流结果的过程中，低分辨率图像帧的光流结果作为计算高分辨图像帧的光流结果的输入。
3.根据权利要求2所述的运动模糊生成方法，其特征在于，
根据第二光流优化函数优化所述前景区域，得到第二光流结果的步骤包括：
对每一个分辨率对应的图像帧的所述前景区域得到光流结果；其中，在得到所述第二光流结果的过程中，低分辨率图像帧的光流结果作为计算高分辨图像帧的光流结果的输入。
4.根据权利要求1所述的运动模糊生成方法，其特征在于，所述相对位姿是根据所述终端设备的相机位姿得到的，所述相机位姿是根据所述终端设备采集到的IMU原始数据通过滤波算法得到的。
5.根据权利要求4所述的运动模糊生成方法，其特征在于，所述极线约束包括：
根据所述相对位姿，获取相邻两个图像帧之间的本质矩阵；
根据所述本质矩阵和所述终端设备的相机的内参矩阵，得到基础矩阵，所述基础矩阵用于为像素点提供极线约束。
6.根据权利要求5所述的运动模糊生成方法，其特征在于，还包括：
获取相邻两个图像帧的前一帧中的任一像素点的位置坐标；
将所述位置坐标带入基础矩阵F，得到所述像素点对应于相邻两个图像帧的后一帧上的极线，用以作为引入极线约束的光流优化函数的极限距离约束的依据。
7.根据权利要求1所述的运动模糊生成方法，其特征在于，所述根据所述运动速度沿所述运动轨迹进行像素RGB加权求和的步骤，包括：
获取所述像素点在所述运动轨迹的运动速度V，根据所述运动轨迹得到所述像素点的R值、G值和B值。
8.根据权利要求1所述的运动模糊生成方法，其特征在于，还包括：分别计算所述相邻两个图像帧的半稠密光流，分别对所述相邻两个图像帧的所述半稠密光流进行上采样，得到所述相邻两个图像帧的稠密光流，用以预测像素点运动。
9.根据权利要求1所述的运动模糊生成方法，其特征在于，所述动态物体包括第一动态物体和第二动态物体，所述第一动态物体对应第一前景区域，所述第二动态物体对应第二前景区域；
所述根据第二光流优化函数优化所述前景区域，得到第二光流结果还包括：
根据第二光流优化函数优化分别优化所述第一前景区域和所述第二前景区域。
10.根据权利要求1-9任意一项所述的运动模糊生成方法，其特征在于，所述获取图像序列包括：
在录制视频的过程中，响应于生成运动模糊的指令，获取图像序列；其中，所述生成运动模糊的指令是用户在录制界面的点击操作触发生成的。
11.根据权利要求10所述的运动模糊生成方法，其特征在于，还包括：
在录制视频的过程中，检测到相机在运动或拍摄场景中有运动物体时，在所述录制界面生成授权界面，所述授权界面包括供用户点击的授权运动模糊的选项。
12.根据权利要求1-9任意一项所述的运动模糊生成方法，其特征在于，所述获取图像序列还包括：
检测视频是否存在抖动或像素点不连续，若存在抖动或像素点不连续，则生成运动模糊的指令；
响应于生成运动模糊的指令，获取图像序列。
13.一种运动模糊生成装置，其特征在于，包括：
获取模块，用于获取图像序列，所述图像序列包括多个图像帧；
识别模块，用于识别每个图像帧的动态物体，确定所述每个图像帧的前景区域和背景区域；所述前景区域为包括动态物体的区域，所述背景区域为图像帧上除所述前景区域外的其他区域；
第一优化模块，用于根据第一光流优化函数优化所述背景区域，得到第一光流结果；所述第一光流优化函数包括第一极线约束，所述第一极线约束是根据终端设备在拍摄相邻两个图像帧时的相对位姿得到的，所述相对位姿包括所述终端设备的平移参数和旋转参数，所述第一光流结果包括所述背景区域矫正错误光流后的光流结果；
第二优化模块，用于根据第二光流优化函数优化所述前景区域，得到第二光流结果；所述第二光流优化函数包括第二极线约束，所述第二极线约束是根据相邻两个图像帧的特征匹配结果得到的，所述特征匹配用于表征同一像素点在相邻两个图像帧对应关系；
计算模块，用于根据所述第一光流结果和所述第二光流结果，计算像素点运动轨迹和运动速度；
模糊处理模块，用于根据所述运动速度沿所述运动轨迹进行像素RGB加权求和，获得相邻两个图像帧的带有运动模糊的模糊图像帧，所述模糊图像帧用以替换所述相邻两个图像帧的后一帧。
14.一种终端设备，其特征在于，包括：处理器、存储器和显示屏；所述存储器存储有程序指令，当所述程序指令被所述处理器执行时，使得所述终端设备执行权利要求1-12任一项所述的方法。
CN202210220987.2A 2022-03-09 2022-03-09 一种运动模糊生成方法、装置和终端设备 Active CN114419073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210220987.2A CN114419073B (zh) 2022-03-09 2022-03-09 一种运动模糊生成方法、装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210220987.2A CN114419073B (zh) 2022-03-09 2022-03-09 一种运动模糊生成方法、装置和终端设备

Publications (2)

Publication Number Publication Date
CN114419073A true CN114419073A (zh) 2022-04-29
CN114419073B CN114419073B (zh) 2022-08-12

Family

ID=81263130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210220987.2A Active CN114419073B (zh) 2022-03-09 2022-03-09 一种运动模糊生成方法、装置和终端设备

Country Status (1)

Country Link
CN (1) CN114419073B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862725A (zh) * 2022-07-07 2022-08-05 广州光锥元信息科技有限公司 基于光流法实现运动感知模糊特效的方法及装置
CN116703742A (zh) * 2022-11-04 2023-09-05 荣耀终端有限公司 识别模糊图像的方法和电子设备
WO2023246844A1 (zh) * 2022-06-21 2023-12-28 北京字跳网络技术有限公司 视频处理方法、装置、设备及介质
CN117671014A (zh) * 2024-02-02 2024-03-08 泰安大陆医疗器械有限公司 一种基于图像处理的机械臂定位抓取方法及系统
WO2024109875A1 (zh) * 2022-11-23 2024-05-30 北京字跳网络技术有限公司 视频处理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184644A1 (en) * 2013-01-03 2014-07-03 Qualcomm Incorporated Rendering augmented reality based on foreground object
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN112288628A (zh) * 2020-10-26 2021-01-29 武汉大学 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统
CN112488915A (zh) * 2019-09-12 2021-03-12 清华大学 基于超像素关系分析的深度重建方法和装置
CN113066001A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种图像处理方法及相关设备
CN113223045A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于动态物体语义分割的视觉与imu传感器融合定位系统
WO2021223500A1 (zh) * 2020-05-07 2021-11-11 华为技术有限公司 一种拍摄方法及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184644A1 (en) * 2013-01-03 2014-07-03 Qualcomm Incorporated Rendering augmented reality based on foreground object
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN112488915A (zh) * 2019-09-12 2021-03-12 清华大学 基于超像素关系分析的深度重建方法和装置
WO2021223500A1 (zh) * 2020-05-07 2021-11-11 华为技术有限公司 一种拍摄方法及设备
CN112288628A (zh) * 2020-10-26 2021-01-29 武汉大学 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统
CN113066001A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种图像处理方法及相关设备
CN113223045A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于动态物体语义分割的视觉与imu传感器融合定位系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246844A1 (zh) * 2022-06-21 2023-12-28 北京字跳网络技术有限公司 视频处理方法、装置、设备及介质
CN114862725A (zh) * 2022-07-07 2022-08-05 广州光锥元信息科技有限公司 基于光流法实现运动感知模糊特效的方法及装置
CN116703742A (zh) * 2022-11-04 2023-09-05 荣耀终端有限公司 识别模糊图像的方法和电子设备
CN116703742B (zh) * 2022-11-04 2024-05-17 荣耀终端有限公司 识别模糊图像的方法和电子设备
WO2024109875A1 (zh) * 2022-11-23 2024-05-30 北京字跳网络技术有限公司 视频处理方法、装置、设备及介质
CN117671014A (zh) * 2024-02-02 2024-03-08 泰安大陆医疗器械有限公司 一种基于图像处理的机械臂定位抓取方法及系统
CN117671014B (zh) * 2024-02-02 2024-04-19 泰安大陆医疗器械有限公司 一种基于图像处理的机械臂定位抓取方法及系统

Also Published As

Publication number Publication date
CN114419073B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114419073B (zh) 一种运动模糊生成方法、装置和终端设备
CN103428428B (zh) 影像捕获设备以及影像捕获方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
CN110544280A (zh) Ar系统及方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN109194882A (zh) 图像处理方法、装置、电子设备及存储介质
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN110572711A (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
CN109194875A (zh) 一种拍摄方法及电子设备
US20110187882A1 (en) Digital image capturing device providing photographing composition and method thereof
CN110383335A (zh) 视频内容中基于光流和传感器输入的背景减除
JP2013228930A (ja) 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
CN114339102B (zh) 一种录像方法及设备
CN109618102A (zh) 对焦处理方法、装置、电子设备及存储介质
JP2010268128A (ja) 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム
CN114449151B (zh) 一种图像处理方法及相关装置
CN113711123B (zh) 一种对焦方法、装置及电子设备
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN115150542B (zh) 一种视频防抖方法及相关设备
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
CN114827442B (zh) 生成图像的方法和电子设备
CN114757866A (zh) 清晰度检测方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230906

Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: Shanghai Glory Smart Technology Development Co.,Ltd.

Address before: 518040 unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Xiangmihu street, Futian District, Shenzhen, Guangdong Province

Patentee before: Honor Device Co.,Ltd.