CN107004258A - 一种视频平滑方法及装置 - Google Patents

一种视频平滑方法及装置 Download PDF

Info

Publication number
CN107004258A
CN107004258A CN201580066467.9A CN201580066467A CN107004258A CN 107004258 A CN107004258 A CN 107004258A CN 201580066467 A CN201580066467 A CN 201580066467A CN 107004258 A CN107004258 A CN 107004258A
Authority
CN
China
Prior art keywords
point
current point
present frame
smoothing
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580066467.9A
Other languages
English (en)
Other versions
CN107004258B (zh
Inventor
汪孔桥
李江伟
王昊
郭秀艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107004258A publication Critical patent/CN107004258A/zh
Application granted granted Critical
Publication of CN107004258B publication Critical patent/CN107004258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供一种视频平滑方法及装置，设计图像处理领域，能够避免视频出现纹理或边缘闪烁现象。该方法包括，在视频帧中获取当前帧中的目标区域待处理的当前点；获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点；依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，其中M、N、X、Y为正整数。该方法用于视频平滑。

Description

一种视频平滑方法及装置 技术领域
本发明的实施例涉及图像处理领域，尤其涉及一种视频平滑方法及装置。
背景技术
目前，伴随移动社交网络的兴起和发展，用手机或其他手持终端进行自拍美颜风靡全球。从用户体验来划分，自拍美颜主要有两种类型，一种是交互式美颜，即在美颜之前，用户需要手动确定人脸器官的位置，或由纠正由软件自动定位出的人脸器官的位置，然后基于人脸器官进行美颜。另一种美颜就是一键美颜，即用户不需关心人脸器官的定位和分割是否准确，拍照之后，相机根据美颜算法，自动分割和定位人脸器官的位置，自动执行美颜操作，属于全自动美颜。考虑到手机屏幕尺寸的局限性，以及大多用户对“随时拍摄随时分享”的需求，一键美颜更加受市场欢迎。
对于一键美颜，大多应用除对所拍摄到的照片进行自动美颜外，还对在预览状态下Viewfinder(取景器)视频进行实时美颜，以便让用户在照片拍摄前就能看到美颜后的效果。实时视频美颜主要包括皮肤加亮和磨皮(皮肤平滑)而现有技术中的美颜算法都是对视频帧进行单独磨皮的，即帧与帧之间的磨皮是相互独立的，因此可能造成相邻帧对应区域平滑程度出现不一致导致的情况，从而导致磨皮后的视频出现纹理或边缘闪烁现象，对用户体验带来比较严重的影响。
发明内容
本发明的实施例提供一种视频平滑方法及装置，能够避免视频出现纹理或边缘闪烁现象。
第一方面，提供一种视频平滑方法，包括：
在视频帧中获取当前帧中的目标区域待处理的当前点；
获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；
获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点；
依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，其中M、N、X、Y为正整数。
在上述方案中由于在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
结合第一方面，在第一种可能的实现方式中，获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，包括：
获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
获取所述当前帧之前第N帧中所述当前点位置对应点的第四类平滑权重；
根据所述第四类平滑权重和所述第三类平滑权重获取所述第一类平滑权重。
结合第一方面，在第二种可能的实现方式中，获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，包括：
获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
获取所述当前帧之后第M帧中所述当前点位置对应点的第五类平滑权重；
根据所述第五类平滑权重和所述第三类平滑权重获取所述第二类平滑权重。
结合第一方面，在第三种可能的实现方式中，所述视频帧中获取当前帧中的目标区域待平滑处理的当前点后，所述方法还包括：
获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
所述依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，具体为：
依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算。
上述第一方面的第三种可能的实现方式提供的方案中在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，以及当前帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性同时考虑了在当前帧本帧空间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
结合第一方面或上述任意一种可能的实现方式，在第四种可能的实现方式中，所述依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，包括：
依据公式获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
依据所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算，
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；
或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。
结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算；包括：
依据公式获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述W'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述 当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k层第三类邻域点对所述当前点的平滑权重，W'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值；
依据公式获取所述第三类邻域点对所述当前点的平滑贡献；其中，W(k)为第k圈第三类邻域点的平滑权重；Y(k)为第k圈第三类邻域点的灰度值或亮度值；Y(0)为所述当前点的灰度值或亮度值；MeanGrad_TH为当前帧中所述目标区域的平均梯度值；
依据所述第一类邻域点、所述第二类邻域点及所述第三类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算。
结合第一方面或第一方面中任一一种可能的实现方式，各个平滑权重为2的指数幂的倒数。由于各个平滑权重为2的指数幂的倒数，因此在平滑计算中可以将乘除运算转化为移位运算，提高了平滑计算的速度。
第二方面，提供一种视频平滑装置，包括：
获取单元，用于在视频帧中获取当前帧中的目标区域待处理的当前点；
处理单元，用于获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；
所述处理单元，还用于获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，所述第二类邻域点为所述当前帧之后第 M帧中环绕所述当前点位置对应点的第Y圈点；
所述处理单元，还用于依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，其中M、N、X、Y为正整数。
在上述方案中由于在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
结合第二方面，在第一种可能的实现方式中，所述处理单元具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；获取所述当前帧之前第N帧中所述当前点位置对应点的第四类平滑权重；根据所述第四类平滑权重和所述第三类平滑权重获取所述第一类平滑权重。
结合第二方面，在第二种可能的实现方式中，所述处理单元具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；获取所述当前帧之后第M帧中所述当前点位置对应点的第五类平滑权重；根据所述第五类平滑权重和所述第三类平滑权重获取所述第二类平滑权重。
结合第二方面，在第三种可能的实现方式中，所述处理单元还用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
所述处理单元具体用于依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算。
上述第二方面的第三种可能的实现方式提供的方案中在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，以及当前帧中的点的平 滑权重，即在平滑计算时考虑了视频帧在时间上的关联性同时考虑了在当前帧本帧空间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
结合第二方面或上述任意一种可能的实现方式，在第四种可能的实现方式中，所述处理单元具体用于依据公式获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；依据所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算，
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；
或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。
结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，所述处理单元具体用于依据公式获取所述第 一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述W'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k层第三类邻域点对所述当前点的平滑权重，W'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值；
依据公式获取所述第三类邻域点对所述当前点的平滑贡献；其中，W(k)为第k圈第三类邻域点的平滑权重；Y(k)为第k圈第三类邻域点的灰度值或亮度值；Y(0)为所述当前点的灰度值或亮度值；MeanGrad_TH为当前帧中所述目标区域的平均梯度值；
依据所述第一类邻域点、所述第二类邻域点及所述第三类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算。
结合第二方面或第二方面中任一一种可能的实现方式，各个平滑权重为2的指数幂的倒数。由于各个平滑权重为2的指数幂的倒数，因此在平滑计算中可以将乘除运算转化为移位运算，提高了平滑计算的速度。
第三方面，提供一种视频平滑装置，包括：相机模块、处理器、存储器和总线；所述相机模块、处理器、存储器通过所述总线连接并完成相互间的通信，所述相机模块用于采集视频帧并通过所述存储器存储，所述处 理器用于处理所述存储器中的程序代码；
所述处理器用于执行上述第三方面中获取单元及处理单元执行的方法。
第四方面，提供一种可读计算机介质，包括在被执行时进行以下操作的计算机可读指令：执行上述第一方面提供的任一种实现方式中的操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的实施例提供的一种视频平滑方法的流程示意图；
图2为本发明的另一实施例提供的一种视频平滑方法的流程示意图；
图3为本发明的再一实施例提供的一种视频平滑方法的帧结构示意图；
图4为本发明的实施例提供的一种视频平滑装置的结构示意图；
图5为本发明的另一实施例提供的一种视频平滑装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供视频平滑方法，应用于手机、平板电脑等用户终端，参照图1所示，该方法包括如下步骤：
101、在视频帧中获取当前帧中的目标区域待处理的当前点。
其中，用户终端通常通过相机模块进行视频采集，其中视频以视频帧 的方式进行保存，在视频播放时，按照一定频率(通常为每秒大于24帧)对视频帧进行播放，则观看者可以看到连续的视频。在上述步骤101中目标区域为进行需要统一进行平滑计算的区域，该目标区域可以采用现有技术的任意方法确定，示例性的该目标区域可以为照片中的皮肤区域。
可选的，还包括102、获取当前帧中当前点的第三类邻域点对当前点的第三类平滑权重。
第三类邻域点为当前帧中环绕当前点的第Z圈点。即可以理解的是在对当前点的平滑计算中，通常还需要参考当前帧中各个邻域点的平滑权重，因此一种可选方案为还需要参考该步骤102。
103、获取当前帧之前第N帧中第一类邻域点对当前点的第一类平滑权重。
所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；具体的步骤103中获取第一类平滑权重的方法为：获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，其中Z为正整数，在包括步骤102时此处该第三类平滑权重可以采用步骤102中获取的第三类平滑权重；获取所述当前帧之前第N帧中所述当前点位置对应点的第四类平滑权重；根据所述第四类平滑权重和所述第三类平滑权重获取所述第一类平滑权重。
104、获取当前帧之后第M帧中第二类邻域点对当前点的第二类平滑权重。
所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点。具体的步骤104中获取第一类平滑权重的方法为：获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，其中Z为正整数，其中Z为正整数，在包括步骤102时此处该第三类平滑权重可以采用步骤102中获取的第三类平滑权重；获取所述当前帧之 后第M帧中所述当前点位置对应点的第五类平滑权重；根据所述第五类平滑权重和所述第三类平滑权重获取所述第二类平滑权重。
105、依据第一类平滑权重和第二类平滑权重对当前点进行平滑计算。
具体的，在包括步骤102时，步骤105具体为依据第一类平滑权重、第二类平滑权重和第三类平滑权重对当前点进行平滑计算。上述方案中，M、N、X、Y均为正整数。
其中上述方案中步骤102、103、104并不是对各个步骤先后顺序的限制，即只要在步骤101中确定当前点后，步骤102、103、104可以同时进行也可以以其他任意顺序进行。
在上述方案中由于在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象；进一步的当包括步骤102时，上述方案中在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，以及当前帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性同时考虑了在当前帧本帧空间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
参照图2所示，本发明的实施例提供另一种视频平滑方法，包括如下步骤：
201、在视频帧中获取当前帧中的目标区域待平滑处理的当前点。
可选的，还包括202、获取当前帧中当前点的第三类邻域点对当前点的第三类平滑权重。
第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点。即可以 理解的是在对当前点的平滑计算中，通常还需要参考当前帧中各个邻域点的平滑权重，因此一种可选方案为还需要参考该步骤202。
203、获取当前帧之前第N帧中第一类邻域点对当前点的第一类平滑权重。
所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点。
204、获取当前帧之后第M帧中第二类邻域点对当前点的第二类平滑权重。
所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点。
205、依据公式如下公式(1)获取第一类邻域点及第二类邻域点对当前点的平滑贡献。
206、依据第一类邻域点及第二类邻域点对当前点的平滑贡献对当前点进行平滑计算。
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z 圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。其中视频帧中目标区域的平均梯度值即目标区域图像的清晰度,反映图像对细节对比的表达能力，通常用像素点的灰度变化率表示。
在上述方案中由于在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
在包括步骤202时，步骤204之后具体包括：
205、依据如下公式(2)获取所述第一类邻域点及第二类邻域点对当前点的平滑贡献。
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值； Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。
206、依据公式如下公式(3)获取第三类邻域点对所述当前点的平滑贡献。
其中，W(k)为第k圈第三类邻域点的平滑权重；Y(k)为第k圈第三类邻域点的灰度值或亮度值；Y(0)为所述当前点的灰度值或亮度值；MeanGrad_TH为当前帧中所述目标区域的平均梯度值。
207、依据第一类邻域点、第二类邻域点及第三类邻域点对当前点的平滑贡献对当前点进行平滑计算。
上述方案中在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，以及当前帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性同时考虑了在当前帧本帧空间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
示例性的参照图3所示，提供了当前帧t，当前帧的前一帧t-1，前二帧t-2，当前帧t的后一帧t+1，后二帧t+2；其中，每一帧中均包含目标区域T，对前帧t中的目标区域中的当前点a进行平滑计算时，在空间上即在当前帧t中，对当前点a的平滑计算由其周围的邻域点决定，并且距离当前点a越近的邻域点对当前点a的平滑计算的贡献越大，图例3中，示出的当前点a的第一圈邻域点b和第二圈邻域点c；其中示例性的如果某邻域点被分配的平滑权重为W(k)，则在同一帧中该邻域点对当前点的平滑贡献为 上述实施例中已经说明Y(k)为第k圈第三类邻域点的灰度值或亮度 值；Y(0)为所述当前点的灰度值或亮度值；则上述公式(4)表明如果某邻域点与当前点的梯度较大，则该邻域点将不参与平滑。该平滑策略可有效保护肤色区的特征，示例性的，对于人脸区，该平滑方法可有效保护眼睛、眉毛等人脸特征不被平滑。其中，可以理解的是目标区域的平均梯度值随当前帧的更新进行更新。
在时间上，同时参考当前帧之前若干帧中的邻域点对当前点进行平滑计算，其中示例性的如果相邻帧的某邻域点被分配的平滑权重为W'(k)，则在相邻帧中该邻域点对当前点的平滑贡献为
上述公式(5)与公式(4)的区别表明相邻帧中的邻域点对当前点的平滑贡献需要考虑到当前点在相邻帧中对应点的权重。示例性的，为图3中当前帧中当前点a的第一圈邻域点b分配权重系数第二圈邻域点c分配权重系数用同样的方法分配权重给相邻帧中当前点a位置对应点的领域点。其中，相邻帧中的邻域点对当前点的平滑贡献需要考虑到当前点位置在相邻帧中对应点的权重，因此，如为第t-1帧中当前点a位置对应点at-1分配的权重为为第t-2帧中当前点a位置对应点at-2分配的权重为为第t+1帧中当前点a位置对应点at+1分配的权重为为第t+2帧中当前点a位置对应点at+2分配的权重为则，第t-1帧中点at-1的第一圈邻域点bt-1分配的权重为第t-1帧中点at-1的第二圈邻域点ct-1分配的权重为 第t+1帧中点at+1的第一圈邻域点bt+1分配的权重为第t+1帧中点at+1的第二圈邻域点ct+1分配的权重为第t-2帧中点at-2的第一圈邻域点bt-2分配的权重为第t-2帧中点at-2的第二圈邻域点ct-2分配的权重为第t+2帧中点at+2的第一圈邻域点bt+2分配的权重为第t+2帧中点at+2的第二圈邻域点ct+2分配的权重为其中，上述实施例中各个平滑权重为2的指数幂的倒数，因此将平滑计算中的乘除运算转换为移位运算，提高了平滑计算的效率。
此外，本发明的实施例中提供了步骤中105和207中所采用的平滑计算可以采用平滑中值滤波方式，示例性的，可以采用如下公式：
上述公式(6)中，参与平滑点(即当前点的邻域点)的灰度值或亮度值是Y(k),当前点灰度值或亮度值是Y(0),则平滑后的当前点灰度值或亮度值是y(0)，W(k)为参与平滑点对当前点的平滑权重，以上的平滑计算方式只是一种示例，当然可以认为现有技术中的其他平滑计算方式也可以应用到本申请中。
参照图4所示，本发明的实施例提供一种视频平滑装置，用于实施上述实施例提供的视频平滑方法，包括：
获取单元41，用于在视频帧中获取当前帧中的目标区域待处理的当前点；
处理单元42，用于获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；
所述处理单元42，还用于获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点；
所述处理单元42，还用于依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，其中M、N、X、Y为正整数。
在上述方案中由于在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
可选的，所述处理42单元具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；获取所述当前帧之前第N帧中所述当前点位置对应点的第四类平滑权重；根据所述第四类平滑权重和所述第三类平滑权重获取所述第一类平滑权重。
可选的，所述处理单元42具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；获取所述当前帧之后第M帧中所述当前点位置对应点的第五类平滑权重；根据所述第五类平滑权重和所述第三类平滑权重获取所述第二类平滑权重。
进一步的所述处理单元42还用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
所述处理单元42具体用于依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算。
上述方案中在对当前帧中的点进行平滑计算时，同时参考了当前帧之前的第N帧中的点的平滑权重以及当前帧之后的第M帧中的点的平滑权重，以及当前帧中的点的平滑权重，即在平滑计算时考虑了视频帧在时间上的关联性同时考虑了在当前帧本帧空间上的关联性，因此能够避免平滑计算时进参考单帧中的点造成的视频出现纹理或边缘闪烁现象。
可选的处理单元42具体用于依据公式获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；依据所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算，
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；
或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为 第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。
可选的，处理单元42具体用于依据公式获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述W'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k层第三类邻域点对所述当前点的平滑权重，W'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值；
依据公式获取所述第三类邻域点对所述当前点的平滑贡献；其中，W(k)为第k圈第三类邻域点的平滑权重；Y(k)为第k圈第三类邻域点的灰度值或亮度值；Y(0)为所述当前点的灰度值或亮度值；MeanGrad_TH为当前帧中所述目标区域的平均梯度值；
依据所述第一类邻域点、所述第二类邻域点及所述第三类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算。
可选的，各个平滑权重为2的指数幂的倒数。由于各个平滑权重为2的指数幂的倒数，因此在平滑计算中可以将乘除运算转化为移位运算，提高了平滑计算的速度。
需要说明的是，本实施例中的获取单元41和处理单元42可以为单独设立的处理器，也可以集成在视频平滑装置的某一个处理器中实现，此外，也可以以程序代码的形式存储于视频平滑装置的存储器中，由视频平滑装置的某一个处理器调用并执行以上获取单元41、处理单元42的功能。这里所述的处理器可以是一个中央处理器(英文全称：Central Processing Unit，英文简称：CPU)，或者是特定集成电路(英文全称：Application Specific Integrated Circuit，英文简称：ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
参照图5所示，本发明的实施例提供一种视频平滑装置，其特征在于，包括：相机模块51、处理器52、存储器53和总线54；所述相机模块51、处理器52、存储器53通过所述总线54连接并完成相互间的通信。
需要说明的是，相机模块51可以为一个具备图像采集功能的传感器，例如，该相机模块51可以为CCD(英文全称：Charge Coupled Device，中文：电荷耦合元件)或CMOS(英文全称：Complementary Metal-Oxide Semiconductor，中文：金属氧化物半导体元件)等。
处理器52可以是一个处理器，也可以是多个处理元件的统称。例如，该处理器可以是中央处理器CPU，也可以是特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器(英文全称：digital singnal processor，英文简称：DSP)，或，一个或者多个现场可编程门阵列(英文全称：Field Programmable Gate Array，英文简称：FPGA)。
存储器53可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或接入网管理设备运行所需要参数、数据等。且存储器53可以包括随机存储器(英文全称：Random-Access  Memory，英文简称：RAM)，也可以包括非易失性存储器(英文全称：non-volatile memory，英文简称：NVRAM)，例如磁盘存储器，闪存(Flash)等。
总线54可以是工业标准体系结构(英文全称：Industry Standard Architecture，英文简称：ISA)总线、外部设备互连(英文全称：Peripheral Component，英文简称：PCI)总线或扩展工业标准体系结构(英文全称：Extended Industry Standard Architecture，英文简称：EISA)总线等。该总线54可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
所述相机模块51用于采集视频帧并通过所述存储器53存储。所述处理器52用于处理所述存储器54中的程序代码；执行上述装置实施例中视频平滑装置中获取单元41和处理单元42的功能。具体参照上述的装置实施例这里不再赘述。
此外，还提供一种计算可读媒体(或介质)，包括在被执行时进行以下操作的计算机可读指令：执行上述实施例中的方法的101至105、201至207的操作。
另外，还提供一种计算机程序产品，包括上述计算机可读介质。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁， 上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文简称：ROM，英文全称:Read-Only Memory)、随机存取存储器(英文简称：RAM，英文全称：Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (22)

  1. 一种视频平滑方法，其特征在于，包括：
    在视频帧中获取当前帧中的目标区域待处理的当前点；
    获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；
    获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点；
    依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，其中M、N、X、Y为正整数。
  2. 根据权利要求1所述的方法，其特征在于，获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，包括：
    获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，其中Z为正整数；
    获取所述当前帧之前第N帧中所述当前点位置对应点的第四类平滑权重；
    根据所述第四类平滑权重和所述第三类平滑权重获取所述第一类平滑权重。
  3. 根据权利要求1所述的方法，其特征在于，获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，包括：
    获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点， 其中Z为正整数；
    获取所述当前帧之后第M帧中所述当前点位置对应点的第五类平滑权重；
    根据所述第五类平滑权重和所述第三类平滑权重获取所述第二类平滑权重。
  4. 根据权利要求1所述的方法，其特征在于，所述在视频帧中获取当前帧中的目标区域待处理的当前点后，所述方法还包括：
    获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
    所述依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，具体为：
    依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算。
  5. 根据权利要求1-3任一项所述的方法，其特征在于，所述依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，包括：
    依据公式
    获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
    依据所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算，
    其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈 第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；
    或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。
  6. 根据权利要求4所述的方法，其特征在于，所述依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算；包括：
    依据公式
    获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
    其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述W'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k层第三类邻域点对所述当前点的平滑权重，W'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述 当前帧之后的第M帧中目标区域的平均梯度值；
    依据公式获取所述第三类邻域点对所述当前点的平滑贡献；其中，W(k)为第k圈第三类邻域点的平滑权重；Y(k)为第k圈第三类邻域点的灰度值或亮度值；Y(0)为所述当前点的灰度值或亮度值；MeanGrad_TH为当前帧中所述目标区域的平均梯度值；
    依据所述第一类邻域点、所述第二类邻域点及所述第三类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算。
  7. 根据权利要求1至6任一项所述的方法，其特征在于，各个平滑权重为2的指数幂的倒数。
  8. 一种视频平滑装置，其特征在于，包括：
    获取单元，用于在视频帧中获取当前帧中的目标区域待处理的当前点；
    处理单元，用于获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；
    所述处理单元，还用于获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点；
    所述处理单元，还用于依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，其中M、N、X、Y为正整数。
  9. 根据权利要求8所述的装置，其特征在于，
    所述处理单元具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；获取所述当前帧之前第N帧中所述当前点位置对 应点的第四类平滑权重；根据所述第四类平滑权重和所述第三类平滑权重获取所述第一类平滑权重。
  10. 根据权利要求8所述的装置，其特征在于，
    所述处理单元具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；获取所述当前帧之后第M帧中所述当前点位置对应点的第五类平滑权重；根据所述第五类平滑权重和所述第三类平滑权重获取所述第二类平滑权重。
  11. 根据权利要求8所述的装置，其特征在于，
    所述处理单元还用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
    所述处理单元具体用于依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算。
  12. 根据权利要求8-11任一项所述的装置，其特征在于，所述处理单元具体用于依据公式
    获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；依据所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算，
    其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述 当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；
    或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。
  13. 根据权利要求11所述的装置，其特征在于，所述处理单元具体用于依据公式获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
    其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述W'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k层第三类邻域点对所述当前点的平滑权重，W'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值；
    依据公式获取所述第三类邻域点对所述当前点的平滑贡献；其中，W(k)为第k圈第三类 邻域点的平滑权重；Y(k)为第k圈第三类邻域点的灰度值或亮度值；Y(0)为所述当前点的灰度值或亮度值；MeanGrad_TH为当前帧中所述目标区域的平均梯度值；
    依据所述第一类邻域点、所述第二类邻域点及所述第三类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算。
  14. 根据权利要求8至13任一项所述的装置，其特征在于，各个平滑权重为2的指数幂的倒数。
  15. 一种视频平滑装置，其特征在于，包括：相机模块、处理器、存储器和总线；所述相机模块、处理器、存储器通过所述总线连接并完成相互间的通信，所述相机模块用于采集视频帧并通过所述存储器存储，所述处理器用于处理所述存储器中的程序代码；
    所述处理器用于获取视频帧中当前帧中的目标区域待处理的当前点；获取所述当前帧之前第N帧中第一类邻域点对所述当前点的第一类平滑权重，所述第一类邻域点为所述当前帧之前第N帧中环绕所述当前点位置对应点的第X圈点；获取所述当前帧之后第M帧中第二类邻域点对所述当前点的第二类平滑权重，所述第二类邻域点为所述当前帧之后第M帧中环绕所述当前点位置对应点的第Y圈点；依据所述第一类平滑权重和所述第二类平滑权重对所述当前点进行平滑计算，其中M、N、X、Y为正整数。
  16. 根据权利要求15所述的装置，其特征在于，所述处理器具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；获取所述当前帧之前第N帧中所述当前点位置对应点的第四类平滑权重；根据所述第四类平滑权重和所述第三类平滑权重获取所述第一类平滑权重。
  17. 根据权利要求15所述的装置，其特征在于，
    所述处理器具体用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所 述当前点的第Z圈点；获取所述当前帧之后第M帧中所述当前点位置对应点的第五类平滑权重；根据所述第五类平滑权重和所述第三类平滑权重获取所述第二类平滑权重。
  18. 根据权利要求15所述的装置，其特征在于，
    所述处理器还用于获取所述当前帧中所述当前点的第三类邻域点对所述当前点的第三类平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点；
    所述处理器具体用于依据所述第一类平滑权重、所述第二类平滑权重和所述第三类平滑权重对所述当前点进行平滑计算。
  19. 根据权利要求15-18任一项所述的装置，其特征在于，所述处理器具体用于依据公式
    获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；依据所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算，
    其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；
    或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述第三类邻域点为所述当前帧中环绕所述当前点的第Z圈点，所述W'(0)为所述当前点在所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈 第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值。
  20. 根据权利要求15所述的装置，其特征在于，所述处理器具体用于依据公式获取所述第一类邻域点及所述第二类邻域点对所述当前点的平滑贡献；
    其中，W(k)*W'(0)为第k圈第一类邻域点的平滑权重，W(k)为所述当前点的第k圈第三类邻域点对所述当前点的平滑权重，所述W'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的平滑权重，Y'(k)为第k圈第一类邻域点的灰度值或亮度值，Y'(0)为所述当前帧之前的第N帧中所述当前点位置对应点的灰度值或亮度值，MeanGrad_TH'为所述当前帧之前的第N帧中目标区域的平均梯度值；或者，W(k)*W'(0)为第k圈第二类邻域点的平滑权重；W(k)为所述当前点的第k层第三类邻域点对所述当前点的平滑权重，W'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的平滑权重；Y'(k)为第k圈第二类邻域点的灰度值或亮度值；Y'(0)为所述当前帧之后的第M帧中所述当前点位置对应点的灰度值或亮度值；MeanGrad_TH'为所述当前帧之后的第M帧中目标区域的平均梯度值；
    依据公式获取所述第三类邻域点对所述当前点的平滑贡献；其中，W(k)为第k圈第三类邻域点的平滑权重；Y(k)为第k圈第三类邻域点的灰度值或亮度值；Y(0)为所述当前点的灰度值或亮度值；MeanGrad_TH为当前帧中所述目标区域的平均梯度值；
    依据所述第一类邻域点、所述第二类邻域点及所述第三类邻域点对所述当前点的平滑贡献对所述当前点进行平滑计算。
  21. 根据权利要求15至20任一项所述的装置，其特征在于，各个平 滑权重为2的指数幂的倒数。
  22. 一种可读计算机介质，其特征在于，包括在被执行时进行以下操作的计算机可读指令：执行上述权利要求1-7任一项所述的方法中的操作。
CN201580066467.9A 2015-11-16 2015-11-16 一种视频平滑方法及装置 Active CN107004258B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/094696 WO2017084011A1 (zh) 2015-11-16 2015-11-16 一种视频平滑方法及装置

Publications (2)

Publication Number Publication Date
CN107004258A true CN107004258A (zh) 2017-08-01
CN107004258B CN107004258B (zh) 2020-06-26

Family

ID=58717166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066467.9A Active CN107004258B (zh) 2015-11-16 2015-11-16 一种视频平滑方法及装置

Country Status (4)

Country Link
US (1) US10559106B2 (zh)
EP (1) EP3255605B1 (zh)
CN (1) CN107004258B (zh)
WO (1) WO2017084011A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220353489A1 (en) * 2021-04-30 2022-11-03 Microsoft Technology Licensing, Llc Systems and methods for efficient generation of single photon avalanche diode imagery with persistence
US11763646B2 (en) * 2021-07-12 2023-09-19 Zepp, Inc. Neck evaluation method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686192A (zh) * 2012-09-11 2014-03-26 三星电子株式会社 用于使用视点之间的相关性对图像进行处理的设备和方法
CN103903227A (zh) * 2012-12-29 2014-07-02 上海联影医疗科技有限公司 一种图像降噪的方法和装置
US20140307979A1 (en) * 2013-04-10 2014-10-16 Kabushiki Kaisha Toshiba Electronic apparatus and image processing method
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3244811B2 (ja) * 1992-02-04 2002-01-07 キヤノン株式会社 記録装置及び画像処理方法
JP4194479B2 (ja) * 2003-11-20 2008-12-10 キヤノン株式会社 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US7769089B1 (en) * 2004-12-02 2010-08-03 Kolorific, Inc. Method and system for reducing noise level in a video signal
US20060182184A1 (en) * 2005-02-11 2006-08-17 Florent Maheo Device and method for pre-processing before encoding of a video sequence
US7554611B2 (en) * 2005-04-19 2009-06-30 Samsung Electronics Co., Ltd. Method and apparatus of bidirectional temporal noise reduction
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
CN101778593B (zh) * 2007-06-15 2013-03-20 南加州大学 用于分析光学相干断层照相图像的方法
US20090213985A1 (en) * 2007-10-31 2009-08-27 Kabushiki Kaisha Toshiba System and method for tomographic reconstruction utilizing circular trajectory and scanogram to reduce artifacts
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
CN102281386B (zh) 2010-06-08 2014-12-10 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
US20140307070A1 (en) * 2013-04-10 2014-10-16 United Video Properties, Inc. Systems and methods for sounding a message identifying a content source to a user during an advertisement
CN105046661B (zh) 2015-07-02 2018-04-06 广东欧珀移动通信有限公司 一种提升视频美颜效率的方法、装置及智能终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686192A (zh) * 2012-09-11 2014-03-26 三星电子株式会社 用于使用视点之间的相关性对图像进行处理的设备和方法
CN103903227A (zh) * 2012-12-29 2014-07-02 上海联影医疗科技有限公司 一种图像降噪的方法和装置
US20140307979A1 (en) * 2013-04-10 2014-10-16 Kabushiki Kaisha Toshiba Electronic apparatus and image processing method
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAHMOUD SAEIDI、ALI NAZEMIPOUR: "Adaptive Weighted Averaging Filter Using the Appropriate Number of Consecutive Frames", 《WORLD ACADEMY OF SCIENCE, ENGINEERING AND TECHNOLOGY》 *
卢京晶 等: "一种自适应的加权均值滤波器", 《传感技术学报》 *
赵忠民 等: "改进的基于非局部均值的极化SAR相干斑抑制", 《中国图象图形学报》 *

Also Published As

Publication number Publication date
CN107004258B (zh) 2020-06-26
EP3255605A4 (en) 2018-08-29
EP3255605B1 (en) 2021-06-02
US20180293770A1 (en) 2018-10-11
WO2017084011A1 (zh) 2017-05-26
EP3255605A1 (en) 2017-12-13
US10559106B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
JP7226851B2 (ja) 画像処理の方法および装置並びにデバイス
CN104363379B (zh) 使用不同焦距摄像头拍照的方法和终端
CN109102483B (zh) 图像增强模型训练方法、装置、电子设备及可读存储介质
CN110378846B (zh) 一种处理图像磨皮的方法、装置、介质和电子设备
CN104767933B (zh) 一种具备拍照功能的便携数码设备及筛选照片的方法
WO2017016050A1 (zh) 一种图像的预览方法、装置及终端
CN107454343A (zh) 拍照方法、拍照装置及终端
WO2021189733A1 (zh) 图像处理方法及装置、电子设备、存储介质
US11895409B2 (en) Image processing based on object categorization
CN107749062B (zh) 图像处理方法、及装置
WO2021083059A1 (zh) 一种图像超分重建方法、图像超分重建装置及电子设备
CN107231524A (zh) 拍摄方法及装置、计算机装置和计算机可读存储介质
WO2020001222A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN108171677A (zh) 一种图像处理方法及相关设备
CN108230333A (zh) 图像处理方法、装置、计算机程序、存储介质和电子设备
US8488899B2 (en) Image processing apparatus, method and recording medium
CN111127303A (zh) 背景虚化方法、装置、终端设备及计算机可读存储介质
CN107610046A (zh) 背景虚化方法、装置及系统
CN108234879A (zh) 一种获取滑动变焦视频的方法和装置
WO2018045789A1 (zh) 图像灰度值调整方法和装置
CN108769545A (zh) 一种图像处理方法、图像处理装置及移动终端
WO2023056950A1 (zh) 图像处理方法和电子设备
CN107133981B (zh) 图像处理方法和装置
CN116567410A (zh) 基于场景识别的辅助拍照方法及系统
CN107004258A (zh) 一种视频平滑方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant