CN105049911B - 一种基于人脸识别的视频特效处理方法 - Google Patents

一种基于人脸识别的视频特效处理方法 Download PDF

Info

Publication number
CN105049911B
CN105049911B CN201510405426.XA CN201510405426A CN105049911B CN 105049911 B CN105049911 B CN 105049911B CN 201510405426 A CN201510405426 A CN 201510405426A CN 105049911 B CN105049911 B CN 105049911B
Authority
CN
China
Prior art keywords
face region
frame
human face
num
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510405426.XA
Other languages
English (en)
Other versions
CN105049911A (zh
Inventor
胡涛
王亚丹
范彩霞
冯玉娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Fanwang IoT Technology Co.,Ltd.
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201510405426.XA priority Critical patent/CN105049911B/zh
Publication of CN105049911A publication Critical patent/CN105049911A/zh
Application granted granted Critical
Publication of CN105049911B publication Critical patent/CN105049911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸识别的视频特效处理方法，步骤包括：步骤1：对需要处理的视频节目镜头进行分割；步骤2：获取视频中待特效人脸的模板特征；步骤3：以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特征并按人脸区域的位置对每个人进行分类；步骤4：确定待特效人脸的分类阈值；步骤5：根据分类阈值进行待特效人脸的识别及马赛克特效处理；步骤6：对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。本发明的方法，能够自动对访谈类视频节目中指定的待保护人员的脸部进行马赛克特效处理，准确率高。

Description

一种基于人脸识别的视频特效处理方法
技术领域
本发明属于视频技术领域，具体涉及一种基于人脸识别的视频特效处理方法。
背景技术
对视频中的指定人脸进行马赛克或模糊等特效处理是一种常用于媒体信息传播中的隐私保护手段，比如在电视访谈类节目中，为了保护被采访者，在电视节目播出时，对需要保护的被采访对象的面部进行马赛克处理。这种特效处理，通常都是借助Premiere、DirectShow、AE等视频处理软件手工操作来完成，如果指定的被采访对象待特效人脸在视频中交替出现，也就是镜头切换比较频繁时，用这些软件手工操作对待特效人脸进行马赛克特效处理，则显得费时费力。
发明内容
本发明的目的是提供一种基于人脸识别的视频特效处理方法，解决了现有技术中，采用手工操作对访谈类视频节目中待保护人脸进行特效处理，费时费力的问题。
本发明所采用的技术方案是，一种基于人脸识别的视频特效处理方法，按照以下步骤具体实施：
步骤1：对需要处理的视频节目镜头进行分割；
步骤2：获取视频中待特效人脸的模板特征；
步骤3：以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特征并按人脸区域的位置对每个人进行分类；
步骤4：确定待特效人脸的分类阈值；
步骤5：根据分类阈值进行待特效人脸的识别及马赛克特效处理；
步骤6：对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。
本发明的有益效果是，对视频进行镜头分割，对指定的待特效人脸在视频中自动获取其模板特征，将视频每一帧中获取的人脸特征与待特效人脸的模板特征进行比较，确定能够分类出待特效人脸(需要保护面部特征的人员)和非特效人脸(无需保护面部特征的人员)的阈值，根据该分类阈值进行人脸识别，如果识别结果为待特效人脸，则对该人脸区域进行马赛克特效处理，否则不做处理。该方法能够自动对访谈类视频节目中指定的待保护人员的脸部进行马赛克特效处理，准确率高。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明基于人脸识别的视频特效处理方法，按照以下步骤具体实施：
步骤1：对需要处理的视频节目镜头进行分割
将视频节目镜头中的视频部分与音频部分分开，记视频总帧数为NumFrame，将每帧图像由RGB彩色图像转为灰度图像，并计算每一级灰度值所包含的像素点个数，然后将0到255个灰度级等分成16份，每份包含16个灰度级，计算相邻两帧灰度图像直方图的差和，见下式(1)：
其中，t＝0,1,...,15，i＝2,3,...,NumFrame，j＝0,1,...,255，dt是第i帧和第i-1帧灰度图像直方图的差和，Hi,j和H(i-1),j分别是第i帧和第i-1帧灰度图像落入第j个灰度级内的像素数目；
计算第i帧和第i-1帧灰度图像直方图的差和的平均值Avg_di，见下式(2)：
判断Avg_di是否满足下式(3)的条件：
Avg_di＞5×Avg_di-1， (3)
满足式(3)，则第i-1帧图像是第k个镜头的结束帧，第i帧图像是第k+1个镜头的起始帧，k＝1,2,...,ShotNum，ShotNum为镜头数，镜头内的起始帧数为NBk、结束帧数为NEk；
不满足式(3)，则第i-1帧和第i帧图像都是第k个镜头的视频帧图像；
步骤2：获取视频中待特效人脸的模板特征
2.1)在指定帧上框选待特效的人脸区域，并在镜头内获取待特效人脸的模板图像帧，
播放视频，当视频中出现待特效人脸时，手动指定该帧，记该帧的帧数为Nt，Nt∈[1,2,...,NumFrame]，NBk＜Nt＜NEk，k∈[1,2,...,ShotNum]，在该帧上手动框选完整的待特效人脸区域,记该矩形框的左上角坐标为(xL,yL)，右下角坐标为(xR,yR)；
然后判断Nt、NBk、NEk是否满足下式(4)的条件：
同时满足条件①和②时，从指定帧Nt开始直接向后取连续8帧图像作为模板图像帧，记模板图像帧的个数为Num_f，此时Num_f＝8；
满足条件①，不满足条件②时，从指定帧Nt开始向后连续取到第NEk帧，向前再连续取8-(NEk-Nt)-1帧作为模板图像帧，即Num_f＝8；
不满足条件①和②时，把指定帧Nt所在镜头k内的所有帧图像作为模板图像帧，即Num_f＝NEk-NBk+1，此时Num_f＜8；
2.2)对步骤2.1)中得到的Num_f个模板图像帧进行人脸检测，并提取待特效人的完整人脸区域，Num_f为模板图像帧的个数；
2.2.1)人脸的初检测
采用Adaboost算法中的人脸检测分类器，对每一模板图像帧进行人脸检测，所检测到的矩形区域记为ROIi1，其中，i1＝1,2,...,Num_ROI，Num_ROI为检测到的矩形区域个数，记该矩形区域ROIi1的宽为WROIi1、高为HROIi1；
2.2.2)排除非人脸的矩形区域
将步骤2.2.1)得到的矩形区域ROIi1从RGB空间转换到YCrCb空间，参照下式(5)：
其中的像素值Cb和Cr取值范围分别为：80＜Cb＜130，135＜Cr＜170，则该像素为肤色像素，统计矩形区域ROIi1中肤色像素的个数，记为Num_pixli1，判断Num_pixli1是否满足下式(6)中的条件：
其中，WROIi1×HROIi1是矩形区域ROIi1的像素总数；
满足式(6)时，则矩形区域ROIi1是人脸区域，i1∈[1,2,...,Num_ROI]，记为FaceROIm，记其左上角和右下角的坐标为(xLm,yLm)和(xRm,yRm)，其中m＝1，2，...，Num_FaceROI，Num_FaceROI为排除非人脸区域后的人脸区域个数，Num_FaceROI≤Num_ROI；
不满足式(6)时，则矩形区域ROIi1是非人脸区域；
2.2.3)合并重复检测到的人脸区域
记步骤2.2.2)的人脸区域FaceROIm的中心点坐标为：
计算任意两个人脸区域中心点的欧式距离Dist，参照下式(7)：
其中，m＝1,2,...,Num_FaceROI，n＝1,2,...,Num_FaceROI，m≠n，
判断Dist是否满足公式(8)中的条件：
Dist＜max((yRm-yLm),(yRn-yLn))， (8)
其中，max((yRm-yLm),(yRn-yLn))是yRm-yLm和yRn-yLn中的较大值，
yRm-yLm是第m个人脸区域FaceROIm的高，
yRn-yLn是第n个人脸区域FaceROIn的高；
合并满足式(8)中条件的人脸区域，合并后的人脸区域记为FaceROI′m1，其左上角的坐标是所有被合并的人脸区域左上角坐标的最小值，记为(x′Lm1，y′Lm1)，其右下角的坐标是所有被合并的人脸区域右下角坐标的最大值，记为(x′Rm1，y′Rm1)，其中，m1＝1,2,...,Num_FaceROI′，Num_FaceROI′≤Num_FaceROI，Num_FaceROI′为合并重复人脸区域后人脸区域的个数；
2.2.4)确定待特效人脸区域
判断步骤2.2.3)中合并后的人脸区域FaceROI′m1的左上角坐标(x′Lm1，y′Lm1)和右下角坐标(x′Rm1，y′Rm1)是否满足下式(9)：
其中，xL和yL为步骤2.1)中指定框的左上角的横、纵坐标，xR和yR为右下角的横、纵坐标；
满足式(9)条件的人脸区域FaceROI′m1则为待特效人脸区域，m1∈[1,2,...,Num_FaceROI′]，记为FaceROI_Mf，f＝1,2,...,Num_f，Num_f为步骤2.1)中模板图像帧的个数，
不满足式(9)条件的人脸区域FaceROI′m1为非特效人脸区域；
2.2.5)提取完整的待特效人脸区域
遍历步骤2.2.4)中确定的Num_f帧模板图像帧中待特效人脸区域FaceROI_Mf，记xLMf和yLMf分别为FaceROI_Mf区域左上角的横、纵坐标，xRMf和yRMf分别为右下角的横、纵坐标，并找出其中最大的待特效人脸区域，记其左上角的坐标为(xLmax,yLmax)，右下角的坐标为(xRmax,yRmax)，
判断FaceROI_Mf的面积是否满足下式(10)中的条件：
满足式(10)时，完整的待特效人脸区域FaceROI_MFf的左上角坐标(xLMf,yLMf)和右下角坐标(xRMf,yRMF)由下式(11)计算得出：
否则，不满足式(10)时，FaceROI_Mf区域即为完整的待特效人脸区域FaceROI_MFf，其左上角和右下角的横纵坐标保持不变；
2.2.6)提取待特效人脸的模板特征
把步骤2.2.5)中提取的完整的待特效人脸区域FaceROI_MFf平均分成4×4个小块，对每一个小块进行LBP滤波得到每一个小块的特征值，把这16个小块的特征值串联起来作为完整的待特效人脸区域的特征，即为待特效人脸的模板特征；
步骤3：以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特征并按人脸区域的位置对每个人进行分类
对视频镜头k中的每一帧图像用步骤2.2.1)中的方法进行人脸初检测，用步骤2.2.2)中的方法排除非人脸区域，用步骤2.2.3)中的方法合并重复检测到的人脸区域，用步骤2.2.6)中的方法提取每一帧上所检测到的每个人脸区域的人脸特征
(这一段重复前面步骤是因为，在步骤2中仅对Num_f≤8帧进行处理，目的是找到待特效人脸的模板特征，这里是对所有视频帧，帧数为步骤1)中的NumFrame进行所有人脸(待特效人脸及非特效人脸如主持人等)检测及人脸特征提取处理)，
计算镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值为Disavgk,j1,N，参照下式(12)：
其中，disk,j1,N(f)为镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与第f个待特效人脸模板特征的欧氏距离，f＝1,2,...,Num_f，j1＝1,2,...,Num_FaceROI′k，Num_FaceROI′k为镜头k中每一帧图像上合并重复人脸区域后人脸区域的个数，k＝1,2,...,ShotNum，N＝NBk,NBk+1,...,NEk，
在镜头k的起始帧数NBk和结束帧数NEk中遍历，记镜头k中第N帧第j1个人脸区域的左上角的坐标为(Xk,j1,N,Yk,j1,N)，人脸区域的宽度为Wk,j1,N，第N+1帧第j1′个人脸区域的左上角的坐标为(Xk,j1′,N+1,Yk,j1′,N+1)，
判断Xk,j1,N和Xk,j1′,N+1是否满足下式(13)中的条件：
满足式(13)时，则第N帧中的第j1个人脸区域和第N+1帧中的第j1′个人脸区域表示的是镜头k中的同一个人，将j1的Disavgk,j1,N和j1′的Disavgk,j1′,N+1存放在数组Sortk,j1中，即数组Sortk,j1中存放的是镜头k中每一帧的同一个人的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值，
不满足式(13)时，则第N帧中的第j1个人脸区域和第N+1帧中的第j1′个人脸区域表示的不是镜头k中的同一个人，
其中，Disavgk,j1,N为镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值，Disavgk,j1′,N+1为镜头k中第N+1帧图像上提取的第j1′个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值；
步骤4：确定待特效人脸的分类阈值
4.1)镜头内的合并
判断镜头k中的Num_FaceROI′k是否满足下式(14)中的条件：
Num_FaceROI′k＞1， (14)
Num_FaceROI′k为镜头k中每一帧图像上合并重复人脸区域后人脸区域的个数，
不满足式(14)时，则j1＝1，j1＝1,2,...,Num_FaceROI′k，数组Sortk,j1即为数组Sortk,j1＝1,
在满足式(14)的镜头k中遍历数组Sortk,j1，找出数组Sortk,j1中的最大值SMaxk,j1和最小值SMink,j1，判断SMaxk,j1和SMaxk,j1+1是否满足下式(15)中的条件：
|SMaxk,j1-SMaxk,j1+1|＜T， (15)
其中，j1＝1,2,...,Num_FaceROI′k，k＝1,2,...,ShotNum，T为SMaxk,j1和SMink,j1差值的最大值的三分之一，参照下式(16)：
满足式(15)时，将数组Sortk,j1与数组Sortk,j1+1添加到数组SortHek中，数组SortHek的初始状态为空；
不满足式(15)时，将SMaxk,j1与SMaxk,j1+1中的较大者所在的数组添加到数组SortHek中，数组SortHek的初始状态为空，将SMaxk,j1与SMaxk,j1+1中的较小者所在的数组添加到数组SortOwnk中，数组SortOwnk的初始状态为空；
4.2)镜头间的合并
如果镜头k中的Num_FaceROI′k不满足式(14)时，将步骤4.1)中的数组Sortk,j1＝1拷贝到数组SSortk1中，找出数组SSortk1中的最大值Maxk1和最小值Mink1，将数组SortHek拷贝到数组SSortHek2中，找出数组SSortHek2的最大值MaxHek2和最小值MinHek2，将数组SortOwnk拷贝到数组SSortOwnk3中，其中，k1＝1,2,...,k1′，k2＝1,2,...,k2′，k3∈k2，k1′+k2′＝ShotNum，
判断数组SSortk1中的最大值Maxk1和数组SSortHek2＝1中的最小值MinHek2＝1是否满足下式(17)中的条件：
|MinHek2＝1-Maxk1|＜T1， (17)
其中，T1为MaxHek2和MinHek2差值的最大值的二分之三，参照下式(18)：
满足式(17)时，将数组SSortk1添加到数组SSortHek2＝1中，找出数组SSortHek2中的最大值为FMaxk2，最小值为FMink2，数组SSortOwnk3保持不变，记数组SSortOwnk3的最大值为TMaxk3，最小值为TMink3；
不满足式(17)时，将数组SSortk1添加到数组SSortOwnk3＝1中，找出数组SSortOwnk3中的最大值为TMaxk3，最小值为TMink3，数组SSortHek2保持不变，记数组SSortHek2中的最大值为FMaxk2，最小值为FMink2；
把数组SSortHek2添加到数组SSortHek2＝1中，k2＝1,2,...,k2′，找出数组SSortHek2＝1中最大值为FMax，最小值为FMin，把数组SSortOwnk3添加到数组SSortOwnk3＝1中，k3∈k2，找出数组SSortOwnk3＝1中的最大值为TMax，最小值为TMin；
如果镜头k中的Num_FaceROI′k满足式(14)中的条件时，把数组SortHek添加到数组SortHek＝1中，找出数组SortHek＝1中的最大值为FMax，最小值为FMin，把数组SortOwnk添加到数组SortOwnk＝1中，找出SortOwnk＝1中的最大值为TMax，最小值为TMin，k＝1,2,...,ShotNum；
4.3)获取待特效人脸的分类阈值
计算待特效人脸的分类阈值threshold，参照下式(19)：
步骤5：根据分类阈值进行待特效人脸的识别及马赛克特效处理
在镜头k的起始帧数NBk和结束帧数NEk中遍历，判断Disavgk,j1,N是否满足下式(20)：
Disavgk,j1,N＜threshold， (20)
其中，Disavgk,j1,N为式(12)计算的镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值，j1＝1,2,...,Num_FaceROI′k，Num_FaceROI′k为镜头k中每一帧图像上合并重复人脸区域后人脸区域的个数，N＝NBk,NBk+1,...,NEk，k＝1,2,...,ShotNum，threshold为式(19)计算出的分类阈值；
满足式(20)时，镜头k中第N帧图像上提取的第j1个人脸区域被识别为待特效人脸，则对该人脸区域进行马赛克特效处理；
不满足式(20)时，镜头k中第N帧图像上提取的第j1个人脸区域不是待特效人脸，则对该人脸区域不作任何处理；
步骤6：对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。
此后则可通过媒体播放渠道在大众场合进行播出，实现对特定人员的面部形象进行隐私保护。

Claims (4)

1.一种基于人脸识别的视频特效处理方法，其特征在于，按照以下步骤具体实施：
步骤1、对需要处理的视频节目镜头进行分割，具体过程是，
将视频节目镜头中的视频部分与音频部分分开，记视频总帧数为NumFrame，将每帧图像由RGB彩色图像转为灰度图像，并计算每一级灰度值所包含的像素点个数，然后将0到255个灰度级等分成16份，每份包含16个灰度级，计算相邻两帧灰度图像直方图的差和，见下式(1)：
其中，t＝0,1,...,15，i＝2,3,...,NumFrame，j＝0,1,...,255，dt是第i帧和第i-1帧灰度图像直方图的差和，Hi,j和H(i-1),j分别是第i帧和第i-1帧灰度图像落入第j个灰度级内的像素数目；
计算第i帧和第i-1帧灰度图像直方图的差和的平均值Avg_di，见下式(2)：
判断Avg_di是否满足下式(3)的条件：
Avg_di>5×Avg_di-1， (3)
满足式(3)，则第i-1帧图像是第k个镜头的结束帧，第i帧图像是第k+1个镜头的起始帧，k＝1,2,...,ShotNum，ShotNum为镜头数，镜头内的起始帧数为NBk、结束帧数为NEk；
不满足式(3)，则第i-1帧和第i帧图像都是第k个镜头的视频帧图像；
步骤2、获取视频中待特效人脸的模板特征，具体过程是，
2.1)在指定帧上框选待特效的人脸区域，并在镜头内获取待特效人脸的模板图像帧，
播放视频，当视频中出现待特效人脸时，手动指定该帧，记该帧的帧数为Nt，Nt∈[1,2,...,NumFrame]，NBk<Nt<NEk，k∈[1,2,...,ShotNum]，在该帧上手动框选完整的待特效人脸区域，该手动框选的区域称为矩形框，记该矩形框的左上角坐标为(xL,yL)，右下角坐标为(xR,yR)；
然后判断Nt、NBk、NEk是否满足下式(4)的条件：
同时满足条件①和②时，从指定帧Nt开始直接向后取连续8帧图像作为模板图像帧，记模板图像帧的个数为Num_f，此时Num_f＝8；
满足条件①，不满足条件②时，从指定帧Nt开始向后连续取到第NEk帧，向前再连续取8-(NEk-Nt)-1帧作为模板图像帧，即Num_f＝8；
不满足条件①和②时，把指定帧Nt所在镜头k内的所有帧图像作为模板图像帧，即Num_f＝NEk-NBk+1，此时Num_f<8；
2.2)对步骤2.1)中得到的Num_f个模板图像帧进行人脸检测，并提取待特效人的完整人脸区域，Num_f为模板图像帧的个数；
2.2.1)人脸的初检测
采用Adaboost算法中的人脸检测分类器，对每一模板图像帧进行人脸检测，所检测到的矩形区域记为ROIi1，其中，i1＝1,2,...,Num_ROI，Num_ROI为检测到的矩形区域个数，记该矩形区域ROIi1的宽为WROIi1、高为HROIi1；
2.2.2)排除非人脸的矩形区域
将步骤2.2.1)得到的矩形区域ROIi1从RGB空间转换到YCrCb空间，参照下式(5)：
其中的像素值Cb和Cr取值范围分别为：80<Cb<130，135<Cr<170，则该像素为肤色像素，统计矩形区域ROIi1中肤色像素的个数，记为Num_pixli1，判断Num_pixli1是否满足下式(6)中的条件：
其中，WROIi1×HROIi1是矩形区域ROIi1的像素总数；
满足式(6)时，则矩形区域ROIi1是人脸区域，i1∈[1,2,...,Num_ROI]，记为FaceROIm，记其左上角和右下角的坐标为(xLm,yLm)和(xRm,yRm)，其中m＝1,2,...,Num_FaceROI，Num_FaceROI为排除非人脸区域后的人脸区域个数，Num_FaceROI≤Num_ROI；
不满足式(6)时，则矩形区域ROIi1是非人脸区域；
2.2.3)合并重复检测到的人脸区域
记步骤2.2.2)的人脸区域FaceROIm的中心点坐标为：
计算任意两个人脸区域中心点的欧式距离Dist，参照下式(7)：
其中，m＝1,2,...,Num_FaceROI，n＝1,2,...,Num_FaceROI，m≠n，
判断Dist是否满足公式(8)中的条件：
Dist<max((yRm-yLm),(yRn-yLn))， (8)
其中，max((yRm-yLm),(yRn-yLn))是yRm-yLm和yRn-yLn中的较大值，
yRm-yLm是第m个人脸区域FaceROIm的高，
yRn-yLn是第n个人脸区域FaceROIn的高；
合并满足式(8)中条件的人脸区域，合并后的人脸区域记为FaceROI′m1，其左上角的坐标是所有被合并的人脸区域左上角坐标的最小值，记为(x'Lm1,y'Lm1)，其右下角的坐标是所有被合并的人脸区域右下角坐标的最大值，记为(x'Rm1,y'Rm1)，其中，m1＝1,2,...,Num_FaceROI'，Num_FaceROI'≤Num_FaceROI，Num_FaceROI'为合并重复人脸区域后人脸区域的个数；
2.2.4)确定待特效人脸区域
判断步骤2.2.3)中合并后的人脸区域FaceROI'm1的左上角坐标(x'Lm1,y'Lm1)和右下角坐标(x'Rm1,y'Rm1)是否满足下式(9)：
其中，xL和yL为步骤2.1)中指定框的左上角的横、纵坐标，xR和yR为右下角的横、纵坐标；
满足式(9)条件的人脸区域FaceROI′m1则为待特效人脸区域，m1∈[1,2,...,Num_FaceROI′]，记为FaceROI_Mf，f＝1,2,...,Num_f，Num_f为步骤2.1)中模板图像帧的个数，
不满足式(9)条件的人脸区域FaceROI′m1为非特效人脸区域；
2.2.5)提取完整的待特效人脸区域
遍历步骤2.2.4)中确定的Num_f帧模板图像帧中待特效人脸区域FaceROI_Mf，记xLMf和yLMf分别为FaceROI_Mf区域左上角的横、纵坐标，xRMf和yRMf分别为右下角的横、纵坐标，并找出其中最大的待特效人脸区域，记其左上角的坐标为(xLmax,yLmax)，右下角的坐标为(xRmax,yRmax)，
判断FaceROI_Mf的面积是否满足下式(10)中的条件：
满足式(10)时，完整的待特效人脸区域FaceROI_MFf的左上角坐标(xLMf,yLMf)和右下角坐标(xRMf,yRMF)由下式(11)计算得出：
否则，不满足式(10)时，FaceROI_Mf区域即为完整的待特效人脸区域FaceROI_MFf，其左上角和右下角的横纵坐标保持不变；
2.2.6)提取待特效人脸的模板特征
把步骤2.2.5)中提取的完整的待特效人脸区域FaceROI_MFf平均分成4×4个小块，对每一个小块进行LBP滤波得到每一个小块的特征值，把这16个小块的特征值串联起来作为完整的待特效人脸区域的特征，即为待特效人脸的模板特征；
步骤3、以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特征并按人脸区域的位置对每个人进行分类；
步骤4、确定待特效人脸的分类阈值；
步骤5、根据分类阈值进行待特效人脸的识别及马赛克特效处理；
步骤6、对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。
2.根据权利要求1所述的基于人脸识别的视频特效处理方法，其特征在于：所述的步骤3中，具体过程是，
对视频镜头k中的每一帧图像用步骤2.2.1)中的方法进行人脸初检测，用步骤2.2.2)中的方法排除非人脸区域，用步骤2.2.3)中的方法合并重复检测到的人脸区域，用步骤2.2.6)中的方法提取每一帧上所检测到的每个人脸区域的人脸特征，
计算镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值为Disavgk,j1,N，参照下式(12)：
其中，disk,j1,N(f)为镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与第f个待特效人脸模板特征的欧氏距离，f＝1,2,...,Num_f，j1＝1,2,...,Num_FaceROI'k，Num_FaceROI'k为镜头k中每一帧图像上合并重复人脸区域后人脸区域的个数，k＝1,2,...,ShotNum，N＝NBk,NBk+1,...,NEk，
在镜头k的起始帧数NBk和结束帧数NEk中遍历，记镜头k中第N帧第j1个人脸区域的左上角的坐标为(Xk,j1,N,Yk,j1,N)，人脸区域的宽度为Wk,j1,N，第N+1帧第j1'个人脸区域的左上角的坐标为(Xk,j1',N+1,Yk,j1',N+1)，
判断Xk,j1,N和Xk,j1',N+1是否满足下式(13)中的条件：
满足式(13)时，则第N帧中的第j1个人脸区域和第N+1帧中的第j1'个人脸区域表示的是镜头k中的同一个人，将j1的Disavgk,j1,N和j1'的Disavgk,j1',N+1存放在数组Sortk,j1中，即数组Sortk,j1中存放的是镜头k中每一帧的同一个人的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值，
不满足式(13)时，则第N帧中的第j1个人脸区域和第N+1帧中的第j1'个人脸区域表示的不是镜头k中的同一个人，
其中，Disavgk,j1,N为镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值，Disavgk,j1',N+1为镜头k中第N+1帧图像上提取的第j1'个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值。
3.根据权利要求2所述的基于人脸识别的视频特效处理方法，其特征在于：所述的步骤4中，具体过程是，
4.1)镜头内的合并
判断镜头k中的Num_FaceROI'k是否满足下式(14)中的条件：
Num_FaceROI′k>1， (14)
Num_FaceROI'k为镜头k中每一帧图像上合并重复人脸区域后人脸区域的个数，
不满足式(14)时，则j1＝1，j1＝1,2,...,Num_FaceROI′k，数组Sortk,j1即为数组Sortk,j1＝1,
在满足式(14)的镜头k中遍历数组Sortk,j1，找出数组Sortk,j1中的最大值SMaxk,j1和最小值SMink,j1，判断SMaxk,j1和SMaxk,j1+1是否满足下式(15)中的条件：
|SMaxk,j1-SMaxk,j1+1|<T， (15)
其中，j1＝1,2,...,Num_FaceROI′k，k＝1,2,...,ShotNum，T为SMaxk,j1和SMink,j1差值的最大值的三分之一，参照下式(16)：
满足式(15)时，将数组Sortk,j1与数组Sortk,j1+1添加到数组SortHek中，数组SortHek的初始状态为空；
不满足式(15)时，将SMaxk,j1与SMaxk,j1+1中的较大者所在的数组添加到数组SortHek中，数组SortHek的初始状态为空，将SMaxk,j1与SMaxk,j1+1中的较小者所在的数组添加到数组SortOwnk中，数组SortOwnk的初始状态为空；
4.2)镜头间的合并
如果镜头k中的Num_FaceROI'k不满足式(14)时，将步骤4.1)中的数组Sortk,j1＝1拷贝到数组SSortk1中，找出数组SSortk1中的最大值Maxk1和最小值Mink1，将数组SortHek拷贝到数组SSortHek2中，找出数组SSortHek2的最大值MaxHek2和最小值MinHek2，将数组SortOwnk拷贝到数组SSortOwnk3中，其中，k1＝1,2,...,k1'，k2＝1,2,...,k2'，k3∈k2，k1'+k2'＝ShotNum，
判断数组SSortk1中的最大值Maxk1和数组SSortHek2＝1中的最小值MinHek2＝1是否满足下式(17)中的条件：
|MinHek2＝1－Maxk1|<T1， (17)
其中，T1为MaxHek2和MinHek2差值的最大值的二分之三，参照下式(18)：
满足式(17)时，将数组SSortk1添加到数组SSortHek2＝1中，找出数组SSortHek2中的最大值为FMaxk2，最小值为FMink2，数组SSortOwnk3保持不变，记数组SSortOwnk3的最大值为TMaxk3，最小值为TMink3；
不满足式(17)时，将数组SSortk1添加到数组SSortOwnk3＝1中，找出数组SSortOwnk3中的最大值为TMaxk3，最小值为TMink3，数组SSortHek2保持不变，记数组SSortHek2中的最大值为FMaxk2，最小值为FMink2；
把数组SSortHek2添加到数组SSortHek2＝1中，k2＝1,2,...,k2'，找出数组SSortHek2＝1中最大值为FMax，最小值为FMin，把数组SSortOwnk3添加到数组SSortOwnk3＝1中，k3∈k2，找出数组SSortOwnk3＝1中的最大值为TMax，最小值为TMin；
如果镜头k中的Num_FaceROI'k满足式(14)中的条件时，把数组SortHek添加到数组SortHek＝1中，找出数组SortHek＝1中的最大值为FMax，最小值为FMin，把数组SortOwnk添加到数组SortOwnk＝1中，找出SortOwnk＝1中的最大值为TMax，最小值为TMin，k＝1,2,...,ShotNum；
4.3)获取待特效人脸的分类阈值
计算待特效人脸的分类阈值threshold，参照下式(19)：
4.根据权利要求3所述的基于人脸识别的视频特效处理方法，其特征在于：所述的步骤5中，具体过程是，
在镜头k的起始帧数NBk和结束帧数NEk中遍历，判断Disavgk,j1,N是否满足下式(20)：
Disavgk,j1,N<threshold， (20)
其中，Disavgk,j1,N为式(12)计算的镜头k中第N帧图像上提取的第j1个人脸区域的人脸特征与Num_f个待特效人脸模板特征的欧氏距离的平均值，j1＝1,2,...,Num_FaceROI'k，Num_FaceROI'k为镜头k中每一帧图像上合并重复人脸区域后人脸区域的个数，N＝NBk,NBk+1,...,NEk，k＝1,2,...,ShotNum，threshold为式(19)计算出的分类阈值；
满足式(20)时，镜头k中第N帧图像上提取的第j1个人脸区域被识别为待特效人脸，则对该人脸区域进行马赛克特效处理；
不满足式(20)时，镜头k中第N帧图像上提取的第j1个人脸区域不是待特效人脸，则对该人脸区域不作任何处理。
CN201510405426.XA 2015-07-10 2015-07-10 一种基于人脸识别的视频特效处理方法 Active CN105049911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510405426.XA CN105049911B (zh) 2015-07-10 2015-07-10 一种基于人脸识别的视频特效处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510405426.XA CN105049911B (zh) 2015-07-10 2015-07-10 一种基于人脸识别的视频特效处理方法

Publications (2)

Publication Number Publication Date
CN105049911A CN105049911A (zh) 2015-11-11
CN105049911B true CN105049911B (zh) 2017-12-29

Family

ID=54456034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510405426.XA Active CN105049911B (zh) 2015-07-10 2015-07-10 一种基于人脸识别的视频特效处理方法

Country Status (1)

Country Link
CN (1) CN105049911B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631422A (zh) * 2015-12-28 2016-06-01 北京酷云互动科技有限公司 一种视频识别方法以及视频识别系统
CN105957001A (zh) * 2016-04-18 2016-09-21 深圳感官密码科技有限公司 一种隐私保护方法及装置
CN107318054A (zh) * 2016-04-26 2017-11-03 富泰华工业（深圳）有限公司 影音自动处理系统及方法
CN106454481B (zh) * 2016-09-30 2019-08-23 广州华多网络科技有限公司 一种移动终端直播互动的方法及装置
CN106792005B (zh) * 2017-01-17 2020-08-28 南通同洲电子有限责任公司 一种基于音视频结合的内容检测方法
CN106803930A (zh) * 2017-02-10 2017-06-06 上海斐讯数据通信技术有限公司 一种基于路由器的智能视频监控方法及智能路由器
CN107071321B (zh) * 2017-04-14 2020-01-14 广东登鸿科技发展有限公司 一种视频文件的处理方法、装置和终端
CN109218597A (zh) * 2017-06-30 2019-01-15 珠海格力电器股份有限公司 一种智能终端拍摄图像的方法以及装置
CN107770605A (zh) * 2017-09-25 2018-03-06 广东九联科技股份有限公司 一种人像图像特效实现方法及系统
CN109754383A (zh) * 2017-11-08 2019-05-14 中移（杭州）信息技术有限公司 一种特效视频的生成方法及设备
CN108632660A (zh) * 2018-05-28 2018-10-09 深圳Tcl新技术有限公司 电视机的图像显示方法、电视机及存储介质
CN111754386B (zh) * 2019-03-26 2023-08-18 杭州海康威视数字技术股份有限公司 图像区域屏蔽方法、装置、设备及存储介质
CN110012352B (zh) * 2019-04-17 2020-07-24 广州华多网络科技有限公司 图像特效处理方法、装置及视频直播终端
CN110660032A (zh) * 2019-09-24 2020-01-07 Oppo广东移动通信有限公司 一种对象屏蔽方法、对象屏蔽装置及电子设备
CN111242881B (zh) * 2020-01-07 2021-01-12 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN111738769B (zh) * 2020-06-24 2024-02-20 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置
CN112492383A (zh) * 2020-12-03 2021-03-12 珠海格力电器股份有限公司 视频帧的生成方法及装置、存储介质、电子设备
CN114630057B (zh) * 2022-03-11 2024-01-30 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452582A (zh) * 2008-12-18 2009-06-10 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
CN101742228A (zh) * 2008-11-19 2010-06-16 新奥特硅谷视频技术有限责任公司 一种应用于数字法庭中的预处理方法和系统
CN103049755A (zh) * 2012-12-28 2013-04-17 合一网络技术(北京)有限公司 一种实现动态视频马赛克的方法及装置
CN103890810A (zh) * 2011-10-25 2014-06-25 索尼公司 图像处理设备、方法和计算机程序产品

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479267B2 (ja) * 2004-02-18 2010-06-09 株式会社日立製作所 監視カメラ映像配信システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742228A (zh) * 2008-11-19 2010-06-16 新奥特硅谷视频技术有限责任公司 一种应用于数字法庭中的预处理方法和系统
CN101452582A (zh) * 2008-12-18 2009-06-10 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
CN103890810A (zh) * 2011-10-25 2014-06-25 索尼公司 图像处理设备、方法和计算机程序产品
CN103049755A (zh) * 2012-12-28 2013-04-17 合一网络技术(北京)有限公司 一种实现动态视频马赛克的方法及装置

Also Published As

Publication number Publication date
CN105049911A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105049911B (zh) 一种基于人脸识别的视频特效处理方法
Chai et al. Locating facial region of a head-and-shoulders color image
CN100393106C (zh) 检测和/或追踪图像或图像序列中颜色区域的方法和装置
CN112818862A (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN1312625C (zh) 基于游程邻接图的复杂背景彩色图像中字符提取方法
CN101655983B (zh) 主颜色提取装置和方法
JPWO2006025185A1 (ja) 監視記録装置およびその方法
CN109993089B (zh) 一种基于深度学习的视频目标去除及背景恢复方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN106937120A (zh) 基于对象的监控视频浓缩方法
CN108446642A (zh) 一种快速人脸识别系统
CN108010044A (zh) 一种视频边界检测的方法
CN114550268A (zh) 一种利用时空特征的深度伪造视频检测方法
Liu et al. A novel multi-oriented chinese text extraction approach from videos
CN109462748B (zh) 一种基于单应性矩阵的立体视频颜色校正算法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN109359530B (zh) 一种智能视频监控方法及装置
Hiremath et al. Detection of multiple faces in an image using skin color information and lines-of-separability face model
Li et al. Crowd density estimation: An improved approach
CN108446639A (zh) 低功耗增强现实设备
Azad et al. A robust and adaptable method for face detection based on color probabilistic estimation technique
CN106897989B (zh) 一种基于线密度计算的指纹图像分割方法
CN109493361B (zh) 一种火灾烟雾图像分割方法
CN104408430B (zh) 一种车牌定位方法及装置
Szlávik et al. Face analysis using CNN-UM

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200708

Address after: 710000 East unit, 3 / F, block C, science and Technology Innovation Park, 195 Gaoxin Avenue, Baoji hi tech Development Zone, Shaanxi Province

Patentee after: SHAANXI LENGJING NETWORK TECHNOLOGY Co.,Ltd.

Address before: 710048 Shaanxi city of Xi'an Province Jinhua Road No. 5

Patentee before: XI'AN University OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 721000 room D301, floor 3, building 27, high end equipment Industrial Park, Gaoxin Second Road, high tech Development Zone, Baoji, Shaanxi Province

Patentee after: Baoji prism Network Technology Co.,Ltd.

Address before: 710000 East unit, third floor, block C, science and Technology Innovation Park, No. 195, Gaoxin Avenue, high tech Development Zone, Baoji, Shaanxi Province

Patentee before: SHAANXI LENGJING NETWORK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: Office B612-34, No. 91, Hanjiang West Road, Xinbei District, Changzhou City, Jiangsu Province, 213000

Patentee after: Jiangsu Fanwang IoT Technology Co.,Ltd.

Address before: 721000 room D301, floor 3, building 27, high end equipment Industrial Park, Gaoxin Second Road, high tech Development Zone, Baoji, Shaanxi Province

Patentee before: Baoji prism Network Technology Co.,Ltd.

CP03 Change of name, title or address