CN114827473A - 视频处理方法和装置 - Google Patents
视频处理方法和装置 Download PDFInfo
- Publication number
- CN114827473A CN114827473A CN202210474378.XA CN202210474378A CN114827473A CN 114827473 A CN114827473 A CN 114827473A CN 202210474378 A CN202210474378 A CN 202210474378A CN 114827473 A CN114827473 A CN 114827473A
- Authority
- CN
- China
- Prior art keywords
- frame
- feature point
- motion difference
- feature
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 230000001815 facial effect Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 13
- 230000000087 stabilizing effect Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 16
- 238000009499 grossing Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种视频处理方法和装置，视频处理方法包括：获取待处理视频的每一帧的至少一个第一特征点和至少一个第二特征点，其中，第一特征点用于表征画面特征，第二特征点用于表征脸部特征；确定每一帧和每一帧的下一帧的第一特征点运动差异，以及，每一帧和每一帧的下一帧的第二特征点运动差异；基于第一特征点运动差异和第二特征点运动差异，从每一帧的至少一个第一特征点和至少一个第二特征点中确定至少一个稳定特征点；根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系，对每一帧进行修复。本公开可在稳定整体画面的同时去除脸部的抖动，增强脸部的稳定性。
Description
技术领域
本公开涉及视频技术领域，尤其涉及一种视频处理方法和装置。
背景技术
视频媒体作为现代社会最为重要的媒体工具之一，是人们记录与分享生活的重要手段。近年来越来越多的人们选择通过移动电子设备进行视频的拍摄，在通过移动电子设备进行拍摄时，拍摄出来的视频画面常常会出现抖动现象，在拍摄主体为人像的情况下，这种抖动现象会造成人脸抖动，使得视频拍摄者的体验降低，但是，目前对抖动视频的修复方式难以获得良好的效果，常常会带来背景或者脸部不自然的运动现象。
发明内容
本公开提供一种视频处理方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频处理方法，包括：获取待处理视频的每一帧的至少一个第一特征点和至少一个第二特征点，其中，所述第一特征点用于表征画面特征，所述第二特征点用于表征脸部特征；确定所述每一帧和所述每一帧的下一帧的第一特征点运动差异，以及，所述每一帧和所述每一帧的下一帧的第二特征点运动差异；基于所述第一特征点运动差异和所述第二特征点运动差异，从所述每一帧的所述至少一个第一特征点和所述至少一个第二特征点中确定至少一个稳定特征点；根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行修复。
可选地，所述待处理视频的每一帧的至少一个第一特征点，通过下述步骤获取到：将所述每一帧划分为多个区域；获取所述多个区域中每个区域的角点，所述每个区域的角点为所述每一帧的至少一个第一特征点。
可选地，所述待处理视频的每一帧的至少一个第二特征点，通过下述步骤获取到：识别所述每一帧的脸部区域；提取所述脸部区域的脸部特征点，所述脸部特征点为所述每一帧的至少一个第二特征点。
可选地，所述每一帧和所述每一帧的下一帧的第一特征点对应；所述每一帧和所述每一帧的下一帧的第一特征点运动差异，通过下述步骤确定：确定所述每一帧和所述每一帧的下一帧中相互对应的每一第一特征点对；基于所述每一第一特征点对之间的第一欧氏距离，确定第一欧氏距离均值，所述第一欧氏距离均值为所述第一特征点运动差异。
可选地，所述每一帧和所述每一帧的下一帧的第二特征点对应；所述每一帧和所述每一帧的下一帧的第二特征点运动差异，通过下述步骤确定：确定所述每一帧和所述每一帧的下一帧中相互对应的每一第二特征点对；基于所述每一第二特征点对之间的第二欧氏距离，确定第二欧氏距离均值，所述第二欧氏距离均值为所述第二特征点运动差异。
可选地，所述基于所述第一特征点运动差异和所述第二特征点运动差异，从所述每一帧的所述至少一个第一特征点和所述至少一个第二特征点中确定至少一个稳定特征点，包括：在所述第一特征点运动差异大于所述第二特征点运动差异的第一预定倍数的情况下，将所述每一帧的满足第一预定条件的第一特征点及第二特征点确定为所述稳定特征点，其中，所述第一预定条件为所述第一特征点对应的第一运动差异小于所述第一特征点运动差异的第二预定倍数，所述每一帧和所述每一帧的下一帧的第一特征点对应，所述第一特征点对应的第一运动差异是所述第一特征点和在所述每一帧的下一帧对应的第一特征点之间的运动差异，所述第一特征点运动差异是所述每一帧的每一第一特征点对应的第一运动差异的均值，所述第一预定倍数和所述第二预定倍数为大于1的倍数。
可选地，所述基于所述第一特征点运动差异和所述第二特征点运动差异，从所述每一帧的所述至少一个第一特征点和所述至少一个第二特征点中确定至少一个稳定特征点，包括：在所述第一特征点运动差异不大于所述第二特征点运动差异的第一预定倍数的情况下，将所述每一帧的第一特征点及满足第二预定条件的第二特征点确定为所述稳定特征点，其中，所述第二预定条件为所述第二特征点对应的第二运动差异小于所述第二特征点运动差异的第二预定倍数，所述每一帧和所述每一帧的下一帧的第二特征点对应，所述第二特征点对应的第二运动差异是所述第二特征点和在所述每一帧的下一帧对应的第二特征点之间的运动差异，所述第二特征点运动差异是所述每一帧的每一第二特征点对应的第二运动差异的均值，所述第一预定倍数和所述第二预定倍数为大于1的倍数。
可选地，所述根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行修复，包括：基于每一其他帧的稳定特征点以及所述每一其他帧的下一帧的稳定特征点之间的对应关系，对所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系进行平滑处理，得到所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的平滑的对应关系，其中，所述其他帧是所述待处理视频中除所述每一帧之外的帧；根据所述平滑的对应关系，对所述每一帧进行修复。
可选地，所述根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行修复，包括：根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行运动补偿。
可选地，还包括：将所述待处理视频的帧划分成至少一个帧组；其中，所述待处理视频的每一帧的所述至少一个第一特征点、所述至少一个第二特征点以及所述至少一个稳定特征点是针对每个帧组分别确定的。
可选地，所述待处理视频的每一帧的至少一个第一特征点，通过下述步骤获取到：对于每个帧组的第一帧，将所述第一帧划分为多个区域；获取所述第一帧的多个区域中每个区域的角点，所述每个区域的角点为所述第一帧的所述至少一个第一特征点；对于所述每个帧组的每一后续帧，基于所述每一后续帧的前一帧的所述至少一个第一特征点，确定所述每一后续帧的所述至少一个第一特征点，其中，所述后续帧为所述第一帧之后的帧。
根据本公开实施例的第二方面，提供一种视频处理装置，包括：特征获取单元，被配置为：获取待处理视频的每一帧的至少一个第一特征点和至少一个第二特征点，其中，所述第一特征点用于表征画面特征，所述第二特征点用于表征脸部特征；差异确定单元，被配置为：确定所述每一帧和所述每一帧的下一帧的第一特征点运动差异，以及，所述每一帧和所述每一帧的下一帧的第二特征点运动差异；稳定特征确定单元，被配置为：基于所述第一特征点运动差异和所述第二特征点运动差异，从所述每一帧的所述至少一个第一特征点和所述至少一个第二特征点中确定至少一个稳定特征点；修复处理单元，被配置为：根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行修复。
可选地，特征获取单元被配置为：将所述每一帧划分为多个区域；获取所述多个区域中每个区域的角点，所述每个区域的角点为所述每一帧的至少一个第一特征点。
可选地，特征获取单元被配置为：识别所述每一帧的脸部区域；提取所述脸部区域的脸部特征点，所述脸部特征点为所述每一帧的至少一个第二特征点。
可选地，所述每一帧和所述每一帧的下一帧的第一特征点对应；差异确定单元被配置为：确定所述每一帧和所述每一帧的下一帧中相互对应的每一第一特征点对；基于所述每一第一特征点对之间的第一欧氏距离，确定第一欧氏距离均值，所述第一欧氏距离均值为所述第一特征点运动差异。
可选地，所述每一帧和所述每一帧的下一帧的第二特征点对应；差异确定单元被配置为：确定所述每一帧和所述每一帧的下一帧中相互对应的每一第二特征点对；基于所述每一第二特征点对之间的第二欧氏距离，确定第二欧氏距离均值，所述第二欧氏距离均值为所述第二特征点运动差异。
可选地，稳定特征确定单元被配置为：在所述第一特征点运动差异大于所述第二特征点运动差异的第一预定倍数的情况下，将所述每一帧的满足第一预定条件的第一特征点及第二特征点确定为所述稳定特征点，其中，所述第一预定条件为所述第一特征点对应的第一运动差异小于所述第一特征点运动差异的第二预定倍数，所述每一帧和所述每一帧的下一帧的第一特征点对应，所述第一特征点对应的第一运动差异是所述第一特征点和在所述每一帧的下一帧对应的第一特征点之间的运动差异，所述第一特征点运动差异是所述每一帧的每一第一特征点对应的第一运动差异的均值，所述第一预定倍数和所述第二预定倍数为大于1的倍数。
可选地，稳定特征确定单元被配置为：在所述第一特征点运动差异不大于所述第二特征点运动差异的第一预定倍数的情况下，将所述每一帧的第一特征点及满足第二预定条件的第二特征点确定为所述稳定特征点，其中，所述第二预定条件为所述第二特征点对应的第二运动差异小于所述第二特征点运动差异的第二预定倍数，所述每一帧和所述每一帧的下一帧的第二特征点对应，所述第二特征点对应的第二运动差异是所述第二特征点和在所述每一帧的下一帧对应的第二特征点之间的运动差异，所述第二特征点运动差异是所述每一帧的每一第二特征点对应的第二运动差异的均值，所述第一预定倍数和所述第二预定倍数为大于1的倍数。
可选地，修复处理单元被配置为：基于每一其他帧的稳定特征点以及所述每一其他帧的下一帧的稳定特征点之间的对应关系，对所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系进行平滑处理，得到所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的平滑的对应关系，其中，所述其他帧是所述待处理视频中除所述每一帧之外的帧；根据所述平滑的对应关系，对所述每一帧进行修复。
可选地，修复处理单元被配置为：根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行运动补偿。
可选地，还包括帧组处理单元，被配置为：将所述待处理视频的帧划分成至少一个帧组；其中，所述待处理视频的每一帧的所述至少一个第一特征点、所述至少一个第二特征点以及所述至少一个稳定特征点是针对每个帧组分别确定的。
可选地，特征获取单元被配置为：对于每个帧组的第一帧，将所述第一帧划分为多个区域；获取所述第一帧的多个区域中每个区域的角点，所述每个区域的角点为所述第一帧的所述至少一个第一特征点；对于所述每个帧组的每一后续帧，基于所述每一后续帧的前一帧的所述至少一个第一特征点，确定所述每一后续帧的所述至少一个第一特征点，其中，所述后续帧为所述第一帧之后的帧。
根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的视频处理方法。
根据本公开实施例的第四方面，提供一种存储指令的计算机可读存储介质，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的视频处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的视频处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的视频处理方法和装置，基于特征点运动差异，可确定每一帧的整体画面稳定特征和脸部稳定特征，进而通过稳定的特征点进行抖动修复，在稳定整体画面的同时去除脸部的抖动，增强脸部的稳定性，能够结合整体画面稳定特征与脸部稳定特征来分析视频画面运动，避免不稳定特征带来的整体画面或者脸部的不自然现象，获得较好质量的视频画面。
另外，根据本公开的视频处理方法和装置，可根据划分出的多个区域的每个区域的角点确定每一帧的第一特征点，划分区域进行第一特征点的确定会尽量使得第一特征点分布均匀，避免出现第一特征点很集中等的情况。
另外，根据本公开的视频处理方法和装置，可将视频的帧划分成至少一个帧组，进而可得到更加准确的第一特征点，达到更好的修复效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频处理方法的流程图。
图2是根据一示例性实施例示出的另一种视频处理方法的流程图。
图3是根据一示例性实施例示出的一种视频处理装置的框图。
图4是根据一示例性实施例的电子设备400的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
视频媒体作为现代社会最为重要的媒体工具之一，在社会中扮演着重要角色，是人们记录与分享生活的重要手段。近年来，随着短视频时代的蓬勃发展，视频拍摄工具也呈现了丰富多彩的形式，从专业视频录制设备如相机、三脚架、稳定器等，到各式各样的移动电子设备如手机，视频生产群体也在发生变化，涵盖了从摄影专业生产者到手机用户。视频生产群体与生产工具的变化带来了视频质量的问题。在缺乏专业录制设备的情况下，尤其在设备处于运动状态下，拍摄出来的视频画面常常会出现抖动现象，影响了视频画面的观感与质量。在拍摄主体为人像的情况下，这种抖动现象会造成人脸抖动，使得视频拍摄者的体验降低。
对于包含人像的视频来说，由于人脸为视频拍摄的主体，在对抖动画面进行修复时不仅要考虑整体画面的稳定性，也需要特别关注人脸的稳定性，这对抖动视频的修复提出了很高的要求。但是，目前的修复方式难以获得良好的处理效果。比如，相关技术中会根据抖动阈值范围来区分人脸抖动或者背景抖动，并通过分析人脸的特征信息来提高人脸区域的稳定性，或者通过分析整体画面的位移信息来增强画面的稳定性。但是，简单的根据阈值范围来区分抖动情况不够准确，并且，分别使用脸部位移补偿与背景抖动处理难以获得良好的效果，会带来背景或者脸部不自然的运动现象。
为了解决上述相关技术中存在的问题，本公开提出一种视频处理方法和装置，基于特征点运动差异，可确定每一帧的整体画面稳定特征和脸部稳定特征，进而通过稳定的特征点进行抖动修复，在稳定整体画面的同时去除脸部的抖动，增强脸部的稳定性，能够结合整体画面稳定特征与脸部稳定特征来分析视频画面运动，避免不稳定特征带来的整体画面或者脸部的不自然现象，获得较好质量的视频画面。
下面，将参照图1至图4来详细描述根据本公开的视频处理方法和装置。
图1是根据一示例性实施例示出的一种视频处理方法的流程图。
需要说明的是，本公开的视频处理方法可以应用于可拍摄视频或是可对视频进行处理的设备，如手机、计算机、笔记本电脑、平板电脑、台式电脑、可穿戴设备、车载设备、相机、摄像机等，本公开的视频处理方法还可以应用于可对视频进行处理的处理器，如具备计算能力的处理芯片等，本公开对此不作限制。
本公开的示例性实施例可通过对于视频的每一帧的整体画面和脸部的特征信息进行分析，得到更具稳定性的特征点集合，进而通过运动补偿来增强此帧画面的稳定性，达到抖动修复的效果，下面通过步骤101到104来详细讲述这个过程。
参照图1，在步骤101，可获取待处理视频的每一帧的至少一个第一特征点和至少一个第二特征点，其中，第一特征点用于表征画面特征，第二特征点用于表征脸部特征。
根据本公开的示例性实施例，待处理视频可以是通过移动电子设备如手机拍摄的包含人像的视频。待处理视频可以是待修复抖动的视频。待处理视频可以是已经拍摄好的完整视频内容，也可以是正在拍摄进行中的部分视频内容，本公开对此不作限制。脸部特征可以是人脸特征，还可以是其他个体的脸部特征，如动物脸部特征、虚拟人物脸部特征、虚拟生物脸部特征等等，本公开对此不作限制。
根据本公开的示例性实施例，为确定待处理视频每一帧的整体画面特征，需要对每一帧进行特征提取，那么具体可以是：首先，可将每一帧划分为多个区域；然后，可获取多个区域中每个区域的角点，每个区域的角点为每一帧的至少一个第一特征点。需要说明的是，多个区域可设置为大小相等的多个区域，每个区域提取的角点可以是0个、一个或多个，本公开对此不作限制。例如，可先将每一帧划分成多个区域，再对划分好的每个区域提取Harris角点，最后将提取的每个区域的Harris角点确定为第一特征点。根据实施例，划分区域进行第一特征点的确定会尽量使得第一特征点分布均匀，避免出现第一特征点很集中等的情况。
根据本公开的示例性实施例，为确定待处理视频每一帧的脸部特征，需要对每一帧进行特征提取，那么具体可以是：首先，可识别每一帧的脸部区域；然后，可提取脸部区域的脸部特征点，脸部特征点为每一帧的至少一个第二特征点。在这里，脸部区域可以是指脸部轮廓范围内的画面区域。根据实施例，通过脸部特征点提取的步骤可更加准确地确定每一帧的第二特征点，进而可基于第一特征点和第二特征点确定稳定特征点，从而完成修复。
还需说明的是，对于待处理视频的每一帧的至少一个第一特征点的获取方式，还可以是：首先，可将待处理视频的第一帧划分为多个区域；然后，可获取多个区域中每个区域的角点，每个区域的角点为第一帧的至少一个第一特征点；接下来，可对于待处理视频中除第一帧之外的帧，基于该帧的前一帧的至少一个第一特征点，确定该帧的至少一个第一特征点。例如，但不限于，可基于该帧的前一帧的至少一个第一特征点，通过光流跟踪法确定该帧的至少一个第一特征点。
在步骤102，可确定每一帧和每一帧的下一帧的第一特征点运动差异，以及，每一帧和每一帧的下一帧的第二特征点运动差异。
根据本公开的示例性实施例，第一特征点运动差异可以通过每一帧的第一特征点以及每一帧的下一帧的第一特征点之间的距离来衡量。在这里，每一帧和每一帧的下一帧的第一特征点对应，例如，但不限于，每一帧和每一帧的下一帧的第一特征点是一一对应的。
基于此，第一特征点运动差异可以通过对两帧之间每一相互对应的第一特征点对的距离求均值确定，具体来说：首先，可确定每一帧和每一帧的下一帧中相互对应的每一第一特征点对；然后，可基于每一第一特征点对之间的第一欧氏距离，确定第一欧氏距离均值，第一欧氏距离均值为第一特征点运动差异。根据实施例，通过计算第一欧氏距离均值来确定第一特征点运动差异，第一欧氏距离均值可更好地表示两帧之间的第一特征点运动差异，进而可得到更加准确的稳定特征点。在这里需要说明的是，采用欧式距离进行计算仅仅是示例性的，本公开并不限于此，还保护采用其他方式确定第一特征点运动差异的情况。
根据本公开的示例性实施例，第二特征点运动差异可以通过每一帧的第二特征点以及每一帧的下一帧的第二特征点之间的距离来衡量。在这里，每一帧和每一帧的下一帧的第二特征点对应，例如，但不限于，每一帧和每一帧的下一帧的第二特征点是一一对应的。
基于此，第二特征点运动差异可以通过对两帧之间每一相互对应的第二特征点对的距离求均值确定，具体来说：首先，可确定每一帧和每一帧的下一帧中相互对应的每一第二特征点对；然后，可基于每一第二特征点对之间的第二欧氏距离，确定第二欧氏距离均值，第二欧氏距离均值为第二特征点运动差异。根据实施例，通过计算第二欧氏距离均值来确定第二特征点运动差异，第二欧氏距离均值可更好地表示两帧之间的第二特征点运动差异，进而可得到更加准确的稳定特征点。在这里需要说明的是，采用欧式距离进行计算仅仅是示例性的，本公开并不限于此，还保护采用其他方式确定第二特征点运动差异的情况。
在步骤103，可基于第一特征点运动差异和第二特征点运动差异，从每一帧的至少一个第一特征点和至少一个第二特征点中确定至少一个稳定特征点。
根据本公开的示例性实施例，可通过比较第一特征点运动差异和第二特征点运动差异，进而基于比较结果，从每一帧的至少一个第一特征点和至少一个第二特征点中确定至少一个稳定特征点。例如，但不限于，通过将第一特征点运动差异和第二特征点运动差异的第一预定倍数作比较，进而基于比较结果，从每一帧的至少一个第一特征点和至少一个第二特征点中确定至少一个稳定特征点。
基于此，可区分第一特征点运动差异大于第二特征点运动差异的第一预定倍数的情况，以及，第一特征点运动差异不大于(小于或者等于)第二特征点运动差异的第一预定倍数的情况。下面，针对这两种情况分别进行描述。
在第一特征点运动差异大于第二特征点运动差异的第一预定倍数的情况下，可知第一特征点相较于第二特征点在每一帧和每一帧的下一帧之间产生了更大的运动差异，这个运动差异可能是由于抖动产生的，即第一特征点可能由于抖动等情况产生了更大的运动差异，此时部分第一特征点可能不能够准确表征整体画面特征，那么，可确定第二特征点相较于第一特征点更具有稳定性，那么，可将每一帧的满足第一预定条件的第一特征点及第二特征点确定为稳定特征点。需要说明的是，第一预定倍数为大于1的倍数。
在这里，第一预定条件可以为第一特征点对应的第一运动差异小于第一特征点运动差异的第二预定倍数，第一特征点对应的第一运动差异是第一特征点和在每一帧的下一帧对应的第一特征点之间的运动差异，第一特征点运动差异是每一帧的每一第一特征点对应的第一运动差异的均值，第二预定倍数可以为大于1的倍数。根据实施例，可在第二特征点相较于第一特征点更具有稳定性的情况下，通过第一预定条件确定不稳定的第一特征点并将其剔除，从而得到稳定特征点。
基于上述实施例，第一预定条件可以为，但不限于，第一特征点对应的第一欧氏距离小于第一欧氏距离均值的第二预定倍数，其中，第二预定倍数可以为大于1的倍数。
在第一特征点运动差异不大于第二特征点运动差异的第一预定倍数的情况下，可知第二特征点相较于第一特征点在每一帧和每一帧的下一帧之间产生了更大的运动差异，这个运动差异可能是由于抖动产生的，即第二特征点可能由于抖动等情况产生了更大的运动差异，此时部分第二特征点可能不能够准确表征脸部特征，那么，可确定第一特征点相较于第二特征点更具有稳定性，那么，可将每一帧的第一特征点及满足第二预定条件的第二特征点确定为稳定特征点。需要说明的是，第一预定倍数为大于1的倍数。
在这里，第二预定条件可以为第二特征点对应的第二运动差异小于第二特征点运动差异的第二预定倍数，第二特征点对应的第二运动差异是第二特征点和在每一帧的下一帧对应的第二特征点之间的运动差异，第二特征点运动差异是每一帧的每一第二特征点对应的第二运动差异的均值，第二预定倍数可以为大于1的倍数。根据实施例，可在第一特征点相较于第二特征点更具有稳定性的情况下，通过第二预定条件确定不稳定的第二特征点并将其剔除，从而得到稳定特征点。
基于上述实施例，第二预定条件可以为，但不限于，第二特征点对应的第二欧氏距离小于第二欧氏距离均值的第二预定倍数，其中，第二预定倍数可以为大于1的倍数。
根据本公开的示例性实施例，随着时间的变化，拍摄的待处理视频的场景等可能会发生改变，例如，对于一段视频，前10秒的内容是人物在校园走路，11到20秒的内容是人物走到足球场，21到30秒的内容是人物在足球场踢足球，那么可以看出，视频的画面场景在前后发生了很大的变化，考虑到这种情况，为得到更好的修复效果，本公开的示例性实施例可设置有帧组的概念，将待处理视频中的帧区分成不同的组，然后进行抖动的修复。在这里，分组的方式可以包括，但不限于，均分、基于视频的内容进行适应性分组等。具体来说：可将待处理视频的帧划分成至少一个帧组；其中，待处理视频的每一帧的至少一个第一特征点、至少一个第二特征点以及至少一个稳定特征点是针对每个帧组分别确定的。这里，待处理视频的每一帧的至少一个第二特征点可通过如步骤101中的对脸部区域进行脸部特征点的提取的方式来实现。对于确定每一帧的至少一个第一特征点，可区分成每个帧组的第一帧和后续帧，这里的后续帧为第一帧之后的帧，那么对于每个帧组的第一帧，可先将第一帧划分为多个区域；再获取第一帧的多个区域中每个区域的角点，每个区域的角点为第一帧的至少一个第一特征点。对于每个帧组的每一后续帧，可基于每一后续帧的前一帧的至少一个第一特征点，确定每一后续帧的至少一个第一特征点，例如，但不限于，可使用光流跟踪法基于每一后续帧的前一帧的至少一个第一特征点确定每一后续帧的至少一个第一特征点。根据实施例，通过在帧组中区分第一帧和后续帧来获取至少一个第一特征点，能够便于获取第一特征点。
回到图1，在步骤104，可根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系，对每一帧进行修复。例如，但不限于，可根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系，对每一帧进行运动补偿，通过运动补偿可实现对每一帧进行更好地抖动修复。
根据本公开的示例性实施例，可首先对每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系进行平滑处理，再进行修复，具体可以是：首先，可基于每一其他帧的稳定特征点以及每一其他帧的下一帧的稳定特征点之间的对应关系，对每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系进行平滑处理，得到每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的平滑的对应关系，其中，其他帧是待处理视频中除每一帧之外的帧。然后，可根据平滑的对应关系，对每一帧进行修复。例如，但不限于，可根据平滑的对应关系，对每一帧进行运动补偿，以对每一帧进行修复。需要说明的是，平滑处理的方式可包括，但不限于，高斯平滑。根据实施例，通过对于对应关系进行平滑处理，能够达到更好的修复效果。
例如，每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系可以是，但不限于，单应矩阵。基于此，首先，可根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点，确定每一帧对应的单应矩阵。在这里，可通过最小中值法LMEDS来进行单应矩阵的计算；然后，可基于每一其他帧对应的单应矩阵对每一帧对应的单应矩阵进行平滑处理，得到每一帧对应的平滑后的单应矩阵；最后，可根据平滑后的单应矩阵，对每一帧进行修复。
图2是根据一示例性实施例示出的另一种视频处理方法的流程图。下面，参照图2，以一个具体的例子，来详细描述本公开的视频处理方法。
在步骤201，可获取待处理视频，并将待处理视频的帧平均划分成多个帧组。例如，将待处理视频的N个帧平均划分成K个帧组，每个帧组包含有N/K个帧。
在步骤202，可确定每一帧的至少一个第一特征点和至少一个第二特征点。例如，对于每个帧组的第一帧I1的第一特征点，可将I1划分成多个区域(每个区域的大小相等)，再对划分好的每个区域提取Harris角点
(1≤j≤M，M为I1中的区域总数)，最后将提取的每个区域的Harris角点确定为第一特征点
需要说明的是，每个区域提取的Harris角点可以是0个、一个或多个，本公开对此不作限制。对于I1的第二特征点，可识别I1中的脸部区域，并在脸部区域中进行脸部特征提取，得到第二特征点F1。对于每个帧组的第二帧I2的第一特征点，可使用光流跟踪法基于前一帧(对于I2来说即I1)的第一特征点确定I2的第一特征点
对于I2的第二特征点，可识别I2中的脸部区域，并在脸部区域中进行脸部特征提取，得到第二特征点F2。对于每个帧组在第一帧之后的后续帧，可采用如I2的方法，在此不再赘述。需要说明的是，相邻帧的各个第一特征点之间相互对应，相邻帧的各个第二特征点之间相互对应。
在步骤203，可对于每个帧组的每一帧，执行以下操作：
确定每一帧和每一帧的下一帧中相互对应的每一第一特征点对，基于每一第一特征点对之间的第一欧氏距离，确定第一欧氏距离均值。确定每一帧和每一帧的下一帧中相互对应的每一第二特征点对，基于每一第二特征点对之间的第二欧氏距离，确定第二欧氏距离均值。在第一欧氏距离均值大于第二欧氏距离均值的第一预定倍数的情况下，将这种情况标记为该帧处于第一情况，否则标记为该帧处于第二情况。
例如，可对于每个帧组的每一帧，执行以下操作：(此处以每个帧组的第一帧I1作为示例来描述，每个帧组的其余帧可采用相同的方式，在此不再赘述)
确定I1(第一特征点
)和I2(第一特征点
)中相互对应的每一第一特征点对(例如，
与
是相互对应的第一特征点对)，基于每一第一特征点对之间的第一欧氏距离(例如，
与
之间的第一欧氏距离是dl，1≤l≤L，L为
或
中的第一特征点的数量)，确定第一欧氏距离均值ε。确定I1(第二特征点f1,m∈F1)和I2(第二特征点f2,m∈F2)中相互对应的每一第二特征点对(例如，f1,m∈F1与f2,m∈F2是相互对应的第二特征点对)，基于每一第二特征点对之间的第二欧氏距离(例如，f1,m∈F1与f2,m∈F2之间的第二欧氏距离是em，1≤m≤M′，M′为F1或F2中的第二特征点的数量)，确定第二欧氏距离均值∈。在ε＞g*∈的情况下(g＞1)，将这种情况标记为I1处于第一情况(s1＝1)，否则标记为I1处于第二情况(s1＝0)。
在步骤204，可对于每个帧组的每一帧，执行以下操作：
在每一帧处于第一情况下，遍历每一帧的各第一特征点，若存在第一欧氏距离大于或者等于第一欧氏距离均值的第二预定倍数的第一特征点，则将该第一特征点剔除，并将剩余的第一特征点和第二特征点确定为稳定特征点。在每一帧处于第二情况下，遍历每一帧的各第二特征点，若存在第二欧氏距离小于第二欧氏距离均值的第二预定倍数的第二特征点，则将该第二特征点和每一帧的第一特征点确定为稳定特征点。
例如，可对于每个帧组的每一帧(1≤i≤N)，执行以下操作：
在si＝1的情况下，遍历
中的第一特征点，若存在第一特征点对应的第一欧氏距离大于或者等于h*ε(h＞1)，则将该第一特征点从
剔除，并将
中剩余的第一特征点和Fi中的第二特征点确定为稳定特征点
在si＝0的情况下，遍历Fi中的第二特征点，若存在第二特征点对应的第二欧氏距离小于h*∈(h＞1)，则将该第二特征点和
确定为稳定特征点
在步骤205，可根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点，确定每个帧组的每一帧对应的单应矩阵。例如，对于每个帧组的每一帧(1≤i≤N)，根据
(第i帧的稳定特征点)以及
(第i+1帧的稳定特征点)，通过最小中值法LMEDS确定第i帧对应的单应矩阵Oi。
在步骤206，可基于每一帧对应的单应矩阵，对每一帧进行修复。例如，可基于除第i帧之外的其余帧对应的单应矩阵，对Oi进行高斯平滑处理，得到平滑后的Oi，基于平滑后的Oi，对第i帧进行修复，进而得到修复抖动后的视频画面。
图3是根据一示例性实施例示出的一种视频处理装置的框图。参考图3，视频处理装置300包括特征获取单元301、差异确定单元302、稳定特征确定单元303和修复处理单元304。
特征获取单元301，可获取待处理视频的每一帧的至少一个第一特征点和至少一个第二特征点，其中，第一特征点用于表征画面特征，第二特征点用于表征脸部特征。
根据本公开的示例性实施例，待处理视频可以是通过移动电子设备如手机拍摄的包含人像的视频。待处理视频可以是待修复抖动的视频。待处理视频可以是已经拍摄好的完整视频内容，也可以是正在拍摄进行中的部分视频内容，本公开对此不作限制。脸部特征可以是人脸特征，还可以是其他个体的脸部特征，如动物脸部特征、虚拟人物脸部特征、虚拟生物脸部特征等等，本公开对此不作限制。
根据本公开的示例性实施例，为确定待处理视频每一帧的整体画面特征，需要对每一帧进行特征提取，那么具体可以是：首先，特征获取单元301可将每一帧划分为多个区域；然后，特征获取单元301可获取多个区域中每个区域的角点，每个区域的角点为每一帧的至少一个第一特征点。需要说明的是，多个区域可设置为大小相等的多个区域，每个区域提取的角点可以是0个、一个或多个，本公开对此不作限制。例如，特征获取单元301可先将每一帧划分成多个区域，再对划分好的每个区域提取Harris角点，最后将提取的每个区域的Harris角点确定为第一特征点。根据实施例，划分区域进行第一特征点的确定会尽量使得第一特征点分布均匀，避免出现第一特征点很集中等的情况。
根据本公开的示例性实施例，为确定待处理视频每一帧的脸部特征，需要对每一帧进行特征提取，那么具体可以是：首先，特征获取单元301可识别每一帧的脸部区域；然后，特征获取单元301可提取脸部区域的脸部特征点，脸部特征点为每一帧的至少一个第二特征点。在这里，脸部区域可以是指脸部轮廓范围内的画面区域。根据实施例，通过脸部特征点提取可更加准确地确定每一帧的第二特征点，进而可基于第一特征点和第二特征点确定稳定特征点，从而完成修复。
还需说明的是，对于待处理视频的每一帧的至少一个第一特征点的获取方式，还可以是：首先，特征获取单元301可将待处理视频的第一帧划分为多个区域；然后，特征获取单元301可获取多个区域中每个区域的角点，每个区域的角点为第一帧的至少一个第一特征点；接下来，特征获取单元301可对于待处理视频中除第一帧之外的帧，基于该帧的前一帧的至少一个第一特征点，确定该帧的至少一个第一特征点。例如，但不限于，特征获取单元301可基于该帧的前一帧的至少一个第一特征点，通过光流跟踪法确定该帧的至少一个第一特征点。
差异确定单元302，可确定每一帧和每一帧的下一帧的第一特征点运动差异，以及，每一帧和每一帧的下一帧的第二特征点运动差异。
根据本公开的示例性实施例，第一特征点运动差异可以通过每一帧的第一特征点以及每一帧的下一帧的第一特征点之间的距离来衡量。在这里，每一帧和每一帧的下一帧的第一特征点对应，例如，但不限于，每一帧和每一帧的下一帧的第一特征点是一一对应的。
基于此，第一特征点运动差异可以通过对两帧之间每一相互对应的第一特征点对的距离求均值确定，具体来说：首先，差异确定单元302可确定每一帧和每一帧的下一帧中相互对应的每一第一特征点对；然后，差异确定单元302可基于每一第一特征点对之间的第一欧氏距离，确定第一欧氏距离均值，第一欧氏距离均值为第一特征点运动差异。根据实施例，通过计算第一欧氏距离均值来确定第一特征点运动差异，第一欧氏距离均值可更好地表示两帧之间的第一特征点运动差异，进而可得到更加准确的稳定特征点。在这里需要说明的是，采用欧式距离进行计算仅仅是示例性的，本公开并不限于此，还保护采用其他方式确定第一特征点运动差异的情况。
根据本公开的示例性实施例，第二特征点运动差异可以通过每一帧的第二特征点以及每一帧的下一帧的第二特征点之间的距离来衡量。在这里，每一帧和每一帧的下一帧的第二特征点对应，例如，但不限于，每一帧和每一帧的下一帧的第二特征点是一一对应的。
基于此，第二特征点运动差异可以通过对两帧之间每一相互对应的第二特征点对的距离求均值确定，具体来说：首先，差异确定单元302可确定每一帧和每一帧的下一帧中相互对应的每一第二特征点对；然后，差异确定单元302可基于每一第二特征点对之间的第二欧氏距离，确定第二欧氏距离均值，第二欧氏距离均值为第二特征点运动差异。根据实施例，通过计算第二欧氏距离均值来确定第二特征点运动差异，第二欧氏距离均值可更好地表示两帧之间的第二特征点运动差异，进而可得到更加准确的稳定特征点。在这里需要说明的是，采用欧式距离进行计算仅仅是示例性的，本公开并不限于此，还保护采用其他方式确定第二特征点运动差异的情况。
稳定特征确定单元303，可基于第一特征点运动差异和第二特征点运动差异，从每一帧的至少一个第一特征点和至少一个第二特征点中确定至少一个稳定特征点。
根据本公开的示例性实施例，稳定特征确定单元303可通过比较第一特征点运动差异和第二特征点运动差异，进而基于比较结果，从每一帧的至少一个第一特征点和至少一个第二特征点中确定至少一个稳定特征点。例如，但不限于，稳定特征确定单元303通过将第一特征点运动差异和第二特征点运动差异的第一预定倍数作比较，进而基于比较结果，从每一帧的至少一个第一特征点和至少一个第二特征点中确定至少一个稳定特征点。
基于此，可区分第一特征点运动差异大于第二特征点运动差异的第一预定倍数的情况，以及，第一特征点运动差异不大于(小于或者等于)第二特征点运动差异的第一预定倍数的情况。下面，针对这两种情况分别进行描述。
在第一特征点运动差异大于第二特征点运动差异的第一预定倍数的情况下，可知第一特征点相较于第二特征点在每一帧和每一帧的下一帧之间产生了更大的运动差异，这个运动差异可能是由于抖动产生的，即第一特征点可能由于抖动等情况产生了更大的运动差异，此时部分第一特征点可能不能够准确表征整体画面特征，那么，稳定特征确定单元303可确定第二特征点相较于第一特征点更具有稳定性，那么，稳定特征确定单元303可将每一帧的满足第一预定条件的第一特征点及第二特征点确定为稳定特征点。需要说明的是，第一预定倍数为大于1的倍数。
在这里，第一预定条件可以为第一特征点对应的第一运动差异小于第一特征点运动差异的第二预定倍数，第一特征点对应的第一运动差异是第一特征点和在每一帧的下一帧对应的第一特征点之间的运动差异，第一特征点运动差异是每一帧的每一第一特征点对应的第一运动差异的均值，第二预定倍数可以为大于1的倍数。根据实施例，可在第二特征点相较于第一特征点更具有稳定性的情况下，通过第一预定条件确定不稳定的第一特征点并将其剔除，从而得到稳定特征点。
基于上述实施例，第一预定条件可以为，但不限于，第一特征点对应的第一欧氏距离小于第一欧氏距离均值的第二预定倍数，其中，第二预定倍数可以为大于1的倍数。
在第一特征点运动差异不大于第二特征点运动差异的第一预定倍数的情况下，可知第二特征点相较于第一特征点在每一帧和每一帧的下一帧之间产生了更大的运动差异，这个运动差异可能是由于抖动产生的，即第二特征点可能由于抖动等情况产生了更大的运动差异，此时部分第二特征点可能不能够准确表征脸部特征，那么，稳定特征确定单元303可确定第一特征点相较于第二特征点更具有稳定性，那么，稳定特征确定单元303可将每一帧的第一特征点及满足第二预定条件的第二特征点确定为稳定特征点。需要说明的是，第一预定倍数为大于1的倍数。
在这里，第二预定条件可以为第二特征点对应的第二运动差异小于第二特征点运动差异的第二预定倍数，第二特征点对应的第二运动差异是第二特征点和在每一帧的下一帧对应的第二特征点之间的运动差异，第二特征点运动差异是每一帧的每一第二特征点对应的第二运动差异的均值，第二预定倍数可以为大于1的倍数。根据实施例，可在第一特征点相较于第二特征点更具有稳定性的情况下，通过第二预定条件确定不稳定的第二特征点并将其剔除，从而得到稳定特征点。
基于上述实施例，第二预定条件可以为，但不限于，第二特征点对应的第二欧氏距离小于第二欧氏距离均值的第二预定倍数，其中，第二预定倍数可以为大于1的倍数。
根据本公开的示例性实施例，随着时间的变化，拍摄的待处理视频的场景等可能会发生改变，例如，对于一段视频，前10秒的内容是人物在校园走路，11到20秒的内容是人物走到足球场，21到30秒的内容是人物在足球场踢足球，那么可以看出，视频的画面场景在前后发生了很大的变化，考虑到这种情况，为得到更好的修复效果，本公开的示例性实施例可设置有帧组的概念，将待处理视频中的帧区分成不同的组，然后进行抖动的修复。在这里，分组的方式可以包括，但不限于，均分、基于视频的内容进行适应性分组等。具体来说，还包括帧组处理单元，帧组处理单元可将待处理视频的帧划分成至少一个帧组；其中，待处理视频的每一帧的至少一个第一特征点、至少一个第二特征点以及至少一个稳定特征点是针对每个帧组分别确定的。这里，待处理视频的每一帧的至少一个第二特征点可通过如上述实施例中的对脸部区域进行脸部特征点的提取的方式来实现。对于确定每一帧的至少一个第一特征点，可区分成每个帧组的第一帧和后续帧，这里的后续帧为第一帧之后的帧，那么对于每个帧组的第一帧，帧组处理单元可先将第一帧划分为多个区域；再获取第一帧的多个区域中每个区域的角点，每个区域的角点为第一帧的至少一个第一特征点。对于每个帧组的每一后续帧，帧组处理单元可基于每一后续帧的前一帧的至少一个第一特征点，确定每一后续帧的至少一个第一特征点，例如，但不限于，帧组处理单元可使用光流跟踪法基于每一后续帧的前一帧的至少一个第一特征点确定每一后续帧的至少一个第一特征点。根据实施例，通过在帧组中区分第一帧和后续帧来获取至少一个第一特征点，能够便于获取第一特征点。
修复处理单元304，可根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系，对每一帧进行修复。例如，但不限于，修复处理单元304可根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系，对每一帧进行运动补偿，通过运动补偿可实现对每一帧进行抖动修复。
根据本公开的示例性实施例，修复处理单元304可首先对每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系进行平滑处理，再进行修复，具体可以是：首先，修复处理单元304可基于每一其他帧的稳定特征点以及每一其他帧的下一帧的稳定特征点之间的对应关系，对每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系进行平滑处理，得到每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的平滑的对应关系，其中，其他帧是待处理视频中除每一帧之外的帧。然后，修复处理单元304可根据平滑的对应关系，对每一帧进行修复。例如，但不限于，修复处理单元304可根据平滑的对应关系，对每一帧进行运动补偿，以对每一帧进行修复。需要说明的是，平滑处理的方式可包括，但不限于，高斯平滑。根据实施例，通过对于对应关系进行平滑处理，能够达到更好的修复效果。
例如，每一帧的稳定特征点和每一帧的下一帧的稳定特征点之间的对应关系可以是，但不限于，单应矩阵。基于此，首先，修复处理单元304可根据每一帧的稳定特征点和每一帧的下一帧的稳定特征点，确定每一帧对应的单应矩阵。在这里，修复处理单元304可通过最小中值法LMEDS来进行单应矩阵的计算；然后，修复处理单元304可基于每一其他帧对应的单应矩阵对每一帧对应的单应矩阵进行平滑处理，得到每一帧对应的平滑后的单应矩阵；最后，修复处理单元304可根据平滑后的单应矩阵，对每一帧进行修复。
图4是根据一示例性实施例的电子设备400的框图。
参照图4，电子设备400包括至少一个存储器401和至少一个处理器402，所述至少一个存储器401中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器402执行时，执行根据本公开的视频处理方法。
作为示例，电子设备400可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备400并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备400还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在电子设备400中，处理器402可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器402可运行存储在存储器401中的指令或代码，其中，存储器401还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储器401可与处理器402集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器401可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器401和处理器402可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器402能够读取存储在存储器中的文件。
此外，电子设备400还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备400的所有组件可经由总线和/或网络而彼此连接。
根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的视频处理方法。
根据本公开的视频处理方法和装置，基于特征点运动差异，可确定每一帧的整体画面稳定特征和脸部稳定特征，进而通过稳定的特征点进行抖动修复，在稳定整体画面的同时去除脸部的抖动，增强脸部的稳定性，能够结合整体画面稳定特征与脸部稳定特征来分析视频画面运动，避免不稳定特征带来的整体画面或者脸部的不自然现象，获得较好质量的视频画面。
另外，根据本公开的视频处理方法和装置，可根据划分出的多个区域的每个区域的角点确定每一帧的第一特征点，划分区域进行第一特征点的确定会尽量使得第一特征点分布均匀，避免出现第一特征点很集中等的情况。
另外，根据本公开的视频处理方法和装置，可将视频的帧划分成至少一个帧组，进而可得到更加准确的第一特征点，达到更好的修复效果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
获取待处理视频的每一帧的至少一个第一特征点和至少一个第二特征点，其中，所述第一特征点用于表征画面特征，所述第二特征点用于表征脸部特征；
确定所述每一帧和所述每一帧的下一帧的第一特征点运动差异，以及，所述每一帧和所述每一帧的下一帧的第二特征点运动差异；
基于所述第一特征点运动差异和所述第二特征点运动差异，从所述每一帧的所述至少一个第一特征点和所述至少一个第二特征点中确定至少一个稳定特征点；
根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行修复。
2.如权利要求1所述的视频处理方法，其特征在于，所述待处理视频的每一帧的至少一个第一特征点，通过下述步骤获取到：
将所述每一帧划分为多个区域；
获取所述多个区域中每个区域的角点，所述每个区域的角点为所述每一帧的至少一个第一特征点。
3.如权利要求1所述的视频处理方法，其特征在于，所述待处理视频的每一帧的至少一个第二特征点，通过下述步骤获取到：
识别所述每一帧的脸部区域；
提取所述脸部区域的脸部特征点，所述脸部特征点为所述每一帧的至少一个第二特征点。
4.如权利要求1所述的视频处理方法，其特征在于，所述每一帧和所述每一帧的下一帧的第一特征点对应；
所述每一帧和所述每一帧的下一帧的第一特征点运动差异，通过下述步骤确定：
确定所述每一帧和所述每一帧的下一帧中相互对应的每一第一特征点对；
基于所述每一第一特征点对之间的第一欧氏距离，确定第一欧氏距离均值，所述第一欧氏距离均值为所述第一特征点运动差异。
5.如权利要求1所述的视频处理方法，其特征在于，所述每一帧和所述每一帧的下一帧的第二特征点对应；
所述每一帧和所述每一帧的下一帧的第二特征点运动差异，通过下述步骤确定：
确定所述每一帧和所述每一帧的下一帧中相互对应的每一第二特征点对；
基于所述每一第二特征点对之间的第二欧氏距离，确定第二欧氏距离均值，所述第二欧氏距离均值为所述第二特征点运动差异。
6.如权利要求1所述的视频处理方法，其特征在于，所述基于所述第一特征点运动差异和所述第二特征点运动差异，从所述每一帧的所述至少一个第一特征点和所述至少一个第二特征点中确定至少一个稳定特征点，包括：
在所述第一特征点运动差异大于所述第二特征点运动差异的第一预定倍数的情况下，将所述每一帧的满足第一预定条件的第一特征点及第二特征点确定为所述稳定特征点，
其中，所述第一预定条件为所述第一特征点对应的第一运动差异小于所述第一特征点运动差异的第二预定倍数，所述每一帧和所述每一帧的下一帧的第一特征点对应，所述第一特征点对应的第一运动差异是所述第一特征点和在所述每一帧的下一帧对应的第一特征点之间的运动差异，所述第一特征点运动差异是所述每一帧的每一第一特征点对应的第一运动差异的均值，所述第一预定倍数和所述第二预定倍数为大于1的倍数。
7.一种视频处理装置，其特征在于，包括：
特征获取单元，被配置为：获取待处理视频的每一帧的至少一个第一特征点和至少一个第二特征点，其中，所述第一特征点用于表征画面特征，所述第二特征点用于表征脸部特征；
差异确定单元，被配置为：确定所述每一帧和所述每一帧的下一帧的第一特征点运动差异，以及，所述每一帧和所述每一帧的下一帧的第二特征点运动差异；
稳定特征确定单元，被配置为：基于所述第一特征点运动差异和所述第二特征点运动差异，从所述每一帧的所述至少一个第一特征点和所述至少一个第二特征点中确定至少一个稳定特征点；
修复处理单元，被配置为：根据所述每一帧的稳定特征点和所述每一帧的下一帧的稳定特征点之间的对应关系，对所述每一帧进行修复。
8.一种电子设备，其特征在于，包括：
至少一个处理器；
至少一个存储计算机可执行指令的存储器，
其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到6中的任一权利要求所述的视频处理方法。
9.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到6中的任一权利要求所述的视频处理方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被至少一个处理器执行时实现如权利要求1到6中的任一权利要求所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210474378.XA CN114827473B (zh) | 2022-04-29 | 2022-04-29 | 视频处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210474378.XA CN114827473B (zh) | 2022-04-29 | 2022-04-29 | 视频处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114827473A true CN114827473A (zh) | 2022-07-29 |
| CN114827473B CN114827473B (zh) | 2024-02-09 |
Family
ID=82510935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210474378.XA Active CN114827473B (zh) | 2022-04-29 | 2022-04-29 | 视频处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114827473B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101193208A (zh) * | 2006-11-30 | 2008-06-04 | 索尼株式会社 | 图像拍摄装置、图像处理装置、方法以及程序 |
| CN106210447A (zh) * | 2016-09-09 | 2016-12-07 | 长春大学 | 基于背景特征点匹配的视频稳像方法 |
| CN109302545A (zh) * | 2018-11-15 | 2019-02-01 | 深圳市炜博科技有限公司 | 视频稳像方法、装置及计算机可读存储介质 |
| CN110401796A (zh) * | 2019-07-05 | 2019-11-01 | 浙江大华技术股份有限公司 | 一种图像采集装置的抖动补偿方法和装置 |
| US20210227139A1 (en) * | 2018-05-15 | 2021-07-22 | Ricoh Company, Ltd. | Video stabilization method and apparatus and non-transitory computer-readable medium |
-
2022
- 2022-04-29 CN CN202210474378.XA patent/CN114827473B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101193208A (zh) * | 2006-11-30 | 2008-06-04 | 索尼株式会社 | 图像拍摄装置、图像处理装置、方法以及程序 |
| CN106210447A (zh) * | 2016-09-09 | 2016-12-07 | 长春大学 | 基于背景特征点匹配的视频稳像方法 |
| US20210227139A1 (en) * | 2018-05-15 | 2021-07-22 | Ricoh Company, Ltd. | Video stabilization method and apparatus and non-transitory computer-readable medium |
| CN109302545A (zh) * | 2018-11-15 | 2019-02-01 | 深圳市炜博科技有限公司 | 视频稳像方法、装置及计算机可读存储介质 |
| CN110401796A (zh) * | 2019-07-05 | 2019-11-01 | 浙江大华技术股份有限公司 | 一种图像采集装置的抖动补偿方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114827473B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tursun et al. | The state of the art in HDR deghosting: A survey and evaluation | |
| US8818037B2 (en) | Video scene detection | |
| EP3189469B1 (en) | A method for selecting frames from video sequences based on incremental improvement | |
| US8879894B2 (en) | Pixel analysis and frame alignment for background frames | |
| US11636610B2 (en) | Determining multiple camera positions from multiple videos | |
| WO2019140880A1 (zh) | 屏幕录制方法、计算机可读存储介质、终端设备及装置 | |
| US10304192B2 (en) | Fast, progressive approach to supervoxel-based spatial temporal video segmentation | |
| Ferrari et al. | Computer Vision–ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part V | |
| US10796421B2 (en) | Creating selective virtual long-exposure images | |
| US20200092444A1 (en) | Playback method, playback device and computer-readable storage medium | |
| JP4916950B2 (ja) | 動画像比較装置、動画像比較方法、及び動画像比較プログラム | |
| CN114827473B (zh) | 视频处理方法和装置 | |
| CN117152660A (zh) | 图像显示方法及其装置 | |
| CN114897719A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| Wang et al. | Pixel-wise video stabilization | |
| CN114140488A (zh) | 视频目标分割方法及装置、视频目标分割模型的训练方法 | |
| CN113066024A (zh) | 图像模糊检测模型的训练方法、图像模糊检测方法及装置 | |
| Zhang et al. | Photometric Stabilization for Fast‐forward Videos | |
| Wu et al. | A novel video stabilization model with motion morphological component priors | |
| JP7166796B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| WO2023037451A1 (ja) | 画像処理装置、方法およびプログラム | |
| US20230073940A1 (en) | Body Pose Tracking of Players from Sports Broadcast Video Feed | |
| Papazoglou | Video object segmentation and applications in temporal alignment and aspect learning | |
| CN116433766A (zh) | 物体位置信息的确定方法、装置、电子设备及存储介质 | |
| CN115239852A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |