CN112016469A - 图像处理方法及装置、终端及可读存储介质 - Google Patents

图像处理方法及装置、终端及可读存储介质 Download PDF

Info

Publication number
CN112016469A
CN112016469A CN202010887414.6A CN202010887414A CN112016469A CN 112016469 A CN112016469 A CN 112016469A CN 202010887414 A CN202010887414 A CN 202010887414A CN 112016469 A CN112016469 A CN 112016469A
Authority
CN
China
Prior art keywords
face
image
similarity
calculating
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010887414.6A
Other languages
English (en)
Inventor
王顺飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010887414.6A priority Critical patent/CN112016469A/zh
Publication of CN112016469A publication Critical patent/CN112016469A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法，应用于具备图像拍摄功能的终端，图像处理方法包括：计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；根据相似度计算更新人像掩膜的动态帧数；及每隔动态帧数更新一次人像掩膜。本申请还公开了一种图像处理装置、终端和计算机可读存储介质。本申请的图像处理方法中，通过基于当前图像和历史图像的相似度得到更新人像掩膜的动态帧数；一方面，可以避免由于人像运动较大时以固定帧数更新人像掩膜导致人像掩膜边缘不对齐、切入人像更新不及时等精度较差情形；另一方面，在避免了每帧更新人像掩膜带来的较高功耗的同时还提升了人像掩膜的效果和精度。

Description

图像处理方法及装置、终端及可读存储介质
技术领域
本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
背景技术
人像虚化通常先进行人像抠图，将图像中的人像抠出，并将结果用于虚化后处理，产生出类似单反拍照的效果。采用固定帧数(大于1)产生并更新人像掩膜，当人像运动幅度较大等情况下，会出现人像掩膜滞后的现象，即人像掩膜更新不及时，导致后续人像虚化或者其他处理的人像边缘精度很差，影响显示效果。
发明内容
本申请实施方式提供一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
本申请实施方式的图像处理方法包括：计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；根据所述相似度计算更新人像掩膜的动态帧数；及每隔所述动态帧数更新一次人像掩膜。
本申请实施方式的图像处理方法中，通过计算当前帧的当前图像和缓存的上一帧的历史图像的相似度，然后根据相似度计算更新人像动态帧数，使得更新人像掩膜时可以实时与上一帧获取到的图像进行比较以获取人像变化程度，在相似度较小时，动态帧数较小以较快更新，在人像变化较大时，动态帧数较大以较慢更新；一方面，可以避免由于人像运动较大时以固定帧数更新人像掩膜导致人像掩膜边缘不对齐、切入人像更新不及时等精度较差情形；另一方面，在避免了每帧更新人像掩膜带来的较高功耗的同时还提升了人像掩膜的效果和精度。
本申请实施方式的图像处理装置包括第一计算模块和第二计算模块，所述第一计算模块用于计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；所述第二计算模块用于根据所述相似度计算更新人像掩膜的动态帧数；所述更新模块用于每隔所述动态帧数更新一次人像掩膜。
本申请实施方式的图像处理装置中，通过计算当前帧的当前图像和缓存的上一帧的历史图像的相似度，然后根据相似度计算更新人像动态帧数，使得更新人像掩膜时可以实时与上一帧获取到的图像进行比较以获取人像变化程度，在相似度较小时，动态帧数较小以较快更新，在人像变化较大时，动态帧数较大以较慢更新；一方面，可以避免由于人像运动较大时以固定帧数更新人像掩膜导致人像掩膜边缘不对齐、切入人像更新不及时等精度较差情形；另一方面，在避免了每帧更新人像掩膜带来的较高功耗的同时还提升了人像掩膜的效果和精度。
本申请实施方式的终端包括处理器，处理器用于：计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；根据所述相似度计算更新人像掩膜的动态帧数；及每隔所述动态帧数更新一次人像掩膜。
本申请实施方式的终端中，通过计算当前帧的当前图像和缓存的上一帧的历史图像的相似度，然后根据相似度计算更新人像动态帧数，使得更新人像掩膜时可以实时与上一帧获取到的图像进行比较以获取人像变化程度，在相似度较小时，动态帧数较小以较快更新，在人像变化较大时，动态帧数较大以较慢更新；一方面，可以避免由于人像运动较大时以固定帧数更新人像掩膜导致人像掩膜边缘不对齐、切入人像更新不及时等精度较差情形；另一方面，在避免了每帧更新人像掩膜带来的较高功耗的同时还提升了人像掩膜的效果和精度。
本申请实施方式的一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现上述任一实施方式所述的图像处理方法。所述图像处理方法包括：计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；根据所述相似度计算更新人像掩膜的动态帧数；及每隔所述动态帧数更新一次人像掩膜。
本申请实施方式的计算机可读存储介质中，通过计算当前帧的当前图像和缓存的上一帧的历史图像的相似度，然后根据相似度计算更新人像动态帧数，使得更新人像掩膜时可以实时与上一帧获取到的图像进行比较以得到人像变化程度，在相似度较小时，动态帧数较小以较快更新，在相似度较大时，动态帧数较大以较慢更新；一方面，可以避免由于人像运动较大时以固定帧数更新人像掩膜导致人像掩膜边缘不对齐、切入人像更新不及时等精度较差情形；另一方面，在避免了每帧更新人像掩膜带来的较高功耗的同时还提升了人像掩膜的效果和精度。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的图像处理方法的流程示意图；
图2是本申请实施方式的终端的模块示意图；
图3是本申请实施方式的图像处理装置的模块示意图；
图4是本申请实施方式的图像处理方法的流程示意图；
图5是本申请实施方式的图像处理装置的第一计算模块的模块示意图；
图6是本申请实施方式的图像处理方法的流程示意图；
图7是本申请实施方式的图像处理装置的第一计算模块的判断单元的模块示意图；
图8是本申请实施方式的图像处理方法的流程示意图；
图9是本申请实施方式的图像处理方法的原理示意图；
图10是本申请实施方式的图像处理方法的流程示意图；
图11是本申请实施方式的图像处理方法的流程示意图；
图12是本申请实施方式的图像处理装置的第二计算模块的模块示意图；
图13是本申请实施方式的图像处理方法的流程示意图；
图14是本申请实施方式的图像处理装置的模块示意图；
图15是本申请实施方式的图像处理方法的流程示意图；
图16是本申请实施方式的图像处理装置的获取模块的模块示意图；
图17是本申请实施方式的图像处理方法的原理示意图；
图18是本申请实施方式的图像处理方法的流程示意图；
图19是本申请实施方式的图像处理装置的更新模块的模块示意图；
图20是本申请实施方式的图像处理方法的原理示意图；和
图21是本申请实施方式的计算机可读存储介质与处理器的连接关系示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。
请参阅图1至图3，本申请实施方式的图像处理方法包括以下步骤：
010：计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；
020：根据相似度计算更新人像掩膜的动态帧数；和
030：每隔动态帧数更新一次人像掩膜。
本申请实施方式的图像处理装置10包括第一计算模块11、第二计算模块12和更新模块13，第一计算模块11、第二计算模块12和更新模块13可以分别用于实现步骤010、步骤020和步骤030。即，第一计算模块11可以用于计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；第二计算模块12可以用于根据相似度计算更新人像掩膜的动态帧数；更新模块13可以用于每隔动态帧数更新一次人像掩膜。
本申请实施方式的终端100包括处理器20，处理器20可以用于：计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；根据相似度计算更新人像掩膜的动态帧数；和每隔动态帧数更新一次人像掩膜。也即是说，处理器20可以用于实现步骤010、步骤020和步骤030。
本申请实施方式的图像处理方法、图像处理装置10和终端100中，通过计算当前帧的当前图像和缓存的上一帧的历史图像的相似度，然后根据相似度计算更新人像动态帧数，使得更新人像掩膜时可以实时与上一帧获取到的图像进行比较以获取人像变化程度，在相似度较小时，动态帧数较小以较快更新，在人像变化较大时，动态帧数较大以较慢更新；一方面，可以避免由于人像运动较大时以固定帧数更新人像掩膜导致人像掩膜边缘不对齐、切入人像更新不及时等精度较差情形；另一方面，在避免了每帧更新人像掩膜带来的较高功耗的同时还提升了人像掩膜的效果和精度。
终端100包括壳体30和处理器20，处理器20安装在壳体30内。终端100具体可以是手机、平板电脑、显示器、智能手表、头显设备、摄像机等，在此不一一列举。本申请实施方式以终端100是手机为例进行说明，可以理解，终端100的具体形式并不限于手机。壳体30还可用于安装终端100的供电装置、成像装置、通信装置等功能模块，以使壳体30为功能模块提供防尘、防摔、防水等保护。
请结合图2，终端100(如手机)一般包括相机40，相机40可以包括前置相机和后置相机，通过前置相机40和/或后置相机40可以进行拍摄以获取照片。当前终端100(如手机)的功能越来越完善，在进行拍照的同时可以对人像进行虚化，以实现更好的视觉效果。人像虚化方法通常是对图像中的人像进行抠图，将人像与背景分离开，然后对背景进行虚化，以实现人像虚化的效果。其中，图像可以是前置相机拍摄的，也可以是后置相机拍摄的，在此不做限制。
具体地，在步骤010中，计算当前帧的当前图像与缓存的上一帧的历史图像的相似度。可以理解，首先需要获取当前帧时终端100获取到的图像作为当前图像，及缓存的上一帧时终端100获取到的图像作为历史图像，相似度具体指的是当前图像与历史图像的相似程度。例如，当前图像与历史图像之间的变化不大时，相似度则比较高；当前图像与历史图像之间的变化较大时，相似度则比较低。
在一个例子中，分别提取当前图像中的第一特征数据和历史图像中的第二特征数据，然后根据第一特征数据和第二特征数据的重合度，计算当前图像和历史图像的相似度。在另一个实施例中，将当前图像和历史图像输入训练模型中，训练模型自动可以计算出当前图像和历史图像的相似度。计算当前帧的当前图像与缓存的上一帧的历史图像的相似度的具体内容并不局限于上述例子中的方法，还可以是其他方法，在此不做限制。
在步骤020中，根据相似度计算更新人像掩膜的动态帧数。可以理解，在步骤010中已经得到当前帧的当前图像和上一帧的历史图像的相似度，可以进一步计算更新人像的动态帧数。例如，相似度与动态帧数呈一一对应的映射关系，通过相似度可以得到与该相似度对应的动态帧数；再例如，相似度与动态帧数之间呈函数关系，函数关系中相似度为自变量、动态帧数为因变量，通过将相似度输入该函数关系中即可计算得到动态帧数。在一个实施例中，相似度与动态帧数之间正相关，即相似度越高，动态帧数越大；相似度越低，动态帧数越小。
其中，人像掩膜(又称人像Mask)具体指的是将图像中的人像抠出来，使得图像中的人像与背景分离。更新人像掩膜即更新图像中的人像，即重新进行一次人像抠图。
在步骤030中，每隔动态帧数更新一次人像掩膜。具体地，在步骤020中已经获取到了当前时刻下更新人像掩膜的动态帧数，然后每隔动态帧数更新一次人像掩膜。例如，当获取到的动态帧数为5时，则每5帧更新一次人像掩膜；动态帧数为1时，则每帧更新一次人像掩膜；动态帧数为10时，则每10帧更新一次人像掩膜。更新人像掩膜的动态帧数越低，对终端100的硬件要求越高，同时产生的功耗的越高，人像掩膜也就更新的越及时。
由于动态帧数是通过比较当前帧的当前图像和上一帧的历史图像之间的相似度得到的，能够实时了解终端100当前拍摄的图像的变化程度，以相匹配对应的动态帧数，使得动态帧数不是固定不变的，会根据当前图像与历史图像动态调整，既避免了在固定帧数下人像运动较大，造成的人像掩膜边缘不对齐、切入人像更新不及时等精度较差情形，又避免了在人像运动较小时每帧更新人像掩膜造成的较高功耗及资源的浪费，同时，还提高了人像掩膜的效果和精度。
请参阅图4和图5，在某些实施方式中，当前图像包括第一图像方向和第一人脸信息，历史图像包括第二图像方向和第二人脸信息，步骤010包括以下步骤：
011：判断第一图像方向是否与第二图像方向相同；
若否，执行步骤012：将相似度赋值为预定数值；和
若是，执行步骤013：根据第一人脸信息与第二人脸信息计算相似度。
在某些实施方式中，第一计算模块11包括判断单元111、赋值单元112和第一计算单元113。判断单元111可以用于判断第一图像方向是否与第二图像方向相等。赋值单元112可以用于在判断单元111的输出结果为否时，将相似度赋值为预定数值。第一计算单元113可以用于在判断单元111的输出结果为是时，根据第一人脸信息与第二人脸信息计算相似度。也即是说，判断单元111可以用于实现步骤011、赋值单元112用于实现步骤012，第一计算单元113用于实现步骤013。
在某些实施方式中，处理器20还可以用于：判断第一图像方向是否与第二图像方向相等；若否，将相似度赋值为预定数值；和若是，根据第一人脸信息与第二人脸信息计算相似度。也即是说，处理器20还可以用于实现步骤011、步骤012或步骤013。
具体地，当前图像包括第一图像方向和第一人脸信息，历史图像包括第二图像方向和第二人脸信息。第一图像方向、第二图像方向具体可以是获取图像时终端100所处的方向，例如可以分为上、下、左、右四个方向，也可以分为上、下、左、右、左上、右上、左下、右下八个方向；还可以分为更多的方向，在此不一一列举。在一个实施例中，第一图像方向和第二图像方向均包括上、下、左、右四个方向，在第一图像方向和/或第二图像方向并非处于上、下、左、右四个方向之一时，以第一图像方向和/或第二图像方向更靠近于哪个方向为判断方向，例如当第一图像方向为自正中方向向右倾斜20度时，则认为第一图像方向为向上；再例如，当第一图像方向为自正中向右倾斜60度时，则认为第一图像方向为向右。
在本申请实施例中，第一图像方向和第二图像方向的可以是指预览、拍照或者视频拍摄模式下终端的旋转方向。第一图像方向和第二图像方向比如可以由终端100的加速度计和陀螺仪等惯性测量单元(Inertial Measurement Unit,IMU)相关参数来确定。
进一步地，第一人脸信息可以包括人脸大小、人脸数目、人脸身份、人脸参数、人脸方向等数据，在此不一一列举。判断第一图像方向是否与第二图像方向相等，若第一图像方向与第二图像方向不相等，则表示当前图像与历史图像之间的差别较大，用户的动作幅度较大，更新人像掩膜应比较频繁，则将相似度赋值为预定数值，然后根据预定数值计算更新人像掩膜的动态帧数。若第一图像方向与第二图像方向相等，可以确定当前图像相较于历史图像未变动方向，则进一步地根据第一人脸信息与第二人脸信息计算相似度，以使计算得到的相似度更加准确。
其中，预定数值可以是预先设置好的数值，例如0、0.01、0.05、0.1、0.2等数值，预定数值应该比较小，以表示当前图像与历史图像之间的相似度较低。预定数值还可以是根据终端100内的处理器20的型号进行确定，以避免预定数值过小导致计算出的动态帧数较小，终端100内的处理器20无法执行或者超负荷执行。
请参阅图6和图7，在某些实施方式中，第一人脸信息包括第一人脸数目、第一人脸身份和第一人脸参数，第二人脸信息包括第二人脸数目、第二人脸身份和第二人脸参数，步骤013包括以下步骤：
0131：判断第一人脸数目与第二人脸数目是否相等；
若否，执行步骤0132：将相似度赋值为预定数值；和
若是，执行步骤0133：判断第一人脸身份与第二人脸身份是否相同；
若否，执行步骤0134：将相似度赋值为预定数值；和
若是，执行步骤0135：根据第一人脸参数和第二人脸参数计算相似度。
在某些实施方式中，第一计算单元113包括第一判断子单元1111、第一赋值子单元1112、第二判断子单元1113、第二赋值子单元1114及计算子单元1115。第一判断子单元1111可以用于判断第一人脸数目与第二人脸数目是否相等。第一赋值子单元1112可以用于在第一判断子单元1111的输出结果为否时，将相似度赋值为预定数值。第二判断子单元1113可以用于在第一判断子单元1111的输出结果为是时，判断第一人脸身份与第二人脸身份是否相同。第二赋值子单元1114可以用于在第二判断子单元1113的输出结果为否时，将相似度赋值为预定数值。计算子单元1115可以用于在第二判断子单元1113的输出结果为是时，根据第一人脸参数和第二人脸参数计算相似度。也即是说，第一判断子单元1111可以实现步骤0131，第一赋值子单元1112可以实现步骤0132，第二判断子单元1113可以用于实现步骤0133、第二赋值子单元1114可以用于实现步骤0134，计算子单元1115可以用于实现步骤0135。
在某些实施方式中，处理器20还可以用于：判断第一人脸数目与第二人脸数目是否相等；若否，将相似度赋值为预定数值；和若是，判断第一人脸身份与第二人脸身份是否相同；若否，将相似度赋值为预定数值；和若是，根据第一人脸参数和第二人脸参数计算相似度。也即是说，处理器20还可以用于实现步骤0131、步骤0132、步骤0133、步骤0134和步骤0135。
具体地，第一人脸数目可以是当前图像中的人脸数目，第二人脸数目可以是历史图像中的人脸数目。第一人脸身份可以是当前图像中的各个人脸对应的身份信息，第二人脸身份可以是历史图像中的各个人脸对应的身份信息。第一人脸参数可以是当前图像中各个人脸的人脸参数(例如人脸大小、眼睛、鼻子、嘴巴、耳朵等参数)，第二人脸参数可以是历史图像中各个人脸的人脸参数(例如人脸大小、眼睛、鼻子、嘴巴、耳朵等参数)。
其中，第一人脸数目、第二人脸数目、第一人脸身份、第二人脸身份、第一人脸参数和第二人脸参数比如可以通过终端100内的图像处理器(Graphics Processing Unit，GPU)等功能模块的相关参数确定的。
首先判断第一人脸数目和第二人脸数目是否相等，若第一人脸数目与第二人脸数目不相等，则表示当前图像相较于历史图像插入了新的人脸或者减少了新的人脸，表明当前图像相较于历史图像的运动幅度较大，当前图像和历史图像之间的相似度较低，则将相似度赋值为预定数值，需要较频繁的更新人像掩膜。若第一人脸数目与第二人脸数目相等，但是并不能确定当前图像相较于历史图像未插入新人脸或者未减少人脸，需要进一步确认第一人脸身份和第二人脸身份是否相同。
若第一人脸身份和第二人脸身份不相同，则表示当前图像和历史图像之间的变化幅度较大，有新的人脸插入且有人脸退出，则将相似度赋值为预设数值，以表明当前图像相较于历史图像变化幅度较大，需要以较快的频率更新人像掩膜(即，动态帧数较小)以使得到的人像掩膜更加清晰、及时。若第一人脸身份和第二人脸身份相同，则需要进一步根据第一人脸参数和第二人脸参数确定当前图像和历史图像之间的相似度，以使最后得到的相似度更加准确，进而使得到的动态帧数更加准确。可以理解，在第一人脸数目和第二人脸数目相等，且第一人脸身份和第二人脸身份相同时，根据第一人脸参数和第二人脸参数计算相似度；若第一人脸数目和第二人脸数目不相等，及/或第一人脸身份和第二人脸身份不相同时，将相似度赋值为预定数值。
例如，在一个例子中，第一人脸数目和第二人脸数目均为四个，当前图像中的第一人脸身份分别为A、B、C和D，历史图像中的第二人脸身份分别为A、B、C和E，虽然第一人脸数目和第二人脸数目相等，但是第一人脸身份和第二人脸身份不相同，如果此时不进一步判断第一人脸身份和第二人脸身份是否相同，容易导致最后得到的动态帧数较大，导致人像掩膜更新不及时的现象。因此，需要进一步判断第一人脸身份和第二人脸身份是否相同，以更好地识别当前图像相较于历史图像的变化程度。
请参阅图7和图8，在某些实施方式中，步骤0135包括以下步骤：
1351：计算第一人脸参数和第二人脸参数的交并比(Intersection over Union，IoU)，以得到相似度，交并比为第一人脸参数和第二人脸参数之间的交集与并集的比值。
在某些实施方式中，计算子单元1115还用于计算第一人脸参数和第二人脸参数的交并比，以得到相似度。也即是说，计算子单元1115还用于实现步骤1351。
在某些实施方式中，处理器20还用于计算第一人脸参数和第二人脸参数的交并比，以得到相似度。也即是说，处理器20还用于实现步骤1351。
具体地，交并比为第一人脸参数和第二人脸参数之间的交集与并集之间的比值，需要首先获取第一人脸参数和第二人脸参数，进一步获取第一人脸参数和第二人脸参数的并集及交集。其中，第一人脸参数和第二人脸参数之间的交集指的是第一人脸参数和第二人脸参数之间相同的部分，第一人脸参数和第二人脸参数之间的并集指的是既包括了第一人脸参数也包括了第二人脸参数。通过计算第一人脸参数和第二人脸参数之间的交并比，可以更加清楚地了解当前图像与历史图像之间的相似度，以使基于相似度计算得到的动态参数更加准确。
请结合图9，在一个实施例中，第一人脸参数为F1(图9中的黑色区域)，第二人脸参数为F2(图9中淡黑色区域)，第一人脸参数与第二人脸参数之间的交集为F12(即，图X中的F1与F2重合的部分)，第一人脸参数与第二人脸参数之间的并集为F21(即，图X中的F1+F2-F12)，则交并比Iou＝F12/F1+F2-F12。
在当前图像和历史图像中人脸数目为多个时，每个人脸之间可以得到一个交并比，第一人脸参数和第二人脸参数之间的交并比IoU可以是多个交并比中的最小值、也可以是多个交并比的平均值、还可以是多个交并比中的最大值、还可以是融合多个交并比最后得到的值，具体在此不做限制。
在得到了第一人脸参数和第二人脸参数之间的交并比后，可以进一步根据交并比得到当前图像和历史图像之间的相似度。例如，可以直接将得到的交并比作为相似度；或者，相似度与交并比之间呈一一对应的映射关系，根据交并比可以计算得到对应的相似度。当然，还可以根据其他方式通过交并比得到相似度。
进一步地，请参阅图7和图10，在某些实施方式中，第一人脸参数包括至少一个第一子人脸参数，第二人脸参数包括至少一个第二子人脸参数；每个第一人脸身份对应一个第一人脸子参数，每个第二人脸身份对应一个第二人脸子参数；步骤1351包括以下步骤：
13511：计算每个第一子人脸参数与对应的第二子人脸参数之间的子交并比；和
13512：获取子交并比中的最小值，以作为相似度。
在某些实施方式中，计算子单元1115还可以用于：计算每个第一子人脸参数与对应的第二子人脸参数之间的子交并比；和获取子交并比中的最小值，以作为相似度。也即是说，计算子单元1115还可以用于实现步骤13511和步骤13512。
在某些实施方式中，处理器20还可以用于：计算每个第一子人脸参数与对应的第二子人脸参数之间的子交并比；和获取子交并比中的最小值，以作为相似度。也即是说，计算子单元1115还可以用于实现步骤13511和步骤13512。
具体地，第一人脸参数包括至少一个第一子人脸参数，第二人脸参数包括至少一个第二子人脸参数。可以理解，当前图像和历史图像中的人脸数目至少为一个，例如当前图像和历史图像中的人脸数目可以是一个、两个、三个、四个、五个、六个或更多数量。由于当前图像和历史图像中的人脸数目和人脸身份均相同，需要进一步计算当前图像中的每个第一子人脸参数与历史图像中对应的第二子人脸参数之间的子交并比，然后遍历所有的子交并比，寻找出子交并比中的最小值IoUmin，作为第一人脸参数和第二人脸参数之间的交并比，并将该交并比作为当前图像与历史图像的相似度。
在一个例子中，当前图像和历史图像中的人脸数目为三个，分别为人物P1、P2和P3，当前图像中的第一子人脸参数为P11、P21、P31，历史图像中的第二子人脸参数为P12、P22、P32。然后，依据第一子人脸参数P11和第一子人脸参数P21计算人物P1的子交并比IoU1，依据第一子人脸参数P21和第一子人脸参数P22计算人物P2的子交并比IoU2，依据第一人脸参数P31和第二子人脸参数P32计算人物P3的子交并比IoU3。在然后，比较IoU1、IoU2和IoU3的大小，寻找出IoU1、IoU2和IoU3中的最小值作为第一人脸参数和第二人脸参数的交并比及当前图像和历史图像的相似度，然后依据该相似度计算更新人像掩膜的动态帧数。
在另一个例子中，当前图像和历史图像中的人脸数目为一个，为人物Q1，当前图像中的第一子人脸参数为Q11，历史图像中的第二子人脸参数为Q12。依据第一子人脸参数Q11和第二子人脸参数为Q12计算人物Q1的子交并比IoUq，由于只有一个人脸，则子交并比IoUq即为第一人脸参数和第二人脸参数的交并比及当前图像和历史图像的相似度。
进一步地，在某些实施方式中，相似度为预定数值时计算得到的动态帧数小于相似度为子交并比中的最小值计算得到的动态帧数。如上述实施例可知，相似度为预定数值时，即表明当前图像相较于历史图像变化程度较大，需要以较快的频率进行更新人像掩膜。如此，最终得到的人像掩膜的清晰度较高，使得最后得到的视觉效果更好。
具体地，在一个实施例中，预定数值为0，即，在当前图像的第一图像方向与历史图像的第二图像方向不一致时，输出当前图像和历史图像的相似度为0；在当前图像中的第一人脸数目和历史图像中的第二人脸数目不一致时，输出当前图像和历史图像的相似度为0；在当前图像中的第一人脸身份和历史图像中的第二人脸身份不一致时，输出当前图像和历史图像的相似度为0；相似度为0时对应的更新人像掩膜的动态帧数为1，即需要每帧更新人像掩膜。
进一步地，计算第一人脸参数和第二人脸参数的交并比得到的相似度大于或等于0，同时，依据交并比计算得到的动态帧数应该大于或等于1，使得当前图像相较于历史图像的变动程度越大则相应的动态帧数越大，以可以更快的更新人像掩膜。
请参阅图11和图12，在某些实施方式中，步骤020包括以下步骤：
021：基于预设的映射关系，根据相似度计算初始动态帧数；和
022：根据预设的取整规则对初始动态帧数进行取整，以得到动态帧数。
在某些实施方式中，计算模块包括第二计算单元121和取整单元122。第二计算单元121可以用于基于预设的映射关系，根据相似度计算初始动态帧数。取整单元122可以用于根据预设的取整规则对初始动态帧数进行取整，以得到动态帧数。也即是说，第二计算单元121可以用于实现步骤021，取整单元122可以用于实现步骤022。
在某些实施方式中，处理器20还可以用于：基于预设的映射关系，根据相似度计算初始动态帧数；和根据预设的取整规则对初始动态帧数进行取整，以得到动态帧数。也即是说，处理器20还可以用于实现步骤021和步骤022。
具体地，预设的映射关系中包括了相似度与更新人像掩膜的初始动态帧数之间的对应关系，预设的映射关系可以是包括了相似度和初始动态帧数的映射表，映射表中包括了各个相似度对应的初始动态帧数。预设的映射关系也可以是一个函数，函数中相似度为自变量，动态帧数为因变量，输入相似度可以得到对应的初始动态帧数。预设的映射关系比如可以通过读取终端100的存储器的相关数据确定。
在一个实施例中，初始动态帧数为N，相似度为I，预设的映射关系为N＝aI+b，其中a和b均为系数，可以根据实际情况进行求取；例如a和b可以根据终端100能够处理的N的最大值和最小值决定，例如当终端100内的处理器20为较高端的处理器20，则a和b可以相对较小；当终端100内的处理器20为较低端的处理器20时，则a和b可以相对较大一些。可以理解，a和b也可以根据终端100的处理器20型号预先设置好的。
然而，这样得到的初始动态帧数可能不是整数，而是具有小数点的数值，例如，1.05、2.56、3.42等数值，如果直接将初始动态帧数作为更新人像掩膜的动态帧数，容易导致终端100的系统发生紊乱，无法准确地更新人像掩膜。
进一步地，在获取到了初始动态帧数后，根据预设的取整规则对初始动态帧数进行取整，以使最后得到的动态帧数为整数，以更加准确的更新人像掩膜。其中，预设的取整规则可以是取初始动态帧数最靠近的整数。例如，当初始动态帧数为2.65时，则取整后得到的动态帧数为3；或者，初始动态帧数为2.35时，则取整后得到的动态帧数为2；再或者，初始动态帧数为2.5时，则取2或3作为最后的动态帧数。预设的取整规则还可以是取去除初始动态帧数中的小数值后得到的整数，例如，初始动态帧数为1.7时，取1作为动态帧数；或者，初始动态帧数为2.3时，取2作为动态帧数。需要说明的是，如果计算得到的初始动态帧数小于1时，则取1作为动态帧数。
当然，对初始动态帧数进行取整的方法并不局限于上述实施方式所述的内容，还可以是其他方法，在此不做限制。
请参阅图13和图14，在某些实施方式中，在执行步骤010之前，图像处理方法还包括以下步骤：
001：分别获取当前图像和历史图像中的每个人脸的人脸大小；和
002：将当前图像和历史图像中人脸大小小于人脸大小阈值的人脸清除。
在某些实施方式中，图像处理装置10还包括获取模块14和清除模块15。获取模块14可以用于分别获取当前图像和历史图像中的每个人脸的人脸大小。清除模块15可以用于将当前图像和历史图像中人脸大小小于人脸大小阈值的人脸清除。也即是说，获取模块14可以用于实现步骤001，清除模块15可以用于实现步骤002。
在某些实施方式中，处理器20还可以用于：分别获取当前图像和历史图像中的每个人脸的人脸大小；和将当前图像和历史图像中人脸大小小于人脸大小阈值的人脸清除。也即是说，处理器20还可以实现步骤001和步骤002。
具体地，在计算当前图像和历史图像的相似度之前，获取当前图像中每个人脸的人脸大小和获取历史图像中的每个人脸的人脸大小，可以是获取当前图像中每个人脸的人脸轮廓，然后通过算法计算出人脸轮廓的体积；也可以是找一个框将每个人脸框起来，然后计算该框的大小；获取历史图像中的每个人脸的人脸大小的方法与获取当前图像中的每个人脸的人脸大小的方法可以是相同的，也可以是不相同的，在此不做介绍。其中，获取图像中每个人脸的人脸大小不局限于上述实施方式中所述的方式，还可以是其他任意方式，具体在此不做限制。人像大小比如可以根据终端100内的GPU等功能模块的参数确定。
进一步地，将当前图像和历史图像中的人脸大小小于人脸大小阈值时可以认为该人脸为干扰人物(即，路人甲)，需要将当前图像中的人脸大小小于人脸大小阈值的人脸清除及将历史图像中人脸大小小于人脸大小阈值的人脸清除，即将当前图像和历史图像中的干扰人物清除，避免了干扰人物对计算相似度的影响，使得最后计算得到的当前图像和历史图像的相似度更加准确，进而使计算得到的动态帧数更加准确，以使最终获取到的人像掩膜更加清晰，同时人像掩膜的同步性比较好。
其中，人脸大小阈值可以是预先设置好的数值，也可以根据终端100与人脸之间的距离实时调整，例如当终端100与人脸之间的距离越近时，则人脸大小阈值越大，终端100与人脸之间的距离越小是，则人脸大小阈值越小，以避免固定数值导致错误的清除人脸或者未将干扰人物清除，进一步提升了最后得到的动态帧数更加准确。
请参阅图15至图17，在某些实施方式中，步骤001包括以下步骤：
0011：识别当前图像和历史图像中的人脸，以使用人脸框将人脸框住；
0012：获取人脸框的预定坐标点的位置坐标；和
0013：根据位置坐标确定人脸框的大小，以作为人脸大小。
在某些实施方式中，获取模块14包括识别单元141、获取单元142和确定单元143。识别单元141、获取单元142和确定单元143可以分别用于实现步骤0011、步骤0012和步骤0013。也即是说，识别单元141可以用于识别当前图像和历史图像中的人脸，以使用人脸框将人脸框住；获取单元142可以用于获取人脸框的预定坐标点的位置坐标；确定单元143可以用于根据位置坐标确定人脸框的大小，以作为人脸大小。
在某些实施方式中，处理器20还可以用于：识别当前图像和历史图像中的人脸，以使用人脸框将人脸框住；获取人脸框的预定坐标点的位置坐标；和根据位置坐标确定人脸框的大小，以作为人脸大小。也即是说，处理器20还可以用于实现步骤0011、步骤0012和步骤0013。
具体地，首先对当前图像和历史图像中的人脸进行识别，在识别到人脸时使用人脸框将人脸框柱。其中，人脸框可以是规则的框形，例如圆形、长方形、正方形、三角形、正五边形、正六边形等更多规则的形状，在此不一一列举，人脸框也可以是不规则的图形，例如不规则的弧形、多边形等等。通过使用人脸框框柱人脸，以便于计算人脸大小。
将人脸框柱后，获取人脸框的预定坐标点的位置坐标，预定坐标点可以较大范围辐射人脸框，例如预设坐标点可以是左上顶点和右下顶点的位置坐标；再例如，预设坐标点可以是左上顶点、右上顶点、左下顶点、右下顶点的位置坐标；再例如，预设坐标点可以左下顶点及右上顶点。当然，预设坐标点并不限于上述实施方式所述的位置，还可以是其他位置，具体在此不做限制。
在获取到人脸框的预定坐标点的位置坐标后，根据位置坐标计算人脸框的大小，以作为人脸大小。例如，根据预定坐标点的位置坐标可以获取到人脸框的宽和高，进一步计算得到人脸框的大小；或者，将人脸框及预定坐标点的位置坐标输入计算模型中，计算模型可以计算出人脸框的大小。
在一个实施例中，请结合图17，当前图像及历史图像的人脸框包括x、y、dx、dy属性，其中x和y为人脸框的左上顶点坐标，dx为人脸框宽，dy为人脸框高，由此，可以计算得到人脸框的大小以作为框内的人脸大小。
在另一个实施例中，请结合图17，当前图像及历史图像的人脸框包括x1、y1、x2、y2属性，其中，(x1、y1)为人脸框的左上顶点坐标、(x2、y2)为人脸框的右下顶点坐标，根据(x1、y1)和(x2、y2)可以计算人脸框的大小，例如通过(x1、y1)和(x2、y2)构建四边形，然后计算四边形的面积。
请参阅图18和图19，在某些实施方式中，步骤030包括以下步骤：
031：基于预设训练模型，每隔动态帧数对获取到的图像进行一次人像分割，以将图像中的人像和背景分离；和
032：提取人像，以对人像进行虚化处理。
在某些实施方式中，更新模块13包括分割单元131和提取单元132，分割单元131可以用于基于预设训练模型，每隔动态帧数对获取到的图像进行一次人像分割，以将图像中的人像和背景分离；提取单元132可以用于提取人像，以对人像进行虚化处理。也即是说，分割单元131可以用于实现步骤031，提取单元132可以用于实现步骤032。
在某些实施方式中，处理器20还可以用于：基于预设训练模型，每隔动态帧数对获取到的图像进行一次人像分割，以将图像中的人像和背景分离；和提取人像，以对人像进行虚化处理。也即是说，处理器20还可以用于实现步骤031和步骤032。
具体地，预设训练模型可以是预先设置好的训练模型，预设训练模型中的训练数据可以由人像数据集构成，其中，人的身体是一种类别，背景是一种类别。预设训练模型可以是卷积神经网络(Convolutional Neural Networks，CNN)或者其他预先设置好的模型。在获取到动态帧数后，可以根据得到的动态帧数，每隔动态帧数跑一次CNN模型，以更新人像掩膜。在CNN模型中可以对图像进行人像分割，能够将图像中的人像和背景分离出来。可以理解，每跑一次CNN模型，即可分离一次人像和背景。
更具体地，人像分割卷积神经网络采用的算法可以包括但不限于deeplab系列分割算法、U-Net、全卷积神经网络(Fully Convolutional Networks，FCN)等算法。预设训练模型可以根据终端100的存储器中的存储数据确定。
请结合图20，在一个实施例中，预设训练模型包括Encoder特征编码模块和Decoder目标模板生成模块，将当前帧的当前图像的RGB三通道图像信息和上一帧的历史图像中的人像掩膜信息连接成一个四通道数组作为网络输入，Encoder特征编码模块从输入的当前图像信息和上一帧的人像掩膜信息中提取有判别力的语义特征，以作为Decoder目标模板生成模块的输入，Decoder目标模板生成模块根据输入的语义特征，输出当前帧的人像掩膜图像。
进一步地，得到人像掩膜后，可以用于后续应用的使用。例如，可以对该人像进行虚化处理，即将背景进行虚化，然后可以得到虚化后的图像。还可以用于其他处理，具体在此不做限制。
请参阅图2和图21，本申请实施方式的一个或多个包含计算机程序301的非易失性计算机可读存储介质300，当计算机程序301被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的图像处理方法。
例如，请结合图1和图3，当计算机程序301被一个或多个处理器20执行时，使得处理器20执行以下步骤：
010：计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；
020：根据相似度计算更新人像掩膜的动态帧数；和
030：每隔动态帧数更新一次人像掩膜。
再例如，请结合图18，当计算机程序301被一个或多个处理器20执行时，处理器20还可以执行以下步骤：
031：基于预设的映射关系，根据相似度计算初始动态帧数；和
032：根据预设的取整规则对初始动态帧数进行取整，以得到动态帧数。
在本说明书的描述中，参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (24)

1.一种图像处理方法，应用于具备图像拍摄功能的终端，其特征在于，包括：
计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；
根据所述相似度计算更新人像掩膜的动态帧数；及
每隔所述动态帧数更新一次人像掩膜。
2.根据权利要求1所述的图像处理方法，其特征在于，所述当前图像包括第一图像方向和第一人脸信息；所述历史图像包括第二图像方向和第二人脸信息；所述计算当前帧的当前图像与上一帧的历史图像的相似度，包括：
在所述第一图像方向与所述第二图像方向相同时，根据所述第一人脸信息与所述第二人脸信息计算所述相似度。
3.根据权利要求2所述的图像处理方法，其特征在于，所述第一人脸信息包括第一人脸数目、第一人脸身份和第一人脸参数，所述第二人脸信息包括第二人脸数目、第二人脸身份和第二人脸参数，所述根据所述第一人脸信息与所述第二人脸信息计算所述相似度，包括：
在所述第一人脸数目与所述第二人脸数目相等，且所述第一人脸身份与所述第二人脸身份相同时，根据所述第一人脸参数和所述第二人脸参数计算所述相似度。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述第一人脸参数和所述第二人脸参数计算所述相似度，包括：
计算所述第一人脸参数和所述第二人脸参数的交并比，以得到所述相似度，所述交并比为所述第一人脸参数和所述第二人脸参数之间的交集与并集的比值。
5.根据权利要求4所述的图像处理方法，其特征在于，所述第一人脸参数包括至少一个第一子人脸参数，所述第二人脸参数包括至少一个第二子人脸参数；每个所述第一人脸身份对应一个所述第一子人脸参数，每个所述第二人脸身份对应一个所述第二人脸子参数；所述计算所述第一人脸参数和所述第二人脸参数的交并比，以得到所述相似度，包括：
计算每个所述第一子人脸参数与对应的所述第二子人脸参数之间的子交并比；及
获取所述子交并比中的最小值，以作为所述相似度。
6.根据权利要求5所述的图像处理方法，其特征在于，在第一图像方向与所述第二图像方向不相同时，或，
所述第一人脸数目与所述第二人脸数目不相同时，或，
所述第一人脸身份与所述第二人脸身份相同时，
将所述相似度赋值为预定数值。
7.根据权利要求6所述的图像处理方法，其特征在于，所述相似度为所述预定数值时计算得到的所述动态帧数小于所述相似度为所述子交并比中的最小值计算得到的所述动态帧数。
8.根据权利要求2-6任意一项所述的图像处理方法，其特征在于，所述根据所述相似度计算更新人像掩膜的动态帧数，包括：
基于预设的映射关系，根据所述相似度计算所述初始动态帧数；及
根据预设的取整规则对所述初始动态帧数进行取整，以得到所述动态帧数。
9.根据权利要求1所述的图像处理方法，其特征在于，在所述计算当前帧的当前图像与上一帧的历史图像的相似度之前，所述图像处理方法还包括：
分别获取所述当前图像和所述历史图像中的每个人脸的人脸大小；及
将所述当前图像和所述历史图像中所述人脸大小小于人脸大小阈值的人脸清除。
10.根据权利要求9所述的图像处理方法，其特征在于，所述分别获取所述当前图像和所述历史图像中的每个人脸的人脸大小，包括：
识别所述当前图像和所述历史图像中的人脸，以使用人脸框将所述人脸框住；
获取所述人脸框的预定坐标点的位置坐标；及
根据所述位置坐标确定所述人脸框的大小，以作为所述人脸大小。
11.根据权利要求1所述的图像处理方法，其特征在于，所述每隔所述动态帧数更新一次人像掩膜，包括：
基于预设训练模型，每隔所述动态帧数对获取到的图像进行一次人像分割，以将图像中的人像和背景分离；及
提取所述人像，以对所述人像进行虚化处理。
12.一种图像处理装置，应用于具备图像拍摄功能的终端，其特征在于，包括：
第一计算模块，所述第一计算模块用于计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；
第二计算模块，所述第二计算模块用于根据所述相似度计算更新人像掩膜的动态帧数；及
更新模块，所述更新模块用于每隔所述动态帧数更新一次人像掩膜。
13.一种具备图像拍摄功能的终端，其特征在于，所述终端包括处理器，所述处理器用于：
计算当前帧的当前图像与缓存的上一帧的历史图像的相似度；
根据所述相似度计算更新人像掩膜的动态帧数；及
每隔所述动态帧数更新一次人像掩膜。
14.根据权利要求13所述的终端，其特征在于，所述第一人脸信息包括第一人脸数目、第一人脸身份和第一人脸参数，所述第二人脸信息包括第二人脸数目、第二人脸身份和第二人脸参数，所述处理器还用于：
在所述第一图像方向与所述第二图像方向相同时，根据所述第一人脸信息与所述第二人脸信息计算所述相似度。
15.根据权利要求14所述的终端，其特征在于，所述第一人脸信息包括第一人脸数目、第一人脸身份和第一人脸参数，所述第二人脸信息包括第二人脸数目、第二人脸身份和第二人脸参数，所述处理器还用于：
在所述第一人脸数目与所述第二人脸数目相等，且所述第一人脸身份与所述第二人脸身份相同时，根据所述第一人脸参数和所述第二人脸参数计算所述相似度。
16.根据权利要求15所述的终端，其特征在于，所述处理器还用于：
计算所述第一人脸参数和所述第二人脸参数的交并比，以得到所述相似度，所述交并比为所述第一人脸参数和所述第二人脸参数之间的交集与并集的比值。
17.根据权利要求16所述的终端，其特征在于，所述第一人脸参数包括至少一个第一子人脸参数，所述第二人脸参数包括至少一个第二子人脸参数；每个所述第一人脸身份对应一个所述第一子人脸参数，每个所述第二人脸身份对应一个所述第二人脸子参数；所述处理器还用于：
计算每个所述第一子人脸参数与对应的所述第二子人脸参数之间的子交并比；及
获取所述子交并比中的最小值，以作为所述相似度。
18.根据权利要求17所述的终端，其特征在于，在第一图像方向与所述第二图像方向不相同时，或，
所述第一人脸数目与所述第二人脸数目不相同时，或，
所述第一人脸身份与所述第二人脸身份相同时，
将所述相似度赋值为预定数值。
19.根据权利要求18所述的终端，其特征在于，所述相似度为所述预定数值时计算得到的所述动态帧数小于所述相似度为所述子交并比中的最小值计算得到的所述动态帧数。
20.根据权利要求14-18任意一项所述的终端，其特征在于，所述处理器还用于：
基于预设的映射关系，根据所述相似度计算所述初始动态帧数；及
根据预设的取整规则对所述初始动态帧数进行取整，以得到所述动态帧数。
21.根据权利要求13所述的终端，其特征在于，在所述计算当前帧的当前图像与上一帧的历史图像的相似度之前，所述处理器还用于：
分别获取所述当前图像和所述历史图像中的每个人脸的人脸大小；及
将所述当前图像和所述历史图像中所述人脸大小小于人脸大小阈值的人脸清除。
22.根据权利要求21所述的终端，其特征在于，所述处理器还用于：
识别所述当前图像和所述历史图像中的人脸，以使用人脸框将所述人脸框住；
获取所述人脸框的预定坐标点的位置坐标；及
根据所述位置坐标确定所述人脸框的大小，以作为所述人脸大小。
23.根据权利要求13所述的终端，其特征在于，所述处理器还用于：
基于预设训练模型，每隔所述动态帧数对获取到的图像进行一次人像分割，以将图像中的人像和背景分离；及
提取所述人像，以对所述人像进行虚化处理。
24.一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现权利要求1至11任意一项所述的图像处理方法。
CN202010887414.6A 2020-08-28 2020-08-28 图像处理方法及装置、终端及可读存储介质 Withdrawn CN112016469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010887414.6A CN112016469A (zh) 2020-08-28 2020-08-28 图像处理方法及装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010887414.6A CN112016469A (zh) 2020-08-28 2020-08-28 图像处理方法及装置、终端及可读存储介质

Publications (1)

Publication Number Publication Date
CN112016469A true CN112016469A (zh) 2020-12-01

Family

ID=73503786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010887414.6A Withdrawn CN112016469A (zh) 2020-08-28 2020-08-28 图像处理方法及装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN112016469A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066092A (zh) * 2021-03-30 2021-07-02 联想(北京)有限公司 视频对象分割方法、装置及计算机设备
CN113132638A (zh) * 2021-04-22 2021-07-16 Oppo广东移动通信有限公司 视频处理方法、视频处理系统、移动终端及可读存储介质
CN113205011A (zh) * 2021-04-19 2021-08-03 Oppo广东移动通信有限公司 图像掩膜确定方法及装置、存储介质和电子设备
CN113313626A (zh) * 2021-05-20 2021-08-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN114333030A (zh) * 2021-12-31 2022-04-12 科大讯飞股份有限公司 图像处理方法、装置、设备及存储介质
CN115965944A (zh) * 2023-03-09 2023-04-14 安徽蔚来智驾科技有限公司 目标信息的检测方法、设备、驾驶设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334398A1 (en) * 2014-05-15 2015-11-19 Daniel Socek Content adaptive background foreground segmentation for video coding
US20170372479A1 (en) * 2016-06-23 2017-12-28 Intel Corporation Segmentation of objects in videos using color and depth information
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备
CN109409962A (zh) * 2018-11-08 2019-03-01 北京旷视科技有限公司 图像处理方法、装置、电子设备、计算机可读存储介质
US20200193609A1 (en) * 2018-12-18 2020-06-18 Qualcomm Incorporated Motion-assisted image segmentation and object detection
CN111415358A (zh) * 2020-03-20 2020-07-14 Oppo广东移动通信有限公司 图像分割方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334398A1 (en) * 2014-05-15 2015-11-19 Daniel Socek Content adaptive background foreground segmentation for video coding
US20170372479A1 (en) * 2016-06-23 2017-12-28 Intel Corporation Segmentation of objects in videos using color and depth information
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备
CN109409962A (zh) * 2018-11-08 2019-03-01 北京旷视科技有限公司 图像处理方法、装置、电子设备、计算机可读存储介质
US20200193609A1 (en) * 2018-12-18 2020-06-18 Qualcomm Incorporated Motion-assisted image segmentation and object detection
CN111415358A (zh) * 2020-03-20 2020-07-14 Oppo广东移动通信有限公司 图像分割方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李珣，南恺恺，景军锋: ""基于改进混合高斯模型的车辆多目标检测方法"", 《西安工程大学学报》, vol. 31, no. 6, pages 796 - 801 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066092A (zh) * 2021-03-30 2021-07-02 联想(北京)有限公司 视频对象分割方法、装置及计算机设备
CN113066092B (zh) * 2021-03-30 2024-08-27 联想(北京)有限公司 视频对象分割方法、装置及计算机设备
CN113205011A (zh) * 2021-04-19 2021-08-03 Oppo广东移动通信有限公司 图像掩膜确定方法及装置、存储介质和电子设备
CN113205011B (zh) * 2021-04-19 2024-07-05 Oppo广东移动通信有限公司 图像掩膜确定方法及装置、存储介质和电子设备
CN113132638A (zh) * 2021-04-22 2021-07-16 Oppo广东移动通信有限公司 视频处理方法、视频处理系统、移动终端及可读存储介质
CN113313626A (zh) * 2021-05-20 2021-08-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN114333030A (zh) * 2021-12-31 2022-04-12 科大讯飞股份有限公司 图像处理方法、装置、设备及存储介质
CN115965944A (zh) * 2023-03-09 2023-04-14 安徽蔚来智驾科技有限公司 目标信息的检测方法、设备、驾驶设备和介质
CN115965944B (zh) * 2023-03-09 2023-05-09 安徽蔚来智驾科技有限公司 目标信息的检测方法、设备、驾驶设备和介质

Similar Documents

Publication Publication Date Title
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
US10198823B1 (en) Segmentation of object image data from background image data
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN110610453B (zh) 一种图像处理方法、装置及计算机可读存储介质
WO2016101883A1 (zh) 一种即时视频中的人脸美化方法和电子设备
US6526161B1 (en) System and method for biometrics-based facial feature extraction
WO2022083504A1 (en) Machine-learning model, methods and systems for removal of unwanted people from photographs
TWI607409B (zh) 影像優化方法以及使用此方法的裝置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110348496B (zh) 一种人脸图像融合的方法及系统
KR20200023651A (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
EP3912338B1 (en) Sharing physical writing surfaces in videoconferencing
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN109313797B (zh) 一种图像显示方法及终端
CN108304840B (zh) 一种图像数据处理方法以及装置
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN107153806B (zh) 一种人脸检测方法及装置
CN109376618B (zh) 图像处理方法、装置及电子设备
CN114674826A (zh) 基于布匹的视觉检测方法及检测系统
CN115761827A (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN104156689B (zh) 一种对目标对象的特征信息进行定位的方法和设备
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP4496005B2 (ja) 画像処理方法および画像処理装置
CN110570441B (zh) 一种超高清低延时视频控制方法及系统
CN114155268A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201201

WW01 Invention patent application withdrawn after publication