CN112132085A - 一种图像处理方法、电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、电子设备，该方法包括：获得第一采集视频；识别第一采集视频中第一对象至少一个特定点；获取第一操作，第一操作是对至少一个特定点中第一特定点的操作；根据第一操作对第一采集视频进行第一处理，得到第一处理视频；第一处理至少包括对第一特征点对应的区域进行处理；对获得的第二采集视频进行分析；在第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果；根据显示策略对第二采集视频或第一处理视频进行处理，得到第二处理视频并显示第二处理视频。

Description

一种图像处理方法、电子设备

技术领域

本申请实施例涉及图像处理技术，涉及但不限于一种图像处理方法、电子设备。

背景技术

相关技术中对图像或视频进行的处理无法达到用户期待的效果，影响了用户使用体验。因此，如何满足用户对图像或视频处理的需求，提高用户体验感是本领域技术人员需要重点考虑的问题。

发明内容

有鉴于此，本申请实施例提供一种图像处理方法、电子设备。

本申请实施例的技术方案是这样实现的：

一方面，本申请实施例提供一种图像处理方法，所述方法包括：

获得第一采集视频；

识别所述第一采集视频中第一对象至少一个特定点；

获取第一操作，所述第一操作是对所述至少一个特定点中第一特定点的操作；

根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

对获得的第二采集视频进行分析；

在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果；

根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频。

另一方面，本申请实施例提供一种图像处理装置，所述装置包括：

第一获得模块，用于获得第一采集视频；

第一识别模块，用于识别所述第一采集视频中第一对象至少一个特定点；

第二获得模块，用于获取第一操作，所述第一操作是对所述至少一个特定点中第一特定点的操作；

第三获得模块，用于根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

分析模块，用于对获得的第二采集视频进行分析；

显示模块，用于在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果；

处理模块，用于根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频。

再一方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的步骤。

再一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。

本公开提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现上述一个或多个实施例中的图像处理方法。

本申请实施例中，一方面，获取第一操作，所述第一操作是对所述至少一个特定点中第一特定点的操作；根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；这样，可以通过所述第一操作，对第一特定点以及第一特定点对应的区域进行处理，保证了处理区域的确定性，提升了对图像或视频进行处理的准确性，满足了用户需求，提高了用户体验感。另一方面，在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果，这样，可以实现对不同特定点对应的区域进行不同的处理操作，满足了用户对不同区域进行不同优化的需求，提高用户体验感。

附图说明

图1为本申请实施例图像处理方法的实现流程示意图；

图2A为本申请实施例图像处理方法的实现流程示意图；

图2B为本申请实施例图像处理方法的实现流程示意图；

图2C为本申请实施例图像处理方法的实现效果示意图；

图2D为本申请实施例图像处理方法的实现效果示意图；

图3A为本申请实施例图像处理方法的实现流程示意图；

图3B为本申请实施例图像处理方法的实现效果示意图；

图3C为本申请实施例图像处理方法的实现流程示意图；

图4A为本申请实施例图像处理方法的实现流程示意图；

图4B为本申请实施例图像处理方法中高密度人脸关键点检测结果示意图；

图5为本申请实施例图像处理装置的组成结构示意图；

图6为本申请实施例中电子设备的一种硬件实体示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

下面结合附图和实施例对本申请的技术方案进一步详细阐述。

本申请实施例提供一种图像处理方法，图1为本申请实施例图像处理方法的实现流程示意图，如图1所示，该方法包括：

步骤S101，获得第一采集视频；

这里，所述第一采集视频为通过图像采集设备拍摄的原始视频。这里，所述图像采集设备可以为：摄像头、摄像机和其他带有拍照功能的移动终端。所述原始视频为未经过编辑、剪辑和特效处理的视频。

这里，所述第一采集视频中包括至少一个人物的完整面部视频信息。

步骤S102，识别所述第一采集视频中第一对象至少一个特定点；

这里，所述第一对象可以为人物，所述至少一个特定点可以为通过识别包括所述人物的帧图像中的面部信息，得到的人脸关键点。这里，所述识别可以通过高密度人脸关键点检测实现。

步骤S103，获取第一操作，所述第一操作是对所述至少一个特定点中第一特定点的操作；

这里，所述第一特定点可以为检测出的人脸关键点，例如，可以为眉毛的边缘。

所述第一操作可以为对识别出的所述第一特定点进行的美化操作，或者，可以为对所述第一特定点进行的放大操作。

步骤S104，根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

这里，所述第一处理为根据所述第一操作，对所述第一采集视频进行的。这里，所述第一处理的对象可以为所述第一特定点对应的区域。这里，所述第一处理视频为对所述第一操作处理后的视频。例如，可以为对所述第一特定点美化后的视屏，或者，可以为放大后的视频。

步骤S105，对获得的第二采集视频进行分析；

这里，所述第二采集视频可以为所述关键点发生改变的视频。例如，用户用任何物品挡住了关键点，或者，所述关键点再移动时。

步骤S106，在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果；

这里，所述特定条件可以为，判断所述第一特定点对应的区域有物品遮挡，或者，判断所述第一特定点对应的区域进行了移动。这里，所述第二特定点可以为非遮挡区域，或者，为待放大区域，例如，在美化人脸信息时，为未被遮挡的眉毛区域；在放大操作中，为被放大区域。所述第三特定点可以为被遮挡的区域，或者，为非放大区域。例如，可以为被遮挡的眉毛区域和非眉毛区域，或者，不进行放大操作区域。

这里，所述显示策略可以为对非遮挡区域添加美化图样的效果；对遮挡区域显示未添加美化图样的效果。或者，可以为对待放大区域进行的放大。

步骤S107，根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频。

这里，所述第二处理视频可以为对非遮挡区域添加美化图样，而对其他遮挡区域不添加；或者，可以为对待放大区域进行的放大。

本申请实施例中，一方面，获取第一操作，所述第一操作是对所述至少一个特定点中第一特定点的操作；根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；这样，可以通过所述第一操作，对第一特定点以及第一特定点对应的区域进行处理，保证了处理区域的确定性，提升了对图像或视频进行处理的准确性，满足了用户需求，提高了用户体验感。另一方面，在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果，这样，可以实现对不同特定点对应的区域进行不同的处理操作，满足了用户对不同区域进行不同优化的需求，提高用户体验感。

本申请实施例提供一种图像处理方法，图2A为本申请实施例图像处理方法的实现流程示意图，如图2A所示，该方法包括：

步骤S201，获得第一采集视频；

步骤S202，识别所述第一采集视频中第一对象至少一个特定点；

步骤S203，获取第一操作，所述第一操作为对所述第一特定点进行添加装扮图样的操作；

这里，所述添加装扮图样的操作可以为美化五官的操作。例如，可以为对眉毛进行画眉的操作。

步骤S204，根据所述添加装扮图样的操作，对所述第一采集视频中所述第一特征点对应的区域进行添加装扮图样，得到第一处理视频；

这里，所述第一处理视频可以为美化五官后的视频。例如，可以为为眉毛添加了眉形之后的视频。

步骤S205，对获得的第二采集视频进行分析；

步骤S206，在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果；

步骤S207，根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频。

本申请实施例提供的图像处理方法，根据所述添加装扮图样的操作，对所述第一采集视频中所述第一特征点对应的区域进行添加装扮图样，得到第一处理视频，这样，可以实现对特定区域进行人物特征美化的效果，实现对特定区域的美化。

本申请实施例提供一种图像处理方法，图2B为本申请实施例图像处理方法的实现流程示意图，如图2B所示，该方法包括：

步骤S210，获得第一采集视频；

步骤S220，识别所述第一采集视频中第一对象至少一个特定点；

步骤S230，获取第一操作，所述第一操作为对所述第一特定点进行添加装扮图样的操作；

步骤S240，确定所述添加装扮图样的操作的位置；

这里，所述位置可以为五官中的任一部位的位置。

步骤S250，根据所述位置在所述第一采集视频上确定待添加图样的装扮区域；

在实施过程中，通过所述位置，确定位置对应的特征边缘，将所述边缘区域确定为待装扮区域。例如，确定出位置为左边眉毛时，将检测到的左边眉毛的边缘确定为待装扮区域。

步骤S260，在所述待添加图样的装扮区域添加上装扮图样，得到所述第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

举例说明，给左边眉毛添加眉形，得到第一处理视频，并将添加眉形后的视频显示出来。

步骤S270，对获得的第二采集视频进行分析；

步骤S280，在所述第二采集视频中第一特定点对应的区域存在遮挡区域，制定显示策略；所述显示策略至少包括：对未被遮挡的区域显示经过第一处理后的视觉效果；对被遮挡的区域显示未经第一处理的视觉效果；

举例说明，所述遮挡区域可以为与确定的特征不相关的区域。例如，图2C为本申请实施例图像处理方法的实现效果示意图，图2D为本申请实施例图像处理方法的实现效果示意图，如图2C所示，确定的特征为眉毛时，所述遮挡区域21可以为眉毛上的手指。如图2D所示，所述未被遮挡的区域22可以为除手指外的眉毛。所述显示策略可以为：将被手指遮挡的眉毛部分的眉形擦除掉，没有遮挡的部分添加眉形。

步骤S290，根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频，其中，所述第二处理视频中所述未被遮挡的区域显示经过第一处理后的视觉效果，对所述被遮挡的区域显示未经第一处理的视觉效果。

在实施过程中，在对未被遮挡的区域和被遮挡的区域进行不同的处理后，需要将处理后的视频显示出来。举例说明，将被手指遮挡的部分擦除掉，没有遮挡的部分，依然显示。这样，可以使得视频人物装扮效果跟接近实际妆容，显示效果更真实。

在一些实施例中，所述步骤S290，所述根据所述显示策略对所述第一处理视频进行处理，得到第二处理视频，包括：

步骤S291，对所述第一处理视频中的装扮区域添加装扮图样，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频；或者，

步骤S292，对所述第一处理视频中的装扮区域中的未遮挡区域添加装扮图样。

在实施过程中，使得未遮挡区域不显示装扮图样的方式有两种：1)为装扮区域添加装扮图样，但不显示所述装扮区域中遮挡区域的装扮图样；例如，透明化；2)在添加装扮图样时，仅对未遮挡区域添加装扮图样。

在一些实施例中，所述步骤S291，所述对所述第一处理视频中的装扮区域添加装扮图样，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频包括：

步骤S2911，采用立体贴合算法将所述装扮图样贴合在对应的装扮区域；

这里，所述立体贴合算法可以将选定的眉形图样覆盖在所述人脸视频流上。

步骤S2912，对贴合后的所述装扮图样进行修图，去除所述装扮区域中遮挡区域的装扮图样；

步骤S2913，修图完成后或在修图的过程中，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频。

举例说明，在将所述眉形图样覆盖在所述人脸视频流上，可以在覆盖完成后将手指等遮挡在眉毛上的区域中的眉形图样透明化，得到遮挡区域处理后的视频。

本申请实施例提供的图像处理方法，根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频，这样，可以通过显示策略对视频进行处理，使得视频人物装扮效果跟接近实际妆容，显示效果更真实。

本申请实施例提供一种图像处理方法，该方法包括：

步骤S21，获得人脸视频；

步骤S22，识别所述人脸视频中第一对象至少一个特定点；

步骤S23，获取第一操作，所述第一操作为对所述第一特定点进行添加装扮图样的操作；

步骤S24，确定所述添加装扮图样的操作的位置；

步骤S25，根据所述位置在所述人脸视频上确定待添加图样的装扮区域；

步骤S26，在所述待添加图样的装扮区域添加上装扮图样，得到所述第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

步骤S27，对获得的人脸视频进行分析；

步骤S28，在所述人脸视频中第一特定点对应的区域存在遮挡区域的情况下，制定显示策略；所述显示策略至少包括：对所述未被遮挡的区域显示经过第一处理后的视觉效果，对所述被遮挡的区域显示未经第一处理的视觉效果；

步骤S29，根据所述显示策略对所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频，其中，所述第二处理视频中所述未被遮挡的区域显示经过第一处理后的视觉效果，对所述被遮挡的区域显示未经第一处理的视觉效果。

在一些实施例中，所述方法还包括步骤S30和步骤S40：步骤S30，对所述装扮区域进行人脸关键点检测，得到人脸区域；

在一些实施例中，所述步骤S30，对所述装扮区域进行人脸关键点检测，得到人脸区域，包括：

步骤S31，对所述第一待处理图像进行人脸关键点检测，得到人脸边缘；

这里，所述人脸关键点检测可以为高密度人脸关键点检测。所述高密度人脸关键点检测可以为对人脸使用5000至10000点的算法，对整个面部的关键点进行扫描。

步骤S32，对所述第一待处理图像进行人脸检测，确定所述特定对象的面部特征；

这里，利用所述人脸检测算法可以在获得人脸边缘后，得到脸部的填充信息。

步骤S33，将所述面部特征和所述人脸边缘进行叠加，得到人脸区域。

在实施过程中，将所述人脸边缘和所述面部特征进行叠加，可以得到人脸区域的图像。

步骤S40，对所述人脸区域进行图像识别，得到识别结果，所述识别结果中包括所述装扮区域中是否存在遮挡区域。

在一些实施例中，所述步骤S40，对所述人脸区域进行图像识别，得到识别结果，所述识别结果中包括所述装扮区域中是否存在遮挡区域，包括：步骤S41，对所述人脸区域进行关键特征识别，确定人脸关键特征；

在实施过程中，通过关键特征识别可以得到眉毛和眼睛等人脸关键特征。

步骤S42，对所述人脸区域进行稠密关键点检测，确定所述人脸关键特征的边缘；

这里，所述稠密度关键点检测算法是一种轮廓的检测的算法，是对人脸关键特征的稠密度。例如，针对眉形边缘，1000关键点的算法，是针对眉形边缘进行检测。

这里，利用稠密关键点算法在人脸图像上选取除特征点以外的S个稠密点，根据这S个稠密点和确定出的关键点，更精确的识别出人脸关键特征的边缘。

步骤S43，根据所述人脸关键特征和所述人脸关键特征的边缘，确定出所述人脸区域中的关键特征区域；

步骤S44，当所述关键特征区域包括非关键特征时，确定所述非关键特征为遮挡物；

举例说明，对眉毛的边缘进行检测，当检测出非正常眉形的特征点，或者，特征点组成的边缘线时，确定出所述眉毛区域包括非眉毛，确定非眉毛区域为遮挡物。

步骤S45，对所述遮挡物进行边缘检测，得到所述遮挡区域。

举例说明，当眉毛上有手部遮挡时，检测到识别出的眉毛具有手部特征信息，确定眉毛被手部遮挡，对遮挡物进行边缘检测，识别出遮挡物的形状。

本申请实施例提供的图像处理方法，通过高密度人脸关键点检测，识别出眉毛或者眼睛被遮挡的部分；通过对所述遮挡物进行边缘检测，得到所述遮挡区域，可以准确识别出遮挡的部分，再根据遮挡区域和非遮挡区域分别采用不同的显示策略。这样，可以使得视频人物装扮效果跟接近实际妆容，显示效果更真实。

本申请实施例提供一种图像处理方法，图3A为本申请实施例图像处理方法的实现流程示意图，如图3A所示，该方法包括：

步骤S310，获得第一采集视频；

步骤S320，识别所述第一采集视频中第一对象至少一个特定点；

步骤S330，获取第一操作，所述第一操作为对所述第一特定点的放大操作；

举例说明，所述第一特定点可以为眉毛中间的重点，所述第一操作可以为放大眉毛的操作。

步骤S340，根据所述放大操作对所述第一采集视频进行放大处理，得到第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

这里，所述第一处理视频中包括第一窗口，所述第一窗口中的图像为对以第一特定点为中心的放大图像。

举例说明，在对以眉毛为中心的区域进行放大处理的情况下，以眉毛为中心的区域会显示在局部放大窗口的区域内。

在一些实施例中，所述步骤S340，根据所述放大操作对所述第一采集视频进行放大处理，得到第一处理视频，包括：

步骤S341，确定所述放大操作的位置；

在实施过程中，可以通过人脸关键点识别技术，识别出人脸中的关键点，检测到用户点击脸部任一特定点时，可以确定所述特定点的位置坐标。

步骤S342，根据所述位置的坐标在所述第一采集视频中确定待显示的图像区域；

这里，可以预设显示范围，例如，可以预设以所述位置坐标为中心，以特定长度为半径的圆所覆盖的范围为显示范围。

在实施过程中，根据所述位置的坐标，确定出显示范围内的图像区域。

在一些实施例中，所述步骤S342，根据所述位置的坐标在所述第一采集视频中确定待显示的图像区域，包括：

步骤S3421，识别所述第一采集视频中目标对象的关键点；

这里，所述目标对象的关键点可以为人脸中的关键点，例如可以为眉毛的眉头，或者，眉毛的眉尾。

步骤S3422，根据所述位置的坐标和所述关键点之间相对位置关系，确定所述位置在所述目标对象上所对应特征点；

在实施过程中，在所述第一特定点不是关键点的情况下，需要根据第一特定点与关键点之间的位置关系来确定第一特定点的位置变化，得到位置变化的坐标。

步骤S3423，在所述第一采集视频中确定所述特征点的第一坐标；

这里，所述第一坐标为原始位置的坐标。例如，眉毛的眉头坐标(50,51)。

步骤S3424，根据所述第一坐标在所述第一采集视频中确定待显示的图像区域；

举例说明，根据所述眉头坐标(50,51)，确定待显示区域为以(50,51)为圆心，以50为半径的显示区域。

步骤S343，跟踪所述待显示的图像区域并将所述待显示的图像区域显示在特定的窗口中，得到所述第一处理视频；

在一些实施例中，所述步骤S343，跟踪所述待显示的图像区域并将所述待显示的图像区域显示在特定的窗口中，得到所述第一处理视频，包括：

步骤S3431，跟踪所述待显示的图像区域，并以所述特征点作为所述特定窗口的中心点，将所述待显示的图像区域显示在所述特定窗口中，得到所述第一处理视频；

这里，在根据所述眉头坐标(50,51)为特定点的情况下，所述第一处理视频为以眉头坐标为中心的放大视频。

步骤S350，对获得的第二采集视频进行分析；

步骤S360，在所述第二采集视频中第一特定点对应的区域存在移动的情况下，制定显示策略；所述显示策略至少包括：对放大区域显示经过第一处理后的视觉效果；对未被放大的区域显示未经第一处理的视觉效果；

这里，需要说明的是，第一特定点对应的区域存在移动的情况下，所述特定窗口的中心点，始终为所述第一特定点。例如，确定第一特定点为右边眉毛的眉心后，检测所述眉心的坐标为(55,60)，在所述人的头部发生移动时，所述特定窗口的中心点的坐标也发生变化，当确定出移动后的眉心的坐标为(65,70)时，所述特定窗口的中心点坐标也变为(65,70)。

步骤S370，根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频，其中，所述第二处理视频中对所述放大区域显示经过第一处理后的视觉效果；对所述未被放大区域显示未经第一处理的视觉效果。

举例说明，图3B为本申请实施例图像处理方法的实现效果示意图，如图3B所示，以右眉毛中间点为第一特定点31，对所述第一特定点所在区域进行放大处理，对未被放大区域不进行放大处理。

本申请实施例提供的图像处理方法，跟踪所述待显示的图像区域，并以所述特征点作为所述特定窗口的中心点，将所述待显示的图像区域显示在所述特定窗口中，得到所述第一处理视频。这样，当用户点击某一特定点的区域后，通过人脸关键识别技术，识别出此点相对于面部的坐标，当人脸移动时，此坐标也随着人脸的移动而移动，局部放大窗口通过读取不停读取特定点的坐标点，始终将所述特定点作为显示区域的中点，显示此坐标点对应的区域，从而保证对应的显示区域的放大内容不会跟随面部移动或者头部移动而发生放大区域超出范围的现象，从而给用户带来较大的方便。

相关技术中，对图像或者视频进行局部放大时，因为局部放大窗口显示的是以屏幕为参考坐标的某一固定区域，所以局部放大窗口的内容会随着主窗口内容的移动而移动，从而会产生需要观察的部位可能因为主窗口内容的移动而移出窗口的情况，降低了用户使用局部放大功能的体验感。为解决上述问题，本申请实施例提供一种图像处理方法，图3C为本申请实施例图像处理方法的实现流程示意图，如图3C所示，该方法包括：

步骤S301，将第一特定点确定为局部放大窗口中心点；

在实施过程中，检测到用户点击视频中人脸图像的第一特定点，以第一特定点为中心的区域就会显示在局部放大窗口内。

步骤S302，计算所述第一特定点的第一坐标；

这里，所述第一坐标为第一特定点相对于脸部的坐标。

在实施过程中，通过人脸关键点识别技术，可以计算出第一特定点相对于脸部的坐标。

步骤S303，计算所述第一特定点的偏移坐标；

举例说明，计算出第一特定点第一坐标为(X1,Y1)，当人头部进行移动时，通过人脸识别以及人脸关键点识别技术，可以计算出第一坐标(X1,Y1)偏移坐标(X2,Y2)。

步骤S304，计算所述第一特定点的第二坐标；

这里，所述第二坐标为人头部进行移动后，第一特定点的坐标。在实施过程中，可以根据第一特定点的第一坐标和偏移坐标，计算出第二坐标。例如，可以根据第一特定点第一坐标为(X1,Y1)，偏移坐标(X2,Y2)，计算得到第二坐标。

步骤S305，将所述第二坐标对应的第一特定点确定为局部放大窗口中心点；

在实施过程中，局部放大窗口将第二坐标对应的第一特定点为中心的图像显示出来，从而保证人体特定部位始终处在局部放大窗口的中心。

相关技术中，在优化显示效果的场景下，当识别出的面部特征被其他物体遮挡时，因为现有的智能优化显示效果，是通过识别出面部特征的位置，然后在对应位置上添加显示效果实现的，所以会产生当识别出的面部特征被其他物体遮挡时，显示效果会添加在对应地遮挡物体上的情况，无法达到用户期待的效果，影响用户使用体验。为解决上述问题，本申请实施例提供一种图像处理方法，图4A为本申请实施例图像处理方法的实现流程示意图，如图4A所示，该方法包括：

步骤401：获得图像采集设备输入的人脸视频流；

这里，图像采集设备以移动终端的摄像头为例进行说明。实时获取到移动终端摄像头在录制视频时的人脸视频流，就是获取视频流中的人脸当前视频的帧图像。

步骤402：高密度人脸关键点检测，识别出眉毛或者眼睛被遮挡的部分；

这里，通过人脸关键点检测可以检测出眉毛或者眼睛等关键点在人脸中的相对位置。当人脸中的眉毛或眼睛存在遮挡部分时，可以根据关键点的特征信息，识别出眉毛或者眼睛被遮挡的部分。

图4B为本申请实施例图像处理方法中高密度人脸关键点检测结果示意图，如图4B所示，通过高密度人脸关键点检测可以使用5000至10000点的算法，对整个面部的关键点40，41，42，…进行扫描。

举例说明，可以将眉毛的颜色和形状等作为眉毛的特征信息，确定人脸中符合眉毛的特征信息的部分。当检测到眉毛中包括非眉毛特征信息时，可以根据非眉毛的特征信息识别出眉毛被遮挡的部分。例如，当眉毛上有手部遮挡时，检测到识别出的眉毛具有手部特征信息，确定眉毛被手部遮挡，对遮挡物进行边缘检测，识别出遮挡物的形状。

步骤403：通过人脸检测、人脸关键点检测、稠密关键点(边缘)、人脸属性和立体贴合算法等技术将选定眉形图样覆盖在所述人脸视频流上；

这里，首先，采用人脸属性算法进行眉形图样选择；然后，利用人脸检测、人脸关键点检测、稠密关键点和立体贴合算法将选定的眉形图样覆盖在所述人脸视频流上。这里，是将选定的眉形图样覆盖在当前帧图像上。这里，利用所述人脸检测算法可以是在所述帧图像上找出所有人脸的位置信息。利用所述人脸关键点检测算法确定出关键点在人脸中的相对位置。利用稠密关键点算法在人脸图像上选取除特征点以外的S个稠密点，根据这S个稠密点和确定出的关键点，更精确的识别出人脸。

举例说明，首先，根据人脸属性算法检测到人脸中的胡子等特征信息时，确定人脸的性别属性；然后，当性别确定为男性后，判断人脸的脸型属性。例如，国字脸，方脸和瓜子脸；最后，选择与脸型属性匹配的眉形，完成眉形图样选择。

举例说明，首先，基于人脸检测关键点检测算法和稠密关键点算法，建立人脸模型。例如，定位眼睛在面部中的相对位置，眉形相对于眼睛的相对位置；然后，使用立体贴合算法将选定的眉形贴合在人脸上，并根据贴合的眉形举例鼻子或者眼睛等关键点的相对位置，对眉形进行调整。进一步地，动态检测眉毛的位置，当人脸处于动态时，根据人脸左转，右转脸的姿态，动态检测眉毛的位置，进行紧密的贴合。

步骤404：通过AI修图方式，将被手指遮挡的部分擦除掉；

这里，通过上一步的眉形贴合，可以将选定的眉形图样贴合在人脸上。这里，根据得到的遮挡物的形状，将原有贴合的图片中，遮挡物所在的部分擦除掉。或显示为透明的颜色。

步骤405：展示妆容效果。

本申请实施例提供一种图像处理方法，通过高密度人脸关键点检测，识别出眉毛或者眼睛被遮挡的部分；通过AI修图方式，将被手指遮挡的部分擦除掉，没有遮挡的部分，依然显示。这样，可以使得视频人物装扮效果跟接近实际妆容，显示效果更真实。

基于前述的实施例，本申请实施例提供一种图像处理装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图5为本申请实施例图像处理装置的组成结构示意图，如图5所示，所述装置500包括第一获得模块501、第一识别模块502、第二获得模块503、第三获得模块504、分析模块505、显示模块506和处理模块507，其中：

第一获得模块501，用于获得第一采集视频；

第一识别模块502，用于识别所述第一采集视频中第一对象至少一个特定点；

第二获得模块503，用于获取第一操作，所述第一操作是对所述至少一个特定点中第一特定点的操作；

第三获得模块504，用于根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

分析模块505，用于对获得的第二采集视频进行分析；

显示模块506，用于在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果；

处理模块507，用于根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频。

在一些实施例中，所述第三获得模块504，还用于根据所述添加装扮图样的操作，对所述第一采集视频中所述第一特征点对应的区域进行添加装扮图样，得到第一处理视频。

在一些实施例中，所述第三获得模块504，包括第一确定单元、第二确定单元和美化单元，其中：第一确定单元，用于确定所述添加装扮图样的操作的位置；第二确定单元，用于根据所述位置在所述第一采集视频上确定待添加图样的装扮区域；美化单元，用于在所述待添加图样的装扮区域添加上装扮图样，得到所述第一处理视频。

在一些实施例中，所述处理模块507，还用于对所述第一处理视频中的装扮区域添加装扮图样，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频；或者，对所述第一处理视频中的装扮区域中的未遮挡区域添加装扮图样。

在一些实施例中，所述处理模块507，包括贴合单元、修图单元和获得单元，其中：贴合单元，用于采用立体贴合算法将所述装扮图样贴合在对应的装扮区域；修图单元，用于对贴合后的所述装扮图样进行修图，去除所述装扮区域中遮挡区域的装扮图样；获得单元，用于修图完成后或在修图的过程中，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频。

在一些实施例中，所述装置500，还包括检测模块和第二识别模块，其中：检测模块，用于对所述装扮区域进行人脸关键点检测，得到人脸区域；第二识别模块，用于对所述人脸区域进行图像识别，得到识别结果，所述识别结果中包括所述装扮区域中是否存在遮挡区域。

在一些实施例中，所述检测模块，包括第一检测单元、第二检测单元和叠加单元，其中：第一检测单元，用于对所述第一待处理图像进行人脸关键点检测，得到人脸边缘；第二检测单元，用于对所述第一待处理图像进行人脸检测，确定所述特定对象的面部特征；叠加单元，用于将所述面部特征和所述人脸边缘进行叠加，得到人脸区域。

在一些实施例中，所述第二识别模块，包括识别单元、第三检测单元、第三确定单元、第四确定单元和第四检测单元，其中：识别单元，用于对所述人脸区域进行关键特征识别，确定人脸关键特征；第三检测单元，用于对所述人脸区域进行稠密关键点检测，确定所述人脸关键特征的边缘；第三确定单元，用于根据所述人脸关键特征和所述人脸关键特征的边缘，确定出所述人脸区域中的关键特征区域；第四确定单元，用于当所述关键特征区域包括非关键特征时，确定所述非关键特征为遮挡物；第四检测单元，用于对所述遮挡物进行边缘检测，得到所述遮挡区域。

在一些实施例中，所述第三获得模块504，用于根据所述放大操作对所述第一采集视频进行放大处理，得到第一处理视频。

在一些实施例中，所述第三获得模块504，包括第五确定单元、第六确定单元和跟踪单元，其中：第五确定单元，用于确定所述放大操作的位置；第六确定单元，用于根据所述位置的坐标在所述第一采集视频中确定待显示的图像区域；跟踪单元，用于跟踪所述待显示的图像区域并将所述待显示的图像区域显示在特定的窗口中，得到所述第一处理视频。

在一些实施例中，所述第六确定单元包括识别子单元、第一确定子单元、第二确定子单元和第三确定子单元，其中：识别子单元，用于识别所述第一采集视频中目标对象的关键点；第一确定子单元，用于根据所述位置的坐标和所述关键点之间相对位置关系，确定所述位置在所述目标对象上所对应特征点；第二确定子单元，用于在所述第一采集视频中确定所述特征点的第一坐标；第三确定子单元，用于根据所述第一坐标在所述第一采集视频中确定待显示的图像区域；所述跟踪单元，还用于跟踪所述待显示的图像区域，并以所述特征点作为所述特定窗口的中心点，将所述待显示的图像区域显示在所述特定窗口中，得到所述第一处理视频。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是手机、个人助理、个人计算机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的步骤。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。

本公开实施例所提供了一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，可参见上述方法实施例，在此不再赘述。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，图6为本申请实施例中电子设备的一种硬件实体示意图，如图6所示，该电子设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中

处理器601通常控制电子设备600的总体操作。

通信接口602可以使电子设备通过网络与其他终端或服务器通信。

存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及电子设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获得第一采集视频；

识别所述第一采集视频中第一对象至少一个特定点；

获取第一操作，所述第一操作是对所述至少一个特定点中第一特定点的操作；

根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频；其中，所述第一处理至少包括对所述第一特征点对应的区域进行处理；

对获得的第二采集视频进行分析；

在所述第二采集视频中第一特定点对应的区域符合特定条件的情况下，制定显示策略；所述显示策略至少包括：对第二特定点对应的区域显示经过第一处理后的视觉效果；对第三特定点对应的区域显示未经第一处理的视觉效果；

根据所述显示策略对所述第二采集视频或所述第一处理视频进行处理，得到第二处理视频并显示第二处理视频。

2.根据权利要求1所述的方法，其特征在于，所述第一操作为对所述第一特定点进行添加装扮图样的操作的情况下，

所述根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频，包括：根据所述添加装扮图样的操作，对所述第一采集视频中所述第一特征点对应的区域进行添加装扮图样，得到第一处理视频。

3.根据权利要求2所述的方法，其特征在于，所述根据所述添加装扮图样的操作，对所述第一采集视频中所述第一特征点对应的区域进行添加装扮图样，得到第一处理视频，包括：

确定所述添加装扮图样的操作的位置；

根据所述位置在所述第一采集视频上确定待添加图样的装扮区域；

在所述待添加图样的装扮区域添加上装扮图样，得到所述第一处理视频。

4.根据权利要求3所述的方法，其特征在于，在所述第二采集视频中第一特定点对应的区域存在遮挡区域的情况下，确定：所述第二采集视频中第一特定点对应的区域符合特定条件；

对应地，所述第二特定点对应的区域为未被遮挡的区域，第三特定点对应的区域为被遮挡的区域；所述显示策略至少包括：对所述未被遮挡的区域显示经过第一处理后的视觉效果，对所述被遮挡的区域显示未经第一处理的视觉效果；

对应地，根据所述显示策略对所述第一处理视频进行处理，得到第二处理视频，其中，所述第二处理视频中所述未被遮挡的区域显示经过第一处理后的视觉效果，对所述被遮挡的区域显示未经第一处理的视觉效果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述显示策略对所述第一处理视频进行处理，得到第二处理视频，包括：

对所述第一处理视频中的装扮区域添加装扮图样，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频；或者，

对所述第一处理视频中的装扮区域中的未遮挡区域添加装扮图样。

6.根据权利要求5所述的方法，其特征在于，所述对所述第一处理视频中的装扮区域添加装扮图样，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频包括：

采用立体贴合算法将所述装扮图样贴合在对应的装扮区域；

对贴合后的所述装扮图样进行修图，去除所述装扮区域中遮挡区域的装扮图样

修图完成后或在修图的过程中，不显示所述装扮区域中遮挡区域的装扮图样，得到第二处理视频。

7.根据权利要求1所述的方法，其特征在于，所述第一操作为对所述第一特定点的放大操作的情况下，

所述根据所述第一操作对所述第一采集视频进行第一处理，得到第一处理视频并显示所述第一处理视频，包括：根据所述放大操作对所述第一采集视频进行放大处理，得到第一处理视频。

8.根据权利要求7所述的方法，其特征在于，所述根据所述放大操作对所述第一采集视频进行放大处理，得到第一处理视频，包括：

确定所述放大操作的位置；

根据所述位置的坐标在所述第一采集视频中确定待显示的图像区域；

跟踪所述待显示的图像区域并将所述待显示的图像区域显示在特定的窗口中，得到所述第一处理视频。

9.根据权利要求8所述的方法，其特征在于，所述根据所述位置的坐标在所述第一采集视频中确定待显示的图像区域，包括：

识别所述第一采集视频中目标对象的关键点；

根据所述位置的坐标和所述关键点之间相对位置关系，确定所述位置在所述目标对象上所对应特征点；

在所述第一采集视频中确定所述特征点的第一坐标；

根据所述第一坐标在所述第一采集视频中确定待显示的图像区域；

对应地，所述跟踪所述待显示的图像区域并将所述待显示的图像区域显示在特定窗口中，得到所述第一处理视频；包括：跟踪所述待显示的图像区域，并以所述特征点作为所述特定窗口的中心点，将所述待显示的图像区域显示在所述特定窗口中，得到所述第一处理视频。

10.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。

Images