CN114067086A - 一种图像处理方法、装置及其相关设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置及其相关设备和存储介质，该方法包括：获取包含目标对象的画面；确定目标对象的目标关键点；响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物。通过上述方式，本申请能够在目标对象的对应关键点处显示虚拟物体。

Description

一种图像处理方法、装置及其相关设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置及其相关设备和存储介质。

背景技术

随着科学技术的发展，增强现实技术的应用越来越广泛。增强现实技术是一种将真实世界和虚拟世界信息结合的技术。通过设备将虚拟视觉信息在真实世界图像中显示出来。

目前，在用户使用拍照功能时，用户倾向于在照片中叠合虚拟物体，以使照片呈现出丰富多彩的效果。如何高效灵活地在目标对象上显示虚拟物体是目前行业内重要的研究课题。

发明内容

本申请主要解决的技术问题是提供一种图像处理方法、装置及其相关设备和存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像处理方法，该方法包括：获取包含目标对象的画面；确定目标对象的目标关键点；响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物。

因此，通过获取包括目标对象的画面，确定目标对象的目标关键点，以在目标关键点上显示目标虚拟物，故能够实现在目标对象的对应目标关键点处显示虚拟物体，提高了在目标对象上显示虚拟物体的灵活性；并且，在确定目标关键点后，能够自动在目标关键点处显示虚拟物体，更加高效，提高了用户的体验感。

其中，在画面中对应目标关键点的位置显示目标虚拟物之后，图像处理方法还包括：响应于用户对目标虚拟物的调整操作，对目标虚拟物进行调整，并在画面中对应目标关键点的位置显示调整后的目标虚拟物。

因此，通过对目标虚拟物的调整，使得目标虚拟物与目标对象叠合的画面更加真实、生动。

其中，对目标虚拟物进行调整，包括以下任意一种：调整目标虚拟物的外观颜色、亮度中的至少一种；对目标虚拟物进行缩放、旋转中的至少一种。

因此，通过对目标虚拟物的外观颜色、亮度、大小或角度的调整，使得目标虚拟物与目标对象叠合的画面更加真实。

其中，响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物，包括：响应于对目标关键点匹配的目标虚拟物的选择，从画面中确定目标对象的参考关键点，其中，参考关键点为当前已显示目标虚拟物的关键点；响应于参考关键点与目标关键点之间满足预设位置关系，停止显示参考关键点对应的目标虚拟物，并在画面中对应目标关键点的位置显示目标虚拟物；和/或，响应于参考关键点与目标关键点不满足预设位置关系，在画面中目标关键点的位置新增显示目标虚拟物。

因此，通过对参考关键点和目标关键点之间的预设位置关系的判定，以确定是对画面中参考关键点对应的目标虚拟物的位置进行调整还是在画面中新增显示目标虚拟物。

其中，预设位置关系为参考关键点与目标关键点位于同一部位。

因此，在参考关键点和目标关键点位于同一部位时，表明用户认为目标虚拟物的当前显示位置不合适或者需要调整。

其中，在画面中对应目标关键点的位置显示目标虚拟物，包括：对画面中的目标对象进行检测，得到目标对象的形态信息；在画面中对应目标关键点的位置，显示形态与形态信息匹配的目标虚拟物。

因此，通过设置目标虚拟物的显示形态与目标对象的形态信息匹配，从而使得最后呈现出的目标虚拟物的显示形态是与目标对象形态信息匹配的，进而使得叠加目标虚拟物的画面更加真实、生动。

其中，形态信息包括姿态信息、形体信息、动作信息中的至少一种。

因此，可通过目标对象的姿态信息和形态信息中的至少一种对目标虚拟物的显示形态进行调整。

其中，在画面中对应目标关键点的位置显示目标虚拟物，包括：对画面中的目标对象进行表情识别，得到目标对象的表情信息；在画面中对应目标关键点的位置，显示表情与表情信息匹配的目标虚拟物。

因此，通过设置目标虚拟物的表情与目标对象的表情信息匹配，从而使得最后呈现出的目标虚拟物的表情是与目标对象表情信息匹配的，进而使得叠加目标虚拟物的画面更加真实、生动。

其中，画面包括多个对象，在确定目标对象的目标关键点之前，图像处理方法还包括：基于预设对象选择策略或用户的关键点选择操作，从多个对象中选择至少一个对象作为目标对象；和/或，确定目标对象的目标关键点，包括：对画面中的目标对象进行关键点检测，得到目标对象的若干关键点；基于预设关键点选择策略或用户的关键点选择操作，从若干关键点中选择至少一个关键点作为目标关键点。

因此，可通过预设对象选择策略或用户的关键点选择操作确定多个对象中的目标对象；可通过预设关键点选择策略和用户的关键点选择操作从若干关键点中确定目标关键点。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像处理装置，该装置包括：获取模块，用于获取包含目标对象的画面；确定模块，用于确定目标对象的目标关键点；显示模块，用于响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述的图像处理方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述的图像处理方法。

上述技术方案，通过获取包括目标对象的画面，确定目标对象的目标关键点，以在目标关键点上显示目标虚拟物，故能够实现在目标对象的对应目标关键点处显示虚拟物体，提高了在目标对象上显示虚拟物体的灵活性；并且，在确定目标关键点后，能够自动在目标关键点处显示虚拟物体，更加高效，提高了用户的体验感。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请提供的图像处理方法一实施例的流程示意图；

图2是本申请提供的图像处理方法另一实施例的流程示意图；

图3是图1所示步骤S12一实施例的流程示意图；

图4是图1所示步骤S13一实施例的流程示意图；

图5是步骤在画面中对应目标关键点的位置显示目标虚拟物一实施例的流程示意图；

图6是步骤在画面中对应目标关键点的位置显示目标虚拟物另一实施例的流程示意图；

图7是本申请提供的图像处理装置一实施例的结构示意图；

图8是本申请提供的电子设备一实施例的结构示意图；

图9为本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

请参阅图1，图1是本申请提供的图像处理方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：

步骤S11：获取包含目标对象的画面。

本实施例的方法用于在目标对象上叠加目标虚拟物，即在目标对象上显示目标虚拟物，本文所述的目标对象可以但不限于目标人物、目标动物、目标物体等，在此不做具体限定。

在一实施方式中，包含目标对象的画面具体可以直接从本地存储或者云端存储中获取得到。可以理解地，在其他实施方式中，也可以通过图像采集设备对当前包含有目标对象的画面进行实时采集得到。

在一实施方式中，当获取到的画面中包括多个对象时，可从多个对象中选择至少一个对象作为目标对象，即画面中所包含的目标对象可以是1个，也可以是多个，例如，2个、3个、4个或者5个等，在此不做具体限定。举例来说，以获取到的画面中包括5个对象为例，可将画面中的任意一个对象作为目标对象，此时目标对象是1个，也可将画面中的3个对象作为目标对象，此时目标对象为3个。

可选地，可以是基于预设对象选择策略从多个对象中选择至少一个对象作为目标对象。其中，不对预设对象选择策略具体限定，可根据实际使用需要具体设置，例如，预设对象选择策略可以是预设对象所占画面的面积大于预设值等。举例来说，以画面中包括5个对象，预设对象选择策略为预设对象所占画面的面积大于预设值为例，其中，从左至右的第1个对象和第3个对象所占画面的面积大于预设值，则此时将画面中从左至右的第1个对象和第3个对象作为目标对象。在其他实施方式中，也可以是用户手动选择画面中的对象作为目标对象，例如，用户可通过选择对象上的关键点，以将被选择关键点的对象作为目标对象等。需要说明的是，当利用预设对象选择策略选择目标对象后，确定此画面中无一对象符合预设对象选择策略要求，即利用预设对象选择策略确定画面中无对象可作为目标对象，此时可通过用户手动选择画面中的对像作为目标对象。

在其他实施方式中，当画面中仅包括1个对象时，可直接将该对象作为目标对象，或者也可利用预设对象选择策略判定图像中唯一的对象是否可以作为目标对象。

步骤S12：确定目标对象的目标关键点。

在一实施方式中，目标对象的目标关键点可以是包括目标对象各个部位/部分对应的一个关键点。举例来说，以目标对象为目标人物为例，目标人物包括头部、脸部、肩部、手臂、手部、腰部、腿部和脚部等部位，且每一部位对应有至少一个关键点，此时可从各部位对应的关键点中各挑选出一个关键点以构成目标对象的目标关键点，即目标对象的目标关键点包括头部、脸部、肩部、手臂、手部、腰部、腿部和脚部等部位对应的一个关键点。在其他实施方式中，目标对象的目标关键点也可以是仅包括目标对象任一部位/部分对应的一个关键点。举例来说，以目标对象为目标人物为例，目标人物包括头部、脸部、肩部、手臂、手部、腰部、腿部和脚部等部位，且每一部位对应有至少一个关键点，由于需要在肩部叠加目标虚拟物，所以此时可从肩部对应的关键点中挑选出一个关键点，以作为目标对象的目标关键点，即目标图像的目标关键点仅包括肩部的一个关键点。在其他实施方式中，目标对象的目标关键点也可以是包括目标对象任意两个或多个部位/部分对应的一个关键点。

可选地，目标对象的目标关键点也可包括各部位/部分对应的2个、3个或多个关键点，在此不做具体限定。举例来说，以目标对象为目标人物为例，目标人物包括头部、脸部、肩部、手臂、手部、腰部、腿部和脚部等部位，且每一部位对应有至少一个关键点，此时可从肩部对应的关键点中挑选出两个关键点，以作为目标对象的目标关键点，即目标对象的目标关键点包括肩部的两个关键点。

在一实施方式中，可通过预设关键点选择策略确定目标关键点。其中，不对预设关键点选择策略进行限定，可根据实际使用需要具体设置。例如，在目标对象的目标关键点是包括目标对象各个部位/部分对应的一个关键点时，即预设关键点选择策略需要从各个部位/部分对应的关键点中均选择一个关键点以构成目标对象的目标关键点，此时预设关键点选择策略可设置为各部位/部分对应的关键点中位于最左侧的关键点，那么利用预设关键点选择策略选择出的目标对象的目标关键点包括各部位/部分对应的位于最左侧的关键点，即目标对象的各部位/各部分对应的位于最左侧的关键点构成了目标对象的目标关键点。

又例如，目标对象的目标关键点是仅包括目标对象任一部位/部分对应的一个关键点，即预设关键点选择策略需要从若干关键点中选择所需部位/部分对应的关键点中的一个关键点，以作为目标关键点，此时根据所需预设关键点选择策略可设置为肩部对应的关键点中位于最左侧的关键点，那么利用预设关键点选择策略会先从若干关键点中选择出肩部对应的关键点，然后选择出肩部对应的关键点中位于最左侧的关键点，即选择出的目标对象的目标关键点仅为肩部对应的关键点中位于最左侧的关键点。也就是说，利用预设关键点选择策略会从若干关键点中选择一个关键点作为目标关键点。

又例如，目标对象的目标关键点是包括目标对象的肩部对应的一个关键点和手臂对应的一个关键点，即预设关键点选择策略需要从若干关键点中选择出肩部对应的关键点中的一个关键点和手臂对应的关键点中的一个关键点，以作为目标关键点，此时预设关键点选择策略可设置为肩部对应的关键点中位于最左侧的关键点和手臂对应的关键点中位于最左侧的关键点，那么利用预设关键点选择策略会先从若干关键点中分别选择出肩部和手臂对应的关键点，然后分别选择出肩部和手臂对应的关键点中位于最左侧的关键点，即选择出的目标对象的目标关键点为肩部和手臂对应的关键点中位于最左侧的关键点。也就是说，利用预设关键点选择策略会从若干关键点中选择两个关键点作为目标关键点。

在其他实施方式中，也可以是用户手动选择画面中的关键点作为目标关键点。例如，用户可仅选择肩部上的一个关键点，则被选择的肩部上的关键点为目标关键点；或者，用户可选择肩部上的两个关键点，则被选择的肩部上的两个关键点为目标关键点；或者，用户也可同时在肩部和手臂上各选择一个关键点，则被选择的肩部和手臂上的关键点为目标关键点。

步骤S13：响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物。

本实施方式中，用户会选择匹配目标关键点的目标虚拟物，此时响应于用户对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置会显示目标虚拟物。也就是说，会在目标对象的对应目标关键点的位置叠加目标虚拟物，以实现在目标对象的对应目标关键点的位置处叠加AR特效。另外，当用户想改变当前显示的目标虚拟物时，用户可选择与该目标关键点匹配的其他虚拟物，此时被选择的虚拟物会作为新的目标虚拟物在对应目标关键点处替换原目标虚拟物进行显示。通过上述方式，用户可通过选择需要叠加AR特效的部位/部分对应的关键点，以使AR特效在目标对象对应的关键点处叠加，从而能够在目标对象所需叠加AR特效的部位/部分实现AR特效的叠加。另外，相比于通过手动方式在目标对象上粘贴图像的技术方案，本实施例叠加的目标虚拟物更加真实、生动，提高了用户的拍照体验。

举例来说，以目标关键点为肩部对应的关键点中位于最左侧关键点，目标虚拟物为小浣熊为例，在确定了目标关键点为肩部对应的关键点中位于最左侧的关键点后，用户选择目标虚拟物小浣熊，此时对应肩部的最左侧关键点的位置会显示小浣熊，实现在肩部叠加小浣熊，以提高用户的拍照体验感。又例如，以目标关键点为手掌心上的关键点，目标虚拟物为宝剑为例，在确定了目标关键点为手掌心上的关键点后，用户选择目标虚拟物宝剑，此时对应手掌心上的关键点的位置处会显示宝剑，实现了在目标对象的手掌上叠加宝剑。

在一实施方式中，对应目标关键点的位置可以是位于目标关键点上方且距离目标关键点预设距离的位置。可以理解地，在其他实施方式中，对应目标关键点的位置也可以是目标虚拟物朝向目标关键点的一端与目标关键点相接等，在此不做具体限定，可根据实际使用需要具体设置。

其中，目标对象的每一部位/部分的关键点匹配的各虚拟物以及同一部位/部分的关键点匹配的各虚拟物的形状尺寸等会存在不同，在一实施方式中，可根据各虚拟物的形状尺寸等参数具体设置其在画面中显示时与目标关键点的对应位置关系，即各虚拟物在画面中显示时与目标关键点的对应位置关系可不同。举例来说，以与肩部匹配的虚拟物为花朵和小浣熊、与手部匹配的虚拟物为宝剑为例，由于虚拟物花朵、小浣熊和宝剑的形状尺寸差异较大，所以为了保证在目标关键点叠加后的真实性，可分别设置虚拟物花朵、小浣熊和宝剑与目标关键点的对应位置关系。

在其他实施方式中，为了减少计算量，也可设置与同一部位/部分匹配的各虚拟物在画面中显示时与目标关键点的对应位置关系相同，与不同部位/部分匹配的虚拟物在画面中显示时与目标关键点的对应位置关系不同。举例来说，以与肩部匹配的虚拟物为花朵和小浣熊、与手部匹配的虚拟物为宝剑和刀为例，由于花朵、小浣熊为与肩部匹配的虚拟物，宝剑和刀为与手部匹配的虚拟物，所以为了减少计算量，可设置花朵和小浣熊与肩部的目标关键点的对应位置关系相同，宝剑和刀与手部的目标关键点的对应位置关系相同。

在一实施方式中，目标虚拟物除了与目标关键点匹配以外，还可设置目标虚拟物与目标对象的表情、状态或者目标对象所处环境匹配。举例来说，以目标虚拟物与目标对象的表情匹配为例，通过检测目标对象的表情获知目标对象是开心的状态，则从与目标关键点匹配的若干虚拟需中，进一步匹配出开心、搞笑等状态与目标对象的表情匹配的虚拟物，或者进一步匹配出红色、黄色等颜色与目标对象的表情匹配的虚拟物，然后将进一步匹配出的虚拟物进行显示，以使用户从显示的虚拟物中选出目标虚拟物。

上述实施方式中，通过获取包括目标对象的画面，确定目标对象的目标关键点，以在目标关键点上显示目标虚拟物，故能够实现基于目标对象的关键点，在目标对象的对应关键点的部位显示虚拟物体，提高了用户的体验感。也就是说，用户可通过选择需要叠加显示虚拟物体的部位/部分对应的关键点，以使虚拟物体在目标对象对应的关键点处叠加显示，从而能够在目标对象所需叠加虚拟物体的部位/部分实现虚拟物体的叠加显示。

进一步地，相比于在目标对象的脸部等部位处直接叠加马赛克、人脸遮罩、美颜等虚拟视觉信息的技术方案，本申请是基于目标对象的关键点叠加显示虚拟物体的，能够更加灵活地在目标对象上叠加虚拟视觉信息。另外，相比于通过手动方式在目标对象上粘贴图像的技术方案，本实施例能够自动在目标对象上叠加虚拟物体，更加高效灵活，且叠加的目标虚拟物更加真实、生动，提高了用户的拍照体验。

请参阅图2，图2是本申请提供的图像处理方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施例中，可对画面中显示的目标虚拟物进行调整，具体包括：

步骤S21：获取包含目标对象的画面。

步骤S21与步骤S11类似，在此不再赘述。

步骤S22：确定目标对象的目标关键点。

步骤S22与步骤S12类似，在此不再赘述。

步骤S23：响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物。

步骤S23与步骤S13类似，在此不再赘述。

步骤S24：响应于用户对目标虚拟物的调整操作，对目标虚拟物进行调整，并在画面中对应目标关键点的位置显示调整后的目标虚拟物。

本实施方式中，用户可对目标虚拟物进行调整，所以响应于用户对目标虚拟物的调整操作，会对目标虚拟物进行调整，并在画面中对应目标关键点的位置显示调整后的目标虚拟物，也就是说，经调整后的目标虚拟物会替换原始的目标虚拟物在画面中对应目标关键点的位置进行显示。

可选地，可对目标虚拟物的外观颜色、亮度等进行调整，或者也可对目标虚拟物进行缩放以对目标虚拟物的大小进行调整，或者也可对目标虚拟物进行旋转以对目标虚拟物相对目标对象的角度进行调整。当然、也可对目标虚拟物外观颜色、亮度、大小、角度等都进行调整，或者对目标虚拟物的任意两种或两种以上的参数进行调整，例如，对目标虚拟物的外观颜色和大小进行调整。可以理解地，在其他实施方式中，也可对目标虚拟物的其他参数进行调整，在此不做具体限定。

请参阅图3，图3是图1所示步骤S12一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施例中，获取的画面中包括多个对象，具体包括：

步骤S121：对画面中的目标对象进行关键点检测，得到目标对象的若干关键点。

本实施方式中，会对画面中的目标对象进行关键点检测，以得到目标对象的若干关键点。例如，以目标对象为目标人物为例，通过关键点检测能够得到目标对象的头部关键点、脸部关键点、肩部关键点、手臂关键点、手部关键点、腰部关键点、腿部关键点或脚部关键点等。其中，每一部位对应的关键点也可包括若干个，例如，手臂关键点可包括手腕轮廓关键点、胳膊肘轮廓关键点、臂根轮廓关键点、位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中间位置处的小臂轮廓中点关键点以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的大臂中点关键点等。

可选地，在一实施方式中，可利用Normal Aligned Radial Feature(简称：NARF)算法对画面中的目标对象进行关键点检测，以得到目标对象的若干关键点。可以理解地，在其他实施方式中，也可利用Rangelmage算法或者其他算法对画面中的目标对象进行关键点检测，在此不做具体限定。

步骤S122：基于预设关键点选择策略或用户的关键点选择操作，从若干关键点中选择至少一个关键点作为目标关键点。

本实施方式中，可利用预设关键点选择策略，从检测出的若干关键点中选择至少一个关键点作为目标关键点。其中，不对预设关键点选择策略具体限定，可根据实际使用需要具体设置。在其他实施方式中，也可以是用户手动选择画面中的关键点作为目标关键点。

举例来说，目标对象的目标关键点是包括目标对象的肩部对应的一个和手臂对应的一个关键点，即预设关键点选择策略需要从若干关键点中选择出肩部对应的关键点中的一个关键点和手臂对应的关键点中的一个关键点，以作为目标关键点，此时预设关键点选择策略可设置为肩部和手臂对应的关键点中位于最左侧的关键点，那么利用预设关键点选择策略会先从若干关键点中分别选择出肩部和手臂对应的关键点，然后选择出肩部对应的关键点中位于最左侧的关键点和手臂对应的关键点中位于最左侧的关键点，即选择出的目标对象的目标关键点为肩部和手臂对应的关键点中位于最左侧的关键点。也就是说，利用预设关键点选择策略会从若干关键点中选择两个关键点作为目标关键点。

请参阅图4，图4是图1所示步骤S13一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。如图4所示，本实施例中，会在画面中对应目标关键点的位置显示目标虚拟物，具体上述步骤S13包括：

步骤S131：响应于对目标关键点匹配的目标虚拟物的选择，从画面中确定目标对象的参考关键点。

本实施方式中，在目标关键点的位置显示目标虚拟物之前，进一步考虑目标对象中不同关键点之间的虚拟物是否重复显示。若该目标对象中与该目标关键点具有一定位置关系的其他关键点已显示该目标虚拟物，则可认为目标关键点没有重复显示该目标虚拟物的必须，故可先确定目标对象的参考关键点，其中，参考关键点为当前已显示目标虚拟物的关键点。具体地，用户可通过选择与目标关键点匹配的目标虚拟物，响应于对目标关键点匹配的目标虚拟物的选择，判断目标对象的各关键点当前显示的虚拟物是否为该目标虚拟物，将当前显示该目标虚拟物的关键点确定为参考关键点。在一些实施例中，可从画面中提示该目标对象的参考关键点，例如，可高亮显示该参考关键点和/或该参考关键点对应的目标虚拟物等。

步骤S132：判断参考关键点和目标关键点之间是否满足预设位置关系。

本实施方式中，需要先判定参考关键点和目标关键点之间是否满足预设位置关系，以确定参考关键点是否继续显示该目标虚拟物。具体地，若参考关键点和目标关键点之间满足预设位置关系，则执行步骤S133；若参考关键点和目标关键点之间不满足预设位置关系，则执行步骤S134。

在一实施方式中，预设位置关系可以为参考关键点和目标关键点位于同一部位。

步骤S133：响应于参考关键点与目标关键点之间满足预设位置关系，停止显示参考关键点对应的目标虚拟物，并在画面中对应目标关键点的位置显示目标虚拟物。

本实施方式中，响应于参考关键点和目标关键点之间满足预设位置关系，即参考关键点和目标关键点位于同一部位时，则此时画面中会停止显示参考关键点对应的目标虚拟物，并在画面中对应目标关键点的位置显示目标虚拟物，从而实现对目标虚拟物在同一部位/部分处的位置调整。

步骤S134：响应于参考关键点与目标关键点不满足预设位置关系，在画面中目标关键点的位置新增显示目标虚拟物。

本实施方式中，响应于参考关键点和目标关键点之间不满足预设位置关系，如参考关键点和目标关键点位于不同部位时，表明用户想在其他未显示有目标虚拟物的部位/部分叠加目标虚拟物，则此时在画面中对应目标关键点的部位新增显示目标虚拟物。

请参阅图5，图5是步骤在画面中对应目标关键点的位置显示目标虚拟物一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施例中，本文所述的在画面中对应目标关键点的位置显示目标虚拟物可按照目标对象形态进行显示，具体包括：

步骤S51：对画面中的目标对象进行检测，得到目标对象的形态信息。

本实施方式中，为了使在目标对象上对应目标关键点的位置显示的目标虚拟物与目标对象更加贴合，使得叠加有目标虚拟物的画面更加真实、生动，会对画面中的目标对象进行检测，以得到目标对象的形态信息，从而便于后续对目标虚拟物显示形态的确定。

可选地，形态信息可以包括目标对象的姿态信息，也可以包括目标对象的形体信息、动作信息等，或者也可以同时包括目标对象的姿态信息、形体信息和动作信息等。举例来说，以目标对象为目标人物为例，形体信息可以是目标人物的身高、手臂长度、肩宽等信息，姿态信息可以是目标人物的姿态角等，动作信息可以是目标人物的手部或者腿部的动作等。

步骤S52：在画面中对应目标关键点的位置，显示形态与形态信息匹配的目标虚拟物。

本实施方式中，为了使得叠加目标虚拟物的画面更加真实、生动，在画面中对应目标关键点的位置会显示形态与目标对象形态信息匹配的目标虚拟物。也就是说，在画面中对应目标关键点的位置处显示目标虚拟物之前，会根据检测到的目标对象的形态信息，调整目标虚拟物的显示形态，以使得最后呈现出的目标虚拟物的显示形态是与目标对象形态信息匹配的。

举例来说，以目标对象为目标人物、形态信息为目标人物的形体信息、目标关键点为肩部的一个关键点、目标虚拟物为小浣熊为例。具体地，对目标人物进行检测以得到目标人物的身高、肩宽等形体信息，为了避免在肩部的对应目标关键点的位置叠加的小浣熊过大，所以在肩部的对应目标关键点的位置叠加的小浣熊之前，需要根据目标人物的身高和肩宽等形体信息调整小浣熊的大小，以在画面中显示大小与目标人物身高、肩宽等形体信息匹配的小浣熊，使得叠加有小浣熊的画面更加真实、生动，提高了用户拍照的体验感。

请参阅图6，图6是步骤在画面中对应目标关键点的位置显示目标虚拟物另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。如图6所示，本实施例中，本文所述的在画面中对应目标关键点的位置显示目标虚拟物可按照目标对象表情进行显示，具体包括：

步骤S61：对画面中的目标对象进行表情识别，得到目标对象的表情信息。

本实施方式中，为了使在目标对象上对应目标关键点的位置显示的目标虚拟物与目标对象的表情贴合一致，即为了使目标虚拟物与目标对象表达相似的心情或者状态，从而使得叠加有目标虚拟物的画面更加真实、生动，会对画面中的目标对象进行表情识别，以得到目标对象的表情信息。

可选地，目标对象的表情信息可以是开心的表情、阴郁的表情或者伤心的表情等，在此不做具体限定。

步骤S62：在画面中对应目标关键点的位置，显示表情与表情信息匹配的目标虚拟物。

本实施方式中，为了使得叠加目标虚拟物的画面更加真实、生动，在画面中对应目标关键点的位置会显示表情与目标对象表情信息匹配的目标虚拟物。也就是说，在画面中对应目标关键点的位置处显示目标虚拟物之前，会根据检测到的目标对象的表情信息，调整目标虚拟物的表情，以使得最后呈现出的目标虚拟物的表情是与目标对象表情信息匹配的。

请参阅图7，图7是本申请提供的图像处理装置一实施例的结构示意图。图像处理装置70包括获取模块71、确定模块72和显示模块73。获取模块71用于获取包含目标对象的画面；确定模块72用于确定目标对象的目标关键点；显示模块73用于响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物。

其中，图像处理装置70还包括调整模块74，调整模块74用于在画面中对应目标关键点的位置显示目标虚拟物之后，具体包括：响应于用户对目标虚拟物的调整操作，对目标虚拟物进行调整，并在画面中对应目标关键点的位置显示调整后的目标虚拟物。

其中，上述对目标虚拟物进行调整，包括以下任意一种：调整目标虚拟物的外观颜色、亮度中的至少一种；对目标虚拟物进行缩放、旋转中的至少一种。

其中，显示模块73用于响应于对目标关键点匹配的目标虚拟物的选择，在画面中对应目标关键点的位置显示目标虚拟物，具体包括：响应于对目标关键点匹配的目标虚拟物的选择，从画面中确定目标对象的参考关键点，其中，参考关键点为当前已显示目标虚拟物的关键点；响应于参考关键点与目标关键点之间满足预设位置关系，停止显示参考关键点对应的目标虚拟物，并在画面中对应目标关键点的位置显示目标虚拟物；和/或，响应于参考关键点与目标关键点不满足预设位置关系，在画面中目标关键点的位置新增显示目标虚拟物。

其中，上述预设位置关系为参考关键点与目标关键点位于同一部位。

其中，显示模块73用于在画面中对应目标关键点的位置显示目标虚拟物，具体包括：对画面中的目标对象进行检测，得到目标对象的形态信息；在画面中对应目标关键点的位置，显示形态与形态信息匹配的目标虚拟物。

其中，上述形态信息包括姿态信息、形体信息、动作信息中的至少一种。

其中，显示模块73用于在画面中对应目标关键点的位置显示目标虚拟物，具体包括：对画面中的目标对象进行表情识别，得到目标对象的表情信息；在画面中对应目标关键点的位置，显示表情与表情信息匹配的目标虚拟物。

其中，上述画面包括多个对象，图像处理装置70还包括选择模块75，选择模块75用于在确定目标对象的目标关键点之前，具体包括：基于预设对象选择策略或用户的关键点选择操作，从多个对象中选择至少一个对象作为目标对象；和/或，确定模块72用于确定目标对象的目标关键点，具体包括：对画面中的目标对象进行关键点检测，得到目标对象的若干关键点；基于预设关键点选择策略或用户的关键点选择操作，从若干关键点中选择至少一个关键点作为目标关键点。

请参阅图8，图8是本申请提供的电子设备一实施例的结构示意图。电子设备80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一图像处理方法实施例的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：微型计算机、服务器，此外，电子设备80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器82用于控制其自身以及存储器81以实现上述任一远程协助方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。

请参阅图9，图9为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令91，程序指令91用于实现上述任一图像处理方法实施例的步骤。

本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。

可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取包含目标对象的画面；

确定所述目标对象的目标关键点；

响应于对所述目标关键点匹配的目标虚拟物的选择，在所述画面中对应所述目标关键点的位置显示所述目标虚拟物。

2.根据权利要求1所述的方法，其特征在于，在所述画面中对应所述目标关键点的位置显示所述目标虚拟物之后，所述方法还包括：

响应于用户对所述目标虚拟物的调整操作，对所述目标虚拟物进行调整，并在所述画面中对应所述目标关键点的位置显示调整后的所述目标虚拟物。

3.根据权利要求2所述的方法，其特征在于，所述对所述目标虚拟物进行调整，包括以下任意一种：

调整所述目标虚拟物的外观颜色、亮度中的至少一种；

对所述目标虚拟物进行缩放、旋转中的至少一种。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述响应于对所述目标关键点匹配的目标虚拟物的选择，在所述画面中对应所述目标关键点的位置显示所述目标虚拟物，包括：

响应于对所述目标关键点匹配的目标虚拟物的选择，从所述画面中确定所述目标对象的参考关键点，其中，所述参考关键点为当前已显示所述目标虚拟物的关键点；

响应于所述参考关键点与所述目标关键点之间满足预设位置关系，停止显示所述参考关键点对应的目标虚拟物，并在所述画面中对应所述目标关键点的位置显示所述目标虚拟物；和/或，

响应于所述参考关键点与所述目标关键点不满足预设位置关系，在所述画面中对应所述目标关键点的位置新增显示所述目标虚拟物。

5.根据权利要求4所述的方法，其特征在于，所述预设位置关系为所述参考关键点与所述目标关键点位于同一部位。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述在所述画面中对应所述目标关键点的位置显示所述目标虚拟物，包括：

对所述画面中的所述目标对象进行检测，得到所述目标对象的形态信息；

在所述画面中对应所述目标关键点的位置，显示形态与所述形态信息匹配的所述目标虚拟物。

7.根据权利要求6所述的方法，其特征在于，所述形态信息包括姿态信息、形体信息、动作信息中的至少一种。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述在所述画面中对应所述目标关键点的位置显示所述目标虚拟物，包括：

对所述画面中的所述目标对象进行表情识别，得到所述目标对象的表情信息；

在所述画面中对应所述目标关键点的位置，显示表情与所述表情信息匹配的所述目标虚拟物。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述画面包括多个对象，在所述确定所述目标对象的目标关键点之前，所述方法还包括：

基于预设对象选择策略或用户的关键点选择操作，从所述多个对象中选择至少一个对象作为所述目标对象；

和/或，所述确定所述目标对象的目标关键点，包括：

对所述画面中的目标对象进行关键点检测，得到所述目标对象的若干关键点；

基于预设关键点选择策略或用户的关键点选择操作，从所述若干关键点中选择至少一个关键点作为所述目标关键点。

10.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取包含目标对象的画面；

确定模块，用于确定所述目标对象的目标关键点；

显示模块，用于响应于对所述目标关键点匹配的目标虚拟物的选择，在所述画面中对应所述目标关键点的位置显示所述目标虚拟物。

11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令能够被执行以实现如权利要求1-9任一项所述的方法。

Images