CN111435550A

CN111435550A - 图像处理方法及装置、图像设备及存储介质

Info

Publication number: CN111435550A
Application number: CN201910025834.0A
Authority: CN
Inventors: 袁玮; 陈楷佳; 彭彬绪; 于志兴; 张义保; 董亚魁; 陆雨柔; 黄頔
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2019-01-11
Filing date: 2019-01-11
Publication date: 2020-07-21

Abstract

本发明实施例提供一种图像处理方法及装置、图像设备及存储介质。所述方法包括：获取目标的第一图像；检测所述第一图像，确定出所述目标的关键点；基于所述关键点，确定出目标区域；在所述第一图像的目标区域叠加增强现实AR贴图，生成第二图像；显示第二图像。

Description

图像处理方法及装置、图像设备及存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种图像处理方法及装置、图像设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。但是现有的AR技术仅能够实现简单的文字或者图标贴到采集的图像上；AR效果单一且效果不佳。

发明内容

本发明实施例期望提供一种图像处理方法及装置、图像设备及存储介质。

本发明的技术方案是这样实现的：

一种图像处理方法，包括：

获取目标的第一图像；

检测所述第一图像，确定出所述目标的关键点；

基于所述关键点，确定出目标区域；

在所述第一图像的目标区域叠加增强现实AR贴图，生成第二图像；

显示第二图像。

基于上述方案，所述检测所述第一图像，确定出所述目标的关键点，包括：

根据所述第一图像的图像特征获得目标的轮廓关键点。

基于上述方案，所述基于所述键点，确定所述目标区域，包括：

基于所述轮廓关键点，确定所述目标的外轮廓；

根据所述目标的形状属性，对所述外轮廓所包围区域进行分区得到多个分区；

从所述多个分区选择部分作为所述目标区域。

检测所述第一图像，确定出所述目标的支架关键点。

基于上述方案，所述基于所述关键点，确定出目标区域，包括：

根据所述支架关键点，确定所述目标的支架；

确定所述第一图像中第x像素到所述支架的第x距离；

根据所述第x距离，确定所述第x像素是否为构成所述目标的像素；

确定所述目标所在的至少部分区域为所述目标区域。

基于上述方案，所述方法还包括：

确定所述第x距离是否不小于距离阈值；

若所述第x像素距离大于所述距离阈值，确定所述第x像素不是构成所述目标的像素。

基于上述方案，所述方法还包括：

根据所述第x像素距离最近的所述支架体与备选阈值的对应关系，确定所述距离阈值。

基于上述方案，所述根据所述第x像素距离最近的所述支架体与备选阈值的对应关系，确定所述距离阈值，包括：

根据所述第x像素距离最近的所述支架体与备选阈值的对应关系，得到基准阈值；

根据与所述第一图像对应的深度图像，确定所述目标对应的采集对象与相机之间的相对距离；

根据所述支架的尺寸及相对距离，得到调整参数；

根据所述基准阈值及所述调整参数，确定所述距离阈值。

基于上述方案，所述方法还包括：

根据所述第一图像对应的深度图像，获取所述第x像素的第x深度值；

所述根据所述第x距离，确定所述第x像素是否为构成所述目标的像素，包括：

结合所述第x距离及所述第x深度值，确定所述第x像素是否为构成所述目标的像素。

基于从所述第一图像中检测的2D关键点所述2D关键点对应的实际深度值，确定所述目标的3D特征；

基于所述3D坐标，确定在3D空间内的3D目标区域。

基于上述方案，所述基于从所述第一图像中检测的2D关键点及所述2D关键点对应的实际深度值，确定所述目标的3D坐标，包括：

根据参考深度值及所述实际深度值的比值，将所述2D关键点的第一2D坐标转换为第二2D坐标；

根据所述第二2D特征及所述参考深度值，获得所述3D特征。

基于上述方案，所述方法还包括：

根据所述关键点，确定所述目标的姿态；

获取与所述姿态相适配的目标AR贴图；

所述在所述第一图像的目标区域叠加增强现实AR贴图，生成第二图像，包括：

在所述第一图像的目标区域叠加所述目标AR贴图，生成所述第二图像。

基于上述方案，所述根据所述关键点，确定所述目标的姿态，还包括：

根据2D关键点，确定所述目标的2D姿态；

或

根据2D关键点及所述2D关键点所对应的实际深度值，确定所述目标的3D姿态。

基于上述方案，所述获取与所述姿态相适配的所述AR贴图，包括：

从多个备选AR贴图中与所述姿态相适配的所述目标AR贴图；

或者，

根据所述姿态调整预设AR贴图，生成与所述姿态相适配的目标AR贴图。

基于上述方案，所述方法还包括：

获取所述第二图像生成的场景信息；根据所述场景信息，选择所述AR贴图。

基于上述方案，所述获取所述第二图像生成的场景信息，包括以下至少之一：

根据所述第二图像所在应用的应用类型，确定所述场景信息；

根据所述第二图像所在组件的组件功能，确定所述场景信息。

基于上述方案，所述根据所述场景信息，选择所述AR贴图，包括：

若所述场景信息指示当前处于游戏场景，根据游戏场景的游戏元素确定所述AR贴图；

和/或，

根据所述场景信息，选择与当前场景的主题相适配的所述AR贴图。

一种图像处理装置，包括：

第一获取模块，用于获取目标的第一图像；

检测模块，用于检测所述第一图像，确定出所述目标的关键点；

第一确定模块，用于基于所述关键点，确定出目标区域；

生成模块，用于在所述第一图像的目标区域叠加增强现实AR贴图，生成第二图像；

显示模块，用于显示第二图像。

基于上述方案，所述检测模块，具体用于根据所述第一图像的图像特征获得目标的轮廓关键点。

基于上述方案，所述第一确定模块，具体用于基于所述轮廓关键点，确定所述目标的外轮廓；根据所述目标的形状属性，对所述外轮廓所包围区域进行分区得到多个分区；从所述多个分区选择部分作为所述目标区域。

基于上述方案，所述检测模块，具体用于检测所述第一图像，确定出所述目标的支架关键点。

基于上述方案，所述第一确定模块，具体用于根据所述支架关键点，确定所述目标的支架；确定所述第一图像中第x像素到所述支架的第x距离；根据所述第x距离，确定所述第x像素是否为构成所述目标的像素；确定所述目标所在的至少部分区域为所述目标区域。

基于上述方案，所述装置还包括：

第二确定模块，用于确定所述第x距离是否不小于距离阈值；

第三确定模块，用于若所述第x像素距离大于所述距离阈值，确定所述第x像素不是构成所述目标的像素。

基于上述方案，所述装置还包括：

第四确定模块，用于根据所述第x像素距离最近的所述支架体与备选阈值的对应关系，确定所述距离阈值。

基于上述方案，所述第四确定模块，具体用于根据所述第x像素距离最近的所述支架体与备选阈值的对应关系，得到基准阈值；根据与所述第一图像对应的深度图像，确定所述目标对应的采集对象与相机之间的相对距离；根据所述支架的尺寸及相对距离，得到调整参数；根据所述基准阈值及所述调整参数，确定所述距离阈值。

基于上述方案，所述装置还包括：

第二获取模块，用于根据所述第一图像对应的深度图像，获取所述第x像素的第x深度值；

所述第三确定模块，具体用于结合所述第x距离及所述第x深度值，确定所述第x像素是否为构成所述目标的像素。

基于上述方案，所述第一确定模块，具体用于基于从所述第一图像中检测的2D关键点所述2D关键点对应的实际深度值，确定所述目标的3D特征；基于所述3D坐标，确定在3D空间内的3D目标区域。

基于上述方案，所述第一确定模块，具体用于根据参考深度值及所述实际深度值的比值，将所述2D关键点的第一2D坐标转换为第二2D坐标；根据所述第二2D特征及所述参考深度值，获得所述3D特征。

基于上述方案，所述装置还包括：

第五确定模块，用于根据所述关键点，确定所述目标的姿态；

第三获取模块，用于获取与所述姿态相适配的目标AR贴图；

所述生成模块，具体用于在所述第一图像的目标区域叠加所述目标AR贴图，生成所述第二图像。

基于上述方案，所述第五确定模块，具体用于根据2D关键点，确定所述目标的2D姿态；或，根据2D关键点及所述2D关键点所对应的实际深度值，确定所述目标的3D姿态。

基于上述方案，所述第三获取模块，具体用于从多个备选AR贴图中与所述姿态相适配的所述目标AR贴图；或者，根据所述姿态调整预设AR贴图，生成与所述姿态相适配的目标AR贴图。

基于上述方案，所述装置还包括：

第四获取模块，用于获取所述第二图像生成的场景信息；根据所述场景信息，选择所述AR贴图。

基于上述方案，所述第四获取模块，具体用于执行以下至少之一：

基于上述方案，所述第四获取模块，具体用于若所述场景信息指示当前处于游戏场景，根据游戏场景的游戏元素确定所述AR贴图；和/或，根据所述场景信息，选择与当前场景的主题相适配的所述AR贴图。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意技术方案提供的图像处理方法的步骤。

一种图像设备，包括：

显示器；

存储器；

处理器，分别与所述显示器及存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意技术方案提供的图像处理方法的步骤。

本发明实施例提供的技术方案会检测第一图像中目标的关键点，然后基于关键点进行目标区域的确定，将AR贴图贴到第一图像的目标区域之后，生成第二图像显示；相对于简单的将文字或图标放在第一图像的固定位置。在本实施例中可以将AR贴图贴到目标所在位置的区域上，如此实现了目标在第一图像中的位置不同，AR贴图贴的位置就不同，实现了AR贴图效果的丰富。与此同时，由于能够精准定位出目标位置，在本实施例中就可以选择贴图而非文字或图标等简单内容覆盖在第一图像的预定位置，实现了AR图像(即第二图像)的形态多样化，提升了AR图像处理的处理效果。

附图说明

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2A为本发明实施例提供的一种人体的轮廓关键点的示意图；

图2B为本发明实施例提供的一种人体的骨架关键点示意图；

图3为本发明实施例提供的另一种人体的关键点示意图；

图4为本发明实施例提供的像素到支架的距离示意图；

图5为本发明实施例提供的目标区域的确定流程示意图；

图6为本发明实施例提供2D坐标转换为3D特征的示意图；

图7为本发明实施例提供的一种光心位置平移之后人像在图像中的移动示意图；

图8为本发明实施例提供的另一种图像处理方法的流程示意图；

图9为本发明实施例提供的一种图像处理装置的结构示意图；

图10A为本发明实施例提供一种AR换装的效果示意图；

图10B为本发明实施例提供的另一种AR换装的效果示意图；

图11为本发明实施例提供的一种显示设备的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种图像处理方法，包括：

步骤S110：获取目标的第一图像；

步骤S120：检测所述第一图像，确定出所述目标的关键点；

步骤S130：基于所述关键点，确定出目标区域；

步骤S140：在所述第一图像的目标区域叠加增强现实AR贴图，生成第二图像；

步骤S150：显示第二图像。

本实施例提供的图像处理方法，可以应用于各种图像设备中。所述图像设备可包括：显示模组，该显示模组可包括液晶显示模组、有机发光二极管(OLED)显示模组、电子墨水显示模组或投影模组。总之，所述显示模组能够显示所述第一图像和/或第二图像。

在本实施例中，所述步骤S110可包括：实时采集所述第一图像，或者，从其他设备接收所述第一图像。

在本实施例中，所述第一图像可为2D图像和/或3D图像。所述2D图像可为由各种平面摄像头采集的图像，例如，红绿蓝(RGB)摄像头采集的RGB图像等。所述3D图像可包括：2D图像和与2D图像对应的深度图像，该深度图像的像素值为深度值，所述深度值可以用于体现图像采集模组与目标之间的目标之间的距离。

该目标可为各种采集对象的成像，例如所述采集对象可为用户或者动物等活体。再例如，所述采集对象可为交通工具等可移动的设备。

在本实施例中，所述关键点按照关键点在目标上的位置可以分为：

轮廓关键点和支架关键点。

若所述目标为人，则所述轮廓关键点可包括：人体外轮廓上的关键点；所述支架关键点可为人体骨架上的关键点。

若所述目标为动物，则所述轮廓关键点可为：动物身体的外形轮廓线上的关键点，所述支架关键点可为动物骨架上的关键点。

若所述目标为可以移动设备，则所述轮廓关键点可为：移动设备的外轮廓上的关键点；所述支架关键点可为移动设备内部的支撑架上的关键点。

所述轮廓关键点依次连接能够形成目标的外轮廓。

图2A为一种轮廓关键点的示意图，检测目标的外轮廓的特定部位，将获得特定部位的关键点，即为所述外部轮廓点。例如，图2A中实心黑点即为轮廓关键点的示意图。

所述支架关键点连接能够形成目标的支架。例如，支架关键点可为目标的不同支架体之间的连接点所对应的成像点。例如，以所述目标为人为例，所述关键点可为：表示头、颈、肘、腕、髋、膝及踝等骨架所在的像素。图2B为以目标为人的一种目标的支架示意图。在图2B中展示有14个关键点，分别编号为：关键点0至关键点13。图3为以目标为人的一种目标的支架示意图，在图3中展示有17个关键点，分别编号为：关键点0至关键点16。图2B及图3中关键点的编号仅是一种举例，具体不局限于上述编号。在图3中关键点14可为根节点；关键点14的在相机坐标系中的2D坐标可为(0，0)，在相机坐标系中的3D坐标可为：(0，0，0)。

在本实施例中，通过2D图像会获得目标的外轮廓或支架，而该目标的外轮廓和支架是能够精准的反应目标当前的姿态。

在检测出关键点之后，根据关键点定位出所述目标区域。

所述步骤S120可包括：根据所述第一图像的图像特征获得目标的轮廓关键点。

在一些实施例中，本申请中神经网络等深度学习模型，会对第一图像通过卷积等各种操作提取出图像特征，基于图像特征确定出至少一个轮廓关键点；并基于所述轮廓关键点在第一图像中的位置及感受野等参数，分别形成轮廓关键点响应图。一个具体的例子，预先设定轮廓关键点的数量为N(N为大于0的整数)，则神经网络等深度学习模型会针对第一图像的图像特征，形成N个轮廓关键点响应图，每一个轮廓关键点响应图对应一个轮廓关键点，不同轮廓关键点响应图对应不同的轮廓关键点，从而一个轮廓关键点响应图可以反映出与其对应的轮廓关键点出现在样本图像块中的各个位置的可能性。

在一些实施例中，对所述第一图像进行分割，获得多个图像块；在一些实施例中，将所述第一图像按照目标的形态属性进行切割，得到表征目标不同局部的图像块。

在一些实施例中，所述方法还包括：利用检测器对第一图像进行目标检测，以获得目标外接框的中心位置以及目标尺度因子；

所述目标外接框的中心位置以及目标尺度因子用于确定目标外接框在待处理图像中的位置。

本发明实施例中的目标外接框的中心位置可以称为目标位置或者目标中心点等。本申请中的目标尺度因子可以用于确定目标外接框的大小。目标尺度因子可以具体为放缩因子，例如，目标尺度因子s可以是第一图像的目标的尺寸H，放缩到标准尺寸h的放缩因子，即s＝h/H。本申请可以将第一图像中的目标体外接框的中心位置、目标尺度因子以及第一图像提供给输入神经网络，由神经网络等深度学习模型根据目标尺度因子对第一图像进行放缩处理，并根据预定尺寸以及中心位置对放缩处理后的第一图像进行剪切处理，从而输出具有预定尺寸的包含有目标的图像块。

在本实施例中，所述获取轮廓关键点可包括：利用深度学习模型对输入的第一图像进行图像特征提取，基于提取的图像特征获得轮廓关键点的预测结果。

在一个实施例中，所述轮廓关键点的预测结果可包括：所述轮廓关键点响应图；所述轮廓关键点的响应图可以具体为：轮廓关键点置信度图。轮廓关键点置信度图可以反映出相应的轮廓关键点出现第一图像分割形成的图像块中的多个位置(如各个位置)的置信度。

针对一轮廓关键点置信度图，从所述置信度图中选取一满足预定置信度要求的点，将该点在所述第一图像所对应的图像块中的映射位置点，作为所述置信度图所对应的轮廓关键点。

所述轮廓关键点包括：头部轮廓关键点、手臂轮廓关键点、手部轮廓关键点、肩部轮廓关键点、腿部轮廓关键点、腰部轮廓关键点和/或脚部轮廓关键点。

在一些实施例中，所述头部轮廓关键点包括以下一种或多种：头顶关键点、鼻尖关键点、下巴关键点、苹果肌关键点及唇部关键点。

所述手臂轮廓关键点包括以下一种或多种：手腕轮廓关键点、胳膊肘轮廓关键点、臂根轮廓关键点、位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的下臂轮廓中点关键点、以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的上臂中点关键点；和/或

所述手部轮廓关键点包括以下一种或多种：手尖关键点以及手掌中点关键点；和/或

所述肩部轮廓关键点包括以下一种或多种：位于肩部与头部交汇位置处的肩头交汇关键点以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点；和/或

所述腿部轮廓关键点包括以下一种或多种：裆部关键点、膝盖轮廓关键点、脚踝轮廓关键点、大腿根部外侧轮廓关键点、位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点、位于膝盖内侧轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点、以及位于膝盖外侧轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点；和/或

所述腰部轮廓关键点包括以下一种或多种：将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分，所产生的N个等分点；其中，所述N大于1；和/或

所述脚部轮廓关键点包括以下一种或多种：脚尖关键点以及足跟关键点。

一旦确定了轮廓关键点，所述步骤S130可包括：基于所述轮廓关键点，确定所述目标的外轮廓；根据所述目标的形状属性，对所述外轮廓所包围区域进行分区得到多个分区；从所述多个分区选择部分作为所述目标区域。

不同的目标的形状不同，则目标的形状属性不同。在本实施例中，为了精准确定出AR贴图所在的位置，会根据目标的形状属性进行目标区域的确定。例如，需要在人像的头部贴上一个帽子AR贴图；则需要根据目标的形状属性，确定出头部所在的目标区域。

在一些实施例中，会将所述轮廓关键点形成的外轮廓进行分区，例如，以人像为例，可以将人像分为：头部区域、脖子区域、躯干区域、四肢区域；然后结合AR贴图的内容或AR贴图对应的AR效果，从多个区域中选择一个或多个区域作为所述目标区域。

例如，为了实现对人像进行换装的效果，则从上述区域中选择躯干区域和四肢区域作为所述目标区域。再例如，AR贴图的内容是头部配饰，则从上述区域中选择出头部区域作为所述目标区域。

在一些实施例中，利用轮廓关键点确定出所述目标之后，还会结合支架关键点来确定从第一图像中得到的目标的外轮廓是否正确，例如，假设支架关键点位于目标的外轮廓之外，则可以确定基于轮廓关键点得到的外轮廓异常，若支架关键点位于目标的外轮廓之内，或者，支架关键点位于目标外轮廓对应位置的中心区域，则可以确定基于轮廓关键点得到的目标的外轮廓正确。

在另一些实施例中，所述步骤S120可包括：

检测所述第一图像，确定出所述目标的支架关键点。

对应地，所述步骤S130可包括：根据所述支架关键点确定所述目标区域。

进一步地，所述步骤S130可包括：基于所述支架关键点在所述第一图像中进行目标和背景之间像素分割，并基于分割的结果得到所述目标区域。

例如，以目标为人为例，基于支架关键点为人关节中心点的成像，则连接这些关节中心点的成像点，就可以知道目标区域的大致区域，然后考虑人体的各个部分的肌肉所占的宽度等就可以得到所述目标区域。

在还有一些实施例中，在定位出所述支架关键点之后，直接连接支架关键点作为所述目标区域。例如，以人为例说明，进行人成像的换装，则可以直接定位出肩部成像的骨架关键点，腰部成像的骨架关键点等，连接这些骨架关键点形成的轮廓即可为所述目标区域的外轮廓。此处的骨架关键点即为上述支架关键点的一种。

当然，根据所述支架关键点定位出第一图像上目标区域的方式有很多种，此处仅是举例，具体实现时不局限于上述任意一种。

在一些实施例中，如图5所示，所述步骤S130可包括：

步骤S131：根据所述支架关键点，确定所述目标的支架；

步骤S132：确定所述第一图像中第x像素到所述支架的第x距离；

步骤S133：根据所述第x距离，确定所述第x像素是否为构成所述目标的像素；

步骤S134：确定所述目标所在的至少部分区域为所述目标区域。

为了精准分离目标和背景，在本实施例的步骤S130中会遍历第一图像中的各个像素，从而确定所述第一图像上各像素到支架的距离。在本实施例中，所述第x像素可为第一图像上任意一个像素。在本实施例中为了区分，将第x像素相对于支架的距离称之为第x距离。在本实施例中，x的取值可为小于所述第一图像所包含像素值个数。

在一些实施例中，所述第x距离可为当前图像中第x个像素到支架所在像素之间的像素个数。

在本实施例中，若基于第x距离，可以判断出第一图像中第x像素是否构成目标的像素；若第x像素不是构成所述目标的像素，即可为目标以外的背景的像素。

如此，基于第x距离是否构成目标的像素的判断，就可以实现第一图像中目标和像素的精准分离。

由于通过神经网络等深度学习模型从第一图像中取出有限的特定个数(例如，14或17等数值)的关键点，形成所述目标的支架；相当于训练深度学习模型逐一像素确定是否属于目标，大大降低了数据处理的难度及处理量，进而大大降低了深度学习模型的复杂度、简化了深度学习模型的训练；简化了深度学习模型的训练和训练速率。在本实施例中目标的支架的形态是随着目标的姿态的变化而变化的，如此，无论目标是哪一种姿态，只要成功提取出了目标的姿态，都可以基于第x距离精准分离目标和背景，从而减少因为目标的姿态不同，使用对某种姿态识别率不高的深度学习模型导致的精准度不够的问题；简化了深度学习模型的训练，并提升了目标的提取精准度。

在一些实施例中，所述方法还包括：

确定所述第x距离是否不小于距离阈值；

基于距离阈值的设置，和第x像素与支架体之间的距离的确定，可以将目标从第一图像中与背景简便及快速的分割开来。

所述距离阈值可为根据所述目标的高度查表或者函数计算确定的，例如，一般身高越高的人则可能躯干和四肢都相对身高矮一些的人粗一些，则根据支架关键点可以推算出采集对象的身高，从而通过查表或者函数计算的方式确定出所述距离阈值。所述距离阈值可为基于大数据统计得到的统计值，或者，通过大数据处理拟合出可以计算所述距离阈值的函数。

在一些实施例中，所述方法还包括：

例如，以人的骨架为例，则有的像素距离上臂骨的距离近，则在确定距离阈值时，应该查询或利用与该上臂骨对应的函数关系来确定。

在一些实施例中，每一个支架体都对应有其备选阈值，然后在确定了第x像素距离最近的支架体之后，就选择了该支架体所对应的阈值为备选阈值，进一步结合查表或函数计算可以得到最终的距离阈值。

如图2B及图3所示，支架被各个支架关键点分为了多个支架体；一个所述支架体可以视为一条线段。在本实施例中，为了计算所述第x距离，首先会基于第x像素的像素坐标，并结合目标支架在相机坐标系中的坐标，确定出与第x像素最近的支架体。然后将支架体视为一个线段，求取第x像素到该线段的距离。若第x像素向对应支架体所在直线的垂直投影位于所述支架体上时，则该第x距离可为：第x像素向对应的支架体所在线段上的垂直距离，或者，第x像素性对应支架体所在直线的垂直投影部位与所述支架体上时，所述第x距离可为：第x像素与所述支架体所在线段最近的一个端点之间的距离。

如图4所示，像素1与像素2距离最近的支架体为同一个；但是像素1与该支架体之间的距离，可为像素1直接向该支架体所在线段的做垂线得到的距离；而像素2则是向该支架体所在线段最近的端点的距离。在本实施例中，所述距离可以用像素个数来表示，也可以用直接的图像上的空间距离来表示，例如，毫米或厘米等。

进一步地，所述根据所述第x像素距离最近的所述支架体与备选阈值的对应关系，确定所述距离阈值，包括：

根据所述支架的尺寸及相对距离，得到调整参数；

根据所述基准阈值及所述调整参数，确定所述距离阈值。

所述深度图像可为和第一图像同时采集的图像。

在本实施例中，支架的不同支架体之间设置有基准阈值，然后基于支架的尺寸，支架的尺寸就对应于采集对象的身高；深度图像反应了采集对象与图像采集设备之间的距离，基于这两者得到一个调整参数，利用该调整参数调整基准阈值，就得到了适用于当前采集对象身高和/或体重的距离阈值，从而能够更加精准提取出所述目标区域。

在一些实施例中，所述方法还包括：根据所述第一图像对应的深度图像，获取所述第x像素的第x深度值；

所述根据所述第x距离，确定所述第x像素是否为构成所述目标的像素，包括：结合所述第x距离及所述第x深度值，确定所述第x像素是否为构成所述目标的像素。

在本实施例中不仅会基于第x距离来确定第x像素是否属于目标，并进一步会基于深度图像确定的第x距离来精确确定第x像素是否属于目标的像素，从而使得目标正确从第一图像的背景分离出来，然后基于分离的目标可以选择目标的全部或部分构成所述目标区域。

在一些实施例中，所述步骤S130可包括：基于从所述第一图像中检测的2D关键点所述2D关键点对应的实际深度值，确定所述目标的3D特征；基于所述3D坐标，确定在3D空间内的3D目标区域。

在一些实施例中，采集了第一图像之后，会基于第一图像生成3D的第二图像，此时还会基于第一图像对应的深度图像得到所述实际深度值。基于第一图像中的像素坐标及实际深度值形成了3D特征。若后的了3D目标区域之后，可以在3D目标区域内进行AR贴图，如此，得到的是3D的第二图像，第二图像可以被多角度观看，然后AR贴图在不同观看角度所呈现的形态取决于所述3D目标区域的形态和分布。

在一些实施例中，所述步骤S140可包括：

根据多张同一采集对象不同角度采集的第一图像和对应的深度图像，可以还原出采集对象在3D空间内的形态；基于3D空间内的形态生成立体效果可旋转图像和/或视频帧；然后基于关键点得到在具有立体效果的可旋转的图像和/或视频帧中的目标区域，将AR贴图贴服在这些目标区域内，从而可以使得AR贴图被贴到具有立体效果的图像和/或视频帧产生所述第二图像。在步骤S150中可以播放具有立体效果的单张图像，或者，播放具有立体效果的3D视频。此时，所述第二图形的不同角度呈现AR贴图的形态和/或效果不同，从而再次提升了显示效果。

在一些实施例中，所述基于从所述第一图像中检测的2D关键点及所述2D关键点对应的实际深度值，确定所述目标的3D坐标，包括：

根据所述第二2D特征及所述参考深度值，获得所述3D特征。

d为所述实际深度值；D为所述参考深度值。

所述D可为空间距离，单位可为：毫米、厘米或分米等。

参考如图6所示，of为图像采集的焦距(可简写成f)，是可以通过查询相机参数知道的，通过三角函数变换可以得到第二2D坐标和参考深度值。第二2D坐标和参考深度值，构成了所述第一3D特征，将标准的深度值的第一3D特征输入到深度学习模块，能够实现目标3D姿态的精准提取。故在一些实施例中od表示的距离为所述实际深度值，可简写成d；oD表示的距离为参考深度值。根据三角函数关系可以指y0/y1＝f/d；y2/y1＝f/D；y0表示的第一2D坐标，y2表示的第二2D坐标。如此，y2＝(d*y0)/D。

例如，可以利用如下函数关系确定所述第二2D坐标，但不限于该函数关系；

X2＝(X1*d)/D，

Y2＝(Y1*d)/D，

其中，X2为所述第二2D坐标在第一方向上的坐标值；X1为所述第一2D坐标在所述第一方向上的坐标值；

Y2为第二2D坐标在第二方向上的坐标值，Y1为所述第一2D坐标在所述第二方向上的坐标值；其中，所述第二方向垂直于所述第一方向；

d为所述实际深度值；D为所述参考深度值。

所述D可为空间距离，单位可为：毫米、厘米或分米等。

在本实施例中，根据图像关键点在采集的图像中的2D坐标，在本实施例中实际采集得到的图像的2D坐标称之为第三2D坐标。在一些实施例中，所述方法还包括：

光心位置根据所述关键点的第二3D特征及所述图像对应的光心位置，得到所述第一2D坐标。

实际采集的2D图像上目标的关键点。例如，支架上的关键点。

所述关键点的个数可为多个。例如，若目标为人体，则所述关键点可包括：14个2D关键点。此处，可以利用2D图像的深度学习模块，通过对2D图像的处理，获得所述第三2D坐标。

如图2B所示为一种人体骨骼的关键点的2D坐标。在图2B中用14个黑色圆点表示14个关键点。图3为用黑色圆点及空心点表示的17个关键点的支架。

在一些实施例中，可以利用深度学习模块对所述2D图像进行处理，从而获得所述第三2D坐标。该第三3D坐标和从深度图像中提取的实际深度值，可以组成第二3D特征。

利用深度学习模块基于目标的第一3D特征进行目标的3D姿态估计时，当前目标距离图像采集模组之间的距离可近可远，若深度学习模块之前缺少对应的训练样本，则会导致无法精确的预估目标3D姿态。而一个深度学习模块需要尽可能对不同远近的3D图像中目标3D姿态的精准提取，则需要引入更多的训练样本对深度学习模块进行处理；如此，深度学习模块的训练难度大且训练周期长。所述深度学习模块可为：各种神经网络，例如，可包括：全连接网络及残差网络的残差模块等具有3D姿态识别的网络。故在本实施例中，为了提升目标3D姿态的精准度，会将目标的关键点的第一3D特征中深度值转换为参考深度值。

为了实现成功将所述关键点的第一3D特征中的深度值转换为参考深度值，首先需要将第三2D坐标转换为第一2D坐标，使得转换后的2D坐标位于所述图像的光轴上。

图7为一个2D图像，拍摄的人物原本位于照片的非中间位置，通过基于光心位置之间的坐标平移，可以将图4中实线表示的人物从第三2D坐标所在的位置，移动到虚线表示的第一2D坐标所在的位置上。通过将关键点中的基准点在相机平面上的平移，使得基准点移动到相机平面的光轴上；相对于直接向深度学习模块输入第三2D坐标可以减少干扰，从而提升3D姿态的精准度，同时减少3D姿态提取的深度学习模块训练所需的数据和/或时长，再次简化深度学习模块的训练及提升训练的速率。

在一些实施例中，如图8所示，所述方法还包括：

步骤S210：根据所述关键点，确定所述目标的姿态；

步骤S220：获取与所述姿态相适配的目标AR贴图；

所述步骤S140可包括步骤S141：所述步骤S141可包括：在所述第一图像的目标区域叠加所述目标AR贴图，生成所述第二图像。

在本实施例中，AR贴图是与目标的姿态相适配的；例如，以目标为人的成像为例，人直立、斜站等各种姿态，不同的姿态需要有不同形态的与之相适配的AR贴图，才能确保AR贴图贴到目标区域之后才能形成显示效果较佳的第二图像。

在本实施例中会基于关键点得到目标的姿态，然后选择与该姿态相适配的AR贴图生成第二图像，从而提升第二图像的图像效果。

在一些实施例中，所述步骤S210还包括：根据2D关键点，确定所述目标的2D姿态；或，根据2D关键点及所述2D关键点所对应的实际深度值，确定所述目标的3D姿态。

若第二图像为平面图像，则可以根据从第一图像中检测出的2D关键点，直接确定出所述2D姿态即可。

若第二图像为立体图像，或者，可旋转观看目标不同角度的视频帧，则所述需要结合2D关键点及2D关键点对应的实际深度值，确定出目标的3D姿态。

在一些实施例中，所述获取与所述姿态相适配的所述AR贴图，包括：

从多个备选AR贴图中与所述姿态相适配的所述目标AR贴图；

或者，

在数据库中预先存储有多种形态的备选AR贴图，在确定出目标的姿态之后，根据确定的姿态从备选AR贴图中选择相适配的目标AR贴图即可。

在还有一些实施例中，AR贴图都是一个观看视角的贴图，例如，都是正视角的贴图。如果确定出所述目标的姿态之后，可以根据所述姿态调整预设AR贴图，使得调整后的AR贴图与目标姿态相适配从而形成所述目标AR贴图。

例如，通过挤压和/或拉伸等空间变换，使得标准的预设AR贴图转换成特定形态的所述目标AR贴图。

在一些实施例中，所述方法还包括：

获取所述第二图像生成的场景信息；

根据所述场景信息，选择所述AR贴图。

在本实施例中，所述场景信息可包括以下至少之一：

指示所述第一图像的采集场景的采集场景信息；

指示所述第二贴图的显示场景的显示场景信息。

根据上述场景信息，选择一个与场景信息相适配的AR贴图；从而使得显示的第二贴图与当前场景更加融合，减少突兀的现象。

例如，在动漫观看场景下显示所述第二图像，则所述AR贴图可为动漫元素的贴图，而非真实自然环境的贴图，使得第二图像与显示场景更加适配，融合度更高。

再例如，在游戏场景下，所述AR贴图可为游戏道具的贴图，从而使得生成的第二图像能够与游戏场景相适配。

在一些实施例中，所述获取所述第二图像生成的场景信息，包括以下至少之一：

所述应用类型可以根据应用标识(ID)来确定。所述应用类型可包括：

多媒体信息播放应用；

社交应用；

游戏应用；

购物应用；

搜索应用等。

当然以上仅是应用类型的举例，具体实现时不局限于上述任意一种。

在一些实施例中，所述根据所述场景信息，选择所述AR贴图，包括：

若所述场景信息指示当前处于游戏场景，根据游戏场景的游戏元素确定所述AR贴图。

所述游戏元素可包括：游戏道具(例如，武器等)、游戏服装及游戏配饰等。

在一些实施例中，所述方法还包括：

根据所述场景信息，结合所述第一图像及所述AR贴图，生成与所述场景信息指示的场景相适配的第二图像。

例如，所述根据所述场景信息，结合所述第一图像及所述AR贴图，生成与所述场景信息指示的场景相适配的第二图像，包括：

根据所述场景信息，对所述第一图像处理得到与所述场景信息指示的场景相适配的第三图像；

在所述第三图像的所述目标区域，贴上所述AR贴图以生成所述第二图像。

再例如，所述根据所述场景信息，结合所述第一图像及所述AR贴图，生成与所述场景信息指示的场景相适配的第二图像，包括：

将所述AR贴图贴到所述第一图像的目标区域之后，形成了第四图像；

对所述第四图像进行图像处理，生成与所述场景信息指示的场景相适配的所述第二图像。

所述对所述第一图像进行图像处理可包括：对所述第一图像进行滤镜处理，得到所述第三图像。

所述对第四图像进行图像处理，可包括：对所述第四图像进行滤镜处理得到所述第二图像。若采用这种方式，则在选择贴图时不用必然选择与当前场景相适配的AR贴图，而是通过第四图像的图像处理，将AR贴图的风格改变成与场景相适配。

通过所述滤镜处理可为通过第一图像的像素值与转换为特定风格变换矩阵进行变换之后，得到所述第三图像的像素值，从而生成所述第三图像。通过所述滤镜处理可为通过第四图像的像素值与转换为特定风格变换矩阵进行变换之后，得到所述第儿图像的像素值，从而生成所述第二图像

例如，所述变换矩阵可为预先生成的，也可以是动态生成的。例如，从所述第一图像或第四图像中提取实际图像特征，获取预定风格的参考图像的参考图像特征；基于所述实际图像特征和所述参考图像特征，得到将所述实际图像特征转换为所述参考图像特征的变换矩阵。然后利用该变换矩阵进行第三图像和/或第四图像的像素值变换，就可以得到第三图像和/或第二图像。

如图9所示，本实施例提供一种图像处理装置，包括：

第一获取模块110，用于获取目标的第一图像；

检测模块120，用于检测所述第一图像，确定出所述目标的关键点；

第一确定模块130，用于基于所述关键点，确定出目标区域；

生成模块140，用于在所述第一图像的目标区域叠加增强现实AR贴图，生成第二图像；

显示模块150，用于显示第二图像。

所述第一获取模块110、检测模块120、第一确定模块130、生成模块140及显示模块150可为程序模块；还可以各种软硬结合模块，例如，可编程阵列等。

在一些实施例中，所述第一确定模块130，具体用于根据所述关键点，确定所述目标的支架；确定所述第一图像中第x像素到所述支架的第x距离；根据所述第x距离，确定所述第x像素是否为构成所述目标的像素；确定所述目标所在的至少部分区域为所述目标区域。

在一些实施例中，所述检测模块120，具体用于根据所述第一图像的图像特征获得目标的轮廓关键点。

在另一些实施例中，所述第一确定模块130，具体用于基于所述轮廓关键点，确定所述目标的外轮廓；根据所述目标的形状属性，对所述外轮廓所包围区域进行分区得到多个分区；从所述多个分区选择部分作为所述目标区域。

在一些实施例中，所述检测模块120，具体用于检测所述第一图像，确定出所述目标的支架关键点。

在一些实施例中，所述第一确定模块130，具体用于根据所述支架关键点，确定所述目标的支架；确定所述第一图像中第x像素到所述支架的第x距离；根据所述第x距离，确定所述第x像素是否为构成所述目标的像素；确定所述目标所在的至少部分区域为所述目标区域。在一些实施例中，所述装置还包括：

第二确定模块，用于确定所述第x距离是否不小于距离阈值；

在一些实施例中，所述装置还包括：

在一些实施例中，所述第四确定模块，具体用于根据所述第x像素距离最近的所述支架体与备选阈值的对应关系，得到基准阈值；根据与所述第一图像对应的深度图像，确定所述目标对应的采集对象与相机之间的相对距离；根据所述支架的尺寸及相对距离，得到调整参数；根据所述基准阈值及所述调整参数，确定所述距离阈值。

在一些实施例中，所述装置还包括：

在一些实施例中，所述第一确定模块130，具体用于基于从所述第一图像中检测的2D关键点所述2D关键点对应的实际深度值，确定所述目标的3D特征；基于所述3D坐标，确定在3D空间内的3D目标区域。

在一些实施例中，所述第一确定模块130，具体用于根据参考深度值及所述实际深度值的比值，将所述2D关键点的第一2D坐标转换为第二2D坐标；根据所述第二2D特征及所述参考深度值，获得所述3D特征。

在一些实施例中，所述装置还包括：

第三获取模块，用于获取与所述姿态相适配的目标AR贴图；

所述生成模块140，具体用于在所述第一图像的目标区域叠加所述目标AR贴图，生成所述第二图像。

在一些实施例中，所述第五确定模块，具体用于根据2D关键点，确定所述目标的2D姿态；或，根据2D关键点及所述2D关键点所对应的实际深度值，确定所述目标的3D姿态。

在一些实施例中，所述第三获取模块，具体用于从多个备选AR贴图中与所述姿态相适配的所述目标AR贴图；或者，根据所述姿态调整预设AR贴图，生成与所述姿态相适配的目标AR贴图。

在一些实施例中，所述装置还包括：

在一些实施例中，所述第四获取模块，具体用于执行以下至少之一：

在一些实施例中，所述第四获取模块，具体用于若所述场景信息指示当前处于游戏场景，根据游戏场景的游戏元素确定所述AR贴图；和/或，根据所述场景信息，选择与当前场景的主题相适配的所述AR贴图。

以下结合上述任意实施例提供一个具体示例：

本示例提供一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术。而AR拍照，就是指通过实时识别相机影像，将影像与虚拟物体结合的一种拍照技术。AR拍照处理，可包括：如脸部贴纸处理，可应用于各种拍照应用程序(Application，App)中。这些应用多基于静态图像，和手机自拍场景。要在体感游戏中，完成AR换装，需要适配线下摄像头成像特点；同时要对用户全身进行AR换装，而不仅仅是脸部；且要对动态图像进行连续处理；进一步要保证处理速度。

基于人工智能肢体识别技术，检测到玩家的肢体；使用AR技术，为用户穿上AR服装。可用于在体感游戏中，为玩家提供虚拟游戏装扮。

本示例提供的以人成像进行AR换装的方法可包括：

首先，获取用户进行体感游戏的实时影像；该实时影像对应于前述第一图像；

通过计算机视觉算法用户的肢体成像；

根据游戏主题，选择合适的AR虚拟装扮；

合成AR影像。

该方法可在拍照软件中，可用于实时AR换装，拍摄AR照片；或者，用于体感游戏中，用于营造有沉浸感的游戏体验。

图10A和图10B均为一种利用本示例的AR换装的效果示意图。图10A被采集的人穿的是短裤，但是通过本实施例的AR贴图，使得该人的图像换上了长裙。图10B相对于图10A还显示了未被使用的AR贴图，分别是两条短裙的贴图。

如图11所示，本申请实施例提供了一种图像设备，包括：

显示器，

存储器，用于存储信息；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1、图5及图8所示的方法中的一个或多个。

该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。

所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。

所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。

在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。

在一些实施例中，所述图像设备还包括摄像头，该摄像头可为2D摄像头，可以采集2D图像和/或3D图像。

在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。

本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1、图5及图8所示的方法中的一个或多个。

所述存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。

本申请实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的图像处理方法，例如，如图1、图3及图4所示的方法中的一个或多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像处理方法，其特征在于，包括：

获取目标的第一图像；

检测所述第一图像，确定出所述目标的关键点；

基于所述关键点，确定出目标区域；

显示第二图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述检测所述第一图像，确定出所述目标的关键点，包括：

根据所述第一图像的图像特征获得目标的轮廓关键点。

3.根据权利要求2所述的图像处理方法，其特征在于，

所述基于所述关键点，确定所述目标区域，包括：

基于所述轮廓关键点，确定所述目标的外轮廓；

从所述多个分区选择部分作为所述目标区域。

4.根据权利要求1所述的图像处理方法，其特征在于，

所述检测所述第一图像，确定出所述目标的关键点，包括：

检测所述第一图像，确定出所述目标的支架关键点。

5.根据权利要求4所述的图像处理方法，其特征在于，

所述基于所述关键点，确定出目标区域，包括：

根据所述支架关键点，确定所述目标的支架；

确定所述第一图像中第x像素到所述支架的第x距离；

确定所述目标所在的至少部分区域为所述目标区域。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求2至6任一项所述的方法，其特征在于，所述基于所述关键点，确定出目标区域，包括：

基于所述3D坐标，确定在3D空间内的3D目标区域。

8.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取目标的第一图像；

第一确定模块，用于基于所述关键点，确定出目标区域；

显示模块，用于显示第二图像。

9.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现权利要求1至8任一项提供方法的步骤。

10.一种图像设备，包括：

显示器；

存储器；

处理器，分别与所述显示器及存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够控制所述显示器的显示并实现权利要求1至8任一项所述方法的步骤。