CN107343151A - 图像处理方法、装置和终端 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置和终端，其中，该方法包括：利用结构光，获取用户的人体3D模型；确定人体3D模型中待补全的目标子模型的类型；判断人体3D模型中，是否存在第一子模型，第一子模型的类型与目标子模型的类型相同；若是，则根据第一子模型，生成第二子模型；利用第二子模型对人体3D模型进行补全处理；根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

Description

图像处理方法、装置和终端

技术领域

本发明涉及摄像技术领域，尤其涉及一种图像处理方法、装置和终端。

背景技术

随着网络和电子技术的快速发展，终端的功能日益强大，被广泛应用于人们的生活、学习、工作中。目前，越来越多的终端配置了摄像头，用户可以利用摄像头拍摄照片、录像、视频聊天等等。

在日常生活中，有很多用户的身体可能存在残疾，比如，只有一只手，一只眼睛或一条腿等，相应的，其利用摄像头拍摄得到的图像中，身体也是残缺的。而许多残疾用户希望拍摄得到的图像中，自己的身体是健康完整的。

现有技术，可以在用户拍摄图像完成后，利用photoshop等处理工具，对拍摄得到的图像进行处理，从而使拍摄得到的图像中，用户的身体健康完整，但这种方式，需要在后期进行图像处理，处理过程复杂，浪费用户的精力，用户体验差。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请提出一种图像处理方法，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

本申请还提出一种图像处理装置。

本申请还提出一种终端。

本申请还提出一种计算机可读存储介质。

本申请第一方面提出一种图像处理方法，所述方法包括：

利用结构光，获取用户的人体3D模型；

确定所述人体3D模型中待补全的目标子模型的类型，其中，所述目标子模型为任意人体器官对应的模型；

判断所述人体3D模型中，是否存在第一子模型，所述第一子模型的类型与所述目标子模型的类型相同；

若是，则根据所述第一子模型，生成第二子模型；

利用所述第二子模型对所述人体3D模型进行补全处理；

根据补全后的人体3D模型，生成所述用户的图像。

本申请实施例提供的图像处理方法，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

本申请第二方面提出一种图像处理装置，所述装置包括：

第一获取模块，用于利用结构光，获取用户的人体3D模型；

第一确定模块，用于确定所述人体3D模型中待补全的目标子模型的类型，其中，所述目标子模型为任意人体器官对应的模型；

判断模块，用于判断所述人体3D模型中，是否存在第一子模型，所述第一子模型的类型与所述目标子模型的类型相同；

第一处理模块，用于存在所述第一子模型时，根据所述第一子模型，生成第二子模型；

第二处理模块，用于利用所述第二子模型对所述人体3D模型进行补全处理；

生成模块，用于根据补全后的人体3D模型，生成所述用户的图像。

本申请实施例提供的图像处理装置，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

本申请第三方面提出一种终端，包括存储器、处理器及图像处理电路，所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码，及所述图像处理电路输出的深度图像，以实现如第一方面所述的图像处理方法。

本申请实施例提供的终端，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

本申请第四方面提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像处理方法。

本申请实施例提供的计算机可读存储介质，可以设置在任意具有摄像功能的终端中，在用户拍摄图像时，通过执行其上存储的图像处理方法，可以实现在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请一个实施例的图像处理方法的流程图；

图1A是本申请一个实施例的不均匀的结构光的散斑分布图；

图1B是本申请一个实施例的均匀的结构光的散斑分布图；

图1C是本申请一个实施例的图像处理方法的示例图；

图2是本申请另一个实施例的图像处理方法的流程图；

图3是本申请一个实施例的图像处理装置的结构图；

图4是本申请另一个实施例的图像处理装置的结构图；

图5是本申请一个实施例的终端的结构图；

图6是本申请一个实施例的图像处理电路的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

下面参考附图描述本发明实施例的图像处理方法、装置和终端。

本发明各实施例针对现有技术，为了使残疾用户拍摄得到的图像中，用户的身体健康完整，需要在后期进行图像处理，处理过程复杂，浪费用户的精力，用户体验差的问题，提出一种图像处理方法。

本发明实施例提供的图像处理方法，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，在人体3D模型中，存在与目标子模型的类型相同的第一子模型时，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

下面结合图1对本申请实施例的图像处理方法进行说明。

图1是本申请一个实施例的图像处理方法的流程图。

如图1所示，该方法包括：

步骤101，利用结构光，获取用户的人体3D模型。

其中，本发明实施例提供的图像处理方法，可以由本发明实施例提供的图像处理装置执行。具体的，该图像处理装置，可以被配置在任意具有摄像功能的终端中。其中，终端的类型很多，可以根据应用需要进行选择，例如：手机、电脑等。

具体的，可以在终端中设置成像设备，用于采集用户图像，及获取用户的人体3D模型。

其中，成像设备中，可以包括结构光投射器及图像传感器，分别用于投射结构光及采集结构光图像；或者，也可以在终端中，单独设置结构光投射器及图像传感器，此处不作限制。

具体实现时，在用户拍摄图像时，可以利用成像设备中的结构光投射器，对用户所在的区域投射结构光图案，其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。然后通过对结构光图案变形的感知及三角测量法等，获取用户的人体深度图像。

其中，结构光可以是非均匀的结构光。

具体的，非均匀的结构光，可以通过多种方法形成。

比如，可以通过红外激光光源照射毛玻璃，从而在用户所在的区域产生干涉形成非均匀的结构光。

或者，可以通过衍射光学元件进行投射的方式，形成非均匀的结构光。具体的，可以由单个激光光源准直后通过单个或多个衍射光学元件，在用户所在的区域形成非均匀的结构光。

或者，还可以直接由不规则分布的激光阵列通过衍射光学元件，在用户所在的区域形成与激光阵列一致的不规则分布的散斑，即非均匀的结构光。通过这种方式，还可以控制散斑的细节分布，此处不作限定。

可以理解的是，分别以不均匀的结构光和均匀的结构光投射物体表面时，不均匀的结构光的散斑分布如图1A所示，均匀的结构光的散斑分布如图1B所示。从图1A和1B可知，相同大小的区域内，图1A中包含11个斑点，图1B中包含16个斑点，即不均匀的结构光所包含的斑点比均匀的结构光包含的斑点更少。因此，利用不均匀的结构光，获取用户的人体深度图像，消耗的能量更少，节能效果更好，改善了用户体验。

进一步的，获取了用户的人体深度图像后，即可根据用户的人体深度图像，获取用户的人体3D模型。

具体的，可以通过多种方法，获取用户的人体3D模型。

比如，可以获取多个人体深度图像，并对多个人体深度图像进行去噪声处理、平滑处理、前后景分割等预处理，从而将人体深度图像中可能包括的背景、环境等与人体进行分离。然后，根据人体深度图像获取密集点云数据，并进行人体深度信息点云网格的重建。再对重建后的多帧深度图像进行合并、配准，生成人体3D模型。

或者，可以通过结构光技术，获取人体的结构光红外图像，然后从结构光红外图像中采集人体的散斑红外图像，计算得到散斑红外图像的散斑点相对于参考散斑图像的移动距离，并根据移动距离、参考散斑图像的位置信息得到人体的散斑红外图像的散斑点的深度值，从而根据深度值得到人体深度图像。然后通过对结构光红外图像进行滤波处理，得到人体红外图像。进而根据人体深度图像与红外图像，得到用户的人体3D模型。

步骤102，确定人体3D模型中待补全的目标子模型的类型。

其中，目标子模型为任意人体器官对应的模型。

可以理解的是，正常的人体3D模型中，包括所有的人体器官，而残疾用户的人体3D模型与正常的人体3D模型相比，会有一部分器官缺失，目标子模型，即为用户的人体3D模型，与正常的人体3D模型相比，缺失的人体器官对应的模型。

其中，目标子模型的类型，可以是手臂、手、脚、腿、鼻子、耳朵等类型。

具体实现时，获取了用户的人体3D模型后，即可根据用户的人体3D模型，及正常的人体3D模型，确定用户的人体3D模型中缺少的人体器官，进而确定目标子模型的类型。

步骤103，判断人体3D模型中，是否存在第一子模型，第一子模型的类型与目标子模型的类型相同。

具体的，可以根据人体3D模型中，各个器官的种类，将人体3D模型中的所有器官对应的模型进行分类，从而在确定目标子模型的类型后，即可判断人体3D模型中，是否存在与目标子模型同种类型的第一子模型。

步骤104，若是，则根据第一子模型，生成第二子模型。

具体的，步骤104可以通过以下方式实现：

根据第一子模型的类型，确定第一子模型对应的生物信息；

根据生物信息，生成第二子模型。

其中，生物信息，可以包括器官的长度、粗细，器官中关节的数量、位置等等信息。

可以理解的是，通常，人体的两个眼睛，两个耳朵，两个手臂等等同种类型的器官的生物信息，具有一定的规律。比如，如图1C所示，人体的左手及右手，具有相同的大小，且均有5个手指，左手与右手中手指的排列方向相反，对应手指的长度、粗细等相同，根据一只手的生物信息，即可得到另一只手。因此，在本发明实施例中，可以根据第一子模型的类型，确定第一子模型的生物信息，从而根据第一子模型的生物信息进行重塑，以生成第二子模型。

举例来说，假设人体3D模型中待补全的目标子模型为左手模型，目标子模型的类型为手型，若人体3D模型中，存在第一子模型，即存在右手模型，则可以根据右手模型的生物信息进行重塑，以生成左手模型。

另外，人体的某些同种类型的器官，可能呈镜像对称关系，因此，在确定人体3D模型中，存在第一子模型时，也可以通过对第一子模型进行镜像处理，以生成第二子模型。

需要说明的是，在实际运用中，可以根据需要选择以任意方式，生成第二子模型，此处不作限制。

步骤105，利用第二子模型对人体3D模型进行补全处理。

步骤106，根据补全后的人体3D模型，生成用户的图像。

具体的，生成了第二子模型后，即可根据正常的人体3D模型中，目标子模型的位置，将第二子模型，补全到用户的人体3D模型中的对应位置上，得到补全后的人体3D模型，进而生成用户的图像。

可以理解的是，在对人体3D模型进行补全处理后，为了实现生成的用户的图像中，补充的器官与用户原有器官的肤色相同、连接处更自然等效果，在本发明实施例中，还可以根据用户原有的各器官的肤色等，对补充的器官所在区域的饱和度、亮度、像素值等进行调整，以提高生成的用户的图像的视觉效果。

在本发明一种可能的实现形式中，为了使第二子模型更好的融入人体3D模型所在的场景中，从而提高生成的图像的视觉效果，还可以根据第二子模型的深度信息，利用第二子模型对人体3D模型进行补全处理。即，步骤105之前，还可以包括：

根据人体3D模型，确定第二子模型的深度信息。

具体实现时，可以通过多种方法，确定第二子模型的深度信息。

比如，可以根据用户的人体3D模型中，已有的各个器官的深度信息，及正常人体的各器官的位置关系，确定第二子模型的深度信息。

举例来说，若根据用户的人体3D模型，确定用户缺少左耳，则可以确定用户的头部的深度信息，并根据正常人体的头部及左耳的位置关系，确定左耳的深度信息。

或者，可以根据用户的人体3D模型中，存在的第一子模型的深度信息，确定第二子模型的深度信息。

举例来说，若根据用户的人体3D模型，确定用户缺少左耳，则可以确定用户的人体3D模型中，已有的右耳的深度信息，并将右耳的深度信息，确定为左耳的深度信息。

需要说明的是，若用户拍摄图像时，没有正面面向摄像头，则直接根据第一子模型的深度信息，确定的第二子模型的深度信息可能会不准确。在本发明实施例中，还可以根据用户的人体3D模型中，已有的至少两个同种类型子模型的深度信息的关系，及第一子模型的深度信息，确定第二子模型的深度信息。

举例来说，若根据用户的人体3D模型，确定用户缺少左耳，且此时用户的两个眼睛的深度信息相同，则可以确定左耳的深度信息与右耳的深度信息相同；或者，若此时用户的左眼的深度信息比右眼的深度信息小，且差值为A，则可以将右耳的深度信息减A后，得到左耳的深度信息。

具体的，确定了第二子模型的深度信息后，即可根据确定的深度信息，将第二子模型补全到人体3D模型中，并根据补全后的人体3D模型，生成用户的图像。通过根据深度信息，利用第二子模型对人体3D模型进行补全处理，可以实现在补全人体3D模型的基础上，使第二子模型更好的融入到用户所在的场景中，从而使根据补全后的人体3D模型，生成的用户的图像更真实。

另外，由于用户拍照时，可能会摆出不同姿势，为了使补全后生成的用户的图像中，用户的姿势更加自然，在本发明实施例中，还可以在根据第一子模型生成第二子模型后，对生成的第二子模型的姿态进行调整，或者对第一子模型的姿态进行调整，从而根据调整后的第一子模型，生成第二子模型，以利用第二子模型对人体3D模型进行补全处理。

具体的，可以通过多种方法，对第一子模型/第二子模型的姿态进行调整。

比如，可以根据获取的用户的人体3D模型的当前整体姿态，及大量正常的人体3D模型的姿态，预测目标子模型的姿态。从而将第一子模型的姿态/第二子模型的姿态调整为大多数正常的人体3D模型中，目标子模型的姿态。

或者，可以根据用户的指令，对第一子模型的姿态/第二子模型的姿态进行调整。

通过对根据第一子模型生成的第二子模型进行调整后，或者对第一子模型的姿态进行调整，以生成第二子模型后，即可将第二子模型补全到用户的人体3D模型中后，从而使补全后生成的用户的图像中，用户的姿势更加自然，更好的满足用户的需求。

进一步的，在本发明实施例中，还可以根据需要，设置是否对用户的人体3D模型进行补全处理，以使生成的图像中，用户的身体健康完整。即，在步骤101之前，还可以包括：

获取用户触发的图像补全指令；

或者，

确定当前采集的用户的图像满足图像补全条件。

具体的，用户可以通过点击、长按或者滑动具有图像补全功能的按钮，触发图像补全指令，从而图像处理装置在获取到用户触发的图像补全指令后，即可利用结构光，获取用户的人体3D模型，并进一步确定人体3D模型中待补全的目标子模型的类型，然后在人体3D模型中，存在与目标子模型的类型相同的第一子模型时，利用第一子模型生成第二子模型，以利用第二子模型，对人体3D模型进行补全处理，以使生成的图像中，用户的身体健康完整。

或者，可以预先设置图像补全条件为：当前采集的用户的图像中没有包括所有的人体器官，从而在当前采集的用户的图像满足图像补全条件时，即可利用结构光，获取用户的人体3D模型，并进一步确定人体3D模型中待补全的目标子模型的类型，然后在人体3D模型中，存在与目标子模型的类型相同的第一子模型时，利用第一子模型生成第二子模型，以利用第二子模型，对人体3D模型进行补全处理，以使生成的图像中，用户的身体健康完整。

若没有获取到用户触发的图像，或者当前采集的用户的图像不满足图像补全条件，则不对当前采集的用户的图像进行补全处理。

需要说明的是，在本发明实施例中，在用户拍摄图像时，也可以不根据获取的用户的人体3D模型，仅根据当前采集的2D图像中，用户的人体图像，确定目标子模型的类型，然后再利用结构光，获取用户的人体3D模型，从而利用与目标子模型同种类型的第一子模型，生成第二子模型，以利用第二子模型，对用户的人体3D模型进行补全处理，进而生成用户的图像。

本发明实施例提供的图像处理方法，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

通过上述分析可知，可以利用结构光，获取用户的人体3D模型，并确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则可以根据第一子模型，生成第二子模型，以利用第二子模型对人体3D模型进行补全处理，进而生成用户的图像。在实际运用中，人体3D模型中，可能不存在与目标子模型的类型相同的第一子模型，下面结合图2，对上述情况进行具体说明。

图2是是本发明另一个实施例的图像处理方法的流程图。

如图2所示，该图像处理方法包括：

步骤201，利用结构光，获取用户的人体3D模型。

步骤202，确定人体3D模型中待补全的目标子模型的类型。

其中，目标子模型为任意人体器官对应的模型。

步骤203，判断人体3D模型中，是否存在第一子模型，第一子模型的类型与目标子模型的类型相同，若是，则执行步骤204，否则，执行步骤206。

步骤204，根据第一子模型，生成第二子模型。

步骤205，利用第二子模型对人体3D模型进行补全处理。

其中，步骤201-步骤205的具体实现过程及原理，可以参照上述实施例的详细描述，此处不作赘述。

步骤206，根据用户的人体3D模型，确定用户的人体特征信息。

具体的，获取了用户的人体3D模型后，即可对人体3D模型进行解析，以确定用户的人体特征信息。

步骤207，从与目标子模型的类型对应的子模型库中，选取与用户的人体特征信息匹配的第三子模型。

具体实现时，可以预先建立模型库，并根据人体器官类型，将模型库分为多个子模型库，每个子模型库中的各个子模型，分别对应不同的人体特征信息。

相应的，在步骤207之前，还可以包括：

获取人体3D模型库，其中，3D模型库中任意3D模型中均包括所有的人体器官；

对人体3D模型库中的所有3D模型进行解析，确定人体特征信息与子模型的对应关系。

具体的，人体3D模型库中，包括大量的正常的人体3D模型，通过对人体3D模型库中，所有的人体3D模型进行解析，可以确定人体特征信息与子模型的对应关系。

从而在确定目标子模型的类型及用户的人体特征信息后，可以根据目标子模型的类型，确定子模型库，并根据用户的人体特征信息，及确定的人体特征信息与子模型的对应关系，从子模型库中，选取与用户的人体特征信息匹配的第三子模型。

具体实现时，可以预先设置一个阈值，并将用户的人体特征信息，与子模型库中的人体特征信息进行匹配，在匹配程度达到预设阈值时，即可将子模型库中的人体特征信息对应的子模型，确定为第三子模型。

举例来说，假设预设阈值为80％，模型库可以分为手臂型、腿型等多个子模型库，手臂型子模型库中包括的子模型为：“身高160厘米(cm)以下、女性”对应的子模型A，“身高160-170cm、女性”对应的子模型B，“身高170-175cm、女性”对应的子模型C，“身高175cm以上、女性”对应的子模型D，“身高170cm以下、男性”对应的子模型A’，“身高170-175cm、男性”对应的子模型B’，“身高175-180cm、男性”对应的子模型C’，“身高180cm以上、男性”对应的子模型D’。腿型子模型库中包括的子模型为：“身高160cm以下、女性”对应的子模型E，“身高160-170cm、女性”对应的子模型F，“身高170-175cm、女性”对应的子模型G，“身高175cm以上、女性”对应的子模型H，“身高170cm以下、男性”对应的子模型E’，“身高170-175cm、男性”对应的子模型F’，“身高175-180cm、男性”对应的子模型G’，“身高180cm以上、男性”对应的子模型H’。则若根据用户的人体3D模型，确定用户缺少手臂，即目标子模型的类型为手臂型，用户的人体特征信息为“身高176cm、男性”，由于用户的人体特征信息与手臂型子模型库中的“身高175-180cm、男性”完全匹配，则可以确定第三子模型为“身高175-180cm、男性”对应的子模型G’。

需要说明的是，预设的模型库，可以存储在终端中，也可以存储在云端中，此处不作限制。另外，可以以预设的时间间隔，对预设的模型库进行数据更新，以提高确定的第三子模型的准确性。

步骤208，利用第三子模型，对人体3D模型进行补全处理。

步骤209，根据补全后的人体3D模型，生成用户的图像。

具体的，确定了第三子模型后，即可根据正常的人体3D模型中，目标子模型的位置，将第三子模型，补全到用户的人体3D模型中的对应位置上，得到补全后的人体3D模型，进而生成用户的图像。

可以理解的是，在对人体3D模型进行补全处理后，为了实现生成的用户的图像中，补充的器官与用户原有器官的肤色相同、连接处更自然等效果，在本发明实施例中，还可以根据用户原有的各器官的肤色等，对补充的器官所在区域的饱和度、亮度、像素值等进行调整，以提高生成的用户的图像的视觉效果。

在本发明一种可能的实现形式中，用户拍照时，可能会摆出不同姿势，为了使补全后生成的用户的图像中，用户的姿势更加自然，在本发明实施例中，还可以对第三子模型的姿态进行调整。

具体的，可以通过多种方法，对第三子模型的姿态进行调整。

比如，可以根据获取的用户的人体3D模型的当前姿态，及人体3D模型库中的大量正常的人体3D模型的姿态，预测目标子模型的姿态。从而将第三子模型的姿态调整为大多数正常的人体3D模型中，目标子模型的姿态。

或者，可以根据用户的指令，对第三子模型的姿态进行调整。

对第三子模型的姿态进行调整后，即可将第三子模型补全到用户的人体3D模型中后，从而使补全后生成的用户的图像中，用户的姿势更加自然，更好的满足用户的需求。

进一步的，为了使第三子模型更好的融入人体3D模型所在的场景中，从而提高生成的图像的视觉效果，还可以根据第三子模型的深度信息，利用第三子模型对人体3D模型进行补全处理。即，步骤208之前，还可以包括：

根据人体3D模型，确定第三子模型的深度信息。

具体的确定第三子模型的深度信息的方法，与上述实施例中，确定第二子模型的深度信息的方法类似，此处不再赘述。

具体的，确定了第三子模型的深度信息后，即可根据确定的深度信息，将第三子模型补全到人体3D模型中，并根据补全后的人体3D模型，生成用户的图像。通过根据深度信息，利用第三子模型对人体3D模型进行补全处理，可以实现在补全人体3D模型的基础上，使第三子模型更好的融入到用户所在的场景中，从而使根据补全后的人体3D模型，生成的用户的图像更真实。

在一种较优的实现形式中，可以根据第三子模型的深度信息，将第三子模型以调整后的姿态，补全到人体3D模型中，从而使第三子模型更好的融入到用户所在的场景中，进而使根据补全后的人体3D模型，生成的用户的图像更真实，且用户的姿势更自然，更好的满足用户的需求，改善用户体验。

需要说明的是，在一种可能的实现形式中，从与目标子模型的类型对应的子模型库中，选取与用户的人体特征信息匹配的第三子模型时，可能存在子模型库中的多个人体特征信息与用户的人体特征信息的匹配程度均达到预设阈值的情况。在本发明实施例中，若用户的人体特征信息与子模型库中的多个人体特征信息的匹配程度不等，则可以将子模型库中，与用户的人体特征信息的匹配程度最高的，人体特征信息对应的子模型，确定为第三子模型。若用户的人体特征信息与子模型库中的多个人体特征信息的匹配程度最高且相等，则可以将多个人体特征信息对应的子模型，均确定为第三子模型，从而可以分别利用多个第三子模型，对人体3D模型进行补全处理，并分别根据补全后的人体3D模型，生成用户的图像，再由用户根据多个图像的效果，从多个图像中选择合适的图像作为最终图像。

另外，用户也可以根据需要，从与目标子模型的类型对应的子模型库中，选择合适的子模型作为第三子模型，以利用第三子模型，对人体3D模型进行补全处理，具体的补全过程，可以参照步骤105的相关描述，此处不再赘述。

本发明实施例提供的图像处理方法，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，再判断人体3D模型中，是否存在与目标子模型的类型相同的第一子模型，若存在，则根据第一子模型，生成第二子模型，以利用第二子模型对人体3D模型进行补全处理，若不存在，则根据用户的人体3D模型，确定用户的人体特征信息，并从与目标子模型的类型对应的子模型库中，选取与用户的人体特征信息匹配的第三子模型，以利用第三子模型，对人体3D模型进行补全处理，最后根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

图3是本申请一个实施例的图像处理装置的结构图。

如图3所示，该图像处理装置，包括：

第一获取模块31，用于利用结构光，获取用户的人体3D模型；

第一确定模块32，用于确定人体3D模型中待补全的目标子模型的类型，其中，目标子模型为任意人体器官对应的模型；

判断模块33，用于判断人体3D模型中，是否存在第一子模型，第一子模型的类型与目标子模型的类型相同；

第一处理模块34，用于存在第一子模型时，根据第一子模型，生成第二子模型；

第二处理模块35，用于利用第二子模型对人体3D模型进行补全处理；

生成模块36，用于根据补全后的人体3D模型，生成用户的图像。

其中，本实施例提供的图像处理装置，可以执行本发明实施例提供的图像处理方法。具体的，该图像处理装置，可以被配置在任意具有摄像功能的终端中。其中，终端的类型很多，可以根据应用需要进行选择，例如：手机、电脑、相机等。

在本实施例一种可能的实现形式中，上述第一处理模块34，具体用于：

根据第一子模型的类型，确定第一子模型对应的生物信息；

根据生物信息，生成第二子模型。

在本实施例另一种可能的实现形式中，上述第一处理模块34，还用于：

对第一子模型进行镜像处理，生成第二子模型。

在本实施例另一种可能的实现形式中，该装置，还包括：

第二获取模块，用于获取用户触发的图像补全指令；

或者，

第二确定模块，用于确定当前采集的用户的图像满足图像补全条件。

需要说明的是，前述实施例中对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置，此处不再赘述。

本申请实施例提供的图像处理装置，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

图4是本申请另一个实施例的图像处理装置的结构图。

如图4所示，在图3所示的基础上，该图像处理装置，还包括：

第三确定模块41，用于不存在第一子模型时，根据用户的人体3D模型，确定用户的人体特征信息；

选取模块42，用于从与目标子模型的类型对应的子模型库中，选取与用户的人体特征信息匹配的第三子模型；

第三处理模块43，用于利用第三子模型，对人体3D模型进行补全处理。

第四确定模块44，用于根据人体3D模型，确定第三子模型的深度信息。

需要说明的是，前述实施例中对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置，此处不再赘述。

本申请实施例提供的图像处理装置，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

本发明再一方面实施例还提出一种终端。

图5是本申请一个实施例提供的终端的结构图。

其中，终端的类型很多，可以根据应用需要进行选择，例如：手机、电脑、相机等。图5以终端为手机进行示意。

如图5所示，该终端包括：处理器51、存储器52、及图像处理电路53。

其中，所述存储器52用于存储可执行程序代码；所述处理器51通过读取所述存储器52中存储的可执行程序代码，及所述图像处理电路53输出的深度图像，来实现如前述实施例中的图像处理方法。

上述终端中包括图像处理电路53，图像处理电路53可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。

图6为一个实施例中图像处理电路的示意图。如图6所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图6所示，图像处理电路63包括成像设备610、ISP处理器630和控制逻辑器640。成像设备610可包括具有一个或多个透镜612、图像传感器614的照相机和结构光投射器616。结构光投射器616将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器614捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器630，由ISP处理器630对结构光图像进行解调获取被测物的深度信息。同时，图像传感器614也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器614分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器630对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器630接收到图像传感器614捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器630对图像数据进行分析以获取可用于确定和/或成像设备610的一个或多个控制参数的图像统计信息。图像传感器614可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器614可获取用图像传感器614的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器630处理的一组原始图像数据。

ISP处理器630按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器630可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器630还可从图像存储器620接收像素数据。图像存储器620可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器630可进行一个或多个图像处理操作。

在ISP处理器630获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器620，以便在被显示之前进行另外的处理。ISP处理器630从图像存储器620接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器660，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器630的输出还可发送给图像存储器620，且显示器660可从图像存储器620读取图像数据。在一个实施例中，图像存储器620可被配置为实现一个或多个帧缓冲器。此外，ISP处理器630的输出可发送给编码器/解码器650，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器660设备上之前解压缩。编码器/解码器650可由CPU或GPU或协处理器实现。

ISP处理器630确定的图像统计信息可发送给控制逻辑器640单元。控制逻辑器640可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备610的控制参数。

以下为运用图6中图像处理技术实现图像处理方法的步骤：

利用结构光，获取用户的人体3D模型；

确定所述人体3D模型中待补全的目标子模型的类型，其中，所述目标子模型为任意人体器官对应的模型；

判断所述人体3D模型中，是否存在第一子模型，所述第一子模型的类型与所述目标子模型的类型相同；

若是，则根据所述第一子模型，生成第二子模型；

利用所述第二子模型对所述人体3D模型进行补全处理；

根据补全后的人体3D模型，生成所述用户的图像。

本申请实施例提供的终端，首先利用结构光，获取用户的人体3D模型，然后确定人体3D模型中待补全的目标子模型的类型，若人体3D模型中，存在与目标子模型的类型相同的第一子模型，则根据第一子模型，生成第二子模型，从而利用第二子模型，对人体3D模型进行补全处理，再根据补全后的人体3D模型，生成用户的图像。由此，实现了在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

为达上述目的，本申请实施例提出了一种计算机可读存储介质，其上存储有计算机程序，当该程序被处理器执行时实现如前述实施例中的图像处理方法。

本申请实施例提供的计算机可读存储介质，可以设置在任意具有摄像功能的终端中，在用户拍摄图像时，通过执行其上存储的图像处理方法，可以实现在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

为达上述目的，本申请实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如前述实施例中的图像处理方法。

本申请实施例提供的计算机程序产品，可以设置在任意具有摄像功能的终端中，在用户拍摄图像时，通过执行对应图像处理方法的程序，可以实现在拍摄过程中，实时对人体3D模型进行补全，从而使得生成的图像中，用户的身体健康完整，提高了图像的视觉效果，满足了用户的需求，且无需用户手动操作，节省了用户的精力，改善了用户体验。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

利用结构光，获取用户的人体3D模型；

确定所述人体3D模型中待补全的目标子模型的类型，其中，所述目标子模型为任意人体器官对应的模型；

判断所述人体3D模型中，是否存在第一子模型，所述第一子模型的类型与所述目标子模型的类型相同；

若是，则根据所述第一子模型，生成第二子模型；

利用所述第二子模型对所述人体3D模型进行补全处理；

根据补全后的人体3D模型，生成所述用户的图像。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一子模型，生成第二子模型，包括：

根据所述第一子模型的类型，确定所述第一子模型对应的生物信息；

根据所述生物信息，生成所述第二子模型。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一子模型，生成第二子模型，包括：

对所述第一子模型进行镜像处理，生成所述第二子模型。

4.如权利要求1-3任一所述的方法，其特征在于，所述利用结构光，获取用户的人体3D模型之前，还包括：

获取所述用户触发的图像补全指令；

或者，

确定当前采集的所述用户的图像满足图像补全条件。

5.如权利要求1-3任一所述的方法，其特征在于，所述判断所述人体3D模型中，是否存在第一子模型之后，还包括：

若否，则根据用户的人体3D模型，确定所述用户的人体特征信息；

从与所述目标子模型的类型对应的子模型库中，选取与所述用户的人体特征信息匹配的第三子模型；

利用所述第三子模型，对所述人体3D模型进行补全处理。

6.如权利要求5所述的方法，其特征在于，所述利用所述第三子模型，对所述人体3D模型进行补全处理之前，包括：

根据所述人体3D模型，确定所述第三子模型的深度信息。

7.一种图像处理装置，其特征在于，包括：

第一获取模块，用于利用结构光，获取用户的人体3D模型；

第一确定模块，用于确定所述人体3D模型中待补全的目标子模型的类型，其中，所述目标子模型为任意人体器官对应的模型；

判断模块，用于判断所述人体3D模型中，是否存在第一子模型，所述第一子模型的类型与所述目标子模型的类型相同；

第一处理模块，用于存在所述第一子模型时，根据所述第一子模型，生成第二子模型；

第二处理模块，用于利用所述第二子模型对所述人体3D模型进行补全处理；

生成模块，用于根据补全后的人体3D模型，生成所述用户的图像。

8.如权利要求7所述的装置，其特征在于，所述第一处理模块，具体用于：

根据所述第一子模型的类型，确定所述第一子模型对应的生物信息；

根据所述生物信息，生成所述第二子模型。

9.一种终端，其特征在于，包括存储器、处理器及图像处理电路，所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码，及所述图像处理电路输出的深度图像，以实现如权利要求1-6中任一所述的图像处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的图像处理方法。