CN111031305A - 图像处理方法及装置、图像设备及存储介质 - Google Patents
图像处理方法及装置、图像设备及存储介质 Download PDFInfo
- Publication number
- CN111031305A CN111031305A CN201911148068.3A CN201911148068A CN111031305A CN 111031305 A CN111031305 A CN 111031305A CN 201911148068 A CN201911148068 A CN 201911148068A CN 111031305 A CN111031305 A CN 111031305A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- coordinate
- deformation
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 43
- 230000001131 transforming effect Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 210000001624 hip Anatomy 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 9
- 210000002414 leg Anatomy 0.000 description 8
- 210000001503 joint Anatomy 0.000 description 7
- 210000000038 chest Anatomy 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000004394 hip joint Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000000323 shoulder joint Anatomy 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 210000000273 spinal nerve root Anatomy 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 210000003108 foot joint Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开实施例提供一种图像处理方法及装置、图像设备及存储介质。所述图像处理方法，包括：基于包含目标的第一二维2D图像，获得目标在三维3D空间内的第一3D模型；获取3D变形参数，并基于所述3D变形参数，将所述第一3D模型变换为第二3D模型；将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标；基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、图像设备及存储介质。
背景技术
采集图像包含有采集对象的成像(目标)，可能需要调整其成像效果，会进行目标的形变，例如，进行人体的美体、进行脸部的美容等。但是在一些情况下，图像的变形效果并不理想，甚至在变形之后产生了期望变形以外的不必要形变。
发明内容
有鉴于此，本公开实施例期望提供一种图像处理方法及装置、图像设备及存储介质。
本公开的技术方案是这样实现的：本公开实施例第一方面提供一种图像处理方法，包括：
基于包含目标的第一二维2D图像，获得目标在三维3D空间内的第一3D模型；
获取3D变形参数，并基于所述3D变形参数，将所述第一3D模型变换为第二3D模型；
将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标；
基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
基于上述方案，所述基于包含目标的第一2D图像，获得目标在3D空间内的第一3D模型，包括：
通过人体网格恢复模型从所述第一2D图像中提取出用于重建所述目标的3D模型的第一重建参数；
利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型。
基于上述方案，所述第一重建参数包括以下参数中的至少一种：
所述目标的第一关节点参数；所述目标的第一形态参数；所述第一2D图像的相机参数。
基于上述方案，所述方法还包括：
通过人体检测模型从所述第一2D图像中提取出所述目标的第二关节点参数；其中，第二关节点参数所表示的第二关节点与所述第一关节点参数所表示的部分第一关节点之间存在重叠；
所述利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型，包括：
将所述第一重建参数中，与所述第二关节点存在重叠的部分第一关节点的第一关节点参数替换为所述第二关节点参数，形成第二重建参数；
基于所述第二重建参数，重建所述目标在3D空间内的第一3D模型。
基于上述方案，所述将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标，包括：
根据所述第一2D图像所对应的相机参数，分别将所述第一3D模型和所述第二3D模型映射到2D空间得到所述第一2D坐标和所述第二2D坐标。
基于上述方案，所述方法还包括：
获取针对于所述第一2D图像的第一2D变形参数；
所述获取3D变形参数，包括：
根据所述第一2D变形参数及2D空间与3D空间之间的映射关系，获得所述3D变形参数。
基于上述方案，所述方法还包括：
获取所述第一2D图像中所述目标的轮廓点参数；
基于所述轮廓点参数，确定至少两个轮廓点之间的连接关系并确定所述连接关系所表示的变形方向；
所述基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像，包括：
基于所述第一2D坐标和所述第二2D坐标，在所述变形方向对所述第一2D图像中的所述目标进行变形，得到包含变形后的目标的第二2D图像。
基于上述方案，所述基于所述轮廓点参数，确定至少两个轮廓点之间的连接关系并确定所述连接关系所表示的变形方向，包括：
基于所述轮廓点参数，根据所述目标中对称分布的至少两个局部的轮廓点的第一连线方向，确定所述变形方向；其中，所述变形方向包括以下方向中的至少一种：平行于所述第一连线方向的第一变形方向；垂直于所述第一连线方向的第二变形方向；
基于上述方案，所述基于所述轮廓点参数，确定至少两个轮廓点之间的连接关系并确定所述连接关系所表示的变形方向，包括：
基于所述轮廓点参数，根据所述目标中以预定局部的中心点或中心线对称分布的至少两个轮廓点的第二连线方向，确定所述变形方向，其中，所述变形方向包括：平行于所述第二连线方向的第三变形方向，和/或，垂直于所述第二连线方向的第四变形方向。
基于上述方案，所述基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像，包括：
确定所述第一2D坐标沿所述变形方向移动到第二2D坐标的第二2D变形参数；
基于所述第二2D变形参数，进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
基于上述方案，所述将所述第一3D模型变换为第二3D模型，包括：
基于所述3D变形参数，改变所述第一3D模型表面的至少部分轮廓点的坐标得到所述第二3D模型。
本公开实施例第二方面提供一种图像处理装置，包括：
第一获得模块，用于基于包含目标的第一二维2D图像，获得目标在三维3D空间内的第一3D模型；
第二获得模块，用于获取3D变形参数，并基于所述3D变形参数，将所述第一3D模型变换为第二3D模型；
映射模块，用于将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标；
变形模块，用于基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
基于上述方案，所述第二获得模块，具体用于通过人体网格恢复模型从所述第一2D图像中提取出用于重建所述目标的3D模型的第一重建参数；利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型。
基于上述方案，所述第一重建参数包括以下参数中的至少一种：
所述目标的第一关节点参数；所述目标的第一形态参数；所述第一2D图像的相机参数。
基于上述方案，所述装置还包括：
提取模块，用于通过人体检测模型从所述第一2D图像中提取出所述目标的第二关节点参数；其中，第二关节点参数所表示的第二关节点与所述第一关节点参数所表示的部分第一关节点之间存在重叠；
所述第一获得模块，具体用于将所述第一重建参数中，与所述第二关节点存在重叠的部分第一关节点的第一关节点参数替换为所述第二关节点参数，形成第二重建参数；基于所述第二重建参数，重建所述目标在3D空间内的第一3D模型。
基于上述方案，所述映射模块，具体用于根据所述第一2D图像所对应的相机参数，分别将所述第一3D模型和所述第二3D模型映射到2D空间得到所述第一2D坐标和所述第二2D坐标。
基于上述方案，所述装置还包括：
第三获得模块，用于获取针对于所述第一2D图像的2D变形参数；
所述第二获得模块，用于根据所述第一2D变形参数及2D空间与3D空间之间的映射关系，获得所述3D变形参数。
基于上述方案，所述装置还包括：
第四获得模块，用于获取所述第一2D图像中所述目标的轮廓点参数；
确定模块，用于基于所述轮廓点参数，确定至少两个轮廓点之间的连接关系并确定所述连接关系所表示的变形方向；
所述变形模块，具体用于基于所述第一2D坐标和所述第二2D坐标，在所述变形方向对所述第一2D图像中的所述目标进行变形，得到包含变形后的目标的第二2D图像。
基于上述方案，所述确定模块，具体用于基于所述轮廓点参数，根据所述目标中对称分布的至少两个局部的轮廓点的第一连线方向，确定所述变形方向；其中，所述变形方向包括以下方向中的至少一种：平行于所述第一连线方向的第一变形方向；垂直于所述第一连线方向的第二变形方向；
基于上述方案，所述确定模块，具体用于基于所述轮廓点参数，根据所述目标中以预定局部的中心点或中心线对称分布的至少两个轮廓点的第二连线方向，确定所述变形方向，其中，所述变形方向包括：平行于所述第二连线方向的第三变形方向，和/或，垂直于所述第二连线方向的第四变形方向。
基于上述方案，所述变形模块，具体用于确定所述第一2D坐标沿所述变形方向移动到第二2D坐标的第二2D变形参数；
基于所述第二2D变形参数，进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
基于上述方案，所述第二获得模块，具体用于基于所述3D变形参数，改变所述第一3D模型表面的至少部分轮廓点的坐标得到所述第二3D模型。
本公开实施例第三方面提供一种图像设备，所述图像设备包括：
存储器，用于存储计算机可执行指令；
处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，实现前述任意技术方案提供的图像处理方法。
本公开实施例第四方面提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行之后，能够实现前述任意技术方案提供的图像处理方法。
本公开实施例提供的技术方案，在对第一2D图像内的目标进行变形时，不再是直接在2D平面内进行图像变形，而是将第一2D图像中的目标转换为在3D空间内的第一3D模型，在进行变形时，通过获取3D变形参数，直接对第一3D模型进行变形，得到变形后的第二3D模型；再分别将第一3D模型和第二3D模型映射到2D空间，得到映射回2D平面内的第一2D坐标和第二2D坐标，并基于第一2D坐标和第二2D坐标进行第一2D图像中目标的变形；如此，相对于直接在2D平面内直接对目标进行变形，可以减少不必要的形变产生，提升了2D图像的变形效果。
附图说明
图1为本公开实施例提供的第一种图像处理方法的流程示意图；
图2为本公开实施例提供的一种14个人体关节点的示意图；
图3为本公开实施例提供的一种25个人体关节点的示意图；
图4为本公开实施例提供的第二种图像处理方法的流程示意图；
图5A为本公开实施例提供的一种2D图像的效果示意图；
图5B为本公开实施例提供的一种提取出的人体关节点的示意图；
图5C为本公开实施例提供的一种提取出的人体轮廓点的示意图；
图5D为本公开实施例提供的一种第一变形方向的示意图；
图5E为本公开实施例提供的一种第二变形方向的示意图；
图6A为本公开实施例提供的一种3D模型的效果示意图；
图6B为本公开实施例提供的另一种3D模型的效果示意图；
图7为本公开实施例提供的一种图像处理装置的结构示意图；
图8为本公开实施例提供的一种图像设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本公开的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种图像处理方法，包括：
S110：基于包含目标的第一二维2D图像，获得目标在三维3D空间内的第一3D模型；
S120：获取3D变形参数，并基于所述3D变形参数，将所述第一3D模型变换为第二3D模型；
S130：将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标；
S140：基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
在本实施例中提供一种图像处理方法，应用于各种图像设备中。示例性的，该图像设备可包括各种终端设备，该终端设备包括：手机或可穿戴式设备等。该终端设备还可包括：车载终端设备或专用于图像采集摄影固定于某一处的固定终端设备。在另一些实施例中，所述图像设备还可包括：服务器，例如，本地服务器或者位于云平台中提供图像处理服务的云服务器等。
在本实施例中采集或获取的图像就为常规的2D摄像头采集的2D图像。该2D图像可为红绿蓝(Red Green Blue，RGB)图像或YUV图像。
在本实施例中，为了实现2D图像中目标的优化变形。在本实施例中，不会直接对2D图像中的目标进行变形。而是会基于2D图像得到目标在3D空间内的3D模型，此处称为第一3D模型。图6A和图6B为对应不同目标的两个第一3D模型的效果示意图。
然后获得3D变形参数，此处的3D变形参数包括：针对3D空间内的第一3D模型上一个或多个3D坐标的变换参数。
示例性的，变换参数可以包括以下参数中的至少之一：
期望的3D模型的不同局部的比例值；比例值是不同局部的比例，是一个标量，例如，人体上半身的长度与腿部的长度之间的比值，即为所述比例值；
期望的3D模型的不同局部的尺寸值，例如，以人体为例，该尺寸值可包括：人体的腿长值、腰宽值、身高值等；
第一3D模型变换为第二3D模型的变形方向和/或在对应变形方向上的变形幅度值。
在一些实施例中，所述方法还包括：获取针对于所述第一2D图像的第一2D变形参数；所述获取3D变形参数可包括：根据所述第一2D变形参数及2D空间与3D空间之间的映射关系，获得所述3D变形参数。
例如，在2D的人机交互界面上显示第一2D图像，用户通过手动操作等方式移动第一2D图像上目标一个或多个部位的2D坐标；此时，图像设备可以根据用户输入的用户操作确定所述第一2D变形参数。该第一2D变形参数可包括：在2D空间内第一2D图像上有发生2D坐标变换的轮廓点及这些轮廓点的坐标变换值。根据2D空间和3D空间之间的映射关系，将所述第一2D变形参数转换为3D变形参数。
在一些实施例中，所述3D变形参数可为：根据从人机交互界面接收用户指令所产生的变形参数。例如，构建了第一3D模型之后，在2D界面上一次可以展示第一3D模型的一个平面，但是在2D界面上该第一3D模型可以通过旋转或移动的方式展示该第一3D模型的不同平面；此时，针对该第一3D模型上不同平面的各个用户操作，也可以用于确定所述3D变形参数。
在一些实施例中，在人机交互界面上接收用户输入的至少变形效果或指示变形量的用户指令，将这些用户指令通过量化的等方式得到所述3D变形参数。例如，用户A期望自己的照片瘦身之后呈现出2尺的腰围，此时，可以在人机交互界面上输入期望的腰围尺寸，而图像设备根据第一2D图像映射3D空间得到的第一3D模型估算出该用户的实际腰围，此时就可以根据估算的实际腰围尺寸和期望呈现的腰围，得到在三维空间内需要变形的腰围量。再结合腰部的理想形状，确定第一3D模型上腰部表面的各个坐标的位移量，从而得到了所述3D变形参数。此时得到的3D变形参数可以用于将第一3D模型转换为第二3D模型。
在获取到3D变形参数之后，基于该3D变形参数变换所述第一3D模型生成了一个不同于第一3D模型的第二3D模型。第二3D模型和所述第一3D模型的不同点在于：第二3D模型表面的轮廓点的3D坐标至少部分不同于第一3D模型表面的轮廓点的坐标；如此，使得第二3D模型所对应的形态不同于第一3D模型对应的形态。例如，以目标是人为，则第二3D模型所对应的人的形态是不同于第一3D模型所对应的人的形态。例如，第一3D模型所对应的人比第二3D模型所对应的人，给其他人的感官上会显得体重更重一些等。
如此，在步骤S130之后就得到了第一3D模型和第二3D模型这两个3D模型。
在本实施例中所述步骤S140可包括：通过投影的方式将第一3D模型和第二3D模型分别投影到2D平面内，如此，得到表征与第一3D模型对应的第一投影的第一2D坐标，且得到表征与第二3D模型对应的第二投影的第二2D坐标。
在步骤S130还可包括：
根据第一2D坐标和第二2D坐标，得到使得第一2D坐标转换为第二2D坐标的第二2D变形参数。
本公开的一些实施例中，比对第一2D坐标和第二2D坐标的坐标值，得到两个2D坐标的差值，该差值可作为所述第二2D变形参数的其中之一。例如，以人体丰胸变形为例，第一2D坐标包括：第一3D模型的胸部表面的轮廓点映射回2D空间得到第一2D坐标；对第一3D模型丰胸后的第二3D模型的胸部表面的轮廓点映射回2D空间得到第二2D坐标。将这两个胸部的2D坐标进行比较就得到了所述第二2D变形参数。在一些实施例中某一个局部的变化都涉及多个轮廓点的2D坐标变换。此时，可以将第一2D坐标和对应的第二2D坐标进行变换拟合，拟合得到第一2D坐标变换为第二2D坐标的变换矩阵；此时，该变换矩阵就可以直接作为所述第二2D变形参数，用于对第一2D图像上的目标进行变形，从而得到包含变形后的目标的第二2D图像。基于所述第二2D变形参数对所述2D图像中的目标进行变形，得到包含变形后的目标的第二2D图像。
本公开的一些实施例中，该第二2D变形参数还包括以下参数中的至少一种：所述目标中各像素的重组算法或重组参数、所述目标中各像素的颜色变化算法等。
在本实施例中，所述2D图像中目标的变形包括但不限于以下至少一种：
目标的胖瘦变形；目标的高矮变形；目标的五官的形状变形。
例如，以目标为人进行说明，人体胖瘦变形；人体的高矮变形；人体的五官变形；人体的手长或脚长的改变等。
在本实施例中进行2D平面中目标变形时，不再是直接在2D平面内进行图像变形，而是将第一2D图像中的目标转换为在3D空间内的第一3D模型，在进行变形时，通过获取3D变形参数，直接对第一3D模型进行变形，得到变形后的第二3D模型；在分别将第一3D模型和第二3D模型映射到2D空间，得到映射回2D平面内的第一2D坐标和第二2D坐标，并基于第一2D坐标和第二2D坐标进行第一2D图像中目标的变形；如此，相对于直接在2D平面内直接对目标进行变形，可以减少不必要的形变产生，提升了2D图像的变形效果。
在一些实施例中，所述步骤S110中，可以基于包含目标的第一2D图像，获得目标在3D空间内包含多个多边形网格组成的第一3D模型。
在本实施例中，所述第一3D模型是位于3D空间内的立体模型，该第一3D模型包括众多的关键点，这些众多关键点的多个关键点连接形成多边形网格。其中，多边形网格又称为mesh，是计算机图形学中用于为各种不规则物体建立模型的一种数据结构。示例性的，三角网格(又称三角面片)是多边形网格的一种。可以将众多关键点中三个相邻关键点连成三角网格，得到由多个三角网格组成的第一3D模型。
这种利用mesh组成的第一3D模型能够逼真的模拟目标所对应采集对象在3D空间，从而实现采集对象在3D空间内的高度还原，以确保图像的变形效果。
在一些实施例中，在基于第一2D图像获得目标在3D空间内的第一3D模型的过程中，可以通过人体网格恢复(Human Mesh Recovery，HMR)模型从所述第一2D图像中提取出用于重建所述目标的3D模型的第一重建参数；利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型。
在一些实施例中，所述第一重建参数包括：所述目标的第一关节点参数；所述目标的第一形态参数；所述第一2D图像的相机参数。
在本实施例中，此处的第一关节点参数包括第一关节点的3D坐标等。目标所包含的关节点可能有很多，有一些在形成第一3D模型是可能是不会使用到的，而会使用到的关节点被称为第一关节点。例如，以人体为例，人体包含很多关节，这些关节的关键点称之为关节点。在构建第一3D模型时，人体一些对人体外观呈现不是很重要的关节点就可以忽略，例如，手部使得手指弯曲的关节所对应的关节点就可能不是很重要可以忽略。
所述目标的第一形态参数可包括：各种指示目标的不同维度上的尺寸的参数，例如，指示目标的身高、胖瘦、不同局部的尺寸，例如，腰围、胸围、臀围或者脸长等尺寸的形态参数。
所述2D图像的相机参数包括：拍摄所述2D图像的相机内参。该内参包括但不限于：焦距、2D图像的单个像素在世界坐标系中的宽度dx及2D图像的单个像素在世界坐标系中的高度dy。
在本实施例中，基于相机内参、所述第一形态参数及所述第一关节点参数，就可以精确的搭建出所述第一3D模型。
示例性的，以所述目标为人为例进行说明，将人体成像的第一2D图像输入到所述HMR模型后，所述HMR模型会通过计算得到人体各个关键点在第一2D图像中的参数。例如，这些参数包括：24个人体骨架上关节所对应关节点的3D坐标以及人体的形态参数。此外，HMR模型还会输出拍摄第一2D图像的相机的相机参数。这些相机参数包括相机内参，例如，焦距及光心坐标等。
进一步地，可以利用参数化人体模型以及HMR模型输出的上述参数来重建所述第一3D模型的骨架，并对所述骨架进行渲染。其中，参数化人体模型例如可以采用蒙皮多人线性(A Skinned Multi-Person Linear Model，SMPL)模型，SMPL模型是一种裸体的(skinned)，基于顶点(vertex-based)的人体三维模型，能够精确地表示人体的不同形状(shape)和姿态(pose)。
示例性的，HMR模型输出第一2D图像中各种骨架上各个关节所对应关节点的坐标位置。而人体的形态不仅决定于骨架还决定于肌肉等组织器官的特征。而利用SMPL模型可以根据HMR模型得到的骨架的3D坐标及从第一2D图像中提取出了人体的形态参数，就可以在骨架的外围模拟肌肉运动和组织分布，从而实现对骨架的渲染得到第一3D模型。
采用这种方式获得的所述第一3D模型能够逼真的反映出第一2D图像中目标的各类特征。
图5A是获取的原始的第一2D图像的一种示意图；图5B为从图5A所示人体中提取的包含有第一关节点的示意图，由分布在人体上的实心圆点表示。
在一些实施例中，所述方法还包括：从所述第一2D图像中提取所述目标的第二关节点参数。此处，第二关节点参数和第一关节点参数都是人体内关节点的参数，但是提取的方式不同、或者第一关节点参数和第二关节点参数的精确度不同；或者，第一关节点参数和第二关键点参数的类型不同。
例如，第一关节点参数包括：第一关节点的3D坐标；第二关节点参数包含的是第一关节点的2D坐标。
例如，第一关节点参数是使用HMR模型提取的，而第二关节点采用的是人体检测模型提取的。人体检测模型根据输入的第一2D图像可以得到人体骨架上关节点的2D坐标。
在本实施例中，单独从2D图像中提取出的第二关节点参数可能比第一重建参数中的第一关节点参数的精确度更高。有鉴于此，所述方法还包括：
通过人体检测模型(例如OPEN POSE模型)从所述第一2D图像中提取出所述目标的第二关节点参数；其中，第二关节点参数所表示的第二关节点与所述第一关节点参数所表示的部分第一关节点之间存在重叠；
所述利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型，包括：将所述第一重建参数中，与所述第二关节点存在重叠的部分第一关节点的第一关节点参数替换为所述第二关节点参数，形成第二重建参数；基于所述第二重建参数，重建所述目标在3D空间内的第一3D模型。
第二重建参数相对于第一重建参数而言，第一重建参数中部分第一关节点参数被第二关节点参数替换。
例如，第一关节点参数为M个，第二关节点参数为N个，N小于或等于M。具体地如，所述M可为25；所述N可为14。将14个第二关节点参数与25个第一关节点参数中指向同一个关节点的第一关节点参数替换为第二关节点参数。其中，由于第二关节点参数为2D坐标，故在对第一关节点参数进行替换时，替换的是3D坐标中包括的2D坐标，其余参数可以不改变。总之，与所述第二关节点存在重叠的部分第一关节点的第一关节点参数替换为所述第二关节点参数，形成第二重建参数。例如，3D坐标包括x轴、y轴及z轴上的三个坐标；而2D坐标包含x轴及y轴上2个坐标，在进行替换时，若某一个3D坐标和2D坐标指向同一关节点，则将2D坐标替换掉3D坐标中x轴和y轴上的坐标值，得到前述第二重建参数。
以目标为人体为例进行说明，图2所示为14个第二关节点的人体骨架，图3为25个第一关节点的人体骨架，其中，图3中的脊柱根部关节点是左臀关节点和右臀关节点的中心点，故可以忽略不计。可见图3中14个关节点都是属于25个关节点的。
图2中关节点1为头部关节点；关节点2为颈部关节点；关节点4为左肩关节点；关节点3为右肩关节点；关节点6为左肘关节点，关节点5为右肘关节点；关节点8为左手腕关节点；关节点7为右手腕关节点；关节点10为左臀关节点；关节点9为右臀关节点；关节点12为左膝关节点；关节点11为右膝关节点；关节点13为左脚腕关节点；关节点14为右脚腕关节点。
比对图2和图3可知，图3中相对于图2增加了以下关节点：脊柱根部关节点；脊柱肩部关节点；脊柱中间关节点；左手尖端关节点；右手尖端关节点；左手拇指关节点；右手拇指关节点；左手关节点；右手关节点；左脚关节点；右脚关节点。
由于第二关节点参数的统计精确度会高于第一关节点参数的统计精确度，为了提升第一3D模型的建模精确度，可以直接利用第二关节点参数直接替换第一关节点参数中对应的部分，然后基于替换后的第二预设参数搭建所述第一3D模型。
在一些实施例中，所述步骤S140可包括：根据第一2D图像所对应的相机参数，分别将所述第一3D模型映射到2D空间得到所述第一2D坐标和所述第二2D坐标。
在本实施例中，所述相机参数可为前述的相机内参，该相机参数包括第一2D图像在世界坐标系中的相互垂直两个方向上的长度，同时包括焦距，如此就能够知道第一3D模型和第二3D模型投影到多大面积的投影面上，同时由于知道了焦距，就可以知道第一3D模型和第二3D模型投影到投影面上的投影面积；如此，可以简便的实现第一3D模型到2D空间内的映射，和第二3D模型到2D空间内的映射。
第一3D模型映射到2D空间内后会产生一个映射投影，该映射投影的坐标即为所述第一2D坐标。所述第二3D模型映射到2D空间内后同样会产生一个映射投影，该映射投影的坐标即为所述第二2D坐标。
在一些实施例中，如图4所示，所述方法还包括：
步骤S201：获取所述第一2D图像中所述目标的轮廓点参数；
步骤S202：基于所述轮廓点参数，确定至少两个轮廓点之间的连接关系并确定所述连接关系所表示的变形方向；
所述基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像，包括：基于所述第一2D坐标和所述第二2D坐标，在所述变形方向对所述第一2D图像中的所述目标进行变形，得到包含变形后的目标的第二2D图像。
在本实施例中，可以利用能够提取出第一2D图像中目标轮廓点的轮廓点模型，提取出第一2D图像中目标的轮廓点参数，该轮廓点
数包括但不限于轮廓点坐标。其中，图5C为提取的图5A中人体的一种轮廓点的示意图。
在基于第一2D坐标和第二2D坐标进行目标变形，使得第一2D图像变形为第二2D图像时，涉及第一2D坐标变换为第二2D坐标的操作。在本实施例中，将第一2D坐标变化为第二2D坐标的方式有很多种，但是有一些变换方式会使得变形后的目标出现混乱。为了减少这种现象，本实施例中会获取第一2D图像中目标的轮廓点参数，然后基于轮廓点参数会连接预定的两个轮廓点，得到目标某一部分所对应的第一2D坐标变换为第二2D坐标的变形方向。
在步骤S130中在进行目标的变形时，可以沿着所述步骤S202中确定的变形方向进行的，而非是随意的进行的仅需要将第一2D坐标变形为第二2D坐标的变形方式，再次提升了变形效果。
所述步骤S201可包括：
基于所述轮廓点参数，根据所述目标中对称分布的至少两个局部的轮廓点的第一连线方向，确定所述变形方向；其中，所述变形方向包括以下方向中的至少一种：平行于所述第一连线方向的第一变形方向；垂直于所述第一连线方向的第二变形方向。
例如，人体对称分布的两个局部包括以下至少之一：以人体的左肩和右肩；以人体的左腿和右腿；以人体的左胸和右胸；以人体的左臀和右臀等。
再例如，以人体对称分布的两个对称局部作为4个预定局部。以人体左肩及右肩为一组，确定对人体正面变形的第一连线方向；并根据人体的左臀和右臀，确定对人体背面变形的第一连线方向。
在另一些实施例中，所述步骤S201还可包括：
基于所述轮廓点参数，根据所述目标中以预定局部的中心点或中心线对称分布的至少两个轮廓点的第二连线方向，确定所述变形方向，其中，所述变形方向包括：平行于所述第二连线方向的第三变形方向，和/或，垂直于所述第二连线方向的第四变形方向。
例如，以人体为例进行说明，该预定局部可包括以下至少之一：左腿；右腿；左臂；右臂等。
例如，左腿两侧的轮廓点的连线方向为所述第二连线方向；右腿两侧的轮廓点的连线方向为第二连线方向。
在本公开实施例中，变形方向至少范围两大类方向，一类是调整目标胖瘦的变形方向，例如，第一变形方向和/或第三变形方向，另一类是调整目标高矮的变形方向，例如，第二变形方向和/或第四变形方向。
此处，第二变形方向是垂直于第一变形方向；第四变形方向是垂直于第二变形方向的。
图5D为图5A所示的人体上增加了实心横线，该实心横线即为所述第一变形方向和/或第三变形方向。
图5E中所示覆盖在人体上的竖直虚线，即为垂直于图5D中实心横向的线，对应的是所述第二变形方向和/或第四变形方向。
具体地，所述步骤S130可包括：确定所述第一2D坐标沿所述变形方向移动到第二2D坐标的第二2D变形参数；基于所述第二2D变形参数，进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
例如，第一2D坐标和第二2D坐标中为目标同一个位置或同一个关节点的坐标相对应，并沿着所述变形移动，从而可以拟合出2D图像中目标对应位置进行变形的变形算法(变形函数)，从而得到所述2D变形参数。最终在步骤S140中会根据所述2D变形参数对2D图像中的目标进行变形。
在一些实施例中，S120可包括：基于所述3D变形参数，改变所述第一3D模型表面的至少部分轮廓点的坐标得到所述第二3D模型。
通过改变第一3D模型表面的轮廓点的一个或多个3D坐标，就得到了一个新的3D模型，该新的3D模型在本公开实施例中称为第二3D模型。
如图7所示，本实施例提供一种图像处理装置，包括：
第一获得模块110，用于基于包含目标的第一二维2D图像，获得目标在三维3D空间内的第一3D模型；
第二获得模块120，用于获取3D变形参数，并基于所述3D变形参数，将所述第一3D模型变换为第二3D模型；
映射模块130，用于将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标；
变形模块140，用于基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
在一些实施例中，所述第一获得模块110、第二获得模块120、映射模块130及变形模块140均可为程序模块，该程序模块被处理器执行后，能够实现前述功能。
在还有一些实施例中，所述第一获得模块110、第二获得模块120、映射模块130及变形模块140均可为软硬结合模块；所述软硬结合模块包括但不限于可编程阵列；所述可编程阵列包括但不限于复杂可编程阵列或现场可编程阵列。
在另外一些实施例中，所述第一获得模块110、第二获得模块120、映射模块130及变形模块140均可为纯硬件模块，该纯硬件模块包括但不限于专用集成电路。
在一些实施例中，所述第二获得模块120，具体用于通过人体网格恢复模型从所述第一2D图像中提取出用于重建所述目标的3D模型的第一重建参数；利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型。
在一些实施例中，所述第一重建参数包括以下参数中的至少一种：
所述目标的第一关节点参数；所述目标的第一形态参数；所述第一2D图像的相机参数。
在一些实施例中，所述装置还包括：
提取模块，用于通过人体检测模型从所述第一2D图像中提取出所述目标的第二关节点参数；其中，第二关节点参数所表示的第二关节点与所述第一关节点参数所表示的部分第一关节点之间存在重叠；
所述第一获得模块110，具体用于将所述第一重建参数中，与所述第二关节点存在重叠的部分第一关节点的第一关节点参数替换为所述第二关节点参数，形成第二重建参数；基于所述第二重建参数，重建所述目标在3D空间内的第一3D模型。
在一些实施例中，所述映射模块130，具体用于根据所述第一2D图像所对应的相机参数，分别将所述第一3D模型和所述第二3D模型映射到2D空间得到所述第一2D坐标和所述第二2D坐标。
在一些实施例中，所述装置还包括：
第三获得模块，用于获取针对于所述第一2D图像的2D变形参数；
所述第二获得模块120，用于根据所述第一2D变形参数及2D空间与3D空间之间的映射关系，获得所述3D变形参数。
在一些实施例中，所述装置还包括：
第四获得模块，用于获取所述第一2D图像中所述目标的轮廓点参数；
确定模块，用于基于所述轮廓点参数，确定至少两个轮廓点之间的连接关系并确定所述连接关系所表示的变形方向；
所述变形模块140，具体用于基于所述第一2D坐标和所述第二2D坐标，在所述变形方向对所述第一2D图像中的所述目标进行变形，得到包含变形后的目标的第二2D图像。
在一些实施例中，所述确定模块，具体用于基于所述轮廓点参数，根据所述目标中对称分布的至少两个局部的轮廓点的第一连线方向，确定所述变形方向；其中，所述变形方向包括以下方向中的至少一种：平行于所述第一连线方向的第一变形方向；垂直于所述第一连线方向的第二变形方向。
在一些实施例中，所述确定模块，具体用于基于所述轮廓点参数，根据所述目标中以预定局部的中心点或中心线对称分布的至少两个轮廓点的第二连线方向，确定所述变形方向，其中，所述变形方向包括：平行于所述第二连线方向的第三变形方向，和/或，垂直于所述第二连线方向的第四变形方向。
在一些实施例中，所述变形模块140，具体用于确定所述第一2D坐标沿所述变形方向移动到第二2D坐标的第二2D变形参数；
基于所述第二2D变形参数，进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。在一些实施例中，所述第二获得模块120，具体用于基于所述3D变形参数，改变所述第一3D模型表面的至少部分轮廓点的坐标得到所述第二3D模型。
以下结合上述任意实施例提供一个具体示例：
本示例提供一种图像处理方法，包括：
利用Open Pose模型从单张的第一2D图像中提取人体的N个关节的关节点参数，N为正整数；
将所述第一2D图像输入到HMR模型中，由HMR模型输出提取的第一重建参数。该第一重建参数可包括：人体内M1个关节点(脊柱根关节点除外)的3D坐标，故将获得M1*3个参数；同时HMR模型还会获得该第一2D图像的相机的M2个相机内参；这M2个相机内参分别可包括：采集第一2D图像时的焦距、该2D图像单个像素在世界坐标系内的宽度和高度。如此，HMR模型一共会获得M1*3+M2个参数组成所述第一重建参数。M1及M2均为正整数。
将M1*3+M2个参数中的N1个关节点参数利用Open Pose模型提供的N个关节点参数替换，形成更新的第一重建参数，即前述的第二重建参数。N1为正整数。
然后利用SMPL模型基于第二重建参数重建出一个3D模型并对该3D模型进行渲染，得到前述第一3D模型。该第一3D模型是由X个关节点组成，并由Y万多张基于这些关节点所形成的三角面片组成。X和Y均为正整数。
从人机交互界面或者从其他设备接收2D变形参数，基于该2D变形参数转换为3D变形参数，然后基于3D变形参数调整第一3D模型，生成第一3D模型变换得到的第二3D模型。
得到第二3D模型之后，根据相机内参分别将两个3D模型映射到2D平面内，会得到两个模型分别对应的第一2D坐标和第二2D坐标。此处，一个第一2D坐标和一个第二2D坐标都对应了人体的一个关节点。
利用人体轮廓检测模型检测第一2D图像中人体的轮廓点，得到轮廓点的坐标。根据需要变形的局部和变形需求，确定变形方向。
在本实施例中，该轮廓点的数目可为Z个。Z为正整数。
例如，对人体进行胖瘦变形时，会根据人体的轮廓点的横向连接成线，从而得到对应的连线方向，左肩轮廓点与右肩轮廓点得到第一连线方向，若在对肩部进行尺寸变形时，根据肩部的第一2D坐标、第一连线方向及肩部的第二2D坐标拟合出肩部变形的2D变形参数(例如，2D变形算法)，如此后续将会根据2D变形参数进行目标中肩部的变形。
具体地，根据第一2D坐标和第二2D坐标的相应部位的轮廓点获取平行于该部位的两个端点连线方向为第一组向量的向量方向，同时还引入第二组向量，第二组向量的向量方向垂直于第一组向量的向量方向。若第一组向量的向量方向与人体的变胖或变瘦的方向一致，则在进行人体胖瘦变化时沿着第一组向量的向量方向进行。与此同时，若需要对人体进行高矮的增减，则在进行人体高矮变化时沿着第二组向量的向量方向进行。
例如，如肩部拉宽可以直接进行第一2D图像中肩部膨胀处理即可；若肩部缩小，则在进行第一2D图像中肩部缩小处理之后，同时会将人体(即目标)以外的背景进行拉伸处理，填补人体肩部缩小之后的空白，进而会得到变形后的第二2D图像。
如图8所示，本公开实施例提供了一种图像设备，包括：
存储器，用于存储信息；
处理器，分别与显示器及所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1和/或图4所示的图像处理方法中的至少之一。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
在一些实施例中，所述图像设备还包括：显示器，该显示器可以显示各种提示、采集的人脸图像和/或各种界面。
本公开实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1和/或图4所示的图像处理方法中的至少之一。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
基于包含目标的第一二维2D图像，获得目标在三维3D空间内的第一3D模型；
获取3D变形参数，并基于所述3D变形参数，将所述第一3D模型变换为第二3D模型；
将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标；
基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
2.根据权利要求1所述的方法，其特征在于，所述基于包含目标的第一2D图像，获得目标在3D空间内的第一3D模型，包括：
通过人体网格恢复模型从所述第一2D图像中提取出用于重建所述目标的3D模型的第一重建参数；
利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型。
3.根据权利要求2所述的方法，其特征在于，所述第一重建参数包括以下参数中的至少一种：
所述目标的第一关节点参数；所述目标的第一形态参数；所述第一2D图像的相机参数。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过人体检测模型从所述第一2D图像中提取出所述目标的第二关节点参数；其中，第二关节点参数所表示的第二关节点与所述第一关节点参数所表示的部分第一关节点之间存在重叠；
所述利用提取出的所述第一重建参数，重建所述目标在3D空间内的第一3D模型，包括：
将所述第一重建参数中，与所述第二关节点存在重叠的部分第一关节点的第一关节点参数替换为所述第二关节点参数，形成第二重建参数；
基于所述第二重建参数，重建所述目标在3D空间内的第一3D模型。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标，包括：
根据所述第一2D图像所对应的相机参数，分别将所述第一3D模型和所述第二3D模型映射到2D空间得到所述第一2D坐标和所述第二2D坐标。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
获取针对于所述第一2D图像的第一2D变形参数；
所述获取3D变形参数，包括：
根据所述第一2D变形参数及2D空间与3D空间之间的映射关系，获得所述3D变形参数。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
获取所述第一2D图像中所述目标的轮廓点参数；
基于所述轮廓点参数，确定至少两个轮廓点之间的连接关系并确定所述连接关系所表示的变形方向；
所述基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像，包括：
基于所述第一2D坐标和所述第二2D坐标，在所述变形方向对所述第一2D图像中的所述目标进行变形，得到包含变形后的目标的第二2D图像。
8.一种图像处理装置，其特征在于，包括：
第一获得模块，用于基于包含目标的第一二维2D图像，获得目标在三维3D空间内的第一3D模型；
第二获得模块，用于获取3D变形参数，并基于所述3D变形参数，将所述第一3D模型变换为第二3D模型；
映射模块，用于将所述第一3D模型映射到2D空间得到第一2D坐标，以及，将所述第二3D模型映射到2D空间得到第二2D坐标；
变形模块，用于基于所述第一2D坐标和所述第二2D坐标进行所述第一2D图像中所述目标的变形，得到包含变形后的目标的第二2D图像。
9.一种图像设备，所述图像设备包括：
存储器，用于存储计算机可执行指令；
处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，实现权利要求1至7任一项提供的方法。
10.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行之后，能够实现权利要求1至7任一项所述的方法。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148068.3A CN111031305A (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法及装置、图像设备及存储介质 |
| PCT/CN2020/086695 WO2021098143A1 (zh) | 2019-11-21 | 2020-04-24 | 图像处理方法及装置、图像处理设备及存储介质 |
| JP2020570014A JP2022512262A (ja) | 2019-11-21 | 2020-04-24 | 画像処理方法及び装置、画像処理機器並びに記憶媒体 |
| SG11202104071TA SG11202104071TA (en) | 2019-11-21 | 2020-04-24 | Method and device for processing image, and storage medium |
| KR1020207035889A KR102406438B1 (ko) | 2019-11-21 | 2020-04-24 | 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체 |
| TW109121549A TWI750710B (zh) | 2019-11-21 | 2020-06-24 | 圖像處理方法及裝置、圖像處理設備及儲存媒體 |
| US17/131,879 US11450068B2 (en) | 2019-11-21 | 2020-12-23 | Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148068.3A CN111031305A (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法及装置、图像设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111031305A true CN111031305A (zh) | 2020-04-17 |
Family
ID=70201797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911148068.3A Pending CN111031305A (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法及装置、图像设备及存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| KR (1) | KR102406438B1 (zh) |
| CN (1) | CN111031305A (zh) |
| SG (1) | SG11202104071TA (zh) |
| TW (1) | TWI750710B (zh) |
| WO (1) | WO2021098143A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098143A1 (zh) * | 2019-11-21 | 2021-05-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN113469877A (zh) * | 2021-09-01 | 2021-10-01 | 北京德风新征程科技有限公司 | 物体展示方法、场景展示方法、设备和计算机可读介质 |
| CN113569781A (zh) * | 2021-08-03 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 人体姿态的获取方法、装置、电子设备及存储介质 |
| US11450068B2 (en) | 2019-11-21 | 2022-09-20 | Beijing Sensetime Technology Development Co., Ltd. | Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0950540A (ja) * | 1995-08-09 | 1997-02-18 | Hitachi Ltd | 画像生成方法 |
| US20160210500A1 (en) * | 2015-01-15 | 2016-07-21 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting face pose |
| CN105938627A (zh) * | 2016-04-12 | 2016-09-14 | 湖南拓视觉信息技术有限公司 | 用于人脸虚拟整形的处理方法和系统 |
| CN108765351A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN108765273A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸拍照的虚拟整容方法和装置 |
| CN109146769A (zh) * | 2018-07-24 | 2019-01-04 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN109934766A (zh) * | 2019-03-06 | 2019-06-25 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置 |
| CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI315042B (en) * | 2006-11-21 | 2009-09-21 | Jing Jing Fan | Method of three-dimensional digital human model construction from two photos and obtaining anthropometry information |
| TW201023092A (en) * | 2008-12-02 | 2010-06-16 | Nat Univ Tsing Hua | 3D face model construction method |
| CN109584168B (zh) * | 2018-10-25 | 2021-05-04 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备和计算机存储介质 |
| CN109685915B (zh) * | 2018-12-11 | 2023-08-15 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN111031305A (zh) * | 2019-11-21 | 2020-04-17 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
-
2019
- 2019-11-21 CN CN201911148068.3A patent/CN111031305A/zh active Pending
-
2020
- 2020-04-24 SG SG11202104071TA patent/SG11202104071TA/en unknown
- 2020-04-24 KR KR1020207035889A patent/KR102406438B1/ko active IP Right Grant
- 2020-04-24 WO PCT/CN2020/086695 patent/WO2021098143A1/zh active Application Filing
- 2020-06-24 TW TW109121549A patent/TWI750710B/zh active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0950540A (ja) * | 1995-08-09 | 1997-02-18 | Hitachi Ltd | 画像生成方法 |
| US20160210500A1 (en) * | 2015-01-15 | 2016-07-21 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting face pose |
| CN105938627A (zh) * | 2016-04-12 | 2016-09-14 | 湖南拓视觉信息技术有限公司 | 用于人脸虚拟整形的处理方法和系统 |
| CN108765351A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN108765273A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸拍照的虚拟整容方法和装置 |
| CN109146769A (zh) * | 2018-07-24 | 2019-01-04 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN109934766A (zh) * | 2019-03-06 | 2019-06-25 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置 |
| CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098143A1 (zh) * | 2019-11-21 | 2021-05-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| US11450068B2 (en) | 2019-11-21 | 2022-09-20 | Beijing Sensetime Technology Development Co., Ltd. | Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter |
| CN113569781A (zh) * | 2021-08-03 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 人体姿态的获取方法、装置、电子设备及存储介质 |
| CN113469877A (zh) * | 2021-09-01 | 2021-10-01 | 北京德风新征程科技有限公司 | 物体展示方法、场景展示方法、设备和计算机可读介质 |
| CN113469877B (zh) * | 2021-09-01 | 2021-12-21 | 北京德风新征程科技有限公司 | 物体展示方法、场景展示方法、设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021098143A1 (zh) | 2021-05-27 |
| KR102406438B1 (ko) | 2022-06-08 |
| TW202121344A (zh) | 2021-06-01 |
| SG11202104071TA (en) | 2021-06-29 |
| KR20210064113A (ko) | 2021-06-02 |
| TWI750710B (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150638B (zh) | 虚拟对象形象合成方法、装置、电子设备和存储介质 | |
| CN111460875B (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| CN111031305A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| US11450068B2 (en) | Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter | |
| EP3971841A1 (en) | Three-dimensional model generation method and apparatus, and computer device and storage medium | |
| CN109636831A (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| CN110675489B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN110705448A (zh) | 一种人体检测方法及装置 | |
| WO2022205762A1 (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| US10909744B1 (en) | Simulating garment with wrinkles based on physics based cloth simulator and machine learning model | |
| US20210241509A1 (en) | Method and apparatus for image processing, device for image processing, and storage medium | |
| CN113012282A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| KR101409842B1 (ko) | 근육 및 외형 곡면 기반 개체 표준 메쉬 모델의 파라메트릭 제어를 통한 자동 리깅 및 형상 전이 방법 | |
| JP7160958B2 (ja) | 画像処理方法及び装置、画像処理デバイス並びに記憶媒体 | |
| WO2023160074A1 (zh) | 一种图像生成方法、装置、电子设备以及存储介质 | |
| CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
| CN111105489A (zh) | 数据合成方法和装置、存储介质和电子装置 | |
| CN109712230A (zh) | 三维模型补充方法、装置、存储介质及处理器 | |
| CN110838182B (zh) | 一种图像贴合人台的方法及其系统 | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| KR20190028634A (ko) | 디지털 크리쳐의 제작 방법 및 전자장치 | |
| CN110852934A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| US20220277586A1 (en) | Modeling method, device, and system for three-dimensional head model, and storage medium | |
| CN117132501B (zh) | 一种基于深度相机的人体点云空洞修复方法及系统 | |
| Bakken | Using synthetic data for planning, development and evaluation of shape-from-silhouette based human motion capture methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021613 Country of ref document: HK |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200417 |