CN111402362A - 虚拟服装的调整方法、电子设备及计算机可读存储介质 - Google Patents

虚拟服装的调整方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111402362A
CN111402362A CN202010232179.9A CN202010232179A CN111402362A CN 111402362 A CN111402362 A CN 111402362A CN 202010232179 A CN202010232179 A CN 202010232179A CN 111402362 A CN111402362 A CN 111402362A
Authority
CN
China
Prior art keywords
preset
value
wrinkle
brightness value
limb key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010232179.9A
Other languages
English (en)
Other versions
CN111402362B (zh
Inventor
赵琦
王科
颜忠伟
杜欧杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Culture Technology Co Ltd
Original Assignee
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIGU Culture Technology Co Ltd filed Critical MIGU Culture Technology Co Ltd
Priority to CN202010232179.9A priority Critical patent/CN111402362B/zh
Publication of CN111402362A publication Critical patent/CN111402362A/zh
Application granted granted Critical
Publication of CN111402362B publication Critical patent/CN111402362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种虚拟服装的调整方法、电子设备及计算机可读存储介质，其中该虚拟服装的调整方法包括：获取目标人体的图像，从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息，根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值，根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整。根据本发明实施例，可以实现借助图像的亮度表现出虚拟服装的褶皱，从而突出虚拟服装的真实感。

Description

虚拟服装的调整方法、电子设备及计算机可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种虚拟服装的调整方法、电子设备及计算机可读存储介质。
背景技术
随着计算机技术的迅猛发展，虚拟服装的研究已经成为研究热点。目前常通过二维贴图的方式来生成虚拟服装。但是，此方式无法全面展示服装细节，造成虚拟服装的真实感差。
发明内容
本发明实施例提供一种虚拟服装的调整方法、电子设备及计算机可读存储介质，以解决现有虚拟服装的真实感差的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种虚拟服装的调整方法，包括：
获取目标人体的图像；
从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息；
根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值；
根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整。
可选的，所述根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置，包括：
根据所述多个预设肢体关键点的位置信息，选取所述多个预设肢体关键点中的每三个依次相邻的预设肢体关键点；
将每三个依次相邻的预设肢体关键点中处于中间的预设肢体关键点对应的虚拟服装位置，确定为所述褶皱位置。
可选的，所述褶皱位置的角度值的确定过程包括：
采用如下公式，根据所述褶皱位置对应的依次相邻的三个预设肢体关键点的坐标位置，计算所述褶皱位置的角度值α：
Figure BDA0002429602960000021
其中，
Figure BDA0002429602960000022
(Lx，Ly)表示第一预设肢体关键点的平面位置坐标，(Jx，Jy)表示第二预设肢体关键点的平面位置坐标，(Gx，Gy)表示第三预设肢体关键点的平面位置坐标，所述第一预设肢体关键点、所述第二预设肢体关键点和所述第三预设肢体关键点组成所述褶皱位置对应的依次相邻的三个预设肢体关键点。
可选的，所述确定所述目标人体上虚拟服装的褶皱位置之后，所述方法还包括：
计算所述图像与预设模板图像之间的相似度值；
当所述相似度值大于预设阈值时，将所述预设模板图像中与所述褶皱位置对应的位置的深度值，确定为所述褶皱位置的深度值；
所述根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整，包括：
根据所述褶皱位置的角度值，以及所述褶皱位置的深度值，对所述褶皱位置进行亮度调整。
可选的，所述根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整，包括：
根据预设的角度取值范围和亮度值的对应关系，确定所述褶皱位置的角度值对应的目标亮度值；
依据所述目标亮度值对所述褶皱位置的亮度值进行调整。
可选的，所述根据预设的角度取值范围和亮度值的对应关系，确定所述褶皱位置的角度值对应的目标亮度值，包括：
当所述褶皱位置的角度值大于或等于第一预设阈值且小于第二预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第一亮度值；
或者，当所述褶皱位置的角度值大于或等于所述第二预设阈值且小于第三预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第二亮度值；
或者，当所述褶皱位置的角度值大于或等于所述第三预设阈值且小于第四预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第三亮度值；
其中，所述第一预设阈值小于所述第二预设阈值，所述第二预设阈值小于所述第三预设阈值，所述第三预设阈值小于所述第四预设阈值。
可选的，依据所述目标亮度值对所述褶皱位置的亮度值进行调整，包括：
将所述褶皱位置的亮度值调整为所述目标亮度值；
或者，利用所述褶皱位置的亮度值减去所述目标亮度值，作为所述褶皱位置的最终亮度值。
可选的，所述从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息，包括：
利用基于深度学习的姿态估计框架OpenPose，从所述图像中提取所述多个预设肢体关键点的位置信息。
可选的，所述多个预设肢体关键点包括以下至少三项：
肘关节点、肩关节点、胸椎关节点、腰椎关节点、髋关节点、膝关节点、踝关节点、腕关节点。
第二方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时实现上述虚拟服装的调整方法的步骤。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时可实现上述虚拟服装的调整方法的步骤。
在本发明实施例中，通过获取目标人体的图像，从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息，根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值，并根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整，可以实现借助图像的亮度表现出虚拟服装的褶皱，从而突出虚拟服装的真实感。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的虚拟服装的调整方法的流程图；
图2为本发明实施例中的预设肢体关键点的示意图；
图3为本发明具体实例中目标人体的图像的示意图；
图4为本发明具体实例中计算褶皱位置的角度值的方式的示意图；
图5为本发明实施例的虚拟服装的调整装置的结构示意图；
图6为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于理解本发明实施例，首先说明以下内容：褶皱是人们在穿衣过程中的一种自然表现，是由于人体的运动和服装面料柔软性等共同作用而产生的，穿衣过程的褶皱体现了穿衣的真实性。基于此，为了解决现有虚拟服装的真实感差的问题，本发明实施例提供了一种虚拟服装的调整方法，其根据图像中目标人体的多个预设肢体关键点的位置信息，确定该目标人体上虚拟服装的褶皱位置以及该褶皱位置的角度值，并根据该褶皱位置的角度值，对该图像中的褶皱位置进行亮度调整。由此，可以实现借助图像的亮度表现出虚拟服装的褶皱，从而突出虚拟服装的真实感。
请参见图1，图1是本发明实施例提供的一种虚拟服装的调整方法的流程图，该方法应用于电子设备，如图1所示，该方法包括如下步骤：
步骤101：获取目标人体的图像。
此步骤101中，可通过增强现实(Augmented Reality，AR)摄像机的摄像头来采集目标人体的图像，也可通过其他类型的摄像设备比如手机摄像头等来采集目标人体的图像。
步骤102：从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息。
可选的，此步骤中的提取过程可为：利用基于深度学习的姿态估计框架OpenPose，从获取的图像中提取多个预设肢体关键点的位置信息。对于该姿态估计框架OpenPose，可选用现有形式。而除了利用基于深度学习的姿态估计框架OpenPose来提取预设肢体关键点的位置信息之外，还可采用其他方式比如利用预先训练的图像识别模型来提取预设肢体关键点的位置信息，本发明实施例不对此进行限制。此外除了从图像中提取预设肢体关键点的位置信息之外，还可提取预设肢体关键点处的像素信息等。
可选的，该多个预设肢体关键点可包括以下至少三项：肘关节点(如左肘关节点、右肘关节点)、肩关节点(如左肩关节点、右肩关节点)、胸椎关节点(如左胸椎关节点、右胸椎关节点)、腰椎关节点(如左腰椎关节点、右腰椎关节点)、髋关节点(如左髋关节点、右髋关节点)、膝关节点(如左膝关节点、右膝关节点)、踝关节点(如左踝关节点、右踝关节点)、腕关节点(如左腕关节点、右腕关节点)。这样，由于这些关节点是肢体弯曲的主要节点，因此通过从这些关节点中预设肢体关键点，可以有助于后续准确确定虚拟衣服的褶皱位置。
此外如图2所示，该多个预设肢体关键点还可从如下14个关节点中选取：鼻子、脖子、右腕关节点、右肘关节点、右肩关节点、右髋关节点、右膝关节点、右踝关节点、左腕关节点、左肘关节点、左肩关节点、左髋关节点、左膝关节点、左踝关节点。
一种实施方式中，上述预设肢体关键点的位置信息可为该预设肢体关键点的二维平面位置坐标或者三维空间坐标。
步骤103：根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值。
需指出的，此步骤中确定的虚拟服装的褶皱位置可为一个或者多个，主要依据预设肢体关键点的个数而定。虚拟服装褶皱的位置、分布、大小等信息可根据提取的预设肢体关键点的位置信息，在服装图像上通过像素点来展示。考虑到服装褶皱主要因对应位置的人体关节点弯曲而产生，本实施例可基于提取的多个预设肢体关键点的位置信息来确定出虚拟服装的褶皱位置。该褶皱位置的角度值所体现的是褶皱大小，可以基于对应预设肢体关键点之间的连线所形成的夹角确定。
可选的，上述确定目标人体上虚拟服装的褶皱位置的过程可为：根据所述多个预设肢体关键点的位置信息，选取所述多个预设肢体关键点中的每三个依次相邻的预设肢体关键点；将每三个依次相邻的预设肢体关键点中处于中间的预设肢体关键点对应的虚拟服装位置，确定为所述褶皱位置。其中，每三个依次相邻的预设肢体关键点可理解为，每组依次相邻的三个预设肢体关键点。
比如，参见图3所示，假设提取了12个肢体关键点的位置信息，该12个肢体关键点包括右腕关节点A、右肘关节点B、右肩关节点C、左肩关节点D、左肘关节点E、左腕关节点F、右髋关节点O、右膝关节点P、右踝关节点Q、左髋关节点K、左膝关节点M和左踝关节点N，则选取的每三个依次相邻的预设肢体关键点可为{A、B、C}、{D、E、F}、{C、O、P}、{O、P、Q}、{K、M、N}，而对应确定的褶皱位置为：对于{A、B、C}，将B处位置确定为褶皱位置；对于{D、E、F}，将E处位置确定为褶皱位置；对于{C、O、P}，将O处位置确定为褶皱位置；对于{O、P、Q}，将P处位置确定为褶皱位置；对于{K、M、N}，将M处位置确定为褶皱位置。
步骤104：根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整。
可选的，此步骤在进行亮度调整时，可基于预先估算的人体关节点处弯曲程度与对应的服装褶皱亮度值之间的关系来调整。
本发明实施例的虚拟服装的调整方法，通过获取目标人体的图像，从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息，根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值，并根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整，可以实现借助图像的亮度表现出虚拟服装的褶皱，从而突出虚拟服装的真实感。
本发明实施例中，考虑到服装褶皱主要因对应位置的人体关节点弯曲而产生，上述褶皱位置的角度值的确定过程可包括：
采用如下公式，根据所述褶皱位置对应的依次相邻的三个预设肢体关键点的坐标位置，计算所述褶皱位置的角度值α：
Figure BDA0002429602960000071
其中，
Figure BDA0002429602960000072
(Lx，Ly)表示第一预设肢体关键点的平面位置坐标，(Jx，Jy)表示第二预设肢体关键点的平面位置坐标，(Gx，Gy)表示第三预设肢体关键点的平面位置坐标，该第一预设肢体关键点、该第二预设肢体关键点和该第三预设肢体关键点组成该褶皱位置对应的依次相邻的三个预设肢体关键点。即在计算褶皱位置的角度值时，可根据该褶皱位置对应的依次相邻的三个预设肢体关键点的点位顺序，以中间的预设肢体关键点作为角度的中心，分别向其相邻的两个预设肢体关键点连线，并将此时形成的夹角作为该褶皱位置的角度值。比如，若依次相邻的三个预设肢体关键点的点位顺序为A、B、C，则对应褶皱位置的角度值为∠ABC；或者若依次相邻的三个预设肢体关键点的点位顺序为A、C、B，则对应褶皱位置的角度值为∠ACB；或者若依次相邻的三个预设肢体关键点的点位顺序为C、A、B，则对应褶皱位置的角度值为∠CAB。
例如，参见图3所示，若以O(右髋关节点)、P(右膝关节点)和Q(右踝关节点)这三个依次相邻的预设肢体关键点为例计算对应褶皱位置的角度值，则可首先将P处位置确定为褶皱位置，然后如图4所示，将O、P和Q的位置信息映射到二维平面，分别获取对应的平面位置坐标(Ox，Oy)、(Px，Py)和(Qx，Qy)，并基于获取的平面位置坐标，采用如上向量余弦公式计算得到对应褶皱位置的角度值∠OPQ或∠QPO。
此外，在计算褶皱位置的角度值时，还可基于该褶皱位置对应的依次相邻的三个预设肢体关键点中每相邻两个预设肢体关键点之间的高度差和距离值来计算。比如以图3中所示的O、P和Q为例，可首先计算O和P之间的高度差和距离值，和计算P和Q之间的高度差和距离值，其中O和P之间的高度差等于O到地面的垂直高度减去P到地面的垂直高度，P和Q之间的高度差等于P到地面的垂直高度减去Q到地面的垂直高度，然后根据O和P之间的高度差和距离值，计算角度值∠1，和根据P和Q之间的高度差和距离值，计算角度值∠2，最后根据角度值∠1和角度值∠2，计算得到褶皱位置的角度值∠OPQ。
本发明实施例中，虚拟服装图像中像素点的亮度值可为M，M的取值范围为[0，255]，其中亮度0表示全黑，亮度255表示全白。为了突出虚拟服装的褶皱，可通过虚拟服装图像的亮度变化来表示服装褶皱的变化。上述步骤104中对图像中的褶皱位置进行亮度调整的过程可包括：
根据预设的角度取值范围和亮度值的对应关系，确定所述褶皱位置的角度值对应的目标亮度值；
依据所述目标亮度值对所述褶皱位置的亮度值进行调整。
这样，借助预设的角度取值范围和亮度值的对应关系，可以实现借助图像的亮度表现出虚拟服装的褶皱，从而突出虚拟服装的真实感。
由于当人体关节点弯曲(该关节点与其两相邻关节点之间的夹角小于180°)时，虚拟服装产生褶皱，且弯曲程度越大对应褶皱位置的角度值越小，而褶皱位置的角度值越小对应服装亮度值越小，因此上述预设的角度取值范围和亮度值的对应关系可采用基于算法的评估实验预先设置。
可选的，上述根据预设的角度取值范围和亮度值的对应关系，确定所述褶皱位置的角度值对应的目标亮度值的过程可包括：当所述褶皱位置的角度值大于或等于第一预设阈值且小于第二预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第一亮度值；或者，当所述褶皱位置的角度值大于或等于第二预设阈值且小于第三预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第二亮度值；或者，当所述褶皱位置的角度值大于或等于第三预设阈值且小于第四预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第三亮度值；其中，所述第一预设阈值小于所述第二预设阈值，所述第二预设阈值小于所述第三预设阈值，所述第三预设阈值小于所述第四预设阈值。所述的第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值可以基于实际需求预先设置。比如第一预设阈值可为15°，而第四预设阈值可为180°。
上述依据所述目标亮度值对所述褶皱位置的亮度值进行调整的过程可为：将所述褶皱位置的亮度值调整为所述目标亮度值；或者，利用所述褶皱位置的亮度值减去所述目标亮度值，作为所述褶皱位置的最终亮度值。也就是说，该目标亮度值可以为调整后的最终亮度值，也可以为当前亮度值的亮度调整量，以得到最终亮度值。
例如，在预设角度取值范围和亮度值的对应关系时，可采用基于算法的评估实验获得，比如提取100组用户弯曲动作以及对应的服装褶皱信息，测量关节点弯曲处的角度值α(即褶皱位置的角度值，褶皱位置与弯曲角度位置保持一致)以及对应的服装褶皱亮度值，并采用数值回归算法确定最终的服装褶皱亮度值M1、M2、M3(M3＜M2＜M1)，而对应关系可为：
当15°≤α＜30°时，褶皱强度大，对应虚拟服装亮度值为M3；
当30°≤α＜60°时，褶皱强度小，对应虚拟服装亮度值为M2；
当60°≤α＜180°时，褶皱强度微弱，对应虚拟服装亮度值为M1。
本发明实施例中，由于根据采集的图像(一般为RGB图像)无法直接获得图像中位置点的深度信息，而深度信息又可对图像中虚拟服装的褶皱真实感产生比较大的影响，因此在对图像中虚拟服装的褶皱位置进行亮度调整时，可考虑该褶皱位置的深度信息。可选的，在确定图像中目标人体上虚拟服装的褶皱位置之后，所述方法还包括：
计算所述图像与预设模板图像之间的相似度值；
当所述相似度值大于预设阈值时，将所述预设模板图像中与所述褶皱位置对应的位置的深度值，确定为所述褶皱位置的深度值。
上述根据褶皱位置的角度值进行亮度调整的过程可为：根据所述褶皱位置的角度值，以及所述褶皱位置的深度值，对所述褶皱位置进行亮度调整。
需指出的，上述预设模板图像中多个位置点的深度值已被标记。而在计算目标人体图像与预设模板图像之间的相似度值时，可以基于现有图像匹配算法来计算的，比如采用ZNCC(Zero-mean Normalization Cross Correlation，零均值归一化交叉相关)的稀疏匹配算法计算图像相似度，如下公式所示：
Figure BDA0002429602960000091
其中，ZNCC(Δ)表示目标人体图像与预设模板图像之间的相似度值，I(x+i)表示目标人体图像中(x+i)位置处像素点的亮度值,I'(x+i)表示预设模板图像中(x+i)位置处的像素点的亮度值，同理，I(x+i+j)表示目标人体图像中(x+i+j)位置处像素点的亮度值，I'(x+Δ+i+j)表示预设模板图像中(x+Δ+i+j)位置处的像素点的亮度值，j表示步阶；I(x)表示目标人体图像中以x为中心的窗口内像素点的亮度值的均值，同理，I'(x+Δ)表示预设模板图像中以x+Δ为中心的窗口内像素亮度均值，Δ表示预设模板图像的视差；而0.8和0.2表示预设值，基于实际需求可重新设置。当ZNCC(Δ)大于预设阈值时，可确认目标人体图像与预设模板图像相似，进一步可利用预设模板图像的深度信息来预估目标人体图像中对应位置的深度值。
请参见图5，图5是本发明实施例提供的一种虚拟服装的调整装置的结构示意图，该虚拟服装的调整装置50应用于电子设备，包括：
获取模块51，用于获取目标人体的图像；
提取模块52，用于从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息；
第一确定模块53，用于根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值；
调整模块54，用于根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整。
可选的，所述第一确定模块53具体用于：
根据所述多个预设肢体关键点的位置信息，选取所述多个预设肢体关键点中的每三个依次相邻的预设肢体关键点，将每三个依次相邻的预设肢体关键点中处于中间的预设肢体关键点对应的虚拟服装位置，确定为所述褶皱位置。
可选的，所述褶皱位置的角度值的确定过程包括：
采用如下公式，根据所述褶皱位置对应的依次相邻的三个预设肢体关键点的坐标位置，计算所述褶皱位置的角度值α：
Figure BDA0002429602960000101
其中，
Figure BDA0002429602960000102
(Lx，Ly)表示第一预设肢体关键点的平面位置坐标，(Jx，Jy)表示第二预设肢体关键点的平面位置坐标，(Gx，Gy)表示第三预设肢体关键点的平面位置坐标，所述第一预设肢体关键点、所述第二预设肢体关键点和所述第三预设肢体关键点组成所述褶皱位置对应的依次相邻的三个预设肢体关键点。
可选的，该虚拟服装的调整装置50还可包括：
计算模块，用于计算所述图像与预设模板图像之间的相似度值；
第二确定模块，用于当所述相似度值大于预设阈值时，将所述预设模板图像中与所述褶皱位置对应的位置的深度值，确定为所述褶皱位置的深度值；
所述调整模块54具体用于：根据所述褶皱位置的角度值，以及所述褶皱位置的深度值，对所述褶皱位置进行亮度调整。
可选的，所述调整模块54包括：
确定单元，用于根据预设的角度取值范围和亮度值的对应关系，确定所述褶皱位置的角度值对应的目标亮度值；
调整单元，用于依据所述目标亮度值对所述褶皱位置的亮度值进行调整。
可选的，所述确定单元具体用于：
当所述褶皱位置的角度值大于或等于第一预设阈值且小于第二预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第一亮度值；
或者，当所述褶皱位置的角度值大于或等于所述第二预设阈值且小于第三预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第二亮度值；
或者，当所述褶皱位置的角度值大于或等于所述第三预设阈值且小于第四预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第三亮度值；
其中，所述第一预设阈值小于所述第二预设阈值，所述第二预设阈值小于所述第三预设阈值，所述第三预设阈值小于所述第四预设阈值。
可选的，所述调整单元具体用于：
将所述褶皱位置的亮度值调整为所述目标亮度值；
或者，利用所述褶皱位置的亮度值减去所述目标亮度值，作为所述褶皱位置的最终亮度值。
可选的，所述提取模块52具体用于：
利用基于深度学习的姿态估计框架OpenPose，从所述图像中提取所述多个预设肢体关键点的位置信息。
可选的，所述多个预设肢体关键点包括以下至少三项：
肘关节点、肩关节点、胸椎关节点、腰椎关节点、髋关节点、膝关节点、踝关节点、腕关节点。
本发明实施例的虚拟服装的调整装置50，可实现上述图1所示方法实施例中实现的各个过程，及达到相同的有益效果，为避免重复，这里不再赘述。
此外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述虚拟服装的调整方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体的，参见图6所示，本发明实施例还提供了一种电子设备，包括总线61、收发机62、天线63、总线接口64、处理器65和存储器66。
在本发明实施例中，所述电子设备可与至少两个屏关联。所述电子设备还包括：存储在存储器66上并可在处理器65上运行的计算机程序。可选的，所述计算机程序被处理器65执行时可实现如下步骤：
获取目标人体的图像；
从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息；
根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值；
根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整。
可理解的，本发明实施例中，所述计算机程序被处理器65执行时可实现上述图1所示的虚拟服装的调整方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
在图6中，总线架构(用总线61来代表)，总线61可以包括任意数量的互联的总线和桥，总线61将包括由处理器65代表的一个或多个处理器和存储器66代表的存储器的各种电路链接在一起。总线61还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口64在总线61和收发机62之间提供接口。收发机62可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器65处理的数据通过天线63在无线介质上进行传输，进一步，天线63还接收数据并将数据传送给处理器65。
处理器65负责管理总线61和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器66可以被用于存储处理器65在执行操作时所使用的数据。
可选的，处理器65可以是CPU、ASIC、FPGA或CPLD。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现上述虚拟服装的调整方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种虚拟服装的调整方法，其特征在于，包括：
获取目标人体的图像；
从所述图像中提取所述目标人体的多个预设肢体关键点的位置信息；
根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置以及所述褶皱位置的角度值；
根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个预设肢体关键点的位置信息，确定所述目标人体上虚拟服装的褶皱位置，包括：
根据所述多个预设肢体关键点的位置信息，选取所述多个预设肢体关键点中的每三个依次相邻的预设肢体关键点；
将每三个依次相邻的预设肢体关键点中处于中间的预设肢体关键点对应的虚拟服装位置，确定为所述褶皱位置。
3.根据权利要求2所述的方法，其特征在于，所述褶皱位置的角度值的确定过程包括：
采用如下公式，根据所述褶皱位置对应的依次相邻的三个预设肢体关键点的坐标位置，计算所述褶皱位置的角度值α：
Figure FDA0002429602950000011
其中，
Figure FDA0002429602950000012
(Lx，Ly)表示第一预设肢体关键点的平面位置坐标，(Jx，Jy)表示第二预设肢体关键点的平面位置坐标，(Gx，Gy)表示第三预设肢体关键点的平面位置坐标，所述第一预设肢体关键点、所述第二预设肢体关键点和所述第三预设肢体关键点组成所述褶皱位置对应的依次相邻的三个预设肢体关键点。
4.根据权利要求1所述的方法，其特征在于，所述确定所述目标人体上虚拟服装的褶皱位置之后，所述方法还包括：
计算所述图像与预设模板图像之间的相似度值；
当所述相似度值大于预设阈值时，将所述预设模板图像中与所述褶皱位置对应的位置的深度值，确定为所述褶皱位置的深度值；
所述根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整，包括：
根据所述褶皱位置的角度值，以及所述褶皱位置的深度值，对所述褶皱位置进行亮度调整。
5.根据权利要求1所述的方法，其特征在于，所述根据所述褶皱位置的角度值，对所述图像中的所述褶皱位置进行亮度调整，包括：
根据预设的角度取值范围和亮度值的对应关系，确定所述褶皱位置的角度值对应的目标亮度值；
依据所述目标亮度值对所述褶皱位置的亮度值进行调整。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的角度取值范围和亮度值的对应关系，确定所述褶皱位置的角度值对应的目标亮度值，包括：
当所述褶皱位置的角度值大于或等于第一预设阈值且小于第二预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第一亮度值；
或者，当所述褶皱位置的角度值大于或等于所述第二预设阈值且小于第三预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第二亮度值；
或者，当所述褶皱位置的角度值大于或等于所述第三预设阈值且小于第四预设阈值时，确定所述褶皱位置的角度值对应的目标亮度值为第三亮度值；
其中，所述第一预设阈值小于所述第二预设阈值，所述第二预设阈值小于所述第三预设阈值，所述第三预设阈值小于所述第四预设阈值。
7.根据权利要求5所述的方法，其特征在于，所述依据所述目标亮度值对所述褶皱位置的亮度值进行调整，包括：
将所述褶皱位置的亮度值调整为所述目标亮度值；
或者，利用所述褶皱位置的亮度值减去所述目标亮度值，作为所述褶皱位置的最终亮度值。
8.根据权利要求1至6中任一项所述的方法，其特征在于，所述多个预设肢体关键点包括以下至少三项：
肘关节点、肩关节点、胸椎关节点、腰椎关节点、髋关节点、膝关节点、踝关节点、腕关节点。
9.一种电子设备，包括存储器，处理器，存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的虚拟服装的调整方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的虚拟服装的调整方法的步骤。
CN202010232179.9A 2020-03-27 2020-03-27 虚拟服装的调整方法、电子设备及计算机可读存储介质 Active CN111402362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010232179.9A CN111402362B (zh) 2020-03-27 2020-03-27 虚拟服装的调整方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010232179.9A CN111402362B (zh) 2020-03-27 2020-03-27 虚拟服装的调整方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111402362A true CN111402362A (zh) 2020-07-10
CN111402362B CN111402362B (zh) 2023-04-28

Family

ID=71433392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010232179.9A Active CN111402362B (zh) 2020-03-27 2020-03-27 虚拟服装的调整方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111402362B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246729A (ja) * 2003-02-14 2004-09-02 Japan Science & Technology Agency 人物動画像生成システム
US6968297B1 (en) * 1999-10-08 2005-11-22 Lectra Sa Method and device for simulating and representing the dressing of a mannequin
US20110069888A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103473806A (zh) * 2013-09-23 2013-12-25 北京航空航天大学 一种基于单幅图像的服装三维模型构建方法
WO2016032943A1 (en) * 2014-08-25 2016-03-03 Grove Carol S System and method for drafting garment patterns
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质
CN109196561A (zh) * 2017-02-15 2019-01-11 斯戴尔米有限公司 用于针对试衣可视化进行三维衣服网格变形和分层的系统和方法
CN109934287A (zh) * 2019-03-12 2019-06-25 上海宝尊电子商务有限公司 一种基于lbp与glcm的服装纹理识别分类方法
CN209384005U (zh) * 2018-09-27 2019-09-13 苏州欧梦尼亚褶皱面料有限公司 一种新型褶皱面料
CN110268401A (zh) * 2017-09-26 2019-09-20 西门子产品生命周期管理软件公司 一种量化缺陷的方法
CN110680095A (zh) * 2019-09-29 2020-01-14 无锡市周明木业有限公司 一种多功能智能衣柜及其使用方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968297B1 (en) * 1999-10-08 2005-11-22 Lectra Sa Method and device for simulating and representing the dressing of a mannequin
JP2004246729A (ja) * 2003-02-14 2004-09-02 Japan Science & Technology Agency 人物動画像生成システム
US20110069888A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103473806A (zh) * 2013-09-23 2013-12-25 北京航空航天大学 一种基于单幅图像的服装三维模型构建方法
WO2016032943A1 (en) * 2014-08-25 2016-03-03 Grove Carol S System and method for drafting garment patterns
CN109196561A (zh) * 2017-02-15 2019-01-11 斯戴尔米有限公司 用于针对试衣可视化进行三维衣服网格变形和分层的系统和方法
CN110268401A (zh) * 2017-09-26 2019-09-20 西门子产品生命周期管理软件公司 一种量化缺陷的方法
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质
CN209384005U (zh) * 2018-09-27 2019-09-13 苏州欧梦尼亚褶皱面料有限公司 一种新型褶皱面料
CN109934287A (zh) * 2019-03-12 2019-06-25 上海宝尊电子商务有限公司 一种基于lbp与glcm的服装纹理识别分类方法
CN110680095A (zh) * 2019-09-29 2020-01-14 无锡市周明木业有限公司 一种多功能智能衣柜及其使用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张惠 等: "基于机器学习的人体体态与服装褶皱关系模型研究", 《北京服装学院学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN111402362B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Sekine et al. Virtual fitting by single-shot body shape estimation
KR20210011425A (ko) 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체
CN107111833A (zh) 快速3d模型适配和人体测量
CN111787242B (zh) 用于虚拟试衣的方法和装置
CN108153421B (zh) 体感交互方法、装置及计算机可读存储介质
CN112784865A (zh) 使用多尺度图块对抗性损失的衣物变形
CN110148179A (zh) 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP2015015021A (ja) 被写体の三次元表現を生成する方法およびシステム
CN104966284A (zh) 基于深度数据获得对象尺寸信息的方法及设备
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
KR101639161B1 (ko) 골격 정보를 이용한 사용자 인증 방법
Jiang et al. Transferring and fitting fixed-sized garments onto bodies of various dimensions and postures
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
Cho et al. An implementation of a garment-fitting simulation system using laser scanned 3D body data
CN111815768B (zh) 三维人脸重建方法和装置
KR20230078777A (ko) 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기
CN113778221A (zh) 增强现实系统
CN113489897B (zh) 图像处理方法及相关装置
CN108509924B (zh) 人体姿态的评分方法和装置
Merras et al. 3D face reconstruction using images from cameras with varying parameters
CN111402362B (zh) 虚拟服装的调整方法、电子设备及计算机可读存储介质
CN111416938B (zh) 一种增强现实合拍方法、设备及计算机可读存储介质
CN115049764B (zh) Smpl参数预测模型的训练方法、装置、设备及介质
CN111462337B (zh) 一种图像处理方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant