CN110288715B - 虚拟项链试戴方法、装置、电子设备及存储介质 - Google Patents

虚拟项链试戴方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110288715B
CN110288715B CN201910601377.5A CN201910601377A CN110288715B CN 110288715 B CN110288715 B CN 110288715B CN 201910601377 A CN201910601377 A CN 201910601377A CN 110288715 B CN110288715 B CN 110288715B
Authority
CN
China
Prior art keywords
image
necklace
detected
position information
neck region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910601377.5A
Other languages
English (en)
Other versions
CN110288715A (zh
Inventor
韩演
李骈臻
田先润
张长定
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201910601377.5A priority Critical patent/CN110288715B/zh
Publication of CN110288715A publication Critical patent/CN110288715A/zh
Application granted granted Critical
Publication of CN110288715B publication Critical patent/CN110288715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种虚拟项链试戴方法、装置、电子设备及存储介质，涉及虚拟试戴技术领域。该方法包括：获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像；采用预设的深度学习模型，获取各项链特征点在脖子区域图像的位置信息；将各项链特征点在脖子区域图像中位置信息映射到待检测图像中，使得可以获取到各项链特征点在待检测图像中的位置信息，并根据该位置信息可以动态调整项链在待检测图像中的试戴位置，避免需要用户手动调节项链的位置，方便了用户的试戴。

Description

虚拟项链试戴方法、装置、电子设备及存储介质
技术领域
本发明涉及虚拟试戴技术领域，特别涉及一种虚拟项链试戴方法、装置、电子设备及存储介质。
背景技术
近年来，图像识别和人机交互快速发展，产品展示终端出现了全新的模式。虚拟试戴(试穿)可以把3D产品叠加到用户动态影像上，人体动作与3D产品同步交互，展示出逼真的穿戴或试妆效果，比如，可以将已虚拟试戴(试穿)应用于珠宝、眼镜、手表、服装、箱包和鞋帽等行业，从而为用户提供良好的产品体验。
现有技术中，以虚拟试戴项链为例，主要通过虚拟试戴应用程序(ApplicationProgram，APP)获取试戴用户的颈部，将试戴3D项链产品叠加到用户动态影像上，从而展现出逼真的试戴项链的效果。
但现有的虚拟试戴APP在用户姿态发生变化时，需要用户手动调节项链的位置以及项链的长短等，交互起来比较麻烦。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种虚拟项链试戴方法、装置、电子设备及存储介质，可以解决现有技术中用户姿态发生变化时，需要用户手动调节项链的位置以及项链的长短等，用户试戴不方便的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种虚拟项链试戴方法，包括：
获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像；采用预设的深度学习模型，获取各项链特征点在脖子区域图像的位置信息；将各项链特征点在脖子区域图像中位置信息映射到待检测图像中，得到项链在待检测图像中的试戴位置。
可选地，上述获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像，包括：根据待检测图像中用户的姿态信息和预设的人脸区域检测算法，确定待检测图像中的人脸区域；根据人脸区域，对待检测图像进行裁剪，获取待检测图像的脖子区域图像。
可选地，上述采用预设的深度学习模型之前，包括：获取预设训练样本中脖子区域图像和各项链特征点在脖子区域图像标注的位置信息；将预设训练样本中脖子区域图像作为训练数据、各项链特征点在所述脖子区域图像标注的位置信息作为训练标签进行训练，得到预设的深度学习模型。
可选地，上述获取预设训练样本中脖子区域图像和各项链特征点在脖子区域图像标注的位置信息，包括：获取预设训练样本的原始图像，标注各项链特征点在原始图像的位置信息；裁剪原始图像，得到预设训练样本中脖子区域图像；将各项链特征点在原始图像的位置信息映射到脖子区域图像中，得到项链在脖子区域图像的位置信息。
可选地，上述将各项链特征点在脖子区域图像中位置信息映射到待检测图像中，得到项链在待检测图像中的试戴位置，包括：根据各项链特征点在脖子区域图像的位置信息所处的第一坐标系和待检测图像所处的第二坐标系，将各项链特征点在脖子区域图像的位置信息映射到第二坐标系中，获取映射后的各项链特征点在待检测图像中的位置信息；根据各项链特征点在待检测图像中的位置信息，在待检测图像确定项链的试戴位置。
第二方面，本发明实施例提供了一种虚拟项链试戴装置，包括：裁剪模块、获取模块及映射模块；裁剪模块，用于获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像；获取模块，用于采用预设的深度学习模型，获取各项链特征点在脖子区域图像的位置信息；映射模块，用于将各项链特征点在脖子区域图像中位置信息映射到所述待检测图像中，得到项链在待检测图像中的试戴位置。
可选地，上述裁剪模块，具体用于根据待检测图像中用户的姿态信息和预设的人脸区域检测算法，确定待检测图像中的人脸区域；根据人脸区域，对待检测图像进行裁剪，获取待检测图像的脖子区域图像。
可选地，上述装置还包括训练模块，用于获取预设训练样本中脖子区域图像和各项链特征点在脖子区域图像标注的位置信息；将预设训练样本中脖子区域图像作为训练数据、各项链特征点在脖子区域图像标注的位置信息作为训练标签进行训练，得到预设的深度学习模型。
可选地，上述训练模块，具体用于获取预设训练样本的原始图像，标注各项链特征点在原始图像的位置信息；裁剪原始图像，得到预设训练样本中脖子区域图像；将各项链特征点在原始图像的位置信息映射到脖子区域图像中，得到项链在脖子区域图像的位置信息。
可选地，上述映射模块，具体用于根据各项链特征点在脖子区域图像的位置信息所处的第一坐标系和待检测图像所处的第二坐标系，将各项链特征点在脖子区域图像的位置信息映射到第二坐标系中，获取映射后的各项链特征点在待检测图像中的位置信息；根据各项链特征点在待检测图像中的位置信息，在待检测图像确定项链的试戴位置。
第三方面，本发明实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行上述第一方面的虚拟项链试戴方法的步骤。
第四方面，本发明实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面的虚拟项链试戴方法的步骤。
本发明的有益效果是：
本发明实施例提供的一种虚拟项链试戴方法、装置、电子设备及存储介质，该方法包括：获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像；采用预设的深度学习模型，获取各项链特征点在脖子区域图像的位置信息；将各项链特征点在脖子区域图像中位置信息映射到待检测图像中，使得可以获取到各项链特征点在待检测图像中的位置信息，并根据该位置信息可以动态调整项链在待检测图像中的试戴位置，避免需要用户手动调节项链的位置，方便了用户的试戴。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种虚拟项链试戴方法的流程示意图；
图2为本发明实施例提供的另一种虚拟项链试戴方法的流程示意图；
图3为本发明实施例提供的又一种虚拟项链试戴方法的流程示意图；
图4为本发明实施例提供的另一种虚拟项链试戴方法的流程示意图；
图5为本发明实施例提供的又一种虚拟项链试戴方法的流程示意图；
图6为本发明实施例提供的一种虚拟项链试戴装置的结构示意图；
图7为本发明实施例提供的另一种虚拟项链试戴装置的结构示意图；
图8为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种虚拟项链试戴方法的流程示意图。本实施例的执行主体可以是智能手机、平板电脑，也可以是外接有图像采集设备(如摄像头)的计算机、服务器等，本申请并不对此进行限定。如图1所示，该方法包括：
S101、获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像。
其中，待检测图像可以通过智能手机、平板电脑等自带的相机获取，也可以通过预设的图像采集设备获取后导入的，本申请并不对待检测图像的获取方式进行限定。
待检测图像可以是人体的上半身图像或全身图像等，本申请并不对此仅进行限定，只要包括脖子区域图像即可，而待检测图像中用户的姿态信息可以包括人脸的偏转角度、偏转方向以及脖子在待检测图像中的位置信息等，使得可以根据用户的姿态信息，确定脖子区域图像，并裁剪获取待检测图像中的脖子区域图像。其中，需要说明的是的，确定脖子区域图像时，可以先确定待检测图像中的人脸区域图像，然后基于所确定的人脸区域图像确定脖子区域图像；也可以根据其他脖子区域图像识别算法，直接识别确定待检测图像中的脖子区域图像，本申请实施例在此并不对脖子区域图像的确定方式进行限定。
S102、采用预设的深度学习模型，获取各项链特征点在脖子区域图像的位置信息。
本申请实施例中提到的项链可以是设备展示的虚拟项链。根据项链在人体脖子的佩戴位置，可以将项链划分成多个项链特征点，每个项链特征点可以对应人体脖子特定的位置，比如，项链特征点1可以对应人体脖子左锁骨位置，项链特征点2对应人体脖子的右锁骨位置，项链特征点3对应项链佩戴时的最低位置，使得采用深度学习模型可以获取各项链特征点在脖子区域图像中的位置信息，而该位置信息可以由对应的二维坐标信息表示，从而使得通过该位置信息可以标注出该项链在脖子区域图像的轨迹。其中，需要说明的是，本申请并不对项链特征点的数量和位置进行限定，只要可以标注出项链在脖子区域图像的轨迹即可，根据实际的应用场景，可以对项链特征点的位置和数量进行相应的调整。此外，采用预设的深度学习模型获取各项链特征点在脖子区域图像的位置信息时，是基于该预设深度学习模型之前对于不同的脖子区域图像训练获取的，从而该预设深度学习模型可以用于获取不同脖子区域图像中各项链特征点的位置信息。
例如，若项链包括三个项链特征点，脖子区域图像P1为人体脖子在第一位置时所获得的图像，采用预设的深度学习模型，获取到各项链特征点在脖子区域图像P1的位置信息分别为M11、M12及M13；当人体脖子从第一位置偏转到第二位置，获取到人体脖子在第二位置时的脖子区域图像P2时，则可进一步采用上述预设的深度学习模型，获取到各项链特征点在脖子区域图像P2的位置信息分别为M21、M22及M23，使得当所获取的脖子区域图像发生变化时，可以基于变化后的脖子区域图像，获取各项链特征点在脖子区域图像的不同位置信息。
S103、将各项链特征点在脖子区域图像中位置信息映射到待检测图像中，得到项链在待检测图像中的试戴位置。
由于上述通过预设的深度学习模型得到的是各项链特征点在脖子区域图像中的位置信息，因此，需要将各项链特征点在脖子区域图像中的位置信息映射到待检测图像中，使得可以得到各项链特征点在待检测图像中的位置信息，并基于各项链特征点在待检测图像中的位置信息可以得到项链在待检测图像中的位置信息。当然，若各项链特征点在脖子区域图像中位置信息发生变化时，映射得到的项链在待检测图像中的试戴位置也会发生变化，本申请在此便不再赘述。
综上所述，本申请实施例所提供的虚拟项链试戴方法中，通过获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像；采用预设的深度学习模型，获取各项链特征点在脖子区域图像的位置信息；将各项链特征点在脖子区域图像中位置信息映射到待检测图像中，使得可以获取到各项链特征点在待检测图像中的位置信息，并根据该位置信息可以动态调整项链在待检测图像中的试戴位置，避免需要用户手动调节项链的位置，方便了用户的试戴。
图2为本发明实施例提供的另一种虚拟项链试戴方法的流程示意图。可选地，如图2所示，上述获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像，包括：
S201、根据待检测图像中用户的姿态信息和预设的人脸区域检测算法，确定待检测图像中的人脸区域。
其中，预设的人脸区域检测算法用于确定待检测图像中的人脸区域，而待检测图像中用户的姿态信息可以包括人脸的姿态信息。可以将待检测图像输入预设的人脸区域检测算法，通过预设的人脸区域检测算法确定待检测图像中的人脸区域。需要说明的是，该预设的人脸区域检测算法可以是基于可变形的组件模型(Deformable Part Model，DPM)，也可以基于自适应增强框架(Adaptive Boosting，AdaBoost)等，根据不同的应用场景可以选择不同的人脸区域检测算法，本申请并不对该预设的人脸区域检测算法进行限定。可选地，基于预设的人脸区域检测算法可以学习到人脸面部的关键点坐标，比如，眉毛、眼睛、鼻子、嘴巴、脸部轮廓等坐标，可选地，该关键点坐标可以为118个，本申请并不对该关键点的数量进行限定，根据不同的检测需求可选择相应数量的关键点。
S202、根据人脸区域，对待检测图像进行裁剪，获取待检测图像的脖子区域图像。
其中，由于是要确定项链在待检测图像中的试戴位置，因此，在确定到待检测图中人脸区域图像后，可以进一步根据人脸区域图像与脖子区域图像之间的关系，对待检测图像进行裁剪，从而将待检测图像中除脖子区域图像以外的其他区域图像裁剪掉，避免其他区域图像的干扰，得到脖子区域图像。比如，根据确定的人脸区域图像，可以进一步确定人脸区域图像中的下巴边缘，根据人脸图像中的下巴边缘与脖子区域的关系，可以基于人脸图像中的下巴边缘，通过预设的脖子区域选定框，从而确定待检测图像中的脖子区域图像。可选地，在获取到人脸区域后，根据人脸区域可以获得人脸的外包矩形，根据人脸外包矩形的右下角和左上角的两个点坐标可以估算出待检测图像中的脖子区域图像。需要说明的是，根据不同的待检测图像和应用场景，可以采用不同的方式获取待检测图像中的脖子区域图像，本申请在此并不对该获取方式进行限定。
图3为本发明实施例提供的又一种虚拟项链试戴方法的流程示意图。可选地，如图3所示，上述采用预设的深度学习模型之前，可以通过下述的方法训练获取预设的深度学习模型，包括：
S301、获取预设训练样本中脖子区域图像和各项链特征点在脖子区域图像标注的位置信息。
其中，预设训练样本可以包括多个样本图像，每个样本图像包括脖子区域图像，且标注有各项链特征点在该脖子区域图像中的位置。可选地，预设训练样本中人体的脖子区域图像可以是脖子的正面照或者是有一定角度的侧面照等，本申请也并不对预设样本中脖子的姿态进行限定。
此外，根据各项链特征点的数量，可对应的有相应数量的位置信息，使得通过各项链特征点在脖子区域图像标注的位置信息可以标识项链在脖子区域图像中的轨迹，当然，本申请并不对项链特征点的数量进行限定，根据实际的应用情况可以是10个、20个或30个等。
S302、将预设训练样本中脖子区域图像作为训练数据、各项链特征点在脖子区域图像标注的位置信息作为训练标签进行训练，得到预设的深度学习模型。
其中，将预设训练样本中脖子区域图像作为训练数据、预设训练样本中项链在脖子区域图像标注的第二位置信息作为训练标签进行训练，使得训练数据和训练标签相对应，训练得到的预设深度学习模型可以用于获取各项链特征点在不同姿态的脖子区域图像的位置信息，而无需用户手动调节项链的位置以及项链的长短的情况，方便了用户的试戴。
可选地，预设的深度学习模型可以采用轻量级的网络实现，其中，该轻量级的网络可以基于密集卷积网络(Dense Convolutional Network，Densenet)、加速模型(Performance Vs Accuracy，PVANET)、MobileNetV2网络等获取，本申请并不对此进行限定，根据实际的应用可自行选择相应的轻量级网络获取。可选地，该预设的深度学习模型基于原有的轻量化卷积神经网络MobileNetV2裁剪得到，可以通过减少通道数量和卷积个数，得到一个参数量更少的网络。其中，MobileNetV2是一个用于目标检测和分割的非常有效的特征提取器，具体训练时，可以设置该初始学习率(learning rate，lr)为0.001，迭代次数epoch为3000，每1000个epoch，降低一次学习率lr，每次降低为原来的0.1倍，将预设训练样本中脖子区域图像作为训练数据、各项链特征点在脖子区域图像标注的位置信息作为训练标签进行训练，经过多次迭代和对学习率的调整，即可获取训练后的MobileNetV2网络，该训练后的MobileNetV2网络即可用于获取各项链特征点在脖子区域图像的位置信息。
图4为本发明实施例提供的另一种虚拟项链试戴方法的流程示意图。可选地，如图4所示，上述获取预设训练样本中脖子区域图像和各项链特征点在脖子区域图像标注的位置信息，包括：
S401、获取预设训练样本的原始图像，标注各项链特征点在原始图像的位置信息。
原始图像指的是包括预设训练样本区域的图像，但该原始图像可能还包括其他区域的图像。比如，训练样本所对应的样本图像为脖子区域图像，原始图像可以是人体的上半身或全身的图像，当然，人体的半身图像或全身图像可以是人体的正面照或者是有一定角度的侧面照等，本申请也并不对原始图像中人体的姿态进行限定。
通过获取预设训练样本的原始图像，并在原始图像中标注各项链特征点的位置信息，使得可以在原始图像中反映项链的轨迹信息，当然，本申请并不对各项链特征点的数量和位置进行限定，根据实际的应用场景，可以对各项链特征点的位置和数量进行相应的调整。
S402、裁剪原始图像，得到预设训练样本中脖子区域图像。
由于原始图像中可能包括预设训练样本区域图像之外的其他区域图像，因此，需要对该原始图像进行裁剪，以获取预设训练样本中脖子区域图像。
其中，获取预设训练样本中脖子区域图像，可以对原始图像先进行人脸区域检测，以确定原始图像中的人脸区域图像；进一步地，根据人脸区域图像与脖子区域图像之间的关系，从而得到预设训练样本中脖子区域图像，具体内容可参见S201步骤中的相关描述，本申请在此便不再赘述。
S403、将各项链特征点在原始图像的位置信息映射到脖子区域图像中，得到项链在脖子区域图像的位置信息。
其中，由于上述S401得到的位置信息是各项链特征点在原始图像中的位置，因此，需要通过坐标转换，从而将各项链特征点在原始图像中的位置信息映射到脖子区域图像中，得到各项链特征点在脖子区域图像的位置信息。
例如：原始图像为人体的正面全身照图像，基于该正面全身照图像，以该正面全身照图像的左下角为坐标原点，建立直角坐标系O1-xyz，从而基于直角坐标系O1-xyz可以在该正面全身照图像中标注出各项链特征点的位置信息，其中，若项链包括五个项链特征点，且五个项链特征点所对应的位置信息分别为A1(x1，y1)、B1(x2，y2)、C1(x3，y3)、D1(x4，y4)及E1(x5，y5)五个坐标位置，通过该五个坐标位置可以确定项链在原始图像中脖子区域的轨迹。
其中，由于该原始图像为人体的正面全身照图像，不仅包括脖子区域图像，还包括其他区域的图像。可以基于预设的人脸区域检测算法，首先识别原始图像中的人脸区域，然后基于识别的人脸区域以及人脸区域与脖子区域的关系，可以确定原始图像中的脖子区域图像，并对该原始图像进行裁剪，以获得原始图像中的脖子区域图像，并将其作为预设训练样本中脖子区域图像。
基于获取的脖子区域图像，可以以该脖子区域图像的左下角为坐标原点，建立直角坐标系O2-xyz，从而基于该直角坐标系O2-xyz与上述直角坐标系O1-xyz之间的关系，可以将直角坐标系O1-xyz中的五个项链特征点所对应的五个坐标位置映射到直角坐标系O2-xyz中，从而得到对应的A2(x1，y1)、B2(x2，y2)、C2(x3，y3)、D2(x4，y4)及E2(x5，y5)五个坐标位置，从而将其作为各项链特征点在脖子区域图像标注的位置信息，并用于训练预设的深度学习模型。
图5为本发明实施例提供的又一种虚拟项链试戴方法的流程示意图。可选地，如图5所示，上述将各项链特征点在脖子区域图像中位置信息映射到待检测图像中，得到项链在待检测图像中的试戴位置，包括：
S501、根据各项链特征点在脖子区域图像的位置信息所处的第一坐标系和待检测图像所处的第二坐标系，将各项链特征点在脖子区域图像的位置信息映射到第二坐标系中，获取映射后的各项链特征点在待检测图像中的位置信息。
其中，由于采用预设的深度学习模型获取的是各项链特征点在脖子区域图像的位置信息，该位置信息是基于脖子区域图像所处的第一坐标系获取到的；而要获取各项链特征点在待检测图像中的位置信息，则应该基于待检测图像所处的第二坐标系计算得到的。因此，在获取到各项链特征点在脖子区域图像中位置信息后，还应根据第一坐标系和第二坐标系之间的关系，将各项链特征点在脖子区域图像的位置信息映射到各项链特征点在待检测图像中的位置信息，使得当待检测图像中人体的姿态发生变化时，根据预设的深度学习模型可以对各项链特征点在脖子区域图像的位置信息进行相应的调整，并进一步地，可以对待检测图像中所映射的各项链特征点的位置信息进行相应的调整，使得当待检测图像中用户的姿态信息发生变化时，可以动态调整项链在待检测图像中的试戴位置，而无需用户手动调节项链的位置，方便了用户的试戴。
例如，以脖子区域图像的左下角作为第一坐标原点，建立第一坐标系，而以待检测图像的左下角为第二坐标原点，建立第二坐标系；若项链包括五个项链特征点，则采用预设的深度学习模型，获取脖子区域图像中各项链特征点基于第一坐标系所对应的位置信息为A3(x1，y1)、B3(x2，y2)、C3(x3，y3)、D3(x4，y4)及E3(x5，y5)，则可以根据上述第一坐标系和第二坐标系之间的关系，将上述位置信息映射到第二坐标系中，得到分别对应的A4(x1，y1)、B4(x2，y2)、C4(x3，y3)、D4(x4，y4)及E4(x5，y5)共五个坐标位置，而该五个坐标位置可以标注出各项链特征点在待检测图像中的位置信息。
S502、根据各项链特征点在待检测图像中的位置信息，在待检测图像确定项链的试戴位置。
在获取到各项链特征点在待检测图像中的位置信息后，基于该位置信息，即可进一步在待检测图像确定项链的试戴位置，使得当待检测图像中人体的姿态信息发生变化时，可以在待检测图像中动态确定项链的试戴位置，而无需用户手动调节项链的位置，提高用户的试戴体验。
图6为本发明实施例提供的一种虚拟项链试戴装置的结构示意图。该装置基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。如图6所示，该装置包括：裁剪模块110、获取模块120及映射模块130；裁剪模块110，用于获取待检测图像中用户的姿态信息，根据用户的姿态信息，裁剪获取待检测图像的脖子区域图像；获取模块120，用于采用预设的深度学习模型，获取各项链特征点在脖子区域图像的位置信息；映射模块130，用于将各项链特征点在脖子区域图像中位置信息映射到所述待检测图像中，得到项链在待检测图像中的试戴位置。
可选地，上述裁剪模块110，具体用于根据待检测图像中用户的姿态信息和预设的人脸区域检测算法，确定待检测图像中的人脸区域；根据人脸区域，对待检测图像进行裁剪，获取待检测图像的脖子区域图像。
图7为本发明实施例提供的另一种虚拟项链试戴装置的结构示意图。可选地，如图7所示，上述装置还包括训练模块140，用于获取预设训练样本中脖子区域图像和各项链特征点在脖子区域图像标注的位置信息；将预设训练样本中脖子区域图像作为训练数据、各项链特征点在脖子区域图像标注的位置信息作为训练标签进行训练，得到预设的深度学习模型。
可选地，上述训练模块140，具体用于获取预设训练样本的原始图像，标注各项链特征点在原始图像的位置信息；裁剪原始图像，得到预设训练样本中脖子区域图像；将各项链特征点在原始图像的位置信息映射到脖子区域图像中，得到项链在脖子区域图像的位置信息。
可选地，上述映射模块130，具体用于根据各项链特征点在脖子区域图像的位置信息所处的第一坐标系和待检测图像所处的第二坐标系，将各项链特征点在脖子区域图像的位置信息映射到第二坐标系中，获取映射后的各项链特征点在待检测图像中的位置信息；根据各项链特征点在待检测图像中的位置信息，在待检测图像确定项链的试戴位置。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图8为本发明实施例提供的一种电子设备结构示意图。如图8所示，该电子设备可以，包括：处理器210、存储介质220和总线230，存储介质220存储有处理器210可执行的机器可读指令，当主机运行时，处理器210与存储介质220之间通过总线通信，处理器210执行机器可读指令，以执行时执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种虚拟项链试戴方法，其特征在于，包括：
获取待检测图像中用户的姿态信息，根据所述用户的姿态信息，裁剪获取所述待检测图像的脖子区域图像；
采用预设的深度学习模型，获取各项链特征点在所述脖子区域图像的位置信息；
将各所述项链特征点在脖子区域图像中位置信息映射到所述待检测图像中，得到所述项链在所述待检测图像中的试戴位置；
所述采用预设的深度学习模型，获取各项链特征点在所述脖子区域图像的位置信息之前，还包括：
获取预设训练样本中脖子区域图像和各项链特征点在所述脖子区域图像标注的位置信息；
将所述预设训练样本中脖子区域图像作为训练数据、各所述项链特征点在所述脖子区域图像标注的位置信息作为训练标签进行训练，得到所述预设的深度学习模型；
所述获取预设训练样本中脖子区域图像和各项链特征点在所述脖子区域图像标注的位置信息，包括：
获取预设训练样本的原始图像，标注各所述项链特征点在所述原始图像的位置信息；
裁剪所述原始图像，得到所述预设训练样本中脖子区域图像；
将各所述项链特征点在所述原始图像的位置信息映射到所述脖子区域图像中，得到项链在所述脖子区域图像的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测图像中用户的姿态信息，根据所述用户的姿态信息，裁剪获取所述待检测图像的脖子区域图像，包括：
根据所述待检测图像中用户的姿态信息和预设的人脸区域检测算法，确定所述待检测图像中的人脸区域；
根据所述人脸区域，对所述待检测图像进行裁剪，获取所述待检测图像的脖子区域图像。
3.根据权利要求1所述的方法，其特征在于，所述将各所述项链特征点在脖子区域图像中位置信息映射到所述待检测图像中，得到所述项链在所述待检测图像中的试戴位置，包括：
根据各所述项链特征点在所述脖子区域图像的位置信息所处的第一坐标系和所述待检测图像所处的第二坐标系，将各所述项链特征点在所述脖子区域图像的位置信息映射到所述第二坐标系中，获取映射后的各所述项链特征点在所述待检测图像中的位置信息；
根据各所述项链特征点在所述待检测图像中的位置信息，在所述待检测图像确定所述项链的试戴位置。
4.一种虚拟项链试戴装置，其特征在于，包括：裁剪模块、获取模块及映射模块；
所述裁剪模块，用于获取待检测图像中用户的姿态信息，根据所述用户的姿态信息，裁剪获取所述待检测图像的脖子区域图像；
所述获取模块，用于采用预设的深度学习模型，获取各项链特征点在所述脖子区域图像的位置信息；
所述映射模块，用于将各所述项链特征点在脖子区域图像中位置信息映射到所述待检测图像中，得到所述项链在所述待检测图像中的试戴位置；
所述虚拟项链试戴装置，还包括：训练模块，用于获取预设训练样本中脖子区域图像和各项链特征点在所述脖子区域图像标注的位置信息；
将所述预设训练样本中脖子区域图像作为训练数据、各所述项链特征点在所述脖子区域图像标注的位置信息作为训练标签进行训练，得到所述预设的深度学习模型；
所述训练模块，具体用于获取预设训练样本的原始图像，标注各所述项链特征点在所述原始图像的位置信息；
裁剪所述原始图像，得到所述预设训练样本中脖子区域图像；
将各所述项链特征点在所述原始图像的位置信息映射到所述脖子区域图像中，得到项链在所述脖子区域图像的位置信息。
5.根据权利要求4所述的装置，其特征在于，所述裁剪模块，具体用于根据所述待检测图像中用户的姿态信息和预设的人脸区域检测算法，确定所述待检测图像中的人脸区域；
根据所述人脸区域，对所述待检测图像进行裁剪，获取所述待检测图像的脖子区域图像。
6.根据权利要求4所述的装置，其特征在于，所述映射模块，具体用于根据各所述项链特征点在所述脖子区域图像的位置信息所处的第一坐标系和所述待检测图像所处的第二坐标系，将各所述项链特征点在所述脖子区域图像的位置信息映射到所述第二坐标系中，获取映射后的各所述项链特征点在所述待检测图像中的位置信息；
根据各所述项链特征点在所述待检测图像中的位置信息，在所述待检测图像确定所述项链的试戴位置。
7.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1-3任一所述的虚拟项链试戴方法的步骤。
8.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-3任一所述的虚拟项链试戴方法的步骤。
CN201910601377.5A 2019-07-04 2019-07-04 虚拟项链试戴方法、装置、电子设备及存储介质 Active CN110288715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910601377.5A CN110288715B (zh) 2019-07-04 2019-07-04 虚拟项链试戴方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910601377.5A CN110288715B (zh) 2019-07-04 2019-07-04 虚拟项链试戴方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110288715A CN110288715A (zh) 2019-09-27
CN110288715B true CN110288715B (zh) 2022-10-28

Family

ID=68020623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910601377.5A Active CN110288715B (zh) 2019-07-04 2019-07-04 虚拟项链试戴方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110288715B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754303A (zh) * 2020-06-24 2020-10-09 北京字节跳动网络技术有限公司 虚拟换服饰的方法和装置、设备和介质
CN111882408B (zh) * 2020-09-27 2021-07-09 北京达佳互联信息技术有限公司 虚拟试用方法、装置、电子设备及存储介质
CN114565521B (zh) * 2022-01-17 2023-04-07 北京新氧科技有限公司 基于虚拟换装的图像修复方法、装置、设备及存储介质
CN115937964B (zh) * 2022-06-27 2023-12-15 北京字跳网络技术有限公司 姿态估计的方法、装置、设备和存储介质
CN116524088B (zh) * 2023-07-03 2023-09-19 深圳星坊科技有限公司 珠宝虚拟试戴方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456008A (zh) * 2013-08-26 2013-12-18 刘晓英 一种面部与眼镜匹配方法
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN106846493A (zh) * 2017-01-12 2017-06-13 段元文 3d虚拟试戴方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456008A (zh) * 2013-08-26 2013-12-18 刘晓英 一种面部与眼镜匹配方法
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
WO2015192733A1 (zh) * 2014-06-17 2015-12-23 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN106846493A (zh) * 2017-01-12 2017-06-13 段元文 3d虚拟试戴方法及装置

Also Published As

Publication number Publication date
CN110288715A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110288715B (zh) 虚拟项链试戴方法、装置、电子设备及存储介质
CN110662484B (zh) 用于全身测量结果提取的系统和方法
US11321769B2 (en) System and method for automatically generating three-dimensional virtual garment model using product description
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN107610202B (zh) 人脸图像替换方法、设备及存储介质
CN107564080B (zh) 一种人脸图像的替换系统
CN107507217B (zh) 证件照的制作方法、装置及存储介质
CN108629336B (zh) 基于人脸特征点识别的颜值计算方法
CN113205040A (zh) 人脸图像处理方法、装置和电子设备
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN106709404A (zh) 图像处理装置及图像处理方法
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
Nuevo et al. RSMAT: Robust simultaneous modeling and tracking
CN109190559A (zh) 一种手势识别方法、手势识别装置及电子设备
CN104049760A (zh) 一种人机交互命令的获取方法及系统
CN102567716A (zh) 一种人脸合成系统及实现方法
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
CN110222651A (zh) 一种人脸姿态检测方法、装置、终端设备及可读存储介质
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112699857A (zh) 基于人脸姿态的活体验证方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant