CN113034219A - 虚拟着装方法、装置、设备及计算机可读存储介质 - Google Patents
虚拟着装方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113034219A CN113034219A CN202110188916.4A CN202110188916A CN113034219A CN 113034219 A CN113034219 A CN 113034219A CN 202110188916 A CN202110188916 A CN 202110188916A CN 113034219 A CN113034219 A CN 113034219A
- Authority
- CN
- China
- Prior art keywords
- image
- virtual
- user
- target
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 34
- 239000000463 material Substances 0.000 claims description 58
- 230000037237 body shape Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 abstract description 29
- 230000006870 function Effects 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚拟着装方法、装置、设备及存储介质，该方法通过使用具有拍摄功能的智能电视或是在智能电视上外接摄像设备，使得用户在智能电视的摄像范围内即可被取像；通过对当前拍摄得到的用户身体图像进行骨骼识别得到骨骼数据，再基于此骨骼数据将目标服饰和人体进行叠加，而目标服饰又是预先根据目标用户的身体形态建模所得到的，因此能够使得虚拟着装能够更加精准，与人体的贴合度更高；最后通过将虚拟着装的效果图像显示在智能电视的屏幕上，从而为家庭场景提供具有虚拟换衣功能的智能全身镜，同时也增加了智能电视的额外功能。由于智能电视的屏幕通常远远大于移动终端的屏幕，因此用户能够更加清晰全面的查看到自己的虚拟试衣效果。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种虚拟着装方法、装置、设备及计算机可读存储介质。
背景技术
虚拟试衣是实现用户不用脱去身上衣服，实现变装查看效果的一种技术应用。国内目前有两个派系，一种是利用体感技术实现高清晰的2D衣服图像自然地贴上人的身体；另一种则基于虚拟试衣拍照系统，用户可以通过先准备的服装素材进行服装搭配选择，在选取感兴趣的服装之后，通过前置摄像头在屏幕显示的指定拍摄区域下拍摄用户的头像，通过拍摄后的照片合成，使用户完成试衣体验。
而后一种基于虚拟试衣拍照系统的虚拟试衣技术通常实际应用于手机APP，用户通过安装在智能手机上的相关APP，并配合手机上的前置摄像头来实现虚拟试衣的体验。但由于手机屏幕尺寸以及性能的限制，往往难以为用户带来很好的虚拟试衣效果。
发明内容
本发明的主要目的在于提供一种虚拟着装方法、装置、设备及计算机可读存储介质，旨在解决现有的基于虚拟试衣拍照系统的虚拟试衣技术的实现效果不佳的技术问题。
为实现上述目的，本发明提供一种虚拟着装方法，所述虚拟着装方法应用于智能电视，所述虚拟着装方法包括：
获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据；
确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像，其中，所述建模图像预先根据所述目标用户的身体形态建模所得；
将所述人体虚拟着装图像显示在所述智能电视的屏幕上。
可选地，所述智能电视包括可旋转电视，
所述获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据的步骤包括：
接收屏幕旋转指令，基于所述屏幕旋转指令将所述可旋转电视的屏幕旋转至竖屏状态，并开启摄像头，其中，所述摄像头为所述可旋转电视的自带摄像头或外接摄像头；
在检测到所述目标用户位于所述摄像范围内时，基于所述摄像头对所述目标用户进行全身摄影，得到所述目标用户的全身图像以作为所述用户身体图像；
使用预设骨骼识别算法识别定位出所述用户身体图像中的骨骼关键点群坐标，以作为所述人体骨骼数据。
可选地，所述基于所述摄像头对所述目标用户进行全身摄影，得到所述目标用户的全身图像以作为所述用户身体图像的步骤之后，还包括：
对所述全身图像中的面部区域进行人脸识别得到人脸识别结果，并将所述人脸识别结果与所述骨骼关键点群坐标进行关联。
可选地，所述确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像的步骤包括：
获取并显示预设服饰库中各个服饰所对应的选款信息，其中，所述预设服饰库中存储有各个服饰的3D建模图像；
接收所述目标用户基于所述选款信息发送的选款指令，根据所述选款指令确定所述目标服饰的样式和尺码；
基于所述骨骼关键点群坐标确定所述目标用户的当前身体形态，并从所述预设服饰库中获取与所述当前身体形态、样式以及尺码相匹配的3D建模图像，以作为所述建模图像；
根据所述骨骼关键点群坐标，将所述的3D建模图像与所述用户身体图像中的人体进行叠加，生成所述人体虚拟着装图像。
可选地，所述获取目标用户在所述智能电视对应的摄像范围内的用户身体图像的步骤之前，还包括：
获取入库服饰素材，将所述入库服饰素材转换为3D素材图形；
记录所述目标用户不同的身体形态，并将所述3D素材图形在所述不同的身体形态以及不同的尺码上进行建模，得到3D素材建模图像。
可选地，所述获取入库服饰素材的步骤包括：
接收由应用端发送的外部服饰入库指令，基于所述外部服饰入库指令获取外部服饰素材，以作为所述入库服饰素材；或，
接收由所述目标用户发送的本地服饰入库指令，基于所述本地服饰入库指令获取由所述目标用户拍摄的本地服饰素材，以作为所述入库服饰素材。
可选地，所述将所述人体虚拟着装图像显示在所述智能电视的屏幕上的步骤包括：
将所述人体虚拟着装图像在所述智能电视的屏幕上全屏显示，并关联显示出所述目标服饰的服饰编码、尺码、款式名称和/或来源渠道。
此外，为实现上述目的，本发明还提供一种虚拟着装装置，所述虚拟着装装置包括：
身体图像识别模块，用于获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据；
虚拟着装生成模块，用于确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像，其中，所述建模图像预先根据所述目标用户的身体形态建模所得；
虚拟着装显示模块，用于将所述人体虚拟着装图像显示在所述智能电视的屏幕上。
可选地，所述智能电视包括可旋转电视，
所述身体图像识别模块包括：
屏幕旋转单元，用于接收屏幕旋转指令，基于所述屏幕旋转指令将所述可旋转电视的屏幕旋转至竖屏状态，并开启摄像头，其中，所述摄像头为所述可旋转电视的自带摄像头或外接摄像头；
全身摄影单元，用于在检测到所述目标用户位于所述摄像范围内时，基于所述摄像头对所述目标用户进行全身摄影，得到所述目标用户的全身图像以作为所述用户身体图像；
骨骼识别单元，用于使用预设骨骼识别算法识别定位出所述用户身体图像中的骨骼关键点群坐标，以作为所述人体骨骼数据。
可选地，所述身体图像识别模块还包括：
人脸识别单元，用于对所述全身图像中的面部区域进行人脸识别得到人脸识别结果，并将所述人脸识别结果与所述骨骼关键点群坐标进行关联。
可选地，所述虚拟着装生成模块包括：
选款信息显示单元，用于获取并显示预设服饰库中各个服饰所对应的选款信息，其中，所述预设服饰库中存储有各个服饰的3D建模图像；
样式尺码选择单元，用于接收所述目标用户基于所述选款信息发送的选款指令，根据所述选款指令确定所述目标服饰的样式和尺码；
身体形态确定单元，用于基于所述骨骼关键点群坐标确定所述目标用户的当前身体形态，并从所述预设服饰库中获取与所述当前身体形态、样式以及尺码相匹配的3D建模图像，以作为所述建模图像；
着装图像叠加单元，用于根据所述骨骼关键点群坐标，将所述的3D建模图像与所述用户身体图像中的人体进行叠加，生成所述人体虚拟着装图像。
可选地，所述虚拟着装装置还包括：
图形转化模块，用于获取入库服饰素材，将所述入库服饰素材转换为3D素材图形；
素材建模模块，用于记录所述目标用户不同的身体形态，并将所述3D素材图形在所述不同的身体形态以及不同的尺码上进行建模，得到3D素材建模图像。
可选地，所述图形转化模块还包括：
外部服饰入库单元，用于接收由应用端发送的外部服饰入库指令，基于所述外部服饰入库指令获取外部服饰素材，以作为所述入库服饰素材；或，
本地服饰入库单元，用于接收由所述目标用户发送的本地服饰入库指令，基于所述本地服饰入库指令获取由所述目标用户拍摄的本地服饰素材，以作为所述入库服饰素材。
可选地，所述虚拟着装显示模块包括：
图像全屏显示单元，用于将所述人体虚拟着装图像在所述智能电视的屏幕上全屏显示，并关联显示出所述目标服饰的服饰编码、尺码、款式名称和/或来源渠道。
此外，为实现上述目的，本发明还提供一种虚拟着装设备，所述虚拟着装设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟着装程序，所述虚拟着装程序被所述处理器执行时实现如上述方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有虚拟着装程序，所述虚拟着装程序被处理器执行时实现如上述方法的步骤。
本发明提供一种虚拟着装方法、装置、设备及计算机可读存储介质。所述虚拟着装方法通过使用具有拍摄功能的智能电视或是在智能电视上外接摄像设备，使得用户在智能电视的摄像范围内即可被取像；通过对当前拍摄得到的用户身体图像进行骨骼识别得到骨骼数据，再基于此骨骼数据将目标服饰和人体进行叠加，而目标服饰又是预先根据目标用户的身体形态建模所得到的，因此能够使得虚拟着装能够更加精准，与人体的贴合度更高；最后通过将虚拟着装的效果图像显示在智能电视的屏幕上，从而为家庭场景提供具有虚拟换衣功能的智能全身镜，同时也增加了智能电视的额外功能。由于智能电视的屏幕通常远远大于移动终端的屏幕，因此用户能够更加清晰全面的查看到自己的虚拟试衣效果，从而解决了现有的基于虚拟试衣拍照系统的虚拟试衣技术的实现效果不佳的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的虚拟着装设备结构示意图；
图2为本发明虚拟着装方法第一实施例的流程示意图；
图3为本发明虚拟着装方法第二实施例中一具体实施例的可旋转电视实现虚拟换衣功能场景示意图；
图4为本发明虚拟着装装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的虚拟着装设备结构示意图。
本发明实施例虚拟着装设备为智能电视，优选为可旋转电视。
如图1所示，该虚拟着装设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。可选的用户接口1003可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解，图1中示出的虚拟着装设备结构并不构成对虚拟着装设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及虚拟着装程序。
在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的虚拟着装程序，并执行本发明实施例提供的虚拟着装方法。
基于上述硬件结构，提出本发明虚拟着装方法的各个实施例。
虚拟试衣是实现用户不用脱去身上衣服，实现变装查看效果的一种技术应用。国内目前有两个派系，一种是利用体感技术实现高清晰的2D衣服图像自然地贴上人的身体；另一种则基于虚拟试衣拍照系统，用户可以通过先准备的服装素材进行服装搭配选择，在选取感兴趣的服装之后，通过前置摄像头在屏幕显示的指定拍摄区域下拍摄用户的头像，通过拍摄后的照片合成，使用户完成试衣体验。而后一种基于虚拟试衣拍照系统的虚拟试衣技术通常实际应用于手机APP，用户通过安装在智能手机上的相关APP，并配合手机上的前置摄像头来实现虚拟试衣的体验。但由于手机屏幕尺寸以及性能的限制，往往难以为用户带来很好的虚拟试衣效果。
为解决上述技术问题，本发明提供一种虚拟着装方法，即通过使用具有拍摄功能的智能电视或是在智能电视上外接摄像设备，使得用户在智能电视的摄像范围内即可被取像；通过对当前拍摄得到的用户身体图像进行骨骼识别得到骨骼数据，再基于此骨骼数据将目标服饰和人体进行叠加，而目标服饰又是预先根据目标用户的身体形态建模所得到的，因此能够使得虚拟着装能够更加精准，与人体的贴合度更高；最后通过将虚拟着装的效果图像显示在智能电视的屏幕上，从而为家庭场景提供具有虚拟换衣功能的智能全身镜，同时也增加了智能电视的额外功能。由于智能电视的屏幕通常远远大于移动终端的屏幕，因此用户能够更加清晰全面的查看到自己的虚拟试衣效果，从而解决了现有的基于虚拟试衣拍照系统的虚拟试衣技术的实现效果不佳的技术问题。
参照图2，图2为虚拟着装方法第一实施例的流程示意图。
本发明第一实施例提供一种虚拟着装方法，所述虚拟着装方法应用于智能电视，所述虚拟着装方法包括：
步骤S10，获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据；
在本实施例中，本方法应用于智能电视，优选为可旋转电视，由于人们通常会将智能电视布置在家中，因此通常的使用场景为家庭场景。目标用户指的是在智能电视对应的摄像范围内意图使用虚拟着装功能的用户。智能电视对应的摄像范围指的是智能电视自带的摄影功能的摄像范围，或是智能电视外接的摄影设备的摄像范围(智能电视的系统平台芯片具有摄像头功能接口及兼容的定义)。用户身体图像指的是目标用户在处于摄像范围时，智能电视直接或借助外接设备拍摄的包含用户的全部或部分身体的图像。人体骨骼数据指的是用户身体图像中所拍摄到的用户身体所对应的骨骼关节的数据。
目标用户开启智能电视，进入智能电视对应的摄像范围后，开启智能电视的虚拟试衣功能。智能电视在根据目标用户的指令开启虚拟试衣功能后，对应开启摄像功能，并拍摄处于摄像范围内的目标用户的用户身体图像。智能终端在获取到用户身体图像后，对其进行识别，以获取到图像中用户的骨骼关节的相关数据。
步骤S20，确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像，其中，所述建模图像预先根据所述目标用户的身体形态建模所得；
步骤S30，将所述人体虚拟着装图像显示在所述智能电视的屏幕上。
在本实施例中，服饰指的是装饰人体的物品总称，包括但不局限于衣物、鞋子、首饰、帽子等等物品。目标服饰可以是智能电视的虚拟试衣的服饰库中的任一服饰，服饰库中的服饰被目标用户选中后即可作为目标服饰，且用户可随意切换选中服饰库中的任意服饰。由于用户在试衣时通常可能会变换不同的身体形态以观察服饰上身的效果，因此对于同一件服饰，也需要针对不同的身体姿态进行建模。得到每一服饰的多个建模所得图像，具体可为2D图像，也可3D图像。人体虚拟着装图像指的是采用AR技术将目标服饰的建模图像叠加到目标用户的人体后所得到的图像，也即是虚拟试衣的效果图。
目标用户在开启智能电视的虚拟试衣功能后，可在已建模的服饰中选择当前希望试穿的服饰作为目标服饰，智能电视在接收到目标用户的选择指令后，确定到具体的目标服饰，再获取到目标服饰所对应的不同身体形态的建模图像中与目标用户当前的身体形态匹配的建模图像，将此建模图像利用AR技术叠加在目标用户的人体上，生成叠加后的效果图也即是上述人体虚拟着装图像，最后智能电视再将叠加的效果图实时显示在屏幕上，以供目标用户实时查看虚拟试衣效果。
可以理解的是，根据实际需要，智能电视也可以在选定目标服饰之后，再开启摄像功能获取用户身体图像。对于虚拟试衣功能所涉及的摄像头算法、AR算法、人体姿势动作识别、人体骨骼识别等算法，既可直接在智能电视中集成，也可在应用端进行算法集成，再由智能电视加载上述应用端，以实现虚拟试衣功能。在智能电视为可旋转电视时，不限制是否为竖屏状态，均可使用虚拟试衣功能，但在竖屏状态下的场景效果更佳突出。
在本实施例中，通过获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据；确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像，其中，所述建模图像预先根据所述目标用户的身体形态建模所得；将所述人体虚拟着装图像显示在所述智能电视的屏幕上。通过上述方式，本发明通过使用具有拍摄功能的智能电视或是在智能电视上外接摄像设备，使得用户在智能电视的摄像范围内即可被取像；通过对当前拍摄得到的用户身体图像进行骨骼识别得到骨骼数据，再基于此骨骼数据将目标服饰和人体进行叠加，而目标服饰又是预先根据目标用户的身体形态建模所得到的，因此能够使得虚拟着装能够更加精准，与人体的贴合度更高；最后通过将虚拟着装的效果图像显示在智能电视的屏幕上，从而为家庭场景提供具有虚拟换衣功能的智能全身镜，同时也增加了智能电视的额外功能。由于智能电视的屏幕通常远远大于移动终端的屏幕，因此用户能够更加清晰全面的查看到自己的虚拟试衣效果，从而解决了现有的基于虚拟试衣拍照系统的虚拟试衣技术的实现效果不佳的技术问题。
进一步地，基于上述图2所示的第一实施例，提出本发明虚拟着装方法的第二实施例，在本实施例中，所述智能电视包括可旋转电视，步骤S10包括：
接收屏幕旋转指令，基于所述屏幕旋转指令将所述可旋转电视的屏幕旋转至竖屏状态，并开启摄像头，其中，所述摄像头为所述可旋转电视的自带摄像头或外接摄像头；
在检测到所述目标用户位于所述摄像范围内时，基于所述摄像头对所述目标用户进行全身摄影，得到所述目标用户的全身图像以作为所述用户身体图像；
使用预设骨骼识别算法识别定位出所述用户身体图像中的骨骼关键点群坐标，以作为所述人体骨骼数据。
在本实施例中，屏幕旋转指令可由用户点击或是按下虚拟或实体按键向可旋转电视发起。摄像头即可以是自带摄像头，也可以是外接摄像头，也即是可旋转电视中必须配有摄像头功能或允许外接摄像头能力支持。骨骼关键点群坐标指的是目标用户的身体骨骼中的多个关键点的坐标数据，例如，将头部、左右肩关节、肘关节、腕关节、膝关节、踝关节、髋关节等列为关键点群，获取这些关键点的在图像上的坐标数据作为上述骨骼关键点群坐标。
若可旋转电视此时出于横屏状态，则在接收到屏幕旋转指令后，将屏幕旋转90度以切换到竖屏状态，以达到纵向较高，横向较短，类似全身镜的效果，同时开启摄像功能，此时显示屏幕中可实时显示出摄像头所拍摄的画面。当目标用户进入摄像范围时，可旋转电视既可借助摄像头获取到目标用户全身图像。可旋转电视可根据自身集成的骨骼识别算法，或是已加载的应用端上的骨骼识别算法识别定位出当前所拍摄的用户身体图像中的骨骼关键点群坐标。
进一步地，所述基于所述摄像头对所述目标用户进行全身摄影，得到所述目标用户的全身图像以作为所述用户身体图像的步骤之后，还包括：
对所述全身图像中的面部区域进行人脸识别得到人脸识别结果，并将所述人脸识别结果与所述骨骼关键点群坐标进行关联。
在本实施例中，可旋转电视在得到目标用户的全身图像后，还可对用户面部进行识别，识别得到目标用户的面部特征信息，将此面部特征信息与目标用户的骨骼关键点群坐标进行关联，以便将不同的用户与其对应的身体形态关联起来。
进一步地，步骤S20包括：
获取并显示预设服饰库中各个服饰所对应的选款信息，其中，所述预设服饰库中存储有各个服饰的3D建模图像；
接收所述目标用户基于所述选款信息发送的选款指令，根据所述选款指令确定所述目标服饰的样式和尺码；
基于所述骨骼关键点群坐标确定所述目标用户的当前身体形态，并从所述预设服饰库中获取与所述当前身体形态、样式以及尺码相匹配的3D建模图像，以作为所述建模图像；
根据所述骨骼关键点群坐标，将所述的3D建模图像与所述用户身体图像中的人体进行叠加，生成所述人体虚拟着装图像。
在本实施例中，预设服饰库为虚拟试衣应用端上存有大量服饰素材的服饰库，每一服饰素材都有一个或多个对应的3D建模图像。选款信息具体可包括服饰的款式名称、预览图片、可选尺码等。
智能电视可将虚拟试衣应用的选款界面显示在屏幕上，选款界面中可向用户展示各服饰的款式名称、预览图片、可选尺码等信息，以便用户了解服饰详情。目标用户可通过遥控器或触屏等方式选中一个或多个目标服饰，作为一选款指令。智能电视在接收到该指令后即可确定出目标服饰的样式和尺码。虚拟试衣应用调用相关算法对骨骼关键点群坐标进行数据分析，以确定出目标用户当前的身体形态，例如站立、坐下、转身等，然后在库中搜索与用户当前选中的款式、尺码以及当前身体形态均匹配的3D建模图像。智能电视通过AR技术，并根据骨骼关键点群坐标所包含的定位信息，将该3D建模图像与目标用户的人体进行叠加，得到虚拟试衣效果图。
作为一具体实施例，如图3所示。图3为可旋转电视实现虚拟换衣功能场景示意图。左边一栏为用户，中间一栏为可旋转电视系统、右边一栏为换衣应用。首先，用户开启电视，然后指示电视旋转至竖屏状态。然后用户启动电视中的虚拟换衣应用(该应用的衣服库中存储有大量衣服素材，且每一素材都对应有衣服编码、尺码以及款式)。选择电视系统启动摄像头，当用户在电视前(进入摄像范围)时，开启了电视的换装功能，换衣应用开始调用相应的识别算法对摄像头所拍摄的用户身体图像进行骨骼识别与人脸识别，得到人物的关键点群坐标，确定出用户当前的身体形态。智能电视的屏幕上可对应显示出衣服库中所有可选衣服的相关信息，例如衣服的预览图、款式名称、衣服编码、尺码、颜色等等，以供用户选择。用户在选中目标衣服之后，可旋转电视系统根据用户所选中的目标衣服的款式以及尺码，并结合用户当前的身体形态(通常为直立形态)，选择对应的目标衣服的建模图像，将其与用户身体图像进行叠加，然后输出叠加后的虚拟试衣图像，从而向用户实时展示虚拟试衣效果。
在本实施例中，进一步通过将电视旋转至竖屏状态，类似一个全身镜，使得用户能够在家即可电视变成智能全身镜进行穿衣搭配，场景效果更加突出，为家庭场景提供智能全身镜和为电视赋能。
进一步地，基于上述图2所示的第一实施例，提出本发明虚拟着装方法的第三实施例。在本实施例中，步骤S10之前，还包括：
获取入库服饰素材，将所述入库服饰素材转换为3D素材图形；
记录所述目标用户不同的身体形态，并将所述3D素材图形在所述不同的身体形态以及不同的尺码上进行建模，得到3D素材建模图像。
在本实施例中，不同的身体形态可包括站立、坐下、挥手、转身等。不同的尺码可根据实际需求灵活设置。智能电视端在初期建立预设服饰库时，需要先获取到入库服饰素材。智能电视端记录用户的身体形态，给不同的形态进行建模与数据对比，然后在试衣应用端将各个入库素材服饰做成3D图形，并将各个入库素材服饰在不同形态以及不同尺码上进行建模与数据对比，得到3D素材建模图像。
进一步地，所述获取入库服饰素材的步骤包括：
接收由应用端发送的外部服饰入库指令，基于所述外部服饰入库指令获取外部服饰素材，以作为所述入库服饰素材；或，
接收由所述目标用户发送的本地服饰入库指令，基于所述本地服饰入库指令获取由所述目标用户拍摄的本地服饰素材，以作为所述入库服饰素材。
在本实施例中，扩充服饰库有两种途径，第一种是从应用端获取，另一种是本地创建。应用端即为虚拟试衣应用端，外部服饰素材即为智能电视需联网获得系统的服饰素材。本地服饰素材为由本地服饰图片转化得到的服饰素材。智能电视在接收到从应用端发送的外部服饰入库指令时，获取到对应的外部服饰素材，然后对每一外部服饰素材分配唯一编码，并标明款式名称。第二种是用户可以将自己拍摄的服饰图片上传到智能电视端，作为本地服饰素材，由智能电视端为其分配唯一编码并标明款式名称。
进一步地，步骤S30包括：
将所述人体虚拟着装图像在所述智能电视的屏幕上全屏显示，并关联显示出所述目标服饰的服饰编码、尺码、款式名称和/或来源渠道。
在本实施例中，为便于用户观看试穿效果，智能电视可将服饰与人体通过AR技术叠加后所得到的效果图像全屏显示在屏幕上，并将当前所试穿的服饰的相关信息例如服饰编码、尺码、款式名称、来源渠道(外部/本地)等的一项或多项一并显示出来，以便用户查看。
在本实施例中，进一通过为用户提供同一款式下的不同尺码以及与多种不同身体形态相匹配的服饰建模图像，使得用户可以观看到不同姿态下的虚拟试衣效果，从而提升了虚拟试衣的有效性；通过提供两种扩充服饰库的方式，使得试衣的素材不局限与应用端所提供的服饰，还可由用户自定义创建，从而丰富了试衣素材获取途径。
如图4所示，本发明还提供一种虚拟着装装置。
所述虚拟着装装置包括：
身体图像识别模块10，用于获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据；
虚拟着装生成模块20，用于确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像，其中，所述建模图像预先根据所述目标用户的身体形态建模所得；
虚拟着装显示模块30，用于将所述人体虚拟着装图像显示在所述智能电视的屏幕上。
本发明还提供一种虚拟着装设备。
所述虚拟着装设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的虚拟着装程序，其中所述虚拟着装程序被所述处理器执行时，实现如上所述的虚拟着装方法的步骤。
其中，所述虚拟着装程序被执行时所实现的方法可参照本发明虚拟着装方法的各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有虚拟着装程序，所述虚拟着装程序被处理器执行时实现如上所述的虚拟着装方法的步骤。
其中，所述虚拟着装程序被执行时所实现的方法可参照本发明虚拟着装方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台虚拟着装设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种虚拟着装方法，其特征在于，所述虚拟着装方法应用于智能电视，所述虚拟着装方法包括：
获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据；
确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像，其中，所述建模图像预先根据所述目标用户的身体形态建模所得；
将所述人体虚拟着装图像显示在所述智能电视的屏幕上。
2.如权利要求1所述的虚拟着装方法，其特征在于，所述智能电视包括可旋转电视，
所述获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据的步骤包括：
接收屏幕旋转指令，基于所述屏幕旋转指令将所述可旋转电视的屏幕旋转至竖屏状态，并开启摄像头，其中，所述摄像头为所述可旋转电视的自带摄像头或外接摄像头；
在检测到所述目标用户位于所述摄像范围内时，基于所述摄像头对所述目标用户进行全身摄影，得到所述目标用户的全身图像以作为所述用户身体图像；
使用预设骨骼识别算法识别定位出所述用户身体图像中的骨骼关键点群坐标，以作为所述人体骨骼数据。
3.如权利要求2所述的虚拟着装方法，其特征在于，所述基于所述摄像头对所述目标用户进行全身摄影，得到所述目标用户的全身图像以作为所述用户身体图像的步骤之后，还包括：
对所述全身图像中的面部区域进行人脸识别得到人脸识别结果，并将所述人脸识别结果与所述骨骼关键点群坐标进行关联。
4.如权利要求2所述的虚拟着装方法，其特征在于，所述确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像的步骤包括：
获取并显示预设服饰库中各个服饰所对应的选款信息，其中，所述预设服饰库中存储有各个服饰的3D建模图像；
接收所述目标用户基于所述选款信息发送的选款指令，根据所述选款指令确定所述目标服饰的样式和尺码；
基于所述骨骼关键点群坐标确定所述目标用户的当前身体形态，并从所述预设服饰库中获取与所述当前身体形态、样式以及尺码相匹配的3D建模图像，以作为所述建模图像；
根据所述骨骼关键点群坐标，将所述的3D建模图像与所述用户身体图像中的人体进行叠加，生成所述人体虚拟着装图像。
5.如权利要求1所述的虚拟着装方法，其特征在于，所述获取目标用户在所述智能电视对应的摄像范围内的用户身体图像的步骤之前，还包括：
获取入库服饰素材，将所述入库服饰素材转换为3D素材图形；
记录所述目标用户不同的身体形态，并将所述3D素材图形在所述不同的身体形态以及不同的尺码上进行建模，得到3D素材建模图像。
6.如权利要求5所述的虚拟着装方法，其特征在于，所述获取入库服饰素材的步骤包括：
接收由应用端发送的外部服饰入库指令，基于所述外部服饰入库指令获取外部服饰素材，以作为所述入库服饰素材；或，
接收由所述目标用户发送的本地服饰入库指令，基于所述本地服饰入库指令获取由所述目标用户拍摄的本地服饰素材，以作为所述入库服饰素材。
7.如权利要求1-6中任一项所述的虚拟着装方法，其特征在于，所述将所述人体虚拟着装图像显示在所述智能电视的屏幕上的步骤包括：
将所述人体虚拟着装图像在所述智能电视的屏幕上全屏显示，并关联显示出所述目标服饰的服饰编码、尺码、款式名称和/或来源渠道。
8.一种虚拟着装装置，其特征在于，所述虚拟着装装置包括：
身体图像识别模块，用于获取目标用户在所述智能电视对应的摄像范围内的用户身体图像，识别所述用户身体图像得到人体骨骼数据；
虚拟着装生成模块，用于确定目标服饰并获取所述目标服饰的建模图像，基于所述人体骨骼数据将所述建模图像与所述用户身体图像进行叠加，生成人体虚拟着装图像，其中，所述建模图像预先根据所述目标用户的身体形态建模所得；
虚拟着装显示模块，用于将所述人体虚拟着装图像显示在所述智能电视的屏幕上。
9.一种智能电视，其特征在于，所述虚拟着装设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟着装程序，所述虚拟着装程序被所述处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有虚拟着装程序，所述虚拟着装程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110188916.4A CN113034219A (zh) | 2021-02-19 | 2021-02-19 | 虚拟着装方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110188916.4A CN113034219A (zh) | 2021-02-19 | 2021-02-19 | 虚拟着装方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113034219A true CN113034219A (zh) | 2021-06-25 |
Family
ID=76461385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110188916.4A Pending CN113034219A (zh) | 2021-02-19 | 2021-02-19 | 虚拟着装方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034219A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115119054A (zh) * | 2022-06-27 | 2022-09-27 | 平安银行股份有限公司 | 一种基于ios系统的视频虚拟着装及背景处理方法和装置 |
| CN115708357A (zh) * | 2021-08-03 | 2023-02-21 | 海信集团控股股份有限公司 | 一种智能电视及视频通话方法 |
| WO2023035725A1 (zh) * | 2021-09-10 | 2023-03-16 | 上海幻电信息科技有限公司 | 虚拟道具展示方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825407A (zh) * | 2016-03-31 | 2016-08-03 | 上海晋荣智能科技有限公司 | 虚拟试衣镜系统 |
| CN105843386A (zh) * | 2016-03-22 | 2016-08-10 | 宁波元鼎电子科技有限公司 | 一种商场虚拟试衣系统 |
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
-
2021
- 2021-02-19 CN CN202110188916.4A patent/CN113034219A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105843386A (zh) * | 2016-03-22 | 2016-08-10 | 宁波元鼎电子科技有限公司 | 一种商场虚拟试衣系统 |
| CN105825407A (zh) * | 2016-03-31 | 2016-08-03 | 上海晋荣智能科技有限公司 | 虚拟试衣镜系统 |
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115708357A (zh) * | 2021-08-03 | 2023-02-21 | 海信集团控股股份有限公司 | 一种智能电视及视频通话方法 |
| WO2023035725A1 (zh) * | 2021-09-10 | 2023-03-16 | 上海幻电信息科技有限公司 | 虚拟道具展示方法及装置 |
| CN115119054A (zh) * | 2022-06-27 | 2022-09-27 | 平安银行股份有限公司 | 一种基于ios系统的视频虚拟着装及背景处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034219A (zh) | 虚拟着装方法、装置、设备及计算机可读存储介质 | |
| US10242589B2 (en) | Makeup application assistance device, makeup application assistance method, and makeup application assistance program | |
| CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
| CN110363867B (zh) | 虚拟装扮系统、方法、设备及介质 | |
| US20090115777A1 (en) | Method of Generating and Using a Virtual Fitting Room and Corresponding System | |
| CN105637565A (zh) | 试穿支援装置以及方法 | |
| JP7228025B2 (ja) | 多重検出を伴う拡張現実に基づく衣服の仮想試着のための方法およびデバイス | |
| JP6986676B2 (ja) | 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ | |
| JP6656572B1 (ja) | 情報処理装置、表示制御方法および表示制御プログラム | |
| CN111696215A (zh) | 一种图像处理方法、装置及设备 | |
| CN111652983A (zh) | 一种增强现实ar特效生成方法、装置及设备 | |
| CN111800574B (zh) | 成像方法、装置和电子设备 | |
| US20110043520A1 (en) | Garment fitting system and operating method thereof | |
| JP2003085411A (ja) | 画像入出力装置 | |
| JP2011147000A (ja) | 携帯端末機 | |
| CN116452745A (zh) | 手部建模、手部模型处理方法、设备和介质 | |
| CN113301243B (zh) | 图像处理方法、交互方法、系统、装置、设备和存储介质 | |
| CN113781291B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP6534168B1 (ja) | メイクアップ支援システム、及びメイクアップ支援方法 | |
| CN114125271B (zh) | 图像处理方法、装置及电子设备 | |
| JP2006135876A (ja) | 試着画像表示装置 | |
| CN114125271A (zh) | 图像处理方法、装置及电子设备 | |
| Hendrawan et al. | Virtual Fitting Room Mobile Application for Madura Batik Clothes | |
| KR20120076671A (ko) | 증강 현실 기반 모바일 쇼핑 도우미 응용 서비스 제공 방법 | |
| KR101277553B1 (ko) | 아바타를 이용한 온라인 쇼핑몰에서의 착장 이미지 제공 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |