CN109658167B - 试妆镜设备及其控制方法、装置 - Google Patents

试妆镜设备及其控制方法、装置 Download PDF

Info

Publication number
CN109658167B
CN109658167B CN201710936943.9A CN201710936943A CN109658167B CN 109658167 B CN109658167 B CN 109658167B CN 201710936943 A CN201710936943 A CN 201710936943A CN 109658167 B CN109658167 B CN 109658167B
Authority
CN
China
Prior art keywords
makeup
display screen
information
virtual
data object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710936943.9A
Other languages
English (en)
Other versions
CN109658167A (zh
Inventor
丁海霞
程飞
毛恺
陈远铭
王庶
蒋耀
吕杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710936943.9A priority Critical patent/CN109658167B/zh
Publication of CN109658167A publication Critical patent/CN109658167A/zh
Application granted granted Critical
Publication of CN109658167B publication Critical patent/CN109658167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements

Abstract

本申请实施例公开了试妆镜设备及其控制方法、装置,其中,所述试妆镜设备包括第一显示屏以及第二显示屏,其中,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息。通过本申请实施例,能够在线下实体店铺中提供更方便有效的商品试用。

Description

试妆镜设备及其控制方法、装置
技术领域
本申请涉及虚拟试妆技术领域,特别是涉及试妆镜设备及其控制方法、装置。
背景技术
随着“线上+线下+智能物流”全渠道一体化销售系统概念的提出及发展,使得线上的企业会到线下去开设实体店铺,线下的企业也会到线上去开设虚拟店铺,通过线上线下融合贯通,降低快递成本,实现“极速达”,进而使得消费者体验得以大幅提升。
其中,线上的企业到线下开始实体店铺的目的通常是为用户提供更真实的购物体验,使得用户能够看到商品实物,甚至还可以通过进行试用等,帮助用户进行购买决策。但是,在实际应用中,在对商品进行试用时可能存在一些问题。例如,对于口红、唇膏类商品,由于线下实体店铺提供的试用品可能只有一个或者少数几个,需要试用的不同消费者需要使用相同的试用品进行试用(化妆品类的试妆、服装类的试穿、眼镜类的试戴,等等),并且,由于需要在试用者的唇部进行涂抹,因此,可能会存在不卫生的问题。另外,对于美瞳等商品,还需要直接与眼球接触,因此,可能难以提供试用品。
因此,如何在线下实体店铺中提供更方便有效的商品试用,成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了试妆镜设备及其控制方法、装置,能够在线下实体店铺中提供更方便有效的商品试用。
本申请提供了如下方案:
一种试妆镜设备,所述试妆镜设备包括第一显示屏以及第二显示屏,其中,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息。
一种虚拟试妆方法,包括:
通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述虚拟试妆镜中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;
获得人脸图像信息,并输出到所述第一显示屏中进行显示;
根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;
将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
一种数据对象试用方法,包括:
服务端提供试妆数据,所述试妆数据与至少一个线下实体场所标识以及试妆镜设备标识相关联,所述试妆数据中包括至少一个数据对象对应的素材信息以及辅助性信息;
接收到试妆镜设备的交互请求时,根据所述请求中携带的试妆镜设备的标识,确定对应的试妆数据,并返回给所述试妆镜设备,以用于在所述试妆镜设备的第一显示屏中显示根据所述素材信息生成的虚拟试妆过程中的主体内容,在第二显示屏用于所述辅助性信息。
一种数据对象试用方法,包括:
客户端通过扫描试妆镜设备提供的图形码的方式,向服务端提交互动请求,其中,所述试妆镜设备包括第一显示屏以及第二显示屏,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息;
通过所述服务端返回的数据提供互动结果。
一种虚拟试妆装置,包括:
数据对象信息提供单元,用于通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述虚拟试妆镜中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;
人脸图像信息获得单元,用于获得人脸图像信息,并输出到所述第一显示屏中进行显示;
虚拟图像信息生成单元,用于根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;
图像输出单元,用于将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
一种数据对象试用装置,应用于服务端,包括:
试妆数据提供单元,用于提供试妆数据,所述试妆数据与至少一个线下实体场所标识以及试妆镜设备标识相关联,所述试妆数据中包括至少一个数据对象对应的素材信息以及辅助性信息;
试妆数据返回单元,用于接收到试妆镜设备的交互请求时,根据所述请求中携带的试妆镜设备的标识,确定对应的试妆数据,并返回给所述试妆镜设备,以用于在所述试妆镜设备的第一显示屏中显示根据所述素材信息生成的虚拟试妆过程中的主体内容,在第二显示屏用于所述辅助性信息。
一种数据对象试用装置,应用于客户端,包括:
互动请求提交单元,用于通过扫描试妆镜设备提供的图形码的方式,向服务端提交互动请求,其中,所述试妆镜设备包括第一显示屏以及第二显示屏,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息;
互动结果提供单元,用于通过所述服务端返回的数据提供互动结果。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述虚拟试妆镜中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;
获得人脸图像信息,并输出到所述第一显示屏中进行显示;
根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;
将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,能够为用户提供试妆镜设备,该设备可以包括第一显示屏以及第二显示屏,其中,第一显示屏可以用于展示试妆过程中的主体内容,第二显示屏则可以用于展示辅助性信息。通过这种方式,可以为用户提供更方便的试妆服务,并且,通过两块显示屏的配合,可以通过第一显示屏为用户提供更舒适的试妆体验,同时还可以通过第二显示屏为用户提供更多更丰富的信息。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的试妆镜设备结构示意图;
图2是本申请实施例提供的试妆镜设备的放置方式示意图;
图3是本申请实施例提供的未检测到用户时的界面状态示意图;
图4是本申请实施例提供的检测到用户时的界面状态示意图;
图5-1至5-9是本申请实施例提供的试妆过程中的界面示意图;
图6是本申请实施例提供的第一方法的流程图;
图7是本申请实施例提供的第二方法的流程图;
图8是本申请实施例提供的第三方法的流程图;
图9是本申请实施例提供的第一装置的示意图;
图10是本申请实施例提供的第二装置的示意图;
图11是本申请实施例提供的第三装置的示意图;
图12是本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中,为了在线下实体场所(可以包括线下实体店铺、商场、酒店、机场等公共场所,或者,还可以是用户家中等等)模式下为第一用户(例如,买家用户、消费者用户等)提供更方便有效的试妆,可以在具有对应需求的线下实体店铺内部署相应的自助式的试妆镜设备,通过这种试妆镜设备与具体的网络销售系统相结合,为第一用户提供接近真实试妆效果的虚拟试妆,用户还可以基于这种设备执行购买、加入“购物车”等相关操作。
下面首先对上述试妆镜设备进行详细介绍。
实施例一
在本申请实施例中,试妆镜设备的主要功能是起到显示屏的作用,如果用户需要进行虚拟试妆,则可以通过该试妆镜设备进行具体的虚拟试妆效果显示。并且,在本申请实施例中,试妆镜设备的显示屏可以分为两部分,也就是说,由两块独立的显示屏组成试妆镜设备的屏幕,具体称为第一显示屏以及第二显示屏。其中,具体实现时,第一显示屏与第二显示屏可以位于同一平面,且第一显示屏在下,第二显示屏在上。当然,在具体实现时,第一显示屏的上边缘与第二显示屏下边缘之间的距离是非常近的,因此,从人眼视觉看上去仍然像是一块显示屏。
之所以设计为上下放置的两块显示屏,目的有以下几点:
第一,在具体提供虚拟试妆效果时,除了具体的人脸图像、虚拟试妆效果等主体内容的展示,可能还希望通过虚拟试妆镜为用户提供更多更丰富的信息,例如,可以正在试妆的数据对象(商品对象等)关联品牌的文化宣传等方面的信息,或者,还可以是一些操作引导性质的辅助性信息,等等。而具体试妆效果区域内通常又不能叠加展示过多的信息,否则会对具体的试妆效果造成遮挡,影响用户对试妆效果的查看。因此,这就需要试妆镜设备的显示屏足够大,具体更多的可用区域。
第二,由于在虚拟试妆过程中,通常可以通过增强现实的方式,为用户提供尽可能贴近真实试妆的效果,因此,试妆镜设备上可以配置有摄像头等人脸图像采集器,基于采集到的真实的人脸图像数据,为其模拟真正化妆的效果。并且,由于具体某个数据对象单品是与人脸上某个具体的器官相对应的,例如,口红类的数据对象对应唇部,等等,因此,具体的虚拟试妆效果,需要根据人脸图像进行目标器官的识别,然后根据具体目标器官在真实人脸图像中所在的位置等信息,结合预先建立的试妆数据模型,生成具体的虚拟图像,之后,再叠加到人脸图像对应器官所在的位置进行展示。另外,在试妆的过程中,用户可能还会在不停的动,或者,调整自己的姿势、口型等,以更好的查看试妆效果,为此,还需要跟踪具体目标器官在图像中的变化,包括位置的变化,具体器官形状的变化,等等,并实时调整虚拟图像的属性,使得无论用户如何运动,都可以获得良好的试妆效果。为了达到上述目的,具体实现时,可以设计利用大规模人脸数据进行机器学习,使其具备高性能的大角度人脸检测的功能,并且,还可以通过170多个点的高精度人脸特征点定位,实现精准的器官识别及定位、跟踪。而在硬件方面,也对显示屏的分辨率等具有相对较高的要求,否则,无法达到预期的试妆效果,再者,为了更好的与用户进行互动,通常还需要显示屏为触摸屏。而如果通过同一块触摸屏来同时满足面积足够大以及超高分辨率这样两项要求,则成本会非常高,因此,通过由两块显示屏进行拼接的方式,可以以更低的成本满足上述两项要求。
第三,由于具体在进行虚拟试妆时,可能会需要采集用户的人脸图像,图像采集器通常是位于显示屏的上边缘中间位置,但是,如果显示屏尺寸比较大,显示屏的上边缘高出用户的平视视线很多,则需要用户仰视屏幕上边缘才可能采集到完整的人脸图像,但如果这样,会影响用户对显示屏上具体互动内容的查看,并且,长时间的仰视也会对用户造成不便。另外,图像采集器作为一种硬件设备,通常又不能“镶嵌”在一块显示屏中央,因此,如果通过一块显示屏来实现,则该显示屏的面积就不能太大,但这又无法达到获得较多可用区域的目的。而本申请实施例中通过上下两块显示屏的方式,则完美的解决了该问题,因为图像采集器可以设于两块显示屏之间,具体的,可以位于第一显示屏的上边缘处,等等。另外,由于图像采集器所占的体积通常会非常小,因此,只要将两块显示屏都紧靠图像采集器,就可以实现两块显示屏之间基本是无缝衔接的。总之,通过上述方式,在设计图像采集器的位置时,就不必考虑显示屏具有多少可用面积的问题,只要使得用户视角和手臂移动能够在较为舒服的范围内进行交互,获得最佳的交互体验即可,而关于对显示屏的可用面积,则可以通过第二显示屏来进行弥补。
总之,本申请实施例一首先通过了一种试妆镜设备,如图1所示,试妆镜设备100可以包括第一显示屏101以及第二显示屏102,具体实现时,第一显示屏101与第二显示屏102可以分别是一块21.5寸(当然,也可以是其他尺寸)的触摸屏。其中,在一种具体的实现方式下,第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方。第一显示屏101主要用于显示虚拟试妆过程中的主体内容,第二显示屏102主要用于显示辅助性信息。
在可选的实施方式中,在第一显示屏101与第二显示屏102之间还可以设有图像采集器103(具体可以是针孔式摄像头等),用于在用户进行虚拟试妆的过程中进行人脸图像的采集。当然,图1中主要是为了能够清楚的展示出各个部件,以及相互之间的位置关系,因此,将第一显示屏101与第二显示屏102之间的距离拉得比较宽,在实际应用中,两者都可以是与图像采集器103紧靠在一起的,在用户肉眼观察下,两者之间几乎不存在缝隙。
另外,在具体实现时,还可以在两块显示屏的周围布置补光条104,在用户通过采集自己的人脸图像进行试妆的过程中,该补光条可以亮起,以实现对人脸的补光,提高人脸图像的采集质量,以获得更好更贴近真实的虚拟试妆效果。
具体实现时,上述试妆镜设备还可以具有开关按键106,例如,具体可以是触摸键,并且还可以发光。试妆镜设备在整体外形上可以与普通的镜子类似,在关机的状态下,可以作为普通镜子使用;但是,在开机状态下,则可以用于进行虚拟试妆等内容的显示。
另外,还可以在第一显示屏的下方提供人体感应开关探测器105,在开机状态下,可以通过该探测器105检测是否有用户接近该试妆镜设备。如果暂时没有检测到有用户来到该试妆镜设备100前,则还可以提供试妆前界面。在探测到用户之后,再对第一显示屏以及第二显示屏中的展示情况进行切换。
在实际应用中,如图2所示,上述试妆镜设备100可以放置在桌子等物件上,还可以提供椅子、凳子等,桌子、椅子、凳子的高度可以根据用户的平均坐高等进行设计,使得用户坐在椅子或者凳子的状态下,其视线焦点基本能够落在第一显示屏所在的区域范围内。或者,上述试妆镜设备100也可以通过壁挂的方式安装在墙壁上,此时,可以根据大多数用户的平均身高设置具体的安装高度,等等。
在完成具体的设备安装之后,便可以提供具体的虚拟试妆服务。其中,如前文所述,在设备开机状态下,如果未探测到用户,则可以提供一个试妆前界面,在该界面中,可以在第二显示屏中播放品牌、单品、硬件操作方式等视频,第一显示屏则可以显示功能入口。例如,具体的功能入口可以包括“AR试妆”、“全部商品”、“运营区域”,等。在一个具体应用的例子中,在上述未探测到用户的情况下,参见图3,第一显示屏中可以提供“微弱”的显示功能入口,也即,功能入口的清晰度可以比较低,或者,可以具有半透明等效果。当探测器105识别到用户后,如图4所示,第二显示屏中的视频可以渐隐,并且还可以通过打招呼的方式与用户轻微互动,例如,“Hello,欢迎体验天猫魔镜”,等等,另外,第一显示屏中的入口则可以逐渐清晰,向下引导用户注意力。随后,互动文案可以消失,并通过动画表达入口对应的功能内容,引导用户点击,等等。如果用户选择了其中的“AR试妆”功能入口,则可以进入到具体的试妆流程。当然,在实际应用中,如果仅通过该试妆镜设备提供试妆功能,则可以不必提供其他的功能入口,检测到有用户来了之后,可以直接进入到虚拟试妆流程,等等。下面就对具体的试妆实现方案进行详细介绍。
首先需要说明的是,试妆镜设备中还可以包括控制器,可以通过同一控制器控制第一显示屏以及第二显示屏的显示情况,具体实现时,该控制器可以内置有相应的客户端程序,通过该客户端程序实现对第一显示屏第二显示屏显示内容的控制,另外,还可以与云端的服务端进行信息交互,包括接收服务端下发的推送消息,从服务端获得具体数据对象的信息,等等。其中,所谓的数据对象具体可以是指商品对象等,也就是说,本申请实施例中的服务端具体可以是基于网络销售系统提供的服务端,这样,通过试妆镜设备在进行虚拟试妆的过程中,还可以与网络销售系统内具体数据对象的信息关联起来。另外,由于网络销售系统的服务端通常还会为用户提供账户信息,包括登录账户、支付账户等,因此,通过将网络销售系统与虚拟试妆镜系统相结合,还可以方便用户在试妆的过程中对具体使用的商品进行购买、收藏、加入“购物车”等操作。
具体实现时,由于第一显示屏与第二显示屏之间设有图像采集器,用于在用户进行虚拟试妆的过程中进行人脸图像的采集,因此,在用户选择“AR试妆”功能的情况下,可以通过该图像采集器对人脸图像进行采集,并由控制器输出到第一显示屏中显示,也就是说,此时,第一显示屏内显示的就可以是图像采集界面。当然,在具体实现时,也可以通过预先保存的模特的人脸图像等提供试妆效果,在这种情况下,用户可以对模特进行选择,然后,基于预先录制好的该模特的人脸视频,进行具体的虚拟试妆,等等。
除了在第一显示屏内展示人脸图像信息,还可以通过第一显示屏为用户提供可选的数据对象信息列表,这些信息可以预先在服务端进行配置并保存的,由所述控制器的客户端输出到第一显示屏中进行展示。另外,在具体实现时,由于主要是提供试妆功能,因此,在提供可选的数据对象信息之前,还可以首先通过第一显示屏显示需要调节的部位供用户进行选择,例如,口红、腮红、眼影、睫毛膏、眼线笔,等等。在用户选择了具体需要调节的部位后,再提供对应的数据对象信息。
其中,具体在提供数据对象信息时,由于与试妆相关的数据对象的不同SKU之间通常是在颜色、质地等方面存在不同,因此,具体在提供可选数据对象SKU信息时,可以通过色卡的方式来进行显示。例如,如图5-1所示,可以在第一显示屏的右侧显示所述可选数据对象及其SKU的信息,其中,各种不同的SKU的选项通过具体的色卡进行代替,而不是用文字的方式进行表示。当所述数据对象包括的色号数量大于预置阈值时,还可以对各可选的色号进行分类显示。这样,在用户在进行具体的试妆之前可以预先对具体SKU的颜色、质地有所了解,帮助用户更快速的进行选择。在选中某个具体的SKU后,可以在显示出对应的色号标识、价格等信息。
除了选择具体的数据对象以及SKU信息后,第一显示屏中还可以提供可选的画法、浓淡等选项,用户可以选择不同画法,来看上妆效果,点击浓淡调节部分,即切换为浓淡调节状态。用户还可以使用对比功能,切换妆前妆后效果。其中,切换为妆前效果时,动效为反向的上妆过程,模拟卸妆。
另外,在选择了具体某个数据对象的SKU后,如图5-2所示,还可以在第一显示屏的左侧区域内展示出关于该数据对象的用户评论信息,辅助用户进行决策。具体的,这种用户评论信息可以是从服务端获得的。当然,在具体实现时,还可以将上述评论信息显示在第二显示屏中。
当然,在用户已经选中具体数据对象的SKU并进行试妆的过程中,还可以在所述第一显示屏中继续提供当前正在试妆的数据对象的相关或相似数据对象信息,其中还包括每个相关或相似数据对象关联的可选SKU信息。这样,如果用户对当前选中的SKU不满意,则可以通过上述信息来选择其他的SKU,或者其他的品牌等等。另外,在试妆的过程中,还可能需要将多种品类的数据对象进行搭配试妆,例如,在选中一款口红之后,还想选择能够与该口红搭配使用的腮红,等等,则可以首先对选择的口红试妆效果进行确认,此时,系统中将会在图像中保留该口红的试妆效果,同时,还可以通过上述信息来选择其他品类的数据对象以及SKU,之后就可以从第一显示屏中查看到这两款数据对象的搭配试妆效果,等等。
此外,在本申请实施例中,还可以在第一显示屏中提供在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,可以在所述第二显示屏用于对所述定妆照的缩略图。具体实现时,在上述操作选项被操作后,还可以首先执行拍照,例如,如图5-3所示,可以提示用户“请目视前方,准备拍照”,等等。其中,所谓的拍照具体可以通过截图等方式来实现,例如,可以将实际采集到的人脸图像与虚拟的试妆图像进行合成,并且,可以将各种按钮等操作选项所在的图像层排除在外。生成具体的定妆照之后,如图5-4中的501处所示,可以将定妆照的缩略图展示在第二显示屏中。这样可以方便用户随时对定妆照进行操作,同时又不会对第一显示屏中的其他内容造成遮挡。在试妆过程中可以生成多张定妆照,如图5-5所述,各张定妆照的缩略图可以按照生成的先后顺序依次展示在第二显示屏中。
如果用户需要对具体的定妆照进行操作,则可以从第二显示屏中将对应的缩略图下拉至第一显示屏中。也就是说,在检测到对所述第二显示屏中目标定妆照的缩略图执行的下拉操作时,所述第一显示屏还可以用于展示所述目标定妆照。例如,如图5-6所示,用户在进行试妆的过程中,需要对其中某张定妆照执行操作,则可以将其从第二显示屏中选中,例如,假设选中的是图4-6中502处所示的缩略图。则完成下拉操作后,该缩略图对应的定妆照将会展示在第一显示屏中,如图5-7所示中503处所示。另外,用户还可以将多张定妆照的缩略图都下拉至第一显示屏中进行对比查看,例如,如图5-8所示,可以三张定妆照进行对比,等等。
此时,还可以在第一显示屏中提供用于对所述目标定妆照进行分享操作的操作选项,用于使用用户私有终端设备对所述定妆照进行查看的操作选项,用于对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作选项,等等。在用户对上述操作选项进行点击等操作后,可以在第一显示屏中显示出对应的图形码,例如,如图5-9所示,具体可以是二维码等形式。这样,用户便可以使用其私有的终端设备度对对应的二维码进行扫码,之后,便可以在其终端设备上执行对定妆照的查看操作,或者,还可以在其终端设备中对具体的数据对象执行购买、加入待购买集合(购物车)操作,再者,还可以将定妆照分享到具体的社交网络系统,等等。
需要说明的是,具体实现时,所述第二显示屏显示的所述辅助性信息除了上述定妆照的缩略图等,还可以包括所述正在试妆的数据对象关联的品牌文化相关信息。或者,还可以包括系统推送信息,等等。也就是说,在用户进行试妆的过程中,服务端还可以推送一些相关的信息,此时,可以在第二显示屏中进行显示。
另外需要说明的是,关于具体如何建立试妆模型,如何从人脸图像中识别具体的器官所在的位置并进行跟踪,以及如何通过试妆模型模拟具体的化妆效果,等等,并不属于本申请实施例所关注的重点,因此,这里不再详述。
实施例二
该实施例二是与实施例一相对应的,从试妆镜设备控制器的角度,提供了一种虚拟试妆方法,参见图6,该方法具体可以包括:
S601:通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述虚拟试妆镜中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;
S602:获得人脸图像信息,并输出到所述第一显示屏中进行显示;
S603:根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;
S604:将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
具体实现时,所述人脸图像采集结果可以通过位于所述第一显示屏与所述第二显示屏之间的图像采集器获得。
具体的,为了使得虚拟试妆的过程更加逼真,所述虚拟图像信息可以包括由多个化妆分解动作组成的动画图像,例如,如果需要试用的是口红类的数据对象,则可以分解为三个步骤,第一步,从上唇的中间向左侧画第一笔,第二步,从上唇中间向右画第二笔,第三部,从左向右画下唇,然后完成化妆过程,等等。通过将所述动画图像叠加在所述人脸图像内容中对应器官所在的位置处,可以更好的模拟实际试妆过程中的化妆过程,而不是简单的贴一张图在唇部,因此,可以使得用户获得更真实的试妆体验。
具体实现时,如实施例一中所示,在虚拟试妆过程中接收到生成定妆照的操作请求时,还可以根据第一显示屏中当前的展示内容,生成定妆照;并将所述定妆照的缩略图显示在所述第二显示屏中。
其中,具体在将所述定妆照的缩略图显示在所述第二显示屏中时,还可以为所述定妆照的缩略图提供飞行的动画效果,以用于飞入所述第二显示屏中。另外,在检测到对所述第二显示屏中目标定妆照的缩略图执行的下拉操作时,将所述目标定妆照显示到所述第一显示屏中。也即,具体在试妆过程中,还可以在第一显示屏与第二显示屏之间形成互动,获得多屏互动的效果。
具体实现时,还可以在所述第一显示屏中提供用于对所述目标定妆照进行操作的操作选项。其中,所述操作选项包括用于对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作选项。在接收到对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作时,还可以在所述第一显示屏中提供对应的图形码,以用于通过用户私有终端设备对所述图形码进行扫码的方式,对所述目标定妆照进行购买或者加入到待购买集合中。
关于该实施例二中其他的具体实现可以参见前述实施例一中的介绍,这里不再赘述。
实施例三
该实施例三是从服务端的角度,提供了一种数据对象试用方法,其中,所谓的服务端就可以是指具体的网络销售系统的服务端,具体的,参见图7,该方法具体可以包括:
S701:服务端提供试妆数据,所述试妆数据与至少一个线下实体场所标识以及试妆镜设备标识相关联,所述试妆数据中包括至少一个数据对象对应的素材信息以及辅助性信息;
S702:接收到试妆镜设备的交互请求时,根据所述请求中携带的试妆镜设备的标识,确定对应的试妆数据,并返回给所述试妆镜设备,以用于在所述试妆镜设备的第一显示屏中显示根据所述素材信息生成的虚拟试妆过程中的主体内容,在第二显示屏用于所述辅助性信息。
具体实现时,该服务端还可以提供当前正在试妆的数据对象关联的用户评论信息。
另外,还可以根据用户通过私有终端设备对试妆过程中生成的定妆照执行的查看操作请求,从所述试妆镜设备获得对应的定妆照,并保存到该用户关联账户对应的存储空间中。根据用户通过私有终端设备对试妆过程中生成的定妆照关联的数据对象执行的购买或者加入到待购买集合的操作请求,并触发购买或者加入到待购买集合的操作流程。
实施例四
该实施例四是与实施例三相对应的,从客户端的角度提供了一种数据对象试用方法,其中,该客户端就可以是指前述网络销售系统为消费者用户提供的客户端,具体的,参见图8,该方法可以包括:
S801:客户端通过扫描试妆镜设备提供的图形码的方式,向服务端提交互动请求,其中,所述试妆镜设备包括第一显示屏以及第二显示屏,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息;
S802:通过所述服务端返回的数据提供互动结果。
具体实现时,所述图形码包括用于将所述试妆镜设备中生成的定妆照发送到用户关联私有终端设备上进行查看的图形码,所述服务端返回的互动结果包括所述定妆照信息。另外,所述图形码也可以包括用于将所述试妆镜设备中生成的定妆照关联的数据对象进行购买或者加入待购买集合的图形码,所述服务端返回的互动结果包括用于进行购买确认的界面或者待购买集合界面信息。
与实施例二相对应,本申请实施例还提供了一种虚拟试妆装置,参见图9,该装置具体可以包括:
数据对象信息提供单元901,用于通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述虚拟试妆镜中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;
人脸图像信息获得单元902,用于获得人脸图像信息,并输出到所述第一显示屏中进行显示;
虚拟图像信息生成单元903,用于根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;
图像输出单元904,用于将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
具体实现时,所述人脸图像采集结果通过位于所述第一显示屏与所述第二显示屏之间的图像采集器获得。
其中,所述虚拟图像信息包括由多个化妆分解动作组成的动画图像,所述图像输出单元具体可以用于:
将所述动画图像叠加在所述人脸图像内容中对应器官所在的位置处。
具体实现时,该装置还可以包括:
定妆照生成单元,用于在虚拟试妆过程中接收到生成定妆照的操作请求时,根据第一显示屏中当前的展示内容,生成定妆照;
定妆照显示单元,用于将所述定妆照的缩略图显示在所述第二显示屏中。
其中,所述定妆照显示单元在将所述定妆照的缩略图显示在所述第二显示屏中时,还可以用于为所述定妆照的缩略图提供飞行的动画效果,以用于飞入所述第二显示屏中。
另外,该装置还可以包括:
在检测到对所述第二显示屏中目标定妆照的缩略图执行的下拉操作时,将所述目标定妆照显示到所述第一显示屏中。
操作选项提供单元,用于在所述第一显示屏中提供用于对所述目标定妆照进行操作的操作选项。
其中,所述操作选项包括用于对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作选项。
图形码提供单元,用于在接收到对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作时,在所述第一显示屏中提供对应的图形码,以用于通过用户私有终端设备对所述图形码进行扫码的方式,对所述目标定妆照进行购买或者加入到待购买集合中。
与实施例三相对应,本申请实施例还提供了一种数据对象试用装置,参见图10,该装置应用于服务端,包括:
试妆数据提供单元1001,用于提供试妆数据,所述试妆数据与至少一个线下实体场所标识以及试妆镜设备标识相关联,所述试妆数据中包括至少一个数据对象对应的素材信息以及辅助性信息;
试妆数据返回单元1002,用于接收到试妆镜设备的交互请求时,根据所述请求中携带的试妆镜设备的标识,确定对应的试妆数据,并返回给所述试妆镜设备,以用于在所述试妆镜设备的第一显示屏中显示根据所述素材信息生成的虚拟试妆过程中的主体内容,在第二显示屏用于所述辅助性信息。
其中,该装置还可以包括:
评论信息提供单元,用于提供当前正在试妆的数据对象关联的用户评论信息。
定妆照保存单元,用于根据用户通过私有终端设备对试妆过程中生成的定妆照执行的查看操作请求,从所述试妆镜设备获得对应的定妆照,并保存到该用户关联账户对应的存储空间中。
触发单元,用于根据用户通过私有终端设备对试妆过程中生成的定妆照关联的数据对象执行的购买或者加入到待购买集合的操作请求,并触发购买或者加入到待购买集合的操作流程。
与实施例四相对应,本申请实施例还提供了一种数据对象试用装置,参见图11,该装置应用于客户端,包括:
互动请求提交单元1101,用于通过扫描试妆镜设备提供的图形码的方式,向服务端提交互动请求,其中,所述试妆镜设备包括第一显示屏以及第二显示屏,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息;
互动结果提供单元1102,用于通过所述服务端返回的数据提供互动结果。
其中,所述图形码包括用于将所述试妆镜设备中生成的定妆照发送到用户关联私有终端设备上进行查看的图形码,所述服务端返回的互动结果包括所述定妆照信息。
或者,所述图形码包括用于将所述试妆镜设备中生成的定妆照关联的数据对象进行购买或者加入待购买集合的图形码,所述服务端返回的互动结果包括用于进行购买确认的界面或者待购买集合界面信息。
另外,本申请实施例还提供了一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述虚拟试妆镜中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;
获得人脸图像信息,并输出到所述第一显示屏中进行显示;
根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;
将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
其中,图12示例性的展示出了电子设备的架构,例如,设备1200可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理,飞行器等。
参照图12,设备1200可以包括以下一个或多个组件:处理组件1202,存储器1204,电源组件1206,多媒体组件1208,音频组件1210,输入/输出(I/O)的接口1212,传感器组件1214,以及通信组件1216。
处理组件1202通常控制设备1200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件1202可以包括一个或多个处理器1220来执行指令,以完成本公开技术方案提供的视频播放方法中的当满足预设条件时,生成流量压缩请求,并发送给服务器,其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息,所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率;根据服务器返回的码流文件播放所述码流文件对应的视频内容,其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件的全部或部分步骤。此外,处理组件1202可以包括一个或多个模块,便于处理组件1202和其他组件之间的交互。例如,处理部件1202可以包括多媒体模块,以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在设备1200上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1206为设备1200的各种组件提供电力。电源组件1206可以包括电源管理系统,一个或多个电源,及其他与为设备1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在设备1200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如,音频组件1210包括一个麦克风(MIC),当设备1200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中,音频组件1210还包括一个扬声器,用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器,用于为设备1200提供各个方面的状态评估。例如,传感器组件1214可以检测到设备1200的打开/关闭状态,组件的相对定位,例如所述组件为设备1200的显示器和小键盘,传感器组件1214还可以检测设备1200或设备1200一个组件的位置改变,用户与设备1200接触的存在或不存在,设备1200方位或加速/减速和设备1200的温度变化。传感器组件1214可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1214还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1216被配置为便于设备1200和其他设备之间有线或无线方式的通信。设备1200可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件1216还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1204,上述指令可由设备1200的处理器1220执行以完成本公开技术方案提供的视频播放方法中的当满足预设条件时,生成流量压缩请求,并发送给服务器,其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息,所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率;根据服务器返回的码流文件播放所述码流文件对应的视频内容,其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的试妆镜设备及其控制方法、装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (33)

1.一种试妆镜设备,所述试妆镜设备包括第一显示屏以及第二显示屏,其中,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;所述主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;
所述第一显示屏还用于:在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,所述定妆照飞入所述第二显示屏中;
所述虚拟图像信息是根据用户选择的需要试妆的数据对象信息对应的试妆模型数据,以及对所述人脸图像内容进行器官识别及跟踪结果生成的。
2.根据权利要求1所述的试妆镜设备,其特征在于,所述第一显示屏还用于显示当前正在试妆的数据对象关联的用户评论信息。
3.根据权利要求1所述的试妆镜设备,其特征在于,所述第一显示屏还用于显示当前正在试妆的数据对象的相关或相似数据对象信息,其中还包括每个相关或相似数据对象关联的可选最小库存量单位SKU信息。
4.根据权利要求3所述的试妆镜设备,其特征在于,所述SKU信息包括多个可选的色号,所述第一显示屏用于显示各种可选色号对应的色卡信息,所述色卡信息用于对各种不同的色号的颜色质地信息进行显示。
5.根据权利要求4所述的试妆镜设备,其特征在于,当所述数据对象包括的色号数量大于预置阈值时,对各可选的色号进行分类显示。
6.根据权利要求1所述的试妆镜设备,其特征在于,如果在一次试妆过程中生成多张定妆照,则在所述第二显示屏中依次展示各定妆照的缩略图。
7.根据权利要求1所述的试妆镜设备,其特征在于,在检测到对所述第二显示屏中目标定妆照的缩略图执行的下拉操作时,所述第一显示屏还用于展示所述目标定妆照。
8.根据权利要求7所述的试妆镜设备,其特征在于,所述第一显示屏在显示所述目标定妆照时,还用于显示用于对所述目标定妆照进行分享操作的操作选项。
9.根据权利要求7所述的试妆镜设备,其特征在于,所述第一显示屏在显示所述目标定妆照时,还用于显示用于在用户私有终端设备上查看所述目标定妆照的操作选项。
10.根据权利要求7所述的试妆镜设备,其特征在于,所述第一显示屏在显示所述目标定妆照时,还用于显示用于对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作选项。
11.根据权利要求8至10任一项所述的试妆镜设备,其特征在于,所述第一显示屏还用于在接收到对所述目标定妆照的操作时,显示对应的图形码,以用于通过用户私有终端设备对所述图形码进行扫码的方式,执行所述目标定妆照的操作。
12.根据权利要求1所述的试妆镜设备,其特征在于,所述第二显示屏显示的所述辅助性信息包括正在试妆的数据对象关联的品牌文化相关信息。
13.根据权利要求1所述的试妆镜设备,其特征在于,所述第二显示屏显示的所述辅助性信息包括系统推送信息。
14.根据权利要求1至10任一项所述的试妆镜设备,其特征在于,所述第一显示屏以及第二显示屏均为触摸屏。
15.根据权利要求1至10任一项所述的试妆镜设备,其特征在于,所述试妆镜设备还包括控制器,所述控制器用于对所述第一显示屏以及第二显示屏的显示内容进行控制。
16.一种虚拟试妆方法,其特征在于,包括:
通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述试妆镜设备中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;
获得人脸图像信息,并输出到所述第一显示屏中进行显示;
根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;所述第一显示屏显示的主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;
将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示;
在虚拟试妆过程中接收到生成定妆照的操作请求时,根据第一显示屏中当前的展示内容,生成定妆照;
为所述定妆照的缩略图提供飞行的动画效果,以用于飞入所述第二显示屏中。
17.根据权利要求16所述的方法,其特征在于,所述人脸图像的采集结果通过所述图像采集器获得。
18.根据权利要求16所述的方法,其特征在于,所述将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,包括:
将所述动画图像叠加在所述人脸图像内容中对应器官所在的位置处。
19.根据权利要求16所述的方法,其特征在于,还包括:
在检测到对所述第二显示屏中目标定妆照的缩略图执行的下拉操作时,将所述目标定妆照显示到所述第一显示屏中。
20.根据权利要求19所述的方法,其特征在于,还包括:
在所述第一显示屏中提供用于对所述目标定妆照进行操作的操作选项。
21.根据权利要求20所述的方法,其特征在于,所述操作选项包括用于对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作选项。
22.根据权利要求21所述的方法,其特征在于,还包括:
在接收到对所述目标定妆照对应的数据对象进行购买或者加入到待购买集合的操作时,在所述第一显示屏中提供对应的图形码,以用于通过用户私有终端设备对所述图形码进行扫码的方式,对所述目标定妆照进行购买或者加入到待购买集合中。
23.一种数据对象试用方法,其特征在于,包括:
服务端提供试妆数据,所述试妆数据与至少一个线下实体场所标识以及试妆镜设备标识相关联,所述试妆数据中包括至少一个数据对象对应的素材信息以及辅助性信息;
接收到试妆镜设备的交互请求时,根据所述请求中携带的试妆镜设备的标识,确定对应的试妆数据,并返回给所述试妆镜设备,以用于在所述试妆镜设备的第一显示屏中显示根据所述素材信息生成的虚拟试妆过程中的主体内容,在第二显示屏用于所述辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述第一显示屏在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,所述定妆照飞入所述第二显示屏中;
所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;所述主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;所述虚拟图像信息是根据用户选择的需要试妆的数据对象信息对应的试妆模型数据,以及对所述人脸图像内容进行器官识别及跟踪结果生成的。
24.根据权利要求23所述的方法,其特征在于,还包括:
提供当前正在试妆的数据对象关联的用户评论信息。
25.根据权利要求23所述的方法,其特征在于,还包括:
根据用户通过私有终端设备对试妆过程中生成的定妆照执行的查看操作请求,从所述试妆镜设备获得对应的定妆照,并保存到该用户关联账户对应的存储空间中。
26.根据权利要求23所述的方法,其特征在于,还包括:
根据用户通过私有终端设备对试妆过程中生成的定妆照关联的数据对象执行的购买或者加入到待购买集合的操作请求,并触发购买或者加入到待购买集合的操作流程。
27.一种数据对象试用方法,其特征在于,包括:
客户端通过扫描试妆镜设备提供的图形码的方式,向服务端提交互动请求,其中,所述试妆镜设备包括第一显示屏以及第二显示屏,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述第一显示屏在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,所述定妆照飞入所述第二显示屏中;
通过所述服务端返回的数据提供互动结果;
所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;所述主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;所述虚拟图像信息是根据用户选择的需要试妆的数据对象信息对应的试妆模型数据,以及对所述人脸图像内容进行器官识别及跟踪结果生成的。
28.根据权利要求27所述的方法,其特征在于,所述图形码包括用于将所述试妆镜设备中生成的定妆照发送到用户关联私有终端设备上进行查看的图形码,所述服务端返回的互动结果包括所述定妆照信息。
29.根据权利要求27所述的方法,其特征在于,所述图形码包括用于将所述试妆镜设备中生成的定妆照关联的数据对象进行购买或者加入待购买集合的图形码,所述服务端返回的互动结果包括用于进行购买确认的界面或者待购买集合界面信息。
30.一种虚拟试妆装置,其特征在于,包括:
数据对象信息提供单元,用于通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述试妆镜设备中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;所述第一显示屏在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,所述定妆照飞入所述第二显示屏中;
人脸图像信息获得单元,用于获得人脸图像信息,并输出到所述第一显示屏中进行显示;
虚拟图像信息生成单元,用于根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;所述第一显示屏显示的主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;
图像输出单元,用于将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
31.一种数据对象试用装置,其特征在于,应用于服务端,包括:
试妆数据提供单元,用于提供试妆数据,所述试妆数据与至少一个线下实体场所标识以及试妆镜设备标识相关联,所述试妆数据中包括至少一个数据对象对应的素材信息以及辅助性信息;
试妆数据返回单元,用于接收到试妆镜设备的交互请求时,根据所述请求中携带的试妆镜设备的标识,确定对应的试妆数据,并返回给所述试妆镜设备,以用于在所述试妆镜设备的第一显示屏中显示根据所述素材信息生成的虚拟试妆过程中的主体内容,在第二显示屏用于所述辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述第一显示屏在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,所述定妆照飞入所述第二显示屏中;
所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;所述主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;所述虚拟图像信息是根据用户选择的需要试妆的数据对象信息对应的试妆模型数据,以及对所述人脸图像内容进行器官识别及跟踪结果生成的。
32.一种数据对象试用装置,其特征在于,应用于客户端,包括:
互动请求提交单元,用于通过扫描试妆镜设备提供的图形码的方式,向服务端提交互动请求,其中,所述试妆镜设备包括第一显示屏以及第二显示屏,所述第一显示屏用于显示虚拟试妆过程中的主体内容,所述第二显示屏用于显示辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述第一显示屏在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,所述定妆照飞入所述第二显示屏中;
互动结果提供单元,用于通过所述服务端返回的数据提供互动结果;
所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;所述主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;所述虚拟图像信息是根据用户选择的需要试妆的数据对象信息对应的试妆模型数据,以及对所述人脸图像内容进行器官识别及跟踪结果生成的。
33.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
通过试妆镜设备的第一显示屏提供可选的数据对象信息,并确定用户选择的需要试妆的数据对象信息,其中,所述试妆镜设备中还包括第二显示屏,用于显示虚拟试妆过程中的辅助性信息;所述第一显示屏和第二显示屏位于同一平面,所述第一显示屏位于所述第二显示屏的下方;所述第一显示屏的上边缘与所述第二显示屏的下边缘之间的距离小于阈值;所述第一显示屏的上边缘处设置有图像采集器;所述图像采集器用于在用户进行虚拟试妆的过程中进行人脸图像的采集;所述第一显示屏在虚拟试妆过程中显示用于生成定妆照的操作选项,在所述操作选项被操作后,所述定妆照飞入所述第二显示屏中;
获得人脸图像信息,并输出到所述第一显示屏中进行显示;
根据所述数据对象信息对应的试妆模型数据以及对所述人脸图像信息进行器官识别及跟踪的结果,生成虚拟图像信息;所述第一显示屏显示的主体内容包括:所述图像采集器采集到的人脸图像内容,以及用于在所述人脸图像内容中对应器官所在的位置处进行展示以提供试妆效果的虚拟图像信息;所述虚拟图像信息包括由多个化妆分解动作组成的动画图像;
将所述虚拟图像信息叠加在所述人脸图像内容中对应器官所在的位置处,并输出到所述第一显示屏进行显示。
CN201710936943.9A 2017-10-10 2017-10-10 试妆镜设备及其控制方法、装置 Active CN109658167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710936943.9A CN109658167B (zh) 2017-10-10 2017-10-10 试妆镜设备及其控制方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710936943.9A CN109658167B (zh) 2017-10-10 2017-10-10 试妆镜设备及其控制方法、装置

Publications (2)

Publication Number Publication Date
CN109658167A CN109658167A (zh) 2019-04-19
CN109658167B true CN109658167B (zh) 2023-04-07

Family

ID=66108697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710936943.9A Active CN109658167B (zh) 2017-10-10 2017-10-10 试妆镜设备及其控制方法、装置

Country Status (1)

Country Link
CN (1) CN109658167B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427144A (zh) * 2019-07-31 2019-11-08 秒针信息技术有限公司 虚拟试妆方法和装置
JP6912611B1 (ja) * 2020-01-31 2021-08-04 株式会社Zozo メガネ、推奨化粧品提示制御システム及び推奨化粧品提示制御方法
CN111461837B (zh) * 2020-04-03 2023-10-17 北京爱笔科技有限公司 一种虚拟试妆系统
CN114115617B (zh) * 2020-08-27 2024-04-12 华为技术有限公司 一种应用于电子设备的显示方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203276279U (zh) * 2013-01-31 2013-11-06 陈彦彰 数字试妆装置
CN103761930A (zh) * 2014-01-23 2014-04-30 贵州宝森科技有限公司 双屏多功能广告机
CN103903535A (zh) * 2014-04-04 2014-07-02 贵州宝森科技有限公司 一种双屏互动广告机
CN106385529A (zh) * 2016-11-21 2017-02-08 汕头市智美科技有限公司 一种摄像头及图像采集系统
CN106682958A (zh) * 2016-11-21 2017-05-17 汕头市智美科技有限公司 一种虚拟试妆方法及装置
CN106709781A (zh) * 2016-12-05 2017-05-24 姚震亚 个人形象设计和搭配选购的装置与方法
CN206498493U (zh) * 2017-03-10 2017-09-15 汕头市智美科技有限公司 一种虚拟试妆设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365336A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Virtual interactive product display with mobile device interaction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203276279U (zh) * 2013-01-31 2013-11-06 陈彦彰 数字试妆装置
CN103761930A (zh) * 2014-01-23 2014-04-30 贵州宝森科技有限公司 双屏多功能广告机
CN103903535A (zh) * 2014-04-04 2014-07-02 贵州宝森科技有限公司 一种双屏互动广告机
CN106385529A (zh) * 2016-11-21 2017-02-08 汕头市智美科技有限公司 一种摄像头及图像采集系统
CN106682958A (zh) * 2016-11-21 2017-05-17 汕头市智美科技有限公司 一种虚拟试妆方法及装置
CN106709781A (zh) * 2016-12-05 2017-05-24 姚震亚 个人形象设计和搭配选购的装置与方法
CN206498493U (zh) * 2017-03-10 2017-09-15 汕头市智美科技有限公司 一种虚拟试妆设备

Also Published As

Publication number Publication date
CN109658167A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109658167B (zh) 试妆镜设备及其控制方法、装置
US7500755B2 (en) Display apparatus and image processing system
US7948481B2 (en) Devices, systems and methods of capturing and displaying appearances
KR101894021B1 (ko) Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체
AU2019246856A1 (en) Devices, systems and methods of capturing and displaying appearances
CN108965982A (zh) 视频录制方法、装置、电子设备和可读存储介质
CN107533727A (zh) 全息交互式零售系统
CN113473164A (zh) 直播数据处理方法、装置、计算机设备及介质
CN113298585A (zh) 提供商品对象信息的方法、装置及电子设备
CN109472655A (zh) 数据对象试用方法、装置及系统
CN112181573A (zh) 媒体资源展示方法、装置、终端、服务器以及存储介质
CN110874133B (zh) 基于智能显示设备的交互方法、智能显示设备及存储介质
CN113298602A (zh) 商品对象信息互动方法、装置及电子设备
CN115439171A (zh) 商品信息展示方法、装置及电子设备
WO2021036622A1 (zh) 交互方法、装置、设备以及存储介质
CN109074680A (zh) 基于通信的增强现实中实时图像和信号处理方法和系统
CN111327916A (zh) 基于地理对象的直播管理方法、装置、设备及存储介质
CN116993432A (zh) 虚拟服饰信息展示方法及电子设备
CN115527014A (zh) 信息展示方法及电子设备
CN110866963A (zh) 动态图像发布系统、动态图像发布方法以及记录介质
CN109961566A (zh) 自动售货机及其信息处理方法、装置及系统
CN109544698A (zh) 图像展示方法、装置及电子设备
CN113194329A (zh) 直播互动方法、装置、终端及存储介质
CN112258385A (zh) 多媒体资源的生成方法、装置、终端及存储介质
WO2024051063A1 (zh) 信息展示方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant