CN109393868A - 一种智能试妆货架及方法 - Google Patents

Abstract

本发明公开了一种智能试妆货架及方法，货架包括货架本体、控制终端、显示终端、镜面、图像采集终端、货物检测终端；货物检测终端采集货物变化信息，并发送至控制终端；图像采集终端采集用户的人像数据，发送至控制终端；控制终端判断对应的化妆品，获取化妆品对应的人脸应用位置及化妆品色谱；在对应的人脸位置生成化妆品应用后的覆盖图像；将生成的信息发送至显示终端；显示终端将显示的图像由镜面后部映射在镜面表面。本发明将AR技术与试妆货架结合，利用货物的变化识别被用户拾起的商品类别，将试妆画面与用户的面部进行叠加显示，能够让用户更加直观的获取自己的试妆效果，提高了用户的使用体验。

Description

一种智能试妆货架及方法

技术领域

本发明涉及智能硬件技术领域，具体涉及一种智能试妆货架及方法。

背景技术

增强现实技术(AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

传统的货架仅作为向用户展览商品的工具，但是随着科学技术的发展，传统货架已不能满足用户的使用需求，具有多方位展示商品信息的货架更加受到用户的广泛欢迎。但是，现有的针对传统货架的改进仅在于表面，如何将AR技术与传统的货架结合是现在亟需解决的问题。

现有的化妆品销售展台仅通过放置镜子来供用户试妆，需要商家提供大量样品，造成了一定的浪费。而如果是唇膏一类的需要与肌肤接触的商品，由于卫生问题，用户只能涂在手上试妆，效果不好，不能直观看到试妆效果。

发明内容

本发明的目的在于提供一种智能试妆货架及方法，用以解决现有货架功能单一，无法直观显示试妆效果的问题。

为实现上述目的，本发明的技术方案为

第一方面，一种智能试妆货架，包括货架本体、控制终端、显示终端、镜面、图像采集终端、货物检测终端；

货物检测终端安装在货架本体的货筐上，连接控制终端，采集货筐内货物的变化信息，并发送至控制终端；

图像采集终端安装在货架本体上，采集用户的人像数据，发送至控制终端；

控制终端安装在货架本体上，接收货物检测终端发送的货物变化信息，根据货物变化信息判断所对应的化妆品，获取化妆品对应的人脸应用位置及化妆品色谱；接收图像采集终端采集的人像数据，生成至少包括人脸五官所在具体位置坐标、尺寸的信息，并显示再显示终端上，在对应的人脸位置生成化妆品应用后的覆盖图像，以及与覆盖图像区域对应的化妆品可选色谱；将生成的信息发送至显示终端；

显示终端安装在货架本体上，接收控制终端发送的显示数据，显示终端将显示的图像由镜面后部映射在镜面表面；

镜面安装在显示终端前方，镜面能够反射面板前方的光线并透过面板后方的显示终端的光线。

作为本发明的一种优选方案，所述货物检测终端为重力传感器，采集货筐的重量变化信息，并发送至控制终端。

作为本发明的一种优选方案，所述货物检测终端为光电传感器，采集货筐内的货物被拾取后的光照变化信息，并发送至控制终端。

作为本发明的一种优选方案，所述图像采集终端为全景摄像头。

作为本发明的一种优选方案，还设有用户信息采集装置，包括接近觉传感器、光强传感器、声强传感器中的一种或多种；

所述接近觉传感器安装在货架本体上，连接控制终端，采集用户与试妆货架的距离数据，统计客流量及客注意力时间分布；

所述光强传感器安装在货架本体上，连接控制终端，采集用户经过后的光照强度变化，发送至控制终端，统计客流量；

所述声强传感器连接安装在货架本体上，连接控制终端，采集货架本体周围用户声音信息，发送至控制终端，通过声音强度判断客注意力时间分布。

作为本发明的一种优选方案，所述控制终端、显示终端和图像采集终端集成为具有前置摄像头的平板电脑。

作为本发明的一种优选方案，所述货架本体包括背板、基板、底座、货筐，所述背板固定在底座后，背板的不同高度上设有若干基板安装位，基板安装在基板安装位上，货筐放置在基板上，背板上还设有显示终端安装位。

作为本发明的一种优选方案，所述基板底部设有向下方化妆品照射的补光灯，镜面周边设有补光灯带。

作为本发明的一种优选方案，所述货架本体上还设有拾音装置，拾音装置连接控制终端，拾音装置接收用户的语音控制指令，发送至控制终端。第二方面，一种智能试妆方法，应用如第一方面任一项所述的智能试妆货架，包括如下步骤：

获取人像数据信息；

生成至少包括人脸五官所在具体位置坐标、尺寸的信息并显示；

获取货筐的货物变化信息；

判断货物变化信息是否有化妆品与之对应；

若判断结果为是，则根据货物的变化信息匹配对应的化妆品；

获取化妆品的种类，根据化妆品种类生成人脸对应位置的覆盖图像；

获取化妆品的色谱，生成能够填充在覆盖图像上的若干可选色谱。

本发明具有如下优点：

本发明将AR技术与试妆货架结合，利用货物的变化信息(重量或光线)的变化识别被用户拾起的商品类别，采用AR技术将试妆画面与用户的面部进行叠加显示，能够让用户更加直观的获取自己的试妆效果，提高了用户的使用体验。

附图说明

图1是本发明的结构示意图。

图2是本发明的结构框图。

其中：

1-显示终端，2-补光灯带，3-背板，4-底座，5-基板，6-货筐。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

见图1、图2，本实施例公开的一种智能试妆货架，包括货架本体、控制终端、显示终端1、镜面、图像采集终端、重力传感器；

重力传感器安装在货架本体的货筐6底部，连接控制终端，重力传感器用于采集货筐的重量变化信息，并发送至控制终端。具体的，首先通过重力传感器获取每一类化妆品的重量，并录入控制终端的存储介质中，将所有的化妆品摆放入货筐6后，重力传感器采集货筐6中全部商品的总重量，并录入控制终端的存储介质。当用户拾取货筐6中的商品时，重力传感器会获取到重量变化信号，并将具体的重量变化数值发送至控制终端进行匹配。图像采集终端安装在货架本体上，采集用户的人像数据，发送至控制终端。图像采集终端首先用于采集图像发送至控制判断判断是否有用户正在挑选商品，如果有用户正在挑选商品，则将用户人脸信息发送至控制终端进行进一步处理。在货架或屏幕上可设置二维码等扫码区域，用户在第一次走进货架时，可首先通过手机扫码的方式识别会员身份，之后第二次可以通过人脸识别确认会员身份。

控制终端安装在货架本体上，首先接收重力传感器发送的货筐重量变化信息，根据货筐重量变化信息判断所对应的化妆品(如不同系列的唇膏等产品都是具有不同重量的，通过不同重量的变化则能确认具体的类型)，获取化妆品对应的人脸应用位置(唇膏，则应用于唇部；眉笔，则应用于眉部)及化妆品色谱(不同的唇膏具有不同的色号)；接收图像采集终端采集的人像数据，生成至少包括人脸五官所在具体位置坐标、尺寸的信息，通过采集的具体位置坐标来进行准确的图像覆盖位置(如前面获得的商品信息是唇膏，则图像覆盖位置位于用户唇部，通过采集的五官尺寸信息，可将生成的图像覆盖的准确位置)，并显示在显示终端上，在对应的人脸位置生成化妆品应用后的覆盖图像，以及与覆盖图像区域对应的化妆品可选色谱，即不同色号可供用户选择试用；将生成的信息发送至显示终端1；

显示终端1安装在货架本体上、便于用户照镜子的地方，接收控制终端发送的显示数据，即能够覆盖在五官准确位置的图像，显示终端1将显示的图像由镜面后部映射在镜面表面；

镜面安装在显示终端1前方，镜面能够反射面板前方的光线并透过面板后方的显示终端1的光线，为实现此功能，将镜面设计为具有透光板和具有反射膜的结构，反射膜反射前方光线，实现镜子的效果，显示终端将显示图像从透光板后方射入，映射在前方与用户五官对应的位置。

在实际应用中，可设置远程服务器，将重力传感器与远程服务器通过网络连接，远程服务器负责与用户手机端通信，用户在扫码确认会员后，远程服务器确认用户身份，用户在拿起货品时，重力传感器获取重量变化信息，并将重量变化信息发送至控制终端，控制终端向远程服务器发送货品信息，并将货品信息发送至用户手机端，用户手机端APP购物车中会加入该商品，在用户离开货架一段时间后可以认定购买并自动结算，如果货品被放回货筐则自动从购物车减掉该货品信息。

在本实施例中，为便于用户操作，所述显示终端1为触控式显示终端，用户可通过点击选择不同种类的色号，点选后，控制终端根据用户的色号选择信息发送至显示终端1不同的颜色显示，以使用户得到不同的试妆效果。

在另一种实施例中，所述图像采集终端为全景摄像头，可通过全景摄像头对购物产品进行监测，同时能够获取人流密度信息、人流变化信息，为商户提供精准的用户信息。

在另一种实施例中，本智能试妆货架为实现由数据驱动的零售店铺智能化解决方案，还设有用户信息采集装置，包括光电传感器、接近觉传感器、光强传感器、声强传感器中的一种或多种，通过上述硬件实现对场景图像、客流量、客注意力时间分布等信息的采集。

所述接近觉传感器安装在货架本体上，连接控制终端，由于接近觉传感器不仅可以判断是否接触物体，而且还可以大致判断物体的形状，因此接近觉传感器可以用于采集用户与试妆货架的距离数据的同时，还能初步判断用户身材、脸型、姿势等特征，实现客流量的统计及客注意力时间分布；

光强传感器安装在货架本体上，连接控制终端，光强传感器能够获取光照强度敏感信息，由于用户经过后的光照强度变化，光强传感器采集到这种变化后，即发送至控制终端，实现客流量、客注意力时间分布的统计；

声强传感器连接安装在货架本体上，连接控制终端，采集货架本体周围用户声音信息，发送至控制终端，通过声音强度判断客注意力时间分布。经过设置，可使语音识别引擎的响应时间＜0.4s，准确率＞97％，去噪率＞61.5％。

本发明利用一套金融级安全的大数据系统用于海量用户画像的分析处理，包括用户的年龄、性别、人种、肤质、肤色、脸型、五官特征、喜欢颜色、购买习惯中的至少一种信息，经过训练提升用户化妆品适配的准确性。

在本实施例中，所述控制终端、显示终端1和图像采集终端集成为具有前置摄像头的平板电脑。进一步的，该平板电脑可以是基于安卓系统开发的平板电脑。再进一步的，该平板电脑可以是以RK3399芯片为控制芯片的平板电脑，RK3399芯片已被成熟的应用于各类控制系统中。

在本实施例中，所述货架本体包括背板3、基板5、底座4、货筐6，所述背板3可通过螺栓或是铆接等方式固定在底座4后，背板3的不同高度上设有若干基板5安装位，具体的，可通过在背板3上设置通孔形成螺栓安装位，通过螺栓将基板5垂直安装在基板安装位上，货筐6放置在基板5上，通过在背板3上设置通孔形成显示终端安装位。

在本实施例中，为了能够更明确的区分当重力变化后是哪一类商品被拾取，所述重力传感器安装在基板上每一处层货筐6底部，可对每一处重力传感器编号，每一处重力传感器均对应不同的商品，控制终端接收重力传感器信号时，可通过重力传感器的具体编号来确认商品。

在本实施例中，为提高安装便利性，所述重力传感器通过远程接口连接控制终端。

在本实施例中，所述镜面周边设有补光灯带2，优选LED灯带，绕镜面周边设置，以实现更好的试妆效果。

在本实施例中，由于基板5会阻挡灯光打在底部的商品，所述基板底部也设有向下方化妆品照射的补光灯，以便用户查看商品。

在本实施例中，所述货架本体上还设有拾音装置，拾音装置连接控制终端，拾音装置接收用户的语音控制指令，发送至控制终端。其中，拾音装置可以为麦克风，麦克风采集用户的语音信息，发送至控制终端，控制终端对语音进行处理，识别为控制指令。

实施例2

本实施例与实施例1的技术方案基本一致，区别仅在于，本实施例中，所述货物检测终端为光电传感器，光电传感器用于采集货筐内的货物被拾取后的光照变化信息，并发送至控制终端。具体的，货物被拾取后，货筐底部会被外界的光照照射到，由此可以认定为该处的货物被取出，控制终端匹配到取出的货物信息后，执行下一步操作。

实施例3

本实施例公开一种智能试妆方法，包括如下步骤：

获取人像数据信息；

根据人像数据信息生成至少包括人脸五官所在具体位置坐标、尺寸的信息并显示；

获取货筐的货物变化信息(重量变化信息或光线变化信息)；

判断货物变化信息是否有具体的化妆品与之对应；

若判断结果为是，则根据货物的变化信息匹配对应的化妆品；

若判断结果为否，则说明有货架周围有干扰，重新进行货物变化获取；

获取化妆品的种类，根据化妆品种类生成人脸对应位置、大小的覆盖图像，如唇部的覆盖图像；

获取化妆品的色谱，生成能够填充在覆盖图像上的若干可选色谱；

将覆盖图像显示再显示终端，并最终映射在镜面与人脸五官对应的位置。

本发明所保护的技术方案，并不局限于上述实施例，应当指出，任意一个实施例的技术方案与其他一个或多个实施例中技术方案的结合，在本发明的保护范围内。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种智能试妆货架，其特征在于，包括货架本体、控制终端、显示终端、镜面、图像采集终端、货物检测终端；

货物检测终端安装在货架本体的货筐上，连接控制终端，采集货筐内货物的变化信息，并发送至控制终端；

图像采集终端安装在货架本体上，采集用户的人像数据，发送至控制终端；

控制终端安装在货架本体上，接收货物检测终端发送的货物变化信息，根据货物变化信息判断所对应的化妆品，获取化妆品对应的人脸应用位置及化妆品色谱；接收图像采集终端采集的人像数据，生成至少包括人脸五官所在具体位置坐标、尺寸的信息，并显示再显示终端上，在对应的人脸位置生成化妆品应用后的覆盖图像，以及与覆盖图像区域对应的化妆品可选色谱；将生成的信息发送至显示终端；

显示终端安装在货架本体上，接收控制终端发送的显示数据，显示终端将显示的图像由镜面后部映射在镜面表面；

镜面安装在显示终端前方，镜面能够反射面板前方的光线并透过面板后方的显示终端的光线。

2.根据权利要求1所述的一种智能试妆货架，其特征在于，所述货物检测终端为重力传感器，采集货筐的重量变化信息，并发送至控制终端。

3.根据权利要求1所述的一种智能试妆货架，其特征在于，所述货物检测终端为光电传感器，采集货筐内的货物被拾取后的光照变化信息，并发送至控制终端。

4.根据权利要求1所述的一种智能试妆货架，其特征在于，所述图像采集终端为全景摄像头。

5.根据权利要求1所述的一种智能试妆货架，其特征在于，还设有用户信息采集装置，包括接近觉传感器、光强传感器、声强传感器中的一种或多种；

所述接近觉传感器安装在货架本体上，连接控制终端，采集用户与试妆货架的距离数据，统计客流量及客注意力时间分布；

所述光强传感器安装在货架本体上，连接控制终端，采集用户经过后的光照强度变化，发送至控制终端，统计客流量；

所述声强传感器安装在货架本体上，连接控制终端，采集货架本体周围用户声音信息，发送至控制终端，通过声音强度判断客注意力时间分布。

6.根据权利要求1所述的一种智能试妆货架，其特征在于，所述控制终端、显示终端和图像采集终端集成为具有前置摄像头的平板电脑。

7.根据权利要求1所述的一种智能试妆货架，其特征在于，所述货架本体包括背板、基板、底座、货筐，所述背板固定在底座后，背板的不同高度上设有若干基板安装位，基板安装在基板安装位上，货筐放置在基板上，背板上还设有显示终端安装位。

8.根据权利要求7所述的一种智能试妆货架，其特征在于，所述基板底部设有向下方化妆品照射的补光灯，镜面周边设有补光灯带。

9.根据权利要求1所述的一种智能试妆货架，其特征在于，所述货架本体上还设有拾音装置，拾音装置连接控制终端，拾音装置接收用户的语音控制指令，发送至控制终端。

10.一种智能试妆方法，应用如权利要求1-8任一项所述的智能试妆货架，其特征在于，包括如下步骤：

获取人像数据信息；

生成至少包括人脸五官所在具体位置坐标、尺寸的信息并显示；

获取货筐的货物变化信息；

判断货物变化信息是否有化妆品与之对应；

若判断结果为是，则根据货物的变化信息匹配对应的化妆品；

获取化妆品的种类，根据化妆品种类生成人脸对应位置的覆盖图像；

获取化妆品的色谱，生成能够填充在覆盖图像上的若干可选色谱。