CN110874133A - 基于智能显示设备的交互方法、智能显示设备及存储介质 - Google Patents

基于智能显示设备的交互方法、智能显示设备及存储介质 Download PDF

Info

Publication number
CN110874133A
CN110874133A CN201811011694.3A CN201811011694A CN110874133A CN 110874133 A CN110874133 A CN 110874133A CN 201811011694 A CN201811011694 A CN 201811011694A CN 110874133 A CN110874133 A CN 110874133A
Authority
CN
China
Prior art keywords
interactive
electronic screen
area
display device
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811011694.3A
Other languages
English (en)
Other versions
CN110874133B (zh
Inventor
程飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811011694.3A priority Critical patent/CN110874133B/zh
Publication of CN110874133A publication Critical patent/CN110874133A/zh
Application granted granted Critical
Publication of CN110874133B publication Critical patent/CN110874133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47GHOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02Mirrors used as equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers

Abstract

本申请实施例提供一种基于智能显示设备的交互方法、智能显示设备及存储介质。在本申请实施例中,智能显示设备包括电子屏幕和镜面,基于镜面对对象进行成像,利用对象在镜面中的成像作为“现实”的参照,在电子屏幕上显示交互内容,以达到与对象进行交互的目的,该交互方式将镜面的成像原理与电子屏幕的显示功能相结合,对该对象而言,可在看到自己在镜面中的镜像的基础上看到相关交互内容,这提高了智能显示设备显示的真实性和趣味性,进而可以提升用户体验。

Description

基于智能显示设备的交互方法、智能显示设备及存储介质
技术领域
本申请涉及智能终端技术领域,尤其涉及一种基于智能显示设备的交互方法、智能显示设备及存储介质。
背景技术
随着智能终端技术的发展,出现了美妆镜、试妆镜等智能镜子。当用户面对这些智能镜子时,智能镜子通过摄像头拍摄用户的面部图像并将用户的面部图像展示在电子屏幕上,这样用户就可以为镜子上的自己进行虚拟上妆,从而在轻松快捷的试妆过程中找到适合自己的化妆品。
但是,现有智能镜子更像是带有摄像头的计算机设备,给用户带来的真实感相对较差,亟待提供一种解决方案用以提升智能镜子给用户带来的真实感。
发明内容
本申请的多个方面提供一种基于智能显示设备的交互方法、智能显示设备及存储介质,用以智能显示设备显示的真实性和趣味性,进而可以提升用户体验。
本申请实施例提供一种智能显示设备,包括:显示屏和处理器,所述显示屏包括电子屏幕以及镜面;所述镜面,用于显示对象的镜像;所述处理器,用于根据所述对象与所述镜面之间的相对位置关系,在所述电子屏幕上显示交互内容,所述交互内容与所述镜像对应。
本申请实施例还提供一种基于智能显示设备的交互方法,包括:通过所述智能显示设备的镜面对对象进行成像,以得到所述对象的镜像;根据所述对象与所述镜面之间的相对位置关系,在所述智能终端的电子屏幕上显示交互内容,所述交互内容与所述镜像对应。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被一个或多个处理器执行时,可执行以下动作:通过智能显示设备的镜面对对象进行成像,以得到所述对象的镜像;根据所述对象与所述镜面之间的相对位置关系,在所述智能终端的电子屏幕上显示交互内容,所述交互内容与所述镜像对应。
在本申请实施例中,智能显示设备包括电子屏幕和镜面,基于镜面对对象进行成像,利用对象在镜面中的成像作为“现实”的参照,在电子屏幕上显示交互内容,以达到与对象进行交互的目的,该交互方式将镜面的成像原理与电子屏幕的显示功能相结合,对该对象而言,可在看到自己在镜面中的镜像的基础上看到相关交互内容,这提高了智能显示设备显示的真实性和趣味性,进而可以提升用户体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1a为本申请一示例性实施例提供的智能显示设备的结构示意图;
图1b为本申请另一示例性实施例提供的智能显示设备的结构示意图;
图2为本申请一示例性实施例提供的基于智能显示设备的交互方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对现有智能镜子给用户带来的真实感相对较差的技术问题,本申请实施例提供一种智能显示设备及基于该智能显示设备的交互方法,其中,智能显示设备包括电子屏幕和镜面,基于镜面对对象进行成像,利用对象在镜面中的成像作为“现实”的参照,在电子屏幕上显示交互内容,以达到与对象进行交互的目的,该交互方式将镜面的成像原理与电子屏幕的显示功能相结合,对对象而言,可在看到自己在镜面中的镜像的基础上看到相关交互内容,这提高了智能显示设备显示的真实性和趣味性,进而可以提升用户体验。
以下结合附图,详细说明本申请各实施例提供的技术方案。
应注意到:相同的标号在下面的附图以及实施例中表示同一物体,因此,一旦某一物体在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1a为本申请一示例性实施例提供的智能显示设备的结构示意图。如图1a所示,该智能显示设备10包括:显示屏101和处理器102。其中,显示屏101包括电子屏幕101a和镜面101b;处理器102和电子屏幕101a电连接。
在本实施例的智能显示设备10中,镜面101b覆盖于电子屏幕101a上方,电子屏幕101a的亮度通常比较低,例如可处于黑屏状态,可作为镜面101b的反射层,使镜面101b工作在反射状态,用于对显示屏101前方的对象进行成像,并显示该对象的镜像。
可选地,镜面101b可以采用任何具有单面投射功能的材料实现,例如可以选用日常生活中的平面镜实现,但不限于此。以平面镜为例,电子屏幕101a处于黑屏状态时,可相当于平面镜的涂层。
可选地,镜面101b可以采用半透半反膜实现。在电子屏幕101a全暗或亮度小于单面半透半反膜的透过光阈值时,该半透半反膜相当于一面镜子,可对显示屏101前方的对象进行成像。当电子屏幕101a的亮度大于半透半反膜的透过光阈值时,该半透半反膜相当于一块全透明的玻璃,可将电子屏幕101上显示的内容透传给对象。
其中,对象的镜像是指对象在镜面101b中的成像,该成像是与对象等大的虚像。其中,对象可以是任何能够与智能显示设备10产生交互行为的对象,例如可以是自然人,也可以是机器人等智能化设备。
本实施例的智能显示设备10除了可以向用户提供平面镜功能之外,还可以为对象提供交互服务。值得说明的是,本实施例的智能显示设备10可被应用到不同场景中,根据智能显示设备10所处应用场景的不同,智能显示设备10向对象提供的交互服务也会有所不同。例如,在商场、超市、便利店、线下零售店等购物场景中,智能显示设备10可以向顾客提供导购服务、试装服务、试妆服务等,还可以根据顾客的选择,向顾客推送一些相关产品、广告等信息。
为了提升智能显示设备10显示的真实性和趣味性,在本实施例中,智能显示设备10利用对象在镜面101b中的成像作为“现实”的参照,通过在电子屏幕101a上显示交互内容,以借助镜面101b透传给对象,使得对象不仅可以从智能显示设备10中看到自己的成像,还可以看到相关的交互内容,例如导购信息、试装效果、试妆效果等,最终达到为对象提供交互服务,实现与对象进行交互的目的。
为了实现上述效果,当需要与对象进行交互时,处理器102可根据对象与镜面101b之间的相对位置关系,在电子屏幕101a上显示交互内容。其中,电子屏幕101a上显示的交互内容与对象的镜像对应,这样可以达到以对象的镜像作为“现实”的参照的目的。
可选地,当需要与对象进行交互时,处理器102可根据对象与镜面101b之间的相对位置关系,确定对象在镜面101b中的成像(简称为对象的镜像)在电子屏幕101a上的映射区域,然后依据该映射区域在电子屏幕101a上显示交互内容,此时显示交互内容的屏幕区域的亮度相对较高,借助镜面101b的投射功能可透传给对象。当然,对象的镜像在电子屏幕101a上的映射区域仍旧处于较低亮度,该映射区域仍可作为镜面101b的反射层,使镜面101b上对应该映射区域的部分工作在反射状态,负责对显示屏101前方的对象进行成像。
可选地,电子屏幕101a可以采用LED显示屏,其上生长有成千上万颗LED单晶颗粒。处理器101a可通过控制LED单晶颗粒的明暗,来实现内容的显示。进一步,在本实施例中,处理器101a通过控制电子屏幕101a中LED单晶颗粒的明暗,实现特定区域的LED单晶颗粒不发光,使该特定区域对应的镜面101b相当于一面镜子,以便对显示屏101前的对象进行成像。并且,处理器101a还控制另一特定区域的LED单晶颗粒发光,并显示相应的交互内容,使得镜面101b相当于一块全透明的玻璃,将电子屏幕101a在该特定区域上显示的交互内容透传给镜面101b前的对象。
从对象的角度而言,不仅可以从智能显示设备10中看到自己的成像,而且还可以看到相关的交互内容。在本实施例的智能显示设备中,对象看到的是自己实实在在在镜中的虚像,不同于在普通电子屏幕或显示器上看到的数字图像,这充分发挥了镜子的镜像功能,镜像效果更佳真实;另外,结合交互内容的显示,不仅达到了交互效果,而且增强了趣味性,可以提升用户体验。
值得说明的是,本实施例的智能显示设备10可应用到不同的场景中,并可向对象提供不同的交互服务。当然,交互服务不同,智能显示设备10向对象显示交互内容的方式以及显示的交互内容均会有所不同。
例如,在应用场景1中,智能显示设备10应用在服装店。例如,智能显示设备10a被固定在服装店的墙上,或者被放置在服装店的地面上,作为试衣镜,为顾客提供试装服务。当不同顾客站在智能显示设备10面前并通过智能显示设备10进行试装时,智能显示设备10可向不同顾客显示不同的试装效果,这里不同的试装效果是智能显示设备10向顾客显示的交互内容的一种示例。试装效果是指顾客穿上相应服装后的效果。其中,处理器102可以根据顾客与镜面101b之间的相对位置关系,确定顾客在镜面101b中的镜像在电子屏幕101a上的映射区域,然后根据顾客的镜像在电子屏幕101a上的映射区域,将顾客所选服装的图片对应到顾客躯体各部分对应的映射位置在电子屏幕101a上显示出来,并通过镜面101b透传给顾客,使得顾客看到自己的试装效果。
又例如,在应用场景2中,智能显示设备10应用在超市、便利店、线下零售门店等中。例如,智能显示设备10a被放置在超市、便利店、线下零售门店的入口位置或服务台处,可为进入门店的顾客推荐店内商品。当不同顾客站在智能显示设备10面前时,智能显示设备10可向不同顾客显示不同的商品信息,这里不同的商品信息也是智能显示设备10向顾客所显示的交互内容的一种示例。其中,处理器102可以根据顾客与镜面101b之间的相对位置关系,确定顾客在镜面101b中所成的镜像在电子屏幕101a上的映射区域,然后根据顾客的镜像在电子屏幕101a上的映射区域,将相关商品信息显示在电子屏幕101a上映射区域的周边区域,并通过镜面101b透传给顾客,使得顾客看到相关商品信息。在此说明,本实施例并不限定智能显示设备10为不同顾客推荐不同商品信息的实现方式,例如可以根据顾客性别,年龄阶段等,也可以根据店内商品促销情况等信息进行相应推荐。
在上述实施例或下述实施例中,处理器102需根据对象与镜面101b之间的相对位置关系,确定对象的镜像在电子屏幕101a上的映射区域。
在一可选实施方式中,在智能显示设备10出厂时,相关技术人员可将对象与镜面101b之间的相对位置关系预先存储在智能显示设备10中,这意味着对象需要站到智能显示设备10前方特定位置才能使用智能显示设备10。基于此,处理器102可以直接调取预先存储的对象与镜面之间的相对位置关系,来确定对象的镜像在电子屏幕101a上的映射区域。
在另一可选实施方式中,为了提高对象使用智能显示设备10的便利性,提高交互体验,可不指定使用智能显示设备10时的特定位置,即对象可以在智能显示设备10前任一位置与智能显示设备10进行交互。这样,处理器102需要能够实时捕捉对象与智能显示设备10的显示屏101之间的相对位置关系。为了解决该问题,可选地,如图1a所示,智能显示设备10上还设置有摄像头103,该摄像头103主要用于对显示屏101前方的对象进行拍摄以获得对象的数字图像,并将拍摄到的数字图像传输给处理器102。值得说明的是,摄像头103可实时拍摄显示屏101前方对象的数字图像从而形成视频流。这样,处理器102可基于摄像头103拍摄到的包含对象的数字图像计算对象与镜面101b之间的相对位置关系。
在本申请实施例中,摄像头103可以为普通摄像头,也可采用深度摄像头,但不限于此。其中,当摄像头103采用普通摄像头时,处理器102可基于其拍摄的对象的数字图像所呈现的“近大远小”的成像效果,来确定对象与镜面101b之间的相对位置关系。
可选地,为了进一步提高处理器102确定出的对象与镜面101b之间的相对位置关系的准确度,摄像头103可采用深度摄像头。相应地,深度摄像头所拍摄的对象的数字图像为深度图像。可选地,深度摄像头可为基于结构光技术的摄像头、基于双目视觉技术的摄像头和基于飞行时间技术的摄像头,但不限于此。
其中,基于结构光技术的摄像头的基本原理是由结构光投射器向被测物体表面(对象)投射可控制的光点、光条或光面结构,并由图像传感器获得被测物体表面(对象)图像,通过系统几何关系,利用三角原理计算得到对象的三维坐标。
其中,基于双目视觉技术的摄像头是利用双目立体视觉成像原理,通过两个摄像机来提取被测物体表面(对象)的包括三维位置在内的信息进行深度感知。
其中,基于飞行时间技术的摄像头的基本原理是传感器发出经调制的近红外光,遇物体(对象)后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄物体(对象)的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
由上述分析可得,无论采用哪种形式的深度摄像头,其拍摄得到的对象的深度图像都包含有对象与深度摄像头之间的距离关系,即深度图像中的每个像素值代表的是对象到深度摄像头平面的距离。值得说明的是,此处对象与深度摄像头之间的距离,为对象到深度摄像头之间的垂直距离。又因为对于一个智能显示设备来说,摄像头103和显示屏101之间的相对位置关系是确定的,基于此,处理器102可基于深度图像包含的对象与深度摄像头之间的距离信息,计算对象与镜面101b之间的相对位置关系。
在一可选实施方式中,在采用上述任一方式得到对象与镜面101b之间的相对位置关系的基础上,处理器102可基于对象与镜面之间的相对位置关系,确定对象的镜像在电子屏幕101a上的映射区域;进而依据对象的镜像在电子屏幕101a上的映射区域,确定电子屏幕101a上的内容显示区域;在该内容显示区域中显示与对象关联的交互内容。
进一步,在智能显示设备10包含摄像头103的基础上,本实施例的智能显示设备10可以向对象提供更为丰富的交互服务,展示更为丰富的交互内容。下面结合几种应用场景进行举例说明:
例如,在服装店里,当顾客本人实际试穿服装,并在智能显示设备10前看试装效果时,智能显示设备10的摄像头可以对试穿服装后的顾客进行拍摄,从而得到此时顾客的数字图像并传输给处理器102;处理器102可根据摄像头103拍摄到的该顾客的数字图像,识别出顾客所试穿的服装,并可根据该数字图像计算出顾客与镜面101b之间的相对位置关系,基于该相对位置关系确定顾客在镜面101b中所成的镜像在电子屏幕101a上的映射区域,并在电子屏幕101a上(例如该映射区域的周边区域内)显示该服装的材质、成分或者该服装是否在打折等商品信息并借助镜面101b透传给顾客,使得顾客不仅可以从智能显示设备10中看到自己的试穿效果,还可以看到与服装相关的信息,提高顾客感受;或者在电子屏幕101a上显示与该服装配套的其它服装信息并借助镜面101b透传给顾客,达到促销的目的。
又例如,在化妆品店里,当顾客亲自试用某款化妆品时,可通过自己在智能显示设备10所成的镜像来观看相应地试妆效果,此时,智能显示设备10发挥的是普通镜子的镜像作用。当然,智能显示设备10的摄像头103可以对带有试妆效果的顾客进行拍摄,从而得到此时顾客的数字图像并传输给处理器102;处理器102可根据摄像头103拍摄到的该顾客的数字图像,识别出顾客所试用的化妆品,例如口红,处理器102还可根据该数字图像计算出顾客与镜面101b之间的相对位置关系,基于该相对位置关系确定顾客在镜面101b中所成的镜像在电子屏幕101a上的映射区域,并在电子屏幕101a上(例如该映射区域周围的区域内)显示顾客所试用的口红的品牌、色号、成分、价格等,以便于顾客在看到具有较高真实度的试妆效果的同时能够了解所试用的口红的相关信息,便于提高用户体验。
当然,顾客本人可以亲自试用更多颜色的口红,然后从中选择适合自己的,但如果顾客直接试用需要不停擦拭各种颜色的口红,先后试用的口红会相互影响试色效果,而且顾客唇部也容易被擦拭受伤。基于此,顾客可以通过智能显示设备10进行试色,例如,当顾客选定某款口红后,可以面对智能显示设备10,智能显示设备10的摄像头103可对顾客以及顾客选定的口红进行拍摄,获得顾客的数字图像并传输给处理器102;处理器102可从摄像头103拍摄的该顾客的数字图像中识别出顾客选定的口红,并根据该数字图像计算出顾客与镜面101b之间的相对位置关系,基于该相对位置关系确定顾客在镜面101b中所成的镜像在电子屏幕101a上的映射区域,然后在顾客的嘴唇镜像在电子屏幕101a上的映射位置显示类似于涂抹该口红的动画,并借助镜面101b将涂抹后的嘴唇图像透传给顾客,达到通过智能显示设备10进行试妆的效果,以提高试妆精度,也可避免来回擦拭嘴唇对嘴唇造成的伤害。
值得说明的是,除了从数字图像中识别顾客选定的口红之外,也可以预先将门店提供的各色口红的信息预先存储至智能显示设备10中。这样,顾客可以直接通过智能显示设备10上选择需要试用的口红。
再例如,在一些店铺门口,可放置智能显示设备10以招揽顾客。顾客在店铺门口可利用智能显示设备10整理妆容,此时,智能显示设备10发挥的是普通镜子的镜像作用。当然,智能显示设备10的摄像头103可以对顾客进行拍摄,从而得到此时顾客的数字图像并传输给处理器102。处理器102可基于摄像头103拍摄的对象的数字图像,识别该顾客是否为本店的会员。当确定出顾客是本店的会员时,处理器102还可根据该数字图像计算出顾客与镜面101b之间的相对位置关系,基于该相对位置关系确定顾客在镜面101b中的镜像在电子屏幕101a上的映射区域,并在电子屏幕101a上(例如该映射区域周围的区域内)显示该顾客的会员信息,进一步还可根据该顾客的会员的等级,在电子屏幕101a上显示目前本店针对不同会员等级的活动。例如,在电子屏幕101a上(例如该映射区域周围的区域内)显示该对象为本店的五星级会员,可享受某个产品的5折优惠等。或者,也可在电子屏幕101a上(例如该映射区域周围的区域内)显示向该顾客推荐的商品信息,例如,本店目前的打折商品的信息等,以吸引用户顾客(对象)进店选购。或者,在电子屏幕101a上(例如该映射区域周围的区域内)显示本店的店铺简介,例如本店铺的发展历程、所获荣誉等,以吸引顾客进入店铺。
在上述实施例或下述实施例中,智能显示设备10的处理器102需基于对象与镜面101b之间的相对位置关系,确定对象的镜像在电子屏幕101a上的映射区域。其中,以对象与镜面10之间的相对位置关系为基础,结合平面镜成像原理,可以计算出对象的镜像在电子屏幕101a上的映射区域。结合平面镜成像原理可知,平面镜中的像是由光的反射光线的延长线的交点形成的,像和物的大小相等,像和物相对平面镜对称,以及无论物与平面镜的距离如何变化,它在平面镜中所成的镜像的大小始终不变,与物的大小总一样,基于这些信息,可以确定对象的镜像在镜面101b上的映射区域,进而结合镜面101b与电子屏幕101a的位置关系,可以推算出对象的镜像在电子屏幕101a上的映射区域。如果镜面101b与电子屏幕101a平行且等大设置,则对象的镜像在镜面101b上的映射区域,与对象的镜像在电子屏幕101a上的映射区域重叠。
进一步,在上述实施例或下述实施例中,智能显示设备10的处理器102可通过在电子屏幕101a上显示交互内容,例如,智能显示设备10所属店铺的简介、对象的会员信息或向对象推荐的商品信息等,并借助镜面101b透传给对象,实现与对象的交互。对于对象来说,一般不希望所显示的交互内容覆盖住自身在显示屏101中的镜像。基于此,处理器102可依据对象的镜像在电子屏幕上101a上的映射区域,确定电子屏幕101a上的内容显示区域,并在该内容显示区域中显示与对象关联的交互内容,这可以根据对象的交互需求确定交互内容在电子屏幕上101a上的显示位置,有利于满足交互需求。
在一种可选实施方式中,处理器102在确定对象的镜像在电子屏幕101a上的映射区域之后,可直接根据对象的镜像在电子屏幕101a上的映射区域,确定该映射区域的周边区域作为内容显示区域,并在该内容显示区域内显示与对象关联的交互内容。例如,在服装店里,顾客在试一件外套时,在智能显示设备10观看试装效果,处理器102便可根据摄像头103拍摄的该顾客的数字图像,确定该顾客与智能显示设备10的显示屏101之间的相对位置关系,并基于该相对位置关系,确定该顾客的镜像在电子屏幕101a上的映射区域;进一步确定该映射区域的周边区域为内容显示区域,并在该周边区域显示该外套的信息,例如,该外套的品牌、价格、打折活动、材质成本、洗涤注意事项等;或者,在该周边区域显示推荐商品的信息,例如,与该顾客目前所试外套配套的裤子、鞋子、帽子和相应的品牌、价格等。
在另一种可选实施方式中,对象以通过发出交互指令,控制智能显示设备10显示交互内容,这可以增强交互体验度。在该可选实施方式中,智能显示设备10可结合对象发出的交互指令与对象的镜像在电子屏幕101a上的映射区域,确定电子屏幕101a上的内容显示区域,进而在该内容显示区域中显示与交互指令绑定的交互内容。根据智能显示设备10的硬件结构和功能的不同,对象发出交互指令的形式也会有所不同。对于含有语音识别功能的智能显示设备10来说,对象发出的交互指令可以为语音类指令,但不限于此;对包含摄像头103的智能显示设备10来说,对象发出的交互指令可以为动作类指令,但不限于此。其中,不同的交互指令可以预先绑定不同的交互内容。
下面结合智能显示设备10的摄像头103,以交互指令为动作类指令为例,对处理器102显示交互内容的过程进行示例性说明。
可选地,处理器102可从摄像头103拍摄的数字图像中识别对象发出的交互指令;并结合该交互指令和对象在发出交互指令时的镜像所在电子屏幕101a上的映射区域,确定电子屏幕101a上的内容显示区域;并在该内容显示区域中显示与该交互指令绑定的交互内容。
进一步,智能显示设备10中可预存交互动作与交互指令的映射关系,以在用户发出动作时,识别出相应的交互指令。基于此,处理器102可从摄像头103拍摄的数字图像中识别对象发出的动作,并将识别到的动作在预存的交互动作与交互指令的映射关系中进行匹配;当在交互动作与交互指令的映射关系中匹配到相同的动作时,获取匹配到的交互动作对应的交互指令作为该对象发出的交互指令。
值得说明的是,交互动作与交互指令的映射关系可根据应用需求适应性设置。例如,在应用场景A中,有的用户希望显示交互内容,有的用户不希望显示交互内容的情况,用户可以通过发出点头动作,控制智能显示设备10显示交互内容,或者,用户可以通过摇头动作控制智能显示设备10不显示交互内容。智能显示设备10的处理器102可以在摄像头103拍摄到的数字图像中识别到用户发出的点头动作或摇头动作,并将识别到的点头动作或摇头动作在预设的交互动作与交互指令的映射关系中进行匹配,并获取匹配中的交互动作对应的交互指令,据此了解用户发出了何种交互指令。
又例如,在应用场景B中,智能显示设备10向对象(例如用户)推荐4款不同商品的图片和简介,当用户想要进一步了解某款商品的详情时,则可以面向显示屏101竖起一根手指,从而向处理器102发出想要查看第一款商品的详情的交互指令。对处理器102而言,可以从摄像头103拍摄到的数字图像中识别到用户竖起一根手指的动作,将该动作在交互动作与交互指令的映射关系中进行匹配,并获取匹配中的交互动作对应的交互指令,进而可知用户需要了解第一款商品的详情,相应地,处理器102在电子屏幕101a上显示第一款商品的详情信息。
可选地,电子屏幕101a上可显示与交互指令对应的交互控件,不同的交互控件可绑定不同的交互指令。交互控件的作用是供对象通过其向智能显示设备发出交互指令,即对象可针对交互控件发出交互动作,从而向智能显示设备10发出交互指令。值得说明的是,这些交互控件可由处理器102根据对象在针对相应交互控件发出交互动作之前的镜像在电子屏幕上的映射区域,在电子屏幕上除该映射区域之外的区域显示。
对于不同的应用场景,交互控件的实现形式不同。例如,对于上述应用场景A,交互控件可为“是”或“否”按钮,则用户可以发出点击或选择“是”或“否”按钮的动作,从而向智能显示设备10发出相应的交互指令,其中,“是”按钮对应的是显示交互内容的指令,“否”按钮对应的是不显示交互内容的指令。又例如,对于上述应用场景B,处理器102可在前一交互内容中携带交互控件,连通前一交互内容一并显示在电子屏幕上,例如可以是商品的图片或设于图片下方的详情按钮等,则用户可以发出点击商品的图片或详情按钮的动作,以继续向智能显示设备10发出相应的交互指令,其中,“商品的图片”或“详情按钮”对应的是显示商品详情的指令。
进一步,在电子屏幕101a上显示交互控件的情况下,处理器102可从数字图像中识别对象发出的动作,并按照对象与镜面101b之间的相对位置关系,确定对象在发出该动作时的镜像在电子屏幕上的映射区域;当该映射区域与电子屏幕上的交互控件的位置满足设定的交叠条件时,确定对象发出的动作是针对该交互控件的,于是获取与该交互控件绑定的交互指令作为对象发出的交互指令。其中,设定的交叠条件主要用于识别对象发出的动作是否是针对交互控件的,例如交叠条件可以为对象在发出该动作时的镜像在电子屏幕上的映射区域与交互控件的位置交叠,进一步还可以设定二者交叠的时间大于设定的交叠时间阈值,但不限于此。
在确定对象发出交互指令之后,可结合交互指令与对象在发出交互指令时的镜像在电子屏幕101a上的映射区域,确定电子屏幕101a上的内容显示区域。其中,根据交互指令的不同,内容显示区域的位置也会有所不同。下面举例说明:
在一些应用场景中,对象可以向智能显示设备10发出信息显示类指令,智能显示设备10可根据该类指令向对象显示相关信息,对于对象来说,一般不希望所显示的相关信息覆盖住自身在显示屏101中的镜像。基于此,当对象发出的指令为信息显示类指令时,处理器102可依据对象在发出信息显示类指令时的镜像在电子屏幕101a上的映射区域,确定映射区域的周边区域作为内容显示区域,进而将相关信息显示在映射区域的周边区域中。
在另一些应用场景中,对于对象来说,一般希望所显示的交互内容尽可能与其镜像贴合。例如,对于上述服装店的应用场景,智能显示设备10还可以提高虚拟试装服务。对于对象(进行试装的顾客)来说,希望尽可能达到真实的试装效果,即所虚拟试穿的衣物尽可能与人体贴合。基于此,当对象发出的指令为试装类指令或试妆类指令时,处理器102可依据对象在发出试妆类指令时的镜像在电子屏幕上的映射区域,确定映射区域中与待试装部位或待试妆部位对应的部分区域作为内容显示区域。当然,希望所显示的交互内容尽可能与其镜像贴合的场景并不限于试装和试妆,相应地,待试装部位或待试妆部位也仅是需要交互内容与镜像尽可能贴合的一些部位中的示例。为了便于描述,将需要交互内容与镜像尽可能贴合的一些部位称为特定部位。
可选地,在上述应用场景中,可以结合摄像头103拍摄到的对象的数字图像,确定映射区域中与特定部位对应的部分区域作为内容显示区域。例如,首先,根据对象的数字图像确定特定部位的轮廓C;若对象正对摄像头103,则基于数字图像所确定的特定部位的轮廓C与镜像中相应部位的轮廓理论上会完全匹配,但实际中,对象不一定正对摄像头,故可以根据对象与摄像头103之间的位置关系,计算出基于数字图像所确定的特定部位的轮廓C与镜像中相应部位的轮廓之间的位置和大小关系,根据该位置和大小关系调整基于数字图像所确定的特定部位的轮廓C,使之与镜像中相应部位的轮廓完全匹配,进而可根据调整后的特定部位的轮廓C来确定内容显示区域,以便在该内容显示区域展示交互内容。
在又一些应用场景中,对象可向智能显示设备10发出标记类指令,处理器102可依据对象在发出所述标记类指令时的镜像在电子屏幕上的映射区域,确定映射区域中与待标记部位对应的部分区域的邻域作为信息显示区域内容显示区域。
在上述实施例或下述实施例中,处理器102可在内容显示区域内显示与对象关联的交互内容。参见上述实施例可知,处理器102可以获取预设内容作为与对象关联的交互内容显示在内容显示区域内,也可以获取与交互指令绑定的内容作为与对象关联的交互内容显示在内容显示区域内。无论是何种方式,均不对交互内容本身的内容做限定。交互内容本身的内容可根据应用场景灵活设置,例如可以对象的会员信息,向对象推荐的商品信息,智能显示设备所属店铺的简介,对象的试装效果,以及对象的试妆效果等等。这些示例性内容的显示方式和过程可参见上述相关场景实施例中的描述,在此不再赘述。
在一些可选实施方式中,如图1b所示,该智能显示设备10还可以包括:存储器104、通信组件105、电源组件106、音频组件107等可选组件。图1b中仅示意性给出部分组件,并不意味着智能显示设备10必须包含图1b所示全部组件,也不意味着智能显示设备10只能包括图1b所示组件。
其中,存储器104,用于存储计算机程序,并可被配置为存储其它各种数据以支持在智能显示设备10上的操作。其中,处理器102可执行存储器104中存储的计算机程序,以实现相应控制逻辑。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
其中,通信组件105被配置为便于智能显示设备10和其他设备之间有线或无线方式的通信。智能显示设备10可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
其中,电源组件106被配置为智能显示设备10的各种组件提供电力。电源组件106可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
其中,音频组件107可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件107发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。例如,对于具有语言交互功能的智能显示设备,可通过音频组件107实现与用户的语音交互等。
需要说明的是,上述图1b中所示的智能显示设备10的形状以及其所包含的处理器、摄像头、存储器、通信组件、电源组件和音频组件在智能显示设备上的位置只是示例性说明,并不对其形状和设置位置进行限制。另外,除图1b所示组件之外,智能显示设备10还可以根据应用需求包含支架、固定台等用于固定智能显示设备10的组件,图1b中未示出。
除上述提供的智能显示设备之外,本申请一些实施例还提供一种基于智能显示设备的交互方法。关于智能显示设备的描述可参见上述实施例,下面将从智能显示设备的角度,对本申请所提供的交互方法进行说明。
图2为本申请一示例性实施例提供的基于智能显示设备的交互方法的流程示意图。如图2所示,该方法包括:
201、通过智能显示设备的镜面对对象进行成像,以得到对象的镜像。
202、根据对象与镜面之间的相对位置关系,在智能显示设备的电子屏幕上显示交互内容,该交互内容与对象的镜像对应。
为了提升智能显示设备显示的真实性和趣味性,在本实施例中,智能显示设备利用对象在镜面中的成像作为“现实”的参照,通过在电子屏幕上显示交互内容,以借助镜面透传给对象,使得对象不仅可以从智能显示设备中看到自己的成像,还可以看到相关的交互内容,例如导购信息、试装效果、试妆效果等,最终达到为对象提供交互服务,实现与对象进行交互的目的。
在上述实施例或下述实施例中,可根据对象与镜面之间的相对位置关系,在电子屏幕上显示交互内容。关于对象与镜面之间的相对位置关系,可以采用以下可选实施方式获取:
在一可选实施方式中,在智能显示设备出厂时,相关技术人员可将对象与镜面之间的相对位置关系预先存储在智能显示设备中,这意味着对象需要站到智能显示设备前方特定位置才能使用智能显示设备。基于此,步骤202的一种可选实施方式为:直接调取预先存储的对象与镜面之间的相对位置关系。
在另一可选实施方式中,为了提高对象使用智能显示设备的便利性,提高交互体验,可不指定使用智能显示设备时的特定位置,即对象可以在智能显示设备前任一位置与智能显示设备进行交互。这样,需要能够实时捕捉对象与智能显示设备的镜面之间的相对位置关系。为了解决该问题,可选地,智能显示设备10上还设置有摄像头,该摄像头主要用于对镜面前方的对象进行拍摄以获得对象的数字图像。值得说明的是,摄像头可实时拍摄镜面前方对象的数字图像从而形成视频流。基于此,步骤202的一种可选实施方式为:对镜面前方的对象进行拍摄以获得对象的数字图像;基于包含对象的数字图像计算对象与镜面之间的相对位置关系。
其中,摄像头的种类不同,基于其拍摄到的数字图像计算对象与镜面之间的相对位置关系也不同,其具体描述可参见上述智能显示设备实施例中的相关描述,在此不做赘述。
在智能显示设备包含摄像头的基础上,在步骤202中,可以向对象提供更为丰富的交互服务,展示更为丰富的交互内容。其具体描述可参见上述智能显示设备实施例中的相关描述,在此不做赘述。
在上述实施例或下述实施例中,在基于对象与镜面之间的相对位置关系,确定对象的镜像在电子屏幕上的映射区域时,可以以对象与镜面之间的相对位置关系为基础,结合平面镜成像原理,可以计算出对象的镜像在电子屏幕上的映射区域。
进一步,在上述实施例或下述实施例中,智能显示设备可通过在其电子屏幕上显示交互内容,例如,智能显示设备所属店铺的简介、对象的会员信息或向对象推荐的商品信息等,并借助智能显示设备的镜面透传给对象,实现与对象的交互。对于对象来说,一般不希望所显示的交互内容覆盖住自身在镜面的镜像。基于此,在步骤202中,可依据对象的镜像在电子屏幕上上的映射区域,确定电子屏幕上的内容显示区域,接着在该内容显示区域中显示与对象关联的交互内容,这可以根据对象的交互需求确定交互内容在电子屏幕上上的显示位置,有利于满足交互需求。
在一种可选实施方式中,确定内容显示区域的一种可选实施方式为:在确定对象的镜像在电子屏幕上的映射区域之后,直接根据对象的镜像在电子屏幕上的映射区域,确定该映射区域的周边区域作为内容显示区域。之后,在该内容显示区域内显示与对象关联的交互内容。例如,在服装店里,顾客在试一件外套时,在智能显示设备观看试装效果,便可根据摄像头拍摄的该顾客的数字图像,确定该顾客与智能显示设备的镜面之间的相对位置关系,并基于该相对位置关系,确定该顾客的镜像在电子屏幕上的映射区域;进一步确定该映射区域的周边区域为内容显示区域,并在该周边区域显示该外套的信息,例如,该外套的品牌、价格、打折活动、材质成本、洗涤注意事项等;或者,在该周边区域显示推荐商品的信息,例如,与该顾客目前所试外套配套的裤子、鞋子、帽子和相应的品牌、价格等。
在另一种可选实施方式中,对象以通过发出交互指令,控制智能显示设备显示交互内容,这可以增强交互体验度。在该可选实施方式中,在步骤202中确定内容显示区域的一种可选实施方式为:结合对象发出的交互指令与对象的镜像在电子屏幕上的映射区域,确定电子屏幕上的内容显示区域,进而在该内容显示区域中显示与交互指令绑定的交互内容。根据智能显示设备的硬件结构和功能的不同,对象发出交互指令的形式也会有所不同。对于含有语音识别功能的智能显示设备来说,对象发出的交互指令可以为语音类指令,但不限于此;对包含摄像头的智能显示设备来说,对象发出的交互指令可以为动作类指令,但不限于此。其中,不同的交互指令可以预先绑定不同的交互内容。下面结合智能显示设备的摄像头,以交互指令为动作类指令为例,对显示交互内容的过程进行示例性说明。
可选地,上述结合对象发出的交互指令与对象的镜像在电子屏幕上的映射区域,确定电子屏幕上的内容显示区域的一种可选实施方式为:从摄像头拍摄的数字图像中识别对象发出的交互指令;并结合该交互指令和对象在发出交互指令时的镜像所在电子屏幕上的映射区域,确定电子屏幕上的内容显示区域;并在该内容显示区域中显示与该交互指令绑定的交互内容。
进一步,可预存交互动作与交互指令的映射关系,以在用户发出动作时,识别出相应的交互指令。基于此,上述从摄像头拍摄的数字图像中识别对象发出的交互指令的一种可选实施方式为:从摄像头拍摄的数字图像中识别对象发出的动作,并将识别到的动作在预存的交互动作与交互指令的映射关系中进行匹配;当在交互动作与交互指令的映射关系中匹配到相同的动作时,获取匹配到的交互动作对应的交互指令作为该对象发出的交互指令。
可选地,电子屏幕上可显示与交互指令对应的交互控件,不同的交互控件可绑定不同的交互指令。交互控件的作用是供对象通过其向智能显示设备发出交互指令,即对象可针对交互控件发出交互动作,从而向智能显示设备发出交互指令。值得说明的是,这些交互控件可根据对象在针对相应交互控件发出交互动作之前的镜像在电子屏幕上的映射区域,在电子屏幕上除该映射区域之外的区域显示。
进一步,在电子屏幕上显示交互控件的情况下,上述从摄像头拍摄的数字图像中识别对象发出的交互指令的另一种可选实施方式为:从数字图像中识别对象发出的动作,并按照对象与镜面之间的相对位置关系,确定对象在发出该动作时的镜像在电子屏幕上的映射区域;当该映射区域与电子屏幕上的交互控件的位置满足设定的交叠条件时,确定对象发出的动作是针对该交互控件的,于是获取与该交互控件绑定的交互指令作为对象发出的交互指令。其中,设定的交叠条件主要用于识别对象发出的动作是否是针对交互控件的,例如交叠条件可以为对象在发出该动作时的镜像在电子屏幕上的映射区域与交互控件的位置交叠,进一步还可以设定二者交叠的时间大于设定的交叠时间阈值,但不限于此。
在确定对象发出交互指令之后,可结合交互指令与对象在发出交互指令时的镜像在电子屏幕上的映射区域,确定电子屏幕上的内容显示区域。其中,根据交互指令的不同,内容显示区域的位置也会有所不同。下面举例说明:
在一些应用场景中,对象可以向智能显示设备发出信息显示类指令,智能显示设备可根据该类指令向对象显示相关信息。对于对象来说,一般不希望所显示的相关信息覆盖住自身在镜面中的镜像。基于此,当对象发出的指令为信息显示类指令时,可依据对象在发出信息显示类指令时的镜像在电子屏幕上的映射区域,确定映射区域的周边区域作为内容显示区域,进而将相关信息显示在映射区域的周边区域中。
在另一些应用场景中,对于对象来说,一般希望所显示的交互内容尽可能与其镜像贴合。例如,对于上述服装店的应用场景,智能显示设备还可以提高虚拟试装服务。对于对象(进行试装的顾客)来说,希望尽可能达到真实的试装效果,即所虚拟试穿的衣物尽可能与人体贴合。基于此,当对象发出的指令为试装类指令或试妆类指令时,处理器可依据对象在发出试妆类指令时的镜像在电子屏幕上的映射区域,确定映射区域中与待试装部位或待试妆部位对应的部分区域作为内容显示区域。为了便于描述,将需要交互内容与镜像尽可能贴合的一些部位称为特定部位。
可选地,在上述应用场景中,可以结合摄像头拍摄到的对象的数字图像,确定映射区域中与特定部位对应的部分区域作为内容显示区域。例如,首先,根据对象的数字图像确定特定部位的轮廓C;若对象正对摄像头,则基于数字图像所确定的特定部位的轮廓C与镜像中相应部位的轮廓理论上会完全匹配,但实际中,对象不一定正对摄像头,故可以根据对象与摄像头之间的位置关系,计算出基于数字图像所确定的特定部位的轮廓C与镜像中相应部位的轮廓之间的位置和大小关系,根据该位置和大小关系调整基于数字图像所确定的特定部位的轮廓C,使之与镜像中相应部位的轮廓完全匹配,进而可根据调整后的特定部位的轮廓C来确定内容显示区域,以便在该内容显示区域展示交互内容。
在又一些应用场景中,对象可向智能显示设备发出标记类指令,可依据对象在发出所述标记类指令时的镜像在电子屏幕上的映射区域,确定映射区域中与待标记部位对应的部分区域的邻域作为信息显示区域内容显示区域。
在上述实施例或下述实施例中,可在内容显示区域内显示与对象关联的交互内容。参见上述实施例可知,可以获取预设内容作为与对象关联的交互内容显示在内容显示区域内,也可以获取与交互指令绑定的内容作为与对象关联的交互内容显示在内容显示区域内。无论是何种方式,均不对交互内容本身的内容做限定。交互内容本身的内容可根据应用场景灵活设置,例如可以对象的会员信息,向对象推荐的商品信息,智能显示设备所属店铺的简介,对象的试装效果,以及对象的试妆效果等等。这些示例性内容的显示方式和过程可参见上述相关场景实施例中的描述,在此不再赘述。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201至步骤203的执行主体可以为设备A;又比如,步骤201和202的执行主体可以为设备A,步骤203的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质。该计算机程序被一个或多个处理器执行时,可执行以下动作:通过智能显示设备的镜面对对象进行成像,以得到所述对象的镜像;根据所述对象与所述镜面之间的相对位置关系,在所述智能终端的电子屏幕上显示交互内容,所述交互内容与所述镜像对应。
除上述动作之外,当计算机可读存储介质中的计算机程序被一个或多个处理器执行时,还可执行上述方法实施例描述的其它动作或步骤,在此不再赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种智能显示设备,其特征在于,包括:显示屏和处理器,所述显示屏包括电子屏幕以及镜面;
所述镜面,用于显示对象的镜像;
所述处理器,用于根据所述对象与所述镜面之间的相对位置关系,在所述电子屏幕上显示交互内容,所述交互内容与所述镜像对应。
2.根据权利要求1所述的智能显示设备,其特征在于,还包括:摄像头;
所述摄像头,用于对所述对象进行拍摄以获得所述对象的数字图像,并将所述数字图像传输给所述处理器;
所述处理器具体用于:基于所述数字图像计算所述对象与所述镜面之间的相对位置关系。
3.根据权利要求2所述的智能显示设备,其特征在于,所述摄像头为深度摄像头,所述数字图像为深度图像;
所述处理器具体用于:基于所述深度图像包含的所述对象与所述深度摄像头之间的距离信息,计算所述对象与所述镜面之间的相对位置关系。
4.根据权利要求2所述的智能显示设备,其特征在于,所述处理器在显示所述交互内容时,具体用于:
基于所述相对位置关系,确定所述对象的镜像在所述电子屏幕上的映射区域;
依据所述对象的镜像在所述电子屏幕上的映射区域,确定所述电子屏幕上的内容显示区域;以及
在所述内容显示区域中显示与所述对象关联的交互内容。
5.根据权利要求4所述的智能显示设备,其特征在于,所述处理器在确定所述内容显示区域时,具体用于:
从所述数字图像中识别所述对象发出的交互指令;
结合所述交互指令和所述对象在发出所述交互指令时的镜像在所述电子屏幕上的映射区域,确定所述电子屏幕上的内容显示区域。
6.根据权利要求5所述的智能显示设备,其特征在于,所述处理器在识别所述交互指令时,具体用于:
从所述数字图像中识别所述对象发出的动作,将识别到的动作在交互动作与交互指令映射关系中进行匹配;当匹配到相同的交互动作时,从所述交互动作与交互指令映射关系中获取与匹配到的交互动作对应的交互指令作为所述对象发出的交互指令;或者
从所述数字图像中识别所述对象发出的动作,按照所述对象与所述镜面之间的相对位置关系,确定所述对象在发出所述动作时的镜像在所述电子屏幕上的映射区域;当所述映射区域与所述电子屏幕上的交互控件的位置满足设定的交叠条件时,获取与所述交互控件绑定的交互指令作为所述对象发出的交互指令。
7.根据权利要求5所述的智能显示设备,其特征在于,所述处理器在确定所述内容显示区域时,具体用于:
若所述交互指令为试妆类指令,依据所述对象在发出所述试妆类指令时的镜像在所述电子屏幕上的映射区域,确定所述映射区域中与待试妆部位对应的部分区域作为所述内容显示区域;或者
若所述交互指令为标记类指令,依据所述对象在发出所述标记类指令时的镜像在所述电子屏幕上的映射区域,确定所述映射区域中与待标记部位对应的部分区域的邻域作为所述内容显示区域;
若所述交互指令为信息显示类指令,依据所述对象在发出所述信息显示类指令时的镜像在所述电子屏幕上的映射区域,确定所述映射区域的周边区域作为所述内容显示区域。
8.根据权利要求6所述的智能显示设备,其特征在于,所述处理器还用于:根据所述对象在发出所述动作之前的镜像在所述电子屏幕上的映射区域,在所述电子屏幕上除所述映射区域之外的区域显示所述交互控件。
9.根据权利要求4所述的智能显示设备,其特征在于,所述处理器在确定所述内容显示区域时,具体用于:
直接依据所述对象的镜像在所述电子屏幕上的映射区域,确定所述映射区域的周边区域作为所述内容显示区域。
10.根据权利要求1所述的智能显示设备,其特征在于,所述交互内容包括交互控件,以供所述对象通过所述交互控件向所述智能显示设备发出交互指令。
11.根据权利要求1-10任一项所述的智能显示设备,其特征在于,所述处理器在显示所述交互内容时,具体用于执行以下至少一种显示操作:
在所述电子屏幕上显示所述对象的会员信息;
在所述电子屏幕上显示向所述对象推荐的商品信息;
在所述电子屏幕上显示所述智能显示设备所属店铺的简介;
在所述电子屏幕上显示所述对象的试装效果;
在所述电子屏幕上显示所述对象的试妆效果。
12.根据权利要求1-10任一项所述的智能显示设备,其特征在于,所述镜面为平面镜。
13.一种基于智能显示设备的交互方法,其特征在于,包括:
通过所述智能显示设备的镜面对对象进行成像,以得到所述对象的镜像;
根据所述对象与所述镜面之间的相对位置关系,在所述智能终端的电子屏幕上显示交互内容,所述交互内容与所述镜像对应。
14.根据权利要求13所述的方法,其特征在于,在根据所述对象与所述镜面之间的相对位置关系,在所述智能终端的电子屏幕上显示交互内容之前,还包括:
对所述对象进行拍摄以获得所述对象的数字图像;
基于所述数字图像计算所述对象与所述镜面之间的相对位置关系。
15.根据权利要求14所述的方法,其特征在于,根据所述对象与所述镜面之间的相对位置关系,在所述智能终端的电子屏幕上显示交互内容,包括:
基于所述相对位置关系,确定所述对象的镜像在所述电子屏幕上的映射区域;
依据所述对象的镜像在所述电子屏幕上的映射区域,确定所述电子屏幕上的内容显示区域;以及
在所述内容显示区域中显示与所述对象关联的交互内容。
16.根据权利要求15所述的方法,其特征在于,依据所述对象的镜像在所述电子屏幕上的映射区域,确定所述电子屏幕上的内容显示区域,包括:
从所述数字图像中识别所述对象发出的交互指令;
结合所述交互指令和所述对象在发出所述交互指令时的镜像在所述电子屏幕上的映射区域,确定所述电子屏幕上的内容显示区域。
17.根据权利要求16所述的方法,其特征在于,结合所述交互指令和所述对象在发出所述交互指令时的镜像在所述电子屏幕上的映射区域,确定所述电子屏幕上的内容显示区域,包括:
若所述交互指令为试妆类指令,依据所述对象在发出所述试妆类指令时的镜像在所述电子屏幕上的映射区域,确定所述映射区域中与待试妆部位对应的部分区域作为所述内容显示区域;或者
若所述交互指令为标记类指令,依据所述对象在发出所述标记类指令时的镜像在所述电子屏幕上的映射区域,确定所述映射区域中与待标记部位对应的部分区域的邻域作为所述内容显示区域;或者
若所述交互指令为信息显示类指令,依据所述对象在发出所述信息显示类指令时的镜像在所述电子屏幕上的映射区域,确定所述映射区域的周边区域作为所述内容显示区域。
18.根据权利要求17所述的方法,其特征在于,依据所述对象的镜像在所述电子屏幕上的映射区域,确定所述电子屏幕上的内容显示区域,包括:
直接依据所述对象的镜像在所述电子屏幕上的映射区域,确定所述映射区域的周边区域作为所述内容显示区域。
19.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被一个或多个处理器执行时,可执行以下动作:
通过智能显示设备的镜面对对象进行成像,以得到所述对象的镜像;
根据所述对象与所述镜面之间的相对位置关系,在所述智能终端的电子屏幕上显示交互内容,所述交互内容与所述镜像对应。
CN201811011694.3A 2018-08-31 2018-08-31 基于智能显示设备的交互方法、智能显示设备及存储介质 Active CN110874133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811011694.3A CN110874133B (zh) 2018-08-31 2018-08-31 基于智能显示设备的交互方法、智能显示设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811011694.3A CN110874133B (zh) 2018-08-31 2018-08-31 基于智能显示设备的交互方法、智能显示设备及存储介质

Publications (2)

Publication Number Publication Date
CN110874133A true CN110874133A (zh) 2020-03-10
CN110874133B CN110874133B (zh) 2023-04-21

Family

ID=69715789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811011694.3A Active CN110874133B (zh) 2018-08-31 2018-08-31 基于智能显示设备的交互方法、智能显示设备及存储介质

Country Status (1)

Country Link
CN (1) CN110874133B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422821A (zh) * 2020-11-01 2021-02-26 王小燕 一种基于互联网的智能终端图片拍摄与发布方法及系统
CN113079358A (zh) * 2021-04-13 2021-07-06 国网电力科学研究院有限公司 一种电网图形数据的生成方法及装置
CN113126768A (zh) * 2021-04-25 2021-07-16 百度在线网络技术(北京)有限公司 显示控制方法、装置、系统、设备以及存储介质
CN113301367A (zh) * 2021-03-23 2021-08-24 阿里巴巴新加坡控股有限公司 音视频处理方法、设备、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005009407A1 (de) * 2005-03-01 2006-09-14 Frank Weber Spiegelbildschirmsystem
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
WO2014100250A2 (en) * 2012-12-18 2014-06-26 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
CN104166509A (zh) * 2013-05-20 2014-11-26 华为技术有限公司 一种非接触式屏幕交互方法及系统
CN104223858A (zh) * 2014-09-28 2014-12-24 广州视睿电子科技有限公司 一种自识别智能镜子
CN104461006A (zh) * 2014-12-17 2015-03-25 卢晨华 一种基于自然用户界面的互联网智能镜
CN106178426A (zh) * 2014-10-21 2016-12-07 复旦大学附属华山医院 数字化仿真镜像治疗训练系统
CN106663277A (zh) * 2014-03-13 2017-05-10 电子湾有限公司 基于用户兴趣的交互显示器
CN107832745A (zh) * 2017-11-30 2018-03-23 深圳云天励飞技术有限公司 人脸认证方法、智能镜子及存储介质
CN107928275A (zh) * 2017-11-30 2018-04-20 深圳云天励飞技术有限公司 信息推荐方法、智能镜子及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005009407A1 (de) * 2005-03-01 2006-09-14 Frank Weber Spiegelbildschirmsystem
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
WO2014100250A2 (en) * 2012-12-18 2014-06-26 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
CN104166509A (zh) * 2013-05-20 2014-11-26 华为技术有限公司 一种非接触式屏幕交互方法及系统
CN106663277A (zh) * 2014-03-13 2017-05-10 电子湾有限公司 基于用户兴趣的交互显示器
CN104223858A (zh) * 2014-09-28 2014-12-24 广州视睿电子科技有限公司 一种自识别智能镜子
CN106178426A (zh) * 2014-10-21 2016-12-07 复旦大学附属华山医院 数字化仿真镜像治疗训练系统
CN104461006A (zh) * 2014-12-17 2015-03-25 卢晨华 一种基于自然用户界面的互联网智能镜
CN107832745A (zh) * 2017-11-30 2018-03-23 深圳云天励飞技术有限公司 人脸认证方法、智能镜子及存储介质
CN107928275A (zh) * 2017-11-30 2018-04-20 深圳云天励飞技术有限公司 信息推荐方法、智能镜子及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
I. SEPTIANA ASYIFA等: "Measuring performance of aerial projection of 3D Hologram Object (3DHO)" *
匿名: "苹果新专利:没有玻璃的交互全息触控屏幕" *
宋燕燕;曹效业;周灵;: "移动增强现实技术在互动展示中的应用研究" *
张琼;王志良;迟健男;史雪飞;: "基于平面镜面向双摄像机视线追踪系统的标定方法" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422821A (zh) * 2020-11-01 2021-02-26 王小燕 一种基于互联网的智能终端图片拍摄与发布方法及系统
CN112422821B (zh) * 2020-11-01 2022-01-04 艾普科创(北京)控股有限公司 一种基于互联网的智能终端图片拍摄与发布方法及系统
CN113301367A (zh) * 2021-03-23 2021-08-24 阿里巴巴新加坡控股有限公司 音视频处理方法、设备、系统及存储介质
CN113079358A (zh) * 2021-04-13 2021-07-06 国网电力科学研究院有限公司 一种电网图形数据的生成方法及装置
CN113126768A (zh) * 2021-04-25 2021-07-16 百度在线网络技术(北京)有限公司 显示控制方法、装置、系统、设备以及存储介质

Also Published As

Publication number Publication date
CN110874133B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN110874133B (zh) 基于智能显示设备的交互方法、智能显示设备及存储介质
Hwangbo et al. Use of the smart store for persuasive marketing and immersive customer experiences: A case study of Korean apparel enterprise
US8376226B2 (en) System and method for interactive marketing to consumers
US20200066052A1 (en) System and method of superimposing a three-dimensional (3d) virtual garment on to a real-time video of a user
CN111681070B (zh) 线上商品的购买方法、购买装置、存储装置及购买设备
US20110128223A1 (en) Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
US20180033045A1 (en) Method and system for personalized advertising
US20160080662A1 (en) Methods for extracting objects from digital images and for performing color change on the object
US20150170256A1 (en) Systems and Methods for Presenting Information Associated With a Three-Dimensional Location on a Two-Dimensional Display
CN107533727A (zh) 全息交互式零售系统
KR20170121720A (ko) Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체
US11308548B2 (en) Information processing methods and device for trying on clothes
US20130293581A1 (en) Back-to-Back Video Displays
WO2018190773A1 (en) Method and system for targeted advertising based on personal physical characteristics
US9881581B2 (en) System and method for the distribution of audio and projected visual content
KR20150000026A (ko) 사용자 인식기능을 이용하는 스마트 모바일 디지털 사이니지
KR20180000007A (ko) 증강현실을 이용한 쇼핑 유도 시스템
US11854068B2 (en) Frictionless inquiry processing
CN110348926B (zh) 门店系统、展示柜、物品信息展示方法及装置
CN111461837B (zh) 一种虚拟试妆系统
US10304125B1 (en) Method and system for color capture and presentation enhancement
CN110347460B (zh) 提示方法及装置
KR101885669B1 (ko) 투명 디스플레이 기반의 지능화 상품 전시 시스템 및 그 방법
KR20160145961A (ko) 소셜 네트워크 서비스(sns)에서 위치기반의 사용자 컨텐츠를 전자상거래로 연결하는 방법
CN113301243B (zh) 图像处理方法、交互方法、系统、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant