CN107506748A - 电子购物方法和装置 - Google Patents

Abstract

本发明公开了一种电子购物方法和装置，其中，电子购物方法包括：提供物品详情页面；利用结构光获取用户的人脸三维模型；根据人脸三维模型识别用户的表情信息；以及当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中。本发明实施例的电子购物方法和装置，通过提供物品详情页面，并利用结构光获取用户的人脸三维模型，再根据人脸三维模型识别用户的表情信息；以及当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中，更加智能化，丰富了购物的形式，提高了便利性和趣味性。

Description

电子购物方法和装置

技术领域

本发明涉及信息处理技术领域，尤其涉及一种电子购物方法和装置。

背景技术

随着科技的高速发展，网上购物已经逐渐取代传统的购物方式，成为了一种现代的时尚购物潮流。通过互联网，人们可以在家或随时随地的进行购物和支付，省去了逛实体店的时间。目前，用户可以浏览购物网站，将自己感兴趣的物品添加到购物车中，再对购物车中的物品进行支付操作，就可以在家等待到货。然而，在选购物品时，通常是采取点击“加入购物车”按钮的方式将物品添加到购物车中，不够智能，且形式枯燥单一。

发明内容

本发明提供一种电子购物方法和装置，以解决现有技术中，当前购物不够智能，形式枯燥单一的问题。

本发明实施例提供一种电子购物方法，包括：提供物品详情页面；利用结构光获取用户的人脸三维模型；根据所述人脸三维模型识别所述用户的表情信息；以及当所述表情信息达到预设条件时，将所述物品详情页面中的展示的物品添加至购物车中。

本发明另一实施例提供一种电子购物装置，包括：提供模块，用于提供物品详情页面；获取模块，用于利用结构光获取用户的人脸三维模型；识别模块，用于根据所述人脸三维模型识别所述用户的表情信息；以及处理模块，用于当所述表情信息达到预设条件时，将所述物品详情页面中的展示的物品添加至购物车中。

本发明又一实施例提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器用于执行本发明第一方面实施例所述的电子购物方法。

本发明还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述的电子购物方法。

本发明实施例提供的技术方案可以包括以下有益效果：

通过提供物品详情页面，并利用结构光获取用户的人脸三维模型，再根据所述人脸三维模型识别所述用户的表情信息；以及当所述表情信息达到预设条件时，将所述物品详情页面中的展示的物品添加至购物车中，更加智能化，丰富了购物的形式，提高了便利性和趣味性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的电子购物方法的流程图；

图2是根据本发明一个实施例的结构光测量的场景示意图；

图3是根据本发明一个实施例的电子购物装置的结构框图；

图4是根据本发明另一个实施例的电子购物装置的结构框图；

图5是根据本发明一个实施例的图像处理装置的结构示意图；

图6是根据本发明一个实施例的终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的电子购物方法和装置。

图1是根据本发明一个实施例的电子购物方法的流程图。

如图1所示，该电子购物方法包括：

S101，提供物品详情页面。

在购物场景中，通常会首先进入购物网站的首页，用户可以基于首页的推荐或者输入关键词查看自己感兴趣的物品，点击进入该物品相应的详情介绍页面，用户可以从中得到更多详细的信息，再决定是否进行加入购物车或者直接进行购买。如果用户决定购买该物品，则可以点击“加入购物车”按钮，从而将物品添加到购物车中，随后进行支付。但是，这种方式不够智能，在用户将物品加入购物车之后才会得知用户确实想购买该物品。因此，本发明提出一种电子购物方法，能够方便地、智能地将用户想买的物品添加到购物车中，省去点击操作带来的不便。

在本发明的一个实施例中，可提供一个物品详情页面。其中，物品详情页面中可展示物品相关的详细信息，用户可通过浏览详细信息进行决策是否购买物品。

S102，利用结构光获取用户的人脸三维模型。

其中，可基于结构光对用户进行人脸三维模型的相关信息的采集，比如，激光条纹、格雷码、正弦条纹、或者，非均匀散斑等，由此，由于结构光可以基于人脸的轮廓和深度信息对人脸三维模型的相关信息的采集，相较于仅仅根据摄像头拍照采集二维图像信息的方式，准确度更高。

为了使得本领域的技术人员更加清楚的了解，如何根据结构光来采集用户的人脸三维模型的相关信息，下面以一种应用广泛的条纹投影技术为例来阐述其具体原理，其中，条形投影技术属于广义上的面结构光。

在使用面结构光投影的时候，如图2所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用CCD相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定，包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定，否则很可能产生误差或者误差耦合。因为系统外部参数不标定则不可能由相位计算出正确的高度信息。

应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述条纹之外，还可是其他任意图案。

在本发明的一个实施例中，可向用户的人脸投射结构光，并获取经过用户人脸的结构光图像，然后根据结构光图像生成用户的人脸三维模型。

具体地，可解调结构光图像中变形位置像素对应的相位信息，然后将相位信息转化为高度信息，再根据高度信息获取用户的人脸三维模型。

需要说明的是，根据应用场景的不同，可采用不同的方式基于结构光图像获取人脸三维模型，举例如下：解调结构光图像中变形位置像素对应的相位信息，将相位信息转化为高度信息，根据高度信息获取与结构光图像对应的人脸三维模型。当然，也可以结合轮廓识别技术，基于人脸三维模型，识别出用户人脸的轮廓，根据该轮廓可获取更精准的人脸三维模型。

S103，根据人脸三维模型识别用户的表情信息。

具体地，可提取人脸三维模型中的特征信息，再将特征信息与预先建立的表情数据库中的表情样本进行匹配，然后获取与特征信息一致的表情样本，并将其作为用户的表情信息。

此外，在进行匹配之前，需要先建立表情数据库。具体地，可采集用户做出的表情信息，然后定义该表情信息的名称，从而生成表情样本。随后，将生成的多个表情样本保存至表情数据库中。

S104，当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中。

其中，预设条件可以是表情信息与预设表情一致，该预设表情与“将物品详情页面中的展示的物品添加至购物车中”这一操作具有对应的关系。当然，预设条件也可以是表情信息保持了一定的时长没有变化。

举例来说，预先设置了“微笑”这一表情与“添加购物车”操作相对应。当用户在查看物品详情页面时，如果检测到用户的表情为微笑，那么可执行与其相对应的操作，即将这一物品详情页面中对应的物品添加到购物车中。或者，预先设置了用户的眼睛注视屏幕10秒钟保持不变与“添加购物车”操作相对应。当用户在查看物品详情页面时，如果检测到用户的眼睛始终注视在屏幕的某一区域保持了10秒钟，那么说明用户对这个物品十分感兴趣，则可直接将该物品添加到购物车中。

本发明实施例的电子购物方法，通过提供物品详情页面，并利用结构光获取用户的人脸三维模型，再根据人脸三维模型识别用户的表情信息；以及当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中，更加智能化，丰富了购物的形式，提高了便利性和趣味性。

为了实现上述实施例，本发明还提出了一种电子购物装置，图3是根据本发明一个实施例的电子购物装置的结构框图，如图3所示，该装置包括提供模块310、获取模块320、识别模块330和处理模块340。

其中，提供模块310，用于提供物品详情页面。

获取模块320，用于利用结构光获取用户的人脸三维模型。

识别模块330，用于根据人脸三维模型识别用户的表情信息。

处理模块340，用于当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中。

此外，如图4所示，电子购物装置还可包括建立模块350。

建立模块350，用于在将特征信息与预先建立的表情数据库中的表情样本进行匹配之前，建立表情数据库。

需要说明的是，前述对电子购物方法的解释说明，也适用于本发明实施例的电子购物装置，本发明实施例中未公布的细节，在此不再赘述。

本发明实施例的电子购物装置，通过提供物品详情页面，并利用结构光获取用户的人脸三维模型，再根据人脸三维模型识别用户的表情信息；以及当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中，更加智能化，丰富了购物的形式，提高了便利性和趣味性。

为了实现上述实施例，本发明还提出了一种终端设备。

如图5所示，终端设备1000包括图像处理装置100。图像处理装置100可以利用硬件和/或软件实现。图像处理装置100包括成像设备10和处理器20。

成像设备10包括可见光摄像头11和深度图像采集组件12。

具体地，可见光摄像头11包括图像传感器111和透镜112，可见光摄像头11可用于捕捉当前用户的彩色信息以获得场景图像，其中，图像传感器111包括彩色滤镜阵列(如Bayer滤镜阵列)，透镜112的个数可为一个或多个。可见光摄像头11在获取场景图像过程中，图像传感器111中的每一个成像像素感应来自拍摄场景中的光强度和波长信息，生成一组原始图像数据；图像传感器111将该组原始图像数据发送至处理器20中，处理器20对原始图像数据进行去噪、插值等运算后即得到彩色的场景图像。处理器20可按多种格式对原始图像数据中的每个图像像素逐一处理，例如，每个图像像素可具有8、10、12或14比特的位深度，处理器20可按相同或不同的位深度对每一个图像像素进行处理。

深度图像采集组件12包括结构光投射器121和结构光摄像头122，深度图像采集组件12可用于捕捉当前用户的深度信息以得到深度图像。结构光投射器121用于将结构光投射至当前用户，其中，结构光图案可以是激光条纹、格雷码、正弦条纹或者随机排列的散斑图案等。结构光摄像头122包括图像传感器1221和透镜1222，透镜1222的个数可为一个或多个。图像传感器1221用于捕捉结构光投射器121投射至当前用户上的结构光图像。结构光图像可由深度采集组件12发送至处理器20进行解调、相位恢复、相位信息计算等处理以获取当前用户的深度信息。

在某些实施方式中，可见光摄像头11与结构光摄像头122的功能可由一个摄像头实现，也即是说，成像设备10仅包括一个摄像头和一个结构光投射器121，上述摄像头不仅可以拍摄场景图像，还可拍摄结构光图像。

除了采用结构光获取深度图像外，还可通过双目视觉方法、基于飞行时间差(Timeof Flight，TOF)等深度像获取方法来获取当前用户的深度图像。

处理器20进一步用于利用结构光获取用户的人脸三维模型；根据人脸三维模型识别用户的表情信息；以及当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中。应当理解的是，此处的处理器20不仅可以进行图像相关的处理，也可以执行其他针对终端设备1000的相关指令。

此外，图像处理装置100还包括图像存储器30。图像存储器30可内嵌在电子装置1000中，也可以是独立于电子装置1000外的存储器，并可包括直接存储器存取(DirectMemory Access，DMA)特征。可见光摄像头11采集的原始图像数据或深度图像采集组件12采集的结构光图像相关数据均可传送至图像存储器30中进行存储或缓存。处理器20可从图像存储器30中读取原始图像数据以进行处理得到场景图像，也可从图像存储器30中读取结构光图像相关数据以进行处理得到深度图像。另外，场景图像和深度图像还可存储在图像存储器30中，以供处理器20随时调用处理。

图像处理装置100还包括控制逻辑器40。成像设备10在成像时，处理器20会根据成像设备获取的数据进行分析以确定成像设备10的一个或多个控制参数(例如，曝光时间等)的图像统计信息。处理器20将图像统计信息发送至控制逻辑器40，控制逻辑器40控制成像设备10以确定好的控制参数进行成像。控制逻辑器40可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的图像统计信息确定成像设备10的控制参数。

图像处理装置100还可包括显示器50。显示器50可以显示物品详情页面，以供用户查看。

如图6所示，本发明实施方式的终端设备1000包括一个或多个处理器200、存储器300和一个或多个程序301。其中一个或多个程序301被存储在存储器300中，并且被配置成由一个或多个处理器200执行。程序301包括用于执行上述任意一项实施方式的电子购物方法的指令。

例如，程序301包括用于执行以下步骤的电子购物方法的指令：

S101’，提供物品详情页面。

S102’，利用结构光获取用户的人脸三维模型。

S103’，根据人脸三维模型识别用户的表情信息。

S104’，当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中。

本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置1000结合使用的计算机程序。计算机程序可被处理器200执行以完成上述任意一项实施方式的电子购物方法。

例如，计算机程序可被处理器200执行以完成以下步骤的电子购物方法：

S101’，提供物品详情页面。

S102’，利用结构光获取用户的人脸三维模型。

S103’，根据人脸三维模型识别用户的表情信息。

S104’，当表情信息达到预设条件时，将物品详情页面中的展示的物品添加至购物车中。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种电子购物方法，其特征在于，包括：

提供物品详情页面；

利用结构光获取用户的人脸三维模型；

根据所述人脸三维模型识别所述用户的表情信息；以及

当所述表情信息达到预设条件时，将所述物品详情页面中的展示的物品添加至购物车中。

2.如权利要求1所述的方法，其特征在于，利用结构光获取用户的人脸三维模型，包括：

向所述用户的人脸投射结构光，并获取经过所述人脸的结构光图像；

根据所述结构光图像生成所述人脸三维模型。

3.如权利要求2所述的方法，其特征在于，根据所述结构光图像生成所述人脸三维模型，包括：

解调所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息获取所述人脸三维模型。

4.如权利要求1所述的方法，其特征在于，根据所述人脸三维模型识别所述用户的表情信息，包括：

提取所述人脸三维模型中的特征信息；

将所述特征信息与预先建立的表情数据库中的表情样本进行匹配；

获取与所述特征信息一致的表情样本，并将其作为所述用户的表情信息。

5.如权利要求4所述的方法，其特征在于，在将所述特征信息与预先建立的表情数据库中的表情样本进行匹配之前，还包括：

建立表情数据库。

6.一种电子购物装置，其特征在于，包括：

提供模块，用于提供物品详情页面；

获取模块，用于利用结构光获取用户的人脸三维模型；

识别模块，用于根据所述人脸三维模型识别所述用户的表情信息；以及

处理模块，用于当所述表情信息达到预设条件时，将所述物品详情页面中的展示的物品添加至购物车中。

7.如权利要求6所述的装置，其特征在于，所述获取模块，用于：

向所述用户的人脸投射结构光，并获取经过所述人脸的结构光图像；

根据所述结构光图像生成所述人脸三维模型。

8.如权利要求7所述的装置，其特征在于，所述获取模块，用于：

解调所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息获取所述人脸三维模型。

9.如权利要求6所述的装置，其特征在于，所述识别模块，用于：

提取所述人脸三维模型中的特征信息；

将所述特征信息与预先建立的表情数据库中的表情样本进行匹配；

获取与所述特征信息一致的表情样本，并将其作为所述用户的表情信息。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

建立模块，用于在将所述特征信息与预先建立的表情数据库中的表情样本进行匹配之前，建立表情数据库。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的电子购物方法。

12.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的电子购物方法。