CN112348640A - 一种基于面部情感状态分析的在线购物系统及方法 - Google Patents

一种基于面部情感状态分析的在线购物系统及方法 Download PDF

Info

Publication number
CN112348640A
CN112348640A CN202011262630.8A CN202011262630A CN112348640A CN 112348640 A CN112348640 A CN 112348640A CN 202011262630 A CN202011262630 A CN 202011262630A CN 112348640 A CN112348640 A CN 112348640A
Authority
CN
China
Prior art keywords
user
facial
expression
shopping
emotional state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011262630.8A
Other languages
English (en)
Other versions
CN112348640B (zh
Inventor
解仑
潘航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202011262630.8A priority Critical patent/CN112348640B/zh
Priority to US17/120,300 priority patent/US20220148063A1/en
Publication of CN112348640A publication Critical patent/CN112348640A/zh
Application granted granted Critical
Publication of CN112348640B publication Critical patent/CN112348640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mathematical Physics (AREA)

Abstract

本发明公开了一种基于面部情感状态分析的在线购物系统及方法，所述系统包括：在线购物模块，用于向用户提供在线购物交互界面，并采集用户在线购物过程中的面部图像数据和交互行为数据；面部表情识别模块，用于根据采集的用户在线购物过程中的面部图像数据进行用户情感状态识别；购物意图分析模块，用于根据识别的用户情感状态和交互行为数据，判断用户的购物意图；购物推荐调整模块，用于根据判断出的用户的购物意图，动态调整对用户的商品推荐策略。本发明通过采集用户在购物过程中的面部图像数据来分析用户在购物环境中的情感状态，并结合用户与购物系统的交互行为，对用户的购物意图进行预测，给出相应的购物推荐，从而提升用户的购物体验。

Description

一种基于面部情感状态分析的在线购物系统及方法
技术领域
本发明涉及智能服务技术领域，特别涉及一种基于面部情感状态分析的在线购物系统及方法。
背景技术
近年来，人工智能和大数据等技术发展迅猛，以互联网、大数据为推动力的虚拟经济与实体经济结合，给人们的工作和生活方式带来革命性变化。其中网络购物打破了传统的购物模式，而基于数据驱动的推荐算法更是将商品属性、用户的浏览交易记录等个性化因素引入网络购物中，通过推荐算法分析用户的购物意图，给出相应的购物推荐列表，从而提高用户的购物效率。
传统的购物过程可以看作商家和客户的沟通交流过程，商家可以通过观察客户的面部情绪变化给出相应的商品推荐。但是在线购物过程却是一个人机交互的过程，购物系统往往不会对用户的面部情绪变化进行分析，而用户在交互过程中的情绪变化会对购物选择、购物效率产生一定的影响，这些购物推荐却很少考虑用户在购物环境中情感变化的影响，无法根据用户的情感给出相应的推荐。
发明内容
本发明的目的在于提供一种基于面部情感状态分析的在线购物系统及方法，针对目前在线购物中面部情感分析的缺失，基于宏表情和微表情相结合的面部情感识别方法，通过面部图像数据分析购物环境中用户情感状态的变化，依据不同的情感状态和人机交互的内容分析用户的购物意图，进而提升用户的购物体验。
为解决上述技术问题，本发明的实施例提供如下方案：
一种基于面部情感状态分析的在线购物系统，包括：
在线购物模块，用于向用户提供在线购物交互界面，并采集用户在线购物过程中的面部图像数据和交互行为数据；
面部表情识别模块，用于根据采集的用户在线购物过程中的面部图像数据进行用户情感状态识别；
购物意图分析模块，用于根据识别的用户情感状态和交互行为数据，判断用户的购物意图；
购物推荐调整模块，用于根据判断出的用户的购物意图，动态调整对用户的商品推荐策略。
优选地，所述在线购物模块包括：
登录子模块，用于供用户输入用户名和密码进行注册和登录系统，并将用户的账号信息和基本资料信息输入到用户数据库中进行储存；
展示子模块，包括三级结构，分别为主页、商品展示页、商品详情页，其中，所述主页为商品类别页；所述展示子模块用于在所述主页展示商品类别，以供用户从中选择感兴趣的商品类别进入所述商品展示页，随后在预定的时间内供用户从所述商品展示页展出的不同商品中选择感兴趣的商品进入所述商品详情页进行浏览；
采集子模块，用于采集用户在线购物过程中的面部图像数据和交互行为数据。
优选地，所述面部表情识别模块包括：
面部宏表情特征提取子模块，用于根据采集的面部图像数据提取面部宏表情特征；
面部微表情特征提取子模块，用于根据采集的面部图像数据提取面部微表情特征；
面部表情定位子模块，用于根据提取的面部宏表情特征和面部微表情特征对不同类型的面部表情进行定位；
面部情感状态识别子模块，用于对不同类型的面部表情特征进行有序的分层融合，并采用支持向量机构建面部情感状态识别的分类器对当前的用户情感状态进行分类。
优选地，所述面部宏表情特征提取子模块具体用于：
采用公开的宏表情数据集训练得到宏表情图像编码模型，所述宏表情图像编码模型为双线性卷积神经网络模型；
对采集到的面部图像数据进行降噪、分割、归一化预处理；
将预处理后的数据输入所述宏表情图像编码模型中，提取用户的面部宏表情特征。
优选地，所述面部微表情特征提取子模块具体用于：
采用公开的微表情数据集训练得到微表情图像编码模型，所述微表情图像编码模型为双流差分网络模型；
对采集到的面部图像数据进行降噪、分割、归一化预处理；
将预处理后的数据输入所述微表情图像编码模型中，提取用户的面部微表情特征。
优选地，所述面部表情定位子模块具体用于：
通过双线性卷积神经网络模型提取面部局部感兴趣区域的细粒度变化特征，定位数据采集过程中不同类型表情发生的持续时间；根据深层次的局部区域提取特征对面部宏表情、微表情和平静表情分类的影响，通过选取高效的面部局部特征与整体特征进行融合提高分类精度，对视频序列中每帧图像进行情感特征标记，实现对视频序列中的不同类型的面部表情进行定位。
优选地，所述面部情感状态识别子模块具体用于：
针对不同类型的面部表情特征进行有序的分层融合，根据支持向量机分类器从面部宏表情特征、面部微表情特征以及融合特征中抽取最能表征情感类别的特征，构建最优分类模型，以识别当前用户情感状态。
优选地，所述购物意图分析模块具体用于：
当用户情感状态识别为消极状态或者是用积极面部表情隐藏消极微表情状态，且用户的浏览时间较短，交互频率较高，则判断此时用户对购物内容不感兴趣；
当用户情感状态识别为积极状态或者是用消极面部表情隐藏积极微表情状态，且用户的浏览时间较长，交互频率较低，则判断此时用户对购物内容感兴趣。
优选地，所述购物推荐调整模块具体用于：
当用户情感状态表现为积极状态，同时与购物系统交互频率较低、浏览时间较长时，对用户推荐类似的商品；
当用户情感状态表现为消极状态，同时与购物系统交互频率较高、浏览时间较短时，调整对用户的商品推荐策略。
一种基于面部情感状态分析的在线购物方法，包括以下步骤：
向用户提供在线购物交互界面，并采集用户在线购物过程中的面部图像数据和交互行为数据；
根据采集的用户在线购物过程中的面部图像数据进行用户情感状态识别；
根据识别的用户情感状态和交互行为数据，判断用户的购物意图；
根据判断出的用户的购物意图，动态调整对用户的商品推荐策略。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，通过采集用户在购物过程中的面部图像数据来分析用户在购物环境中的情感状态，并根据用户情感状态的分析以及用户与购物系统的交互行为，对用户的购物意图进行预测，给出相应的购物推荐，从而提升用户的购物体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于面部情感状态分析的在线购物系统的结构示意图；
图2是本发明实施例的工作流程示意图；
图3是本发明实施例的一种具体框架示意图；
图4是本发明实施例的面部宏表情和微表情定位算法流程示意图；
图5是本发明实施例的基于多特征融合的面部情感识别模型示意图；
图6是本发明实施例的购物意图理解模型示意图；
图7是本发明实施例的基于情感状态的购物推荐调整流程示意图；
图8是本发明实施例提供的一种基于面部情感状态分析的在线购物方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的实施例首先提供了一种基于面部情感状态分析的在线购物系统，如图1所示，该系统包括：
在线购物模块101，用于向用户提供在线购物交互界面，并采集用户在线购物过程中的面部图像数据和交互行为数据；
面部表情识别模块102，用于根据采集的用户在线购物过程中的面部图像数据进行用户情感状态识别；
购物意图分析模块103，用于根据识别的用户情感状态和交互行为数据，判断用户的购物意图；
购物推荐调整模块104，用于根据判断出的用户的购物意图，动态调整对用户的商品推荐策略。
本发明实施例提供的在线购物系统通过采集用户在购物过程中的面部图像数据来分析用户在购物环境中的情感状态，并根据用户情感状态的分析以及用户与购物系统的交互行为，对用户的购物意图进行预测，给出相应的购物推荐，从而提升用户的购物体验。
图2为本发明实施例的工作流程示意图。首先，在线购物系统采集用户购物过程中的面部图像数据和交互过程中的人机交互行为数据，然后用户进入系统的主页浏览选择感兴趣的商品类别，随后在特定的时间内选择最感兴趣的物品进入商品展示页。在此过程中系统通过面部表情识别模块对采集的面部图像数据进行实时分析，对用户的购物过程进行持续地监控。当系统发现用户的情感状态持续变为消极的情感类别时，调整推荐的商品内容吸引用户注意力，当用户的情感状态为积极的情况时，同时根据用户的交互行为数据对用户的购物意图进行预测，持续推荐类似的商品内容。当用户满意推荐的购物选择时，结束本轮购物阶段，否则调整商品推荐内容，直至选择合适的商品，系统运行结束。
进一步地，在线购物模块101包括：
登录子模块，用于供用户输入用户名和密码进行注册和登录系统，并将用户的账号信息和基本资料信息输入到用户数据库中进行储存；登录成功后，进入个人空间，可以看到用户的基本个人信息；
展示子模块，包括三级结构，分别为主页(即商品类别页)、商品展示页、商品详情页；展示子模块用于在主页展示商品类别(例如：帆布包、手机壳、晴雨伞、键盘、鼠标等)，以供用户从中选择感兴趣的商品类别进入商品展示页(显示用户所选商品类别的不同商品，例如：不同类型的帆布包、不同类型的手机壳等)，随后在预定的时间内供用户从商品展示页展出的不同商品中选择感兴趣的商品进入商品详情页进行浏览，使用户可以从不同的商品中进行购买选择；
采集子模块，用于采集用户在线购物过程中的面部图像数据和交互行为数据。
进一步地，面部表情识别模块102包括：
面部宏表情特征提取子模块，用于根据采集的面部图像数据提取面部宏表情特征；
面部微表情特征提取子模块，用于根据采集的面部图像数据提取面部微表情特征；
面部表情定位子模块，用于根据提取的面部宏表情特征和面部微表情特征对不同类型的面部表情进行定位；
面部情感状态识别子模块，用于对不同类型的面部表情特征进行有序的分层融合，并采用支持向量机构建面部情感状态识别的分类器对当前的用户情感状态进行分类。
进一步地，所述面部宏表情特征提取子模块具体用于：
采用公开的宏表情数据集训练得到宏表情图像编码模型，所述宏表情图像编码模型为双线性卷积神经网络模型；
对采集到的面部图像数据进行降噪、分割、归一化预处理；
将预处理后的数据输入所述宏表情图像编码模型中，提取用户的面部宏表情特征。
进一步地，所述面部微表情特征提取子模块具体用于：
采用公开的微表情数据集训练得到微表情图像编码模型，所述微表情图像编码模型为双流差分网络模型；
对采集到的面部图像数据进行降噪、分割、归一化预处理；
将预处理后的数据输入所述微表情图像编码模型中，提取用户的面部微表情特征。
微表情用户在购物场景中不由自主流露出的一种短暂且不易被察觉的面部表情，同样采用公开的微表情数据集训练特征提取模型，与宏表情的不同之处在于，微表情持续时间短、低强度并且仅与面部局部相关，因此通过一种去身份信息的双流差分网络模型提取微表情特征。
进一步地，所述面部表情定位子模块具体用于：
通过双线性卷积神经网络模型提取面部局部感兴趣区域的细粒度变化特征，定位数据采集过程中不同类型表情发生的持续时间；根据深层次的局部区域提取特征对面部宏表情、微表情和平静表情分类的影响，通过选取高效的面部局部特征与整体特征进行融合提高分类精度，对视频序列中每帧图像进行情感特征标记，实现对视频序列中的不同类型的面部表情进行定位。
由于微表情相对宏表情持续时间短，强度低，使得微表情发生时图像与自然情况中性的面部表情差异不明显，微表情面部图像与自然面部图像的类别间的变化细微，因此将宏表情和微表情定位的任务转化为细粒度图像分类，通过双线性卷积神经网络模型提取细粒度图像变化的特征识别微表情与其他面部动作。同时考虑表情发生时面部局部区域相关的特征，进一步整合面部表情图像整体与局部关系，通过提取局部感兴趣区域的细粒度变化特征进一步辅助情感状态的分类。通过关注深层次的局部区域提取特征对面部微表情、宏表情和平静表情分类的影响，选取高效的局部特征与整体面部特征，通过特征融合的方式提高分类精度，实现视频序列中每帧图像进行情感特征的标记，进而对视频序列中的不同类型的面部表情定位。
进一步地，所述面部情感状态识别子模块具体用于：
针对不同类型的面部表情特征进行有序的分层融合，根据支持向量机分类器从面部宏表情特征、面部微表情特征以及融合特征中抽取最能表征情感类别的特征，构建最优分类模型，以识别当前用户情感状态。
其中，通过双线性卷积神经网络模型提取面部图像整体和局部区域的融合特征作为宏表情特征。而在微表情特征提取的过程中，将用户在开始购物时采集的第一帧平静状态下的面部图像作为基准输入到自编码网络模型获取用户的身份特征，将后续的每帧图像输入相同结构的自编码网络模型，提取每帧图像的面部微表情和身份信息的叠加特征，随后采用差分网络去除叠加特征中的身份信息保留微表情特征。为了获取最优的情感分类结果，首先将面部的宏表情和微表情特征进行加权融合输入到支持向量机模型进行第一次情感识别，通过阈值划分的方式将融合特征分类不够精准的图像通过宏表情和微表情特征进行分类，通过对不同类型表情特征进行有序的分层融合，能够对当前的用户的情感状态进行精确的识别，并应用到整个在线购物流程中，用于实时监测反馈用户购物过程中对商品的感兴趣程度，提高用户的购物效率。
进一步地，购物意图分析模块103具体用于：
当用户情感状态识别为消极状态或者是用积极面部表情隐藏消极微表情状态，且用户的浏览时间较短，交互频率较高，则判断此时用户对购物内容不感兴趣；
当用户情感状态识别为积极状态或者是用消极面部表情隐藏积极微表情状态，且用户的浏览时间较长，交互频率较低，则判断此时用户对购物内容感兴趣。
进一步地，购物推荐调整模块104具体用于：
当用户情感状态表现为积极状态，同时与购物系统交互频率较低、浏览时间较长时，对用户推荐类似的商品；
当用户情感状态表现为消极状态，同时与购物系统交互频率较高、浏览时间较短时，调整对用户的商品推荐策略。
作为本发明的一种具体实现方式，图3为本发明实施例提供的一种系统框架示意图，包括系统层、数据层、特征层、情感层、意图层、交互层。
所述的系统层为网络在线购物系统，用户通过输入用户名和密码进行注册和登录系统，用户登录账号并填写基本资料输入到用户数据库中储存，登录成功后，进入个人空间，可以看到用户的基本个人信息。
所述的数据层为系统采集用户在线购物过程中的面部图像数据和交互行为数据。面部图像数据采集模块主要用于采集用户在线购物时面部宏表情特征和微表情特征，定位不同类型面部表情的发生时间，进一步判断当前用户的情感状态；输入设备在线交互行为数据采集采用在线购物平台收集用户的商品浏览时长、交互设备的操作频率等行为数据，主要用于分析用户在线购物过程中商品浏览的时间和对商品的感兴趣程度。
所述的特征层包含面部宏表情、微表情特征特征提取以及交互数据特征提取。其中面部图像数据的宏表情特征提取采用大量公开表情数据集训练得到图像自编码模型提取面部图像的宏表情特征；针对用户在购物中不由自主流露出的短暂且不易被察觉的面部微表情，同样采用公开的微表情数据集训练特征提取模型，与宏表情的不同之处在于微表情持续时间短、低强度并且仅与面部局部相关，因此通过双流差分网络模型去身份信息提取微表情特征。针对交互数据的特征提取，提取出交互数据的中值、均值、最小值、最大值、范围、标准差、方差等统计特征。
所述的情感层为通过提取面部局部感兴趣区域的细粒度变化特征，定位数据采集过程不同类型表情发生的持续时间，关注深层次的局部区域提取特征对平静表情、微表情和其他面部状态分类的影响，通过相关特征选择算法，选取高效的局部特征与整体面部特征，通过特征融合的方式提高分类精度，对视频序列中每帧图像进行情感特征的标记，分析微表情的起始、峰值和终止点，实现视频序列中的面部微表情定位。同时针对不同类型表情特征进行有序的分层融合，根据支持向量机分类器对宏表情特征、微表情特征以及融合特征，抽取最能表征情感类别的特征，构建最优分类模型，识别当前用户的面部情感状态。
所述的意图层为在购物过程中通过用户的面部表情、微表情、浏览时间及交互频率是对当前购物内容感兴趣程度判别。当用户的表情为消极情感类别或者是用积极的面部表情隐藏自己消极的微表情类别时，同时用户的浏览时间较短，交互频率高，此时用户对购物内容不感兴趣。而当用户为积极的情感状态时，用户的浏览时间较长，交互频率较低，此时用户对购物内容感兴趣。
所述的交互层为购物推荐调整模块，依据在线购物系统对用户感兴趣程度的评定结果，判断系统是否更改推荐商品类别以及商品内容。购物推荐调整模块主要依赖于系统对面部表情的识别以及购物意图理解进行判断，当面部表情和微表情识别的结果为消极的情感状态时，系统判定用户此时处于感兴趣程度呈现下降状态，不适合该将该类商品内容推荐给用户，进而调整对用户的商品类别推荐，提升用户的购物效率。
图4为本发明实施例的面部宏表情和微表情定位算法流程示意图。该部分通过双线性卷积神经网络模型定位面部宏表情和微表情，其中由于微表情相对宏表情持续时间短，强度低，使得微表情发生时图像与自然情况中性的面部状态的差异不明显，会有微表情面部图像与自然面部图像的类别间变化细微的特点，因此将微表情定位的任务转化为细粒度图像分类，通过提取细粒度图像变化的特征识别微表情与其他面部动作，构建基于细粒度图像变化特征的微表情定位模型。同时考虑面部表情发生时仅与面部局部区域相关，该步骤将进一步关心表情面部图像整体与局部关系，提取局部感兴趣区域的细粒度变化特征可以进一步辅助情感状态的分类，本发明关注深层次的局部区域提取特征对平静表情、微表情和面部宏表情分类的影响，通过特征选择算法，选取高效的局部特征与整体面部特征，通过特征融合的方式提高分类精度，对视频序列中每帧图像进行情感特征的标记，实现视频序列中的不同类型的面部表情定位。
图5是本发明实施例的基于多特征融合的面部情感识别模型示意图。针对购物过程中面部表情变化的复杂性，通过双线性卷积神经网络模型和双流差分网络模型分别提取面部宏表情和微表情特征。其中双线性卷积神经网络模型采用面部图像整体和局部区域的融合特征作为宏表情特征。在微表情特征提取的过程中，将用户在开始购物时采集的第一帧平静状态下的面部图像作为基准输入到自编码网络模型获取用户的身份特征，将后续的每帧图像输入相同结构的自编码网络模型，提取每帧图像的面部微表情和身份信息的叠加特征，随后采用差分网络去除叠加特征中的身份信息保留微表情特征。为了获取最优的情感分类结果，本发明首先将面部的宏表情和微表情特征进行加权融合输入到支持向量机模型进行第一次情感识别，通过阈值划分的方式将融合特征分类不够精准的图像通过宏表情和微表情特征进行分类，通过对不同类型表情特征进行有序的分层融合，能够对当前的用户的情感状态进行精确的识别。
图6是本发明实施例的购物意图理解模型示意图。用户进行注册时会以问卷形式调查用户自身以往的购物倾向。如更倾向于生活用品购物还是学习体育用品购物，更习惯于了解商品的实用性还是商品的价格等，根据用户所填写的问卷答案形成购物倾向特征。用户进入系统主页选择商品类别后，开始采集用户的面部图像数据，每帧图像数据传入预先在宏表情数据集和微表情数据集预先训练的双线性卷积神经网络模型和双流差分网络模型，获取面部图像的细粒度图像特征作为宏表情特征，将双流差分特征作用微表情特征，通过特征加权融合获取最优的面部情感特征识别面部情感状态。同时，对系统采集的交互行为数据的交互时间和交互频率进行特征处理，提取交互数据的中值、均值、最小值、最大值、范围、标准差、方差等统计特征作为交互特征。根据用户的购物倾向特征、面部情感特征以及交互行为特征进行加权融合，判断用户的购物意图。当用户的表情表现为消极或者过积极的面部表情隐藏自己的消极的微表情时，用户对购物内容不感兴趣时，此时用户的浏览时间较短，交互频率高。当用户的表情通常更为积极或者惊讶，或用消极的面部表情隐藏积极的微表情情绪时，此时用户对购物内容不感兴趣，用户的浏览时间较长，交互频率较低。
图7是本发明实施例的基于情感状态的购物推荐调整流程示意图。在线购物系统需要完成向用户提供购物内容推荐并及时分析存储反馈其购物选择的功能，使用户能够进行高效的购物选择。当用户进入购物系统主页选择商品类别浏览商品时，系统开始采集用户的面部图像数据，通过分析用户的面部宏表情和微表情识别当前用户的情感状态，当用户出现消极的状态时，系统认为推荐给用户的商品为不能引起用户的关注，此时系统将变更对用户的商品推荐内容；当用户出现积极的情感状态时，系统认为推荐给用户的商品为感兴趣商品，并将持续给用户推荐类似的商品内容以供用户进行选择，同时会保存用户当前的情感内容。当用户对感兴趣的商品仍然没有选择购买时，持续的更改商品推荐直到完成购物为止。用户结束学习后，系统会自动保存整个在线购物过程中的情感变化趋势，方便系统查询用户任意时间段的购物状态，了解用户的感兴趣的学习内容，以便给用户后续推荐更优的购物选择。
本发明以在线购物过程中获得的面部图像数据为基础，针对用户购物交互感知认知中的图像模态的特性，通过对具有面部宏表情、微表情以及平静表情的动态变化、时空变化特点的交互数据进行处理，从而实现鲁棒情感认知、准确意图理解和流程购物交互，最终实现交互反馈过程的一体化，提升用户的购物体验。
相应地，本发明的实施例还提供了一种基于面部情感状态分析的在线购物方法，如图8所示，该方法包括以下步骤：
向用户提供在线购物交互界面，并采集用户在线购物过程中的面部图像数据和交互行为数据；
根据采集的用户在线购物过程中的面部图像数据进行用户情感状态识别；
根据识别的用户情感状态和交互行为数据，判断用户的购物意图；
根据判断出的用户的购物意图，动态调整对用户的商品推荐策略。
其中，各步骤的具体内容可参考上文所述实施例，此处不再赘述。
本发明实施例提供的在线购物方法通过采集用户在购物过程中的面部图像数据来分析用户在购物环境中的情感状态，并根据用户情感状态的分析以及用户与购物系统的交互行为，对用户的购物意图进行预测，给出相应的购物推荐，从而提升用户的购物体验。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于面部情感状态分析的在线购物系统，其特征在于，包括：
在线购物模块，用于向用户提供在线购物交互界面，并采集用户在线购物过程中的面部图像数据和交互行为数据；
面部表情识别模块，用于根据采集的用户在线购物过程中的面部图像数据进行用户情感状态识别；
购物意图分析模块，用于根据识别的用户情感状态和交互行为数据，判断用户的购物意图；
购物推荐调整模块，用于根据判断出的用户的购物意图，动态调整对用户的商品推荐策略。
2.根据权利要求1所述的基于面部情感状态分析的在线购物系统，其特征在于，所述在线购物模块包括：
登录子模块，用于供用户输入用户名和密码进行注册和登录系统，并将用户的账号信息和基本资料信息输入到用户数据库中进行储存；
展示子模块，包括三级结构，分别为主页、商品展示页、商品详情页，其中，所述主页为商品类别页；所述展示子模块用于在所述主页展示商品类别，以供用户从中选择感兴趣的商品类别进入所述商品展示页，随后在预定的时间内供用户从所述商品展示页展出的不同商品中选择感兴趣的商品进入所述商品详情页进行浏览；
采集子模块，用于采集用户在线购物过程中的面部图像数据和交互行为数据。
3.根据权利要求1所述的基于面部情感状态分析的在线购物系统，其特征在于，所述面部表情识别模块包括：
面部宏表情特征提取子模块，用于根据采集的面部图像数据提取面部宏表情特征；
面部微表情特征提取子模块，用于根据采集的面部图像数据提取面部微表情特征；
面部表情定位子模块，用于根据提取的面部宏表情特征和面部微表情特征对不同类型的面部表情进行定位；
面部情感状态识别子模块，用于对不同类型的面部表情特征进行有序的分层融合，并采用支持向量机构建面部情感状态识别的分类器对当前的用户情感状态进行分类。
4.根据权利要求3所述的基于面部情感状态分析的在线购物系统，其特征在于，所述面部宏表情特征提取子模块具体用于：
采用公开的宏表情数据集训练得到宏表情图像编码模型，所述宏表情图像编码模型为双线性卷积神经网络模型；
对采集到的面部图像数据进行降噪、分割、归一化预处理；
将预处理后的数据输入所述宏表情图像编码模型中，提取用户的面部宏表情特征。
5.根据权利要求3所述的基于面部情感状态分析的在线购物系统，其特征在于，所述面部微表情特征提取子模块具体用于：
采用公开的微表情数据集训练得到微表情图像编码模型，所述微表情图像编码模型为双流差分网络模型；
对采集到的面部图像数据进行降噪、分割、归一化预处理；
将预处理后的数据输入所述微表情图像编码模型中，提取用户的面部微表情特征。
6.根据权利要求3所述的基于面部情感状态分析的在线购物系统，其特征在于，所述面部表情定位子模块具体用于：
通过双线性卷积神经网络模型提取面部局部感兴趣区域的细粒度变化特征，定位数据采集过程中不同类型表情发生的持续时间；根据深层次的局部区域提取特征对面部宏表情、微表情和平静表情分类的影响，选取高效的面部局部特征与整体特征进行融合提高分类精度，对视频序列中每帧图像进行情感特征标记，实现对视频序列中的不同类型的面部表情进行定位。
7.根据权利要求3所述的基于面部情感状态分析的在线购物系统，其特征在于，所述面部情感状态识别子模块具体用于：
针对不同类型的面部表情特征进行有序的分层融合，根据支持向量机分类器从面部宏表情特征、面部微表情特征以及融合特征中抽取最能表征情感类别的特征，构建最优分类模型，以识别当前用户情感状态。
8.根据权利要求1所述的基于面部情感状态分析的在线购物系统，其特征在于，所述购物意图分析模块具体用于：
当用户情感状态识别为消极状态或者是用积极面部表情隐藏消极微表情状态，且用户的浏览时间较短，交互频率较高，则判断此时用户对购物内容不感兴趣；
当用户情感状态识别为积极状态或者是用消极面部表情隐藏积极微表情状态，且用户的浏览时间较长，交互频率较低，则判断此时用户对购物内容感兴趣。
9.根据权利要求1所述的基于面部情感状态分析的在线购物系统，其特征在于，所述购物推荐调整模块具体用于：
当用户情感状态表现为积极状态，同时与购物系统交互频率较低、浏览时间较长时，对用户推荐类似的商品；
当用户情感状态表现为消极状态，同时与购物系统交互频率较高、浏览时间较短时，调整对用户的商品推荐策略。
10.一种基于面部情感状态分析的在线购物方法，其特征在于，包括以下步骤：
向用户提供在线购物交互界面，并采集用户在线购物过程中的面部图像数据和交互行为数据；
根据采集的用户在线购物过程中的面部图像数据进行用户情感状态识别；
根据识别的用户情感状态和交互行为数据，判断用户的购物意图；
根据判断出的用户的购物意图，动态调整对用户的商品推荐策略。
CN202011262630.8A 2020-11-12 2020-11-12 一种基于面部情感状态分析的在线购物系统及方法 Active CN112348640B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011262630.8A CN112348640B (zh) 2020-11-12 2020-11-12 一种基于面部情感状态分析的在线购物系统及方法
US17/120,300 US20220148063A1 (en) 2020-11-12 2020-12-14 System and method for online shopping based on facial emotional state analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011262630.8A CN112348640B (zh) 2020-11-12 2020-11-12 一种基于面部情感状态分析的在线购物系统及方法

Publications (2)

Publication Number Publication Date
CN112348640A true CN112348640A (zh) 2021-02-09
CN112348640B CN112348640B (zh) 2021-08-13

Family

ID=74362728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011262630.8A Active CN112348640B (zh) 2020-11-12 2020-11-12 一种基于面部情感状态分析的在线购物系统及方法

Country Status (2)

Country Link
US (1) US20220148063A1 (zh)
CN (1) CN112348640B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053023A (zh) * 2021-03-16 2021-06-29 广东便捷神科技股份有限公司 一种基于人工智能技术的无人售货机
CN113204624A (zh) * 2021-06-07 2021-08-03 吉林大学 一种多特征融合的文本情感分析模型及装置
CN113297499A (zh) * 2021-06-22 2021-08-24 北京创世路信息技术有限公司 一种信息推荐系统、方法、计算机设备及存储介质
CN113742599A (zh) * 2021-11-05 2021-12-03 太平金融科技服务(上海)有限公司深圳分公司 内容推荐方法、装置、设备及计算机可读存储介质
CN117575662A (zh) * 2024-01-17 2024-02-20 深圳市微购科技有限公司 基于视频分析的商业智能化经营决策支撑系统及方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761569B (zh) * 2022-10-20 2023-07-04 之江实验室 一种基于情感分类的视频情感定位方法
CN115908722A (zh) * 2023-01-05 2023-04-04 杭州华鲤智能科技有限公司 一种生成3d人脸建模的方法
CN116308650B (zh) * 2023-03-13 2024-02-06 北京农夫铺子技术研究院 基于人工智能的智慧社区商品大数据沉浸式团购系统
CN116311479B (zh) * 2023-05-16 2023-07-21 四川轻化工大学 一种用于汽车解锁的人脸识别方法、系统和存储介质
CN116671919B (zh) * 2023-08-02 2023-10-20 电子科技大学 一种基于可穿戴设备的情绪检测提醒方法
CN116823408B (zh) * 2023-08-29 2023-12-01 小舟科技有限公司 基于虚拟现实的商品推荐方法、装置、终端及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800006A (zh) * 2012-07-23 2012-11-28 姚明东 基于客户购物意图挖掘的实时商品推荐方法
CN107123019A (zh) * 2017-03-28 2017-09-01 华南理工大学 一种基于生理数据与情绪识别的vr购物推荐系统及方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN108182624A (zh) * 2017-12-26 2018-06-19 努比亚技术有限公司 商品推荐方法、服务器及计算机可读存储介质
US20180218139A1 (en) * 2014-08-28 2018-08-02 Facetec, Inc. Facial recognition authentication system including path parameters
CN108647628A (zh) * 2018-05-07 2018-10-12 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN109034126A (zh) * 2018-08-31 2018-12-18 上海理工大学 一种基于光流主方向的微表情识别方法
CN109543603A (zh) * 2018-11-21 2019-03-29 山东大学 一种基于宏表情知识迁移的微表情识别方法
CN110097020A (zh) * 2019-05-10 2019-08-06 山东大学 一种基于联合稀疏字典学习的微表情识别方法
CN111274978A (zh) * 2020-01-22 2020-06-12 广东工业大学 一种微表情识别方法及装置
CN111598671A (zh) * 2020-07-20 2020-08-28 北京每日优鲜电子商务有限公司 一种基于人机交互的商品推荐方法
CN111695442A (zh) * 2020-05-21 2020-09-22 北京科技大学 一种基于多模态融合的在线学习智能辅助系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140195931A1 (en) * 2013-01-07 2014-07-10 dotbox, inc. Validated Product Recommendation System And Methods
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
US10846517B1 (en) * 2016-12-30 2020-11-24 Amazon Technologies, Inc. Content modification via emotion detection
US11226673B2 (en) * 2018-01-26 2022-01-18 Institute Of Software Chinese Academy Of Sciences Affective interaction systems, devices, and methods based on affective computing user interface
GB2619595A (en) * 2019-09-06 2023-12-13 Warner Bros Entertainment Inc Gesture-centric user interface

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800006A (zh) * 2012-07-23 2012-11-28 姚明东 基于客户购物意图挖掘的实时商品推荐方法
US20180218139A1 (en) * 2014-08-28 2018-08-02 Facetec, Inc. Facial recognition authentication system including path parameters
CN107123019A (zh) * 2017-03-28 2017-09-01 华南理工大学 一种基于生理数据与情绪识别的vr购物推荐系统及方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN108182624A (zh) * 2017-12-26 2018-06-19 努比亚技术有限公司 商品推荐方法、服务器及计算机可读存储介质
CN108647628A (zh) * 2018-05-07 2018-10-12 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN109034126A (zh) * 2018-08-31 2018-12-18 上海理工大学 一种基于光流主方向的微表情识别方法
CN109543603A (zh) * 2018-11-21 2019-03-29 山东大学 一种基于宏表情知识迁移的微表情识别方法
CN110097020A (zh) * 2019-05-10 2019-08-06 山东大学 一种基于联合稀疏字典学习的微表情识别方法
CN111274978A (zh) * 2020-01-22 2020-06-12 广东工业大学 一种微表情识别方法及装置
CN111695442A (zh) * 2020-05-21 2020-09-22 北京科技大学 一种基于多模态融合的在线学习智能辅助系统
CN111598671A (zh) * 2020-07-20 2020-08-28 北京每日优鲜电子商务有限公司 一种基于人机交互的商品推荐方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053023A (zh) * 2021-03-16 2021-06-29 广东便捷神科技股份有限公司 一种基于人工智能技术的无人售货机
CN113204624A (zh) * 2021-06-07 2021-08-03 吉林大学 一种多特征融合的文本情感分析模型及装置
CN113204624B (zh) * 2021-06-07 2022-06-14 吉林大学 一种多特征融合的文本情感分析模型及装置
CN113297499A (zh) * 2021-06-22 2021-08-24 北京创世路信息技术有限公司 一种信息推荐系统、方法、计算机设备及存储介质
CN113742599A (zh) * 2021-11-05 2021-12-03 太平金融科技服务(上海)有限公司深圳分公司 内容推荐方法、装置、设备及计算机可读存储介质
CN117575662A (zh) * 2024-01-17 2024-02-20 深圳市微购科技有限公司 基于视频分析的商业智能化经营决策支撑系统及方法
CN117575662B (zh) * 2024-01-17 2024-06-07 深圳市微购科技有限公司 基于视频分析的商业智能化经营决策支撑系统及方法

Also Published As

Publication number Publication date
CN112348640B (zh) 2021-08-13
US20220148063A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN112348640B (zh) 一种基于面部情感状态分析的在线购物系统及方法
CN109740466B (zh) 广告投放策略的获取方法、计算机可读存储介质
CN110910199B (zh) 项目信息的排序方法、装置、计算机设备及存储介质
CN113674037B (zh) 一种基于购物行为的数据采集和推荐方法
CN107305557A (zh) 内容推荐方法及装置
WO2014068567A1 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
KR102246109B1 (ko) 소비자 선호도에 기반한 상품 추천 시스템 및 방법
KR102218468B1 (ko) 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법
JP2003271084A (ja) 情報提供装置および情報提供方法
CN113946754A (zh) 基于用户画像的权益推荐方法、装置、设备及存储介质
CN114997956B (zh) 基于大数据的母婴产品智能推荐系统
CN115905593A (zh) 基于当季潮流风格对已有服装穿搭推荐的方法及系统
CN111680482A (zh) 一种标题图文生成方法及计算设备
Suman et al. Age gender and sentiment analysis to select relevant advertisements for a user using cnn
CN113449192A (zh) 一种基于手机银行的教育资源推荐方法和相关装置
Gautam et al. Perceptive advertising using standardised facial features
CN111539782A (zh) 基于深度学习的商户信息数据处理方法及其系统
CN115563176A (zh) 一种电子商务数据处理系统及方法
CN115408611A (zh) 菜单推荐方法、装置、计算机设备和存储介质
CN116523581A (zh) 用于感测用户购买意向的方法和系统、及车辆推荐系统
Morshed et al. Customer’s spontaneous facial expression recognition
Bouzakraoui et al. Towards a framework for customer emotion detection
CN114155057A (zh) 一种用于电子商务平台的商品推荐系统
CN113763123A (zh) 商品推荐与搜索方法、设备及存储介质
CN116611897B (zh) 基于人工智能的消息提醒方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant