CN110249360B - 用于推荐产品的装置和方法 - Google Patents

用于推荐产品的装置和方法 Download PDF

Info

Publication number
CN110249360B
CN110249360B CN201880008158.XA CN201880008158A CN110249360B CN 110249360 B CN110249360 B CN 110249360B CN 201880008158 A CN201880008158 A CN 201880008158A CN 110249360 B CN110249360 B CN 110249360B
Authority
CN
China
Prior art keywords
product
user
satisfaction
product group
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880008158.XA
Other languages
English (en)
Other versions
CN110249360A (zh
Inventor
尹昭正
张峻翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110249360A publication Critical patent/CN110249360A/zh
Application granted granted Critical
Publication of CN110249360B publication Critical patent/CN110249360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

提供了一种人工智能(AI)系统及其应用，所述人工智能系统用于通过使用诸如深度学习的机器学习算法来模拟诸如感知和判断的人脑功能。提供了一种用于通过人工智能系统基于用户的面部表情信息向用户推荐产品的装置和方法。由装置执行的用于推荐产品的方法包括以下步骤：显示由用户选择的产品；获取关于用户对于显示的产品的面部表情的信息；基于获取的关于用户的面部表情的信息来确定用户对显示的产品的满意度；基于确定的用户满意度从多个产品组中选择将被推荐给用户的产品组；并显示选择的产品组中包括的至少一个产品。

Description

用于推荐产品的装置和方法
技术领域
本公开涉及一种用于推荐产品的装置和方法，更具体地，涉及一种基于用户针对显示的产品的面部表情信息向用户推荐产品的装置和方法。
背景技术
人工智能(AI)系统是用于实现人类智能的计算机系统。与现有的基于规则的智能系统不同，AI系统是机器学习、判断并变得智能的系统。随着AI系统被更多地使用，识别率提高，用户的品味也被更准确地理解。因此，现有的基于规则的智能系统正逐渐被基于深度学习的AI系统所取代。
AI技术包括机器学习和利用机器学习(深度学习)的元技术。
机器学习是自主地对输入数据的特征进行分类/学习的算法技术，而元技术是通过使用诸如深度学习的机器学习算法来模拟诸如人脑识别和判断的功能的技术。元技术由诸如语言理解、视觉理解、推理/预测、知识表示、运动控制等技术领域组成。
应用AI技术的各个领域如下。语言理解是用于识别并应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、问答、语音识别/合成等。视觉理解是用于将对象识别并处理为人类视觉的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推理预测是用于判断并逻辑推理和预测信息的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。知识表示是用于将人类经验信息自动化为知识数据的技术，并且包括知识构建(数据生成/分类)和知识管理(数据利用)。运动控制是用于控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(导航、碰撞、驾驶)、操作员控制(行为控制)等。
随着多媒体技术和网络技术的发展，用户能够使用装置接收各种服务。具体地，随着面部识别技术的进步，用户已经能够通过面部表情来表达他们的感受并且能够根据用户的面部表情信息执行装置的操作。
然而，在传统意义上，存在难以从用户的面部表情准确地识别用户关于产品的感受的问题，并且即使识别出用户的感受，也难以推荐适合用户的另一种产品。因此，需要基于用户的面部表情向用户有效地推荐产品的技术。
实施例描述
技术问题
一实施例提供了一种使用通过使用人工智能算法训练出的训练模型，从用户的面部表情信息选择将向用户推荐的产品的装置和方法。
一实施例提供了一种从用户的面部表情信息确定用户对产品的满意度，并基于确定的满意度选择将被推荐给用户的产品的装置和方法。
另外，一实施例提供了一种基于用户对产品的满意度和多个产品组之间的相似度来选择将被推荐给用户的产品的装置和方法。
此外，一实施例提供了一种基于用户对产品的满意度和购买过该产品的其他用户的购买历史信息来选择将被推荐给用户的产品的装置和方法。
解决方案
作为用于实现上述技术问题的技术装置，一实施例可以提供一种装置，该装置包括：显示器；用于拍摄用户的相机；存储至少一个程序的存储器；以及至少一个处理器，用于通过执行至少一个程序基于用户的面部表情信息来推荐产品，其中，所述至少一个程序包括用于以下操作的指令：获得用户对于显示的产品的面部表情信息；基于获得的用户的面部表情信息确定用户对显示的产品的满意度；基于确定的用户满意度从多个产品组中选择将被推荐给用户的产品组；并且显示包括在选择的产品组中的至少一个产品，其中，确定用户满意度的操作包括使用通过使用人工智能算法训练出的训练模型从面部表情信息确定用户满意度。
附图说明
图1是根据实施例的装置1000获得关于用户的情绪状态的信息并推荐产品的示例的示图。
图2是根据实施例的由装置1000执行的基于用户的面部表情信息来推荐产品的方法的流程图。
图3a和图3b是根据实施例的装置1000基于用户的面部表情信息确定满意度的示例的示图。
图4是根据实施例的由装置1000执行的基于用户满意度和产品组之间的相似度来推荐产品的方法的流程图。
图5a和图5b是根据实施例的装置1000基于用户满意度和产品组之间的相似度来推荐产品组的示例的示图。
图6是根据实施例的由装置1000基于用户满意度和相关信息来推荐产品的方法的流程图。
图7是根据实施例的由装置1000执行的基于面部表情信息和操作信息来推荐产品的方法的流程图。
图8是根据实施例的装置1000推荐包括可与显示的产品一起穿戴的其他产品的产品组的示例的示图。
图9是根据实施例的由装置1000执行的确定用户是否已购买产品的方法的流程图。
图10和图11是根据实施例的装置1000的框图。
图12是根据实施例的处理器1300的框图。
图13是根据实施例的数据学习单元1310的框图。
图14是根据实施例的数据识别单元1320的框图。
图15是根据实施例的装置1000和服务器2000彼此互锁以学习并识别数据的示例的示图。
最佳实施方式
作为用于解决上述技术问题的技术装置，本公开的第一方面可以提供一种装置，该装置包括：显示器；用于拍摄用户的相机；存储至少一个程序的存储器；以及至少一个处理器，用于通过执行至少一个程序基于用户的面部表情信息来推荐产品，其中，所述至少一个程序包括用于以下操作的指令：获得用户对于显示的产品的面部表情信息；基于获得的用户的面部表情信息来确定用户对显示的产品的满意度；基于确定的用户满意度从多个产品组中选择将被推荐给用户的产品组；并且显示包括在选择的产品组中的至少一个产品，其中，确定用户满意度的操作包括使用通过使用人工智能算法训练出的训练模型从面部表情信息确定用户满意度。
此外，本公开的第二方面可以提供一种由装置执行的推荐产品的方法，该方法包括：显示由用户选择的产品；获得用户关于显示的产品的面部表情信息；基于获得的用户的面部表情信息来确定用户对显示的产品的满意度；基于确定的用户满意度从多个产品组中选择将被推荐给用户的产品组；显示包括在选择的产品组中的至少一个产品，其中，所述装置使用通过使用人工智能算法训练出的训练模型从所述面部表情信息确定满意度。
此外，本公开的第三方面可以提供一种记录有程序的非暂时性计算机可读记录介质，所述程序用于执行第二方面的所述方法。
在一实施例中，所述方法的特征在于，相关信息可包括用户性别、用户身高、用户体重、用户年龄、用户购买历史、用户职业、用户服装和用户收入中的至少一个。
在一实施例中，所述方法的特征在于，操作信息可包括关于用户的手势、用户的注视方向和用户观看显示的产品的持续时间中的至少一个的信息。
在一实施例中，所述方法可以包括：基于其他用户对于显示的产品的购买历史信息来选择将被推荐的产品组。
在一实施例中，所述方法还可以包括：基于确定的用户满意度来显示用于确定是否购买显示的产品的GUI。
发明模式
现在将详细参考本公开的实施例，其中，本公开的实施例的示例在附图中被示出。在这方面，本公开可以具有不同的形式，并且不应该被解释为限于本文阐述的描述。另外，为了清楚和简明，将省略对公知的功能和结构的描述，并且在整个说明书中相似的附图标号被分配给相似的元件。
在整个说明书中，将被理解，当单元被称为“被连接”到另一元件时，它可以“直接被连接”到另一元件或在存在中间元件的状态下“被电连接”到另一元件。另外，将被理解，当单元被称为“包括”另一元件时，它可以不排除另一元件，而是可以进一步包括另一元件，除非有特别相反地指示。
在下文中，将参照附图详细描述本公开。
图1是根据实施例的装置1000获得关于用户的情绪状态的信息并推荐产品的示例的示图。
参照图1，装置1000可以获得用户关于产品组510或显示的产品511的情绪状态的信息，并且可以基于获得的情绪信息确定用户满意度。装置1000可以基于确定的用户满意度来选择将被推荐给用户的产品组530。装置1000还可以基于多个产品组之间的相似度或其他用户的购买历史信息来选择将被推荐给用户的产品组530。另外，装置1000可以推荐产品组或产品组中的产品。
关于用户的情绪状态的信息可以是关于用户对于显示在装置1000上的产品511的情绪状态的信息。用户的情绪状态可以包括但不限于生气、悲伤、惊讶、喜悦、快乐等。
装置1000还可以从用户的面部表情信息、用户的语音信息或操作信息获得关于用户的情绪状态的信息。例如，装置1000可以使用相机1610获得用户关于显示的产品511的面部表情信息，并且可以基于用户的面部表情信息中示出的用户的情绪状态来获得用户关于产品511的情绪状态信息。另外，装置1000可以使用麦克风1620获得用户关于显示的产品511的语音信息，并且可以基于获得的语音信息中包括的用户的情绪状态来获得关于用户对于产品511的情绪状态的信息。此外，装置1000可以使用相机1610获得关于显示的产品511的操作信息，并且可以基于获得的操作信息中示出的用户的情绪状态来获得关于用户对于产品511的情绪状态的信息。
装置1000可以是但不限于如图1所示的数字标牌，并且可以包括包含显示器1210和相机1610的任何类型的装置。例如，装置1000可以是但不限于智能电话、平板个人计算机(PC)、PC、智能电视(TV)、移动电话、个人数字助理(PDA)、膝上型计算机、媒体播放器、微型服务器、全球定位系统(GPS)装置、电子书终端、数字广播终端、导航装置、自助服务终端、MP3播放器、数码相机、家用电器以及其他移动或非移动计算装置。此外，装置1000可以是但不限于可穿戴装置，诸如具有通信功能和数据处理功能的手表、眼镜、发带或环。
图2是根据实施例的由装置1000执行的基于用户的面部表情信息推荐产品的方法的流程图。
参照图2，在操作S200，装置1000可以显示产品。在实施例中，装置1000可以显示产品组中包括的产品之一，并且可以根据预定顺序以特定时间间隔逐个显示产品组中包括的产品。
另外，装置1000可以显示从存储在装置1000或服务器中的产品之中的具有最高销量的产品，或者可以显示用户最近搜索过的产品。
在实施例中，装置1000可以显示由用户选择的产品。装置1000可以响应于用户选择一个产品的输入来显示选择的产品。用户可以通过触摸例如装置1000中设置的显示器1210来选择产品，并且可以在装置1000中设置的标识显示识别装置上预先识别产品中包括的标识显示(例如，条形码、产品标识码、电子产品码等)并选择产品。
装置1000不仅可以显示产品，还可以将显示的产品与包括该产品的产品组一起显示。例如，装置1000可以在显示器1210的上端或下端的部分处显示产品组，并且可以在右侧部分或左侧部分显示产品组。然而，产品的显示或产品组的显示不限于此，并且可以根据在装置1000或服务器中预先设置的配置、位置和大小来多样地显示产品或产品组。
在操作S220，装置1000可以获得用户关于显示的产品的面部表情信息。
在实施例中，装置1000可以包括能够对使用装置1000的用户的面部图像进行拍摄的相机1610。装置1000可以通过使用相机1610获得用户的面部图像，并且可以从获得的用户的面部图像获得用户的面部表情信息。获得的用户的面部图像可以是静止图像或运动图像。
可以从用户观看显示在装置1000上的产品的面部图像来获得用户的面部表情信息，作为表示用户的面部表情的信息。此外，用户针对显示的产品的心理状态可以反映在用户的面部，并且可以从反映用户心理状态的用户的面部图像来获得面部表情信息。装置1000可以基于获得的用户的面部表情信息来获得关于用户对于显示的产品的情绪状态的信息。
可以根据基于预设标准的学习来确定用户的面部图像表示的是哪种面部表情信息。装置1000可以从用户的面部图像快速且准确地确定用户的面部表情信息。
在操作S240，装置1000可以基于获得的用户的面部表情信息来确定用户对显示的产品的满意度。
装置1000可以通过使用利用人工智能算法训练出的训练模型从用户的面部表情信息确定用户对显示产品的满意度。例如，装置1000可以通过使用训练模型从面部表情信息确定用户满意度，其中，该训练模型使用机器学习、神经网络、遗传算法、深度学习和分类算法中的至少一种作为人工智能算法被训练。
在实施例中，装置1000可以从用户的面部表情信息获得关于用户对于显示的产品的情绪状态的信息。装置1000可以确定与获得的面部表情信息相应的用户的情绪状态。例如，当装置1000获得指示快乐的面部表情信息时，用户的情绪状态可以被确定为快乐。
另外，装置1000可以基于获得的用户的情绪状态来确定用户对显示的产品的满意度。
例如，装置1000可以从获得的用户的面部表情信息确定用户的情绪状态为“喜悦”，并且在这种情况下，可以确定用户对显示的产品的满意度高。可选地，装置1000可以从获得的用户的面部表情信息确定用户的情绪状态为“生气”，并且在这种情况下，可以确定用户对显示的产品的满意度低。
装置1000可以预先在装置1000或服务器中存储关于与用户的情绪状态相应的用户满意度的信息。
可以根据基于预设标准的学习来确定用户的面部表情信息表示的是哪种情绪状态。此外，还可以根据基于预设标准的学习来确定用户的情绪状态的满意程度。装置1000可以从用户的面部表情信息快速且准确地确定用户关于显示的产品感受的情绪状态。另外，装置1000可以清楚且精准地确定用户的情绪状态表示对显示的产品的满意程度的多少。
在操作S260，装置1000可以基于确定的用户满意度从多个产品组之中选择将被推荐给用户的产品组。在实施例中，装置1000可以考虑到用户对显示产品的满意度向用户推荐不同的产品。
装置1000可以通过使用利用人工智能算法训练出的训练模型，从用户对显示的产品的满意度选择将被推荐给用户的产品组。
例如，当用户对显示的产品的满意度高时，装置1000可以选择包括与显示的产品相似的产品的产品组。当用户对显示的产品的满意度低时，装置1000可以选择包括与显示的产品不相似的产品的产品组。
可以根据基于预设标准的学习来确定依据用户满意度对产品组的选择。装置1000可以基于用户满意度准确地选择用户比显示的产品更喜欢的产品组。装置1000可以快速且准确地推荐用户可能比显示的产品更喜欢的产品组。
在以上描述中，用户的情绪状态的获得、用户满意度的确定以及将被推荐给用户的产品组的选择已经被描述为分别基于单独的学习被执行，但不限于此。用户的情绪状态的获得、用户满意度的确定以及将被推荐给用户的产品组的选择中的至少两个可以由一个训练模型执行。
此外，例如，可以基于根据深度神经网络技术的学习来执行用户的情绪状态的获得、用户满意度的确定以及将被推荐给用户的产品组的选择。
在操作S280，装置1000可以显示选择的产品组或包括在选择的产品组中的至少一个产品。
在实施例中，装置1000可以从包括在选择的产品组中的多个产品之中显示具有最高优先级的预设产品。可以基于产品销量、其他用户的评论等预先设置所述多个产品之间的优先级。
在实施例中，装置1000可以在选择的产品组中包括的产品之中显示最近包括的产品，或者可以显示最低价产品或最高价产品。
在实施例中，装置1000可以显示产品组中包括的产品之一，或者可以根据预定顺序以特定时间间隔显示产品组中包括的产品。
图3a和图3b是根据实施例的装置1000基于用户的面部表情信息确定满意度的示例的示图。
参照图3a和图3b，装置1000可以从用户的面部图像获得用户的面部表情信息，并且可以从获得的用户的面部表情信息获得用户的情绪状态。
参照图3a，在实施例中，装置1000可以通过将用户的面部图像与关于预设的用户的情绪状态的图表300相匹配来获得用户的情绪状态。
参照关于用户的情绪状态的图表300可以是基于兴奋活动程度301和积极情绪程度302来分析并显示用户的情绪的图表。在关于用户的情绪状态的图表300上，可以基于兴奋活动程度301和积极情绪程度302连续地显示用户的情绪状态。
例如，装置1000可以通过将用户的面部图像与预设的图表300相匹配来获得用户的情绪状态。获得的用户的情绪状态可以对应于图表300中示出的诸如“喜悦”、“快乐”或“悲伤”的情绪状态。
然而，获得的用户的情绪状态可以是位于在图表300中预定义的或示出的情绪状态之中的情绪状态。用户的情绪状态可以对应于在图表300上连续显示的情绪状态之一。用户的情绪状态可以在图表300上被显示为一个点，并且装置1000可以基于相应点的坐标值获得用户的情绪状态。
参照图3b，在另一实施例中，装置1000可以基于用户的面部图像的改变程度来获得用户的面部表情信息310至360。
装置1000可以获得用户的参考面部图像，其中，用户的参考面部图像是在显示产品之前的用户的面部图像。另外，装置1000可以获得用户的改变的面部图像，其中，用户的改变的面部图像是在显示产品之后的用户的面部图像。装置1000可以通过将获得的用户的参考面部图像与用户的改变的面部图像进行比较来获得用户的面部表情信息310至360。
装置1000可以通过将用户的参考面部图像与用户的改变的面部图像进行比较来获得面部图像的变化，诸如瞳孔形状的变化、眼睛形状的变化、眉毛形状的变化、嘴巴形状的变化以及颧骨位置的变化。装置1000可以通过将获得的用户的面部图像的变化程度与在装置1000或服务器中预设的面部表情信息相匹配来获得用户的面部表情信息310至360。
在另一实施例中，装置1000可以从用户的改变的面部图像提取关键点以获得用户的面部表情信息310至360。
关键点根据用户的面部表情改变而较大地移动，但是可以主要分布于即使用户的表情改变也易于识别的眼睛、眉毛、嘴巴和颧骨。装置1000可以通过将从用户的改变的面部图像提取的关键点与在装置1000或服务器中预设的面部表情信息的关键点相匹配来获得用户的面部表情信息310至360。
预设的面部表情信息可以是关于通过特定标准被分类的人类面部表情的信息。例如，预设的面部表情信息可以包括但不限于根据面部表情信息的面部图像、与面部表情信息相应的面部的改变程度、与面部表情信息相应的关键点的信息等。
在实施例中，装置1000可以将与获得的用户的面部表情信息310至360相应的预设情绪状态确定为用户的情绪状态。例如，当装置1000从用户的面部图像获得指示快乐的用户的面部表情信息360时，用户的情绪状态可以被确定为快乐。
例如，由用户的面部表情信息310至360表示的用户的情绪状态可以包括但不限于生气、悲伤、惊讶、喜悦、快乐等。用户的参考情绪状态可以是由用户观看显示的产品之前的面部表情信息表示的情绪状态。
装置1000可以基于获得的用户的情绪状态来确定用户对显示的产品的满意度。在实施例中，装置1000可以量化与用户的情绪状态相应的满意度。
参照图3b，例如，装置1000可以基于用户的面部表情信息310至360将用户满意度确定为0和1之间的数字，但不限于此。用户对显示的产品的满意度越高，用户满意度可以被量化得越高。
例如，当确定用户的情绪状态为生气时，装置1000可以将用户满意度量化为0.1。当确定用户的情绪状态为悲伤时，装置1000可以将用户满意度量化为0.2。
同时，当确定用户的情绪状态为喜悦时，装置1000可以将用户满意度量化为0.6，并且当确定用户的情绪状态为快乐时，装置1000可以将用户满意度量化为0.9。
可以在装置1000或服务器中预先设置用户的面部表情信息310至360或用户的情绪状态与用户满意度之间的对应关系。可以针对每个用户不同地设置对应关系。
可以根据使用人工智能算法的学习来确定用户的面部表情信息表示的是哪种情绪状态。可选地，可以根据基于预设标准的学习来确定用户的面部表情信息表示的是哪种情绪状态。此外，还可以根据基于预设标准的学习来确定用户的情绪状态的满意程度。
在实施例中，装置1000可以获得关于人的面部、面部表情、语音和操作的信息。另外，装置1000可以获得面部图像数据。
此外，装置1000可以基于用户的图像数据学习关于如何获得面部表情信息的标准。装置1000还可以基于用户的面部表情信息或操作信息来学习关于如何确定用户的情绪状态的标准。
装置1000可以使用相机获得用户的面部图像数据。装置1000可以分析获得的用户的面部图像以提供识别结果。
在实施例中，装置1000可以提供包括在获得的用户的面部图像中的用户的面部表情的识别结果。用户的面部图像的识别结果可以是例如用户的情绪状态、用户满意度、相关信息等。
图4是根据实施例的由装置1000执行的基于用户满意度和产品组之间的相似度来推荐产品的方法的流程图。
参照图4，在操作S400，装置1000可以显示产品。在操作S420，装置1000可以获得用户关于显示的产品的面部表情信息。在操作S440，装置1000可以基于用户的面部表情信息确定用户对显示的产品的满意度。
图4的操作S400至S440分别对应于图2的操作S200至S240，因此这里将不给出其详细描述。
在操作S460，装置1000可以基于用户对显示的产品的满意度以及包括显示的产品的组和多个产品组之间的相似度来选择将被推荐给用户的产品组。
在实施例中，可以在装置1000或服务器中预先设置多个产品组之间的相似度。例如，长袖棉衬衫组和长袖亚麻衬衫组之间的相似度可以为高，并且长袖棉衬衫组和长棉裤组之间的相似度可以为低。
在实施例中，装置1000可以确定与用户对显示的产品的满意度相应的相似度。装置1000可以向用户推荐具有与包括显示的产品的产品组的确定的相似程度的产品组。例如，随着用户满意度增加，装置1000可以选择具有与包括显示的产品的产品组的更高相似程度的产品组，并且随着用户满意度降低，可以选择具有与包括显示的产品的产品组的更低相似程度的产品组。
可以根据基于预设标准的学习来确定根据用户满意度和产品组之间的相似度对产品组的选择。
装置1000可以基于满意度和产品组之间的相似度来准确地推荐用户可能比显示的产品更喜欢的产品。另外，装置1000可以在没有操作员帮助的情况下基于用户满意度和产品组之间的相似度向用户推荐合适的产品。
在操作480，装置1000可以显示选择的产品组或包括在选择的产品组中的至少一个产品。图4的操作S480对应于图2的操作S280，因此这里将不给出其详细描述。
图5a和图5b是根据实施例的装置1000基于用户满意度和产品组之间的相似度来推荐产品组的示例的示图。
参照图5a，产品组可以是包括这样的产品的组：在所述产品中，诸如设计、材料、颜色、穿戴者的身体部位、穿戴季节等的多个参数相同地或在相同的水平上被定义。
例如，第一产品组510可以是具有诸如牛仔裤材料、上衣、长袖设计、基本长度、外衣、春季或秋季服装的参数的一组产品。此外，第三产品组530可以是具有诸如棉质材料、上衣、长袖设计、长度、外衣、春季或秋季服装的参数的一组产品。
可以通过两个产品组中包括的产品的参数的相同程度来确定两个产品组之间的相似度。例如，具有10个相同的参数的两个产品组之间的相似度可以大于具有2个相同的参数的两个产品组之间的相似度。
可以量化多个产品组之间的相似度。例如，多个产品组之间的相似度可以通过0和1之间的数字被量化，但不限于此。产品组之中的相同参数的数量越多，产品组之间的相似度就越大。
在实施例中，可以将一对产品组中的每个产品组设置为具有不同的相似程度。一对第一产品组510和第二产品组520之间的相似度可以是0.2，并且一对第一产品组510和第四产品组540之间的相似度可以是0.6。另外，一对第一产品组510和第五产品组550之间的相似度可以是0.8。
可以在装置1000或服务器中预先设置一对产品组之间的相似度。
可以基于用户满意度来改变产品组之间的相似度。
在实施例中，可以基于用户满意度将新产品添加到产品组中，并且可以从产品组中移除包括在产品组中的产品。例如，当用户对产品组中包括的产品之中的一个产品的满意度与除了所述一个产品之外的其他产品的满意度相比小于预设阈值时，可以从产品组中移除所述一个产品。
在实施例中，可以基于用户满意度来改变产品组之间的相似度。
例如，当用户对显示的产品511的满意度是0.8时，装置1000可以将第五产品组550选择为将被推荐给用户的产品组。当用户对由装置1000选择的第五产品组550的满意度小于预设阈值时，第一产品组510和第五产品组550之间的相似度可以被改变为小于0.8的值。
参照图5b，装置1000可以基于用户满意度以及包括显示的产品511的第一产品组510与不包括显示的产品的多个产品组之间的相似度来选择将被推荐给用户的产品组。
装置1000可以确定与用户满意度相应的相似度。装置1000可以通过使用确定的相似程度和在包括显示的产品的产品组和不包括显示的产品的多个产品组之间预先设置的相似度来选择将被推荐的产品组。
在实施例中，装置1000可以显示第一产品组510的产品511。装置1000可以获得用户针对显示的产品511的面部表情信息。
当从用户对于显示的产品511的面部表情信息320获得的情绪状态为悲伤时，用户对显示的产品511的满意度可以被确定为0.2。与用户满意度0.2相应的相似度可以是0.2。与第一产品组510相似的相似度为0.2的产品组可以是第二产品组520。装置1000可以将第二产品组520推荐给对显示的产品511具有悲伤表情的用户。
当从用户对于显示的产品511的面部表情信息360获得的情绪状态为快乐时，用户对显示的产品511的满意度可以被确定为0.9。与用户满意度0.9相应的相似度可以是0.8。与第一产品组510相似的相似度为0.8的产品组可以是第五产品组550。装置1000可以将第五产品组550推荐给对于显示的产品511具有快乐表情的用户。
在另一实施例中，当不存在一对具有确定产品的产品组与包括显示的产品的产品组时，装置1000可以选择具有与确定的相似度最接近的相似度的产品组。
例如，当从用户对于显示的产品511的面部表情信息350获得的情绪状态为喜悦时，用户对显示的产品511的满意度可以被确定为0.6。与用户满意度0.6相应的相似度可以是0.55。在这种情况下，可能没有与第一产品组510相似的相似度为0.55的产品组。装置1000可以向对于显示的产品511具有快乐表情的用户推荐具有与确定的相似度0.55最接近的相似度为0.6的第四产品组540。
图6是根据实施例的由装置1000执行的基于用户满意度和相关信息来推荐产品的方法的流程图。
参照图6，在操作S600，装置1000可以显示产品。在操作S620，装置1000可以获得用户关于显示的产品的面部表情信息。在操作S640，装置1000可以基于用户的面部表情信息确定用户对显示的产品的满意度。
操作S600至S640对应于图2的操作S200至S240，因此这里将不再给出其详细描述。
在操作S650，装置1000可以获得用于选择产品组的相关信息。
相关信息可以包括关于用户性别、用户身高、用户体重、用户年龄、用户购买历史、用户职业、用户服装和用户收入中的至少一个的信息。
装置1000可以通过相机1610获得相关信息，或者可以通过用户输入单元1100或触摸屏获得相关信息。
另外，装置1000可以从用户接收标识信息，并且可以通过使用接收到的标识信息来获得存储在装置1000或服务器中的相关信息。
在操作S660，装置1000可以基于用户对显示的产品的满意度和相关信息来选择将被推荐给用户的产品组。
在实施例中，装置1000可以基于获得的相关信息从多个产品组优先选择将被推荐给用户的产品组。
装置1000可以分析与已经购买了产品组中包括的产品的其他用户相关的信息。装置1000可以按照产品组对与已经购买该产品的其他用户相关的信息进行分类并存储。装置1000可以按照产品组将获得的相关信息与预先存储的其他购买者相关的信息进行比较，并且可以确定是否将产品组包括在将被推荐给用户的对象中。
装置1000可以仅选择与获得的相关信息相同的相关信息的数量大于或等于阈值的产品组，作为将被推荐的产品组。同时，装置1000可以从将被推荐的产品组中排除与相关信息不同的相关信息的数量大于或等于阈值的产品组。
例如，产品组A中包括的大多数产品由20多岁的女性职员购买，产品组B中包括的大多数产品由30多岁的女性职员购买，产品组C中包括的大多数产品由20多岁的男性运动员购买，产品组D中包括的大多数产品由20多岁的男性职员购买，并且产品组E中包括的大多数产品由30多岁的男性职员购买。
当用户是30多岁的职员时，装置1000可以仅选择具有与相关信息相同的两条或更多条相关信息的产品组B和产品组E作为将被推荐的对象。另外，当用户是30多岁的男性运动员时，装置1000可以从将被推荐的对象排除具有与相关信息不同的两条或更多条相关信息的产品组A、产品组B和产品组D。
在实施例中，装置1000可以在相关信息被反映到的将被推荐的产品组之中，基于用户满意度选择将被推荐的产品组。可以通过使用阈值来调整用于选择将被推荐的产品组的相关信息的反映程度。所述阈值可以由用户重置。
可以根据基于预设标准的学习来确定根据用户满意度和相关信息对产品组的选择。装置1000可以基于用户满意度和相关信息快速且准确地推荐产品。
在操作680，装置1000可以显示选择的产品组或包括在选择的产品组中的至少一个产品。图6的操作S680对应于图2的操作S280，因此这里将不给出其详细描述。
图7是根据实施例的由装置1000执行的基于面部表情信息和操作信息来推荐产品的方法的流程图。
参照图7，在操作S700，装置1000可以显示产品。图7的操作S700对应于图2的操作S200，因此这里将不给出其详细描述。
在操作S720，装置1000可以获得用户关于显示的产品的面部表情信息和操作信息。
在实施例中，装置1000可以包括能够对使用装置1000的用户身体进行拍摄的相机1610。装置1000可以通过使用相机1610获得用户的身体图像，并且可以从获得的用户的身体图像获得用户的面部表情信息和操作信息。获得的用户的身体图像可以是静止图像或运动图像。
操作信息可以包括关于用户的手势、用户的注视方向和用户观看显示的产品的持续时间中的至少一个的信息。装置1000可以从获得的操作信息获得关于用户对于显示的产品的情绪状态的信息。
可以根据基于预设标准的学习来确定用户的身体图像表示的是哪种面部表情信息或哪种操作信息。
在操作S740，装置1000可以基于用户的面部表情信息和操作信息来确定用户对显示的产品的满意度。
在实施例中，装置1000可以从用户的面部表情信息和操作信息获得关于用户对于显示的产品的情绪状态的信息。装置1000可以确定与获得的面部表情信息和操作信息两者相应的用户的情绪状态。装置1000可以基于获得的用户的情绪状态来确定用户对显示的产品的满意度。
在另一实施例中，装置1000可以通过对基于面部表情信息确定的满意度和基于操作信息确定的满意度按照预设比率进行相加来确定用户对显示的产品的满意度。例如，装置1000可以通过对经由将基于面部表情信息确定的满意度乘以0.5而获得的值与经由将基于操作信息确定的满意度乘以0.5而获得的值进行相加来确定用户满意度。
可以根据基于预设标准的学习来确定用户的面部表情信息和操作信息表示的是哪种情绪状态。此外，还可以根据基于预设标准的学习来确定用户的情绪状态的满意程度。
装置1000可以基于用户的面部表情信息和操作信息适当地推荐用户期望购买的产品。装置1000可以从用户的图像中详细地获得用户的情绪状态，并且可以准确地推荐具有比显示的产品更高的用户满意度的产品。
在操作S760，装置1000可以基于确定的用户满意度从多个产品组之中选择将被推荐给用户的产品组。在操作780，装置1000可以显示选择的产品组或包括在选择的产品组中的至少一个产品。
图7的操作S760和S780分别对应于图2的操作S260和S280，因此这里将不给出其详细描述。
图8是根据实施例的装置1000推荐包括可与显示的产品一起穿戴的其他产品的产品组的示例的示图。
参照图8，装置1000可以选择包括可与显示的产品511一起穿戴的其他产品的另一产品组810。装置1000可以显示包括在选择的另一产品组810中的另一产品811。
在实施例中，装置1000可以基于其他用户针对显示的产品511的购买历史信息来选择将被推荐的另一产品组810。装置1000可以显示选择的另一产品组810，或者可以显示包括在选择的另一产品组中的另一产品811。
另外，装置1000可以一起显示所显示的产品511和选择的另一产品811。装置1000可以以预设的顺序按照预设的时间间隔与显示的产品511一起显示包括在选择的产品组810中的产品。
在实施例中，装置1000可以基于用户满意度重新推荐与显示的产品一起穿戴的产品。
例如，装置1000可以获得关于用户对于选择的产品组810或选择的产品811的情绪状态的信息。装置1000可以基于获得的情绪信息确定用户对产品组810或被推荐作为将一起穿戴的产品的产品811的满意度。装置1000可以基于确定的用户满意度来重新选择将被推荐给用户的将一起穿戴的产品组或产品。
图9是根据实施例的由装置1000执行的确定用户是否已购买产品的方法的流程图。
参照图9，在操作S900，装置1000可以显示产品。在操作S920，装置1000可以获得用户关于显示的产品的面部表情信息。在操作S940，装置1000可以基于用户的面部表情信息确定用户对显示的产品的满意度。
图9的操作S900至S940分别对应于图2的操作S200至S240，因此这里将不给出其详细描述。
在操作S960，装置1000可以确定所确定的用户满意度是否大于或等于与用户的购买意愿相关的阈值。
在实施例中，可以在装置1000或服务器中预先设置与用户的购买意愿相关的阈值，并且装置1000可以从用户获得该阈值。可以针对每个用户不同地设置与用户的购买意愿相关的阈值。
在操作S970，当确定的用户满意度小于或等于与用户的购买意愿相关的阈值时，装置1000可以基于用户满意度选择将被推荐的产品组。
在操作S980，当确定的用户满意度大于或等于与用户的购买意愿相关的阈值时，装置1000可以显示用于确定是否购买显示的产品的GUI。
GUI(图形用户界面)可以是用于询问是否购买显示器1210上的产品的弹出窗口。装置1000可以通过接收用户对显示器1210的触摸来确定用户是否购买产品，或者可以通过接收外部输入来确定用户是否购买产品。
当确定用户购买时，装置1000可以将由用户购买的产品包括在装置1000上的购物车中。此外，当确定用户购买时，装置1000可以显示用于支付产品价格的GUI。
尽管未示出，但是装置1000可以基于用户的身体信息来修改并显示产品。
装置1000可以通过使用相机1610获得用户的身体图像，并且可以从获得的用户的身体图像获得用户的身体信息。装置1000可以基于获得的用户的身体信息修改产品的形状并显示产品。装置1000可以在用户穿戴产品的状态下显示该产品。
另外，装置1000可以在根据用户的身体信息显示修改的产品之前获得用户的参考面部图像。装置1000可以根据用户的身体信息显示修改的产品，然后获得用户改变的面部图像。
此外，装置1000可以在用户穿戴产品和可与该产品一起穿戴的另一产品的状态下显示该产品和所述另一产品。
图10和图11是根据实施例的装置1000的框图。
如图10所示，根据实施例的装置1000可以包括显示器1210、处理器1300、相机1610和存储器1700。然而，装置1000的组件的数量可以大于或小于图10中所示的组件的数量。
例如，如图11所示，根据实施例的装置1000除了包括显示器1210、处理器1300、相机1610和存储器1700之外还可以包括用户输入单元1100、输出单元1200、感测单元1400、通信单元1500和音频/视频(A/V)输入单元1600。
用户输入单元1100可以是用户通过其输入数据以便控制装置1000的部件。例如，用户输入单元1100可以包括但不限于键盘、圆顶开关、触摸板(接触电容型、耐压薄膜型、红外检测型、表面超声传导型、整体张力测量型、压电效应型等)、滚轮、拨动开关等。
用户输入单元1100可以接收用于选择将被显示的产品的用户输入。此外，用户输入单元1100可以接收关于相关信息的用户输入和关于产品购买意愿的用户输入。
输出音频信号、视频信号或振动信号的输出单元1200可以包括显示器1210、声音输出单元1220、振动电机1230等。
显示器1210通过由稍后将被描述的处理器1300进行控制来显示在装置1000中处理的信息。
显示器1210可以显示由用户选择的产品。另外，显示器1210可以显示包括在由装置1000选择的产品组中的至少一个产品。显示器1210可以基于用户的身体信息修改产品并显示修改的产品。
此外，显示器1210可以显示用于确定是否购买显示的产品的GUI。当确定的用户满意度大于或等于与用户的购买意愿相关的阈值时，显示器1210可以显示用于确定是否购买产品的GUI。
声音输出单元1220输出从通信单元1500接收的或存储在存储器1700中的音频数据。声音输出单元1220还可以输出与由装置1000执行的功能相关的声音信号(例如，呼叫信号接收声音、消息接收声音、通知声音等)。
振动电机1230可以输出振动信号。例如，振动电机1230可以输出与音频数据(例如，呼叫信号接收声音、消息接收声音等)或视频数据的输出相应的振动信号。此外，当触摸输入到触摸屏时，振动电机1230可以输出振动信号。
处理器1300可以包括用于控制包括在装置1000中的其他组件的一个或更多个处理器。例如，处理器1300通常可以通过执行存储在存储器1700中的程序来控制用户输入单元1100、输出单元1200、感测单元1400、通信单元1500、A/V输入单元1600等。此外，处理器1300可以通过执行存储在存储器1700中的程序来执行图1至图9中描述的装置1000的功能。
更详细地，处理器1300可以获得用户关于显示的产品的面部表情信息。处理器1300可以从通过使用相机1610获得的用户的面部图像来获得用户的面部表情信息。
此外，处理器1300可以基于用户的面部表情信息确定用户对显示的产品的满意度。处理器1300可以从用户的面部表情信息获得关于用户对于显示的产品的情绪状态的信息。处理器1300可以确定与获得的情绪信息相应的用户满意度。
另外，处理器1300可以基于用户满意度从多个产品组之中选择将被推荐给用户的产品组。处理器1300可以基于用户对显示的产品的满意度、包括显示的产品的组以及多个产品组之间的相似度来选择将被推荐的产品组。处理器1300可以获得相关信息，并且可以基于确定的满意度和获得的相关信息来选择将被推荐给用户的产品组。
另外，处理器1300可以获得操作信息，并且可以基于用户的面部表情信息和操作信息来确定用户对显示的产品的满意度。
此外，处理器1300可以基于其他用户针对显示的产品的购买历史信息来选择将被推荐的产品组。处理器1300可以选择包括可与显示的产品一起穿戴的其他产品的另一产品组。
另外，处理器1300可以基于用户满意度显示用于确定是否购买显示的产品的GUI。当确定的用户满意度大于或等于与用户的购买意愿相关的阈值时，处理器1300可以显示用于确定是否购买显示的产品的GUI。
感测单元1400可以感测装置1000的状态或装置1000周围的状态，并且可以将感测的信息发送到处理器1300。
感测单元1400可包括但不限于磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器(例如，GPS)1460、气压传感器1470、接近传感器1480和RGB传感器(即，亮度传感器)1490中的至少一个。通过参照传感器的名称，本领域普通技术人员可以直观地推导出传感器的功能，因此，这里将不给出其详细描述。
通信单元1500可以包括允许装置1000与另一装置(未示出)之间或装置1000与服务器2000之间进行通信的一个或更多个组件。其他装置(未示出)可以是诸如装置1000的计算装置，或者可以是感测装置，但不限于此。例如，通信单元1500可以包括短程无线通信单元1510、移动通信单元1520和广播接收单元1530。
短程无线通信单元1510可以包括但不限于蓝牙通信单元、低功耗蓝牙(BLE)通信单元、近场通信单元、WLAN通信单元、zigbee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元和Ant+通信单元。
移动通信单元1520与移动通信网络上的基站、外部终端和服务器中的至少一个交换无线信号。根据关于声音呼叫信号、视频呼叫信号或文本/多媒体消息的通信，无线信号可以包括各种类型的数据。
广播接收单元1530通过广播信道从外部接收广播信号和/或与广播有关的信息。广播信道可以包括卫星信道和地面信道。根据实施例，装置1000可以不包括广播接收单元1530。
通信单元1500通过由处理器1300进行控制来向另一装置和服务器2000发送和从另一装置和服务器2000接收数据。通信单元1500可以将数据直接地或经由服务器2000发送到另一装置。此外，通信单元1500可以直接地或经由服务器2000从另一装置接收数据。
另外，通信单元1500基于用户的面部表情信息确定满意度，并且可以基于确定的满意度从另一装置(未示出)和服务器2000接收用于选择将被推荐给用户的产品组所必需的信息和向另一装置(未示出)和服务器2000发送所述信息。
A/V输入单元1600可以接收音频信号或视频信号的输入并且可以包括相机1610和麦克风1620。在视频呼叫模式或图像捕获模式期间，相机1610可以通过图像传感器获得诸如静止图像或运动图像的图像帧。由图像传感器捕获的图像可以由处理器1300或单独的图像处理单元(未示出)处理。
相机1610可以针对显示的产品捕获用户的面部或身体。可以从由相机1610捕获的用户图像获得用户的面部表情信息、操作信息和相关信息。
由相机1610处理的图像帧可以被存储在存储器1700中，或者可以通过通信单元1500被发送到外部。根据终端的配置，可以布置两个或更多个相机1610。
麦克风1620接收外部声音信号的输入并将接收到的声音信号处理成电子语音数据。例如，麦克风1620可以从外部装置或用户接收声音信号。为了去除在外部输入声音信号时出现的噪声，麦克风1620可以使用各种噪声去除算法。
当确定是否选择产品或购买产品时，麦克风1620可以接收将以语音形式接收的用户输入。
存储器1700可以存储用于处理和控制处理器1300的至少一个程序，并且可以存储输入到装置1000或从装置1000输出的数据。
存储器1700可以包括闪存型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(静态RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘或光盘之中的至少一种类型的存储介质。此外，装置1000可以操作在互连网上执行存储器1700的存储功能的网络存储器或云服务器。
存储在存储器1700中的程序可以根据他们的功能被分类为多个模块，例如，用户界面(UI)模块1710、触摸屏模块1720、警报模块1730等。
UI模块1710可以针对每个应用提供与装置1000相关的专用UI或GUI。触摸屏模块1720可以检测用户在触摸屏上的触摸手势，并将关于触摸手势的信息发送到处理器1300。根据实施例的触摸屏模块1720可以识别并分析触摸代码。可以通过使用包括控制器的附加硬件来配置触摸屏模块1720。
警报模块1730可以生成用于通知用户在装置1000中发生的事件的信号。在装置1000中发生的事件的示例可以包括呼叫信号接收、消息接收、键信号输入、日程安排通知等。警报模块1730可以经由显示器1210输出视频格式的警报信号，可以经由声音输出单元1220输出音频格式的警报信号，或者可以经由振动电机1230输出振动格式的警报信号。
存储器1700可以存储关于产品组中包括的产品的显示顺序的信息，并且可以存储针对显示的产品的配置、位置、大小等。
另外，存储器1700可以存储面部表情信息、根据面部表情信息的面部图像以及与面部表情信息相应的关键点。存储器1700可以存储与面部表情信息相应的情绪状态，并且可以存储情绪状态和用户满意度之间的对应关系。
此外，存储器1700可以存储多个产品组之间的相似度。存储器1700可以存储多个产品组之间的相似度，使得产品组对具有各自的相似度。
图12是根据实施例的处理器1300的框图。
参照图12，根据一些实施例的处理器1300可以包括模型学习单元1310和数据识别单元1320。
上述训练模型可以与下面稍后描述的数据确定模型相同。
模型学习单元1310可以学习用于产品推荐的标准。模型学习单元1310可以学习关于使用什么数据来推荐特定产品以及如何使用该数据推荐产品的标准。模型学习单元1310可以获得将用于学习的数据并将获得的数据应用于稍后将被描述的数据确定模型，使得模型学习单元1310可以学习用于产品推荐的标准。
数据识别单元1320可以基于数据推荐产品。数据识别单元1320可以使用训练出的数据确定模型从特定数据来推荐特定产品组中的产品。数据识别单元1320可以根据通过学习预设的标准获得特定数据，并使用数据确定模型用获得的数据作为输入值，从而可以基于特定数据推荐特定产品。此外，由数据确定模型用获得的数据作为输入值而输出的结果值可以用于更新数据确定模型。
模型学习单元1310和数据识别单元1320中的至少一个可以以至少一个硬件芯片的形式被制造并且安装在装置1000上。例如，模型学习单元1310和数据识别单元1320中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式被制造，或者可以被制造为将被安装在装置1000上的传统通用处理器(例如，中央处理单元(CPU)或应用处理器)或图形专用处理器(例如，图形处理单元(GPU))的一部分。
在这种情况下，模型学习单元1310和数据识别单元1320可以分别被安装在一个装置1000上或分别被安装在多个单独的装置1000上。例如，模型学习单元1310和数据识别单元1320中的一个单元可以被包括在装置1000中，而另一个单元可以被包括在服务器中。此外，模型学习单元1310和数据识别单元1320可以以有线或无线方式将由模型学习单元1310构建的模型信息提供给数据识别单元1320，并且输入到数据识别单元1320的数据可以作为附加训练数据提供给模型学习单元1310。
同时，模型学习单元1310和数据识别单元1320中的至少一个单元可以被实现为软件模块。当模型学习单元1310和数据识别单元1320中的至少一个单元被实现为软件模块(或包括指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读记录介质中。可选地，可以由操作系统(OS)或特定应用程序提供至少一个软件模块。可选地，至少一个软件模块中的一些模块可以由OS提供，其余的模块可以由特定应用程序提供。
图13是根据实施例的模型学习单元1310的框图。
参照图13，根据一些实施例的模型学习单元1310可包括数据获取单元1310-1、预处理单元1310-2、训练数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5。
数据获取单元1310-1可以获得产品推荐所需的数据。数据获取单元1310-1可以获得用于产品推荐的学习所需的数据。
在实施例中，数据获取单元1310-1可以获得关于人的面部、面部表情、语音和操作的信息。此外，数据获取单元1310-1可以获得关于人的性别、身高、体重、年龄、购买历史、职业、服装和收入的数据。
此外，数据获取单元1310-1可以获得图像数据。图像数据可以是静止图像数据或运动图像数据。数据获取单元1310-1可以使用包括模型学习单元1310的装置1000的相机1610获得图像数据。可选地，数据获取单元1310-1可以通过与装置1000通信的外部装置获得图像数据。
例如，数据获取单元1310-1可以获得表示人类面部表情信息的面部图像，或者可以获得表示人类操作信息的手势图像或身体图像。
此外，数据获取单元1310-1可以获得产品的数据。数据获取单元1310-1可以获得关于产品的设计、材料、颜色、穿戴者的身体部位和穿戴季节的数据。
预处理单元1310-2可以对获得的数据进行预处理，使得获得的数据可以用于产品推荐的学习。预处理单元1310-2可以将获得的数据处理成预设格式，使得模型学习单元1310-4(稍后将在下面进行描述)可以使用获得的数据以用于产品推荐的学习。
训练数据选择单元1310-3可以从预处理的数据选择学习所需的数据。可以将选择的数据提供给模型学习单元1310-4。训练数据选择单元1310-3可以根据用于产品推荐的预设标准从预处理的数据选择学习所需的数据。训练数据选择单元1310-3还可以根据通过经由稍后将在下面被描述的模型学习单元1310-4进行学习的预设标准来选择数据。
模型学习单元1310-4可以基于训练的数据，根据用户对显示的产品的满意度来学习关于如何推荐产品的标准。此外，模型学习单元1310-4可以学习关于哪些训练数据应被用于产品推荐的标准。
例如，模型学习单元1310-4可以基于获得的用户的图像数据来学习关于如何获得面部表情信息的标准，并且可以基于获得的用户的身体图像数据来学习关于如何获得操作信息的标准。
另外，模型学习单元1310-4可以基于用户的面部表情信息或操作信息来学习关于如何确定用户的情绪状态的标准。此外，模型学习单元1310-4可以基于用户的情绪状态来学习关于如何确定用户满意度的标准。
此外，模型学习单元1310-4可以学习关于如何设置包括产品的多个产品组之间的相似度的标准。例如，模型学习单元1310-4可以基于多个产品组中包括的产品的多个参数(诸如设计、材料、颜色、穿戴者的身体部位、穿戴季节等)来设置所述多个产品组之间的相似度。
此外，模型学习单元1310-4可以基于用户的面部表情信息、操作信息、相关信息或产品组之间的相似度来学习关于如何推荐产品的标准。
在以上描述中，已经描述了面部表情信息的获取、操作信息的获取、情绪状态的确定、满意度的确定、多个产品组之间的相似度的确定以及基于单独学习来执行产品推荐，但不限于此。面部表情信息的获取、操作信息的获取、情绪状态的确定、满意度的确定、多个产品组之间的相似度的确定以及产品推荐中的至少两个可以由一个数据确定模型执行。
例如，模型学习单元1310-4可以通过使用数据确定模型来接收用户的面部表情信息，并且可以输出将被推荐给用户的产品。此外，模型学习单元1310-4可以通过使用多个数据确定模型来接收用户的面部表情信息，并且可以输出将被推荐给用户的产品。在这种情况下，当存在用于确定满意度的第一数据确定模型和用于推荐产品的第二数据确定模型时，模型学习单元1310-4可以通过使用第一数据确定模型根据用户的面部表情信息来确定用户满意度，然后可以通过使用第二数据确定模型从用户满意度选择将被推荐给用户的产品。
此外，模型学习单元1310-4可以通过使用训练数据来训练用于产品推荐的数据确定模型。在这种情况下，数据确定模型可以是预先建立的模型。例如，数据确定模型可以是接收基本训练数据(例如，样本图像等)的预先建立的模型。
可以考虑识别模型的应用领域、学习目的或装置的计算机性能来构建数据确定模型。数据确定模型可以是例如基于神经网络的模型。例如，诸如深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BR DNN)的模型可以用作数据确定模型，但是本公开不限于此。
根据各种实施例，当存在预先建立的多个数据确定模型时，模型学习单元1310-4可以确定与输入的训练数据和基本训练数据高度相关的数据确定模型作为将被学习的数据确定模型。在这种情况下，可以针对每种类型的数据对基本训练数据进行预分类，并且可以针对每种类型的数据预先建立数据确定模型。例如，可以基于诸如以下项的各种标准对基本训练数据进行预分类：生成训练数据的区域、生成训练数据的时间、训练数据的大小、训练数据的种类、训练数据的生成器、训练数据中的对象的类型等。
另外，模型学习单元1310-4可以通过使用例如包括误差反传或梯度下降的学习算法来训练数据确定模型。
此外，模型学习单元1310-4可以通过例如使用训练数据作为输入值的监督学习来训练数据确定模型。模型学习单元1310-4还可以通过无监督学习来训练数据确定模型，该无监督学习在没有任何指导的情况下通过对例如产品推荐所需的数据类型进行自主学习找到用于产品推荐的标准。此外，模型学习单元1310-4可以通过使用例如关于基于学习的产品推荐的结果是否正确的反馈的强化学习来训练数据确定模型。
此外，当训练数据确定模型时，模型学习单元1310-4可以存储训练出的数据确定模型。在这种情况下，模型学习单元1310-4可以将训练出的数据确定模型存储在包括数据识别单元1320的装置1000的存储器中。可选地，模型学习单元1310-4可以将训练出的数据确定模型存储在包括稍后将在下面描述的数据识别单元1320的装置1000的存储器中。可选地，模型学习单元1310-4可以经由有线或无线网络将训练出的数据确定模型存储在连接到装置1000的服务器的存储器中。
在这种情况下，可存储训练出的数据确定模型的存储器可以将例如与装置1000的至少一个其他组件相关的命令或数据一起存储。存储器还可以存储软件和/或程序。程序可以包括例如内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)等。
模型评估单元1310-5将评估数据输入到数据确定模型。当从评估数据输出的识别结果不满足特定标准时，模型评估单元1310-5可以允许模型学习单元1310-4再次学习。在这种情况下，评估数据可以是用于评估数据确定模型的预设数据。
例如，在训练出的数据确定模型的针对评估数据的识别结果中，当识别结果不正确的评估数据的数量或比率超过预设阈值时，模型评估单元1310-5可以评估数据确定模型不满足特定标准。例如，当特定标准被定义为2％的比率时，并且当训练出的数据确定模型输出针对在总共1000个评估数据中超过20个评估数据的错误识别结果时，模型评估单元1310-5可以评估训练出的数据确定模型不合适。
同时，当存在多个训练出的数据确定模型时，模型评估单元1310-5可以评估每个训练出的数据确定模型是否满足特定标准，并且可以将满足特定标准的模型确定为最终的数据确定模型。在这种情况下，当存在满足特定标准的多个模型时，模型评估单元1310-5可以将以较高评估分数的顺序预设的任意一个或一定数量的模型确定为最终的数据确定模型。
同时，模型学习单元1310中的数据获取单元1310-1、预处理单元1310-2、训练数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的至少一个单元可以以至少一个硬件芯片的形式被制造并安装在装置1000上。例如，数据获取单元1310-1、预处理单元1310-2、训练数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的至少一个单元可以以用于人工智能(AI)的专用硬件芯片的形式被制造，或者可以被制造为将被安装在上述各种装置1000上的传统通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分。
此外，数据获取单元1310-1、预处理单元1310-2、训练数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5可以被安装在一个装置1000上或者可以分别安装在多个单独的装置上。例如，数据获取单元1310-1、预处理单元1310-2、训练数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的一些单元可以被包括装置1000中，并且其余单元的可以被包括在服务器中。
此外，数据获取单元1310-1、预处理单元1310-2、训练数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的至少一个单元可以被实现为软件模块。当数据获取单元1310-1、预处理单元1310-2、训练数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的至少一个单元被实现为软件模块(或包括指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读记录介质中。可选地，可以由操作系统(OS)或特定应用提供至少一个软件模块。可选地，所述至少一个软件模块中的一些模块可以由OS提供，并且其余的模块可以由特定应用提供。
图14是根据实施例的数据识别单元1320的框图。
参考图14，根据一些实施例的数据识别单元1320可以包括数据获取单元1320-1、预处理单元1320-2、特征数据选择单元1320-3、识别结果提供单元1320-4和模型更新单元1320-5。
数据获取单元1320-1可以获得产品推荐所需的数据。数据获取单元1320-1可以使用相机获得用户的面部图像数据和用户的身体图像数据。
此外，数据获取单元1320-1可以获得相关信息。例如，数据获取单元1320-1可以获得关于用户性别、用户身高、用户体重、用户年龄、用户购买历史、用户职业、用户服装和用户收入的数据。
另外，数据获取单元1320-1可以获得关于由用户选择的产品的数据。例如，数据获取单元1320-1可以获得产品的图像数据。
预处理单元1320-2可以对获得的数据进行预处理，使得获得的数据可以用于产品推荐。预处理单元1320-2可以将获得的数据处理成预设格式，使得识别结果提供单元1320-4(其稍后将在下面进行描述)可以使用获得的数据以用于产品推荐。
特征数据选择单元1320-3可以从预处理的数据选择产品推荐所需的数据。可以将选择的数据提供给识别结果提供单元1320-4。特征数据选择单元1320-3可以根据用于产品推荐的预设标准来选择预处理的数据中的一些或全部数据。此外，特征数据选择单元1320-3还可以根据通过模型学习单元1310-4进行学习的预设标准来选择数据。
识别结果提供单元1320-4可以通过将选择的数据应用于数据确定模型来推荐产品。识别结果提供单元1320-4可以根据数据识别目的来提供识别结果。识别结果提供单元1320-4可以通过使用由特征数据选择单元1320-3选择的数据作为输入值将选择的数据应用于数据确定模型。另外，识别结果可以由数据确定模型确定。
例如，可以将用户图像的识别结果提供为文本、语音、运动图像、图像或指令(例如，应用执行指令、模块功能执行指令等)。识别结果提供单元1320-4可以通过将用户图像应用于数据确定模型来提供识别结果。此外，识别结果提供单元1320-4可以通过将产品图像应用于数据确定模型来提供识别结果。
在实施例中，识别结果提供单元1320-4可以提供用户图像中包括的用户的面部表情或用户操作的识别结果。用户图像的识别结果可以是例如用户的情绪状态、用户满意度、相关信息等。
在实施例中，识别结果提供单元1320-4可以提供包括产品的产品组之间的相似度作为识别产品图像的结果。可以使用包括在两个产品组中的产品的参数来识别所述两个产品组之间的相似度，并且可以将识别结果提供为数值。
此外，识别结果提供单元1320-4可以通过将用户图像、关于产品的数据、多个产品组之间的相似度、相关信息等应用于数据确定模型向用户推荐产品。识别结果提供单元1320-4可以将选择的数据应用于识别模型，以基于用户满意度和多个产品组之间的相似度向用户提供将被推荐的产品。由识别结果提供单元1320-4提供的识别结果可以是将被推荐给用户的一种产品或者包括至少一种产品的产品组。
模型更新单元1320-5可以基于由识别结果提供单元1320-4提供的识别结果的评估来更新数据确定模型。例如，模型更新单元1320-5将由识别结果提供单元1320-4提供的识别结果提供给模型学习单元1310-4，使得模型学习单元1310-4可以更新数据确定模型。
同时，数据识别单元1320中的数据获取单元1320-1、预处理单元1320-2、特征数据选择单元1320-3、识别结果提供单元1320-4和模型更新单元1320-5中的至少一个单元可以以至少一个硬件芯片的形式被制造并安装在装置1000上。例如，数据获取单元1320-1、预处理单元1320-2、特征数据选择单元1320-3、识别结果提供单元1320-4和模型更新单元1320-5中的至少一个单元可以以用于AI的专用硬件芯片的形式被制造，或者可以被制造为将被安装在上述各种装置1000上的传统通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分。
此外，数据获取单元1320-1、预处理单元1320-2、特征数据选择单元1320-3、识别结果提供单元1320-4和模型更新单元1320-5可以被安装在一个装置1000上或者可以分别被安装在多个单独的装置上。例如，数据获取单元1320-1、预处理单元1320-2、特征数据选择单元1320-3、识别结果提供单元1320-4和模型更新单元1320-5中的一些单元可以被包括在装置1000中，并且其余单元可以被包括在服务器中。
此外，数据获取单元1320-1、预处理单元1320-2、特征数据选择单元1320-3、识别结果提供单元1320-4和模型更新单元1320-5中的至少一个单元可以被实现为软件模块。当数据获取单元1320-1、预处理单元1320-2、特征数据选择单元1320-3、识别结果提供单元1320-4和模型更新单元1320-5中的至少一个单元被实现为软件模块(或包括指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读记录介质中。可选地，可以由操作系统(OS)或特定应用提供至少一个软件模块。可选地，至少一个软件模块中的一些模块可以由OS提供，其余的模块可以由特定应用提供。
图15是根据一些实施例的装置1000和服务器2000彼此互锁以学习并识别数据的示例的示图。
参照图15，服务器2000可以学习用于产品推荐的标准，并且装置1000可以基于由服务器2000学习的结果来推荐产品。
在这种情况下，服务器2000的模型学习单元2340可以执行图12中所示的模型学习单元1310的功能。服务器2000的模型学习单元2340可以学习关于使用什么数据来推荐特定产品以及如何使用该数据来推荐产品的标准。模型学习单元2340可以获得将用于学习的数据并将获得的数据应用于稍后将在下面被描述的数据确定模型，使得模型学习单元2340可以学习用于产品推荐的标准。
此外，装置1000的识别结果提供单元1320-4可以通过将由特征数据选择单元1320-3选择的数据应用于由服务器2000生成的数据确定模型来推荐产品。例如，识别结果提供单元1320-4将由特征数据选择单元1320-3选择的数据发送到服务器2000，并且可以请求服务器2000将由特征数据选择单元1320-3选择的数据应用于识别模型以推荐产品。另外，识别结果提供单元1320-4可以从服务器2000接收关于由服务器2000推荐的产品的信息。
例如，装置1000可以将用户的图像、产品图像等发送到服务器2000，并且可以请求服务器2000将接收的数据应用于识别模型以推荐产品。装置1000可以接收关于由服务器推荐的产品的信息。
可选地，装置1000的识别结果提供单元1320-4可以从服务器2000接收由服务器2000生成的识别模型，并且可以使用接收的识别模型来推荐产品。在这种情况下，装置1000的识别结果提供单元1320-4可以将由特征数据选择单元1320-3选择的数据应用于从服务器2000接收的数据确定模型以推荐产品。
例如，装置1000可以从服务器2000接收由服务器2000生成的识别模型，并且可以通过将用户的图像、产品图像等应用于接收的识别模型来推荐产品。
本公开的实施例可以被实现为记录介质上的计算机可读指令，例如，将在计算机中执行的程序模块，该程序模块包括计算机可读指令。计算机可读介质可以是可由计算机访问的任何可用介质，并且可以包括诸如易失性和非易失性介质以及离散型和非离散型介质的任何可用介质。此外，非暂时性计算机可读介质可以包括存储介质和通信介质的所有计算机。计算机存储介质可以包括通过用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的方法或技术实现的任何介质，诸如易失性和非易失性介质以及离散型和非离散型介质。通信介质可以包括调制信号的其他数据(诸如计算机可读指令、数据结构、程序模块或载波信号、或其他传输机制)以及任意信息介质。
应当理解，本文描述的示例实施例应仅被认为是描述性意义而非用于限制的目的。每个示例实施例中的特征或方面的描述通常应被认为可用于其他示例实施例中的其他相似的特征或方面。因此，示例实施例应仅被认为是描述性意义而非用于限制的目的。例如，被描述为单数形式的每个组成元件可以以分布形式被实现。此外，以分布形式描述的组成元件可以以组合的形式被实现。
因此，本公开的范围不是由详细描述限定，而是由权利要求限定，并且所述范围内的所有差异将被解释为包括在所述实施例中。

Claims (13)

1.一种装置，包括：
显示器，被配置为显示由用户选择的第一产品；
相机，被配置为拍摄用户；
存储器，存储至少一个程序以及多个产品组之间的相似度，其中，所述相似度由第一人工智能模型设置；以及
至少一个处理器，被配置为执行所述至少一个程序以基于用户的面部表情信息来推荐产品，
其中，所述至少一个程序包括用于以下操作的指令：
通过所述相机获得针对显示的第一产品的面部表情信息；
通过将获得的面部表情信息应用到与第一人工智能模型不同的第二人工智能模型确定用户对显示的第一产品的第一满意度；
基于确定的用户的第一满意度，以及包括显示的第一产品的第一产品组与不包括第一产品的多个产品组之间的相似度，从不包括第一产品的所述多个产品组中选择将被推荐给用户的第二产品组；并且
显示选择的第二产品组中包括的至少一个产品，
其中，选择将被推荐的第二产品组的操作包括：
确定与用户的第一满意度相应的第一相似度，其中，随着用户的第一满意度增加，第一相似度更高，并且随着用户的第一满意度降低，第一相似度更低，
从不包括第一产品的所述多个产品组中，选择具有第一相似度的产品组作为将被推荐的第二产品组，并且在不存在具有第一相似度的产品组的情况下，选择具有与第一相似度最接近的相似度的产品组作为将被推荐的第二产品组，
其中，显示选择的第二产品组中包括的至少一个产品，包括：
使用所述相机获得用户的图像，以及
基于所述用户的图像，显示用户穿戴选择的第二产品组中包括的至少一个产品的状态的图像，
其中，基于用户对包括在选择的第二产品组中的至少一个产品的第二满意度来改变包括显示的第一产品的第一产品组与选择的第二产品组之间的相似度，
其中，所述至少一个程序还包括用于以下操作的指令：当用户对包括在第二产品组中的第二产品的满意度与用户对包括在第二产品组中的其他产品的满意度之间的差等于或者大于阈值时，从第二产品组中移除第二产品，
其中，产品组中包括的产品的多个参数相同，并且所述多个产品组之中的相同参数的数量越多，所述多个产品组之间的相似度越大。
2.如权利要求1所述的装置，其中，第二人工智能模型使用机器学习、神经网络、遗传算法、深度学习和分类算法中的至少一种作为人工智能算法被训练。
3.如权利要求1所述的装置，其中，所述至少一个程序还包括用于以下操作的指令：
获得与用户相关的信息，
还基于所述与用户相关的信息，从不包括第一产品的所述多个产品组中选择将被推荐给用户的第二产品组。
4.如权利要求3所述的装置，其中，所述与用户相关的信息包括关于用户性别、用户身高、用户体重、用户年龄、用户购买历史、用户职业、用户服装和用户收入中的至少一个的信息。
5.如权利要求1所述的装置，其中，所述至少一个程序还包括用于以下操作的指令：
获得观看显示的第一产品的用户的操作信息，
基于获得的面部表情信息和操作信息来确定用户对显示的第一产品的第一满意度。
6.如权利要求5所述的装置，其中，所述操作信息包括关于用户的手势、用户的注视方向和用户观看显示的第一产品的持续时间中的至少一个的信息。
7.如权利要求1所述的装置，其中，所述至少一个处理器被配置为：
还基于其他用户针对显示的第一产品的购买历史信息来选择将被推荐的第二产品组。
8.如权利要求1所述的装置，其中，所述至少一个处理器被配置为控制所述显示器以进行以下操作：
基于确定的用户的第一满意度来显示用于确定是否购买显示的第一产品的图形用户界面GUI。
9.如权利要求8所述的装置，其中，所述至少一个处理器被配置为控制所述显示器以进行以下操作：
当确定的用户的第一满意度大于或等于与用户的购买意愿相关的阈值时，显示用于确定是否购买显示的第一产品的所述GUI。
10.如权利要求1所述的装置，其中，所述至少一个程序还包括用于以下操作的指令：
显示用于获得用户的标识ID的GUI。
11.一种由装置执行的推荐产品的方法，所述方法包括：
存储多个产品组之间的相似度，其中，所述相似度由第一人工智能模型设置；
显示由用户选择的第一产品；
获得用户针对显示的第一产品的面部表情信息；
通过将获得的用户的面部表情信息应用于与第一人工智能模型不同的第二人工智能模型来确定用户对显示的第一产品的第一满意度；
基于确定的用户的第一满意度，以及包括显示的第一产品的第一产品组与不包括第一产品的多个产品组之间的相似度，从不包括第一产品的所述多个产品组中选择将被推荐给用户的第二产品组；并且
显示选择的第二产品组中包括的至少一个产品，
其中，选择将被推荐的第二产品组，包括：
确定与用户的第一满意度相应的第一相似度，其中，随着用户的第一满意度增加，第一相似度更高，并且随着用户的第一满意度降低，第一相似度更低，
从不包括第一产品的所述多个产品组中，选择具有第一相似度的产品组作为将被推荐的第二产品组，并且在不存在具有第一相似度的产品组的情况下，选择具有与第一相似度最接近的相似度的产品组作为将被推荐的第二产品组，
其中，显示选择的第二产品组中包括的至少一个产品，包括：
使用相机获得用户的图像，以及
基于所述用户的图像，显示用户穿戴选择的第二产品组中包括的至少一个产品的状态的图像，
其中，基于用户对包括在选择的第二产品组中的至少一个产品的第二满意度来改变包括显示的第一产品的第一产品组与选择的第二产品组之间的相似度，
其中，所述方法还包括：当用户对包括在第二产品组中的第二产品的满意度与用户对包括在第二产品组中的其他产品的满意度之间的差等于或者大于阈值时，从第二产品组中移除第二产品，
其中，产品组中包括的产品的多个参数相同，并且所述多个产品组之中的相同参数的数量越多，所述多个产品组之间的相似度越大。
12.如权利要求11所述的方法，其中，选择将被推荐的第二产品组的步骤包括：
获得与用户有关的信息；并且
还基于所述与用户相关的信息，从不包括第一产品的所述多个产品组中选择将被推荐给用户的第二产品组。
13.一种记录有程序的计算机可读记录介质，其中，所述程序用于执行权利要求11的所述方法。
CN201880008158.XA 2017-02-01 2018-01-29 用于推荐产品的装置和方法 Active CN110249360B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20170014376 2017-02-01
KR10-2017-0014376 2017-02-01
KR10-2018-0007889 2018-01-22
KR1020180007889A KR102520627B1 (ko) 2017-02-01 2018-01-22 상품을 추천하는 디바이스 및 방법
PCT/KR2018/001240 WO2018143630A1 (ko) 2017-02-01 2018-01-29 상품을 추천하는 디바이스 및 방법

Publications (2)

Publication Number Publication Date
CN110249360A CN110249360A (zh) 2019-09-17
CN110249360B true CN110249360B (zh) 2024-01-05

Family

ID=63250985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880008158.XA Active CN110249360B (zh) 2017-02-01 2018-01-29 用于推荐产品的装置和方法

Country Status (5)

Country Link
US (1) US11151453B2 (zh)
EP (1) EP3537368A4 (zh)
KR (1) KR102520627B1 (zh)
CN (1) CN110249360B (zh)
WO (1) WO2018143630A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386474B2 (en) * 2018-10-09 2022-07-12 Rovi Guides, Inc. System and method for generating a product recommendation in a virtual try-on session
KR102610737B1 (ko) * 2018-11-05 2023-12-07 현대자동차주식회사 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법
US10896420B2 (en) * 2018-11-28 2021-01-19 Capital One Services, Llc Product analysis platform to perform a facial recognition analysis to provide information associated with a product to a user
CN109816437B (zh) * 2019-01-10 2020-11-24 博拉网络股份有限公司 一种购买意愿预测方法、装置和商品管理服务器
CN109815873A (zh) * 2019-01-17 2019-05-28 深圳壹账通智能科技有限公司 基于图像识别的商品展示方法、装置、设备及介质
KR102185571B1 (ko) * 2019-01-22 2020-12-02 경일대학교산학협력단 구매 의도를 식별하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
WO2021081649A1 (en) * 2019-10-30 2021-05-06 Lululemon Athletica Canada Inc. Method and system for an interface to provide activity recommendations
CN110827129B (zh) * 2019-11-27 2022-11-11 中国联合网络通信集团有限公司 一种商品推荐方法及装置
CN111178293A (zh) * 2019-12-31 2020-05-19 上海能塔智能科技有限公司 识别用户对车辆满意度的处理方法、装置、设备与介质
CN111241980B (zh) * 2020-01-07 2023-04-14 中山大学 情绪识别能力测评方法、装置、电子设备及存储介质
KR20210105014A (ko) 2020-02-18 2021-08-26 주식회사 와이즈패션 주문 데이터의 태그 기반 상품 추천 및 주문 서비스를 제공하는 방법
KR20210105011A (ko) 2020-02-18 2021-08-26 주식회사 와이즈패션 주문 데이터의 태그 기반 상품 추천 및 주문 서비스를 제공하는 장치 및 방법
KR20210105013A (ko) 2020-02-18 2021-08-26 주식회사 와이즈패션 상품 추천 및 주문 서비스를 제공하는 장치
KR20210105012A (ko) 2020-02-18 2021-08-26 주식회사 와이즈패션 주문 데이터의 태그 기반 상품 추천 및 주문 서비스를 제공하는 장치
KR20210105015A (ko) 2020-02-18 2021-08-26 주식회사 와이즈패션 상품 추천 및 주문 서비스를 제공하는 프로그램
KR20210105016A (ko) 2020-02-18 2021-08-26 주식회사 와이즈패션 상품 추천 및 주문 서비스를 제공하는 프로그램이 기록된 기록매체
KR102490035B1 (ko) * 2020-02-24 2023-01-17 연세대학교 산학협력단 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법
WO2021019311A1 (en) * 2020-03-19 2021-02-04 Sharifrazi Danial Hybrid recommender system equipped with facial expression recognition and machine learning
CN113450169A (zh) * 2020-03-27 2021-09-28 杭州大搜车汽车服务有限公司 车辆推荐信息的处理方法、系统、计算机设备和存储介质
WO2021261875A1 (ko) * 2020-06-22 2021-12-30 엘지전자 주식회사 스마트 윈도우 디스플레이 및 스마트 윈도우 디스플레이의 동작 방법
WO2022011448A1 (en) * 2020-07-16 2022-01-20 Lululemon Athletica Canada Inc. Method and system for an interface for personalization or recommendation of products
CN112016001A (zh) * 2020-08-17 2020-12-01 上海掌门科技有限公司 好友推荐方法、设备及计算机可读介质
CN112053205A (zh) * 2020-08-21 2020-12-08 北京云迹科技有限公司 通过机器人情绪识别的产品推荐方法及装置
US20220114639A1 (en) * 2020-10-09 2022-04-14 Micron Technology, Inc. Recommending products using artificial intelligence
CN112418983A (zh) * 2020-11-19 2021-02-26 珠海格力电器股份有限公司 一种用户购买意愿信息的确定方法以及装置
KR102420219B1 (ko) * 2021-01-04 2022-07-12 김소령 Qr 코드 연동 고객 관리 플랫폼 시스템
CN117651930A (zh) * 2021-07-19 2024-03-05 三星电子株式会社 控制外部电子装置的电子装置及电子装置的操作方法
US11715118B1 (en) * 2022-03-30 2023-08-01 Content Square SAS Product performance with location on page analysis
KR102430860B1 (ko) * 2022-06-08 2022-08-09 이성민 사용자 맞춤형 영양제 추천 시스템
KR20240044684A (ko) 2022-09-29 2024-04-05 주식회사 콥틱 아이웨어 추천 시스템 및 방법
CN115809864B (zh) * 2023-02-09 2023-05-19 翌飞锐特电子商务(北京)有限公司 一种物流报表管理系统以及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699769A (zh) * 2015-02-28 2015-06-10 北京京东尚科信息技术有限公司 基于表情识别的交互方法和执行该方法的设备

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
WO2002039371A2 (en) 2000-11-03 2002-05-16 Koninklijke Philips Electronics N.V. Estimation of facial expression intensity using a bidirectional star topology hidden markov model
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
KR20050024401A (ko) * 2002-06-27 2005-03-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 시각 및 음성 인식을 통한 컨텐트 등급의 측정
US8208764B2 (en) * 2006-01-21 2012-06-26 Elizabeth Guckenberger Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine
US20080065468A1 (en) * 2006-09-07 2008-03-13 Charles John Berg Methods for Measuring Emotive Response and Selection Preference
US10380603B2 (en) * 2008-05-31 2019-08-13 International Business Machines Corporation Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US8332255B2 (en) * 2009-11-09 2012-12-11 Palo Alto Research Center Incorporated Sensor-integrated mirror for determining consumer shopping behavior
US8598980B2 (en) 2010-07-19 2013-12-03 Lockheed Martin Corporation Biometrics with mental/physical state determination methods and systems
US20130046637A1 (en) * 2011-08-19 2013-02-21 Firethorn Mobile, Inc. System and method for interactive promotion of products and services
EP3200046A1 (en) * 2011-10-27 2017-08-02 Tobii Technology AB Power management in an eye-tracking system
US20130132898A1 (en) 2011-11-17 2013-05-23 Michael F. Cuento System, Method and Software Product in Eyewear Marketing, Fitting Out and Retailing
KR20140034367A (ko) * 2012-09-10 2014-03-20 에스케이플래닛 주식회사 사용자 단말과 연동하여 상품 주문이 가능한 디지털 정보 디스플레이 시스템 및 그 디지털 정보 디스플레이 방법
KR20140071802A (ko) * 2012-12-04 2014-06-12 주식회사 엘지유플러스 얼굴 인식을 통한 휴대 단말기 숏컷 정보 실행 시스템 및 방법
US10546352B2 (en) * 2013-03-14 2020-01-28 Facebook, Inc. Method for selectively advertising items in an image
US10373212B2 (en) * 2013-03-14 2019-08-06 Facebook, Inc. Methods for linking images in social feeds to branded content
US10521830B2 (en) * 2013-03-14 2019-12-31 Facebook, Inc. Method for displaying a product-related image to a user while shopping
US20140363059A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
US20140365272A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Product display with emotion prediction analytics
CN103488974A (zh) * 2013-09-13 2014-01-01 南京华图信息技术有限公司 基于模拟生物视觉神经网络的人脸表情识别方法及系统
KR20150080090A (ko) * 2013-12-30 2015-07-09 전남대학교산학협력단 하둡 기반의 상품 추천 시스템 및 그 시스템에서의 상품 추천을 위한 장치 및 방법
US10311161B2 (en) 2014-03-13 2019-06-04 Ebay Inc. Interactive displays based on user interest
US20160015307A1 (en) * 2014-07-17 2016-01-21 Ravikanth V. Kothuri Capturing and matching emotional profiles of users using neuroscience-based audience response measurement techniques
US10198505B2 (en) * 2014-08-21 2019-02-05 Affectomatics Ltd. Personalized experience scores based on measurements of affective response
US10572679B2 (en) * 2015-01-29 2020-02-25 Affectomatics Ltd. Privacy-guided disclosure of crowd-based scores computed based on measurements of affective response
US20160093081A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
JP2016076109A (ja) * 2014-10-07 2016-05-12 国立大学法人九州工業大学 顧客購買意思予測装置及び顧客購買意思予測方法
US20160110791A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US20160180447A1 (en) * 2014-12-20 2016-06-23 Ebay Inc. Virtual shopping
JP6561639B2 (ja) * 2015-07-09 2019-08-21 富士通株式会社 関心度判定装置、関心度判定方法および関心度判定プログラム
US10497043B2 (en) * 2015-09-24 2019-12-03 Intel Corporation Online clothing e-commerce systems and methods with machine-learning based sizing recommendation
US10282431B1 (en) * 2015-12-18 2019-05-07 A9.Com, Inc. Image similarity-based group browsing
JP2017167776A (ja) * 2016-03-16 2017-09-21 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
US10019489B1 (en) * 2016-04-27 2018-07-10 Amazon Technologies, Inc. Indirect feedback systems and methods
US10290136B2 (en) * 2016-08-10 2019-05-14 Zeekit Online Shopping Ltd Processing user selectable product images and facilitating visualization-assisted coordinated product transactions
US20180075514A1 (en) * 2016-09-15 2018-03-15 Xerox Corporation Method and system for data processing for generating adaptive recommendations of relevant items
US10657718B1 (en) * 2016-10-31 2020-05-19 Wells Fargo Bank, N.A. Facial expression tracking during augmented and virtual reality sessions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699769A (zh) * 2015-02-28 2015-06-10 北京京东尚科信息技术有限公司 基于表情识别的交互方法和执行该方法的设备

Also Published As

Publication number Publication date
KR102520627B1 (ko) 2023-04-12
US11151453B2 (en) 2021-10-19
US20200104703A1 (en) 2020-04-02
EP3537368A1 (en) 2019-09-11
CN110249360A (zh) 2019-09-17
WO2018143630A1 (ko) 2018-08-09
EP3537368A4 (en) 2019-11-20
KR20180089855A (ko) 2018-08-09

Similar Documents

Publication Publication Date Title
CN110249360B (zh) 用于推荐产品的装置和方法
US11042728B2 (en) Electronic apparatus for recognition of a user and operation method thereof
US11470385B2 (en) Method and apparatus for filtering video
KR102359391B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11222413B2 (en) Method for correcting image by device and device therefor
KR102530045B1 (ko) 전자 장치 및 그 동작 방법
US11954150B2 (en) Electronic device and method for controlling the electronic device thereof
US20210350441A1 (en) Electronic device and method for operating same
US20190362718A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
US11327320B2 (en) Electronic device and method of controlling the same
KR20180054365A (ko) 제품의 판매 정보를 제공하는 방법 및 장치
KR20200036680A (ko) 감정 정보 획득을 위한 전자 장치 및 방법
KR102384878B1 (ko) 동영상을 필터링하는 방법 및 장치
KR20180132493A (ko) 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법
KR102464906B1 (ko) 패션 상품을 추천하는 전자 장치, 서버 및 그 동작 방법
US20220180640A1 (en) Electronic device for providing response method, and operating method thereof
KR20200094607A (ko) 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법
KR20200084395A (ko) 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
KR20190096752A (ko) 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치
KR102659288B1 (ko) 전자 장치 및 그 동작 방법
KR20200069251A (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
KR102451690B1 (ko) 인공지능 기반 사용자 맞춤형 안경 제작 서비스 제공 방법
US20230316470A1 (en) Method for correcting image by device and device therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant