CN112528140A - 信息推荐方法、装置、设备、系统及存储介质 - Google Patents

信息推荐方法、装置、设备、系统及存储介质 Download PDF

Info

Publication number
CN112528140A
CN112528140A CN202011379303.0A CN202011379303A CN112528140A CN 112528140 A CN112528140 A CN 112528140A CN 202011379303 A CN202011379303 A CN 202011379303A CN 112528140 A CN112528140 A CN 112528140A
Authority
CN
China
Prior art keywords
user
information
commodity
preference
display terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011379303.0A
Other languages
English (en)
Inventor
周希波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011379303.0A priority Critical patent/CN112528140A/zh
Publication of CN112528140A publication Critical patent/CN112528140A/zh
Priority to US17/535,961 priority patent/US20220172271A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Abstract

本申请提供了一种信息推荐方法、装置、设备、系统及存储介质。该信息推荐方法包括：获取显示终端所处的展示区域的视频信息；识别视频信息中的人脸图像，确定人脸图像所属的用户是否对显示终端产生关注；在确定人脸图像所属的用户对显示终端产生关注时，检测用户对商品的喜好度；向显示终端发送符合喜好度的商品信息，使显示终端展示商品信息。本申请可在用户无感知的情况下与其发生交互，而无需用户与终端设备的直接交互，可有效提高处理效率，实现更加智能的自动化销售服务，应用场景较广。

Description

信息推荐方法、装置、设备、系统及存储介质
技术领域
本申请涉及信息处理和传输的技术领域，具体而言，本申请涉及一种信息推荐方法、装置、设备、系统及存储介质。
背景技术
随着物联网时代的到来，不少行业由传统网点营业模式到互联网营业模式，又转回线下网点营业模式，并引入了一些自动化销售的方案，以实现自动化销售服务。然而现有的自动化销售方案要求用户与终端设备一对一直接交互，根据直接交互的信息来向用户推荐商品，处理效率低下，且场景单一。
发明内容
本申请针对现有方式的缺点，提出一种信息推荐方法、装置、设备、系统及存储介质，用以解决现有技术存在的用户与终端设备交互效率低的技术问题。
第一方面，本申请实施例提供了一种信息推荐方法，包括：
获取显示终端所处的展示区域的视频信息；
识别视频信息中的人脸图像，确定人脸图像所属的用户是否对显示终端产生关注；
在确定人脸图像所属的用户对显示终端产生关注时，检测用户对商品的喜好度；
向显示终端发送符合喜好度的商品信息，使显示终端展示商品信息。
第二方面，本申请实施例提供了一种信息推荐装置，包括：
图像获取模块，用于获取显示终端所处的展示区域的视频信息；
人脸识别模块，用于识别视频信息中的人脸图像，确定人脸图像所属的用户是否对显示终端产生关注；
喜好度检测模块，用于在确定人脸图像所属的用户对显示终端产生关注时，检测用户对商品的喜好度；
商品推荐模块，用于向显示终端发送符合喜好度的商品信息，使显示终端展示商品信息。
第三方面，本申请实施例提供了一种信息推荐设备，包括：存储器和处理器；
存储器存储有计算机程序，计算机程序由处理器执行以实现本申请实施例第一方面提供的信息推荐方法。
第四方面，本申请实施例提供了一种信息推荐系统，包括：
图像采集装置、显示终端和本申请实施例第三方面提供的信息推荐设备；
图像采集装置、显示终端均与信息推荐设备通信连接；
图像采集装置用于采集显示终端所处的展示区域的图像，得到展示区域的视频信息；
显示终端用于展示信息推荐设备发送的商品信息。
第五方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的信息推荐方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
本申请实施例可通过获取展示区域的视频信息来获取用户的人脸图像，基于人脸图像可确定用户是否对显示终端产生关注，进而在确定用户对显示终端产生关注的情况下，基于检测到的用户对商品的喜好度向用户推荐商品，整个过程中可在用户无感知的情况下与其发生交互，而无需用户与终端设备的直接交互，可有效提高处理效率，实现更加智能的自动化销售服务，应用场景较广。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种信息推荐系统的结构示意图；
图2为本申请实施例提供的一种信息推荐设备的结构示意图；
图3为本申请实施例提供的一种信息推荐方法的流程示意图；
图4为本申请实施例提供的一种信息推荐装置的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供了一种信息推荐系统，如图1所示，该信息推荐系统100包括图像采集装置110、显示终端120和本申请实施例提供的信息推荐设备130。
图像采集装置110、显示终端120均与信息推荐设备130通信连接。
图像采集装置110用于采集显示终端120所处的展示区域的图像，得到该展示区域的视频信息；显示终端120用于展示信息推荐设备130发送的商品信息。
图像采集装置110的摄像头面向显示终端120所处的展示区域，图像采集装置110可集成于显示终端120中，或独立设置于显示终端120之外(例如显示终端120的上方)，图像采集装置110还可与显示终端120通信连接，向显示终端120发送采集到的图像或视频，显示终端120还可用于展示该图像或视频。
本申请实施例提供的信息推荐设备130包括：存储器和处理器。
存储器上存储有计算机程序，该计算机程序由处理器执行以实现本申请实施例所提供的任一信息推荐方法。
可选地，本申请实施例的存储器还可存储商品信息。
本技术领域技术人员可以理解，本申请实施例提供的信息推荐设备130可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
本申请在一个可选实施例中提供了一种信息推荐设备130，如图2所示，该信息推荐设备130包括：存储器131和处理器132，存储器131和处理器132电连接，如通过总线133连接。
可选的，存储器131用于存储执行本申请实施例方案的应用程序代码，并由处理器132来控制执行。处理器132用于执行存储器131中存储的应用程序代码，以实现本申请实施例提供的任一种信息推荐方法。
存储器131可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，可以是RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
处理器132可以是CPU(Central Processing Unit，中央处理器)、通用处理器，DSP(Digital Signal Processor，数据信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器132也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线133可包括一通路，在上述组件之间传送信息。总线可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，信息推荐设备130还可以包括收发器134。收发器134可用于信号的接收和发送。收发器134可以允许电子设备800与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器134不限于一个。
可选地，信息推荐设备130还可以包括输入单元135。输入单元135可用于接收输入的数字、字符、图像和/或声音信息，或者产生与信息推荐设备130的用户设置以及功能控制有关的键信号输入。输入单元135可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。
可选地，信息推荐设备130还可以包括输出单元136。输出单元136可用于输出或展示经过处理器132处理的信息。输出单元136可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。
虽然图2示出了具有各种装置的信息推荐设备130，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
基于同一发明构思，本申请实施例提供了一种信息推荐方法，可应用于本申请实施例提供的信息推荐设备130，如图3所示，该信息推荐方法包括：
S301，获取显示终端120所处的展示区域的视频信息。
本申请实施例中所使用的视频信息可由集成于显示终端120中或独立设置于显示终端120之外的图像采集装置110采集得到，视频信息由多个帧画面组成。
本申请实施例中所使用的视频信息为当前时刻之前的一个时间段内的历史视频信息，所选时间段越接近当前时刻，越有利于提供精准的信息展示。
S302，识别视频信息中的人脸图像，确定人脸图像所属的用户是否对显示终端120产生关注；若是，则执行步骤S303，若否，则执行步骤S301。
可选地，对视频信息中同一用户的人脸图像进行追踪，确定用户面对显示终端120的时间是否大于关注时间阈值；在确定用户面对显示终端120的时间大于关注时间阈值时，确定用户对显示终端120产生了关注。关注时间阈值可根据实际需求设置。
可选地，在识别视频信息中的人脸图像时，以一定频率在视频信息中抓取帧画面，在所抓取的每帧画面中识别人脸图像，得到人脸特征向量、人脸ID(Identity Document，身份标识号码)和人脸图像在帧画面中的位置信息。
可选地，在对视频信息中同一用户的人脸图像进行追踪时，按照所抓取的各帧画面的时序，对各帧画面中同一用户的人脸ID进行追踪，确定该用户是否面对显示终端120，并确定该用户面对显示终端120的持续时间。
可选地，本申请实施例在进行人脸图像的识别时，可使用基于SeetaFace(一种开源人脸识别引擎)搭建的人脸识别算法。该引擎包含了搭建一套全自动人脸识别算法所需的三个核心模块：人脸检测模块、面部特征点定位模块、以及人脸特征提取与比对模块；其中，人脸检测模块采用结合传统人造特征与多层感知机的级联结构，面部特征点定位模块通过级联多个深度模型来回归5个关键特征点(两眼中心、鼻尖和两个嘴角)的位置，人脸特征提取与比对模块采用一个9层的卷积神经网络来提取人脸特征。
S303，检测用户对商品的喜好度；
可选地，获取待展示的所有商品信息；获取用户的用户画像和用户查询商品时的查询动作反馈信息中的至少一项信息；用户画像是根据人脸图像构建出的，查询动作反馈信息是根据区域图像获取到的、用于反馈所述用户是否存在查询动作的信息；根据待展示的所有商品信息和上述至少一项信息，确定用户对各商品的喜好度。
可选地，本申请实施例中的用户画像是通过如下方式构建出的：
将人脸图像与人脸数据库中的人脸图像进行比对，确定用户是否为已注册用户；在确定用户为已注册用户时，根据用户的注册信息构建用户的用户画像；在确定用户为未注册用户时，对用户的人脸图像进行人脸属性识别，得到用户的人脸属性信息，根据用户的人脸属性信息构建用户的用户画像。
在一个示例中，人脸数据库存储有针对当前营业场所(例如银行、商场等)预先采集的已注册用户(例如银行的行内客户、商场的会员)的人脸图像。在进行比对时，采用人脸识别算法将本申请实施例识别出的人脸图像转换为512维的特征向量，然后与人脸数据库中存储的已注册用户的人脸图像的特征向量进行比对，若人脸图像的特征向量与已注册用户的人脸图像的特征向量的余弦相似度大于预设的相似度阈值，则比对成功，即可确定该用户为已注册用户，否则为未注册用户。
在另一个示例中，人脸数据库存储有针对当前营业场所预先采集的已注册用户的人脸图像和工作人员的人脸图像，在本申请实施例中识别出的人脸图像的特征向量与人脸数据库中的人脸图像的特征向量比对成功时，可根据本申请实施例识别出的人脸图像的人脸ID进一步确定该用户为工作人员还是已注册用户。
用户的注册信息可以包括：经用户授权的性别、年龄、文化程度、婚姻状况、家庭关系、行业、职业、工作单位性质、收入情况、资产情况、借贷情况、住房情况、客户等级、客户活跃度等信息。
可选地，对用户的人脸图像进行人脸属性识别，包括：根据人脸属性识别模型，对用户的人脸图像的人脸属性进行识别；人脸属性识别模型包括分类模型和回归模型中的至少一种模型。
本申请实施例中可识别的人脸属性包括：性别、年龄、脸型、眼镜、胡须、人种、发型、首饰、化妆等至少一种属性。
可选地，本申请实施例中的人脸属性识别模块可根据不同人脸属性的样本数据集采用ShuffleNet_v2轻量级网络，针对不同人脸属性的数据集进行模型训练，将训练得到的模型输入Softmax分类模型，从而实现人脸不同属性的识别。对于年龄识别，由于输出的是具体数值而不是分类，可将Softmax分类模型换成回归模型进行识别。对于首饰、化妆等多目标识别，可将任务拆成若干子任务，如耳环识别、项链识别、发卡识别、眼妆识别、口红识别、眉形识别、腮红识别、高光识别等，每个子任务单独采集样本数据并进行训练。
在根据用户的注册信息或人脸属性信息构建用户画像时，可将注册信息或人脸属性信息作为用户画像；也可将由注册信息或人脸属性信息确定或提取到的标签信息作为用户画像，例如根据人脸属性信息中的年龄确定出的所属年龄段的信息，
可选地，本申请实施例中的查询动作反馈信息是通过如下方式获取到的：
根据动作检测模型对视频信息中用户查询商品信息的查询动作进行识别，得到形成查询动作的视频信息中各帧画面的手势信息；将每帧画面的手势信息与该帧画面中距离最近的人脸图像进行匹配，得到用户查询商品信息的查询动作反馈信息。
用户的查询动作可以包括扫码动作、触摸显示终端的动作等。当识别出的查询动作为扫码动作时，对于某帧画面，得到的手势信息可包括手势信息可包括发生动作的手势的位置信息和移动终端(例如手机、平板等移动设备)的位置信息；当识别出的查询动作为触摸显示终端的动作时，对于某帧画面，得到的手势信息可包括发生动作的手势的位置信息和显示终端的位置信息。
在将每帧画面的手势信息与该帧画面中距离最近的人脸图像进行匹配时，可将该手势信息与该帧画面中最近的人脸ID进行匹配。
本申请实施例中的动作检测模型可以是YOLO模型，该模型基于一个单独的端到端网络，包含24个卷积层和2个全连接层；其中，卷积层用来提取图像特征，全连接层用来预测图像位置和检测目标概率值。输出层将图片分成S×S个格子，每个格子检测落入该格子的目标，最后的输出即为包含检测目标的格子位置信息以及置信度，S为正整数。
在一个可选的实施方式中，根据待展示的所有商品信息和上述至少一项信息，确定用户对各商品的喜好度，包括：将待展示的所有商品信息和用户的上述至少一项信息输入喜好度计算模型，得到用户对各商品的喜好度。
该种实施方式可适用于以下任意一种情形：识别出至少一个用户的人脸图像的情形，有至少一个用户对显示终端产生关注的情形，有多个用户对显示终端产生关注的；也可适用于其它符合实际需求的情形。
在另一个可选的实施方式中，根据待展示的所有商品信息和至少一项信息，确定用户对各商品的喜好度，包括：将待展示的所有商品信息和多个用户的至少一项信息输入喜好度计算模型，得到每个用户对每个商品的喜好度；根据每个用户对每个商品的喜好度，确定出多个用户对每个商品的平均喜好度。
该种实施方式可适用于以下任意一种情形：识别出两个以上用户的人脸图像的情形，有两个以上用户对显示终端产生关注的情形；也可适用于其它符合实际需求的情形。
本申请实施例中的商品信息可包括多维度的商品属性信息，以银行的商品为例，理财产品通常包括起售日、投资期限、起购金额、产品类型、收益率、收益类型、风险等级等多种属性信息，贷款产品通常包括贷款类型、额度、利率、还款方式、期限等多种属性信息。
本申请实施例中的喜好度计算模型是根据因式分解机预先构建出的。因式分解机是一种基于矩阵分解的机器学习方法，引入二阶特征关联，提升关联特征与标签之间的关联性，常用于解决大规模稀疏数据下的特征组合问题，因此经常被用于转化率预估问题。将上述商品属性信息的矩阵代入因式分解机求解，可得到用户特征与商品特征之间的相关向量；针对每个用户，根据他的用户特征即可计算出他对所有商品的喜好度。
通过该实施方式，对于同一商品，可综合考虑不同用户对该商品的喜好度，满足不同用户的需求。
可选地，根据每个用户对每个商品的喜好度，确定出多个用户对每个商品的平均喜好度，包括：
将多个用户的人脸图像与人脸数据库中的人脸图像进行比对，确定每个用户是否为已注册用户；在同时存在已注册用户和未注册用户的情况下，对已注册用户设置第一喜好度权重，对未注册用户设置第二喜好度权重；根据每个用户对每个商品的喜好度、第一喜好度权重和第二喜好度权重，确定出多个用户对每个商品的平均喜好度。
第一喜好度权重和第二喜好度权重的大小关系可根据实际需求设置，在一个示例中，第一喜好度权重可以大于第二喜好度权重，从而更多地考虑已注册用户的喜好度，满足已注册用户的需求，以维护老用户；在另一个示例中，第二喜好度权重可以大于第一喜好度权重，从而更多地考虑未注册用户的喜好度，满足未注册用户的需求，以开发新用户。
S304，向显示终端120发送符合喜好度的商品信息，使显示终端120展示商品信息。
在一个可选的实施方式中，根据用户对各商品的喜好度，对各商品的商品信息进行排序；向显示终端120发送排序最靠前的至少一项商品信息。
该种实施方式可适用于以下任意一种情形：识别出至少一个用户的人脸图像的情形，有至少一个用户对显示终端产生关注的情形，有多个用户对显示终端产生关注的；也可适用于其它符合实际需求的情形。
可选地，在仅识别出一个用户的人脸图像或仅有一个用户对显示终端产生关注的情形下，在根据用户对各商品的喜好度，对各商品的商品信息进行排序时，可按该用户对各商品的喜好度从大到小的顺序，对各商品的商品信息进行排序。
可选地，在识别出两个以上用户的人脸图像或有两个以上用户对显示终端产生关注的情形下，在根据用户对各商品的喜好度，对各商品的商品信息进行排序时，可按各用户对各商品的喜好度从大到小的顺序，对各商品的商品信息进行排序。在一个示例中，对于M个用户和N个商品，若确定出每个用户对每个商品的喜好度，可得到M×N个喜好度，可按从大到小的顺序对该M×N个喜好度进行排序。
在另一个可选的实施方式中，根据各商品对应的平均喜好度，对各商品的商品信息进行排序；向显示终端120发送排序最靠前的至少一项商品信息。
可选地，按各商品对应的平均喜好度从大到小的顺序，对各商品的商品信息进行排序。
该种实施方式可适用于以下任意一种情形：识别出两个以上用户的人脸图像的情形，有两个以上用户对显示终端产生关注的情形；也可适用于其它符合实际需求的情形。
当在各帧画面中无法识别出人脸图像时，表示在视频信息所处的时间段无人经过展示区域，可根据预设的商品推荐策略向显示终端120发送相应的商品信息。预设的商品推荐策略包括：热门商品推荐、最新商品推荐、随机商品推荐等任意一种推荐策略。
基于同一发明构思，本申请实施例提供的一种信息推荐装置，如图4所示，该信息推荐装置400包括：图像获取模块401、人脸识别模块402、喜好度检测模块403和商品推荐模块404。
图像获取模块401，用于获取显示终端120所处的展示区域的视频信息。
人脸识别模块402，用于识别视频信息中的人脸图像，确定人脸图像所属的用户是否对显示终端120产生关注。
喜好度检测模块403，用于在确定人脸图像所属的用户对显示终端120产生关注时，检测用户对商品的喜好度。
商品推荐模块404，用于向显示终端120发送符合喜好度的商品信息，使显示终端120展示商品信息。
可选地，人脸识别模块402具体用于：对视频信息中同一用户的人脸图像进行追踪，确定用户面对显示终端120的时间是否大于关注时间阈值；在确定用户面对显示终端120的时间大于关注时间阈值时，确定用户对显示终端120产生了关注。
可选地，喜好度检测模块403具体用于：获取待展示的所有商品信息；获取用户的用户画像和用户查询商品时的查询动作反馈信息中的至少一项信息；根据待展示的所有商品信息和至少一项信息，确定用户对各商品的喜好度；其中，用户画像是根据人脸图像构建出的，查询动作反馈信息是根据区域图像获取到的、用于反馈所述用户是否存在查询动作的信息。
在一个可选的实施方式中，喜好度检测模块403具体用于：将待展示的所有商品信息和用户的至少一项信息输入喜好度计算模型，得到用户对各商品的喜好度。
在另一个可选的实施方式中，喜好度检测模块403具体用于：将待展示的所有商品信息和多个用户的至少一项信息输入喜好度计算模型，得到每个用户对每个商品的喜好度；根据每个用户对每个商品的喜好度，确定出多个用户对每个商品的平均喜好度。
可选地，喜好度检测模块403具体用于：将多个用户的人脸图像与人脸数据库中的人脸图像进行比对，确定每个用户是否为已注册用户；在同时存在已注册用户和未注册用户的情况下，对已注册用户设置第一喜好度权重，对未注册用户设置第二喜好度权重；根据每个用户对每个商品的喜好度、第一喜好度权重和第二喜好度权重，确定出多个用户对每个商品的平均喜好度。
在一个可选的实施方式中，商品推荐模块404具体用于：根据用户对各商品的喜好度，对各商品的商品信息进行排序；向显示终端120发送排序最靠前的至少一项商品信息。
在另一个可选的实施方式中，商品推荐模块404具体用于：根据各商品对应的平均喜好度，对各商品的商品信息进行排序；向显示终端120发送排序最靠前的至少一项商品信息。
可选地，本申请实施提供的信息推荐装置400，还包括：画像构建模块；该画像构建模块用于通过如下方式构建出用户画像：
将人脸图像与人脸数据库中的人脸图像进行比对，确定用户是否为已注册用户；在确定用户为已注册用户时，根据用户的注册信息构建用户的用户画像；在确定用户为未注册用户时，对用户的人脸图像进行人脸属性识别，得到用户的人脸属性信息，根据人脸属性信息构建用户的用户画像。
可选地，画像构建模块具体用于：在确定用户为未注册用户时，根据人脸属性识别模型，对用户的人脸图像的人脸属性进行识别。
可选地，本申请实施提供的信息推荐装置400，还包括：动作识别模块；该动作识别模块用于通过如下方式获取用户查询商品信息的查询动作反馈信息：
根据动作检测模型对视频信息中用户查询商品信息的查询动作进行识别，得到形成查询动作的视频信息中各帧画面的手势信息；将每帧画面的手势信息与该帧画面中距离最近的人脸图像进行匹配，得到用户查询商品信息的查询动作反馈信息。
本实施例的信息推荐装置400可执行本申请实施例提供的任一种信息推荐方法，其实现原理相类似，本实施例中未详细示出的内容可参照前面的各实施例，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所提供的任一信息推荐方法。
该计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例提供了一种计算机可读存储介质适用于上述任一信息推荐方法，在此不再赘述。
应用本申请实施例的技术方案，至少能够实现如下有益效果：
1)本申请实施例可通过获取展示区域的视频信息来获取用户的人脸图像，基于人脸图像可确定用户是否对显示终端产生关注，进而在确定用户对显示终端产生关注的情况下，基于检测到的用户对商品的喜好度向用户推荐商品，整个过程中可在用户无感知的情况下与其发生交互，而无需用户与终端设备的直接交互，可有效提高处理效率，实现更加智能的自动化销售服务，应用场景较广。
2)本申请实施例可通过对用户的人脸图像进行追踪，并考虑时间因素，准确地确定用户对显示终端是否产生关注，仅对产生关注的用户进行后续喜好度的检测和商品的推荐，从而减少不必要的商品推荐，减少运算量；在检测用户对商品的喜好度时，本申请实施例可综合考虑用户画像和用户查询商品的查询动作反馈信息，以提高喜好度计算的准确率。
3)本申请实施例可通过人脸图像的比对，区分已注册用户和未注册用户，对不同类型的用户构建不同的用户画像，以实现更有针对性的商品推荐和展示；对于未注册用户，本申请实施例可对其进行人脸属性识别，基于识别出的人脸属性信息构建其用户画像，丰富用户画像的信息维度，进而对未注册用户进行商品的推荐和展示，相比于现有的仅针对已注册客户进行商品推荐或对未注册用户仅作粗略推荐的方式，本申请实施例构建较有精确未注册用户的用户画像，对未注册用户实现有针对性且精准的商品推荐和展示。
4)本申请实施例可适用于一个以上用户的场景，对于仅有一个用户关注显示终端的场景，可确定该用户对各商品的喜好度，根据喜好度的大小对该用户进行精准的商品推荐；对于多个用户的场景，可综合考虑所有对显示终端产生关注的用户对每个商品的喜好度，以各用户对每个商品的平均喜好度为基础来向各用户推荐和展示商品信息，从而实现群体推荐。
5)本申请实施例可通过对已注册用户和未注册用户设置不同的喜好度权重，实现基于实际营销需求的具有倾向性的商品推荐和展示。当已注册用户的喜好度权重大于未注册用户的喜好度权重时，可优先满足已注册用户的商品关注需求，有助于维护老用户；当未注册用户的喜好度权重大于已注册用户的喜好度权重时，可优先满足未注册用户的商品关注需求，有助于于开发新用户。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种信息推荐方法，其特征在于，包括：
获取显示终端所处的展示区域的视频信息；
识别所述视频信息中的人脸图像，确定所述人脸图像所属的用户是否对所述显示终端产生关注；
在确定所述人脸图像所属的用户对所述显示终端产生关注时，检测用户对商品的喜好度；
向所述显示终端发送符合所述喜好度的商品信息，使所述显示终端展示所述商品信息。
2.根据权利要求1所述的信息推荐方法，其特征在于，所述确定所述人脸图像所属的用户是否对所述显示终端产生关注，包括：
对所述视频信息中同一用户的人脸图像进行追踪，确定所述用户面对所述显示终端的时间是否大于关注时间阈值；
在确定所述用户面对所述显示终端的时间大于所述关注时间阈值时，确定所述用户对所述显示终端产生了关注。
3.根据权利要求1或2所述的信息推荐方法，其特征在于，检测所述用户对商品的喜好度，包括：
获取待展示的所有商品信息；
获取所述用户的用户画像和所述用户查询商品时的查询动作反馈信息中的至少一项信息；所述用户画像是根据所述人脸图像构建出的，所述查询动作反馈信息是根据所述区域图像获取到的、用于反馈所述用户存在查询动作的信息；
根据待展示的所有商品信息和所述至少一项信息，确定所述用户对各商品的喜好度。
4.根据权利要求3所述的信息推荐方法，其特征在于，所述用户画像是通过如下方式构建出的：
将所述人脸图像与人脸数据库中的人脸图像进行比对，确定所述用户是否为已注册用户；
在确定所述用户为已注册用户时，根据所述用户的注册信息构建所述用户的用户画像；
在确定所述用户为未注册用户时，对所述用户的人脸图像进行人脸属性识别，得到所述用户的人脸属性信息，根据所述人脸属性信息构建所述用户的用户画像。
5.根据权利要求4所述的信息推荐方法，其特征在于，所述对所述用户的人脸图像进行人脸属性识别，包括：
根据人脸属性识别模型，对所述用户的人脸图像的人脸属性进行识别；
所述人脸属性识别模型包括分类模型和回归模型中的至少一种模型。
6.根据权利要求3所述的信息推荐方法，其特征在于，所述查询动作反馈信息是通过如下方式获取到的：
根据动作检测模型对所述视频信息中所述用户查询商品信息的查询动作进行识别，得到形成查询动作的所述视频信息中各帧画面的手势信息；
将每帧画面的所述手势信息与该帧画面中距离最近的所述人脸图像进行匹配，得到所述用户查询商品信息的查询动作反馈信息。
7.根据权利要求3所述的信息推荐方法，其特征在于，所述根据待展示的所有商品信息和所述至少一项信息，确定所述用户对各商品的喜好度，包括：
将待展示的所有商品信息和所述用户的所述至少一项信息输入喜好度计算模型，得到所述用户对各商品的喜好度；所述喜好度计算模型是根据因式分解机预先构建出的；
以及，所述向所述显示终端发送符合所述喜好度的商品信息，包括：
根据所述用户对各商品的喜好度，对各商品的所述商品信息进行排序；
向所述显示终端发送排序最靠前的至少一项商品信息。
8.根据权利要求3所述的信息推荐方法，其特征在于，所述根据待展示的所有商品信息和所述至少一项信息，确定所述用户对各商品的喜好度，包括：
将待展示的所有商品信息和多个用户的所述至少一项信息输入喜好度计算模型，得到每个用户对每个商品的喜好度；所述喜好度计算模型是根据因式分解机构建出的；
根据每个用户对每个商品的喜好度，确定出多个用户对每个商品的平均喜好度；
以及，所述向所述显示终端发送符合所述喜好度的商品信息，包括：
根据各商品对应的平均喜好度，对各商品的所述商品信息进行排序；
向所述显示终端发送排序最靠前的至少一项商品信息。
9.根据权利要求8所述的信息推荐方法，其特征在于，根据每个用户对每个商品的喜好度，确定出多个用户对每个商品的平均喜好度，包括：
将多个用户的所述人脸图像与人脸数据库中的人脸图像进行比对，确定每个用户是否为已注册用户；
在同时存在已注册用户和未注册用户的情况下，对已注册用户设置第一喜好度权重，对未注册用户设置第二喜好度权重；
根据每个用户对每个商品的喜好度、第一喜好度权重和第二喜好度权重，确定出多个用户对每个商品的平均喜好度。
10.一种信息推荐装置，其特征在于，包括：
图像获取模块，用于获取显示终端所处的展示区域的视频信息；
人脸识别模块，用于识别所述视频信息中的人脸图像，确定所述人脸图像所属的用户是否对所述显示终端产生关注；
喜好度检测模块，用于在确定所述人脸图像所属的用户对所述显示终端产生关注时，检测用户对商品的喜好度；
商品推荐模块，用于向所述显示终端发送符合所述喜好度的商品信息，使所述显示终端展示所述商品信息。
11.一种信息推荐设备，其特征在于，包括：存储器和处理器；
所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现如权利要求1-9中任一项所述的信息推荐方法。
12.一种信息推荐系统，其特征在于，包括：图像采集装置、显示终端和如权利要求11所述的信息推荐设备；
所述图像采集装置、所述显示终端均与所述信息推荐设备通信连接；
所述图像采集装置用于采集所述显示终端所处的展示区域的图像，得到所述展示区域的视频信息；
所述显示终端用于展示所述信息推荐设备发送的商品信息。
13.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的信息推荐方法。
CN202011379303.0A 2020-11-30 2020-11-30 信息推荐方法、装置、设备、系统及存储介质 Pending CN112528140A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011379303.0A CN112528140A (zh) 2020-11-30 2020-11-30 信息推荐方法、装置、设备、系统及存储介质
US17/535,961 US20220172271A1 (en) 2020-11-30 2021-11-26 Method, device and system for recommending information, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379303.0A CN112528140A (zh) 2020-11-30 2020-11-30 信息推荐方法、装置、设备、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112528140A true CN112528140A (zh) 2021-03-19

Family

ID=74995471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379303.0A Pending CN112528140A (zh) 2020-11-30 2020-11-30 信息推荐方法、装置、设备、系统及存储介质

Country Status (2)

Country Link
US (1) US20220172271A1 (zh)
CN (1) CN112528140A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724454A (zh) * 2021-08-25 2021-11-30 上海擎朗智能科技有限公司 移动设备的互动方法、移动设备、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8725567B2 (en) * 2006-06-29 2014-05-13 Microsoft Corporation Targeted advertising in brick-and-mortar establishments
EP3239919A1 (en) * 2008-03-05 2017-11-01 eBay Inc. Method and apparatus for image recognition services
US8769556B2 (en) * 2011-10-28 2014-07-01 Motorola Solutions, Inc. Targeted advertisement based on face clustering for time-varying video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724454A (zh) * 2021-08-25 2021-11-30 上海擎朗智能科技有限公司 移动设备的互动方法、移动设备、装置及存储介质

Also Published As

Publication number Publication date
US20220172271A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US11893099B2 (en) Systems and methods for dynamic passphrases
US10958748B2 (en) Resource push method and apparatus
US11126660B1 (en) High dimensional time series forecasting
CN106850346A (zh) 用于监控节点变化及辅助识别黑名单的方法、装置及电子设备
CN110741377A (zh) 人脸图像处理方法、装置、存储介质及电子设备
US11935298B2 (en) System and method for predicting formation in sports
CN110111136B (zh) 视频数据处理方法、装置、计算机设备和存储介质
US10565432B2 (en) Establishing personal identity based on multiple sub-optimal images
WO2022142903A1 (zh) 身份识别方法、装置、电子设备及相关产品
CN114612743A (zh) 深度学习模型的训练方法、目标对象识别方法和装置
CN110458644A (zh) 一种信息处理方法及相关设备
CN113793256A (zh) 基于用户标签的动漫人物生成方法、装置、设备及介质
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
CN112528140A (zh) 信息推荐方法、装置、设备、系统及存储介质
CN114360182A (zh) 一种智能告警方法、装置、设备及存储介质
CN112131477A (zh) 一种基于用户画像的图书馆图书推荐系统及方法
CN113763057A (zh) 用户身份画像的数据处理方法和装置
CN110399818A (zh) 一种风险预测的方法和设备
Fernández et al. Implementation of a face recognition system as experimental practices in an artificial intelligence and pattern recognition course
CN110472680B (zh) 目标分类方法、装置和计算机可读存储介质
CN114066564A (zh) 服务推荐时间确定方法、装置、计算机设备、存储介质
CN112749332A (zh) 数据处理方法、装置以及计算机可读介质
Kao et al. Personal based authentication by face recognition
TWI676145B (zh) 線上徵審方法及系統
Enrique III et al. Integrated Visual-Based ASL Captioning in Videoconferencing Using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination