CN110648170A - 一种物品推荐的方法及相关装置 - Google Patents

一种物品推荐的方法及相关装置 Download PDF

Info

Publication number
CN110648170A
CN110648170A CN201910824661.9A CN201910824661A CN110648170A CN 110648170 A CN110648170 A CN 110648170A CN 201910824661 A CN201910824661 A CN 201910824661A CN 110648170 A CN110648170 A CN 110648170A
Authority
CN
China
Prior art keywords
article
item
micro
recommended
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910824661.9A
Other languages
English (en)
Inventor
黄惠娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910824661.9A priority Critical patent/CN110648170A/zh
Publication of CN110648170A publication Critical patent/CN110648170A/zh
Priority to PCT/CN2020/099486 priority patent/WO2021042850A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • G06Q30/0271Personalized advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域,提供一种物品推荐的方法及相关装置。一种物品推荐的方法包括:获取用户浏览物品时的视频;对所述视频进行预处理,以得到人脸图像;从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;根据所述微表情确定所述用户的感兴趣物品;根据所述感兴趣物品的物品信息确定推荐物品;向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。本申请实施例的技术方案,提高了物品推荐的准确度。

Description

一种物品推荐的方法及相关装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种物品推荐的方法及相关装置。
背景技术
随着互联网技术的发展,越来越多的用户喜欢通过互联网浏览网站或者手机应用上的物品,企业会通过用户历史浏览的物品信息形成用户画像,然后为该用户形成推荐物品信息。
但是,很多时候用户在浏览物品时,存在误点击物品、出于好奇心点击物品或者只是点击了解的情况,所以,通过用户历史浏览的物品信息形成用户画像不能准确提现用户的真实喜好,这样为用户形成的推荐物品信息不够准确,物品推荐的准确度不高。
发明内容
本申请实施例提供一种物品推荐的方法及相关装置,提高了物品推荐的准确度。
本申请第一方面提供一种物品推荐的方法,包括:
获取用户浏览物品时的视频;
对所述视频进行预处理,以得到人脸图像;
从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;
根据所述微表情确定所述用户的感兴趣物品;
根据所述感兴趣物品的物品信息确定推荐物品;
向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
本申请第二方面提供了一种物品推荐的装置,包括:
获取单元,用于获取用户浏览物品时的视频;
处理单元,用于对所述视频进行预处理,以得到人脸图像;
识别单元,用于从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;
第一确定单元,用于根据所述微表情确定所述用户的感兴趣物品;
第二确定单元,用于根据所述感兴趣物品的物品信息确定推荐物品;
发送单元,用于向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
本申请第三方面提供了一种电子设备,所述电子设备包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行上述物品推荐方法的步骤的指令。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现上述物品推荐方法所描述的部分或全部步骤。
可以看到,通过本申请提出的物品推荐的方法及相关装置,获取用户浏览物品时的视频,对视频进行预处理,以得到人脸图像,从人脸图像中提取表情特征,将表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定人脸图像分别对应的微表情,根据微表情确定用户的感兴趣物品,根据感兴趣物品的物品信息确定推荐物品,向终端发送携带推荐物品的推荐指令,推荐指令用于指示终端显示推荐物品。这样,获取用户浏览物品时的视频,从而得到用户的微表情,根据用户的微表情确定用户感兴趣的物品,然后再根据用户感兴趣的物品信息形成推荐物品信息,推荐给用户,过滤掉了由于用户误操作或者无关操作形成的物品信息,得到的用户感兴趣的物品反映了用户的真实喜好,为用户形成的推荐物品信息的准确度高,提高了物品推荐的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种物品推荐系统的示意图;
图2为本申请实施例提供的一种物品推荐的方法的流程图;
图3为本申请实施例提供的另一种物品推荐的方法的流程图;
图4为本申请实施例提供的另一种物品推荐的方法的流程图;
图5为本申请实施例提供的一种第一可视化界面的示意图;
图6为本申请实施例提供的一种物品推荐的装置的示意图;
图7为本申请实施例涉及的硬件运行环境的电子设备结构示意图。
具体实施方式
本申请实施例提供的物品推荐的方法及相关装置,提高了物品推荐的准确度。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例进行详细说明。
首先参见图1,图1是本申请实施例提供的一种物品推荐系统100的结构示意图。其中,物品推荐系统100包括终端101和服务器102,终端101建立与服务器102的通信连接;
其中,终端101,用于显示物品;
服务器102,用于获取用户通过终端101浏览物品时的视频;对所述视频进行预处理,以得到人脸图像;从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;根据所述微表情确定所述用户的感兴趣物品;根据所述感兴趣物品的物品信息确定推荐物品;向终端101发送携带所述推荐物品的推荐指令,所述推荐指令用于指示终端101显示所述推荐物品;
终端101,还用于显示所述推荐物品。
其中,终端101可以是手机、平板电脑、掌上电脑、移动互联网设备或者其他类型的终端。
可以看出,获取用户浏览物品时的视频,从而得到用户的微表情,根据用户的微表情确定用户感兴趣的物品,然后再根据用户感兴趣的物品信息形成推荐物品信息,推荐给用户,过滤掉了由于用户误操作或者无关操作形成的物品信息,得到的用户感兴趣的物品反映了用户的真实喜好,为用户形成的推荐物品信息的准确度高,提高了物品推荐的准确度。
参见图2,图2为本申请的一个实施例提供的一种物品推荐的方法的流程图。其中,如图2所示,本申请实施例提供的一种物品推荐的方法可以包括:
201、获取用户浏览物品时的视频。
具体的,终端在可视化界面上显示物品,用户浏览物品时,终端的摄像头拍摄用户浏览物品的视频,以得到用户浏览物品时的视频。
在一种可能的示例中,拍摄用户浏览物品的视频的方式可以是:
当检测到携带第一物品标识的查看指令时,终端显示第一物品的物品信息,并且开始拍摄用户浏览第一物品的视频;
当检测到退出查看指令时,终端退出显示第一物品的物品信息,并且结束拍摄用户浏览第一物品的视频。
这样可以获得用户浏览第一物品的视频。
202、对所述视频进行预处理,以得到人脸图像。
在一种可能的示例中,通过摄像头获取的视频存在不清晰或者过于倾斜的情况,那么需要对视频进行预处理才可以进行后续的处理,对视频进行预处理的方法可以是:
对视频进行解码,以得到图像帧;
查找图像帧中清晰度小于预设清晰度阈值的第一图像帧集以及倾斜度大于预设倾斜度阈值的第二图像帧集;
通过图像增强算法对第一图像帧集进行处理,其中,图像增强算法包括直方图均衡、图像平滑、图像锐化的任意一种;
通过图像校正算法对第二图像帧集进行处理,其中,图像校正算法包括拉东算法、霍夫变换和线性回归算法的任意一种。
在一种可能的示例中,除了需要对图像帧中包含的图像帧进行增强或者校正以外,还需要进行更进一步的处理,对图像帧进行处理的方法还可以是:
对图像帧进行人脸对齐,以定位图像帧中的人脸特征点;
根据图像帧中的人脸特征点对图像帧进行划分,以得到初始人脸图像;
调整初始人脸图像的分辨率。
具体的,对图像帧中进行处理的过程中,对图像帧进行人脸对齐,人脸对齐即根据输入的人脸图像,自动定位出人脸关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等,定位出人脸特征点后,由于该任意一个图像帧可能包含了背景图像或者其他物品图像,所以根据人脸特征点对该任意一个图像帧进行划分,以得到初始人脸图像,初始人脸图像中人脸的特征点最丰富,背景特征点或者其他物品特征点较少,有利于提高后续识别的准确度,其中,人脸对齐算法包括ASM算法、AAM算法、CLM算法、ESR算法、3D-ESR算法、SPR算法、LBF算法、SDM算法、CFSS算法等;
并且,由于不同摄像头获取的图像帧的分辨率可能不一样,为了保证后续将图像帧输入模型的时候,输入的图像数据与模型中的网络匹配,需要调整该任意一个图像帧的分辨率为预设分辨率,预设分辨率例如可以为224*224。
203、从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情。
其中,微表情可以包括高兴、伤心、害怕、惊讶、愤怒、厌恶和轻蔑等类型,高兴类型的微表情对应的面部特征包括嘴角翘起、面颊上抬起皱和眼睑收缩等,伤心类型的微表情对应的面部特征包括眯眼、眉毛收紧和嘴角下拉等,害怕类型的微表情对应的面部特征包括嘴巴和眼睛张开、眉毛上扬和鼻孔张大等,愤怒类型的微表情对应的面部特征包括眉毛下垂、前额紧皱、眼睑和嘴唇紧张等,厌恶类型的微表情对应的面部特征包括上嘴唇上抬、眉毛下垂和眯眼等,惊讶类型的微表情对应的面部特征包括下颚下垂、嘴唇和嘴巴放松、眼睛张大、眼睑和眉毛微抬等,轻蔑类型的微表情对应的面部特征包括嘴角一侧抬起等。
其中,预先训练微表情识别模型的过程中,获取样本数据集,样本数据集包括人脸图像,对人脸图像进行特征提取,以得到人脸特征信息,并且对人脸图像进行微表情标记,由此建立人脸特征信息与微表情的映射关系,建立初始微表情识别模型,通过人脸特征信息与微表情的映射关系训练该初始微表情识别模型,以得到微表情识别模型。
204、根据所述微表情确定所述用户的感兴趣物品。
具体的,由于微表情可以反映用户的真实喜好,所以确定了用户对物品的微表情后,即可以根据用户的微表情确定用户感兴趣的物品,例如,如果用户的微表情为高兴,那么可以代表用户对该物品感兴趣。
在一种可能的示例中,将微表情分为三类,分别为积极、中性和消极,根据微表情确定用户的感兴趣物品的方式可以是:
对微表情进行分类;
判断是否存在积极类型的微表情;
若存在积极类型的微表情,则确定积极类型的微表情对应的物品为用户的感兴趣物品;
若不存在积极类型的微表情,则判断是否存在中性类型的微表情,若存在中性类型的微表情,则判断中性类型的微表情对应的物品为用户的感兴趣物品。
例如,将微表情分为三类,分别为积极、中性和消极,其中,积极类型的微表情包括高兴,中性类型的微表情包括惊讶,消极类型的微表情包括伤心、害怕、愤怒、厌恶和轻蔑等。
205、根据所述感兴趣物品的物品信息确定推荐物品。
其中,物品信息包括物品参数和物品标签,物品参数包括物品名称、物品类型、物品品牌、物品价格、物品规格等,物品标签包括男性、女性、母婴、运动、户外等。
206、向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
在一种可能的示例中,确定推荐物品后,服务器向终端发送携带推荐物品的推荐指令,终端接收到该推荐指令时,生成第二可视化界面,将推荐物品显示在第二可视化界面上。
可以看到,通过本申请实施例提供的物品推荐的方法,获取用户浏览物品时的视频,从而得到用户的微表情,根据用户的微表情确定用户感兴趣的物品,然后再根据用户感兴趣的物品信息形成推荐物品信息,推荐给用户,过滤掉了由于用户误操作或者无关操作形成的物品信息,得到的用户感兴趣的物品反映了用户的真实喜好,为用户形成的推荐物品信息的准确度高,提高了物品推荐的准确度。
参见图3,图3为本申请的另一个实施例提供的另一种物品推荐的方法的流程图。其中,如图3所示,本申请实施例提供的一种物品推荐的方法可以包括:
301、终端在第一可视化界面上显示物品。
其中,终端可以是手机、平板电脑、掌上电脑、移动互联网设备或者其他类型的终端。
302、终端的摄像头拍摄用户浏览物品的N个视频,N为正整数。
在一种可能的示例中,拍摄用户浏览物品的N个视频的方式可以是:
当检测到携带第一物品标识的查看指令时,终端显示第一物品的物品信息,并且开始拍摄用户浏览第一物品的视频;
当检测到退出查看指令时,终端退出显示第一物品的物品信息,并且结束拍摄用户浏览第一物品的视频。
这样可以获得用户浏览第一物品的视频,同理可以获得用户浏览物品的N个视频。
303、服务器获取该N个视频。
304、服务器对该N个视频进行预处理,以得到N组人脸图像,该N个视频与该N组人脸图像一一对应。
在一种可能的示例中,服务器对该N个视频进行预处理,以得到该N组人脸图像的方法可以是:
对该N个视频进行解码,以得到N组图像帧,N个视频与N组图像帧一一对应;
对N组图像帧进行人脸对齐,以定位N组图像帧中的人脸特征点;
根据N组图像帧中的人脸特征点对N组图像帧进行划分,以得到N组初始人脸图像;
调整N组初始人脸图像的分辨率,以得到N组人脸图像。
具体的,对N组图像帧中的任意一个图像帧进行处理的过程中,对该任意一个图像帧进行人脸对齐,人脸对齐即根据输入的人脸图像,自动定位出人脸关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等,定位出人脸特征点后,由于该任意一个图像帧可能包含了背景图像或者其他物品图像,所以根据人脸特征点对该任意一个图像帧进行划分,以得到初始人脸图像,初始人脸图像中人脸的特征点最丰富,背景特征点或者其他物品特征点较少,有利于提高后续识别的准确度,并且,由于不同摄像头获取的图像帧的分辨率可能不一样,为了保证后续将图像帧输入模型的时候,输入的图像数据与模型中的网络匹配,需要调整该任意一个图像帧的分辨率为预设分辨率,预设分辨率例如可以为224*224。
在一种可能的示例中,对N个视频进行解码,以得到N组图像帧之后,对N组图像帧进行人脸对齐,以定位N组图像帧中的人脸特征点之前,还包括:
将N组图像帧中每一组图像帧包含的图像帧按照时间戳顺序进行排序;
删除N组图像帧中每一组图像帧包含的位于首部的至少一个图像帧和位于尾部的至少一个图像帧。
具体的,对于N组图像帧中的任意一组图像帧,该任意一组图像帧包含了多个图像帧,由于用户在刚开始浏览物品时存在一定反应时延,所以刚开始获取的视频反映用户喜好的准确性不高,并且,由于用户在结束浏览物品时面部特征有可能受到其他因素的影响,所以结尾获取的视频反映用户喜好的准确性也不高,将该任意一组图像帧包含的所有图像帧按照时间戳顺序进行排序,越早获取的图像帧排在越前,越晚获取的图像帧排在越后,删除该任意一组图像帧包含的位于首部的至少一个图像帧和位于尾部的至少一个图像帧,这样可以提高微表情识别的准确性,从而提高物品推荐的准确度。
305、服务器从N组人脸图像中提取每一组人脸图像的表情特征,将每一组人脸图像的表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定N组人脸图像分别对应的N个微表情。
其中,微表情可以包括高兴、伤心、害怕、惊讶、愤怒、厌恶和轻蔑等类型。
其中,预先训练微表情识别模型的过程中,获取样本数据集,样本数据集包括人脸图像,对人脸图像进行特征提取,以得到人脸特征信息,并且对人脸图像进行微表情标记,由此建立人脸特征信息与微表情的映射关系,建立初始微表情识别模型,通过人脸特征信息与微表情的映射关系训练该初始微表情识别模型,以得到微表情识别模型。
在一种可能的示例中,微表情识别模式采用增强型长期递归卷积网络,包括深层次的空间特征提取器和表征时间动态的时间模块,通过输入通道叠加来丰富空间维度,通过深度特征叠加来丰富时间维度,具体包括:
使用光流近似方法对图像进行预处理,其中,光流是指以矢量化符号对图像中对象的运动进行编码,指示运动的方向和强度,或者指示图像像素的流动,使用光流近似方法对图像进行预处理,有很好的噪声鲁棒性;形成三维流动图像;输入叠加光流图像、光学应变图像和灰度原始图像,使用更大的输入数据维度进行空间学习,可以实现更高的识别性能。
306、服务器根据该N个微表情确定用户的感兴趣物品。
具体的,由于微表情可以反映用户的真实喜好,所以确定了用户对物品的微表情后,即可以根据用户的微表情确定用户感兴趣的物品,例如,如果用户的微表情为高兴,那么可以代表用户对该物品感兴趣。
在一种可能的示例中,将微表情分为三类,分别为积极、中性和消极,根据N个微表情确定用户的感兴趣物品的方式可以是:
对N个微表情进行分类;
判断是否存在积极类型的微表情;
若存在积极类型的微表情,则确定积极类型的微表情对应的物品为用户的感兴趣物品;
若不存在积极类型的微表情,则判断是否存在中性类型的微表情,若存在中性类型的微表情,则判断中性类型的微表情对应的物品为用户的感兴趣物品。
例如,将微表情分为三类,分别为积极、中性和消极,其中,积极类型的微表情包括高兴,中性类型的微表情包括惊讶,消极类型的微表情包括伤心、害怕、愤怒、厌恶和轻蔑等。
307、服务器在预设物品库中查找与感兴趣物品的物品标签匹配度超过标签匹配度阈值的第一物品集。
具体的,物品信息包括物品参数和物品标签,物品参数包括物品名称、物品类型、物品品牌、物品价格、物品规格等,物品标签包括男性、女性、母婴、运动、户外等;
获取感兴趣物品的物品标签;
服务器在预设物品库中查找第一物品集,第一物品集中任意一个物品的物品标签与感兴趣物品的物品标签的匹配度超过标签匹配度阈值,例如,预设标签匹配度阈值为70%,感兴趣物品的物品标签有四个,预设物品库中存在第二物品,第二物品的物品标签有四个,并且第二物品的物品标签中有三个标签与感兴趣物品的物品标签相同,则匹配度为75%,超过了预设标签匹配度,第二物品属于第一物品集。
308、服务器在该第一物品集中查找是否存在与感兴趣物品的物品名称相同的第二物品。
309、若存在第二物品,则确定该第二物品为推荐物品。
310、若不存在第二物品,则服务器在该第一物品集中查找与感兴趣物品的物品参数匹配度超过参数匹配度阈值的第三物品。
具体的,获取感兴趣物品的物品参数,物品参数包括物品名称、物品类型、物品品牌、物品价格、物品规格等;
服务器在第一物品集中查找第三物品,第三物品的物品参数与感兴趣物品的物品参数的匹配度超过参数匹配度阈值,例如,预设参数匹配度阈值为50%,感兴趣物品的物品参数有5个,分别物品名称、物品类型、物品品牌、物品价格和物品规格,第三物品的物品参数有5个,分别物品名称、物品类型、物品品牌、物品价格和物品规格,并且第三物品的物品参数中有三个参数与感兴趣物品的物品参数相同,则匹配度为60%,超过了预设参数匹配度。
311、服务器确定该第三物品为推荐物品。
312、服务器向终端发送携带推荐物品的推荐指令。
313、终端接收到该推荐指令时,生成第二可视化界面,将推荐物品显示在第二可视化界面上。
可以看到,通过本申请实施例提供的物品推荐的方法,终端显示物品,服务器获取用户浏览物品时的视频,从而得到用户的微表情,根据用户的微表情确定用户感兴趣的物品,然后再根据用户感兴趣的物品信息形成推荐物品信息,终端显示推荐物品,从而实现将物品推荐给用户,过滤掉了由于用户误操作或者无关操作形成的物品信息,得到的用户感兴趣的物品反映了用户的真实喜好,为用户形成的推荐物品信息的准确度高,提高了物品推荐的准确度。
参见图4,图4为本申请的另一个实施例提供的另一种物品推荐的方法的流程图。其中,如图4所示,本申请实施例提供的一种物品推荐的方法可以包括:
401、终端在第一可视化界面上显示物品。
其中,终端可以是手机、平板电脑、掌上电脑、移动互联网设备或者其他类型的终端。
402、终端的摄像头拍摄用户浏览物品的N个视频,N为正整数。
在一种可能的示例中,拍摄用户浏览物品的N个视频的方式可以是:
当检测到携带第一物品标识的查看指令时,终端显示第一物品的物品信息,并且开始拍摄用户浏览第一物品的视频;
当检测到退出查看指令时,终端退出显示第一物品的物品信息,并且结束拍摄用户浏览第一物品的视频。
这样可以获得用户浏览第一物品的视频,同理可以获得用户浏览物品的N个视频。
403、服务器获取该N个视频。
404、服务器对该N个视频进行预处理,以得到N组人脸图像,该N个视频与该N组人脸图像一一对应。
在一种可能的示例中,通过摄像头获取的视频存在不清晰或者过于倾斜的情况,那么需要对视频进行预处理才可以进行后续的处理,对N个视频进行预处理的方法可以是:
对N个视频进行解码,以得到N组图像帧,其中,N个视频与N组图像帧一一对应,N组图像帧中每一组图像帧包括至少一个图像帧;
查找N组图像帧中清晰度小于预设清晰度阈值的第一图像帧集以及倾斜度大于预设倾斜度阈值的第二图像帧集;
通过图像增强算法对第一图像帧集进行处理,其中,图像增强算法包括直方图均衡、图像平滑、图像锐化的任意一种;
通过图像校正算法对第二图像帧集进行处理,其中,图像校正算法包括拉东算法、霍夫变换和线性回归算法的任意一种。
在一种可能的示例中,除了需要对N组图像帧中包含的图像帧进行增强或者校正以外,还需要进行更进一步的处理,对N组图像帧进行处理的方法还可以是:
对N组图像帧进行人脸对齐,以定位N组图像帧中的人脸特征点;
根据N组图像帧中的人脸特征点对N组图像帧进行划分,以得到N组初始人脸图像;
调整N组初始人脸图像的分辨率。
具体的,对N组图像帧中的任意一个图像帧进行处理的过程中,对该任意一个图像帧进行人脸对齐,人脸对齐即根据输入的人脸图像,自动定位出人脸关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等,定位出人脸特征点后,由于该任意一个图像帧可能包含了背景图像或者其他物品图像,所以根据人脸特征点对该任意一个图像帧进行划分,以得到初始人脸图像,初始人脸图像中人脸的特征点最丰富,背景特征点或者其他物品特征点较少,有利于提高后续识别的准确度,并且,由于不同摄像头获取的图像帧的分辨率可能不一样,为了保证后续将图像帧输入模型的时候,输入的图像数据与模型中的网络匹配,需要调整该任意一个图像帧的分辨率为预设分辨率,预设分辨率例如可以为224*224。
405、服务器从N组人脸图像中提取每一组人脸图像的表情特征,将每一组人脸图像的表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定N组人脸图像分别对应的N个微表情。
其中,微表情可以包括高兴、伤心、害怕、惊讶、愤怒、厌恶和轻蔑等类型,高兴类型的微表情对应的面部特征包括嘴角翘起、面颊上抬起皱和眼睑收缩等,伤心类型的微表情对应的面部特征包括眯眼、眉毛收紧和嘴角下拉等,害怕类型的微表情对应的面部特征包括嘴巴和眼睛张开、眉毛上扬和鼻孔张大等,愤怒类型的微表情对应的面部特征包括眉毛下垂、前额紧皱、眼睑和嘴唇紧张等,厌恶类型的微表情对应的面部特征包括上嘴唇上抬、眉毛下垂和眯眼等,惊讶类型的微表情对应的面部特征包括下颚下垂、嘴唇和嘴巴放松、眼睛张大、眼睑和眉毛微抬等,轻蔑类型的微表情对应的面部特征包括嘴角一侧抬起等。
其中,预先训练微表情识别模型的过程中,获取样本数据集,样本数据集包括人脸图像,对人脸图像进行特征提取,以得到人脸特征信息,并且对人脸图像进行微表情标记,由此建立人脸特征信息与微表情的映射关系,建立初始微表情识别模型,通过人脸特征信息与微表情的映射关系训练该初始微表情识别模型,以得到微表情识别模型。
406、服务器根据该N个微表情确定用户的感兴趣物品。
在一种可能的示例中,将微表情分为三类,分别为积极、中性和消极,根据N个微表情确定用户的感兴趣物品的方式可以是:
对N个微表情进行分类;
判断是否存在积极类型的微表情;
若存在积极类型的微表情,则确定积极类型的微表情对应的物品为用户的感兴趣物品;
若不存在积极类型的微表情,则判断是否存在中性类型的微表情,若存在中性类型的微表情,则判断中性类型的微表情对应的物品为用户的感兴趣物品。
例如,将微表情分为三类,分别为积极、中性和消极,其中,积极类型的微表情包括高兴,中性类型的微表情包括惊讶,消极类型的微表情包括伤心、害怕、愤怒、厌恶和轻蔑等。
407、服务器根据感兴趣物品的物品信息确定推荐物品。
其中,物品信息包括物品参数和物品标签,物品参数包括物品名称、物品类型、物品品牌、物品价格、物品规格等,物品标签包括男性、女性、母婴、运动、户外等。
408、服务器向终端发送携带推荐物品的推荐指令,推荐指令用于指示终端将推荐物品显示在第二可视化界面上。
具体的,确定推荐物品后,服务器向终端发送携带推荐物品的推荐指令,终端接收到该推荐指令时,生成第二可视化界面,将推荐物品显示在第二可视化界面上。
409、当接收到来自终端的语音推荐请求时,服务器在预设语音库中选择与推荐物品匹配的推荐语音包。
410、服务器向终端发送携带推荐语音包的语音推荐响应,语音推荐响应用于指示终端应用推荐语音包。
在一种可能的示例中,当接收到来自终端的实体推荐请求时,服务器获取用户的位置,查找推荐物品所处的至少一个位置,从该至少一个位置中选择与用户的位置距离小于预设距离的目标位置,向终端发送携带目标位置的实体推荐响应,实体推荐响应用于指示终端在第二可视化界面上显示目标位置。
可以看到,通过本申请实施例提供的物品推荐的方法,获取用户浏览物品时的视频,从而得到用户的微表情,根据用户的微表情确定用户感兴趣的物品,然后再根据用户感兴趣的物品信息形成推荐物品信息,推荐给用户,过滤掉了由于用户误操作或者无关操作形成的物品信息,得到的用户感兴趣的物品反映了用户的真实喜好,为用户形成的推荐物品信息的准确度高,提高了物品推荐的准确度,并且,根据用户的需求可以进行语音推荐,丰富了物品推荐的渠道,提升了用户体验。
参见图5,图5为本申请的一个实施例提供的一种第一可视化界面的示意图。其中,如图5所示,第一可视化界面上,界面上方是网站名称,界面右上方是退出按钮,点击即可退出,界面中央视图区为显示物品区域,显示物品A、物品B、物品C、物品D、物品E、物品F、物品G、物品H和物品I,界面右方是下拉按钮,点击即可下拉,使第一可视化界面显示剩余的未显示物品。
参见图6,图6为本申请的另一个实施例提供的一种物品推荐的装置的示意图。其中,如图6所示,本申请实施例提供的一种物品推荐的装置可以包括:
获取单元601,用于获取用户浏览物品时的视频;
处理单元602,用于对所述视频进行预处理,以得到人脸图像;
识别单元603,用于从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;
第一确定单元604,用于根据所述微表情确定所述用户的感兴趣物品;
第二确定单元605,用于根据所述感兴趣物品的物品信息确定推荐物品;
发送单元606,用于向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
本申请实施例提供的物品推荐的装置的具体实施可参见上述物品推荐的方法的各实施例,在此不做赘述。
参见图7,图7为本申请的实施例涉及的硬件运行环境的电子设备结构示意图。其中,如图7所示,本申请的实施例涉及的硬件运行环境的电子设备可以包括:
处理器701,例如CPU。
存储器702,可选的,存储器可以为高速RAM存储器,也可以是稳定的存储器,例如磁盘存储器。
通信接口703,用于实现处理器701和存储器702之间的连接通信。
本领域技术人员可以理解,图7中示出的电子设备的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图7所示,存储器702中可以包括操作系统、网络通信模块以及物品推荐的程序。操作系统是管理和控制电子设备硬件和软件资源的程序,支持物品推荐的程序以及其他软件或程序的运行。网络通信模块用于实现存储器602内部各组件之间的通信,以及与电子设备中其他硬件和软件之间通信。
在图7所示的电子设备中,处理器701用于执行存储器702中存储的物品推荐的程序,实现以下步骤:
获取用户浏览物品时的视频;
对所述视频进行预处理,以得到人脸图像;
从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;
根据所述微表情确定所述用户的感兴趣物品;
根据所述感兴趣物品的物品信息确定推荐物品;
向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
本申请实施例提供的电子设备的具体实施可参见上述物品推荐的方法的各实施例,在此不做赘述。
本申请的另一个实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行以实现以下步骤:
获取用户浏览物品时的视频;
对所述视频进行预处理,以得到人脸图像;
从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;
根据所述微表情确定所述用户的感兴趣物品;
根据所述感兴趣物品的物品信息确定推荐物品;
向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
本申请实施例提供的计算机可读存储介质的具体实施可参见上述物品推荐的方法的各实施例,在此不做赘述。
还需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种物品推荐的方法,其特征在于,包括:
获取用户浏览物品时的视频;
对所述视频进行预处理,以得到人脸图像;
从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;
根据所述微表情确定所述用户的感兴趣物品;
根据所述感兴趣物品的物品信息确定推荐物品;
向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
2.根据权利要求1所述的方法,其特征在于,所述对所述视频进行预处理,以得到人脸图像包括:
对所述视频进行解码,以得到图像帧;
对所述图像帧进行人脸对齐,以定位所述图像帧中的人脸特征点;
根据所述图像帧中的人脸特征点对所述图像帧进行划分,以得到初始人脸图像;
调整所述初始人脸图像的分辨率,以得到所述人脸图像。
3.根据权利要求2所述的方法,其特征在于,所述对所述视频进行解码,以得到图像帧之后,所述对所述图像帧进行人脸对齐,以定位所述图像帧中的人脸特征点之前,所述方法还包括:
将所述图像帧按照时间戳顺序进行排序;
删除所述图像帧中位于首部的至少一个图像帧和位于尾部的至少一个图像帧。
4.根据权利要求1至3任一项所述的方法,其特征在于,微表情的类型包括积极、中性和消极,所述根据所述微表情确定所述用户的感兴趣物品包括:
对所述微表情进行分类;
判断是否存在积极类型的微表情;
若存在所述积极类型的微表情,则确定所述积极类型的微表情对应的物品为所述感兴趣物品;
若不存在所述积极类型的微表情,则判断是否存在中性类型的微表情,若存在所述中性类型的微表情,则确定所述中性类型的微表情对应的物品为所述感兴趣物品。
5.根据权利要求4所述的方法,其特征在于,物品信息包括物品参数和物品标签,所述物品参数包括物品名称,所述根据所述感兴趣物品的物品信息确定推荐物品包括:
在预设物品库中查找与所述感兴趣物品的物品标签匹配度超过标签匹配度阈值的第一物品集;
在所述第一物品集中查找是否存在与所述感兴趣物品的物品名称相同的第二物品,若存在所述第二物品,则确定所述第二物品为所述推荐物品;
若不存在所述第二物品,则在所述第一物品集中查找与所述感兴趣物品的物品参数匹配度超过参数匹配度阈值的第三物品;
确定所述第三物品为所述推荐物品。
6.根据权利要求1所述的方法,其特征在于,所述向所述终端发送携带所述推荐物品的推荐指令之后,所述方法还包括:
当接收到来自所述终端的语音推荐请求时,在预设语音库中选择与所述推荐物品匹配的推荐语音包;
向所述终端发送携带所述推荐语音包的语音推荐响应,所述语音推荐响应用于指示所述终端应用所述推荐语音包。
7.根据权利要求1或6所述的方法,其特征在于,所述方法还包括:
当接收到来自所述终端的实体推荐请求时,获取所述用户的位置;
查找所述推荐物品所处的至少一个位置;
从所述至少一个位置中选择与所述用户的位置距离小于预设距离的目标位置;
向所述终端发送携带所述目标位置的实体推荐响应,所述实体推荐响应用于指示所述终端显示所述目标位置。
8.一种物品推荐的装置,其特征在于,所述装置包括:
获取单元,用于获取用户浏览物品时的视频;
处理单元,用于对所述视频进行预处理,以得到人脸图像;
识别单元,用于从所述人脸图像中提取表情特征,将所述表情特征与预先训练得到的微表情识别模型进行对比,根据对比结果确定所述人脸图像分别对应的微表情;
第一确定单元,用于根据所述微表情确定所述用户的感兴趣物品;
第二确定单元,用于根据所述感兴趣物品的物品信息确定推荐物品;
发送单元,用于向所述终端发送携带所述推荐物品的推荐指令,所述推荐指令用于指示所述终端显示所述推荐物品。
9.一种电子设备,其特征在于,所述电子设备包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行权利要求1至7任一项方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至7任意一项所述的方法。
CN201910824661.9A 2019-09-02 2019-09-02 一种物品推荐的方法及相关装置 Pending CN110648170A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910824661.9A CN110648170A (zh) 2019-09-02 2019-09-02 一种物品推荐的方法及相关装置
PCT/CN2020/099486 WO2021042850A1 (zh) 2019-09-02 2020-06-30 一种物品推荐的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910824661.9A CN110648170A (zh) 2019-09-02 2019-09-02 一种物品推荐的方法及相关装置

Publications (1)

Publication Number Publication Date
CN110648170A true CN110648170A (zh) 2020-01-03

Family

ID=69010035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910824661.9A Pending CN110648170A (zh) 2019-09-02 2019-09-02 一种物品推荐的方法及相关装置

Country Status (2)

Country Link
CN (1) CN110648170A (zh)
WO (1) WO2021042850A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612576A (zh) * 2020-05-09 2020-09-01 向培红 一种商品推荐方法、装置和电子设备
WO2021042850A1 (zh) * 2019-09-02 2021-03-11 平安科技(深圳)有限公司 一种物品推荐的方法及相关装置
CN113297499A (zh) * 2021-06-22 2021-08-24 北京创世路信息技术有限公司 一种信息推荐系统、方法、计算机设备及存储介质
CN113746874A (zh) * 2020-05-27 2021-12-03 百度在线网络技术(北京)有限公司 一种语音包推荐方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647721B (zh) * 2022-05-23 2022-09-16 风林科技(深圳)有限公司 教育智能机器人控制方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109685611A (zh) * 2018-12-15 2019-04-26 深圳壹账通智能科技有限公司 一种产品推荐方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN109785045A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 一种基于用户行为数据的推送方法和装置
CN109829388A (zh) * 2019-01-07 2019-05-31 平安科技(深圳)有限公司 基于微表情的视频数据处理方法、装置和计算机设备
CN110648170A (zh) * 2019-09-02 2020-01-03 平安科技(深圳)有限公司 一种物品推荐的方法及相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109685611A (zh) * 2018-12-15 2019-04-26 深圳壹账通智能科技有限公司 一种产品推荐方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭力: "《物联网技术概论》", 31 August 2015, 北京航空航天大学出版社, pages: 176 - 179 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021042850A1 (zh) * 2019-09-02 2021-03-11 平安科技(深圳)有限公司 一种物品推荐的方法及相关装置
CN111612576A (zh) * 2020-05-09 2020-09-01 向培红 一种商品推荐方法、装置和电子设备
CN113746874A (zh) * 2020-05-27 2021-12-03 百度在线网络技术(北京)有限公司 一种语音包推荐方法、装置、设备及存储介质
CN113746874B (zh) * 2020-05-27 2024-04-05 百度在线网络技术(北京)有限公司 一种语音包推荐方法、装置、设备及存储介质
CN113297499A (zh) * 2021-06-22 2021-08-24 北京创世路信息技术有限公司 一种信息推荐系统、方法、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2021042850A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN110648170A (zh) 一种物品推荐的方法及相关装置
CN109635680B (zh) 多任务属性识别方法、装置、电子设备及存储介质
WO2018121777A1 (zh) 人脸检测方法、装置和电子设备
US10210178B2 (en) Machine learning image processing
JP6662876B2 (ja) アバター選択機構
WO2018033155A1 (zh) 视频图像的处理方法、装置和电子设备
WO2018033154A1 (zh) 手势控制方法、装置和电子设备
WO2018033143A1 (zh) 视频图像的处理方法、装置和电子设备
CN110741377A (zh) 人脸图像处理方法、装置、存储介质及电子设备
US11521334B2 (en) Augmented reality experiences of color palettes in a messaging system
KR101905501B1 (ko) 컨텐츠를 추천하는 방법 및 장치
CN111339420A (zh) 图像处理方法、装置、电子设备及存储介质
CN111429338B (zh) 用于处理视频的方法、装置、设备和计算机可读存储介质
US20210312678A1 (en) Generating augmented reality experiences with physical products using profile information
CN111491187A (zh) 视频的推荐方法、装置、设备及存储介质
CN109241299B (zh) 多媒体资源搜索方法、装置、存储介质及设备
CN112102157A (zh) 视频换脸方法、电子设备和计算机可读存储介质
CN107609487B (zh) 一种用户头像的生成方法和装置
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN112052352B (zh) 视频排序方法、装置、服务器及存储介质
WO2021184153A1 (zh) 摘要视频的生成方法、装置和服务器
CN109587035B (zh) 会话界面的头像展示方法、装置、电子设备及存储介质
CN110636322B (zh) 多媒体数据的处理方法、装置、智能终端及存储介质
CN111753168A (zh) 一种搜题的方法、装置、电子设备及存储介质
JP2016015019A (ja) サービス提供装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination