CN110765832A - 基于图像识别的信息推送方法、装置、及计算机设备 - Google Patents

基于图像识别的信息推送方法、装置、及计算机设备 Download PDF

Info

Publication number
CN110765832A
CN110765832A CN201910752720.6A CN201910752720A CN110765832A CN 110765832 A CN110765832 A CN 110765832A CN 201910752720 A CN201910752720 A CN 201910752720A CN 110765832 A CN110765832 A CN 110765832A
Authority
CN
China
Prior art keywords
picture
label
target
palm
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910752720.6A
Other languages
English (en)
Inventor
夏新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910752720.6A priority Critical patent/CN110765832A/zh
Publication of CN110765832A publication Critical patent/CN110765832A/zh
Priority to PCT/CN2020/087489 priority patent/WO2021027329A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Abstract

本发明公开了基于图像识别的信息推送方法、装置、计算机设备及存储介质，通过对上传端所上传的手掌部位图片进行识别获取目标掌纹特征向量，及对应的第一标签；通过对上传端所上传的面部视频进行微表情分析，获取目标微表情特征向量，及对应的第二标签；将第一标签与第二标签进行组合，得到对应的用户标签组合；在用户标签库获取与用户标签组合的标签相似度值超过相似度阈值的标签组合以作为目标标签组合集，获取其对应的用户以作为推荐用户清单发送至上传端。该方法实现了通过基于掌部图片得到的第一标签，以及通过面部视频得到的第二标签组成的用户标签组合，基于多维度特征在用户标签库中获取相似用户，能更加精准的匹配相似用户进行推荐。

Description

基于图像识别的信息推送方法、装置、及计算机设备
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于图像识别的信息推送方法、装置及计算机设备。
背景技术
目前，在对目标用户进行同类型用户的推荐时，一般是基于用户的单一特征(如兴趣爱好，具体如徒步、足球、篮球等)进行聚类后，将与目标用户位于同一聚类簇的用户信息作为目标用户的相似用户进行推荐。通过聚类方式对用户进行分类后再进行相似用户的推荐，有可能导致某一聚类簇的数量众多导致相似用户筛选结果准确度低，无法准确的获取与目标用户更为接近的相似用户。
发明内容
本发明实施例提供了一种基于图像识别的信息推送方法、装置、计算机设备及存储介质，旨在解决现有技术中通过聚类方式对用户进行分类后再进行相似用户的推荐，有可能导致某一聚类簇的数量众多导致相似用户筛选结果准确度低，无法准确的获取与目标用户更为接近的相似用户的问题。
第一方面，本发明实施例提供了一种基于图像识别的信息推送方法，其包括：
接收上传端所上传的手掌部位图片，通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量；
将所述掌纹识别向量与预先构建的掌纹特征向量库中各掌纹特征向量进行相似度计算，得到所述掌纹特征向量库中与所述掌纹识别向量的相似度值为最大值的掌纹特征向量，以作为目标掌纹特征向量；
获取所述目标掌纹特征向量对应的用户第一标签，以作为所述手掌部位图片对应的第一标签；
接收上传端所上传的面部视频，通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片；
通过卷积神经网络获取所述目标图片的微表情识别特征向量，将所述微表情识别特征向量与预先构建的微表情特征向量库中各微表情特征向量进行相似度计算，得到所述微表情特征向量库中与所述微表情识别特征向量的相似度值为最大值的微表情特征向量，以作为目标微表情特征向量；
获取所述目标微表情特征向量对应的用户第二标签，以作为所述面部视频对应的第二标签；
将所述第一标签与所述第二标签进行组合，得到与所述上传端的用户对应的用户标签组合；以及
在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。
第二方面，本发明实施例提供了一种基于图像识别的信息推送装置，其包括：
掌纹向量获取单元，用于接收上传端所上传的手掌部位图片，通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量；
第一目标向量获取单元，用于将所述掌纹识别向量与预先构建的掌纹特征向量库中各掌纹特征向量进行相似度计算，得到所述掌纹特征向量库中与所述掌纹识别向量的相似度值为最大值的掌纹特征向量，以作为目标掌纹特征向量；
第一标签获取单元，用于获取所述目标掌纹特征向量对应的用户第一标签，以作为所述手掌部位图片对应的第一标签；
目标图片获取单元，用于接收上传端所上传的面部视频，通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片；
第二目标向量获取单元，用于通过卷积神经网络获取所述目标图片的微表情识别特征向量，将所述微表情识别特征向量与预先构建的微表情特征向量库中各微表情特征向量进行相似度计算，得到所述微表情特征向量库中与所述微表情识别特征向量的相似度值为最大值的微表情特征向量，以作为目标微表情特征向量；
第二标签获取单元，用于获取所述目标微表情特征向量对应的用户第二标签，以作为所述面部视频对应的第二标签；
标签组合获取单元，用于将所述第一标签与所述第二标签进行组合，得到与所述上传端的用户对应的用户标签组合；以及
清单发送单元，用于在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于图像识别的信息推送方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于图像识别的信息推送方法。
本发明实施例提供了一种基于图像识别的信息推送方法、装置、计算机设备及存储介质。该方法包括接收上传端所上传的手掌部位图片，通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量；将所述掌纹识别向量与预先构建的掌纹特征向量库中各掌纹特征向量进行相似度计算，得到所述掌纹特征向量库中与所述掌纹识别向量的相似度值为最大值的掌纹特征向量，以作为目标掌纹特征向量；获取所述目标掌纹特征向量对应的用户第一标签，以作为所述手掌部位图片对应的第一标签；接收上传端所上传的面部视频，通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片；通过卷积神经网络获取所述目标图片的微表情识别特征向量，将所述微表情识别特征向量与预先构建的微表情特征向量库中各微表情特征向量进行相似度计算，得到所述微表情特征向量库中与所述微表情识别特征向量的相似度值为最大值的微表情特征向量，以作为目标微表情特征向量；获取所述目标微表情特征向量对应的用户第二标签，以作为所述面部视频对应的第二标签；将所述第一标签与所述第二标签进行组合，得到与所述上传端的用户对应的用户标签组合；以及在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。该方法实现了基于手掌部位图片获取对应的第一标签，以及面部视频获取对应的第二标签，根据第一标签和第二标签组成的用户标签组合在用户标签库中获取相似用户以作为推荐用户，能更加精准的匹配相似用户进行推荐。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像识别的信息推送方法的应用场景示意图；
图2为本发明实施例提供的基于图像识别的信息推送方法的流程示意图；
图3为本发明实施例提供的基于图像识别的信息推送方法的子流程示意图；
图4为本发明实施例提供的基于图像识别的信息推送方法的另一子流程示意图；
图5为本发明实施例提供的基于图像识别的信息推送方法的另一子流程示意图；
图6为本发明实施例提供的基于图像识别的信息推送方法的另一子流程示意图；
图7为本发明实施例提供的基于图像识别的信息推送装置的示意性框图；
图8为本发明实施例提供的基于图像识别的信息推送装置的子单元示意性框图；
图9为本发明实施例提供的基于图像识别的信息推送装置的另一子单元示意性框图；
图10为本发明实施例提供的基于图像识别的信息推送装置的另一子单元示意性框图；
图11为本发明实施例提供的基于图像识别的信息推送装置的另一子单元示意性框图；
图12为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于图像识别的信息推送方法的应用场景示意图；图2为本发明实施例提供的基于图像识别的信息推送方法的流程示意图，该基于图像识别的信息推送方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S180。
S110、接收上传端所上传的手掌部位图片，通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量。
在本实施例中，为了更清楚的理解技术方案的使用场景，下面对所涉及到的终端进行介绍。其中，在本申请中，是站在服务器的角度来描述技术方案。
一是服务器，服务器有以下功能：一是用于接收上传端所上传的手掌部位图片进行第一标签的获取；二是用于接收上传端所上传的面部视频进行第二标签的获取；三是在预先构建的用户标签库获取与所述用户标签组合(所述用户标签组合由将所述第一标签与所述第二标签组合得到)的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。
二是上传端，用于上传手掌部位图片，或是上传面部视频至服务器。
用户可以先通过上传端对手掌部位进行掌纹识别，即可得到所述手掌部位图片对应的掌纹识别向量。
在一实施例中，如图3所示，步骤S110包括：
S111、通过基于肤色检测对所述手掌部位图片进行手掌分割，得到手掌的掌纹感兴趣区域图片；
S112、通过卷积神经网络获取所述掌纹感兴趣区域图片的特征向量，以作为目标掌纹特征向量。
在本实施例中，用户可使用上传端(如智能手机)的摄像头拍摄手掌图片，然后采用基于肤色检测进行手掌分割，得到手掌的掌纹感兴趣区域(ROI)。
基于肤色检测进行手掌分割，得到手掌的掌纹感兴趣区域的原理如下：利用人体肤色与背景颜色的差异，将手掌从背景中分量出来。具体实施时，先将手掌图片从RGB空间转化为YCrCb空间，然后通过手掌图片在YCrCb空间下进行肤色分割，得到手掌轮廓图像。之后，在根据手掌轮廓图像上的特征点来提取掌纹感兴趣区域。
具体是根据肤色在空间上的分布特点，可以将肤色精准的分离出来，得到了手掌轮廓图像。之后在手掌轮廓图像上可通过基于手指尖的点的提取方法来提取掌纹感兴趣区域。
在一实施例中，如图4所示，步骤S111包括：
S1111、将所述手掌部位图片从RGB空间转化为YCrCb空间，得到转化后图片；
S1112、筛选出所述转化后图片中食指与中指之间的第一谷点，及无名指与小指之间的第二谷点，得到第一谷点与第二谷点之间当前连线的当前长度、及当前连线与X轴之间的当前偏角；
S1113、根据当前连线获取当前连线的中点以作为当前中点，根据当前中点获取当前连线的当前垂线，以获取当前垂线中延伸到手掌方向且距离当前中点的距离为二分之一当前长度的目标点；
S1114、将所述转化后图片逆时针旋转当前偏角，并以目标点为中点获取当前长度*当前长度大小的正方形区域，以得到手掌的掌纹感兴趣区域图片。
在本实施例中，由RGB空间到YCrCb空间的转化公式如下：
基于手指尖的点的提取方法来提取掌纹感兴趣区域的过程如下：
11)筛选出食指与中指之间的第一谷点A，及无名指与小指之间的第二谷点B，得到AB连线的长度L和AB连线与X周的偏角ANGLE；
12)根据AB连线获取AB连线的中点，然后穿过AB连线的中点做AB连线的垂线，沿着垂线延伸到手掌方向L/2处找到点C；
13)将图像逆时针旋转-ANGLE角度，并以点C为中点提取L*L大小的正方形区域，以作为掌纹感兴趣区域。
在获取了掌纹感兴趣区域后即完成了对手张图片的预处理，接下来根据掌纹感兴趣区域提取掌纹识别向量即可。
对掌纹感兴趣区域提取掌纹识别向量可采用基于图片变换的识别算法，将掌纹感兴趣区域进行傅里叶变换，得到掌纹感兴趣区域的幅频响应。
在掌纹感兴趣区域的幅频响应上作出8个同心圆，将幅频响应分为8个区域，每一区域的所有像素点的灰度值求和，得到对应区域的特征点，将以圆心为起点从里到外的顺序将各特征值进行串接，得到一个8维的列向量，即为掌纹识别向量。
在获取手掌部位图片的图片特征向量时，先获取与手掌部位图片对应的像素矩阵，然后将手掌部位图片对应的像素矩阵作为卷积神经网络模型中输入层的输入，得到多个特征图，之后将特征图输入池化层，得到每一特征图对应的最大值所对应一维向量，最后将每一特征图对应的最大值所对应一维向量输入至全连接层，得到与手掌部位图片对应的掌纹识别向量。
S120、将所述掌纹识别向量与预先构建的掌纹特征向量库中各掌纹特征向量进行相似度计算，得到所述掌纹特征向量库中与所述掌纹识别向量的相似度值为最大值的掌纹特征向量，以作为目标掌纹特征向量。
在本实施例中，在计算所述掌纹识别向量与掌纹特征向量库中各掌纹特征向量之间的相似度值时，可以计算两个向量之间的欧式距离或是皮尔逊相似度，从而判断两个向量之间的相似度。
S130、获取所述目标掌纹特征向量对应的用户第一标签，以作为所述手掌部位图片对应的第一标签。
在本实施例中，预先构建的的掌纹特征向量库中存储了多个预先进行了掌纹特征向量提取的特征向量(例如都是8维的列向量)，每一特征向量都预先设置了对应的用户第一标签，在有了这些数据基础后，即可判断所述目标掌纹特征向量在掌纹特征向量库中最相似的掌纹特征向量以作为目标掌纹特征向量。
在得到与所述掌纹识别向量的相似度值为最大值的掌纹特征向量以作为目标掌纹特征向量后，获取所述目标掌纹特征向量对应的用户第一标签，即可作为所述手掌部位图片对应的第一标签，例如所述手掌部位图片对应的第一标签为A属性。
S140、接收上传端所上传的面部视频，通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片。
在本实施例中，当通过上传端的摄像头获取了用户的面部视频后，需对其进行微表情分析。具体实施时，可以通过光流法进行微表情分析以得到所述面部视频中的目标图片。
在一实施例中，如图5所示，步骤S140包括：
S141、获取所述面部视频中各帧图片的各像素点对应的速度矢量特征；
S142、若所述面部视频中存在至少一帧图片的所述速度矢量特征未保持连续变化，将对应图片作为所述面部视频中的目标图片。
在本实施例中，当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场, 这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
定义光流以点为基础，具体来说，设(u,v)为图像点(x,y)的光流，则把(x, y,u,v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时 (当用户有微表情时，脸部会有运动，相当于运动物体)，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，获取所述面部视频中的目标图片。
S150、通过卷积神经网络获取所述目标图片的微表情识别特征向量，将所述微表情识别特征向量与预先构建的微表情特征向量库中各微表情特征向量进行相似度计算，得到所述微表情特征向量库中与所述微表情识别特征向量的相似度值为最大值的微表情特征向量，以作为目标微表情特征向量。
在本实施例中，当获取了面部视频对应的目标图片后，即可通过卷积神经网络获取所述目标图片的微表情识别特征向量，其具体过程参考通过卷积神经网络获取所述掌纹感兴趣区域图片的特征向量。
在计算所述微表情识别特征向量与微表情特征向量库中各微表情特征向量之间的相似度值时，可以计算两个向量之间的欧式距离或是皮尔逊相似度，从而判断两个向量之间的相似度。
在一实施例中，如图6所示，步骤S150包括：
S151、将目标图片进行预处理，得到预处理后图片，及与预处理后图片对应的图片像素矩阵；其中，将目标图片进行预处理为依序对所述目标图片进行灰度化、边缘检测和二值化处理；
S152、将与预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到特征图；
S153、将特征图输入至卷积神经网络模型中池化层，得到与特征图对应的一维向量；
S154、将与特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与特征图对应的微表情识别特征向量。
在本实施例中，对目标图片依次进行灰度化、边缘检测和二值化处理，即可得到预处理后图片、及与预处理后图片对应的图片像素矩阵。
由于彩色图像包含更多的信息，但是直接对彩色图像进行处理，服务器中的执行速度将会降低，储存空间也会变大。彩色图像的灰度化是图像处理的一种基本的方法，在模式识别领域得到广泛的运用，合理的灰度化将对图像信息的提取和后续处理有很大的帮助，能够节省储存空间，加快处理速度。
边缘检测的方法是考察图像的像素在某个领域内灰度的变化情况，标识数字图像中亮度变化明显的点。图像的边缘检测能够大幅度地减少数据量，并且剔除不相关的信息，保存图像重要的结构属性。用于边缘检测的算子很多，常用的除了有Sobel算子(即索贝尔算子)，还有Laplacian边缘检测算子(即拉普拉斯边缘检测算子)、Canny边缘检测算子(即坎尼算子)等。
为了减少噪声的影响，需要对进行边缘检测后的图像进行二值化处理，二值化是对图像进行阈值化的一种类型。根据阈值的选取情况，二值化的方法可分为全局阈值法、动态阈值法和局部阈值法，常用最大类间方差法(也称Otsu 算法)进行阈值化，来剔除一些梯度值较小的像素，二值化处理后图像的像素值为0或者255。此时，即可得到预处理后图片，及与预处理后图片对应的图片像素矩阵。
在获取图片的图片特征向量时，先获取与预处理后图片对应的图片像素矩阵，然后将预处理后图片对应的图片像素矩阵作为卷积神经网络模型中输入层的输入，得到特征图，之后将特征图输入池化层，得到特征图对应的最大值所对应的一维向量，最后将特征图对应的最大值所对应的一维向量输入至全连接层，得到与预处理后图片对应的微表情识别特征向量。
S160、获取所述目标微表情特征向量对应的用户第二标签，以作为所述面部视频对应的第二标签。
在本实施例中，在得到与所述微表情识别特征向量的相似度值为最大值的微表情特征向量以作为目标掌纹特征向量后，获取所述目标掌纹特征向量对应的用户第二标签，即可作为所述面部视频对应的第二标签，例如所述面部视频对应的第二标签为B属性。
S170、将所述第一标签与所述第二标签进行组合，得到与所述上传端的用户对应的用户标签组合。
在本实施例中，例如所述第一标签为A属性，所述第二标签为B属性，则将所述第一标签与所述第二标签进行组合得到A属性+B属性，以A属性+B 属性作为与所述上传端的用户对应的用户标签组合。
S180、在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。
在本实施例中，预先构建的用户标签库中针对每一用户均设置了标签或标签组合，例如预先构建的用户标签库中用户1对应的标签为A属性、用户2对应的标签为A属性+B属性、用户3对应的标签为C属性、……、用户N对应的标签为C属性+D属性。其中用户标签组合为A属性+B属性，用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合如A 属性(对应用户1)、A属性+B属性(对应用户2)以组成目标标签组合集，将目标标签组合集中每一目标标签组合对应的用户组成推荐用户清单(如包括用户1和用户2)，将推荐用户清单发送至上传端。其中推荐用户清单中每一用户数据至少包括用户名称(即用户姓名)、标签组合、用户基本信息(如包括性别、家庭住址、联系号码等)。基于图片、微表情等多维度作为用户标签的获取来源，能实现对用户更加细粒度的进行划分。而且事先无需对用户进行聚类，只需预先构建用户标签库即可作为目标用户的相似用户的数据基础，降低了数据处理量。
在一实施例中，步骤S180之前还包括：
获取所述用户标签库中各标签或标签组合与所述用户标签组合之间的字符串编辑距离，以作为所述用户标签库中各标签或标签组合与所述用户标签组合之间的标签相似度值。
在本实施例中，字符串编辑距离就是从一个字符串修改到另一个字符串时，其中编辑单个字符(比如修改、插入、删除)所需要的最少次数。例如，从字符串“kitten”修改为字符串“sitting”只需3次单字符编辑操作，具体如sitten (k→s)、sittin(e→i)、sittin(_→g)，因此“kitten”和“sitting”的字符串编辑距离为3。当获取了获取所述用户标签库中各标签或标签组合与所述用户标签组合之间的字符串编辑距离，即可获取所述用户标签库中各标签或标签组合与所述用户标签组合之间的标签相似度值以作为相似用户筛选的数值参考。
该方法实现了基于掌部图片和微表情的多维度特征来获取上传端对应用户的相似用户，无需事先对海量用户进行聚类，降低了数据处理量，而且基于掌部图片和微表情的多维度能实现对用户标签更加细粒度的划分。
本发明实施例还提供一种基于图像识别的信息推送装置，该基于图像识别的信息推送装置用于执行前述基于图像识别的信息推送方法的任一实施例。具体地，请参阅图7，图7是本发明实施例提供的基于图像识别的信息推送装置的示意性框图。该基于图像识别的信息推送装置100可以配置于服务器中。
如图7所示，基于图像识别的信息推送装置100包括掌纹向量获取单元110、第一目标向量获取单元120、第一标签获取单元130、目标图片获取单元140、第二目标向量获取单元150、第二标签获取单元160、标签组合获取单元170、清单发送单元180。
掌纹向量获取单元110，用于接收上传端所上传的手掌部位图片，通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量。
在本实施例中，用户可以先通过上传端对手掌部位进行掌纹识别，即可得到所述手掌部位图片对应的掌纹识别向量。
在一实施例中，如图8所示，掌纹向量获取单元110包括：
肤色检测单元111，用于通过基于肤色检测对所述手掌部位图片进行手掌分割，得到手掌的掌纹感兴趣区域图片；
感兴趣区域提取单元112，用于通过卷积神经网络获取所述掌纹感兴趣区域图片的特征向量，以作为目标掌纹特征向量。
在本实施例中，用户可使用上传端(如智能手机)的摄像头拍摄手掌图片，然后采用基于肤色检测进行手掌分割，得到手掌的掌纹感兴趣区域(ROI)。
基于肤色检测进行手掌分割，得到手掌的掌纹感兴趣区域的原理如下：利用人体肤色与背景颜色的差异，将手掌从背景中分量出来。具体实施时，先将手掌图片从RGB空间转化为YCrCb空间，然后通过手掌图片在YCrCb空间下进行肤色分割，得到手掌轮廓图像。之后，在根据手掌轮廓图像上的特征点来提取掌纹感兴趣区域。
具体是根据肤色在空间上的分布特点，可以将肤色精准的分离出来，得到了手掌轮廓图像。之后在手掌轮廓图像上可通过基于手指尖的点的提取方法来提取掌纹感兴趣区域。
在一实施例中，如图9所示，肤色检测单元111包括：
图片空间转化单元1111，用于将所述手掌部位图片从RGB空间转化为 YCrCb空间，得到转化后图片；
当前连线获取单元1112，用于筛选出所述转化后图片中食指与中指之间的第一谷点，及无名指与小指之间的第二谷点，得到第一谷点与第二谷点之间当前连线的当前长度、及当前连线与X轴之间的当前偏角；
目标点获取单元1113，用于根据当前连线获取当前连线的中点以作为当前中点，根据当前中点获取当前连线的当前垂线，以获取当前垂线中延伸到手掌方向且距离当前中点的距离为二分之一当前长度的目标点；
掌纹感兴趣区域图片获取单元1114，用于将所述转化后图片逆时针旋转当前偏角，并以目标点为中点获取当前长度*当前长度大小的正方形区域，以得到手掌的掌纹感兴趣区域图片。
在本实施例中，在获取了掌纹感兴趣区域后即完成了对手张图片的预处理，接下来根据掌纹感兴趣区域提取掌纹识别向量即可。
对掌纹感兴趣区域提取掌纹识别向量可采用基于图片变换的识别算法，将掌纹感兴趣区域进行傅里叶变换，得到掌纹感兴趣区域的幅频响应。
在掌纹感兴趣区域的幅频响应上作出8个同心圆，将幅频响应分为8个区域，每一区域的所有像素点的灰度值求和，得到对应区域的特征点，将以圆心为起点从里到外的顺序将各特征值进行串接，得到一个8维的列向量，即为掌纹识别向量。
在获取手掌部位图片的图片特征向量时，先获取与手掌部位图片对应的像素矩阵，然后将手掌部位图片对应的像素矩阵作为卷积神经网络模型中输入层的输入，得到多个特征图，之后将特征图输入池化层，得到每一特征图对应的最大值所对应一维向量，最后将每一特征图对应的最大值所对应一维向量输入至全连接层，得到与手掌部位图片对应的掌纹识别向量。
第一目标向量获取单元120，用于将所述掌纹识别向量与预先构建的掌纹特征向量库中各掌纹特征向量进行相似度计算，得到所述掌纹特征向量库中与所述掌纹识别向量的相似度值为最大值的掌纹特征向量，以作为目标掌纹特征向量。
在本实施例中，在计算所述掌纹识别向量与掌纹特征向量库中各掌纹特征向量之间的相似度值时，可以计算两个向量之间的欧式距离或是皮尔逊相似度，从而判断两个向量之间的相似度。
第一标签获取单元130，用于获取所述目标掌纹特征向量对应的用户第一标签，以作为所述手掌部位图片对应的第一标签。
在本实施例中，预先构建的的掌纹特征向量库中存储了多个预先进行了掌纹特征向量提取的特征向量(例如都是8维的列向量)，每一特征向量都预先设置了对应的用户第一标签，在有了这些数据基础后，即可判断所述目标掌纹特征向量在掌纹特征向量库中最相似的掌纹特征向量以作为目标掌纹特征向量。
在得到与所述掌纹识别向量的相似度值为最大值的掌纹特征向量以作为目标掌纹特征向量后，获取所述目标掌纹特征向量对应的用户第一标签，即可作为所述手掌部位图片对应的第一标签，例如所述手掌部位图片对应的第一标签为A属性。
目标图片获取单元140，用于接收上传端所上传的面部视频，通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片。
在本实施例中，当通过上传端的摄像头获取了用户的面部视频后，需对其进行微表情分析。具体实施时，可以通过光流法进行微表情分析以得到所述面部视频中的目标图片。
在一实施例中，如图10所示，目标图片获取单元140包括：
速度矢量特征获取单元141，用于获取所述面部视频中各帧图片的各像素点对应的速度矢量特征；
目标图片选取单元142，用于若所述面部视频中存在至少一帧图片的所述速度矢量特征未保持连续变化，将对应图片作为所述面部视频中的目标图片。
在本实施例中，当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场, 这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
定义光流以点为基础，具体来说，设(u,v)为图像点(x,y)的光流，则把(x, y,u,v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时(当用户有微表情时，脸部会有运动，相当于运动物体)，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，获取所述面部视频中的目标图片。
第二目标向量获取单元150，用于通过卷积神经网络获取所述目标图片的微表情识别特征向量，将所述微表情识别特征向量与预先构建的微表情特征向量库中各微表情特征向量进行相似度计算，得到所述微表情特征向量库中与所述微表情识别特征向量的相似度值为最大值的微表情特征向量，以作为目标微表情特征向量。
在本实施例中，当获取了面部视频对应的目标图片后，即可通过卷积神经网络获取所述目标图片的微表情识别特征向量，其具体过程参考通过卷积神经网络获取所述掌纹感兴趣区域图片的特征向量。
在计算所述微表情识别特征向量与微表情特征向量库中各微表情特征向量之间的相似度值时，可以计算两个向量之间的欧式距离或是皮尔逊相似度，从而判断两个向量之间的相似度。
在一实施例中，如图11所示，第二目标向量获取单元150包括：
预处理单元151，用于将目标图片进行预处理，得到预处理后图片，及与预处理后图片对应的图片像素矩阵；其中，将目标图片进行预处理为依序对所述目标图片进行灰度化、边缘检测和二值化处理；
卷积单元152，用于将与预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到特征图；
池化单元153，用于将特征图输入至卷积神经网络模型中池化层，得到与特征图对应的一维向量；
全连接单元154，用于将与特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与特征图对应的微表情识别特征向量。
在本实施例中，对目标图片依次进行灰度化、边缘检测和二值化处理，即可得到预处理后图片、及与预处理后图片对应的图片像素矩阵。
由于彩色图像包含更多的信息，但是直接对彩色图像进行处理，服务器中的执行速度将会降低，储存空间也会变大。彩色图像的灰度化是图像处理的一种基本的方法，在模式识别领域得到广泛的运用，合理的灰度化将对图像信息的提取和后续处理有很大的帮助，能够节省储存空间，加快处理速度。
边缘检测的方法是考察图像的像素在某个领域内灰度的变化情况，标识数字图像中亮度变化明显的点。图像的边缘检测能够大幅度地减少数据量，并且剔除不相关的信息，保存图像重要的结构属性。用于边缘检测的算子很多，常用的除了有Sobel算子(即索贝尔算子)，还有Laplacian边缘检测算子(即拉普拉斯边缘检测算子)、Canny边缘检测算子(即坎尼算子)等。
为了减少噪声的影响，需要对进行边缘检测后的图像进行二值化处理，二值化是对图像进行阈值化的一种类型。根据阈值的选取情况，二值化的方法可分为全局阈值法、动态阈值法和局部阈值法，常用最大类间方差法(也称Otsu 算法)进行阈值化，来剔除一些梯度值较小的像素，二值化处理后图像的像素值为0或者255。此时，即可得到预处理后图片，及与预处理后图片对应的图片像素矩阵。
在获取图片的图片特征向量时，先获取与预处理后图片对应的图片像素矩阵，然后将预处理后图片对应的图片像素矩阵作为卷积神经网络模型中输入层的输入，得到特征图，之后将特征图输入池化层，得到特征图对应的最大值所对应的一维向量，最后将特征图对应的最大值所对应的一维向量输入至全连接层，得到与预处理后图片对应的微表情识别特征向量。
第二标签获取单元160，用于获取所述目标微表情特征向量对应的用户第二标签，以作为所述面部视频对应的第二标签。
在本实施例中，在得到与所述微表情识别特征向量的相似度值为最大值的微表情特征向量以作为目标掌纹特征向量后，获取所述目标掌纹特征向量对应的用户第二标签，即可作为所述面部视频对应的第二标签，例如所述面部视频对应的第二标签为B属性。
标签组合获取单元170，用于将所述第一标签与所述第二标签进行组合，得到与所述上传端的用户对应的用户标签组合。
在本实施例中，例如所述第一标签为A属性，所述第二标签为B属性，则将所述第一标签与所述第二标签进行组合得到A属性+B属性，以A属性+B 属性作为与所述上传端的用户对应的用户标签组合。
清单发送单元180，用于在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。
在本实施例中，预先构建的用户标签库中针对每一用户均设置了标签或标签组合，例如预先构建的用户标签库中用户1对应的标签为A属性、用户2对应的标签为A属性+B属性、用户3对应的标签为C属性、……、用户N对应的标签为C属性+D属性。其中用户标签组合为A属性+B属性，用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合如A 属性(对应用户1)、A属性+B属性(对应用户2)以组成目标标签组合集，将目标标签组合集中每一目标标签组合对应的用户组成推荐用户清单(如包括用户1和用户2)，将推荐用户清单发送至上传端。其中推荐用户清单中每一用户数据至少包括用户名称(即用户姓名)、标签组合、用户基本信息(如包括性别、家庭住址、联系号码等)。基于图片、微表情等多维度作为用户标签的获取来源，能实现对用户更加细粒度的进行划分。而且事先无需对用户进行聚类，只需预先构建用户标签库即可作为目标用户的相似用户的数据基础，降低了数据处理量。
在一实施例中，所述基于图像识别的信息推送装置100还包括：
标签相似度值计算单元，用于获取所述用户标签库中各标签或标签组合与所述用户标签组合之间的字符串编辑距离，以作为所述用户标签库中各标签或标签组合与所述用户标签组合之间的标签相似度值。
在本实施例中，字符串编辑距离就是从一个字符串修改到另一个字符串时，其中编辑单个字符(比如修改、插入、删除)所需要的最少次数。例如，从字符串“kitten”修改为字符串“sitting”只需3次单字符编辑操作，具体如sitten (k→s)、sittin(e→i)、sittin(_→g),因此“kitten”和“sitting”的字符串编辑距离为3。当获取了获取所述用户标签库中各标签或标签组合与所述用户标签组合之间的字符串编辑距离，即可获取所述用户标签库中各标签或标签组合与所述用户标签组合之间的标签相似度值以作为相似用户筛选的数值参考。
该装置实现了基于掌部图片和微表情的多维度特征来获取上传端对应用户的相似用户，无需事先对海量用户进行聚类，降低了数据处理量，而且基于掌部图片和微表情的多维度能实现对用户标签更加细粒度的划分。
上述基于图像识别的信息推送装置可以实现为计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12，图12是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图12，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于图像识别的信息推送方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于图像识别的信息推送方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图12中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于图像识别的信息推送方法。
本领域技术人员可以理解，图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图12所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于图像识别的信息推送方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于图像识别的信息推送方法，其特征在于，包括：
接收上传端所上传的手掌部位图片，通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量；
将所述掌纹识别向量与预先构建的掌纹特征向量库中各掌纹特征向量进行相似度计算，得到所述掌纹特征向量库中与所述掌纹识别向量的相似度值为最大值的掌纹特征向量，以作为目标掌纹特征向量；
获取所述目标掌纹特征向量对应的用户第一标签，以作为所述手掌部位图片对应的第一标签；
接收上传端所上传的面部视频，通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片；
通过卷积神经网络获取所述目标图片的微表情识别特征向量，将所述微表情识别特征向量与预先构建的微表情特征向量库中各微表情特征向量进行相似度计算，得到所述微表情特征向量库中与所述微表情识别特征向量的相似度值为最大值的微表情特征向量，以作为目标微表情特征向量；
获取所述目标微表情特征向量对应的用户第二标签，以作为所述面部视频对应的第二标签；
将所述第一标签与所述第二标签进行组合，得到与所述上传端的用户对应的用户标签组合；以及
在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。
2.根据权利要求1所述的基于图像识别的信息推送方法，其特征在于，所述通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量，包括：
通过基于肤色检测对所述手掌部位图片进行手掌分割，得到手掌的掌纹感兴趣区域图片；
通过卷积神经网络获取所述掌纹感兴趣区域图片的特征向量，以作为目标掌纹特征向量。
3.根据权利要求2所述的基于图像识别的信息推送方法，其特征在于，所述通过基于肤色检测对所述手掌部位图片进行手掌分割，得到手掌的掌纹感兴趣区域图片，包括：
将所述手掌部位图片从RGB空间转化为YCrCb空间，得到转化后图片；
筛选出所述转化后图片中食指与中指之间的第一谷点，及无名指与小指之间的第二谷点，得到第一谷点与第二谷点之间当前连线的当前长度、及当前连线与X轴之间的当前偏角；
根据当前连线获取当前连线的中点以作为当前中点，根据当前中点获取当前连线的当前垂线，以获取当前垂线中延伸到手掌方向且距离当前中点的距离为二分之一当前长度的目标点；
将所述转化后图片逆时针旋转当前偏角，并以目标点为中点获取当前长度*当前长度大小的正方形区域，以得到手掌的掌纹感兴趣区域图片。
4.根据权利要求1所述的基于图像识别的信息推送方法，其特征在于，所述通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片，包括：
获取所述面部视频中各帧图片的各像素点对应的速度矢量特征；
若所述面部视频中存在至少一帧图片的所述速度矢量特征未保持连续变化，将对应图片作为所述面部视频中的目标图片。
5.根据权利要求1所述的基于图像识别的信息推送方法，其特征在于，所述通过卷积神经网络获取所述目标图片的微表情识别特征向量，包括：
将目标图片进行预处理，得到预处理后图片，及与预处理后图片对应的图片像素矩阵；其中，将目标图片进行预处理为依序对所述目标图片进行灰度化、边缘检测和二值化处理；
将与预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到特征图；
将特征图输入至卷积神经网络模型中池化层，得到与特征图对应的一维向量；
将与特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与特征图对应的微表情识别特征向量。
6.根据权利要求1所述的基于图像识别的信息推送方法，其特征在于，所述在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集之前，还包括：
获取所述用户标签库中各标签或标签组合与所述用户标签组合之间的字符串编辑距离，以作为所述用户标签库中各标签或标签组合与所述用户标签组合之间的标签相似度值。
7.一种基于图像识别的信息推送装置，其特征在于，包括：
掌纹向量获取单元，用于接收上传端所上传的手掌部位图片，通过掌纹识别获取所述手掌部位图片对应的掌纹识别向量；
第一目标向量获取单元，用于将所述掌纹识别向量与预先构建的掌纹特征向量库中各掌纹特征向量进行相似度计算，得到所述掌纹特征向量库中与所述掌纹识别向量的相似度值为最大值的掌纹特征向量，以作为目标掌纹特征向量；
第一标签获取单元，用于获取所述目标掌纹特征向量对应的用户第一标签，以作为所述手掌部位图片对应的第一标签；
目标图片获取单元，用于接收上传端所上传的面部视频，通过光流法对面部视频进行预处理，获取所述面部视频中的目标图片；
第二目标向量获取单元，用于通过卷积神经网络获取所述目标图片的微表情识别特征向量，将所述微表情识别特征向量与预先构建的微表情特征向量库中各微表情特征向量进行相似度计算，得到所述微表情特征向量库中与所述微表情识别特征向量的相似度值为最大值的微表情特征向量，以作为目标微表情特征向量；
第二标签获取单元，用于获取所述目标微表情特征向量对应的用户第二标签，以作为所述面部视频对应的第二标签；
标签组合获取单元，用于将所述第一标签与所述第二标签进行组合，得到与所述上传端的用户对应的用户标签组合；以及
清单发送单元，用于在预先构建的用户标签库获取与所述用户标签组合的标签相似度值超过预设的相似度阈值的标签组合以作为目标标签组合集，获取与所述目标标签组合集对应的用户以作为推荐用户清单发送至上传端。
8.根据权利要求7所述的基于图像识别的信息推送装置，其特征在于，所述目标图片获取单元，包括：
速度矢量特征获取单元，用于获取所述面部视频中各帧图片的各像素点对应的速度矢量特征；
目标图片选取单元，用于若所述面部视频中存在至少一帧图片的所述速度矢量特征未保持连续变化，将对应图片作为所述面部视频中的目标图片。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于图像识别的信息推送方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于图像识别的信息推送方法。
CN201910752720.6A 2019-08-15 2019-08-15 基于图像识别的信息推送方法、装置、及计算机设备 Pending CN110765832A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910752720.6A CN110765832A (zh) 2019-08-15 2019-08-15 基于图像识别的信息推送方法、装置、及计算机设备
PCT/CN2020/087489 WO2021027329A1 (zh) 2019-08-15 2020-04-28 基于图像识别的信息推送方法、装置、及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752720.6A CN110765832A (zh) 2019-08-15 2019-08-15 基于图像识别的信息推送方法、装置、及计算机设备

Publications (1)

Publication Number Publication Date
CN110765832A true CN110765832A (zh) 2020-02-07

Family

ID=69329330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752720.6A Pending CN110765832A (zh) 2019-08-15 2019-08-15 基于图像识别的信息推送方法、装置、及计算机设备

Country Status (2)

Country Link
CN (1) CN110765832A (zh)
WO (1) WO2021027329A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027329A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 基于图像识别的信息推送方法、装置、及计算机设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115129825B (zh) * 2022-08-25 2022-12-20 广东知得失网络科技有限公司 一种专利信息推送方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040042642A1 (en) * 1999-12-02 2004-03-04 International Business Machines, Corporation System and method for distortion characterization in fingerprint and palm-print image sequences and using this distortion as a behavioral biometrics
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN109785066A (zh) * 2019-01-17 2019-05-21 深圳壹账通智能科技有限公司 基于微表情的产品推荐方法、装置、设备及存储介质
CN109857893A (zh) * 2019-01-16 2019-06-07 平安科技（深圳）有限公司 图片检索方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5237724B2 (ja) * 2008-08-19 2013-07-17 オリンパスイメージング株式会社 画像検索システム
CN108305180B (zh) * 2017-01-13 2020-08-25 中国移动通信有限公司研究院 一种好友推荐方法及装置
CN109785045A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 一种基于用户行为数据的推送方法和装置
CN109766917A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 面试视频数据处理方法、装置、计算机设备和存储介质
CN110765832A (zh) * 2019-08-15 2020-02-07 深圳壹账通智能科技有限公司 基于图像识别的信息推送方法、装置、及计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040042642A1 (en) * 1999-12-02 2004-03-04 International Business Machines, Corporation System and method for distortion characterization in fingerprint and palm-print image sequences and using this distortion as a behavioral biometrics
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN109857893A (zh) * 2019-01-16 2019-06-07 平安科技（深圳）有限公司 图片检索方法、装置、计算机设备及存储介质
CN109785066A (zh) * 2019-01-17 2019-05-21 深圳壹账通智能科技有限公司 基于微表情的产品推荐方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳欣;耿佳佳;钟必能;杜吉祥;: "多生物特征融合发展现状及其展望", 小型微型计算机系统, no. 08 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027329A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 基于图像识别的信息推送方法、装置、及计算机设备

Also Published As

Publication number Publication date
WO2021027329A1 (zh) 2021-02-18

Similar Documents

Publication Publication Date Title
AU2022252799B2 (en) System and method for appearance search
CN108875522B (zh) 人脸聚类方法、装置和系统及存储介质
Fang et al. Spectral–spatial classification of hyperspectral images with a superpixel-based discriminative sparse model
US9665927B2 (en) Method and apparatus of multi-frame super resolution robust to local and global motion
US9968845B2 (en) Image processing device and image processing method, and program
US9020250B2 (en) Methods and systems for building a universal dress style learner
US10949702B2 (en) System and a method for semantic level image retrieval
Tsai et al. Optical flow-motion history image (OF-MHI) for action recognition
US11670097B2 (en) Systems and methods for 3D image distification
WO2021027325A1 (zh) 视频相似度获取方法、装置、计算机设备及存储介质
Fang et al. Deep3DSaliency: Deep stereoscopic video saliency detection model by 3D convolutional networks
Ge et al. Dynamic background estimation and complementary learning for pixel-wise foreground/background segmentation
CN111353506A (zh) 自适应的视线估计方法和设备
US20230326173A1 (en) Image processing method and apparatus, and computer-readable storage medium
CN112907569B (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
Nasri et al. A novel approach for dynamic hand gesture recognition using contour-based similarity images
Bejaoui et al. Fully automated facial expression recognition using 3D morphable model and mesh-local binary pattern
CN110765832A (zh) 基于图像识别的信息推送方法、装置、及计算机设备
Konstantakopoulos et al. A review of image-based food recognition and volume estimation artificial intelligence systems
Bhattacharya et al. Visual saliency detection using spatiotemporal decomposition
Lahiri et al. Improving consistency and correctness of sequence inpainting using semantically guided generative adversarial network
KR20200029951A (ko) 적응적 분류에 기반한 영상정합 시스템 및 방법
CN112883940A (zh) 静默活体检测方法、装置、计算机设备及存储介质
Marfil et al. Combining segmentation and attention: a new foveal attention model
Lin et al. A computational visual saliency model based on statistics and machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination