实施例1
根据本发明实施例,还提供了一种数据的处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的一种数据的处理方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据的处理方法对应的程序指令/模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
在上述运行环境下,本申请提供了如图2所示的数据的处理方法。图2是根据本发明实施例一的数据的处理方法的流程图。
如图2所示,该数据的处理方法可以包括如下实施步骤:
步骤S20,采集使用应用平台的用户的人脸图像数据。
在本发明实施例提供的数据的处理方法中,对于采集人脸图像数据适用于任一图像采集设备,例如,移动终端设备中嵌入的摄像头、具备图像上传功能的摄像机或照相机,其中,移动终端设备可以至少包括:智能手机、笔记本电脑、平板电脑、掌上电脑、第三代媒体播放器(MPEG Aud io Layer 3,简称mp3)、第四代媒体播放器(MPEGAudio Layer 4,简称mp4)、便携式的智能穿戴设备中的一种或至少两种的组合。
具体的,基于上述设备,在步骤S20中通过上述图像采集设备采集当前用户的面部图像数据,即人脸图像数据,其中,人脸图像数据可以包括:面部表情的采集,例如眨眼次数、眼球的关注焦点、嘴部的形状等的一种或至少两种的组合。这里图像采集设备除采集眼球的关注焦点外,还可以通过捕捉用户瞳孔的放大收缩规律为后续生成行为结果做数据支持。
此外,除上述图像采集设备的常规面部数据采集,还可以通过红外图像采集设备对人脸采集局部或整体的红外变化数据。
例如,以应用平台为网络购物网站平台为例,本申请上述步骤具体可以为:这里移动终端以智能手机为例,当用户使用智能手机在网络购物网站平台上对所购买的商品进行评价时,触发该智能手机的前置摄像头,通过该前置摄像头对当前用户的人脸图像数据进行采集,若当前用户面部表情为微笑,则该前置摄像头采集到的人脸图像数据可以为嘴部的形状。
步骤S22,对用户的人脸图像数据进行识别处理,获取人脸图像数据中包含的至少一个人脸特征值,其中,人脸特征值用于表征人脸的任意一个生物特征的特征值。
这里基于步骤S20中采集的人脸图像数据,可以对步骤S20采集到的人脸图像进行解析来达到识别的目的,例如,采用分步或整体的对人脸图像数据进行识别。
其中,整体的对人脸图像数据进行识别可以包括如下步骤:
第一步,在一个预设时间段内以点矩阵扫描采集到的人脸图像数据。
具体的,可以对预设时间段内的每个单位时间点的人脸图像数据进行点矩阵扫描,得到每个单位时间点的人脸图像数据。假设以3秒为例,通过点矩阵形式扫描每秒的人脸图像数据,得到:第一秒的人脸图像数据、第二秒的人脸图像数据和第三秒的人脸图像数据。
第二步,对预设时间段内的点矩阵扫描的人脸图像数据进行点阵计算处理,获取人脸的多个人脸特征值。
基于上述第一步的点矩阵扫描人脸图像数据,通过处理第一秒的人脸图像数据至第三秒的人脸图像数据,得到对应的第一秒的人脸图像数据特征值、第二秒的人脸图像数据特征值和第三秒的人脸图像数据特征值。其中,上述第一秒至第三秒的人脸图像数据处理方式可以为:通过预设标准对每秒的人脸图像数据对应的点矩阵数据进行计算,得到每秒的人脸图像数据对应的特征值。
例如,仍旧以步骤S20中应用平台为网络购物网站平台为例进行说明,本申请上述步骤具体可以为:仍旧以采集到的人脸图像为微笑为例,在单位时间内,对每帧画面中用户的嘴部的形状进行识别,得到的人脸特征值可以为嘴角上扬的角度。
步骤S24,根据人脸特征值获取与人脸图像数据匹配的行为结果,其中,行为结果用于表征用户使用应用平台时的评价结果。
这里基于上述步骤S22中获取的多个人脸特征值,通过与人脸图像数据匹配能够得到用户当前所展示的网络媒体的行为结果,以便依据该行为结果得出对当前网络媒体有效的数据评价。其中,该行为结果可以为:对当前网络媒体的喜好程度,例如若得到的行为结果为厌恶的表情,则表示用户对当前展示的网络媒体不喜欢;相反,若得到的行为结果为大笑、微笑或具备笑容,则表示用户对当前展示的网络媒体喜欢或感兴趣。
例如,仍旧以步骤S20中应用平台为网络购物网站平台为例进行说明,本申请上述步骤具体可以为:基于步骤S22中的举例,仍旧以人脸特征值为嘴角上扬的角度为例,其中,若该角度大于预设阈值,则判定用户使用智能手机在网络购物网站平台对所购买的商品的评价为“满意”,即,行为结果为用户对购买该商品的购物评价为“满意”。
同理,本发明实施例提供的数据的处理方法还可以适用于用户在视频网站平台对所观看的视频进行评价的过程,具体依据人脸图像数据获取该人脸图像数据对应的行为结果的过程与上述步骤S20至步骤S24相同,此处不再赘述。
结合步骤S20至步骤S24,本发明实施例提供的数据的处理方法仅以上述场景为例进行说明,以实现本发明实施例提供的数据的处理方法为准,具体不做限定。
本发明实施例提供的数据的处理方法,通过采用采集人脸图像数据;对人脸图像数据进行识别处理,获取人脸的多个人脸特征值,其中,人脸特征值用于表征人脸的任意一个生物特征的特征值;根据多个人脸特征值获取与人脸图像数据匹配的行为结果的方式,达到了减少评论流程中的步骤的目的,从而实现了提升评论效率,准确获取用户反馈意见真实性的技术效果,进而解决了现有技术提供的评论流程复杂、耗时长,导致获取评价结果效率低的技术问题。
基于上述实施例,本申请的一种可选方案中,上述步骤S22实现的对人脸图像数据进行识别处理,获取人脸图像数据中包含的至少一个人脸特征值的方案可以包括如下实施步骤:
步骤S221、按照预存的人脸特征模板将人脸图像数据进行划分,得到人脸的多个局部图像数据。
其中,假设预存的人脸特征模板可以至少分为:眼部的区域图像、面颊图像区、嘴部的区域图像以及额头部位的区域图像。这里步骤S221通过上述预存的人脸特征模板对人脸图像数据进行划分,可以得到人脸中对应眼部的区域图像的眼部图像数据、对应面颊图像区的面颊图像数据、对应嘴部的区域图像的嘴部图像数据以及对应额头部位的区域图像的额头图像数据。
步骤S222、提取任意一个或多个局部图像数据中包含的生物特征。
上述步骤可以实现基于步骤S221划分出的任一个或多个局部图像数据,通过提取获取对应各个局部图像数据的生物特征。优选地,上述局部图像数据可以至少包括人脸中的如下任意一个部位的图像数据:额头部位的区域图像、眼部的区域图像和嘴部的区域图像。
其中,额头部位的区域图像对应的是额头图像数据,眼部的区域图像对应的是眼部图像数据,嘴部的区域图像对应的是嘴部图像数据。
这里本发明实施例中步骤S222中以眼部图像数据为例进行说明,假设眼部图像数据的生物特征可以至少包括:眼球的肤色,黑眼圈数据,是否有眼泪、眼部血丝,以及眼睛的大小。因此通过提取眼部图像数据中包含的生物特征可以为上述特征。
同样,对应面颊的图像区、嘴部的区域图像以及额头部位的区域图像的生物特征可以为:
对应面颊图像区的生物特征可以为:肤色、面部肌肉变化及皱纹;
对应嘴部的区域图像的生物特征可以为:嘴部形象和/或嘴部肤色;
对应额头部位的区域图像的生物特征可以为:额头肤色、额头纹理和是否存在汗水。
本发明实施例提供的各个局部图像数据的生物特征仅以上述生物特征为例进行说明,以实现本发明实施例提供的数据的处理方法为准,具体不做限定。
步骤S223、根据每个局部图像数据的图像属性,确定任意一个或多个局部图像数据中的生物特征的特征值。
本申请提供的一种优选实施例中,可以采用分步式分析方法对来实现上述步骤S223的方案,下面就采用分步式的分析方法对上述人脸的任意一个或多个局部图像数据进行分析的方案进行详细描述如下:
第一步,对在第一预设时间段内采集到的人脸的每个局部图像数据进行数据剥离;
其中,通过设立采集人脸图像数据的第一预设时间段,对连续时间点上的同一特征进行数据剥离,假设,以步骤S20中采集到的人脸图像数据为例,在人脸被划分为眼部、嘴部等部分之后,上述步骤可以对面部表情的采集、眨眼次数、眼球的关注焦点中的一种或至少两种的组合进行连续时间点上的阶段数据剥离,其中,以面部的眼部和嘴部表情为例,对面部表情中眉毛、眼角、嘴角、脸颊肌肉收缩图像在3秒内的变化进行数据剥离。
具体的,假设3秒为第一预设时间段,对眉毛形状在3秒内的变化进行每秒的数据剥离,即,剥离后应为:第一秒的眉毛形状、第二秒的眉毛形状和第三秒的眉毛形状,其中眉毛形状可以包括:皱眉或上挑。其中皱眉的图像数据通过捕捉双眉间的间距进捕捉;
同理,眼角、嘴角和脸颊肌肉的收缩图像如眉毛的图像数据的数据剥离方式,其中,眼角和嘴角的图像数据剥离方式相同,对每秒的眼角或嘴角的图像数据进行上拉角度或者收回角度的测算,剥离出每秒的眼角或嘴角的图像数据。面颊肌肉的收缩图像与眼角和嘴角的图像数据剥离方式相同,此处不再赘述。
本发明实施例提供的数据的处理方法中,仅以3秒为第一预设时间段为例进行说明,具体以实现数据的处理方法为准,不做限定。
第二步,在第一预设时间段内的连续时间点中,对剥离后的人脸的任意一个或多个局部图像数据中同一生物特征的变化值进行连续记录。
第三步,基于第二步的数据剥离,对同一生物特征在连续时间点的变化进行连续记录,仍旧以眉毛形状在3秒内的变化进行每秒的数据为例进行说明,对剥离出的第一秒的眉毛形状、第二秒的眉毛形状和第三秒的眉毛形状进行连续记录,生成眉毛在3秒内的形状变化记录。同理,眼角、嘴角和脸颊肌肉的收缩图像如眉毛的图像数据在连续时间点的变化进行连续记录的方式相同,此处不再赘述。
第四步,对各个生物特征对应的连续记录进行整合,获取人脸的任意一个或多个局部图像数据中的生物特征的特征值。
这里将第三步中同一特征在连续时间点内的连续记录进行整合,即,对眼角、嘴角和脸颊肌肉的收缩图像在3秒内的同一时间点上的特征以特征值的方式进行整合,得到3秒内每秒的人脸特征值。
例如,将第一秒的眼角、嘴角和脸颊肌肉的收缩图像对应的特征值进行整理,生成第一秒时人脸的特征值;同样,将第二秒和第三秒的眼角、嘴角和脸颊肌肉的收缩图像对应的特征值进行整理,得到第二秒时人脸的特征值和第三秒时人脸的特征值,即,得到多个人脸特征值。
此处需要重点说明的是,以提取眼部图像数据的生物特征为例,其中,眼部图像数据中的生物特征对应的特征值可以为:
眼球的肤色:取区间【0-100】,其中,0为正常,即,0为正常白,100为红色;
黑眼圈数据:黑眼圈的大小,深度;
是否眼泪:0,1;即,0表示没有眼泪,1表示有眼泪;
眼部血丝:血丝条数或血丝在整个眼球上的分步的百分比;
眼睛的大小:眼睛的睁开时的开合角度。
对应的,面颊图像区中的生物特征对应的特征值可以为:
肤色:取区间【0-10】,0表示当前没有变化,10表示面色红润;
面部肌肉变化:面颊图像区中每个图像点对应的位置移动变化;
皱纹:条数。
对应的,嘴部的区域图像中的生物特征对应的特征值可以为:
嘴部形状:o形,上弯月形,下弯月形,一字型;
嘴部肤色:取区间【0,100】,0为浅白,100为紫色,50为正常。
对应的,额头部位的区域图像中的生物特征对应的特征值可以为:
额头的纹理数据:条数,每条的长度和深度;
汗水:0,1;即,0表示没有汗水,1表示有汗水;
肤色:【0,100】。
优选的,局部图像数据包括人脸中的如下任意一个部位的图像数据:额头部位的区域图像、眼部的区域图像和嘴部的区域图像。
一种优选的实施方案中,在步骤S222中提取任意一个或多个局部图像数据中所包含的生物特征的步骤包括:
步骤S1、从额头部位的区域图像中提取至少如下任意一个或多个生物特征:额头部位的纹理数据、额头部位的汗水数据和额头的肤色;
其中,在实现从额头部位的区域图像中提取上述任意一个或多个生物特征的方式上可以为如下几种:
这里本发明实施例提供的额头部位的纹理数据可以至少包括:额头部位的皱纹条数、以及皱纹的长度和/或深度。
在提取额头部位的皱纹条数时,可以通过扫描额头部位的区域图像,依据预设的额头部位的平整度,得到当前额头部位的区域图像中额头是否平整,即,若不平整则,则说明存在褶皱;若存在褶皱,则对褶皱进行计数;
在提取额头部位的皱纹长度时,首先对额头部位的区域图像进行测算,其次以测算得到的额头部位的宽度为基准,最后,对每条皱纹进行等同比例测量,进一步得到每条皱纹的长度;
在提取额头部位的皱纹深度时,首先对额头部位的区域图像进行扫描,其次以扫描后每条皱纹的阴影图像为基准,最后依据每条皱纹的阴影图像对应的阴影面积,以及预先确定的测量单位,得到每条皱纹的深度;
在提取额头部位的汗水数据时,可以通过红外摄像机对额头部位的区域图像进行热成像扫描,依据光谱对应的数值确定额头部位是否发热,进一步根据额头部位的区域图像的光学反射系数判断是否流汗;
在提取额头的肤色时,可以依据现有标准对额头肤色进行色度判断,进一步的得到额头的肤色值。
步骤S2、从眼部的图像数据中提取至少如下任意一个或多个生物特征:眼部的眼睛轮廓参数、眼部的眼球肤色数据、眼部的黑眼圈数据、眼部的眼泪数据和眼部的血丝数据;
其中,在实现从眼部的图像数据中提取至少上述任意一个或多个生物特征的方式上可以为如下几种:
在提取眼部的眼睛轮廓参数时,首先对当前用户面部进行扫描,得到用户面部尺寸,其次对眼部的眼睛轮廓进行扫描,测算眼间距,第三依据眼睛轮廓扫描图像尺寸按比例计算眼睛的轮廓大小,最后依据眼睛轮廓的图像尺寸与面部尺寸的比例校正计算后的眼睛的轮廓大小;
在提取眼部的眼球肤色数据时,可以依据现有标准对眼球肤色进行色度判断,进一步的确定眼球的肤色值;
在提取眼部的黑眼圈数据时,首先对眼部的眼睛轮廓进行扫描,得到眼睛轮廓面积,其次,通过与面部肤色的色差判断眼睛轮廓的四周是否色差大于预设阈值,若该大于预设阈值,则判断存在黑眼圈,并测算色差覆盖的面积,得到黑眼圈的数据;
在提取眼部的眼泪数据时,可以根据眼部的图像数据的光学反射系数判断是否流泪;
在提取眼部的血丝数据时,首先对眼球进行扫描得到眼白所占面积,进一步的对眼白部分红血丝的占有比进行测算,得到红血丝的占有比;或,通过对眼球的扫描图像中对眼白区域的红血丝进行计数,最后得到红血丝条数。
步骤S3、从嘴部的区域图像中提取至少如下任意一个或多个生物特征:嘴部的形状参数和嘴部的肤色。
其中,在实现从嘴部的区域图像中提取至少上述任意一个或多个生物特征的方式上可以为如下几种:
在提取嘴部的形状参数时,对单位时间内,各个时间点嘴部图像进行分析,通过相邻时间点的嘴部图像对比判断当前嘴部轮廓形状是否发生变化,若发生变化,则根据嘴部图像的成像形状判断嘴部轮廓所属类别,其中,嘴部轮廓所属类别可以包括:o形,上弯月形,下弯月形,一字型。
在提取嘴部的肤色时,可以依据现有标准对嘴部肤色进行色度判断,进一步的确定嘴部的肤色值。
基于上述实施例,步骤S24中根据多个人脸特征值获取与人脸图像数据匹配的行为结果的步骤包括:
步骤A,按照预设规则确定用于获取行为结果的一组生物特征集合,生物特征集合为人脸图像数据中任意一个或多个生物特征的组合。
本申请上述步骤中的预设规则是预先设定的,而且预设规则定义了对应的行为结果(例如:“满意”,“不满意”,或者是“中”),系统在获取到人脸的所有生物特征的特征值之后,需要利用该预设规则来分析上述人脸的生物特征,如果分析的生物特征都满足预设条件,那么可以确定当前人脸所对应的行为结果。
由于采集到的人脸的生物特征数量较多,而且有些生物特征对于用户的行为结果不构成影响,因此,为了在不影响分析结果的基础上,能够提高分析效率,可以在预设规则中限定在该规则下所需要分析的生物特征,构成一组生物特征集合来进行人脸的行为分析,例如分析出该用户在使用应用平台过程中是“满意”,还是“不满意”,或者是“中”。
例如,在预设规则定义为用于获取符合“满意”的行为结果的情况下,虽然已经获取的人脸生物特征至少包括:额头部位的多个生物特征、眼部的多个生物特征以及嘴部的多个生物特征,但一种可选的方案中,仅需要利用眼部和/或嘴部的生物特征就可以分析出结果,因此,在这种情况下,可以仅使用眼部和/或嘴部的所有生物特征作为一组生物特征集合,利用这组生物特征集合完成后续的分析工作。在另外一种可选方案中,也可以仅利用眼部的图像数据中眼球的肤色及瞳孔的收缩度,以及获取嘴部的图像数据中的嘴部形象组成一组生物特征集合。生物特征集合的内容可以根据情况进行更新和替换,此处不再赘述。
同理,对应行为结果为“中”或“不满意”的预设规则,可以从眼部图像数据的生物特征、面颊图像数据的生物特征、嘴部图像数据的生物特征和额头图像数据的生物特征中选取一个或多个区域的图像数据,并且从该一个或多个区域的图像数据中选取对应“中”或“不满意”的一个或多个生物特征组成对应“中”或“不满意”的预设规则的生物特征集合。具体的,眼部图像数据的生物特征、面颊图像数据的生物特征、嘴部图像数据的生物特征和额头图像数据的生物特征可以为:
此处需要说明的是,对应眼部图像数据的生物特征可以为:眼球的肤色,黑眼圈数据,是否有眼泪、眼部血丝,以及眼睛的大小;
对应面颊图像数据的生物特征可以为:肤色、面部肌肉变化及皱纹;
对应嘴部图像数据的生物特征可以为:嘴部形象和/或嘴部肤色;
对应额头图像数据的生物特征可以为:额头肤色、额头纹理和是否存在汗水。
步骤B,读取生物特征集合中所包含的所有生物特征的特征值;
基于步骤A确定的一组生物特征集合,通过预设的图像测算标准得到上述步骤A中生物特征集合中所有生物特征的特征值。
其中,仍旧以行为结果为“满意”为例,生物特征集合包括:眼部的图像数据中眼球的肤色及瞳孔的收缩度,以及获取嘴部的图像数据中的嘴部形象,此时该生物特征集合中所包含的生物特征的特征值可以为:眼球的肤色为0(正常),黑眼圈数据(无),没有流泪、眼部血丝所占百分比为10%,眼睛轮廓大小为10mm2,嘴部形象为上弯月形。
步骤C,在生物特征集合中每个生物特征的特征值满足对应的预设条件的情况下,读取预设规则中设定的该组生物特征集合对应的行为结果;其中,生物特征集合对应的行为结果为当前与人脸图像数据匹配的行为结果。
仍旧以行为结果为“满意”为例,此时,已经获知生物特征集合中所包含的生物特征的特征值为:眼球的肤色为0(正常),黑眼圈数据(无),没有流泪、眼部血丝所占百分比为:≤10%,眼睛轮廓大小为Xmm2,嘴部形象为上弯月形,在这种情况下,预设条件可以是:眼球的肤色是否为0,黑眼圈数据是否为无,是否没有流泪数据,眼部血丝所占百分比是否小于等于20%,眼睛轮廓大小是否小于等于20mm2,嘴部形象是否为上弯月形。如果获知的生物特征集合中高低内容与预设条件相匹配的,则生物特征集合对应的行为结果为当前与人脸图像数据匹配的行为结果,此处可以明了的是,当前生物特征集合中每个生物特征的特征值满足对应的预设条件,此时,人脸图像数据对应的行为结果为“满意”。
其中,行为结果可以至少包括:满意,中,不满意。例如如图3所示,图3是根据本发明实施例二的数据的处理方法的应用界面示意图。结合图3可知,在移动终端将采集到的人脸图像数据进行分析之后,可以确定当前人脸图像数据对应为微笑,进一步的,移动终端通过对微笑进行识别,获取该微笑对应的人脸特征值,最后通过匹配得到该微笑代表对当前显示内容“满意”。
一种可选的实施例中,上述方案中用于确定当前人脸表达的是“满意”的表情时的数据可以为:是收集的数据中嘴部数据是上弯月形状的居多,眼睛的上下眼皮距离比平时要短一些。眼角的鱼尾纹比平时要多。对应的预设条件可以为:嘴部轮廓对应成像轮廓是否为上弯月形状,眼睛的开合角度是否小于预设的开合角度阈值±偏角的值,以及眼角皱纹条数是否大于预设的眼角皱纹条数±预设偏差的值。
一种可选的实施例中,上述方案中用于确定当前人脸表达的是“中”的表情时的数据可以为:嘴部形状一字型居多,眼睛的上下眼皮距离比平时变化不大。眼角的鱼尾纹数量会不变。同样的,对应的预设条件可以为:嘴部轮廓对应成像轮廓是否为一字型,眼睛的开合角度是否等于预设的开合角度阈值±偏角的值,以及眼角皱纹条数是否等于预设的眼角皱纹条数±预设偏差的值。
一种可选的实施例中,上述方案中用于确定当前人脸表达的是“不满意”的表情时的数据可以为:嘴部形状下弯月形居多,眼睛的上下眼皮距离比平时长一些。同样的,对应的预设条件可以为:嘴部轮廓对应成像轮廓是否为下弯月形,眼睛的开合角度是否大于预设的开合角度阈值±偏角的值,以及眼角皱纹条数是否小于预设的眼角皱纹条数±预设偏差的值。
基于步骤A,在步骤A中按照预设规则确定用于获取行为结果的一组生物特征集合之前,本发明实施例提供的数据的处理方法还包括:
Step1、预存多个预设规则;
其中,该预存的多个预设规则可以为:确定生物特征集合中各个生物特征所属的图像数据和/或确定该图像数据中的生物特征的优先选取次序。
例如,预存的多个预设规则中可以为:在第一场景中,需要获取的生物特征所属的图像数据为眼部图像数据和嘴部图像数据,在眼部图像数据中,对眼睛是否含泪、眼睛的开合角度为优先选取;在嘴部图像数据中,对嘴部轮廓为优选。
Step2、按照每个预设规则的优先级选择对应的预设规则执行步骤A至步骤B,
其中,在任意一个预设规则下,如果生物特征集合无法满足对应的预设条件,则按照每个预设规则的优先级选择其它预设规则来执行步骤A至步骤B,直至获取与人脸图像数据匹配的行为结果。
优选的,在步骤S24中获取与人脸图像数据匹配的行为结果之后,本发明实施例提供的数据的处理方法还包括:保存并上报人脸图像数据对应的行为结果。
其中,在获取与人脸图像数据匹配的行为结果后,为生成对当前展示网络媒体的评估报告,将该行为结果进行保存,并通过上报该行为结果完成评估报告。
一种可选方案中,可以将分析人脸图像数据得到的行为结果以报告形式上报至网络侧设备,例如客服服务器侧,网络侧设备接收包含了行为结果的报告,并依据该报告生成评价信息,并填入评价系统中对应的评论位置处,使得客服人员可以快速的获取到用户的体验结果,做出相应的举措,例如,如果针对不满意的评价结果可以提示相关人员及时解决客户疑问。
此处需要说明的是,本申请上述提供的实施例可以应用在网络购物的体验过程中,下面就以在用户使用购物软件(例如淘宝)和支付软件(例如支付宝)完成一次网络购物之后,对在网络购物过程中采集到人脸图像数据进行分析,得到该用户的行为结果,通过该行为结果来确定当前用户对此次网络购物是否满意。下面就结合图4对上述实施例进行详细描述:
步骤S1,移动终端在预设的单位时间内采集用户在购物过程中的人脸图像数据;
例如,移动终端以智能手机为例进行说明,假设当前用户再使用智能手机浏览淘宝S商品的界面,在获取用户点击进入该S商品界面时,触发启动该智能手机的前置摄像头,该前置摄像头对用户点击进入该S商品界面后的面部表情在用户浏览的过程中进行了采集,直至接收到用户关闭该S商品界面时,用户的面部数据采集停止。
这里预设的单位时间的设定可以为:以每个用户从商品价格浏览至商品详情80%处的时间,通过求每个用户的平均浏览时间设定。
步骤S2,移动终端对采集到的人脸图像数据进行识别处理,获取该用户在预设单位时间内连续时间点上的多个人脸特征值;
基于步骤S1的基础上,仍旧以智能手机为例,首先,智能手机的前置摄像头捕捉到5秒内该用户的眼部图像数据以及嘴部图像数据;其次,将用户的眼部图像数据进行识别,分析用户在5秒内瞳孔的放大收缩频率、眼皮上下角度的开合度以及眨眼频率,和/或,同时,对该用户嘴部图像数据进行识别,分析该用户在5秒内嘴唇的轮廓变化、嘴角肌肉的变化;最后获取用户在5秒内瞳孔的放大收缩频率、眼皮上下角度的开合度、眨眼频率、嘴唇轮廓对应的特征值以及嘴角上扬或下弯的变化角度。
进一步的通过整合上述特征值,组成每秒的人脸特征值集合。
步骤S3,移动终端依据多个人脸特征值获取与人脸图像数据匹配的行为结果;
基于步骤S2中获取的每秒的人脸特征值集合,通过与预先存储的各个图像区域的特征值区间比对,得到用户的行为结果。
例如,假设获取到的人脸特征集合中,该用户从第一秒至第五秒,嘴角由水平上扬至A°,眼睛的瞳孔大小由h变l(h<l),眼睛的开合角度保持为X°,眨眼频率为MHz,假设,用户“满意”的特征值区间为:嘴角上扬的角度区间为[0°,B°],眼睛的瞳孔大小区间为[g,l],眼睛的开合角度区间为[Z°,V°],眨眼频率区间为[U,P]。
其中,假设,该用户的嘴角由水平上扬至A°∈[0°,B°];眼睛的瞳孔大小由h变l的最后大小l∈[g,l];眼睛的开合角度X°∈[Z°,V°];眨眼频率MHz∈[U,P],则表明该用户对当前显示的S商品“满意”。
步骤S4,移动终端将生成的行为结果以报告形式上报至网络侧设备;
基于步骤S3,智能手机将“满意”这一行为结果以报告的形式上报至网络侧设备。
步骤S5,网络侧设备接收移动终端发送的携带有用户行为结果的报告;
步骤S6,网络侧设备依据该报告生成评价信息,并填入评价系统中对应的评论位置处。
结合步骤S4至步骤S6,将该用户的“满意”生成对应该S商品的评价信息,并填入评价系统中对应的评论位置处。
基于步骤S1至S6,通过移动终端设备采集用户在购物过程中的面部图像数据,进一步的识别,最后依据识别的特征值匹配行为结果,直至上报至网络侧设备,以便网络侧设备依据该行为结果生成评价信息,避免常规评价系统需要人工填写、生成评价信息、人工点击提交、最后在评论位置处显示评价信息的繁杂流程,在真实反馈用户的真实想法的基础上,提升了评论系统的工作效率,令每一条通过数据的处理方法生成的评价信息具备参考和说明意义。
此外,本发明实施例提供的数据的处理方法还可适用于采集当前用户的肢体图像数据,以及结合了人脸图像数据的肢体图像数据的综合分析,本发明提供的实施例以通过准确的获取用户人脸图像数据中的生物特征,确保生成的评估报告的真实性,并且通过采集、获取、分析、整理用户人脸图像数据中的生物特征,规避了常规网络媒体数据评价系统中,需要用户在浏览网络媒体数据的过程的中需要在显示的评价页面中填写评价的过程,进而提升了评价系统的工作效率。
基于上述图1至图4提供的数据的处理方法,本发明实施例具体可以适用于以下场景:
场景一:网络在线购物:
假设用户在浏览购物网站的过程中若需要对购买的商品进行评价或提供建议,移动终端设备可以通过启用嵌入(或,连接)的图像采集设备捕捉用户表情变化,通过对用户表情的捕捉,采集其中一帧的用户表情,对该用户表情提取多个人脸特征值,依据该多个人脸特征值获取对应的行为结果。
具体的,以用户使用智能手机网络在线购物为例,当对购买的商品进行评价时,触发智能手机的前置摄像头,前置摄像头对用户当前面部表情进行捕捉(摄像或拍照),从捕捉的用户表情中提取多个人脸特征值,假设用户对该商品很满意,捕捉到的人脸特征值中将可以有嘴角上扬至X角度,眼睛开合角度至Y角度等这类人脸特征值,根据上述人脸特征值提取对应的行为结果,即,标识该用户对该商品的评价为:满意。最后,在获取用户点击“确定提交”时,将该评价上传至购物网站或购物网站客户端的评论平台。具体可以如图3所示。
场景二:在线浏览视频:
这里移动终端以智能手机为例进行说明,用户使用智能手机观看某剧情片感动落泪,在用户对该剧情片进行评价时,通过智能手机的前置摄像头捕捉到的流泪表情,提取眼角角度、是否落泪以及嘴部肌肉的变化角度的人脸特征值进行判定,通过对上述人脸特征值的分析,判断用户的评价是否为“感人”这一行为结果,若上述人脸特征值满足“感人”这一行为结果对应的人脸特征值,则生成“感人”评价,在获取用户点击“确定提交”时,将该评价上传至视频网站或视频网站客户端的评论平台。
本发明实施例提供的数据的处理方法以适用于场景一和场景二为例进行说明,以实现本发明实施例提供的数据的处理方法为准,具体不做限定。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述数据的处理方法的装置实施例,图5是根据本发明实施例二的数据的处理装置的结构示意图。如图5所示,该装置包括:采集模块50、识别模块52、分析模块54。
采集模块50,用于采集使用应用平台的用户的人脸图像数据;
对应实施例一中步骤S20采集人脸图像数据,本发明实施例对于采集人脸图像数据可以适用于任一图像采集设备,例如,移动终端设备中嵌入的摄像头、具备图像上传功能的摄像机或照相机,其中,移动终端设备可以至少包括:智能手机、笔记本电脑、平板电脑、掌上电脑、第三代媒体播放器(MPEG Audio Layer 3,简称mp3)、第四代媒体播放器(MPEG Audio Layer 4,简称mp4)、便携式的智能穿戴设备中的一种或至少两种的组合。
具体的,基于上述设备,通过上述图像采集设备采集当前用户的面部图像数据,即人脸图像数据,其中,人脸图像数据可以包括:面部表情的采集、眨眼次数、眼球的关注焦点中的一种或至少两种的组合。这里图像采集设备除采集的眼球的关注焦点外,还可以通过捕捉用户瞳孔的放大收缩规律为后续生成行为结果做数据支持。
识别模块52,与采集模块50建立电连接,用于对人脸图像数据进行识别处理,获取人脸的多个人脸特征值,其中,人脸特征值用于表征人脸的任意一个生物特征的特征值;
这里对应实施例一中的步骤S22在对采集到的人脸图像进行解析,例如,采用分步或整体的对人脸图像数据进行识别评估。
分析模块54,与识别模块52建立电连接,用于根据多个人脸特征值获取与人脸图像数据匹配的行为结果,其中,行为结果用于表征用户使用应用平台时的评价结果。
此处需要说明的是,上述采集模块50、识别模块52、分析模块54对应于实施例一中的步骤S20至步骤S24,三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例一提供的移动终端10中。
优选的,如图6所示,本申请上述实施例中,识别模块52包括:划分模块521、提取模块522和确定模块523,其中,
划分模块521,用于按照预存的人脸特征模板将人脸图像数据进行划分,得到人脸的多个局部图像数据;
提取模块522,用于提取任意一个或多个局部图像数据中包含的生物特征;
确定模块523,用于根据每个局部图像数据的图像属性,确定任意一个或多个局部图像数据中的生物特征的特征值。
此处需要说明的是,划分模块521、提取模块522和确定模块523对应于实施例一中的步骤S221至步骤S223,通过对人脸图像数据进行识别处理,获取人脸的多个人脸特征值。
优选的,如图7所示,本申请上述实施例中,确定模块523包括:数据剥离子模块5231、第一数据记录模块5232、第二数据记录模块5233和数据整理模块5234,其中,
数据剥离子模块5231,用于对在第一预设时间段内采集到的人脸的每个局部图像数据进行数据剥离;
第一数据记录模块5232,用于在第一预设时间段内的连续时间点中,对数据剥离模块剥离后的人脸的任意一个或多个局部图像数据中同一生物特征的变化值进行连续记录;
第二数据记录模块5233,用于对同一生物特征中连续时间点的变化进行连续记录;
数据整理模块5234,用于对各个生物特征对应的连续记录进行整合,获取任意一个或多个局部图像数据中的生物特征的特征值。
优选的,局部图像数据包括人脸中的如下任意一个部位的图像数据:额头部位的区域图像、眼部的区域图像和嘴部的区域图像。
优选的,如图8所示,提取模块522包括如下任意一个或多个功能模块:第一子提取模块5221、第二子提取模块5222和第三子提取模块5223,其中,
第一子提取模块5221,用于从额头部位的区域图像中提取至少如下任意一个或多个生物特征:额头部位的纹理数据、额头部位的汗水数据和额头的肤色;
对应实施例一中步骤S222中的步骤S1,第一子提取模块5221在实现从额头部位的区域图像中提取上述任意一个或多个生物特征的方式上可以为如下几种:
这里本发明实施例提供的额头部位的纹理数据可以至少包括:额头部位的皱纹条数、以及皱纹的长度和/或深度。
在提取额头部位的皱纹条数时,可以通过扫描额头部位的区域图像,依据预设的额头部位的平整度,得到当前额头部位的区域图像中额头是否平整,即,若不平整则,则说明存在褶皱;若存在褶皱,则对褶皱进行计数;
在提取额头部位的皱纹长度时,首先对额头部位的区域图像进行测算,其次以测算得到的额头部位的宽度为基准,最后,对每条皱纹进行等同比例测量,进一步得到每条皱纹的长度;
在提取额头部位的皱纹深度时,首先对额头部位的区域图像进行扫描,其次以扫描后每条皱纹的阴影图像为基准,最后依据每条皱纹的阴影图像对应的阴影面积,以及预先确定的测量单位,得到每条皱纹的深度;
在提取额头部位的汗水数据时,可以通过红外摄像机对额头部位的区域图像进行热成像扫描,依据光谱对应的数值确定额头部位是否发热,进一步根据额头部位的区域图像的光学反射系数判断是否流汗;
在提取额头的肤色时,可以依据现有标准对额头肤色进行色度判断,进一步的得到额头的肤色值。
第二子提取模块5222,用于从眼部的图像数据中提取至少如下任意一个或多个生物特征:眼部的眼睛轮廓参数、眼部的眼球肤色数据、眼部的黑眼圈数据、眼部的眼泪数据和眼部的血丝数据;
对应实施例一中步骤S222中的步骤S2,第二子提取模块5222在实现从眼部的图像数据中提取至少上述任意一个或多个生物特征的方式上可以为如下几种:
在提取眼部的眼睛轮廓参数时,首先对当前用户面部进行扫描,得到用户面部尺寸,其次对眼部的眼睛轮廓进行扫描,测算眼间距,第三依据眼睛轮廓扫描图像尺寸按比例计算眼睛的轮廓大小,最后依据眼睛轮廓的图像尺寸与面部尺寸的比例校正计算后的眼睛的轮廓大小;
在提取眼部的眼球肤色数据时,可以依据现有标准对眼球肤色进行色度判断,进一步的确定眼球的肤色值;
在提取眼部的黑眼圈数据时,首先对眼部的眼睛轮廓进行扫描,得到眼睛轮廓面积,其次,通过与面部肤色的色差判断眼睛轮廓的四周是否色差大于预设阈值,若该大于预设阈值,则判断存在黑眼圈,并测算色差覆盖的面积,得到黑眼圈的数据;
在提取眼部的眼泪数据时,可以根据眼部的图像数据的光学反射系数判断是否流泪;
在提取眼部的血丝数据时,首先对眼球进行扫描得到眼白所占面积,进一步的对眼白部分红血丝的占有比进行测算,得到红血丝的占有比;或,通过对眼球的扫描图像中对眼白区域的红血丝进行计数,最后得到红血丝条数。
第三子提取模块5223,用于从嘴部的区域图像中提取至少如下任意一个或多个生物特征:嘴部的形状参数和嘴部的肤色。
对应实施例一中步骤S222中的步骤S3,第三子提取模块5223在实现从嘴部的区域图像中提取至少上述任意一个或多个生物特征的方式上可以为如下几种:
在提取嘴部的形状参数时,对单位时间内,各个时间点嘴部图像进行分析,通过相邻时间点的嘴部图像对比判断当前嘴部轮廓形状是否发生变化,若发生变化,则根据嘴部图像的成像形状判断嘴部轮廓所属类别,其中,嘴部轮廓所属类别可以包括:o形,上弯月形,下弯月形,一字型。
在提取嘴部的肤色时,可以依据现有标准对嘴部肤色进行色度判断,进一步的确定嘴部的肤色值。
优选的,如图9所示,分析模块54包括:获取模块541、第一读取模块542和第二读取模块543,其中,
获取模块541,用于按照预设规则确定用于获取行为结果的一组生物特征集合,生物特征集合为人脸图像数据中任意一个或多个生物特征的组合;
第一读取模块542,用于读取生物特征集合中所包含的所有生物特征的特征值;
第二读取模块543,用于在生物特征集合中每个生物特征的特征值满足对应的预设条件的情况下,读取预设规则中设定的该组生物特征集合对应的行为结果,其中,生物特征集合对应的行为结果为当前与人脸图像数据匹配的行为结果。
其中,行为结果可以至少包括:满意,中,不满意。
一种可选的实施例中,上述方案中用于确定当前人脸表达的是“满意”的表情时的数据可以为:是收集的数据中嘴部数据是上弯月形状的居多,眼睛的上下眼皮距离比平时要短一些。眼角的鱼尾纹比平时要多。对应的预设条件可以为:嘴部轮廓对应成像轮廓是否为上弯月形状,眼睛的开合角度是否小于预设的开合角度阈值±偏角的值,以及眼角皱纹条数是否大于预设的眼角皱纹条数±预设偏差的值。
一种可选的实施例中,上述方案中用于确定当前人脸表达的是“中”的表情时的数据可以为:嘴部形状一字型居多,眼睛的上下眼皮距离比平时变化不大。眼角的鱼尾纹数量会不变。同样的,对应的预设条件可以为:嘴部轮廓对应成像轮廓是否为一字型,眼睛的开合角度是否等于预设的开合角度阈值±偏角的值,以及眼角皱纹条数是否等于预设的眼角皱纹条数±预设偏差的值。
一种可选的实施例中,上述方案中用于确定当前人脸表达的是“不满意”的表情时的数据可以为:嘴部形状下弯月形居多,眼睛的上下眼皮距离比平时长一些。同样的,对应的预设条件可以为:嘴部轮廓对应成像轮廓是否为下弯月形,眼睛的开合角度是否大于预设的开合角度阈值±偏角的值,以及眼角皱纹条数是否小于预设的眼角皱纹条数±预设偏差的值。
优选的,如图10所示,在执行获取模块541之前,该装置还包括:存储模块539和处理模块540,其中,
存储模块539,用于预存多个预设规则;
处理模块540,用于按照每个预设规则的优先级选择对应的预设规则执行获取模块、第一读取模块和第二读取模块,其中,在任意一个预设规则下,如果生物特征集合无法满足对应的预设条件,则按照每个预设规则的优先级选择其它预设规则来执行获取模块、第一读取模块和第二读取模块,直至获取与人脸图像数据匹配的行为结果。
优选的,如图11所示,在执行分析模块54之后,装置还包括:
上报模块55,用于保存并上报人脸图像数据对应的行为结果。