CN111259862A - 用户信息分析方法及系统 - Google Patents

用户信息分析方法及系统 Download PDF

Info

Publication number
CN111259862A
CN111259862A CN202010103440.5A CN202010103440A CN111259862A CN 111259862 A CN111259862 A CN 111259862A CN 202010103440 A CN202010103440 A CN 202010103440A CN 111259862 A CN111259862 A CN 111259862A
Authority
CN
China
Prior art keywords
processed
target user
images
facial feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010103440.5A
Other languages
English (en)
Inventor
卢宁
徐国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010103440.5A priority Critical patent/CN111259862A/zh
Publication of CN111259862A publication Critical patent/CN111259862A/zh
Priority to PCT/CN2021/071218 priority patent/WO2021164466A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本发明实施例提供一种用户信息分析方法，包括获取目标视频，并从所述目标视频中提取多个待处理图像；从所述多个待处理图像提取多个面部特征向量；基于所述多个面部特征向量执行人脸识别，以确定目标用户数据；根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单。本发明实施例提供用户信息分析系统。本发明实施例不依赖面试官的面试经验对目标用户进行心理评测，能够基于人脸识别技术来确定目标用户是否与岗位匹配，大大提高了心理评测的准确率，以及提高了面试效率。

Description

用户信息分析方法及系统
技术领域
本发明实施例涉及大数据领域，尤其涉及一种用户信息分析方法及系统。
背景技术
大多数企业在招聘过程，通常需要对求职者进行心理评测，以确定求职者的心理素质是否适合企业及应聘的职位。并且，当一些企业大面积进行高素质人才的招聘时，常常会因为求职者与企业在地理位置上的不方便导致严重降低招聘效率，因此，视频面试也随之出现了。
目前大多数企业对求职者进行心理评测时，通常通过面试官的经验、过往的面试数据及相应的面试评分规则来对求职者进行心理评测。然而，这种对求职者进行心理评测的方法存在以下缺陷：1、当企业需要招聘大量的员工时，面试工作量较大，人工成本较高；2、仅根据面试官的经验及相应的面试评分规则对求职者进行心理评测，评测准确度较低。
发明内容
有鉴于此，本发明实施例提供了一种用户信息分析方法、系统、计算机设备及计算机可读存储介质，用于解决仅依靠面试官的经验及相应的面试评分规则对求职者进行心理评测，评测准确度较低的问题。
本发明实施例是通过下述技术方案来解决上述技术问题：
一种用户信息分析方法，包括：
获取目标视频，并从所述目标视频中提取多个待处理图像；
从所述多个待处理图像提取多个面部特征向量；
基于所述多个面部特征向量执行人脸识别，以确定目标用户数据；
根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单。
进一步地，所述从所述目标视频中提取目标用户的多个待处理图像包括：
基于预设的分帧参数对所述目标视频分帧，以得到多个视频帧；
从所述多个视频帧中提取多个关键视频帧；
对所述多个关键视频帧基于时序标注，以得到多帧标注后的待处理图像；
对多帧标注后的所述待处理图像基于时序排列，以得到特征队列。
进一步地，所述从所述多个视频帧中提取多个关键视频帧包括：
从所述多个视频帧中获取多个视频帧对应的多个像素点的亮度值，并基于所述亮度值获取视频帧之间的相关性信息；
根据所述视频帧的相关性信息，从多个视频帧中获取多个关键视频帧。
进一步地，所述从所述多个待处理图像提取多个面部特征向量之前包括：
从所述特征队列中获取相邻的两帧标注后的待处理图像；
对相邻的两帧标注后的待处理图像执行差分运算，以得到待处理差分图像；
将所述待处理差分图像与预设的二值化阈值比对，以获取多个待处理图像中对应的目标人脸区域。
进一步地，所述从所述多个待处理图像提取多个面部特征向量还包括：
去除所述待处理图像的图像噪声，以得到去噪后的待处理图像；
对所述去噪后的待处理图像中的特征点定位，以获取多个面部特征向量。
进一步地，所述基于所述多个面部特征向量执行人脸识别，以确定目标用户数据之前包括：
从所述特征队列中获取相邻的两帧待处理图像对应的多个面部特征向量；
将所述多个面部特征向量进行匹配，如果每个面部特征向量均匹配一致，则保留两帧待处理图像中的其中一个待处理图像的面部特征向量。
进一步地，所述根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单还包括：
根据所述目标用户数据，计算所述目标用户数据与预设的性格分析数据库中的标准性格数据的匹配度；
将匹配度最高的标准性格数据确定为目标用户当前性格数据，并基于所述目标用户当前性格数据生成目标用户的用户分析表单。
为了实现上述目的，本发明实施例还提供一种用户信息分析系统，包括：
采集模块，用于获取目标视频，并从所述目标视频中提取多个待处理图像；
提取模块，用于从所述多个待处理图像提取多个面部特征向量；
识别模块，用于基于所述多个面部特征向量执行人脸识别，以确定目标用户数据；
生成模块，用于根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单。
为了实现上述目的，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述用户信息分析方法的步骤。
为了实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的用户信息分析方法的步骤。
本发明实施例提供的用户信息分析方法、系统、计算机设备及计算机可读存储介质，通过获取目标视频中的目标人脸区域中的多个面部特征向量，并对多个面部特征向量进行人脸识别，以最终确定目标用户当前性格数据，生成目标用户的用户分析表单，本发明实施例不依赖面试官的面试经验对目标用户进行心理评测，能够基于人脸识别技术来确定目标用户是否与岗位匹配，大大提高了心理评测的准确率，以及提高了面试效率。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明实施例一之用户信息分析方法的步骤流程图；
图2为本发明实施例一之从所述目标视频中提取目标用户的多个待处理图像的流程示意图；
图3为本发明实施例一之从所述多个视频帧中提取多个关键视频帧的流程示意图；
图4为本发明实施例一之对面部特征向量处理的流程示意图；
图5为本发明实施例一之生成用户分析表单的流程示意图；
图6为本发明实施例二之用户信息分析系统的程序模块示意图；
图7为本发明实施例三之计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
请参阅图1，示出了本发明实施例之用户信息分析方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：
如图1所示，该用户信息分析方法包括步骤S100～S400，其中：
步骤S100，获取目标视频，并从所述目标视频中提取多个待处理图像。
具体的，目标视频由移动终端的摄像采集单元拍摄得到。在本发明实施例中，目标用户与面试官需要通过服务器与移动终端之间建立视频通信关系，以使目标用户与面试官的视频面试有效的进行，进而通过计算机设备对求职者进行心理评测。其中，移动终端包括但不限于移动电话、平板个人计算机、膝上型计算机。在其他实施例中，目标用户与面试官进行直接面试时，通过企业预先设置的摄像采集设备对面试过程进行拍摄，并将视频上传至预先设置的视频数据库中。在面试过程中，摄像采集单元或摄像采集设备对目标用户全程录像，全程实时拍摄目标用户的人脸。
举例而言，当目标用户与面试官之间通过服务器与移动终端之间建立视频通信关系后，服务器向计算机设备发送面试分析请求，面试分析请求携带有目标视频，其中，目标视频为目标用户的面试视频；计算机设备接收面试分析请求并获取目标视频，再通过对目标视频进行处理以响应面试分析请求。
在示例性的实施例中，计算机设备可以通过面部特征识别模型对面部特征向量执行人脸识别来对目标视频进行处理以响应面试分析请求。其中，面部特征识别模型包括面部特征提取层、帧间关系处理层和面部性格特征识别层。
示例性的，计算机设备可以同时接收服务器发送的多个面试分析请求，每个面试分析请求对应不同的目标用户。
在示例性的实施例中，请参阅图2，步骤S100还可以进一步包括：
步骤S101，基于预设的分帧参数对所述目标视频分帧，以得到多个视频帧。
其中，分帧参数的设置是为了控制对目标视频分帧的时间间隔，以得到多个独立的视频帧。
步骤S102，从所述多个视频帧中提取多个关键视频帧。
其中，每个视频帧均包括目标人脸区域。
步骤S103，对所述多个关键视频帧基于时序标注，以得到多帧标注后的待处理图像。
具体的，按照目标视频时间点的先后播放顺序对多个关键视频帧进行标注，以得到多帧标注后的待处理图像。示例性的，从目标视频中提取出第一关键视频帧、第二关键视频帧、第三关键视频帧、第四关键视频帧、第五关键视频帧以及第六关键视频帧，按照目标视频时间点的先后播放顺序，可以给第一关键视频帧标注“#01”的标识，给第二关键视频帧标注“#02”的标识、第三关键视频帧标注“#03”的标识、第四关键视频帧标注“#04”的标识、第五关键视频帧标注“#05”的标识以及第六关键视频帧标注“#06”的标识。
步骤S104，对多帧标注后的所述待处理图像基于时序排列，以得到特征队列。
示例性的，根据多帧标注后的所述待处理图像的先后播放顺序以及标识进行排序，形成特征队列。
在示例性的实施例中，可以通过面部特征识别模型的帧间关系处理层计算帧间相关性，以筛选关键视频帧。请参阅图3，从所述多个视频帧中提取多个关键视频帧还可以进一步包括：
步骤S1021，从所述多个视频帧中获取多个视频帧对应的多个像素点的亮度值，并基于所述亮度值获取视频帧之间的相关性信息。
具体的，每个视频帧包含每个像素的RGB值，即亮度值，又称灰度值。本发明实施例可以通过多个视频帧的亮度值分析帧间的相关性信息。通过Y＝0.299R+0.578G+0.114B将每个视频帧中的图像转化为灰度图像。其中，Y为图像的亮度，R为红颜色通道，G为绿颜色通道，B为蓝颜色通道。
通过r(x)＝x1 2*x2 2*x3 2*...*xn 2计算第x帧的自相关函数，其中，r(x)为第x帧的自相关函数，x1为第x帧的第一个像素点的亮度值，x2为第x帧的第二个像素点的亮度值，x3为第x帧的第三个像素点的亮度值，xn为第x帧的第n个像素点的亮度值。通过r(z)＝z1 2*z2 2*z3 2*...*zn 2计算第z帧的自相关函数，其中，r(z)为第z帧的自相关函数，Z1为第z帧的第一个像素点的亮度值，Z2为第z帧的第二个像素点的亮度值，Z3为第z帧的第三个像素点的亮度值，Zn为第z帧的第n个像素点的亮度值。其中，第x帧与第z帧为两个不同的视频帧。通过R＝r(x)*r(z)计算第x帧与第z帧之间的相关性，其中R为第x帧与第z帧的互相关函数。
步骤S1022，根据所述视频帧的相关性信息，从多个视频帧中获取多个关键视频帧。
示例性的，取多个视频帧中的第一帧视频帧为对比帧，取多个视频帧中除了第一个视频帧的一个其他视频帧，计算对比帧的自相关函数、一个其他视频帧与对比帧之间的互相关函数，再计算互相关函数与对比帧的自相关函数的第一差值的绝对值、绝对值与对比帧的自相关函数的比值，最后计算比值与预设的阈值之间的第二差值。如果第二差值大于0，则判定这个其他视频帧为关键视频帧，并将该关键视频帧从多个视频帧中提取出来。
步骤S200，从所述多个待处理图像提取多个面部特征向量。
在示例性的实施例中，还需要去除所述待处理图像的图像噪声，以得到去噪后的待处理图像；对所述去噪后的待处理图像中的特征点定位，以获取多个面部特征向量。
示例性的，本发明实施例可以利用高斯滤波滤除所述待处理图像的图像噪声。利用高斯滤波滤除图像噪声较为常见，在此不作赘述。
具体的，多个面部特征特征向量组成由128个或512个特征点组成的特征矩阵。在示例性的实施例中，可以通过面部特征识别模型的面部特征提取层提取多个面部特征向量。对于面部特征向量的提取还可以包括但不限于通过基于深度神经网络模型的面部特征提取算法和基于几何特征的面部特征向量提取算法。
在示例性的实施例中，请参阅图4，在提取多个面部特征向量之前，还需要获取多个待处理图像中对应的目标人脸区域，具体如下：
步骤S201，从所述特征队列中获取相邻的两帧标注后的待处理图像。
步骤S202，对相邻的两帧标注后的待处理图像执行差分运算，以得到待处理差分图像。
步骤S203，将所述待处理差分图像与预设的二值化阈值比对，以获取多个待处理图像中对应的目标人脸区域。
具体的，人的面部表情属于动态表情，可以认为脸部为所述目标视频中的运动目标区域；因此，可以通过帧间差分法从每帧标注后的待处理图像中提取对应的目标人脸区域。即从特征队列中提取相邻两帧标注后的待处理图像进行减运算处理，对两者差分后的结果进行二值化阈值分割，进而提取出运动目标区域。
示例性的，Fx(a，b)表示第x帧的图像特征，Fz(a，b)表示第z帧的图像特征，(a，b)表示对应的视频帧的像素点的坐标。通过D(a，b)＝|Fx(a，b)-Fz(a，b)|执行差分运算，其中，D(a，b)表示待处理差分图像的图像特征。
具体的，获取预设的二值化阈值T，将差分图像特征D(a，b)与二值化阈值T进行比对，以获取运动目标区域，即获取待处理图像中对应的目标人脸区域。
步骤S300，基于所述多个面部特征向量执行人脸识别，以确定目标用户数据。
具体的，目标用户数据包括但不限于高兴、激动、生气、紧张、蔑视、悲伤、惊讶等性格情绪。
在示例性的实施例中，计算机设备从所述特征队列中获取相邻的两帧待处理图像对应的多个面部特征向量；将所述多个面部特征向量进行匹配，如果每个面部特征向量均匹配一致，则保留两帧待处理图像中的其中一个待处理图像的面部特征向量。
示例性的，比较特征队列中的两帧待处理图像对应的多个面部特征向量是否相同，如果相同，则保留其中一个面部特征向量，并从特征队列中删除另一个与前一个面部特征向量相同的面部特征向量，直到特征队列中的面部特征向量均不同，即可得到有效的面部特征向量。
在示例性的实施例中，计算机设备可以通过面部特征识别模型的面部性格特征识别层对多个面部特征向量执行人脸识别，以确定目标用户数据。
所述方法还包括对面部特征识别模型的训练过程，具体如下：收集大量标注有面部性格情绪的面试视频数据，并将上述面试视频数据作为模型样本数据；基于深度神经网络模型设计面部性格特征识别模型，包括面部特征提取层、帧间关系处理层和面部性格特征识别层，且该面部特征识别模型的待训练模型参数为面部性格特征识别层的模型参数；通过大量的模型样本数据，即标注有面部性格情绪的面试视频数据对该面部特征识别模型中的面部性格特征识别层进行迭代训练，直到模型收敛，以得到训练优化有的面部特征识别模型。
步骤S400，根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单。
在示例性的实施例中，步骤S400还可以进一步包括：
步骤S401，根据所述目标用户数据，计算所述目标用户数据与预设的性格分析数据库中的标准性格数据的匹配度。
步骤S402，将匹配度最高的标准性格数据确定为目标用户当前性格数据，并基于所述目标用户当前性格数据生成目标用户的用户分析表单。
具体的，预设的性格分析数据库中包括面试题目、面试题目对应的预期情绪。计算所述目标用户数据与标准性格数据的匹配度，并确定目标用户当前性格数据，且当目标用户当前性格数据与面试职位要求的置信度较高时，则判断所述目标用户适合该面试职位；当目标用户当前性格数据与面试职位要求的置信度较低时，则判断所述目标用户不适合该面试职位，并基于目标用户当前性格数据生成目标用户的用户分析表单，并基于当前性格数据在用户分析表单中生成面试分析结论。
实施例二
请继续参阅图6，示出了本发明用户信息分析系统的程序模块示意图。在本实施例中，用户信息分析系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述用户信息分析方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述用户信息分析系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
采集模块200，用于获取目标视频，并从所述目标视频中提取多个待处理图像。
进一步地，采集模块200还用于：基于预设的分帧参数对所述目标视频分帧，以得到多个视频帧；从所述多个视频帧中提取多个关键视频帧；对所述多个关键视频帧基于时序标注，以得到多帧标注后的待处理图像；对多帧标注后的所述待处理图像基于时序排列，以得到特征队列。
提取模块201，用于从所述多个待处理图像提取多个面部特征向量。
进一步地，提取模块201还用于：从所述多个视频帧中获取多个视频帧对应的多个像素点的亮度值，并基于所述亮度值获取视频帧之间的相关性信息；根据所述视频帧的相关性信息，从多个视频帧中获取多个关键视频帧。
示例性的，提取模块201还用于：去除所述待处理图像的图像噪声，以得到去噪后的待处理图像；对所述去噪后的待处理图像中的特征点定位，以获取多个面部特征向量。
识别模块202，用于基于所述多个面部特征向量执行人脸识别，以确定目标用户数据。
进一步地，识别模块202还用于：从所述特征队列中获取相邻的两帧标注后的待处理图像；对相邻的两帧标注后的待处理图像执行差分运算处理，以得到待处理差分图像；将所述待处理差分图像与预设的二值化阈值比对，以获取多个待处理图像中对应的目标人脸区域。
在示例性的实施例中，计算机设备从所述特征队列中获取相邻的两帧待处理图像对应的多个面部特征向量；将所述多个面部特征向量进行匹配，如果每个面部特征向量均匹配一致，则保留两帧待处理图像中的其中一个待处理图像的面部特征向量。
生成模块203，用于根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单。
进一步地，生成模块203还用于根据所述目标用户数据，计算所述目标用户数据与预设的性格分析数据库中的标准性格数据的匹配度；将匹配度最高的标准性格数据确定为目标用户当前性格数据，并基于所述目标用户当前性格数据生成目标用户的用户分析表单。
实施例三
参阅图7，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图7所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及用户信息分析系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的用户信息分析系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行用户信息分析系统20，以实现实施例一的用户信息分析方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图7仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述用户信息分析系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图6示出了所述实现用户信息分析系统20实施例二的程序模块示意图，该实施例中，所述基于用户信息分析系统20可以被划分为采集模块200、提取模块201、识别模块202以及生成模块203。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述用户信息分析系统20在所述计算机设备2中的执行过程。所述程序模块200-203的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储用户信息分析系统20，被处理器执行时实现实施例一的用户信息分析方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种用户信息分析方法，其特征在于，包括：
获取目标视频，并从所述目标视频中提取多个待处理图像；
从所述多个待处理图像提取多个面部特征向量；
基于所述多个面部特征向量执行人脸识别，以确定目标用户数据；
根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单。
2.根据权利要求1所述的用户信息分析方法，其特征在于，所述从所述目标视频中提取多个待处理图像包括：
基于预设的分帧参数对所述目标视频分帧，以得到多个视频帧；
从所述多个视频帧中提取多个关键视频帧；
对所述多个关键视频帧基于时序标注，以得到多帧标注后的待处理图像；
对多帧标注后的所述待处理图像基于时序排列，以得到特征队列。
3.根据权利要求2所述的用户信息分析方法，其特征在于，所述从所述多个视频帧中提取多个关键视频帧包括：
从所述多个视频帧中获取多个视频帧对应的多个像素点的亮度值，并基于所述亮度值获取视频帧之间的相关性信息；
根据所述视频帧的相关性信息，从多个视频帧中获取多个关键视频帧。
4.根据权利要求3所述的用户信息分析方法，其特征在于，所述从所述多个待处理图像提取多个面部特征向量之前包括：
从所述特征队列中获取相邻的两帧标注后的待处理图像；
对相邻的两帧标注后的待处理图像执行差分运算，以得到待处理差分图像；
将所述待处理差分图像与预设的二值化阈值比对，以获取多个待处理图像中对应的目标人脸区域。
5.根据权利要求4所述的用户信息分析方法，其特征在于，所述从所述多个待处理图像提取多个面部特征向量还包括：
去除所述待处理图像的图像噪声，以得到去噪后的待处理图像；
对所述去噪后的待处理图像中的特征点定位，以获取多个面部特征向量。
6.根据权利要求5所述的用户信息分析方法，其特征在于，所述基于所述多个面部特征向量执行人脸识别，以确定目标用户数据之前包括：
从所述特征队列中获取相邻的两帧待处理图像对应的多个面部特征向量；
将所述多个面部特征向量进行匹配，如果每个面部特征向量均匹配一致，则保留两帧待处理图像中的其中一个待处理图像的面部特征向量。
7.根据权利要求1所述的用户信息分析方法，其特征在于，所述根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单还包括：
根据所述目标用户数据，计算所述目标用户数据与预设的性格分析数据库中的标准性格数据的匹配度；
将匹配度最高的标准性格数据确定为目标用户当前性格数据，并基于所述目标用户当前性格数据生成目标用户的用户分析表单。
8.一种用户信息分析系统，其特征在于，包括：
采集模块，用于获取目标视频，并从所述目标视频中提取多个待处理图像；
提取模块，用于从所述多个待处理图像提取多个面部特征向量；
识别模块，用于基于所述多个面部特征向量执行人脸识别，以确定目标用户数据；
生成模块，用于根据所述目标用户数据得到目标用户当前性格数据，并生成目标用户的用户分析表单。
9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的用户信息分析方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至7中任一项所述的用户信息分析方法的步骤。
CN202010103440.5A 2020-02-20 2020-02-20 用户信息分析方法及系统 Pending CN111259862A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010103440.5A CN111259862A (zh) 2020-02-20 2020-02-20 用户信息分析方法及系统
PCT/CN2021/071218 WO2021164466A1 (zh) 2020-02-20 2021-01-12 用户信息分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103440.5A CN111259862A (zh) 2020-02-20 2020-02-20 用户信息分析方法及系统

Publications (1)

Publication Number Publication Date
CN111259862A true CN111259862A (zh) 2020-06-09

Family

ID=70949522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103440.5A Pending CN111259862A (zh) 2020-02-20 2020-02-20 用户信息分析方法及系统

Country Status (2)

Country Link
CN (1) CN111259862A (zh)
WO (1) WO2021164466A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164466A1 (zh) * 2020-02-20 2021-08-26 深圳壹账通智能科技有限公司 用户信息分析方法及系统
CN113553470A (zh) * 2021-06-29 2021-10-26 张仲元 一种动静态资料的匹配方法、计算机装置和可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762156B (zh) * 2021-09-08 2023-10-24 北京优酷科技有限公司 观影数据处理方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663383A (zh) * 2014-06-23 2017-05-10 因特维欧研发股份有限公司 分析受试者的方法和系统
CN109359934A (zh) * 2018-09-04 2019-02-19 平安普惠企业管理有限公司 基于性格分析的招聘方法、装置、计算机设备及存储介质
CN109840468A (zh) * 2018-12-14 2019-06-04 深圳壹账通智能科技有限公司 一种用户分析报告的生成方法及设备
CN109961052A (zh) * 2019-03-29 2019-07-02 上海大易云计算股份有限公司 一种基于表情分析技术的视频面试方法及系统
CN110135800A (zh) * 2019-04-23 2019-08-16 南京葡萄诚信息科技有限公司 一种人工智能视频面试方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325422A (zh) * 2018-08-28 2019-02-12 深圳壹账通智能科技有限公司 表情识别方法、装置、终端及计算机可读存储介质
CN109657542A (zh) * 2018-11-09 2019-04-19 深圳壹账通智能科技有限公司 面试人员的性格预测方法、装置、计算机设备及计算机存储介质
CN111259862A (zh) * 2020-02-20 2020-06-09 深圳壹账通智能科技有限公司 用户信息分析方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663383A (zh) * 2014-06-23 2017-05-10 因特维欧研发股份有限公司 分析受试者的方法和系统
US20170213190A1 (en) * 2014-06-23 2017-07-27 Intervyo R&D Ltd. Method and system for analysing subjects
CN109359934A (zh) * 2018-09-04 2019-02-19 平安普惠企业管理有限公司 基于性格分析的招聘方法、装置、计算机设备及存储介质
CN109840468A (zh) * 2018-12-14 2019-06-04 深圳壹账通智能科技有限公司 一种用户分析报告的生成方法及设备
CN109961052A (zh) * 2019-03-29 2019-07-02 上海大易云计算股份有限公司 一种基于表情分析技术的视频面试方法及系统
CN110135800A (zh) * 2019-04-23 2019-08-16 南京葡萄诚信息科技有限公司 一种人工智能视频面试方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164466A1 (zh) * 2020-02-20 2021-08-26 深圳壹账通智能科技有限公司 用户信息分析方法及系统
CN113553470A (zh) * 2021-06-29 2021-10-26 张仲元 一种动静态资料的匹配方法、计算机装置和可读存储介质

Also Published As

Publication number Publication date
WO2021164466A1 (zh) 2021-08-26

Similar Documents

Publication Publication Date Title
CN108733819B (zh) 一种人员档案建立方法和装置
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
WO2021164466A1 (zh) 用户信息分析方法及系统
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
CN108229591B (zh) 神经网络自适应训练方法和装置、设备、程序和存储介质
CN107679466B (zh) 信息输出方法和装置
CN111339979B (zh) 基于特征提取的图像识别方法及图像识别装置
CN110738203B (zh) 字段结构化输出方法、装置及计算机可读存储介质
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN104298983A (zh) 具有分布式用户终端的舌苔图像获取与分析系统
CN110675940A (zh) 病理图像标注方法、装置、计算机设备及存储介质
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN110033388B (zh) 社交关系的建立方法、装置及服务器
CN110363222B (zh) 用于模型训练的图片标注方法、装置、计算机设备及存储介质
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN111723634A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN115240203A (zh) 业务数据处理方法、装置、设备及存储介质
CN111274965A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN108764248B (zh) 图像特征点的提取方法和装置
CN109657083A (zh) 纺织品图片特征库的建立方法和装置
CN109033797B (zh) 一种权限设置方法及装置
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN111275128A (zh) 图像识别模型训练方法及系统和图像识别方法
US20230066331A1 (en) Method and system for automatically capturing and processing an image of a user
CN110705420A (zh) 电梯轿厢广告精准推送方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200609

WD01 Invention patent application deemed withdrawn after publication