CN111046739A - 一种操作熟练度识别方法、装置及存储介质 - Google Patents

一种操作熟练度识别方法、装置及存储介质 Download PDF

Info

Publication number
CN111046739A
CN111046739A CN201911115621.3A CN201911115621A CN111046739A CN 111046739 A CN111046739 A CN 111046739A CN 201911115621 A CN201911115621 A CN 201911115621A CN 111046739 A CN111046739 A CN 111046739A
Authority
CN
China
Prior art keywords
behavior
picture
user
determining
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911115621.3A
Other languages
English (en)
Inventor
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JD Digital Technology Holdings Co Ltd
Original Assignee
JD Digital Technology Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JD Digital Technology Holdings Co Ltd filed Critical JD Digital Technology Holdings Co Ltd
Priority to CN201911115621.3A priority Critical patent/CN111046739A/zh
Publication of CN111046739A publication Critical patent/CN111046739A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Game Theory and Decision Science (AREA)
  • Psychiatry (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本发明实施例公开了一种操作熟练度识别方法、装置及存储介质，其中，所述方法包括：采集用户的行为数据；基于所述行为数据，得到所述用户的行为轨迹对应的图片；提取所述行为轨迹对应的图片的特征；对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。

Description

一种操作熟练度识别方法、装置及存储介质
技术领域
本发明涉及互联网领域，尤其涉及一种操作熟练度识别方法、装置及存储介质。
背景技术
现如今，大多数企业都会涉及到人力、财务、考勤等方面的管理，由于应用软件的快捷性和方便性，很多企业采用应用软件来实现各种管理的电子化。通常，新的应用软件在交付给企业后，一般会对企业内员工、即用户进行适当的培训，让用户熟悉应用软件中的操作流程，方便用户在应用软件中完成他们的工作或任务。如果能提早发现用户对于哪些操作不熟练，对用户不熟练的操作进行针对性的培训，不仅能极大地保证培训的质量，也能找到对应用软件进行优化的方向。
但是在实现本发明过程中，发明人发现目前，对用户的操作熟练度的判断只能通过用户操作完成后是否出现错误，或者根据用户在应用软件上的操作时长，再或者用户提出操作问题。这些方式都无法实现对用户的操作熟练度的准确判断。
发明内容
有鉴于此，本发明实施例期望提供一种操作熟练度识别方法、装置及存储介质，能够准确的判断用户在应用软件上的操作熟练度。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种操作熟练度识别方法，所述方法包括：
采集用户的行为数据；
基于所述行为数据，得到所述用户的行为轨迹对应的图片；
提取所述行为轨迹对应的图片的特征；
对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；
根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。
在上述方案中，所述采集用户的行为数据，包括：
确定用户的待采集的至少一个特定行为；
对所述至少一个特定行为进行捕获，得到初始行为数据；
提取所述初始行为数据中的目标信息，得到至少一个特定行为中各特定行为对应的行为数据。
在上述方案中，所述提取所述行为轨迹对应的图片的特征，包括：
调整所述行为轨迹对应的图片的尺寸，得到设定尺寸的图片；
对所述设定尺寸的图片进行处理，转化为图片矩阵；
对所述图片矩阵进行处理，得到用户的行为轨迹对应的图片的特征。
在上述方案中，所述对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度，包括：
根据不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果；
通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果；
根据所述最优的分类结果确定用户的行为轨迹对应的图片所对应的操作熟练度。
在上述方案中，所述通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果，包括：
通过评价函数对所述不同的分类结果进行处理，得到不同的评价结果；
确定所述评价结果与设定值的差值，基于所述差值确定最优的分类结果。
在上述方案中，所述根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度，包括：
根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定预测模型；
基于所述预测模型，确定所述待预测的用户的操作熟练度。
在上述方案中，所述基于所述预测模型，确定所述待预测的用户的操作熟练度，包括：
获取所述待预测的用户的行为轨迹对应的图片所对应的向量；
根据所述预测模型对所述行为轨迹对应的图片所对应的向量进行处理，得到处理结果；
根据所述处理结果，确定所述待预测的用户的操作熟练度。
本发明实施例提供一种操作熟练度识别装置，所述装置包括：采集单元、获取单元、提取单元、第一确定单元以及第二确定单元；其中，
所述采集单元，用于采集用户的行为数据；
所述获取单元，用于基于所述行为数据，得到用户的行为轨迹对应的图片；
所述提取单元，用于提取所述行为轨迹对应的图片的特征；
所述第一确定单元，用于对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；
所述第二确定单元，用于根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。
本发明实施例提供一种存储介质，所述存储介质存储有可执行指令，当所述可执行指令被至少一个处理器执行时，实现上述任一项所述的方法。
本发明实施例还提供一种操作熟练度识别装置，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现上述任一项所述的方法。
本发明实施例提供的操作熟练度识别方法、装置及存储介质，通过采集用户的行为数据，得到行为轨迹对应的图片；如此，利用图片数据便于处理的优势，通过提取图片的特征，建立图片的特征与操作熟练度的对应关系，从而根据提取图片的特征、图片的特征与操作熟练度的对应关系来实现对用户在每个页面上的操作度的准确预测。这里，通过预测结果可以清楚地知道用户在各个页面上操作熟练度，进而可以根据在各个页面上操作熟练度来进行有针对性的培训，以此实现培训效率的提高。
附图说明
图1为本发明实施例提供的一种操作熟练度识别方法的流程示意图一；
图2为本发明实施例提供的一种操作熟练度识别方法中鼠标滑动行为所对应的鼠标滑动的坐标的示意图；
图3为本发明实施例提供的一种操作熟练度识别方法中行为轨迹对应的图片的示意图；
图4为本发明实施例提供一种操作熟练度识别方法中ResNet模型的残差学习模块的示意图；
图5为本发明实施例提供一种操作熟练度识别方法中由2个卷积层组成的残差学习模块的示意图；
图6为本发明实施例提供一种操作熟练度识别方法中不同层数的ResNet模型的组成示意图；
图7为本发明实施例提供一种操作熟练度识别方法中通过ResNet模型提取的用向量表示的图片的特征的示意图；
图8为本发明实施例提供一种操作熟练度识别方法中对多个多维向量进行分类的结果的示意图；
图9为本发明实施例提供一种操作熟练度识别方法中用户在每个页面上的操作熟练度的示意图；
图10为本发明实施例提供的一种操作熟练度识别方法的实现流程示意图二；
图11为本发明实施例提供的一种操作熟练度识别装置的结构示意图；
图12为本发明实施例提供的一种操作熟练度识别装置的具体硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
为了实现准确的判断用户在应用软件上的操作熟练度，本发明实施例提供一种操作熟练度识别方法，图1为本发明实施例提供的一种操作熟练度识别方法的流程示意图一，如图1所示，所述方法包括：
步骤101，采集用户的行为数据；
步骤102，基于所述行为数据，得到所述用户的行为轨迹对应的图片；
步骤103，提取所述行为轨迹对应的图片的特征；
步骤104，对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；
步骤105，根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。
需要说明的是，所述行为数据可以是用户在应用软件上进行操作时，采集得到的行为数据；所述应用软件可以是应用程序(Application，APP)或页面(WEB)系统等。
所述应用软件中可包含多个窗体，每个窗体可以认为是一个页面，如此所述应用软件可以认为是由一系列页面组成。实际应用中，所述应用软件的每个页面上分布有一系列的控件，所述控件可以是文本框、超链接、按钮等。用户对控件进行操作可以产生一系列的行为数据。
所述行为数据包括：滑动的数据、点击的数据、输入框数据；其中，所述滑动的数据是指用户通过手指或者鼠标滑动页面所产生的数据，所述滑动的数据包括滑动的坐标、滑动的时间。由于在滑动的过程中会产生多个坐标，如此，所述滑动的时间就是指滑动过程中产生的多个坐标中每个坐标对应的时间。所述点击数据是指在页面上点击超链接、按钮等所产生的数据；所述超链接可以是图片、文字等；所述点击数据包括点击的坐标、点击的时间；所述点击的时间是指用户每次通过手指或者鼠标进行点击所对应的时间。所述输入框数据是指用户在输入框中进行输入所产生的数据；所述输入框数据包括：输入框的坐标、用户在输入框中进行输入的时间。如此，所述行为数据中包含两类信息：坐标信息和时间信息。
这里，上述步骤101中的所述采集用户的行为数据，包括：
步骤1011，确定用户的待采集的至少一个特定行为；
步骤1012，对所述至少一个特定行为进行捕获，得到初始行为数据；
步骤1013，提取所述初始行为数据中的目标信息，得到所述至少一个特定行为中各特定行为对应的行为数据。
需要说明的是，所述步骤1011中的特定行为是指需要关注的行为；一般而言，用户在应用软件上进行操作会对应很多的行为，在本发明实施例中，只对需要关注的行为对应的行为数据进行采集。如此，所述特定行为具体是指用户滑动、点击或者在输入框中输入数据的行为。在用户的特定行为发生时会产生一些数据，称为行为数据。
所述步骤1012中的对所述至少一个特定行为进行捕获，得到初始行为数据可以是通过应用软件中每个页面中添加JavaScript(JS)脚本来对用户的特定行为进行捕获，得到初始行为数据。
这里，由于通过JS脚本采集的行为数据是带有超文本标记语言(HypertextMarked Language，HTML)标签的数据，即步骤1012中的初始行为数据是带有HTML标签的数据。为了便于后续对数据的分析，需要从所述带有HTML标签的初始行为数据中提取出坐标信息及时间信息等。
所述目标信息可以是坐标信息或时间信息等。从初始行为数据中得到目标信息后，由于初始行为数据是由不同的函数实现的采集，且初始行为数据是带有HTML标签的数据，如此，可以根据函数的类型和初始行为数据中的HTML标签来区分初始行为数据。
基于此，在区分出初始行为数据后，即可在对初始行为数据进行目标信息提取后，进一步将对用户的不同特定行为进行分类，并按照时间顺序排序以生成具有时序的页面操作数据；所述具有时序的页面操作数据即为用户的行为数据。
进一步地，步骤102中所述用户的行为轨迹对应的图片是指根据用户在应用软件中页面上进行操作所对应的行为数据而生成的图片。由于用户在应用软件的各个页面上进行操作会存在对应的行为轨迹，例如，用户在页面上进行鼠标的滑动操作得到鼠标滑动的行为轨迹。那么，这里的行为轨迹可以包括：滑动的行为轨迹、点击的行为轨迹、输入框输入的行为轨迹。
需要说明的是，上述步骤102中所述基于所述行为数据，得到所述用户的行为轨迹对应的图片可以是根据所述行为数据中的坐标、时间的对应关系来确定出用户行为轨迹对应的图片。
还需要说明的是，相较于数据的存储，图片的存储占用的存储空间更大；而上述步骤101中针对的是用户在每个页面上的行为数据的采集，而一个应用软件中包含多个页面，如此，每个用户都会对应多个行为轨迹，如果对每个行为轨迹都以图片文件(如GIF、PNG)的形式进行存储则会耗费大量的存储空间。基于此，可选地，在本发明实施例中，所述用户的行为轨迹对应的图片不以图片文件的形式表示，而以数组的形式表示。所述以数组的形式表示的图片中，数组的每个元素对应一个像素点的灰度值。
步骤103中，所述图片为步骤102中的用户的行为轨迹对应的图片，可选地，可以是以数组的形式表示的图片。所述提取所述图片的特征可以通过神经网络模型来实现，考虑到不同的神经网络对输入的图片的格式存在要求，在正式提取图片的特征之前，先对图片进行预处理，进而再执行对图片的特征的提取。
这里，所述提取所述行为轨迹对应的图片的特征，包括：
步骤1031，调整所述行为轨迹对应的图片的尺寸，得到设定尺寸的图片；
步骤1032，对所述设定尺寸的图片进行处理，转化为图片矩阵；
步骤1033，对所述图片矩阵进行处理，得到用户的行为轨迹对应的图片的特征。
这里，所述设定尺寸由选取的神经网络模型的类型来确定。所述神经网络模型可以是残差神经网络(Residual Neural Network，ResNet)模型及长短期记忆(long-shortterm memory，LSTM)模型等。
由于神经网络模型处理的对象是数据，那么需要在得到设定尺寸的图片后，将图片转化为图片矩阵；所述图片矩阵是指以数组的形式表示的图片。以152层的ResNet模型为例，由于152层的ResNet模型要求的图片的输入尺寸为224*224，那么对图片进行特征的提取时，上述步骤1031中的设定尺寸的图片即为[224，224，3]的图片。
需要说明的是，所述步骤1032中，将所述设定尺寸的图片进行处理，转化为图片矩阵可以通过imread()函数实现，imread函数用于将彩色图片变为三维的图片矩阵，将灰度图片变为二维的图片矩阵。由于在本发明实施例中，所述用户的行为轨迹对应的图片是彩色的图片，那么经过步骤1032后得到三维的图片矩阵。如此，再将三维的图片矩阵输入神经网络模型中进行处理，来提取用户的行为轨迹对应的图片的特征。
进一步地，由于用户的行为轨迹对应的图片反映着用户在每个页面上的操作情况，那么确定用户的行为轨迹对应的图片对应的类别，就是确定用户在每个页面上的操作情况对应的类别。那么，对行为轨迹对应的图片的特征进行分类得到的分类结果就反映着行为轨迹对应的图片的分类结果。所述类别与操作熟练度相对应，操作熟练度可以分为：熟练、较熟、不太熟、不熟等。如此，4种类别就对应4种不同的操作熟练度。如此，根据行为轨迹对应的图片的特征的分类结果可以确定所述行为轨迹对应的图片所对应的类别，进而可以确定出行为轨迹对应的图片所对应的操作熟练度。
由于经过步骤101-103得到的是每个用户的行为轨迹对应的图片的特征，而行为轨迹对应的图片的特征可以呈现行为轨迹对应的图片所包含的内容，如此，可以对行为轨迹对应的图片的特征进行处理来确定用户的行为轨迹对应的图片所对应的类别，或者说操作熟练度。
这里，为了便于后续预测模型的处理，操作熟练度可以用数值来表示，例如，熟练为10分、较熟为7分、不太熟为5分和不熟为2分。
需要说明的是，所述对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度，包括：
步骤1041，根据不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果；
步骤1042，通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果；
步骤1043，根据所述最优的分类结果确定用户的行为轨迹对应的图片所对应的操作熟练度。
需要说明的是，步骤1041中所述根据不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果可以通过分类算法实现。所述分类算法可以是支持向量机(Support Vector Machine，SVM)或K均值聚类算法等。
由于分类处理中，一般最开始是无法确定需要分为几类，如此，可以选取不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果，进而过评价函数对所述不同的分类结果进行处理，确定最优的分类结果。
这里，所述步骤1042中所述通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果，包括：
通过评价函数对所述不同的分类结果进行处理，得到不同的评价结果；
确定所述评价结果与设定值的差值，基于所述差值确定最优的分类结果。
需要说明的是，所述评价函数可以是轮廓系数、兰德指数(Rand index，RI)等。
所述设定值可以根据选取的评价函数来确定。例如，当所述评价函数是轮廓系数，则所述设定值可以设置为1，将不同的分类结果对应的轮廓系数与设定值1进行相减确定出所述评价结果与设定值的差值；差值越小，分类效果越好；那么，在将轮廓系数与设定值1进行相减得到的差值中，选取最小的差值对应的分类结果作为最优的分类结果。
在确定出最优的分类结果后，即可得到用户的行为轨迹对应的图片所对应的操作熟练度，进而可以基于所述行为轨迹对应的图片以及行为轨迹对应的图片所对应的操作熟练度来确定出待预测的用户的操作熟练度。
这里，上述步骤105中所述待预测的用户是指需要进行操作熟练度预测的用户；同样的，所述待预测的用户在页面上对控件进行操作也产生如上述步骤101中的行为数据。实际应用中，这里的所述待预测的用户一般是第一次使用所述应用软件的用户。
所述根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度，包括：
步骤1051，根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定预测模型；
步骤1052，基于所述预测模型，确定所述待预测的用户的操作熟练度。
需要说明的是，所述预测模型可以是梯度提升树(Gradient Boosting DecisionTree，GBDT)模型、反向传播神经网络(Back-Propagation，BP)模型等；所述GBDT模型是一种通过不断减小训练过程产生的残差来达到将数据分类或者回归的模型，用于对数据分类；所述BP模型是一种通过样本数据的训练，不断修正网络权值和阈值使误差函数下降，得到期望输出的模型。本发明实施例对预测模型的类型不做限定。
所述根据行为轨迹对应的图片和所述行为轨迹对应的图片对应的操作熟练度，确定预测模型，具体可以是：将行为轨迹对应的图片的多维向量和操作熟练度对应的数值，作为训练数据，对上述梯度提升树(Gradient Boosting Decision Tree，GBDT)模型或者反向传播神经网络(Back-Propagation，BP)模型等进行训练，得到本发明实施例需要的预测模型。
步骤1052中所述基于所述预测模型，确定所述待预测的用户的操作熟练度，包括：
获取所述待预测的用户的行为轨迹对应的图片所对应的向量；
根据所述预测模型对所述行为轨迹对应的图片所对应的向量进行处理，得到处理结果；
根据所述处理结果，确定所述待预测的用户的操作熟练度。
需要说明的是，所述获取待预测的用户的行为轨迹对应的图片所对应的向量可以通过上述步骤101-103实现，即通过采集待预测的用户的行为数据，来得到所述用户的行为轨迹对应的图片，进而提取所述行为轨迹对应的图片的特征，由此得到以多维向量的形式表示的行为轨迹对应的图片的特征。
所述根据所述预测模型对所述行为轨迹对应的图片所对应的向量进行处理是指预测处理，预测出待预测的用户的行为轨迹对应的图片对应的操作熟练度。例如，将待预测的用户对应的多维向量输入上述预测模型，输出10，则认为待预测的用户在该网站上的操作熟练度属于熟练。
基于上述说明，本发明实施例中的操作熟练度识别方法可以总结为：
步骤a，确定预测模型；
步骤b，根据预测模型对待预测的用户的行为数据进行处理，确定用户在的操作熟练度。
这里，步骤a中所述预测模型的确定的主要步骤包括：
步骤a1，采集用户的行为数据；
步骤a2，基于所述行为数据，得到所述用户的行为轨迹对应的图片；
步骤a3，提取所述行为轨迹对应的图片的特征；
步骤a4，对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；
步骤a5，根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定预测模型。
这里，步骤b中所述根据预测模型对待预测的用户的行为数据进行处理，确定用户的操作熟练度，包括：
通过预测模型对待预测的用户的行为轨迹对应的图片对应的向量进行处理，得到处理结果；
根据所述处理结果，确定所述待预测的用户的操作熟练度。
如此，本发明实施例提供的操作熟练度识别方法，通过采集用户的行为数据，得到为轨迹对应的图片；利用图片数据便于处理的优势，通过提取图片的特征，建立图片的特征与操作熟练度的对应关系，从而根据提取的图片的特征、图片的特征与操作熟练度的对应关系来实现对用户在每个页面上的操作度的准确预测。这里，通过预测结果可以清楚地知道用户在各个页面上操作熟练度，进而可以根据在各个页面上操作熟练度来进行有针对性的培训，以此实现培训效率的提高。
下面以所述应用软件为WEB系统为例，对本发明实施例提供的一种操作熟练度识别方法进行详细地说明，所述操作熟练度识别方法，包括：
步骤201，采集用户在WEB系统中的行为数据。
需要说明的是，所述WEB系统是用户访问页面的载体，由一系列页面组成；例如，所述WEB系统可以是企业资源计划(Enterprise Resource Planning，ERP)系统、运营系统等。
WEB系统中的每个页面上分布有一系列的控件，所述控件可以是文本框、超链接、按钮等。用户操作鼠标对控件进行操作可以产生一系列的行为数据。所述行为数据包括：鼠标滑动的数据、鼠标点击的数据、输入框数据；针对各类行为数据所包含的具体数据，与针对应用软件控件的操作的行为数据类似，在此不再赘述。
需要说明的是，为了确定出鼠标滑动的坐标、鼠标点击的坐标、输入框的坐标，可以以页面的四个顶角中的任一个顶角为坐标原点，以页面的长度、宽度为横、纵坐标建立直角坐标系，通过所述直角坐标系确定出鼠标滑动的坐标、鼠标点击的坐标、输入框的坐标。
这里，所述采集用户在WEB系统中的行为数据，包括：
步骤2011，确定用户在WEB系统中的待采集的至少一个特定行为；
步骤2012，对所述至少一个特定行为进行捕获，得到初始行为数据；
步骤2013，提取所述初始行为数据中的目标信息，得到所述至少一个特定行为中各特定行为对应的行为数据。
需要说明的是，所述步骤2011中的特定行为是指需要关注的行为；一般而言，用户在WEB系统中进行操作会对应很多的行为，在本发明实施例中，只对需要关注的行为对应的行为数据进行采集。如此，所述特定行为具体是指用户滑动鼠标、用户点击鼠标、用户在输入框中输入数据的行为。在用户的特定行为发生时会产生一些数据，称为行为数据。
所述步骤2012中的对所述至少一个特定行为进行捕获，得到初始行为数据可以是通过在WEB系统中的每个页面中添加JavaScript(JS)脚本来对用户的特定行为进行捕获，得到初始行为数据。
一般而言，上述为了对用户的特定行为进行捕获而在页面中添加的JS脚本称为埋点代码，所述埋点代码是一种用于实现埋点而编写的程序；所述埋点指的是对用户的特定行为进行捕获、处理的过程。埋点的技术实质是先监听软件应用运行过程中的用户的行为，在需要关注的行为发生时，对该需要关注的行为进行捕获。这里的所述需要关注的行为就是指特定行为。
需要说明的是，上述通过埋点代码对特定行为进行捕获可以通过引入不同的函数来实现，通过设置不同的函数实现对不同的特定行为的捕获；例如，通过OnClick函数来捕获用户点击鼠标的行为。如此，可以通过不同的函数采集不同特定行为对应的不同行为数据。这里，由于是通过不同的函数实现的对不同特定行为的行为数据的采集，那么，可以通过不同的函数来区分不同的行为数据，如此可以为后续根据行为数据为特定行为的分类提供基础。
需要说明的是，通过在WEB系统中的每个页面中添加JS脚本即可实现对每个页面中用户的特定行为的捕获，在具体实施上方便快捷；并且针对不同的页面，也可以编写不同的JS脚本来实现对不同的行为的捕获，具有较大的灵活性。
通过JS脚本采集的行为数据是带有超文本标记语言(Hypertext MarkedLanguage，HTML)标签的数据，即步骤2012中的初始行为数据是带有HTML标签的数据。为了便于后续对数据的分析，需要从所述带有HTML标签的初始行为数据中提取出具体数值，所述具体数值是指坐标值、时间值等。
在步骤2013中，所述目标信息可以是坐标信息或时间信息等。所述对所述初始行为数据进行目标信息的提取可以通过parseInt()方法等实现；所述parseInt()方法用于对一个字符串进行解析，返回一个整数。如此，通过parseInt()方法可以从字符串中提取出需要的数值。这里，所述对所述初始行为数据进行数值提取还可以通过num()方法、正则表达式等来实现。
在从初始行为数据中得到数值后，由于初始行为数据是由不同的函数实现的采集，且初始行为数据是带有HTML标签的数据，如此，可以根据函数的类型和初始行为数据中的HTML标签来区分初始行为数据；例如，<button onclick＝"myFunction()">点击</button>中，存在<button></button>标签和onclick函数，如此可以确定出采集到的初始行为数据是由用户点击鼠标的行为产生的。那么，再对该初始行为数据进行数值的提取后，就可以得到用户点击鼠标对应的数值。
基于此，在区分出初始行为数据后，即可在对初始行为数据进行数值提取后，进一步将对用户的不同特定行为进行分类，并按照时间顺序排序以生成具有时序的页面操作数据；所述具有时序的页面操作数据即为用户在WEB系统中的行为数据。
作为一个示例，图2为本发明实施例提供的一种操作熟练度识别方法中鼠标滑动行为所对应的鼠标滑动的坐标的示意图，如图2所示，所述每个坐标数据用分号隔开，例如225，331即是指鼠标滑动的一个坐标；24，6是指鼠标滑动的另一个坐标。如此，通过上述捕获、数值提取、分类、排序可以得到用户在WEB系统中每种特定行为对应的行为数据。
需要说明的是，在采集到行为数据后，可以将行为数据保存到数据库中，便于后续行为数据的提取和使用。
需要说明的是，如果该WEB系统中包含10个页面，那么，当每个用户在每个页面上都进行操作时，每个用户就可以对应采集到10个行为数据。步骤201中可以采集多个用户的行为数据，如果采集的是100个用户在WEB系统中的行为数据，那么WEB系统的每个页面就对应100个行为数据。
步骤202，基于所述行为数据，得到所述用户的行为轨迹对应的图片。
需要说明的是，所述用户的行为轨迹对应的图片是指根据用户在WEB系统中页面上进行操作所对应的行为数据而生成的图片。
由于用户在WEB系统中页面上进行操作会存在对应的行为轨迹，例如，用户在页面上进行鼠标的滑动操作得到鼠标滑动的行为轨迹。那么，这里的行为轨迹可以包括：鼠标滑动的行为轨迹、鼠标点击的行为轨迹、输入框输入的行为轨迹。
由于行为数据包括鼠标滑动的数据、鼠标点击的数据、输入框数据，而鼠标滑动的数据包括鼠标滑动的坐标、鼠标滑动的时间；鼠标点击的数据包括鼠标点击的坐标、鼠标点击的时间；输入框数据包括输入框的坐标、用户在输入框中进行输入的时间；那么，根据时间和坐标的对应关系即可确定出用户在每个页面上的每种特定行为的行为轨迹对应的图片。
如此，上述步骤202中基于所述行为数据，得到所述用户的行为轨迹对应的图片可以是根据所述行为数据中的坐标、时间的对应关系来确定出用户行为轨迹对应的图片。
这里，由于每个页面上鼠标点击、输入框输入这两种行为的操作频率远小于鼠标滑动，且鼠标滑动这一行为对应的时间和坐标中大多数数据是无意义的，为了便于后续的分析与处理，将鼠标滑动行为中的鼠标滑动的坐标与鼠标点击、输入框输入行为中的鼠标点击的坐标、输入框的坐标进行区分，使用不同的符号来标识。
作为一个示例，图3为本发明实施例提供的一种操作熟练度识别方法中行为轨迹对应的图片的示意图；如图3所示，深色圆点表示鼠标滑动行为中的鼠标滑动的坐标，浅色圆点表示鼠标点击、输入框输入行为中的鼠标点击的坐标、输入框的坐标。如此，根据用户在每个页面上的每种特定行为对应的符号、行为轨迹，即可得到用户的行为轨迹对应的图片。
需要说明的是，由于图片包含的信息量较大，针对图片进行处理的方式较为成熟，如此，通过图片的方式来表示出用户在页面上的一系列行为，能够利用图片便于处理的优势，为后续实现对用户在页面上的操作熟练度的准确判断提供基础。
还需要说明的是，相较于数据的存储，图片的存储占用的存储空间更大；而上述步骤201中针对的是用户在每个页面上的行为数据的采集，而一个WEB系统包含多个页面，如此，每个用户都会对应多个行为轨迹，如果对每个行为轨迹都以图片文件(如GIF、PNG)的形式进行存储则会耗费大量的存储空间。基于此，可选地，在本发明实施例中，所述用户的行为轨迹对应的图片不以图片文件的形式表示，而以数组的形式表示。所述以数组的形式表示的图片中，数组的每个元素对应一个像素点的灰度值。
步骤203，提取所述行为轨迹对应的图片的特征。
需要说明的是，所述图片为步骤202中的用户的行为轨迹对应的图片，可选地，可以是以数组的形式表示的图片。所述提取所述图片的特征可以通过神经网络模型来实现，考虑到不同的神经网络对输入的图片的格式存在要求，在正式提取图片的特征之前，先对图片进行预处理，进而再执行对图片的特征的提取。
这里，所述提取所述图片的特征包括：
步骤2031，调整所述行为轨迹对应的图片的尺寸，得到设定尺寸的图片；
步骤2032，对所述设定尺寸的图片进行处理，转化为图片矩阵；
步骤2033，对所述图片矩阵进行处理，得到用户的行为轨迹对应的图片的特征。
这里，所述设定尺寸由选取的神经网络模型的类型来确定。由于神经网络模型处理的对象是数据，那么需要在得到设定尺寸的图片后，将图片转化为图片矩阵；所述图片矩阵是指以数组的形式表示的图片。
在本发明实施例中，通过残差神经网络(Residual Neural Network，ResNet)模型来对所述图片矩阵进行处理，得到用户的行为轨迹对应的图片的特征。
ResNet模型是为了解决网络深度的增加，但模型出现退化的问题而提出的一种神经网络模型。由于网络深度的增加，在网络训练的时候，梯度无法有效的传递到浅层网络，导致出现梯度弥散。而ResNet模型通过引入残差学习模块来将浅层网络与深层网络直接连接，从而使得梯度能够很好的传递到浅层，保证了信息的完整性。
具体而言，若将神经网络模型的输入设为X，将某一网络层设为H，那么以X为输入的该网络层的输出为H(X)。一般的神经网络模型，例如，视觉几何组(Visual GeometryGroup，VGG)模型会直接通过训练，学习出参数函数H(X)的表达，即直接学习X与H(X)之间的映射关系。而ResNet模型则是使用多个网络层来学习输入、输出之间的残差：H(X)-X；这里，将H(X)-X用F(X)表示，即F(X)＝H(X)-X，那么ResNet模型就是用于学习输入、输出之间的残差F(X)。如此，当ResNet模型的输入为X，则输出为H(X)＝F(X)+X。那么，ResNet模型可以认为是一种学习X与F(X)+X之间的映射关系的模型。
一般而言，所述残差学习模块的组成形式有多种，可以是由2或3个网络层(也称为卷积层)组成。图4为ResNet模型的残差学习模块的示意图，如图4所示，当所述残差学习模块由2个卷积层组成，所述卷积层的卷积核可以设置为3x3；当ResNet模型的网络更深时，所述残差学习模块可以设置为由3个卷积层组成，所述3个卷积层对应的卷积核分别是1x1、3x3和1x1。这里，如上所述，由于要实现输入为X时，输出可以为H(X)＝F(X)+X，所述ResNet模型设置了快捷连接的结构件。所述快捷连接也称为恒等映射，如图4所示，通过跳过至少一个卷积层的方式将一个卷积栈的输入直接与该卷积栈的输出相加；其中，所述卷积栈由至少一个卷积层堆叠而成。在图4中左边的2个卷积层代表一个卷积栈，同样的，右边的3个卷积层也代表一个卷积栈。
由此可知，在ResNet模型中，输入数据经过至少一个卷积层的处理，先得到的是输入、输出之间的残差F(X)，再将残差F(X)与输入数据X相加得到ResNet模型的输出：H(X)＝F(X)+X。如此，使得输入与输出是恒等映射的关系，减少了ResNet模型在处理过程中的退化问题，保证了信息的完整性。
需要说明的是，实际应用中，所述卷积核的大小可以根据实际需要来设置，小的卷积核在计算中计算量相对较大，但计算结果更为准确，而大的卷积核计算量相对较小，但计算结果相对小的卷积核而言，误差较大。本发明实施例对所述卷积核的大小不作限制。
这里，为了更好地描述ResNet模型的残差学习模块，以由2个卷积层组成的残差学习模块为例进行说明。图5为由2个卷积层组成的残差学习模块的示意图，如图5所示，所述残差学习模块的输入为X，输出为H(X)，Weight layer为卷积层，W1为第一层卷积层对应的权重参数，F(X，W1)为第一层卷积层对应的输出数据；W2为第二层卷积层对应的权重参数，F(X，W2)为第二层卷积层对应的输出数据。如图5所示，当所述残差学习模块的输入为X，经过第一层卷积层处理的输出为F(X，W1)，经过第二层卷积层处理的输出为F(X，W2)。在ResNet模型中，将输入数据X经过两层卷积层的处理后，再将输入数据X与F(X，W2)相加得到残差学习模块的输出H(X)，即H(X)＝F(X，W2)+X；所述输出H(X)将作为下一个残差学习模块的输入。
如此，ResNet模型中的残差学习模块通过引入恒等映射，在输入、输出之间建立了一条直接的关联通道，从而使得卷积层集中精力学习输入、输出之间的残差，保证了ResNet模型处理过程中信息的完整性，由于模型的迭代过程中每次的输入数据较为完整，使得在ResNet模型的卷积层的层数增加的情况下可以维持较高的准确率，有效地避免了其他神经网络模型中卷积层的层数增加到一定程度，模型准确度不升反降的问题。基于此，本发明实施例采用ResNet模型对用户的行为轨迹对应的图片进行处理，提取图片的特征。
下面对ResNet模型的结构进行说明：图6为不同层数的ResNet模型的组成示意图，如图6所示，所述ResNet模型可以有18层、34层、50层、101层和152层。这里，ResNet模型的层数是指模型所包含的卷积层、全连接层的层数。如图6所示，每种层数的ResNet模型均包括5种卷积层：conv1、conv2，conv3，conv4，conv5。以152层的ResNet模型为例，conv1为1个以7x7作为卷积核的卷积层。所述conv2为3个3层卷积层的卷积栈；所述conv3为8个3层卷积层的卷积栈；所述conv4为36个3层卷积层的卷积栈；所述conv5为3个3层卷积层的卷积栈；其中，conv2、conv3、conv4、conv5中的所述3层卷积层的卷积栈均是由1x1、3x3和1x1作为卷积核的卷积层组成。如此，所述152层的ResNet模型的总层数可以表示为(3+8+36+3)*3+2＝152。这里，5种卷积层conv1、conv2、conv3、conv4、conv5的总层数为151，经过5种卷积层的处理输出一个1000维的向量，所述1000维的向量用于表征用户的行为轨迹对应的图片的特征。在5种卷积层之后，存在一个全连接层，所述全连接层为一个以1x1作为卷积核的卷积层，用于对所述1000维的向量进行扁平化处理，输出分类结果；其中，所述扁平化处理用于将高维数组压缩成一维数组。
需要说明的是，由于在本发明实施例要实现的是提取图片的特征，如此，通过ResNet模型卷积层的处理即可得到用户的行为轨迹对应的图片的1000维的向量。对于152层的ResNet模型而言，即经过151层的处理即可输出用户的行为轨迹对应的图片的1000维的向量。由于所述1000维的向量用于表征用户的行为轨迹对应的图片的特征，那么，本发明实施例将图片输入152层的ResNet模型中，经过151层的处理，提取图片的特征最终得到1000维的向量。
还需要说明的是，在152层的ResNet模型对图片进行特征的提取时，要求图片的输入尺寸为224*224，那么，当选取152层的ResNet模型来提取图片的特征时，上述步骤2031中的设定尺寸的图片即为[224，224，3]的图片。
所述步骤2032中，将所述设定尺寸的图片进行处理，转化为图片矩阵可以通过imread()函数实现，imread函数用于将彩色图片变为三维的图片矩阵，将灰度图片变为二维的图片矩阵。由于在本发明实施例中，所述用户的行为轨迹对应的图片是彩色的图片，那么经过步骤2032后得到三维的图片矩阵。
如此，再将三维的图片矩阵输入ResNet模型中进行处理，来提取用户的行为轨迹对应的图片的特征。这里，所述图片的特征可以是图片的颜色特征、轮廓特征和空间关系特征等；所述颜色特征是指图片呈现出的颜色，所述轮廓特征是指图片中目标的轮廓，所述空间关系特征是指图片中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
在本发明实施例中，以向量的形式来表示通过ResNet模型提取的图片的特征。例如，对于152层的ResNet模型来说，将三维的图片矩阵输入ResNet模型，经过ResNet模型的4个残差学习模块的处理，输出的是1000维的向量；即提取出了用户的行为轨迹对应的图片的1000个特征。
图7为通过ResNet模型提取的用向量表示的图片的特征的示意图；如图7所示，经过ResNet模型的处理可以提取出多张图片的特征。
步骤204，对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度。
这里，由于用户的行为轨迹对应的图片反映着用户在每个页面上的操作情况，那么确定用户的行为轨迹对应的图片对应的类别，就是确定用户在每个页面上的操作情况对应的类别。那么，对行为轨迹对应的图片的特征进行分类得到的分类结果就反映着行为轨迹对应的图片的分类结果。
需要说明的是，所述类别与操作熟练度相对应，操作熟练度可以分为：熟练、较熟、不太熟、不熟等。如此，4种类别就对应4种不同的操作熟练度。如此，根据行为轨迹对应的图片的特征的分类结果可以确定所述行为轨迹对应的图片所对应的类别，进而可以确定出行为轨迹对应的图片所对应的操作熟练度。那么，行为轨迹对应的图片的分类结果即是指行为轨迹对应的图片所对应的操作熟练度。例如，当对100个用户在A页面上的行为数据进行采集时，就可以得到100张行为轨迹对应的图片，把这100张行为轨迹对应的图片分为4类(K1、K2、K3和K4)，则这4类中的任一类则对应一种操作熟练度，如K1对应熟练。
由于经过步骤201-203得到的是每个用户的行为轨迹对应的图片的特征，而行为轨迹对应的图片的特征可以呈现行为轨迹对应的图片所包含的内容，如此，可以对行为轨迹对应的图片的特征进行处理来确定用户的行为轨迹对应的图片所对应的类别。
在本发明实施例中，由于行为轨迹对应的图片的特征是通过步骤203得到的1000维的向量表示的，那么上述步骤204中，所述对所述图片的特征进行处理，根据处理结果确定用户的行为轨迹对应的图片对应的类别的实现，就可以是对每张图片对应的1000维的向量进行处理，根据处理结果确定用户的行为轨迹对应的图片对应的类别；所述1000维的向量的维数较多，是一种多维向量。
需要说明的是，所述对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度，包括：
步骤2041，根据不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果；
步骤2042，通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果；
步骤2043，根据所述最优的分类结果确定用户的行为轨迹对应的图片所对应的操作熟练度。
需要说明的是，步骤2041中所述根据不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果可以通过分类算法实现。
在本发明实施例中，可以采用K均值聚类算法这一分类算法来对每张图片对应的多维向量进行处理，来实现对每个用户的行为轨迹对应的图片所对应的操作熟练度的确定。这里的分类算法也可以是如支持向量机(Support Vector Machine，SVM)等其他的模型实现，所述SVM模型是一种分类器，可以用于将数据分为2类。
由于分类处理中，一般最开始是无法确定需要分为几类，如此，可以选取不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果，进而过评价函数对所述不同的分类结果进行处理，确定最优的分类结果。
下面以K均值聚类算法为例，对本发明实施例中的图片对应的多维向量的分类进行说明：
如上所述，经过152层的ResNet模型得到的是1000维的向量；如此，所述K均值聚类算法处理的多维向量就可以是1000维的向量。本发明实施例中对多维向量的维数不作限定。
需要说明的是，K均值聚类算法是指根据样本之间的距离(或相似性)，把相似的、差异小的样本聚成一类(簇或者集合)，最后形成多个集合，使同一个集合内部的样本相似度高，不同集合之间差异性高。在本发明实施例中，所述样本是指每张图片对应的多维向量。这里，利用所述K均值聚类算法对每张图片对应的多维向量进行处理的处理流程可以总结为：
步骤(1)，确定一个k值；所述k值用于表征希望将多个多维向量经过聚类得到的集合数量，即先将所述多个多维向量初步划分为k个集合；例如，如果希望将多个多维向量分为4类(如熟练、较熟、不太熟、不熟)，则设置k＝4。
需要说明的是，所述多维向量用于表征每张图片对应的特征。由于上述步骤201是采集的多个用户的行为数据，而每个用户在每个页面上都对应一个多维向量，那么多个用户在每个页面上就会对应多个多维向量。例如，如果采集的是100个用户在10个页面上的行为数据，则10个页面中每个页面对应100个多维向量。这里，当k＝4，即是指将每个页面对应100个多维向量分为4组，得到4个集合。
步骤(2)，从k个集合中的每个集合随机选择一个多维向量作为质心，即总共得到k个质心；所述质心为每个集合的中心；将这里的质心称为原始质心。
步骤(3)，对k个集合中的每个集合中的每一个多维向量，计算它与所有的原始质心的距离，通过距离确定k个新的集合。
所述多维向量离哪个质心近，就将该多维向量划分到该原始质心所属的集合。如此，将所有的多维向量进行集合的划分后，可以重新得到k个集合，即k个新的集合。这里，计算每一个多维向量与每一个原始质心的距离可以通过欧式距离实现，具体实现过程在此不做赘述。
步骤(4)，重新计算k个新的集合中每个集合的质心，得到新质心。
这里，重新计算k个新的集合中每个集合的质心可以通过求平均的方式确定，即将每个集合中的多维向量相加，再除以每个集合的多维向量的数量来确定。
步骤(5)，计算新质心和原始质心之间的距离，如果新质心和原始质心之间的距离小于某一个设置的阈值，认为聚类已经达到期望的结果，算法终止；所述新质心和原始质心之间的距离小于某一个设置的阈值表示重新计算的质心的位置变化不大，趋于稳定。
步骤(6)，如果新质心和原始质心距离变化很大，需要再次进行步骤(3)～(5)的处理直到新质心和原始质心之间的距离小于某一个设置的阈值。
如此，经过K均值聚类算法的处理，确定出了多个多维向量对应的类别。例如，100个用户在A页面上进行操作就存在100个行为轨迹对应的图片，对应100个多维向量，如果将A页面对应100个多维向量中70个多维向量划分到K1类别，20个多维向量划分到K2类别，5个多维向量划分到K3类别，5个多维向量划分到K4类别。
需要说明的是，上述划分是以划分为4类为例进行说明的，但实际应用中在开始划分时一般是无法确定每个页面对应的多个多维向量适合分为几类，那么，在使用K均值聚类算法进行处理时，可以选取不同的k值进行实验，再通过轮廓系数来确定每个页面对应的多个多维向量合适分为几类，即多个行为轨迹对应的图片合适分为几类。例如，再选取k＝3来执行上述步骤(1)-(6)。进而比较k＝3，k＝4时的分类结果来确定出最优的分类结果。
这里，所述步骤2042中所述通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果，包括：
通过评价函数对所述不同的分类结果进行处理，得到不同的评价结果；
确定所述评价结果与设定值的差值，基于所述差值确定最优的分类结果。
需要说明的是，所述评价函数可以是轮廓系数，通过轮廓系数作为评价函数对所述不同的分类结果进行处理，确定最优的分类结果。所述轮廓系数是一种对聚类结果进行评价的指标；某个分类结果的轮廓系数定义为：
Figure BDA0002273947990000241
其中，S表示某个多维向量的轮廓系数，disMeanint为该多维向量与同一集合中其他多维向量的平均相似度；disMeanout为该多维向量与其他集合中的多维向量的平均相似度；轮廓系数S的取值范围为[-1，1]，S越接近1则表示分类效果越好。
需要说明的是，所述设定值可以设置为1，将不同的分类结果对应的轮廓系数S与设定值1进行相减确定出所述评价结果与设定值的差值；差值越小，分类效果越好；那么，在将轮廓系数S与设定值1进行相减得到的差值中，选取最小的差值对应的分类结果作为最优的分类结果。
如此，通过轮廓系数对不同的k值得到的不同的分类结果进行评价，可以确定出所述多个多维向量适合分为几类，即确定出k值的选取。
作为一个示例，第一次实验时，取k＝4，得到一种分类结果：100个多维向量中70个多维向量划分到K1类别，20个多维向量划分到K2类别，5个多维向量划分到K3类别，5个多维向量划分到K4类别；计算该分类结果的轮廓系数S1。第二次实验时，取k＝3，得到一种分类结果：100个多维向量中70个多维向量划分到K1类别，20个多维向量划分到K2类别，10个多维向量划分到K3类别；计算该分类结果的轮廓系数S2。比较轮廓系数S2、S1与1的差值，差值越小则分类效果越好。
图8为本发明实施例提供一种操作熟练度识别方法中对多个多维向量进行分类的结果的示意图；如图8所示，所述多个多维向量大致分为了4类，用1、2、3、4来标识不同的类；其中，大部分数据(1类)聚在一起，其他三类数据(2类、3类、4类)离散在周边，符合用户的操作熟练度的分类预期。
如此，通过K均值聚类算法以及轮廓系数的处理即可确定出每个页面上的多个多维向量(A1、A2、A3…)对应的类别，由于多维向量是用于表示轨迹对应的图片的特征的，那么轨迹对应的图片的特征对应的类别也就确定了，同样的轨迹对应的图片所对应的类别也确定了。例如，多维向量A1对应K1类别，则轨迹对应的图片就也对应K1类别。
在此基础上，如果确定了类别与操作熟练度的对应关系，即可以确定每张轨迹对应的图片对应的操作熟练度。
这里，类别与操作熟练度的对应关系可以通过确定每一个类别中的一个用户的操作熟练度来确定。例如，确定出K1类别中的P用户在A页面上的操作熟练度为熟练，则P用户所对应的轨迹对应的图片所在的K1类别对应的操作熟练度就为熟练。所述P用户在A页面上的操作熟练度的确定可以根据P用户对操作难易的反馈来确定。
这里，为了便于后续预测模型的处理，操作熟练度可以用数值来表示，例如，熟练为10分、较熟为7分、不太熟为5分和不熟为2分。
基于此，如果确定出了多维向量A1划分到代表着熟练的这一集合中，那么多维向量A1对应的行为轨迹对应的图片所对应的用户在该页面上操作熟练度即为熟练。
这里，由于100个行为轨迹对应的图片反映着该100个用户在该页面上的操作情况，那么，就可以得到该100个用户在该页面上的操作情况所对应的4种类别。由于在本发明实施例中所述类别可以是操作熟练度，且操作熟练度可以分为：熟练、较熟、不太熟、不熟等。那么100个用户在该页面上的操作情况就可以分为熟练、较熟、不太熟、不熟这4个类别。
步骤205，根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。
需要说明的是，所述待预测的用户是指需要进行操作熟练度预测的用户；同样的，所述待预测的用户在页面上操作鼠标对控件进行操作，也产生如上述步骤201中的行为数据。实际应用中，这里的所述待预测的用户一般是第一次使用所述WEB系统的用户。
所述根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度，包括：
步骤2051，根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定预测模型；
步骤2052，基于所述预测模型，确定所述待预测的用户在WEB系统中的操作熟练度。
需要说明的是，所述预测模型可以是梯度提升树(Gradient Boosting DecisionTree，GBDT)模型、反向传播神经网络(Back-Propagation，BP)模型等；所述GBDT模型是一种通过不断减小训练过程产生的残差来达到将数据分类或者回归的模型，用于对数据分类；所述BP模型是一种通过样本数据的训练，不断修正网络权值和阈值使误差函数下降，得到期望输出的模型。本发明实施例对预测模型的类型不做限定。
所述根据行为轨迹对应的图片和所述行为轨迹对应的图片对应的操作熟练度，确定预测模型，具体可以是：根据行为轨迹对应的图片的多维特征和类别来确定预测模型。这里，由于行为轨迹对应的图片的多维特征在本发明实施例中是由多维向量表示的。那么，具体实施中，所述步骤205中所述根据行为轨迹对应的图片和所述行为轨迹对应的图片对应的操作熟练度，确定预测模型即为根据行为轨迹对应的图片的多维向量和多维向量对应的类别来确定预测模型。
需要说明的是，所述行为轨迹对应的图片对应的类别、多维特征对应的类别以及多维向量对应的类别是指同一类别，都是用操作熟练度来表征，而操作熟练度可以用数值表示；如此，可以根据行为轨迹对应的图片的多维向量和对应的操作熟练度对应的数值来确定预测模型。
下面对预测模型的确定进行描述：
实际应用中，可以将行为轨迹对应的图片的多维向量和操作熟练度对应的数值，作为训练数据，对所述GBDT模型进行训练，得到本发明实施例需要的预测模型。
这里，所述用于训练GBDT模型的训练数据可以以集合的形式表示：
T＝{(x1,y1),(x2,y2),....(xn,yn)}；
其中，T为训练数据的集合，xn为行为轨迹对应的图片的多维向量，yn为操作熟练度对应的数值；如果行为轨迹对应的图片的多维向量A1对应的操作熟练度为10，即x1为A，y1为10；行为轨迹对应的图片的多维向量A2对应的操作熟练度为5，即x2为A2，y2为5。
如此，所述GBDT模型的输入即为行为轨迹对应的图片的多维向量，输出为操作熟练度对应的数值。
进一步地，在得到预测模型后，步骤2052中基于所述预测模型，确定所述待预测的用户在WEB系统中的操作熟练度，包括：
获取所述待预测的用户在WEB系统中各页面上的行为轨迹对应的图片所对应的向量；
根据所述预测模型对所述行为轨迹对应的图片所对应的向量进行处理，得到处理结果；
根据所述处理结果，确定所述待预测的用户在WEB系统中的操作熟练度。
需要说明的是，所述获取待预测的用户在WEB系统中各页面上的行为轨迹对应的图片所对应的向量可以通过上述步骤201-203实现，即通过采集待预测的用户在WEB系统中各页面上的行为数据，来得到所述用户的行为轨迹对应的图片，进而提取所述行为轨迹对应的图片的特征，由此得到以多维向量的形式表示的行为轨迹对应的图片的特征。
所述根据所述预测模型对所述行为轨迹对应的图片所对应的向量进行处理是指预测处理，预测出待预测的用户的行为轨迹对应的图片对应的操作熟练度。例如，将待预测的用户对应的多维向量x1输入上述预测模型，输出10，则认为待预测的用户在该网站上的操作熟练度属于熟练。
需要说明的是，为了对不同的页面上的操作情况进行有针对性的预测，实际应用中，需要对每个页面分别训练得到对应的预测模型。例如，100个用户在页面1上进行操作对应的多维向量为A1～A100，多维向量A1～A100中假设A1～A70对应的操作熟练度为“熟练”，A71～A80对应的操作熟练度为“较熟”，A81～A90对应的操作熟练度为“不太熟”，A91～A100对应的操作熟练度为“不熟”，则利用{(A1～A70，10)，(A71～A80，7)，(A81～A90，5)，(A91～A100，2)}作为训练数据来训练页面1对应的预测模型1；以此类推，可以训练得到其他页面对应的预测模型。
作为一个示例，图9为本发明实施例提供一种操作熟练度识别方法中用户在每个页面上的操作熟练度的示意图，如图9所示，横坐标表示不同的页面，纵坐标表示不同的用户，数字2和10代表着不同的操作熟练度；如此可以看到每个用户在不同的页面上的操作熟练度。
图10为本发明实施例提供的一种操作熟练度识别方法的实现流程示意图二，如图10所示，该方法主要包括以下步骤：
步骤301，采集用户在WEB系统中的行为数据。
需要说明的是，所述WEB系统是用户访问页面的载体，由一系列页面组成；WEB系统中的每个页面上分布有一系列的控件，所述控件可以是文本框、超链接、按钮等。用户在WEB系统中操作鼠标对控件进行操作可以产生一系列的行为数据。所述行为数据包括：鼠标滑动的数据、鼠标点击的数据、输入框数据。
通过在WEB系统中的每个页面中添加JavaScript(JS)脚本来对用户的特定行为进行捕获。在本发明实施例中，只对需要关注的行为对应的行为数据进行采集。如此，所述特定行为具体是指用户滑动鼠标、用户点击鼠标、用户在输入框中输入数据的行为。在用户的特定行为发生时会产生一些数据，称为行为数据。
步骤302，基于所述行为数据，得到所述用户的行为轨迹对应的图片。
需要说明的是，所述用户的行为轨迹对应的图片是指根据用户在WEB系统中页面上进行操作所对应的行为数据而生成的图片。根据所述行为数据中的坐标、时间的对应关系可以确定出用户行为轨迹对应的图片。
步骤303，基于ResNet模型对行为轨迹对应的图片进行特征的提取，得到轨迹对应的图片的特征。
需要说明的是，所述图片的特征可以是图片的颜色特征、轮廓特征和空间关系特征等，所述轨迹对应的图片的特征以向量的形式来表示。通过ResNet模型的卷积层的处理即可得到用户的行为轨迹对应的图片的1000维的向量。
步骤304，通过K均值聚类算法对行为轨迹对应的图片的特征进行分类。
需要说明的是，选取不同的参数k对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果，再通过轮廓系数作为评价函数对所述不同的分类结果进行处理，确定最优的分类结果；所述最优的分类结果即为通过K均值聚类算法分类处理得到的分类结果。
步骤305，通过分类结果确定出用于训练预测模型的样本数据，所述样本数据包括训练数据、测试数据。
需要说明的是，由于用户的行为轨迹对应的图片反映着用户在每个页面上的操作情况，那么确定用户的行为轨迹对应的图片对应的类别，就是确定用户在每个页面上的操作情况对应的类别。那么，对行为轨迹对应的图片的特征进行分类得到的分类结果就反映着行为轨迹对应的图片的分类结果。所述类别与操作熟练度相对应，操作熟练度可以分为：熟练、较熟、不太熟、不熟等。如此，4种类别就对应4种不同的操作熟练度。如此样本数据即为行为轨迹对应的图片和所述行为轨迹对应的图片对应的操作熟练度的集合。
所述样本数据为：U＝{(x1,y1),(x2,y2),....(xn,yn)}；
其中，U为样本数据的集合，选取样本数据中的部分数据作为训练数据，另一部分数据作为测试数据。xn为行为轨迹对应的图片的多维向量，yn为操作熟练度对应的数值；如果行为轨迹对应的图片的多维向量A1对应的操作熟练度为10，即x1为A，y1为10；行为轨迹对应的图片的多维向量A2对应的操作熟练度为5，即x2为A2，y2为5。
步骤306，利用训练数据对GBDT模型进行训练，得到初始的预测模型，利用测试数据对所述初始的预测模型进行测试，得到预测模型。
步骤307，通过预测模型对待预测的用户的行为轨迹对应的图片所对应的向量进行处理，得到处理结果；根据所述处理结果，确定所述待预测的用户在WEB系统中的操作熟练度。
需要说明的是，所述待预测的用户是指需要进行操作熟练度预测的用户；同样的，所述待预测的用户在页面上操作鼠标对控件进行操作，也产生如上述步骤301中的行为数据。实际应用中，这里的所述待预测的用户一般是第一次使用所述WEB系统的用户。
将待预测的用户的行为轨迹对应的图片所对应的向量输入预测模型中，得到待预测的用户在WEB系统中的操作熟练度。
如此，本发明实施例提供的操作熟练度识别方法，通过采集用户在WEB系统中的行为数据，得到为轨迹对应的图片；如此，利用图片数据便于处理的优势，通过提取图片的特征，建立图片的特征与操作熟练度的对应关系，从而根据提取的图片的特征、图片的特征与操作熟练度的对应关系来生成预测模型，利用预测模型实现对用户在每个页面上的操作度的准确预测。这里，通过预测结果可以清楚地知道用户在各个页面上操作熟练度，进而可以根据在各个页面上操作熟练度来进行有针对性的培训，以此实现培训效率的提高。
进一步地，在采集多个用户的行为数据，进而执行预测后，当统计发现大多数用户在某一个网站上的操作熟练度均为不太熟或者不熟，就可以针对该页面上的操作进行重点培训，或者认为该页面的设计可能不太合理，如此为后期的优化页面提供了参考依据。
基于前述相同的发明构思，本发明实施例还提供一种操作熟练度识别装置，图11为本发明实施例提供的一种操作熟练度识别装置的结构示意图，如图11所示，该装置1100包括：采集单元1101、获取单元1102、提取单元1103、第一确定单元1104以及第二确定单元1105；其中，
所述采集单元1101，用于采集用户的行为数据；
所述获取单元1102，用于基于所述行为数据，得到用户的行为轨迹对应的图片；
所述提取单元1103，用于提取所述行为轨迹对应的图片的特征；
所述第一确定单元1104，用于对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；
所述第二确定单元1105，用于根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。
需要说明的是，所述采集单元1101包括：特定行为确定单元、捕获单元以及数值提取单元；其中，
所述特定行为确定单元，用于确定用户的待采集的至少一个特定行为；
所述捕获单元，用于对所述至少一个特定行为进行捕获，得到初始行为数据；
所述数值提取单元，用于提取所述初始行为数据中的目标信息，得到至少一个特定行为中各特定行为对应的行为数据。
需要说明的是，所述提取单元1103包括：调整单元、转化单元以及特征获取单元；其中，
所述调整单元，用于调整所述行为轨迹对应的图片的尺寸，得到设定尺寸的图片；
所述转化单元，用于对所述设定尺寸的图片进行处理，转化为图片矩阵；
所述特征获取单元，用于对所述图片矩阵进行处理，得到用户的行为轨迹对应的图片的特征。
需要说明的是，所述第一确定单元包括1104：分类处理单元、结果确定单元以及第一确定子单元；其中，
所述分类处理单元，用于根据不同的参数对所述图片的特征进行分类处理，得到不同的分类结果；
所述结果确定单元，用于通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果；
所述第一确定子单元，用于根据所述最优的分类结果确定用户的行为轨迹对应的图片所对应的操作熟练度。
需要说明的是，所述结果确定单元包括：评价结果获取单元和分类确定单元；其中，
所述评价结果获取单元，用于通过评价函数对所述不同的分类结果进行处理，得到不同的评价结果；
所述分类确定单元，用于确定所述评价结果与设定值的差值，基于所述差值确定最优的分类结果。
需要说明的是，所述第二确定单元1105包括：模型确定单元和操作熟练度确定单元；其中，
所述模型确定单元，用于根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定预测模型；
所述操作熟练度确定单元，用于基于所述预测模型，确定所述待预测的用户的操作熟练度。
所述操作熟练度确定单元包括：图片获取单元、处理子单元以及第二确定子单元；其中，
所述图片获取单元，用于获取所述待预测的用户的行为轨迹对应的图片所对应的向量；
所述处理子单元，用于根据所述预测模型对所述行为轨迹对应的图片所对应的向量进行处理，得到处理结果；
所述第二确定子单元，用于根据所述处理结果，确定所述待预测的用户的操作熟练度。
还需要说明的是，由于所述装置1100解决问题的原理与前述操作熟练度识别方法相似，因此，所述装置1100的具体实施过程及实施原理均可以参见前述方法和实施过程，重复之处不再赘述。
本发明实施例提供的操作熟练度识别装置，通过采集单元采集用户的行为数据，得到为轨迹对应的图片；如此，利用图片数据便于处理的优势，通过提取图片的特征，建立图片的特征与操作熟练度的对应关系，从而根据提取图片的特征、图片的特征与操作熟练度的对应关系来实现对用户在每个页面上的操作度的准确预测。这里，通过预测结果可以清楚地知道用户在各个页面上操作熟练度，进而可以根据在各个页面上操作熟练度来进行有针对性的培训，以此实现培训效率的提高。
在本发明实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本发明实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述实施例所述的步骤。
参见图12，示出了本发明实施例提供的一种操作熟练度识别装置1200的具体硬件结构，包括：网络接口1201、存储器1202和处理器1203；各个组件通过总线系统1204耦合在一起。可理解，总线系统1204用于实现这些组件之间的连接通信。总线系统1204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为总线系统1204。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种操作熟练度识别方法，其特征在于，所述方法包括：
采集用户的行为数据；
基于所述行为数据，得到所述用户的行为轨迹对应的图片；
提取所述行为轨迹对应的图片的特征；
对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；
根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。
2.根据权利要求1所述的方法，其特征在于，所述采集用户的行为数据，包括：
确定用户的待采集的至少一个特定行为；
对所述至少一个特定行为进行捕获，得到初始行为数据；
提取所述初始行为数据中的目标信息，得到所述至少一个特定行为中各特定行为对应的行为数据。
3.根据权利要求1所述的方法，其特征在于，所述提取所述行为轨迹对应的图片的特征，包括：
调整所述行为轨迹对应的图片的尺寸，得到设定尺寸的图片；
对所述设定尺寸的图片进行处理，转化为图片矩阵；
对所述图片矩阵进行处理，得到用户的行为轨迹对应的图片的特征。
4.根据权利要求1所述的方法，其特征在于，所述对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度，包括：
根据不同的参数对所述行为轨迹对应的图片的特征进行分类处理，得到不同的分类结果；
通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果；
根据所述最优的分类结果确定用户的行为轨迹对应的图片所对应的操作熟练度。
5.根据权利要求4所述的方法，其特征在于，所述通过评价函数对所述不同的分类结果进行处理，确定最优的分类结果，包括：
通过评价函数对所述不同的分类结果进行处理，得到不同的评价结果；
确定所述评价结果与设定值的差值，基于所述差值确定最优的分类结果。
6.根据权利要求1所述的方法，其特征在于，所述根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度，包括：
根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定预测模型；
基于所述预测模型，确定所述待预测的用户的操作熟练度。
7.根据权利要求6所述的方法，其特征在于，所述基于所述预测模型，确定所述待预测的用户的操作熟练度，包括：
获取所述待预测的用户的行为轨迹对应的图片所对应的向量；
根据所述预测模型对所述行为轨迹对应的图片所对应的向量进行处理，得到处理结果；
根据所述处理结果，确定所述待预测的用户的操作熟练度。
8.一种操作熟练度识别装置，其特征在于，所述装置包括：采集单元、获取单元、提取单元、第一确定单元以及第二确定单元；其中，
所述采集单元，用于采集用户的行为数据；
所述获取单元，用于基于所述行为数据，得到用户的行为轨迹对应的图片；
所述提取单元，用于提取所述行为轨迹对应的图片的特征；
所述第一确定单元，用于对所述行为轨迹对应的图片的特征进行分类处理，得到分类结果，根据所述分类结果确定所述行为轨迹对应的图片所对应的操作熟练度；
所述第二确定单元，用于根据所述行为轨迹对应的图片和所述行为轨迹对应的图片所对应的操作熟练度，确定待预测的用户的操作熟练度。
9.一种存储介质，其特征在于，所述存储介质存储有可执行指令，当所述可执行指令被至少一个处理器执行时，实现权利要求1至7任一项所述的方法。
10.一种操作熟练度识别装置，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至7任一项所述的方法。
CN201911115621.3A 2019-11-14 2019-11-14 一种操作熟练度识别方法、装置及存储介质 Pending CN111046739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911115621.3A CN111046739A (zh) 2019-11-14 2019-11-14 一种操作熟练度识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911115621.3A CN111046739A (zh) 2019-11-14 2019-11-14 一种操作熟练度识别方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111046739A true CN111046739A (zh) 2020-04-21

Family

ID=70232043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911115621.3A Pending CN111046739A (zh) 2019-11-14 2019-11-14 一种操作熟练度识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111046739A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933436A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 具有动态完整性评分的基于视觉的多摄像头工厂监测
CN105786316A (zh) * 2016-02-26 2016-07-20 湖北汽车工业学院 一种评价软件操作水平的计算机识别方法
US20190251477A1 (en) * 2018-02-15 2019-08-15 Smarthink Srl Systems and methods for assessing and improving student competencies
CN110188796A (zh) * 2019-04-25 2019-08-30 博彦科技股份有限公司 用户识别方法、装置、存储介质和处理器
CN110291559A (zh) * 2017-02-24 2019-09-27 三菱电机株式会社 动作学习装置、技能判别装置以及技能判别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933436A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 具有动态完整性评分的基于视觉的多摄像头工厂监测
CN105786316A (zh) * 2016-02-26 2016-07-20 湖北汽车工业学院 一种评价软件操作水平的计算机识别方法
CN110291559A (zh) * 2017-02-24 2019-09-27 三菱电机株式会社 动作学习装置、技能判别装置以及技能判别系统
US20190251477A1 (en) * 2018-02-15 2019-08-15 Smarthink Srl Systems and methods for assessing and improving student competencies
CN110188796A (zh) * 2019-04-25 2019-08-30 博彦科技股份有限公司 用户识别方法、装置、存储介质和处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓明通;刘学军;李斌;: "基于用户偏好和动态兴趣的多样性推荐方法" *

Similar Documents

Publication Publication Date Title
Pomazan et al. Development of an application for recognizing emotions using convolutional neural networks
US9977968B2 (en) System and method for relevance estimation in summarization of videos of multi-step activities
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN110598620B (zh) 基于深度神经网络模型的推荐方法和装置
Esmaeili et al. Fast-at: Fast automatic thumbnail generation using deep neural networks
EP1854051A2 (en) Intelligent importation of information from foreign application user interface using artificial intelligence
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
CN113435335B (zh) 微观表情识别方法、装置、电子设备及存储介质
CN111985333B (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
Chen et al. Fast detection of human using differential evolution
CN112819024B (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
Ribeiro et al. Deep learning in digital marketing: brand detection and emotion recognition
CN111241550B (zh) 基于二进制映射和深度学习的漏洞检测方法
Cogswell et al. Combining the best of graphical models and convnets for semantic segmentation
CN116910752A (zh) 一种基于大数据的恶意代码检测方法
CN113989577B (zh) 图像分类方法及装置
CN117690178A (zh) 一种基于计算机视觉的人脸图像识别方法与系统
Tamaazousti On the universality of visual and multimodal representations
CN111046739A (zh) 一种操作熟练度识别方法、装置及存储介质
Liang et al. Figure-ground image segmentation using genetic programming and feature selection
CN115880702A (zh) 数据处理方法、装置、设备、程序产品及存储介质
WO2023173546A1 (zh) 文本识别模型的训练方法、装置、计算机设备及存储介质
CN113255722A (zh) 图像标注方法及装置
JP2021125040A (ja) 帳票仕分システム、帳票仕分方法、及びプログラム
CN118012921B (zh) 一种用于知识产权虚拟实验的人机交互数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing, 100176

Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.