CN112348089A - 工作状态识别方法、服务器、存储介质及装置 - Google Patents
工作状态识别方法、服务器、存储介质及装置 Download PDFInfo
- Publication number
- CN112348089A CN112348089A CN202011242715.XA CN202011242715A CN112348089A CN 112348089 A CN112348089 A CN 112348089A CN 202011242715 A CN202011242715 A CN 202011242715A CN 112348089 A CN112348089 A CN 112348089A
- Authority
- CN
- China
- Prior art keywords
- screenshot
- preset
- target
- model
- display interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012706 support-vector machine Methods 0.000 claims abstract description 97
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 230000001537 neural effect Effects 0.000 claims abstract description 18
- 238000011176 pooling Methods 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 32
- 238000003062 neural network model Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种工作状态识别方法、服务器、存储介质及装置，该方法包括：接收各用户终端发送的显示界面截图；根据预设卷积神经网络‑支持向量机CNN‑SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。由于所述预设CNN‑SVM模型兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN‑SVM模型对所述显示界面截图进行分类，极大地提高了分类的准确性，并且能够快速地识别对应的工作状态，进而提高了工作状态的识别效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种工作状态识别方法、服务器、存储介质及装置。
背景技术
近年来随着人们生活水平的提高和信息化建设的不断推进，电脑已经成为我们工作、学习、娱乐和生活中必不可少的工具，现在很多人的工作和学习都是在电脑上完成的，但如何判断使用电脑的用户是否在进行工作和学习是困扰管理人员的一大难题。
目前判断使用电脑的用户是否在进行工作或学习，一般采用摄像头对用户的电脑进行拍摄，随后管理人员人工对拍摄的视频进行分析，判断用户的工作状态，该过程需要花费较长时间，导致工作状态的识别效率低下。而通过机器对拍摄的视频进行工作状态识别，准确率较低。因此，如何提高工作状态的识别效率和准确率是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种工作状态识别方法、服务器、存储介质及装置，旨在解决现有技术中如何提高工作状态的识别效率和准确率的技术问题。
为实现上述目的，本发明提供一种工作状态识别方法，所述工作状态识别方法包括以下步骤：
接收各用户终端发送的显示界面截图；
通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；
在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。
优选地，所述接收各用户终端发送的显示界面截图之前，所述工作状态识别方法还包括：
获取样本界面截图和样本截图类别之间的第二对应关系；
建立第一卷积神经网络模型和第一支持向量机模型；
根据所述第二对应关系对所述第一卷积神经网络模型进行训练，获得第二卷积神经网络模型；
根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型；
将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，获得预设CNN-SVM模型。
优选地，所述根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型，具体包括：
通过所述第二卷积神经网络模型中的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量；
根据所述第二对应关系获得所述样本特征向量与所述样本截图类别之间的第三对应关系；
根据所述第三对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
优选地，所述建立第一卷积神经网络模型，具体包括：
获取预设网络结构信息，所述预设网络结构信息包括：预设卷积层数、预设池化层数和预设全连接层数；
根据所述预设卷积层数、所述预设池化层数和所述预设全连接层数建立第一卷积神经网络模型。
优选地，所述通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别，具体包括：
将所述显示界面截图输入至所述预设CNN-SVM模型中，以使所述预设CNN-SVM模型通过所述卷积层和所述池化层提取所述显示界面截图的目标特征向量，通过所述第二支持向量机模型对所述目标特征向量进行分类，并输出所述显示界面截图的目标截图类别。
优选地，所述在预设映射关系表中查找与所述目标截图类别对应的目标工作状态之后，所述工作状态识别方法还包括：
统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长。
优选地，所述在预设映射关系表中查找与所述目标截图类别对应的目标工作状态之后，所述工作状态识别方法还包括：
接收预设管理终端发送的任务信息，并从所述任务信息中提取目标终端识别号；
将所述任务信息转发至所述目标终端识别号对应的目标用户终端。
此外，为实现上述目的，本发明还提出一种服务器，所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的工作状态识别程序，所述工作状态识别程序配置为实现如上文所述的工作状态识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有工作状态识别程序，所述工作状态识别程序被处理器执行时实现如上文所述的工作状态识别方法的步骤。
此外，为实现上述目的，本发明还提出一种工作状态识别装置，所述工作状态识别装置包括：
截图接收模块，用于接收各用户终端发送的显示界面截图；
截图分类模块，用于通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；
状态查找模块，用于在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。
本发明中，通过接收各用户终端发送的显示界面截图；根据预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。由于所述预设CNN-SVM模型兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN-SVM模型对所述显示界面截图进行分类，极大地提高了分类的准确性，并且能够快速地识别对应的工作状态，进而提高了工作状态的识别效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的服务器的结构示意图；
图2为本发明工作状态识别方法第一实施例的流程示意图；
图3为本发明工作状态识别方法第二实施例和第三实施例的流程示意图；
图4为本发明工作状态识别方法一实施例中第一卷积神经网络模型的预设网络结构示意图；
图5为本发明工作状态识别方法一实施例中第二卷积神经网络模型的隐藏层的网络结构示意图；
图6为本发明工作状态识别方法一实施例中预设CNN-SVM模型的网络结构示意图；
图7为本发明工作状态识别方法第四实施例的流程示意图；
图8为本发明工作状态识别装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的服务器结构示意图。
如图1所示，该服务器可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WIi-FIi)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及工作状态识别程序。
在图1所示的服务器中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，并执行本发明实施例提供的工作状态识别方法。
所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，并执行以下操作：
接收各用户终端发送的显示界面截图；
通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；
在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。
进一步地，所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，还执行以下操作：
获取样本界面截图和样本截图类别之间的第二对应关系；
建立第一卷积神经网络模型和第一支持向量机模型；
根据所述第二对应关系对所述第一卷积神经网络模型进行训练，获得第二卷积神经网络模型；
根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型；
将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，获得预设CNN-SVM模型。
进一步地，所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，还执行以下操作：
通过所述第二卷积神经网络模型中的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量；
根据所述第二对应关系获得所述样本特征向量与所述样本截图类别之间的第三对应关系；
根据所述第三对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
进一步地，所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，还执行以下操作：
获取预设网络结构信息，所述预设网络结构信息包括：预设卷积层数、预设池化层数和预设全连接层数；
根据所述预设卷积层数、所述预设池化层数和所述预设全连接层数建立第一卷积神经网络模型。
进一步地，所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，还执行以下操作：
将所述显示界面截图输入至所述预设CNN-SVM模型中，以使所述预设CNN-SVM模型通过所述卷积层和所述池化层提取所述显示界面截图的目标特征向量，通过所述第二支持向量机模型对所述目标特征向量进行分类，并输出所述显示界面截图的目标截图类别。
进一步地，所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，还执行以下操作：
统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长。
进一步地，所述服务器通过处理器1001调用存储器1005中存储的工作状态识别程序，还执行以下操作：
接收预设管理终端发送的任务信息，并从所述任务信息中提取目标终端识别号；
将所述任务信息转发至所述目标终端识别号对应的目标用户终端。
本实施例中，通过接收各用户终端发送的显示界面截图；根据预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。由于所述预设CNN-SVM模型兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN-SVM模型对所述显示界面截图进行分类，极大地提高了分类的准确性，并且能够快速地识别对应的工作状态，进而提高了工作状态的识别效率。
基于上述硬件结构，提出本发明工作状态识别方法的实施例。
参照图2，图2为本发明工作状态识别方法第一实施例的流程示意图，提出本发明工作状态识别方法第一实施例。
在第一实施例中，所述工作状态识别方法包括以下步骤：
步骤S10：接收各用户终端发送的显示界面截图。
需要说明的是，本实施例的执行主体是所述服务器。为了进行工作状态地自动识别，将同时存在用户终端和管理终端两种类型的设备，所述用户终端为被监控的终端，所述管理终端为发起监控的终端，所述用户终端通过截取显示界面截图，并将所述显示界面截图发送至所述服务器，以使所述服务器对该显示界面截图进行分析，识别该显示界面截图对应的工作状态，并将识别结果发送至管理终端，提供给管理人员进行参考。当然，用户终端和管理终端之间能够进行信息交互，比如，管理终端向所述用户终端发送待执行任务，所述用户终端接收所述待执行任务后，将对所述待执行任务进行显示，以使所述用户终端对应的用户执行所述待执行任务。
应当理解的是，所述服务器可以实时接收单幅显示界面截图，并对该幅显示界面截图进行工作状态识别，从而能够实时的反馈当前工作状态；也可以接收预设时段的显示界面截图，从而减少了操作次数，并能够反馈预设时段的综合工作状态。
在具体实现中，所述用户终端在预设时段内每隔预设时长自动对当前显示界面进行截图，并在预设时段结束时汇总该预设时段的全部截图，打包为所述显示界面截图。例如，所述用户终端为工作电脑，所述预设时段即工作时段为8:00-12:00，预设时长为5分钟，则所述用户终端将在8:00-12:00时段内每隔5分钟进行一次自动截图，并在12：00时将该时段截取的全部图片进行打包，获得显示界面截图。
步骤S20：通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别。
可以理解的是，所述预设卷积神经网络-支持向量机(Convolutional NeuralNetwork-Support Vector Machine，CNN-SVM)模型由卷积神经网络与支持向量机组合而来，兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN-SVM模型对所述显示界面截图进行分类，能够极大地提高分类的准确性。
在本实施例中，在使用所述预设CNN-SVM模型进行分类之前，还将获取训练样本，所述训练样本为样本界面截图和样本截图类别之间的第二对应关系，通过所述训练样本进行训练，获得训练好的预设CNN-SVM模型，从而所述预设CNN-SVM模型能够预测与所述显示界面截图对应的目标截图类别。具体地，通过所述预设CNN-SVM模型对所述显示界面截图进行特征提取，并对提取出的特征进行分类，以获得所述目标截图类别。
步骤S30：在预设映射关系表中查找与所述目标截图类别对应的目标工作状态。
需要说明的是，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系，在获得所述显示界面截图的目标截图类别之后，能够在所述预设映射关系表中查找与所述目标截图类别对应的目标工作状态。
在具体实现中，以工作状态包括办公状态和娱乐状态，截图类别包括文档页面类、编程页面类、购物页面类、影视页面类和游戏页面类为例进行说明，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系，其中，文档页面类和编程页面类对应的工作状态为办公状态，购物页面类、影视页面类和游戏页面类对应的工作状态为娱乐状态。当所述目标截图类别为文档页面类时，在所述预设映射关系表中查找与文档页面类对应的目标工作状态为办公状态。
本实施例中，通过接收各用户终端发送的显示界面截图；根据预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。由于所述预设CNN-SVM模型兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN-SVM模型对所述显示界面截图进行分类，极大地提高了分类的准确性，并且能够快速地识别对应的工作状态，进而提高了工作状态的识别效率。
参照图3，图3为本发明工作状态识别方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明工作状态识别方法的第二实施例。
在第二实施例中，所述步骤S10之前，所述工作状态识别方法还包括：
步骤S01：获取样本界面截图和样本截图类别之间的第二对应关系。
应当理解的是，通过所述显示界面截图的目标截图类别查找对应的目标工作状态，为了提高工作状态的识别效率，本实施例将建立预设CNN-SVM模型，通过该预设CNN-SVM模型预测所述显示界面截图的目标截图类别，从而提高了截图类别的识别效率，进而提高了工作状态的识别效率。而为了建立预设CNN-SVM模型，将预先获取训练样本，所述训练样本为样本界面截图和样本截图类别之间的第二对应关系。
步骤S02：建立第一卷积神经网络模型和第一支持向量机模型。
可以理解的是，所述预设CNN-SVM模型由卷积神经网络与支持向量机组合而来，因此，将预先建立第一卷积神经网络模型和第一支持向量机模型，所述第一卷积神经网络模型和所述第一支持向量机模型均为训练前的模型结构，通过对所述第一卷积神经网络模型和所述第一支持向量机模型分别进行训练，将训练好的模型进行组合，以获得所述预设CNN-SVM模型。
步骤S03：根据所述第二对应关系对所述第一卷积神经网络模型进行训练，获得第二卷积神经网络模型。
需要说明的是，根据所述第二对应关系对所述第一卷积神经网络模型进行训练，获得第二卷积神经网络模型，所述第二卷积神经网络模型将能够对界面截图进行分类，预测所述界面截图对应的截图类别。
步骤S04：根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
应当理解的是，根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型，所述第二支持向量机模型将能够对界面截图进行分类，预测所述界面截图对应的截图类别。
步骤S05：将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，获得预设CNN-SVM模型。
可以理解的是，所述第二卷积神经网络模型包括输入层、卷积层、池化层、全连接层和输出层，其中，卷积层的主要作用是对图像等数据进行特征提取，每个卷积层由多个特征面组成，而多个神经元又组成一个特征面。卷积核又称为过滤器(filter)是卷积层的主要部分，卷积核可以把神经元之间的全连接改变成与神经元局部相连。卷积的过程是对输入的图像选取一部分充当样本，通过卷积操作时神经元之间权值共享减少相邻两层神经元之间参数的数量，降低了网络训练时由于参数量大造成训练困难的问题。在卷积神经网络中，每次得到的特征图都可能由上一层若干个特征图卷积而来。卷积层中采用了局部连接和权值共享，卷积层的输入为：Z(l+1)＝W(l)x(l)+b(l)，输出的结果为：x(l)＝f(Z(l))，其中，W(l)为第l层的卷积核，x(l)为上一层的输入，b(l)为偏置，f为激活函数。
池化层的主要作用是降维，在保存显著特征的同事减少图片的特征数量，在训练时极大的减少了网络连接的参数，这样可以加快计算的速率又能达到防止过拟合情况的发生，提高特征提取的速度，同时增强所提取特征的鲁棒性。如果定义池化函数为down(Rk)，那么池化层的作用过程可表示为：Xk (l+1)＝f(w(l+1)·down(Rk)+b(l+1))，其中，w(l+1)为权重，b(l+1)为偏置，Xk (l+1)为输出结果。池化层的池化过程包括最大池化或者平均池化。
全连接层一般用在卷积神经网络结构的末尾，全连接层一般情况下可以有1个或者多个，第一个全连接层与上一层的卷积层或者池化层相相连。全连接层中输入的每个结点都与其下一层结点相连，当特征图较多时产生的参数非常多，计算量因此变得很大。全连接层可以把卷积输出的二维特征图转化成(N×1)一个一维向量。全连接层中每个神经元的输出可以表示为：hwb(x)＝f(WTx+b)，其中x表示神经元的输入，hwb(x)表示神经元的最后输出结果，WT表示权重，b表示偏置，f表示激活函数。
需要说明的是，支持向量机(Support Vector Machine，SVM)是一种常用于处理有监督问题的机器学习算法，在语音识别、对象检测、图像分类和医学诊断等方面有着显著的研究和应用价值。由于全连接层的主要作用是根据特征进行分类，而支持向量机的作用也是分类，并且支持向量机的分类预测准确率较高，因此，将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，从而获得具有较高准确率的预设CNN-SVM模型。
进一步地，所述步骤S04，具体包括：
通过所述第二卷积神经网络模型中的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量；
根据所述第二对应关系获得所述样本特征向量与所述样本截图类别之间的第三对应关系；
根据所述第三对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
可以理解的是，为了提高所述第一支持向量机模型的训练效率，将通过所述第二卷积神经网络模型中的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量，并通过所述样本特征向量与所述样本截图类别之间的第三对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
在本实施例中，通过训练获得第二卷积神经网络模型，并通过第二卷积神经网络模型的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量，通过该样本特征向量训练获得第二支持向量机模型，将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，获得预设CNN-SVM模型。第二卷积神经网络模型的卷积层和池化层和第二支持向量机模型组合而成的预设CNN-SVM模型，提高了分类的准确率和效率。
继续参照图3，基于图3所示的第二实施例提出本发明工作状态识别方法的第三实施例。
在第三实施例中，所述建立第一卷积神经网络模型，具体包括：
获取预设网络结构信息，所述预设网络结构信息包括：预设卷积层数、预设池化层数和预设全连接层数；
根据所述预设卷积层数、所述预设池化层数和所述预设全连接层数建立第一卷积神经网络模型。
需要说明的是，经典的卷积神经网络结构包括：LeNet-5网络结构、AlexNet网络结构和VGG网络结构，在该三种网络结构中，卷积神经网络的结构的层次越来越深，卷积层也越来越多。卷积神经网络的层次和卷积层的增加能更好地提取特征，从而能够解决现实世界中复杂的图像、语音等复杂的问题，但在训练时会造成大量参数的问题。较佳地，本实施例采取输入层、卷积层、池化层、卷积层、池化层、卷积层、卷积层、池化层、全连接层和全连接层构建第一卷积神经网络模型，即所述预设卷积层数为四，所述预设池化层数为三，所述全连接层数为二，也即所述第一卷积神经网络模型的预设网络结构具有四层卷积层、三层池化层和两层全连接层。如图4所示，图4为第一卷积神经网络模型的预设网络结构示意图，本实施例采用该预设网络结构，减少了全连接层数，提高了卷积神经网络模型的准确性。
应当理解的是，所述预设网络结构中的参数设置如下表：
表1预设网络结构中的参数设置表
进一步地，如图5所示，图5为第二卷积神经网络模型的隐藏层的网络结构示意图，在预设CNN-SVM网络模型中，特征提取时采用第二卷积神经网络模型中的隐藏层，其中隐藏层包括卷积层和池化层。输入层的输入图片像素大小为256×256的三通道图片，第一层卷积层中卷积核的大小为11×11，步长为4。经过本层卷积操作得到32个64×64的特征图。第一层池化层，该层的输入为上一层的输出。本层的过滤器大小为3×3，步长2。池化操作得到的32个大小为31×31的特征图。第二层卷积层，该层的输入为上一层池化层的输出，本层的卷积核大小为3×3，步长为1，通过卷积计算最终得到64个大小为31×31的特征矩阵。第二层池化层，该层的输入为第二层卷积层的输出，本层采用的过滤器大小为3×3，步长为2。池化操作后得到64个15×15的特征矩阵。第三层卷积层，该层的输入为上一层池化层的输出，本层的卷积核大小为3×3，步长为1，通过卷积计算最终得到64个15×15的特征矩阵。第四层卷积层，该层的输入为上一层卷积层的输出，本层的卷积核大小为3×3，步长为1，深度为32，通过卷积计算最终得到32个15×15的特征矩阵。第四层池化层，该层的输入为上层卷积层的输出，本层采用的过滤器大小为3×3，步长为2，最终得到32个7×7大小的特征矩阵。为了得到较好的网络参数并增加模型的复用和做离线测试，训练完成后对模型保存。在训练时使用了两个全连接层，第一个全连接层，将输入7×7×32特征矩阵转换成向量，输出为500个节点。第二个全连接层，经过该层把500节输入特征值转变成5个。
需要说明的是，所述第二卷积神经网络模型的输入图像大小为256×256的彩色图像，与LeNet-5输入的32×32的灰阶图相比更大，图像在传入神经网络时可以保存更多的特征。所述第二卷积神经网络模型只有两个全连接层在训练网络时能降低全连接层造成过拟合情况的发生。LeNet-5网络在训练时最多产生16个特征图，而所述第二卷积神经网络模型的最多可以产生64个特征图，生成更多的特征图对图像的特征提取能力更强，其效果更好。通过调整输入图像尺寸、增加卷积层数量、减少全连接层数量等措施设计的预设网络结构，使得所述第二卷积神经网络模型的分类准确率达到99.00％，基本满足应用需求。
进一步地，如图6所示，图6为预设CNN-SVM模型的网络结构示意图，图中SVC是SVM在具体实现时采用的方法在这里用SVC表示。在预设CNN-SVM模型中，采用CNN中的卷积层和池化层对输入的数据进行特征提取，原来CNN网络中使用的全连接层则被SVM代替，提取后的特征值作为SVM的输入通过计算实现分类。较佳地，采用Linear核函数的预设CNN-SVM模型准确率最高、效果最明显，其准确率达到了99.93％。
进一步地，所述步骤S20，具体包括：
将所述显示界面截图输入至所述预设CNN-SVM模型中，以使所述预设CNN-SVM模型通过所述卷积层和所述池化层提取所述显示界面截图的目标特征向量，通过所述第二支持向量机模型对所述目标特征向量进行分类，并输出所述显示界面截图的目标截图类别。
可以理解的是，将所述显示界面截图输入至所述预设CNN-SVM模型中，所述预设CNN-SVM模型将通过所述卷积层和所述池化层提取所述显示界面截图的目标特征向量，并通过所述第二支持向量机模型对所述目标特征向量进行分类，最终输出所述显示界面截图的目标截图类别。
在本实施例中，通过四层卷积层、三层池化层和两层全连接层建立预设网络结构的第一卷积神经网络模型，减少了全连接层数，提高了卷积神经网络模型的准确性。
参照图7，图7为本发明工作状态识别方法第四实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明工作状态识别方法的第四实施例。
在第三实施例中，所述步骤S30之后，所述工作状态识别方法还包括：
步骤S40：统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长。
需要说明的是，为使用户终端和管理终端能够通过统一平台进行信息交互，本实施例开发了相应的桌面监控软件，所述用户终端和所述管理终端均安装有所述桌面监控软件，所述服务器为所述桌面监控软件的管理后台。用户终端在使用桌面监控软件时启动自动截屏功能，会产生很多图片如果把截图保存在本地上，软件长时间使用会产生大量图片，占用用户大量的存储空间。本实施例采取共享文件夹的形式来接收用户终端发来的截图，并以“用户IP地址//时间(年月日)”为目录创建对应文件夹，存放用户不同日期的显示界面截图。截图包含了用户的工作期间的图片和对应的时间信息(以截取桌面的时间对图片进行命名)，为服务器和管理终端提供更多的用户工作信息。
在具体实现中，对所述显示界面截图进行识别分类是软件的一个最重要的功能，服务器在接收到客户端发来的图片后保存在服务器中。为了很好地监控服务器文件的更新变化，利用Timer在服务器中设置一个定时器，每隔24小时获取文件更新的具体路径，然后对路径对应的文件进行统一识别分类，对图片的文件名重新命名在图片的文件名后增加0、1、2、3和4的标识。JavaSE1.7提供了相关的应用程序编程接口(Application ProgrammingInterface，API)，来监视文件或者文件夹的变动，主要的API在java.nio.file下，主要采用以下两个步骤实现：(1)利用Timer的定时循环执行代码的功能；(2)利用WatchService实时监听文件夹是否有新文件增加，并用HashSet保存变化的文件所在的路径。对所述显示界面截图的识别，需要调用训练好的所述预设CNN-SVM模型。Java程序需要调用Python代码以及CNN模型和SVM模型。在具体实现时使用Runtime.getRuntime()执行Python脚本文件，在Python文件中使用了很多第三方库文件，采用该方法可以运行含有Python第三方库的程序，主要代码如下所示：
Process proc＝Runtime.getRuntime().exec("cmd/c python"
+"D:\\Workspace\\PyCharm2017\\Temp\\cnn-svm-pretict-all.py"+""+path)。
可以理解的是，所述用户终端在预设时段内每隔预设时长自动对当前显示界面进行截图，并在预设时段结束时汇总该预设时段的全部截图，打包为所述显示界面截图。所述服务器通过所述预设CNN-SVM模型识别所述显示界面截图的目标截图类别，并在预设映射关系表中查找对应的目标工作状态，根据所述目标工作状态对所述显示界面截图设置标识。所述服务器根据该标识统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长。首先选择日期对应的文件夹，如果文件夹中的显示界面截图识别为办公状态，则对当前工作时长加上预设时长，最后当前工作时长汇总并显示有效工作时长。
进一步地，所述步骤S30之后，所述工作状态识别方法还包括：
步骤S50：接收预设管理终端发送的任务信息，并从所述任务信息中提取目标终端识别号。
步骤S60：将所述任务信息转发至所述目标终端识别号对应的目标用户终端。
需要说明的是，管理终端能够向所述用户终端发送待执行任务，一般地，管理终端管辖多个用户终端，当所述服务器接收预设管理终端发送的任务信息，并从所述任务信息中提取目标终端识别号，将所述任务信息转发至所述目标终端识别号对应的目标用户终端，所述目标用户终端接收所述待执行任务后，将对所述待执行任务进行显示，以使所述目标用户终端对应的目标用户执行所述待执行任务。
在具体实现中，所述桌面监控软件在所述用户终端还具有登录、运行管理和截图管理等功能，其中，运行管理包括：控制截图操作的开始、暂停和结束，截图管理包括查看截图。所述桌面监控软件在所述管理终端还具有登录、用户信息管理、截图管理、工作状态显示、工作时间统计等功能，其中，截图管理包括截图查看和截图删除。
在本实施例中，通过统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长，能够在一定程度上辅助管理人员作出合理的决策。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有工作状态识别程序，所述工作状态识别程序被处理器执行时实现如下步骤：
接收各用户终端发送的显示界面截图；
通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；
在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。
进一步地，所述工作状态识别程序被处理器执行时还实现如下操作：
获取样本界面截图和样本截图类别之间的第二对应关系；
建立第一卷积神经网络模型和第一支持向量机模型；
根据所述第二对应关系对所述第一卷积神经网络模型进行训练，获得第二卷积神经网络模型；
根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型；
将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，获得预设CNN-SVM模型。
进一步地，所述工作状态识别程序被处理器执行时还实现如下操作：
通过所述第二卷积神经网络模型中的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量；
根据所述第二对应关系获得所述样本特征向量与所述样本截图类别之间的第三对应关系；
根据所述第三对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
进一步地，所述工作状态识别程序被处理器执行时还实现如下操作：
获取预设网络结构信息，所述预设网络结构信息包括：预设卷积层数、预设池化层数和预设全连接层数；
根据所述预设卷积层数、所述预设池化层数和所述预设全连接层数建立第一卷积神经网络模型。
进一步地，所述工作状态识别程序被处理器执行时还实现如下操作：
将所述显示界面截图输入至所述预设CNN-SVM模型中，以使所述预设CNN-SVM模型通过所述卷积层和所述池化层提取所述显示界面截图的目标特征向量，通过所述第二支持向量机模型对所述目标特征向量进行分类，并输出所述显示界面截图的目标截图类别。
进一步地，所述工作状态识别程序被处理器执行时还实现如下操作：
统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长。
进一步地，所述工作状态识别程序被处理器执行时还实现如下操作：
接收预设管理终端发送的任务信息，并从所述任务信息中提取目标终端识别号；
将所述任务信息转发至所述目标终端识别号对应的目标用户终端。
本实施例中，通过接收各用户终端发送的显示界面截图；根据预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。由于所述预设CNN-SVM模型兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN-SVM模型对所述显示界面截图进行分类，极大地提高了分类的准确性，并且能够快速地识别对应的工作状态，进而提高了工作状态的识别效率。
此外，参照图8，本发明实施例还提出一种工作状态识别装置，所述工作状态识别装置包括：
截图接收模块10，用于接收各用户终端发送的显示界面截图。
需要说明的是，为了进行工作状态地自动识别，将同时存在用户终端和管理终端两种类型的设备，所述用户终端为被监控的终端，所述管理终端为发起监控的终端，所述用户终端通过截取显示界面截图，并将所述显示界面截图发送至所述服务器，以使所述服务器对该显示界面截图进行分析，识别该显示界面截图对应的工作状态，并将识别结果发送至管理终端，提供给管理人员进行参考。当然，用户终端和管理终端之间能够进行信息交互，比如，管理终端向所述用户终端发送待执行任务，所述用户终端接收所述待执行任务后，将对所述待执行任务进行显示，以使所述用户终端对应的用户执行所述待执行任务。
应当理解的是，所述服务器可以实时接收单幅显示界面截图，并对该幅显示界面截图进行工作状态识别，从而能够实时的反馈当前工作状态；也可以接收预设时段的显示界面截图，从而减少了操作次数，并能够反馈预设时段的综合工作状态。
在具体实现中，所述用户终端在预设时段内每隔预设时长自动对当前显示界面进行截图，并在预设时段结束时汇总该预设时段的全部截图，打包为所述显示界面截图。例如，所述用户终端为工作电脑，所述预设时段即工作时段为8:00-12:00，预设时长为5分钟，则所述用户终端将在8:00-12:00时段内每隔5分钟进行一次自动截图，并在12：00时将该时段截取的全部图片进行打包，获得显示界面截图。
截图分类模块20，用于通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别。
可以理解的是，所述预设卷积神经网络-支持向量机(Convolutional NeuralNetwork-Support Vector Machine，CNN-SVM)模型由卷积神经网络与支持向量机组合而来，兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN-SVM模型对所述显示界面截图进行分类，能够极大地提高分类的准确性。
在本实施例中，在使用所述预设CNN-SVM模型进行分类之前，还将获取训练样本，所述训练样本为样本界面截图和样本截图类别之间的第二对应关系，通过所述训练样本进行训练，获得训练好的预设CNN-SVM模型，从而所述预设CNN-SVM模型能够预测与所述显示界面截图对应的目标截图类别。具体地，通过所述预设CNN-SVM模型对所述显示界面截图进行特征提取，并对提取出的特征进行分类，以获得所述目标截图类别。
状态查找模块30，用于在预设映射关系表中查找与所述目标截图类别对应的目标工作状态。
需要说明的是，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系，在获得所述显示界面截图的目标截图类别之后，能够在所述预设映射关系表中查找与所述目标截图类别对应的目标工作状态。
在具体实现中，以工作状态包括办公状态和娱乐状态，截图类别包括文档页面类、编程页面类、购物页面类、影视页面类和游戏页面类为例进行说明，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系，其中，文档页面类和编程页面类对应的工作状态为办公状态，购物页面类、影视页面类和游戏页面类对应的工作状态为娱乐状态。当所述目标截图类别为文档页面类时，在所述预设映射关系表中查找与文档页面类对应的目标工作状态为办公状态。
本实施例中，通过接收各用户终端发送的显示界面截图；根据预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。由于所述预设CNN-SVM模型兼具卷积神经网络的特征提取能力和支持向量机的分类预测能力，通过所述预设CNN-SVM模型对所述显示界面截图进行分类，极大地提高了分类的准确性，并且能够快速地识别对应的工作状态，进而提高了工作状态的识别效率。
在一实施例中，所述工作状态识别装置还包括：
模型建立模块，用于获取样本界面截图和样本截图类别之间的第二对应关系；建立第一卷积神经网络模型和第一支持向量机模型；根据所述第二对应关系对所述第一卷积神经网络模型进行训练，获得第二卷积神经网络模型；根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型；将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，获得预设CNN-SVM模型。
在一实施例中，所述模型建立模块，还用于通过所述第二卷积神经网络模型中的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量；根据所述第二对应关系获得所述样本特征向量与所述样本截图类别之间的第三对应关系；根据所述第三对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
在一实施例中，所述模型建立模块，还用于获取预设网络结构信息，所述预设网络结构信息包括：预设卷积层数、预设池化层数和预设全连接层数；根据所述预设卷积层数、所述预设池化层数和所述预设全连接层数建立第一卷积神经网络模型。
在一实施例中，所述截图分类模块20，还用于将所述显示界面截图输入至所述预设CNN-SVM模型中，以使所述预设CNN-SVM模型通过所述卷积层和所述池化层提取所述显示界面截图的目标特征向量，通过所述第二支持向量机模型对所述目标特征向量进行分类，并输出所述显示界面截图的目标截图类别。
在一实施例中，所述工作状态识别装置还包括：
时长计算模块，用于统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长。
在一实施例中，所述工作状态识别装置还包括：
任务管理模块，用于接收预设管理终端发送的任务信息，并从所述任务信息中提取目标终端识别号；将所述任务信息转发至所述目标终端识别号对应的目标用户终端。
本发明所述工作状态识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种工作状态识别方法，其特征在于，所述工作状态识别方法包括以下步骤：
接收各用户终端发送的显示界面截图；
通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；
在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。
2.如权利要求1所述的工作状态识别方法，其特征在于，所述接收各用户终端发送的显示界面截图之前，所述工作状态识别方法还包括：
获取样本界面截图和样本截图类别之间的第二对应关系；
建立第一卷积神经网络模型和第一支持向量机模型；
根据所述第二对应关系对所述第一卷积神经网络模型进行训练，获得第二卷积神经网络模型；
根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型；
将所述第二卷积神经网络模型中的全连接层替换为所述第二支持向量机模型，获得预设CNN-SVM模型。
3.如权利要求2所述的工作状态识别方法，其特征在于，所述根据所述第二对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型，具体包括：
通过所述第二卷积神经网络模型中的卷积层和池化层对所述样本截图进行特征提取，获得所述样本界面截图的样本特征向量；
根据所述第二对应关系获得所述样本特征向量与所述样本截图类别之间的第三对应关系；
根据所述第三对应关系对所述第一支持向量机模型进行训练，获得第二支持向量机模型。
4.如权利要求2所述的工作状态识别方法，其特征在于，所述建立第一卷积神经网络模型，具体包括：
获取预设网络结构信息，所述预设网络结构信息包括：预设卷积层数、预设池化层数和预设全连接层数；
根据所述预设卷积层数、所述预设池化层数和所述预设全连接层数建立第一卷积神经网络模型。
5.如权利要求4所述的工作状态识别方法，其特征在于，所述通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别，具体包括：
将所述显示界面截图输入至所述预设CNN-SVM模型中，以使所述预设CNN-SVM模型通过所述卷积层和所述池化层提取所述显示界面截图的目标特征向量，通过所述第二支持向量机模型对所述目标特征向量进行分类，并输出所述显示界面截图的目标截图类别。
6.如权利要求1-5中任一项所述的工作状态识别方法，其特征在于，所述在预设映射关系表中查找与所述目标截图类别对应的目标工作状态之后，所述工作状态识别方法还包括：
统计所述目标工作状态的类型和数量，并根据统计结果计算所述用户终端对应的有效工作时长。
7.如权利要求1-5中任一项所述的工作状态识别方法，其特征在于，所述在预设映射关系表中查找与所述目标截图类别对应的目标工作状态之后，所述工作状态识别方法还包括：
接收预设管理终端发送的任务信息，并从所述任务信息中提取目标终端识别号；
将所述任务信息转发至所述目标终端识别号对应的目标用户终端。
8.一种服务器，其特征在于，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的工作状态识别程序，所述工作状态识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的工作状态识别方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有工作状态识别程序，所述工作状态识别程序被处理器执行时实现如权利要求1至7中任一项所述的工作状态识别方法的步骤。
10.一种工作状态识别装置，其特征在于，所述工作状态识别装置包括：
截图接收模块，用于接收各用户终端发送的显示界面截图；
截图分类模块，用于通过预设卷积神经网络-支持向量机CNN-SVM模型对所述显示界面截图进行分类，获得所述显示界面截图的目标截图类别；
状态查找模块，用于在预设映射关系表中查找与所述目标截图类别对应的目标工作状态，所述预设映射关系表中包括截图类别与工作状态之间的第一对应关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011242715.XA CN112348089B (zh) | 2020-11-10 | 2020-11-10 | 工作状态识别方法、服务器、存储介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011242715.XA CN112348089B (zh) | 2020-11-10 | 2020-11-10 | 工作状态识别方法、服务器、存储介质及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348089A true CN112348089A (zh) | 2021-02-09 |
| CN112348089B CN112348089B (zh) | 2024-01-16 |
Family
ID=74362288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011242715.XA Active CN112348089B (zh) | 2020-11-10 | 2020-11-10 | 工作状态识别方法、服务器、存储介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348089B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985467A (zh) * | 2020-08-20 | 2020-11-24 | 厦门美图之家科技有限公司 | 聊天记录截图处理方法、装置、计算机设备和存储介质 |
| CN113608984A (zh) * | 2021-07-30 | 2021-11-05 | 北京北信源软件股份有限公司 | 显示内容分析方法、装置、服务器和存储介质 |
| CN113791781A (zh) * | 2021-09-09 | 2021-12-14 | 南京大学 | 一种基于图神经网络的界面功能场景划分方法和装置 |
| CN113806174A (zh) * | 2021-09-18 | 2021-12-17 | 南京雷鲨信息科技有限公司 | 一种手机游戏状态的监控方法、系统 |
| CN113965737A (zh) * | 2021-08-31 | 2022-01-21 | 乐歌人体工学科技股份有限公司 | 基于智能升降桌的智能健康监测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657694A (zh) * | 2018-10-26 | 2019-04-19 | 平安科技（深圳）有限公司 | 图片自动分类方法、装置及计算机可读存储介质 |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| WO2020007363A1 (zh) * | 2018-07-06 | 2020-01-09 | 京东数字科技控股有限公司 | 识别目标数量的方法、装置及计算机可读存储介质 |
| WO2020108085A1 (zh) * | 2018-11-30 | 2020-06-04 | Oppo广东移动通信有限公司 | 资源配置方法、装置、终端及存储介质 |
-
2020
- 2020-11-10 CN CN202011242715.XA patent/CN112348089B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020007363A1 (zh) * | 2018-07-06 | 2020-01-09 | 京东数字科技控股有限公司 | 识别目标数量的方法、装置及计算机可读存储介质 |
| CN109657694A (zh) * | 2018-10-26 | 2019-04-19 | 平安科技（深圳）有限公司 | 图片自动分类方法、装置及计算机可读存储介质 |
| WO2020108085A1 (zh) * | 2018-11-30 | 2020-06-04 | Oppo广东移动通信有限公司 | 资源配置方法、装置、终端及存储介质 |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李巧玲;关晴骁;赵险峰;: "基于卷积神经网络的图像生成方式分类方法", 网络与信息安全学报, no. 09, pages 44 - 52 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985467A (zh) * | 2020-08-20 | 2020-11-24 | 厦门美图之家科技有限公司 | 聊天记录截图处理方法、装置、计算机设备和存储介质 |
| CN111985467B (zh) * | 2020-08-20 | 2024-03-29 | 厦门美图之家科技有限公司 | 聊天记录截图处理方法、装置、计算机设备和存储介质 |
| CN113608984A (zh) * | 2021-07-30 | 2021-11-05 | 北京北信源软件股份有限公司 | 显示内容分析方法、装置、服务器和存储介质 |
| CN113965737A (zh) * | 2021-08-31 | 2022-01-21 | 乐歌人体工学科技股份有限公司 | 基于智能升降桌的智能健康监测方法及系统 |
| CN113791781A (zh) * | 2021-09-09 | 2021-12-14 | 南京大学 | 一种基于图神经网络的界面功能场景划分方法和装置 |
| CN113791781B (zh) * | 2021-09-09 | 2023-07-18 | 南京大学 | 一种基于图神经网络的界面功能场景划分方法和装置 |
| CN113806174A (zh) * | 2021-09-18 | 2021-12-17 | 南京雷鲨信息科技有限公司 | 一种手机游戏状态的监控方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348089B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348089A (zh) | 工作状态识别方法、服务器、存储介质及装置 | |
| US20210256320A1 (en) | Machine learning artificialintelligence system for identifying vehicles | |
| US8526728B2 (en) | Establishing clusters of user preferences for image enhancement | |
| JP2020515983A (ja) | 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体 | |
| CN110781422B (zh) | 页面配置方法、装置、计算机设备及存储介质 | |
| WO2019056503A1 (zh) | 门店监控评价方法、装置及存储介质 | |
| CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
| CN112182295B (zh) | 基于行为预测的业务处理方法、装置及电子设备 | |
| JP2016029568A (ja) | 線形識別器、大規模一般物体認識装置、電子計算機、モバイル端末、データ処理装置、および画像認識システム | |
| CN111126626A (zh) | 一种训练方法、装置、服务器、平台及存储介质 | |
| CN113962199B (zh) | 文本识别方法、装置、设备、存储介质及程序产品 | |
| CN115240203A (zh) | 业务数据处理方法、装置、设备及存储介质 | |
| CN110874570A (zh) | 面部识别方法、装置、设备及计算机可读存储介质 | |
| CN110633733A (zh) | 图像智能匹配方法、装置及计算机可读存储介质 | |
| CN112363919B (zh) | 用户界面ai自动化测试方法、装置、设备和存储介质 | |
| CN110598028A (zh) | 图像分类方法、装置及存储介质、电子设备 | |
| CN115082999A (zh) | 合影图像人物分析方法、装置、计算机设备和存储介质 | |
| CN116363407A (zh) | 图像分类方法、装置、设备及存储介质 | |
| CN110929118B (zh) | 网络数据处理方法、设备、装置、介质 | |
| CN112418244A (zh) | 目标检测方法、装置和电子系统 | |
| CN110990614A (zh) | 基于引擎大数据的图片自学习方法、装置、设备及介质 | |
| CN111401317A (zh) | 视频分类方法、装置、设备及存储介质 | |
| CN111797922A (zh) | 文本图像分类方法及装置 | |
| CN114781557B (zh) | 图像信息获取方法及装置、计算机可读存储介质 | |
| CN113535594B (zh) | 业务场景测试用例的生成方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |