CN114595124B - 时序异常检测模型评估方法、相关装置及存储介质 - Google Patents

时序异常检测模型评估方法、相关装置及存储介质 Download PDF

Info

Publication number
CN114595124B
CN114595124B CN202210500143.3A CN202210500143A CN114595124B CN 114595124 B CN114595124 B CN 114595124B CN 202210500143 A CN202210500143 A CN 202210500143A CN 114595124 B CN114595124 B CN 114595124B
Authority
CN
China
Prior art keywords
model
target
detection
result
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210500143.3A
Other languages
English (en)
Other versions
CN114595124A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202210500143.3A priority Critical patent/CN114595124B/zh
Publication of CN114595124A publication Critical patent/CN114595124A/zh
Application granted granted Critical
Publication of CN114595124B publication Critical patent/CN114595124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例涉及机器学习技术领域，并提供时序异常检测模型评估方法、相关装置及存储介质，可先根据业务类型从多个时序异常检测模型中确定待评估模型，然后对待评估模型进行模型训练和测试，之后将测试输出的检测结果与目标基准数据基于同类型样本合并策略得到目标匹配结果，最后将目标匹配结果基于模型评估策略确定模型评估分值。在充分考虑业务类型再确定适用的时序异常检测模型，能够更动态的选择模型进行时序异常检测，避免所有场景都选定同一个模型。而且采用了同类型样本合并策略对检测结果与目标基准数据的匹配结果进行调整，可将匹配结果中同类型样本合并，有效降低持续同类型样本对评估分值的影响。

Description

时序异常检测模型评估方法、相关装置及存储介质
技术领域
本申请实施例涉及人工智能的机器学习技术领域，尤其涉及时序异常检测模型评估方法、相关装置及存储介质。
背景技术
随着人工智能技术的飞速发展，工业界掀起自动化与智能化的浪潮。基于人工智能技术的时间序列异常检测方法也得到了广泛应用，以对复杂的工业系统、云服务器、网络设备等实现实时的工作状态监测，并辅助进行自动化的运营维护。而在人工智能技术的多个时间序列异常检测方法中选择性能更优的方法，能够实现更准确的异常点检测。
目前，针对人工智能技术的多个时间序列异常检测方法进行模型评估时，通常是将时序序列异常检测任务看作是一个二分类问题，且常用的评估方法有以下两类：
1、第一类是使用F1-score衡量模型的检测性能，具体是统计真阳性样本（TP），假阳性样本（FP），假阴性样本（FN）以及真阴性样本（TN）的数量，计算异常告警的精确率（precision）、召回率（recall），进而得到F1-score（F1-score是分类问题的一个衡量指标）。在计算F1-score之前，还可以通过Point-adjust评价策略（Point-adjust评价策略即点调整评价策略）对真阳性样本（TP）和假阴性样本（FN）进行调整。Point-adjust评价策略具体是：设立一个最大告警延迟，对于一段连续时间的异常，如果模型在此段内第一个告警处在最大告警延迟之内，则整段异常内所有时间步都记作真阳性样本（TP），否则全部记作假阴性样本（FN）。Point-adjust评价策略不影响FP的数量，经过Point-adjust评价策略调整的F1-score相较于不经过调整的F1-score会更高。
2、第二类是通过遍历可能的告警阈值，绘制接受者操作特征曲线（ROC curve），计算该曲线下的面积（the area under the receiver operating characteristic curve，AUROC），来指示异常检测模型的性能。
但是上述两类方案中，对时序异常检测模型的评价指标并未考虑实际应用场景中的实时性特征，评测时使用了异常持续时间这一概念，而异常持续时间在实时应用场景下并不存在，因此评测结果并不能代表实际应用场景下的性能优劣。
而且时序异常检测模型的评价指标受异常持续时间概念的影响，主要体现在评价指标受到大量真阳性样本（TP）的过度影响，评价指标获取的过程中对于误警（误警对应假阳性样本FP）不敏感，导致指标普遍偏高，普遍高估了目前时序异常检测模型的性能。由此可见，目前的时序异常检测模型评估方式存在评估结果准确度不高的问题。
发明内容
本申请实施例提供了时序异常检测模型评估方法、相关装置及存储介质，能够根据业务类型确定当前适用的待评估模型，通过修正了现有评测方法中侧重的静态评价，充分考虑了模型的实时可用性，而且避免了异常持续时间对模型评估重要指标造成偏高影响，提高了时序异常检测模型评估的准确率。
第一方面中，从服务器角度介绍本申请实施例提供的一种时序异常检测模型评估方法，其中，所述方法包括：
根据业务类型从多个时序异常检测模型中确定待评估模型；
根据所述待评估模型从训练数据集中确定目标训练集；
通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型；
获取与所述目标训练集对应的目标基准数据和目标测试数据；
将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果；
基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果；
根据预设的模型评估策略和目标匹配结果确定模型评估分值。
第二方面中，本申请实施例提供一种模型评估装置，具有实现对应于上述第一方面提供的时序异常检测模型评估方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
一种可能的设计中，所述装置包括：
收发模块及处理模块；
所述处理模块用于控制所述收发模块的收发操作；
所述处理模块，用于根据业务类型从多个时序异常检测模型中确定待评估模型；根据所述待评估模型从训练数据集中确定目标训练集；通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型；获取与所述目标训练集对应的目标基准数据和目标测试数据；
所述处理模块，还用于将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果；基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果；根据预设的模型评估策略和目标匹配结果确定模型评估分值。
本申请实施例又一方面提供了一种模型评估装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面、第一方面中的各种可能的设计中提供的方法。
本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面、第一方面中的各种可能的设计中提供的方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面、第一方面中的各种可能的设计所提供的方法。
相较于现有技术，本申请实施例提供的方案中，在工业数据获取场景、互联网数据获取场景等业务类型中，服务器在先根据业务类型从多个时序异常检测模型中确定待评估模型后，由于基于业务类型实时选定了适用的待评估模型，所以对待评估模型进行模型训练和测试后，就能基于预设的同类型样本合并策略将测试输出的检测结果与目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果，根据预设的模型评估策略和目标匹配结果确定模型评估分值。由此可见，本申请实施例充分考虑了业务类型后再确定当前场景适用的时序异常检测模型，能够更动态的选择模型进行时序异常检测，避免所有场景都选定同一个时序异常检测模型。而且采用了同类型样本合并策略对所述检测结果与目标基准数据的初始匹配结果进行调整，可以将匹配结果中同类型样本合并，有效降低持续同类型样本对模型评估分值的影响。
附图说明
图1为本申请实施例提供的一种通讯系统的应用场景示意图；
图2为本申请实施例中时序异常检测模型评估方法的流程示意图；
图3a为本申请实施例中在工业数据获取场景下数据交互的示意图；
图3b为本申请实施例中在工业数据获取场景下数据交互的示意图；
图4为本申请实施例中时序异常检测模型评估方法的再一流程示意图；
图5为本申请实施例中时序异常检测模型评估方法的结构示意图；
图6为本申请实施例中服务器的一种结构示意图；
图7为本申请实施例中服务终端的一种结构示意图；
图8为本申请实施例中服务器的一种结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个装置中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例供了一种时序异常检测模型评估方法、相关装置及存储介质，可用于服务器，服务器可用于执行从多个时序异常检测模型中基于业务类型确定待评估模型并进行模型评估在模型评估通过后，用户设备则可上传待评估时序数据至服务器中基于待评估模型进行异常值检测。例如，在工业数据获取场景、互联网数据获取场景时，异常值检测结果可用于确定工业设备或是互联网设备是否存在故障。该方案可应用于服务器或服务终端。本申请实施例以应用于服务器为例，当应用于服务终端侧，可参考对应用于服务器的实施例，不作赘述。
本申请实施例的方案可基于人工智能技术实现，具体来说涉及人工智能技术中的机器学习技术领域，下面将分别进行介绍。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互装置、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例的方案可基于云技术实现，具体来说涉及云技术中的云计算、云存储和数据库等技术领域，下面将分别进行介绍。
云技术（Cloud technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术（Cloudtechnology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。本申请实施例可通过云技术对终端下发提示信息，发送目标会话的页面等，以及从终端获取会话记录。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统 (以下简称存储系统）是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备（存储设备也称之为存储节点）通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。在本申请实施例中，可将网络配置、配置实例、配置模型、转换模板、划分的网络区域等信息均保存在该数据库中，便于服务器调取。
目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识（ID，ID entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量（该估量往往相对于实际要存储的对象的容量有很大余量）和独立冗余磁盘阵列（RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
数据库管理系统（英语：Database Management System，简称DBMS）是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML（Extensible MarkupLanguage,即可扩展标记语言）；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL（结构化查询语言(Structured QueryLanguage)、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。在本申请实施例中，可将多个时序异常检测模型存储在该数据库中，便于服务器调取。
其中，需要特别说明的是，本申请实施例涉及的服务终端，可以是指向服务终端提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话（或称为“蜂窝”电话）和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务（英文全称：Personal Communication Service，英文简称：PCS）电话、无绳电话、会话发起协议（SIP）话机、无线本地环路（Wireless LocalLoop，英文简称：WLL）站、个人数字助理（英文全称：Personal Digital Assistant，英文简称：PDA）等设备。
在服务终端进行时，服务终端需先存储多个时序异常检测模型。具体来说，服务终端用于存储、训练、测试、评估时序异常检测模型。
本申请实施例中，服务终端是先获取业务类型，然后根据业务类型从多个时序异常检测模型中确定待评估模型，之后从训练数据集中确定目标训练集、目标基准数据和目标测试数据；并且通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型；
在得到当前检测模型后，先将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果；之后基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果；最后根据预设的模型评估策略和目标匹配结果确定模型评估分值。
一些实施方式中，该时序异常检测模型评估方法应用于在服务器中基于业务类型获取待评估模型并对其进行模型评估时，主要涉及服务器和多个用户设备，如图1所示的一种通讯系统，该通讯系统包括服务器和多个用户设备，任意一个用户设备与服务器建立通讯连接，并对应上传业务类型及待评估时序数据。首先是业务类型由用户设备经网络发送至服务器，服务器在接收到业务类型后，在服务器中从多个时序异常检测模型中确定待评估模型，之后基于服务器中的目标训练集、目标基准数据和目标测试数据对待评估模型进行模型训练和模型测试验证后，得到模型评估分值。服务器所得到的待评估模型和模型评估分值可经过网络向用户设备发送，以供用户获取最终的模型评估结果。
其中，需要特别说明的是，本申请涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例涉及的服务终端，该服务终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、个人数字助理（英文全称：Personal DigitalAssistant，英文简称：PDA）、台式计算机、智能手表等携带多媒体数据处理功能（例如，视频数据播放功能、音乐数据播放功能）的智能终端，但并不局限于此。
本申请实施例主要提供以下技术方案：
服务器先根据业务类型从多个时序异常检测模型中确定待评估模型，然后对待评估模型进行模型训练和测试，之后将测试输出的检测结果与目标基准数据基于预设的同类型样本合并策略得到目标匹配结果，最后根据预设的模型评估策略和目标匹配结果确定模型评估分值。
下面，将结合几个实施例对本申请技术方案进行详细的介绍说明。
如图2所示，以下介绍本申请实施例所提供的一种时序异常检测模型评估方法，本申请实施例包括：
201、用户设备向服务器发送业务类型。
在本申请实施例中，用户设备具体可以是工业系统、云服务器、网络设备等待监测工作状态的设备，多台用户设备均可以与服务器建立通讯连接以进行基于实时业务类型的时序异常检测模型评估。本申请中是以一台用户设备与服务器的交互以进行时序异常检测模型评估为例来说明本申请的技术方案，其他用户设备与服务器进行交互以进行时序异常检测模型评估的过程完全参考本申请所举例的一台用户设备与服务器的具体交互过程。
为了在服务器中快速完成对时序异常检测模型评估，首先是用户设备向服务器发送业务类型，服务器在接收到了用户设备上传的业务类型（如工业数据获取场景、互联网数据获取场景等场景）后，可以更加灵活的基于业务类型来从多个时序异常检测模型调度最适合的模型，来作为该业务类型所适用的时序异常检测模型。可见，在充分考虑了业务类型后再确定当前场景适用的时序异常检测模型，能够更动态的选择模型进行时序异常检测，避免所有场景都选定同一个时序异常检测模型。
202、服务器根据业务类型从多个时序异常检测模型中确定待评估模型。
在本申请实施例中，服务器中预先存储了多个时序异常检测模型，如基于预测与统计的时序数据异常检测模型、ARIMA 模型（ARIMA 全称是Autoregressive IntegratedMoving Average Model，表示自回归积分滑动平均模型）、季节性差分与OneClass-SVM组合模型（OneClass-SVM即单分类支持向量机）、基于自编码器的异常检测模型，且服务器中所存储的各个时序异常检测模型分别适用于不同场景的时序数列的异常检测。由于用户设备已将业务类型上传至服务器，故在服务器中能快速基于所述业务类型从多个时序异常检测模型中确定适合当前场景的待评估模型。
由于在服务器中部署了多个时序异常检测模型，每一时序异常检测模型的性能不同，且在不同的应用场景（应用场景也可以理解为业务类型）下各有时序异常检测的优势，故此时需要先在服务器中基于业务类型从多个时序异常检测模型中确定该场景适用的模型作为待评估模型。可见，基于上述方式，将业务类型作为确定待评估模型的重要参数，能更准确的选定时序异常检测模型。下面分别从基于时序异常检测模型的最佳适用场景、基于时序异常检测模型的模型标签等具体业务场景介绍如何从多个时序异常检测模型中确定待评估模型：
方式1、根据各时序异常检测模型的最佳适用场景确定待评估模型
一些实施方式中，作为所述根据业务类型从多个时序异常检测模型中确定待评估模型的第一实施例，其具体包括：
若确定所述业务类型为工业数据获取场景，从所述多个时序异常检测模型中确定匹配度大于第一匹配度阈值的任意时序异常检测模型作为所述待评估模型；
若确定所述业务类型为互联网数据获取场景，从所述多个时序异常检测模型中确定匹配度大于第二匹配度阈值的任意时序异常检测模型作为所述待评估模型。
在本申请实施例中，可预先在服务器中将多个时序异常检测模型进行分组，且至少分为两个模型分组。其中一组是适用于工业数据获取场景的模型，另一组是适用于互联网数据获取场景的模型。在确定了业务类型具体是对应工业数据获取场景或是互联网数据获取场景后，可以在对应模型分组中选定最适合当前场景的目标时序异常检测模型作为所述待评估模型。其中，从所述多个时序异常检测模型中确定匹配度大于第一匹配度阈值的任意时序异常检测模型作为所述待评估模型时，是在工业数据获取场景对应的模型分组中获取多个与工业数据获取场景匹配度超出预设的第一匹配度阈值的时序异常检测模型，并从其中任意选定一个时序异常检测模型作为所述待评估模型。同样的，从所述多个时序异常检测模型中确定匹配度大于第二匹配度阈值的任意时序异常检测模型作为所述待评估模型时，是在互联网数据获取场景对应的模型分组中获取多个与互联网数据获取场景匹配度超出预设的第二匹配度阈值的时序异常检测模型，并从其中任意选定一个时序异常检测模型作为所述待评估模型。
可见，因已预先将多个时序异常检测模型至少划分为两个模型分组且分别对应工业数据获取场景和互联网数据获取场景，故在已知了业务类型后可以快速的从两个模型分组中确定待评估模型。
例如，在工业数据获取场景下，如图3a所示，用户设备可以是工业生产流水线设备，具体如车床、铣床、磨床、刨床或钻床等工业设备，这些设备在使用过程中在设备上还可以设置温湿度传感器以实时监控设备工作状态。用户设备在向服务器上传了工业数据获取场景这一场景数据后，用户设备上设置的温湿度传感器也能采集多个温度值组成温度时序序列，还能采集多个湿度值组成湿度时序序列，上述温度时序序列及湿度时序序列均可上传至服务器，通过服务器中的时序异常检测模型进行异常检测。最后，服务器最终向用户设备发送异常检测结果。
在互联网数据获取场景下，如图3b所示，用户设备可以是互联网基础设备，具体如云服务器、网络设备等，这些设备在使用过程中，可以基于其中部署监控工具来获取一段监控时间内的系统并发数、流量等数据，然后将一段时间内系统并发数组成系统并发数时序序列，将一段时间内流量数据组成流量时序序列，上述系统并发数时序序列、流量时序序列均可上传至服务器，通过服务器中的时序异常检测模型进行异常检测。最后，服务器最终向用户设备发送异常检测结果。
方式2、基于时序异常检测模型的模型标签确定待评估模型
一些实施方式中，作为所述根据业务类型从多个时序异常检测模型中确定待评估模型的第二实施例，其具体包括：
若根据映射关系确定到与所述业务类型匹配的目标标签，则将所述目标标签对应的时序异常检测模型作为所述待评估模型；其中，所述映射关系包括时序异常检测模型与标签的映射关系。
获取所述多个时序异常检测模型中每个时序异常检测模型分别对应的适用场景标签；
若确定有时序异常检测模型的适用场景标签与所述业务类型相同，获取对应的时序异常检测模型并作为待评估模型。
在本申请实施例中，时序异常检测模型与适用场景标签（适用场景标签可简记为标签）构成如下表1所示的映射关系：
序号 时序异常检测模型 适用场景标签
1 时序异常检测模型1 标签1、标签2
2 时序异常检测模型2 标签2、标签4
3 时序异常检测模型3 标签3
…… …… ……
N 时序异常检测模型N 标签1、标签N
表1
上表1所示的映射关系可为预设配置，即在服务器中可基于需求配置大量的时序异常检测模型及每一时序异常检测模型对应的适用场景标签。一旦服务器获取到业务类型后，即可在表1的映射关系中确定是否有与所述业务类型为相同或相似的标签，其与所述业务类型为相似的标签可理解为业务类型与标签的相似度值超出预设的标签相似度阈值（如设置为80%）。例如业务类型的文本与标签3的文本完全相同，且在上述表1中时序异常检测模型3的适用场景标签为标签3，时序异常检测模型3的适用场景标签（即标签3）与所述业务类型相同，故可选定标签3对应的时序异常检测模型3作为待评估模型。可见，基于判断每个时序异常检测模型分别对应的适用场景标签与所述业务类型是否相同或相似，也可快速确定待评估模型。
203、服务器根据所述待评估模型从训练数据集中确定目标训练集。
在本申请实施例中，由于服务器中已预先对每一个时序异常检测模型存储了训练数据，故在确定了所述待评估模型后，可以快速确定该待评估模型对应的目标训练集。其中，所述目标训练集用于对待评估模型进行模型训练，从而得到训练后模型。可见，基于这一方式可快速获取与模型相对应的训练数据。
204、服务器通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型。
在本申请实施例中，所述目标训练集中包括多条训练数据，每一条训练数据包括输入数据和已标注输出数据，这样基于多条训练数据对待评估模型完成模型训练后，得到当前检测模型。其中，当前检测模型中的模型参数是已知的，且所得到的当前检测模型可在完成模型评估之后用于对实际输入的时序序列进行异常值的检测。
205、服务器获取与所述目标训练集对应的目标基准数据和目标测试数据。
在本申请实施例中，完成模型训练得到的当前检测模型，不一定能具体应用于对实际输入的时序序列进行异常值检测，还需对其进一步进行模型评估。对当前检测模型进行模型评估时，则需要先获取与所述目标训练集划分于同一组的目标基准数据和目标测试数据，然后基于目标测试数据对当前检测模型进行模型测试得到测试输出结果，最后基于测试输出结果与目标基准数据的比较结果来确定模型评估结果。
例如，所述目标测试数据中所包括时序序列值的总个数与所述目标训练集中所包括序列值的总个数相同，所述目标训练集对应如下第一时序序列[inputdata1, inputdata2, inputdata 3,……, inputdata M]，所述目标测试数据对应如下第二时序序列[data1,data2,data3,……,dataM]。且上述第二时序序列中每一时序序列值对应一个具体的数据采集时刻，具体是data1对应数据采集时刻t1、data2对应数据采集时刻t2、data3对应数据采集时刻t3、……、且dataM对应数据采集时刻tM。所述目标基准数据可理解为针对第二时序序列[data1,data2,data3,……,dataM]中每一个时序序列值均标注了具体的标注值，且标注值用于表示时序序列值是否为异常值。具体的标注值为0或1，且1表示在目标测试数据中相应位置的时序序列值是异常值，0表示在目标测试数据中相应位置的时序序列值是正常值。所述目标基准数据对应如下第三时序序列[0,0,0,0,0,1,……,1]，且上述第三时序序列中包括的标注值的总个数与第二时序序列中时序序列值的总个数相等，以确保第三时序序列中的一个标注值对应第二时序序列中的一个时序序列值。可见，获取与目标训练集对应的目标基准数据和目标测试数据，能更加客观的基于同一组训练数据、测试数据和基准数据进行模型的训练及测试。
206、服务器将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果。
在本申请实施例中，所述当前检测模型在测试时只需将所述目标测试数据作为模型输入，通过当前检测模型进行检测后输出检测结果。所输出的检测结果也可理解为一个时序序列，如具体为第四时序序列[outputdata1, outputdata 2, outputdata 3,……,outputdata M]，该检测结果对应的时序序列中序列值的总个数与所述目标测试数据中时序序列值的总个数相同，且检测结果所对应时序序列中的一个序列值对应所述目标测试数据中的一个时序序列值。其中，检测结果对应的时序序列中序列值取值为0或1，且1表示在目标测试数据中相应位置的时序序列值是异常值，0表示在目标测试数据中相应位置的时序序列值是正常值。可见，基于目标测试数据输入至当前检测模型可以快速得到测试过程中的输出结果。
一些实施方式中，所述将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果，包括：
将所述目标测试数据划分为多个数据段；其中，所述目标测试数据是时序序列，且所述目标测试数据中所包括时序序列值的总个数与所述目标训练集中所包括序列值的总个数相同；
将所述多个数据段中第一个数据段中包括的序列值均对应赋值第一检测结果；其中，所述第一检测结果用于标识数据段中不存在异常序列值；
将所述多个数据段从第二个数据段开始依序输入至所述当前检测模型，得到与每一个数据段对应的子检测结果；其中，所述子检测结果为第一检测结果或第二检测结果，且所述第二检测结果用于标识数据段中存在异常序列值；
根据所述第一个数据段中各序列值所对应的第一检测结果及每一个子检测结果确定检测结果。
在本申请实施例中，将所述目标测试数据输入至所述当前检测模型进行异常值检测时，先采用的是滑动窗口分段方式，即先获取该滑动窗口分段方式对应的滑动窗口及窗口移动步长，以将所述目标测试数据从前至后进行划分得到多个数据段。例如将滑动窗口的宽度设置为5且将窗口移动步长设置为1，则滑动窗口初始框选中所述目标测试数据的前5个时序序列值data1- data5，并由data1- data5组成第一个数据段。在对目标测试数据进行异常值检测时，第一数据段中的所有序列值对应的检测结果是默认为正常值，也即将所述多个数据段中第一个数据段中包括的序列值均对应赋值第一检测结果。例如将第一检测结果取值设置为0，则由data1- data5组成第一个数据段对应0,0,0,0,0这5个第一检测结果。
之后滑动窗口基于窗口移动步长1向后移动1步，滑动窗口框选中所述目标测试数据中的data2- data6，并由data2- data6组成第二个数据段。将所述第二个数据段输入至所述当前检测模型进行异常值检测，得到所述第二个数据段对应的子检测结果。其中，所述第二个数据段对应的子检测结果取值为0（即对应第一检测结果）或1（即对应第二检测结果）。当所述第二个数据段对应的子检测结果取值为0时则表示data6对应为正常值，当所述第二个数据段对应的子检测结果取值为1时则表示data6对应为异常值。
依此类推，可分别确定第三个数据段至最后一个数据段（最后一个数据段的获取方式是滑动窗口框选中所述目标测试数据中的dataM-4至dataM，即滑动窗口下一次再滑动一个窗口移动步长，会超出目标测试数据的序列值范围），而且能基于所述当前检测模型检测出第三个数据段至最后一个数据段分别对应的子检测结果。具体是第三个数据段对应的子检测结果表示data7对应为正常值或异常值，第四个数据段对应的子检测结果表示data8对应为正常值或异常值，……，最后一个数据段对应的子检测结果表示dataM对应为正常值或异常值。在得到了data1- dataM分别对应子检测结果确定检测结果后，即可组成最终的检测结果。可见，上述基于滑动窗口及窗口移动步长的划分方式，每一次滑动窗口所框选得到的数据段输入所述当前检测模型进行异常检测后，所得到子检测结果视为新加入滑动窗口的序列值所对应异常程度，能有效缩短异常值告警延迟。
207、服务器基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果。
在本申请实施例中，若并非采用本申请中同类型样本合并策略对所述检测结果与所述目标基准数据的匹配结果进行调整，而仍以Point-adjust评价策略对当前匹配结果进行调整，具体过程如下：
先以所述检测结果中每一子结果与所述目标基准数据中对应标注值进行匹配得到当前匹配结果，然后基于Point-adjust评价策略对当前匹配结果进行调整得到调整后匹配结果，之后统计调整后匹配结果中真阳性样本、假阳性样本、假阴性样本及真阴性样本各自的个数，最后基于真阳性样本、假阳性样本、假阴性样本及真阴性样本各自的个数计算当前检测模型的精确率（precision）和召回率（recall），进而得到F1-score。在基于Point-adjust评价策略对当前匹配结果进行调整得到调整后匹配结果的过程中，因受到异常持续时间内的影响，将处于异常持续时间内其他非真阳性样本均调整为真阳性样本，使得现有的评价指标受到大量真阳性样本（TP）的过度影响，对于误警（误警对应假阳性样本FP）不敏感，导致指标普遍偏高，普遍高估了目前时序异常检测模型的性能。
在本申请中因采用了同类型样本合并策略对所述检测结果与所述目标基准数据的匹配结果进行调整，可以将匹配结果中同类型样本合并（主要是将初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并），有效降低持续同类型样本对计算当前检测模型的精确率（precision）和召回率（recall）的影响。
一些实施方式中，所述基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果，包括：
将所述检测结果中每一个子结果与所述目标基准数据中的对应标注值进行匹配，得到与所述检测结果中每一个子结果对应的子匹配结果；其中，每一个子结果对应的子匹配结果为真阳性样本、假阳性样本、假阴性样本或真阴性样本的其中一个；
将所述检测结果中每一个子结果对应的子匹配结果依序连接，得到初始匹配结果；
基于所述同类型样本合并策略，将所述初始匹配结果中的连续多个真阳性样本合并且将连续多个假阴性样本合并，得到合并结果序列；
输出所述合并结果序列作为所述目标匹配结果。
在本申请实施例中，因检测结果中所包括子结果的总个数与所述目标基准数据中所包括标注值的总个数相同，故将检测结果中的子结果逐一与目标基准数据中对应的标注值进行匹配，即可得到每一个子结果对应的初始匹配结果。
例如，所述目标基准数据仍参考上述列举的第三时序序列[0,0,0,0,0,1,……,1]，且所述检测结果仍参考上述列举的第四时序序列[outputdata1, outputdata 2,outputdata 3,……, outputdata M]，先将检测结果中的第1个子结果outputdata1与目标基准数据中第1个标注值0进行比较，所得到的比较结果有以下两种情况：
b1）若outputdata1=0且与标注值0相等，则判定与outputdata1对应的data1为真阴性样本（即TN）；
b2）若outputdata1=1且与标注值0不相等，则判定与outputdata1对应的data1为假阳性样本（即FP）。
上述所列举的情况中是因为outputdata1对应标注值0，则outputdata1=0时判定data1为真阴性样本（即TN），outputdata1=1时判定data1为假阳性样本（即FP）。若标注值0被替换为1，则outputdata1=1时判定data1为真阳性样本（即TP），outputdata1=0时判定data1为假阴性样本（即FN）。
在确定了data1的样本阴阳性结果后，依此类推确定data2-dataM各自对应的样本阴阳性结果；其中data2-dataM中任意一个时序序列值对应的样本阴阳性结果是真阳性样本（即TP）、假阴性样本（即FN）、真阴性样本（即TN）或假阳性样本（即FP）中的其中一个。在得到了data1-dataM各自对应的样本阴阳性结果后，即可将所述检测结果中每一个子结果对应的子匹配结果依序连接，得到初始匹配结果，例如以第五时序序列[TN,TN,TN, TN,TN,TP,TP,TP,……，FP,FN, FN,TN]表示匹配结果。此处第五时序序列与上述给出的第三和第四序列不匹配，第三序列构成为一段正常与一段连续异常，那么其对应的第五序列在异常区段只能出现TP和FN，表示正确告警和漏警，而不存在FP（误警）和TN（无事发生）的匹配结果。
因所述匹配结果中存在连续多个真阳性样本和连续多个假阴性样本，故可基于所述同类型样本合并策略将所述匹配结果中的连续多个真阳性样本合并且将连续多个假阴性样本合并，以得到合并结果序列。而且，所得到的合并结果序列可直接输出作为所述目标匹配结果。可见，在合并结果序列中合并持续同类型样本，降低了对计算当前检测模型的精确率和召回率的影响（具体是避免持久性异常过度拉高检测精确率和召回率），能有效提高模型评估分值的计算精确率。
208、服务器根据预设的模型评估策略和目标匹配结果确定模型评估分值。
在本申请实施例中，因所述目标匹配结果是合并结果序列，且合并结果序列包括的真阳性样本、假阳性样本、假阴性样本及真阴性样本是已知的，故在统计所述目标匹配结果中真阳性样本、假阳性样本、假阴性样本及真阴性样本各自的个数后可基于预设的模型评估策略确定模型评估分值。可见，基于上述模型评分方式，能得到一个直观量化的模型评估分值。
一些实施方式中，所述模型评估策略用于根据目标匹配结果的精确率和召回率确定调和平均数以作为模型评估分值；
所述根据预设的模型评估策略和目标匹配结果确定模型评估分值，包括：
基于所述目标匹配结果中真阳性样本、假阳性样本、假阴性样本或真阴性样本各自的个数确定模型精确率和模型召回率；
基于所述模型精确率和所述模型召回率的调和平均数确定模型评估分值。
在本申请实施例中，基于所述模型精确率和所述模型召回率的调和平均数确定模型评估分值，本质上是获取待评估模型的F1-score。当获取了待评估模型的模型评估分值后，可快速基于该模型评估分值的高低来确定待评估模型在业务类型下是否适用。
其中，在基于所述目标匹配结果中真阳性样本、假阳性样本、假阴性样本或真阴性样本各自的个数确定模型精确率时，是依照以下公式（1）：
模型精确率=真阳性样本的个数/（真阳性样本的个数+假阳性样本的个数） （1）
需要注意的是，模型精确率与模型准确率是存在区别的，两者并不是同一个参数。
在基于所述目标匹配结果中真阳性样本、假阳性样本、假阴性样本或真阴性样本各自的个数确定模型召回率时，是依照以下公式（2）：
模型召回率=真阳性样本的个数/（真阳性样本的个数+假阴性样本的个数） （2）
在分别基于公式（1）和公式（2）计算得到了模型精确率和模型召回率后，以模型精确率和模型召回率的调和平均数来作为待评估模型的模型评估分值（例如F1-score）。可见，基于上述模型评分方式，能得到一个取值客观且准确的模型评估分值。
一些实施方式中，如图4所示，所述服务器将所述目标匹配结果基于预设的模型评估策略确定模型评估分值之后，所述方法还包括：
209、若确定所述模型评估分值超出预设的评估分阈值时，将所述待评估模型作为当前检测模型；
210、获取与所述业务类型对应的待评估时序数据；
211、基于所述当前检测模型获取所述待评估时序数据的评估结果。
在本申请实施例中，若确定所述模型评估分值超出预设的评估分阈值时，则表示在业务类型下所述待评估模型是适用的，此时可将所述待评估模型作为当前检测模型。之后若服务器接收到用户设备所发送与所述业务类型对应的待评估时序数据，将所述待评估时序数据输入至所述当前检测模型进行异常值检测，即可得到评估结果。
其中，在所述待评估时序数据输入至所述当前检测模型进行异常值检测时，也可参考上述将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果的具体处理方式。可见，所述待评估模型通过模型可用验证后，可快速部署生效以用于对用户设备真实上传的待评估时序数据进行异常值检测。
可见，通过本方案，在工业数据获取场景、互联网数据获取场景等场景中，服务器可以先根据业务类型从多个时序异常检测模型中确定待评估模型，然后对待评估模型进行模型训练和测试，之后将测试输出的检测结果与目标基准数据基于预设的同类型样本合并策略得到目标匹配结果，最后将目标匹配结果基于预设的模型评估策略确定模型评估分值。在充分考虑了业务类型后再确定当前场景适用的时序异常检测模型，能够更动态的选择模型进行时序异常检测，避免所有场景都选定同一个时序异常检测模型。而且采用了同类型样本合并策略对所述检测结果与目标基准数据的匹配结果进行调整，可以将匹配结果中同类型样本合并，有效降低持续同类型样本对模型评估分值的影响。
参阅图5，如图5所示的一种模型评估装置1的结构示意图，其可应用于工业数据获取场景、互联网数据获取场景等场景。本申请实施例中的人脸识别系统能够实现对应于上述图2所对应的实施例中所执行的时序异常检测模型评估方法的步骤。模型评估装置1实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图5所示模型评估装置1可包括收发模块11和处理模块12，所述收发模块11和所述处理模块12的功能实现可参考图2所对应的实施例中所执行的操作，此处不作赘述。
一些实施方式中，所述处理模块12用于控制所述收发模块11的收发操作；
所述处理模块12，用于根据业务类型从多个时序异常检测模型中确定待评估模型；根据所述待评估模型从训练数据集中确定目标训练集；通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型；获取与所述目标训练集对应的目标基准数据和目标测试数据；
所述处理模块12，还用于将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果；基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果；根据预设的模型评估策略和目标匹配结果确定模型评估分值。
一些实施方式中，所述处理模块12，还用于：
若确定所述模型评估分值超出预设的评估分阈值时，将所述待评估模型作为当前检测模型；
获取与所述业务类型对应的待评估时序数据；
基于所述当前检测模型获取所述待评估时序数据的评估结果。
一些实施方式中，所述处理模块12，还用于：
若确定所述业务类型为工业数据获取场景，从所述多个时序异常检测模型中确定匹配度大于第一匹配度阈值的任意时序异常检测模型作为所述待评估模型；
若确定所述业务类型为互联网数据获取场景，从所述多个时序异常检测模型中确定匹配度大于第二匹配度阈值的任意时序异常检测模型作为所述待评估模型。
一些实施方式中，所述处理模块12，还用于：
若根据映射关系确定到与所述业务类型匹配的目标标签，则将所述目标标签对应的时序异常检测模型作为所述待评估模型；其中，所述映射关系包括时序异常检测模型与标签的映射关系。
一些实施方式中，所述处理模块12，还用于：
将所述目标测试数据划分为多个数据段；其中，所述目标测试数据是时序序列，且所述目标测试数据中所包括时序序列值的总个数与所述目标训练集中所包括序列值的总个数相同；
将所述多个数据段中第一个数据段中包括的序列值均对应赋值第一检测结果；其中，所述第一检测结果用于标识数据段中不存在异常序列值；
将所述多个数据段从第二个数据段开始依序输入至所述当前检测模型，得到与每一个数据段对应的子检测结果；其中，所述子检测结果为第一检测结果或第二检测结果，且所述第二检测结果用于标识数据段中存在异常序列值；
根据所述第一个数据段中各序列值所对应的第一检测结果及每一个子检测结果确定检测结果。
一些实施方式中，所述同类型样本合并策略用于将所述检测结果与所述目标基准数据对应的匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，以得到匹配结果对应的目标匹配结果所述处理模块12，还用于：
将所述检测结果中每一个子结果与所述目标基准数据中的对应标注值进行匹配，得到与所述检测结果中每一个子结果对应的子匹配结果；其中，每一个子结果对应的子匹配结果为真阳性样本、假阳性样本、假阴性样本或真阴性样本的其中一个；
将所述检测结果中每一个子结果对应的子匹配结果依序连接，得到初始匹配结果；
基于所述同类型样本合并策略，将所述初始匹配结果中的连续多个真阳性样本合并且将连续多个假阴性样本合并，得到合并结果序列；
输出所述合并结果序列作为所述目标匹配结果。
一些实施方式中，所述模型评估策略用于根据目标匹配结果的精确率和召回率确定调和平均数以作为模型评估分值，所述处理模块12，还用于：
所述根据预设的模型评估策略和目标匹配结果确定模型评估分值，包括：
基于所述目标匹配结果中真阳性样本、假阳性样本、假阴性样本或真阴性样本各自的个数确定模型精确率和模型召回率；
基于所述模型精确率和所述模型召回率的调和平均数确定模型评估分值。
可见，通过本方案，在工业数据获取场景、互联网数据获取场景等场景中，服务器可以先根据业务类型从多个时序异常检测模型中确定待评估模型，然后对待评估模型进行模型训练和测试，之后将测试输出的检测结果与目标基准数据基于预设的同类型样本合并策略得到目标匹配结果，最后将目标匹配结果基于预设的模型评估策略确定模型评估分值。在充分考虑了业务类型后再确定当前场景适用的时序异常检测模型，能够更动态的选择模型进行时序异常检测，避免所有场景都选定同一个时序异常检测模型。而且采用了同类型样本合并策略对所述检测结果与目标基准数据的匹配结果进行调整，可以将匹配结果中同类型样本合并，有效降低持续同类型样本对模型评估分值的影响。
上面从模块化功能实体的角度对本申请实施例中的模型评估装置进行了描述，下面从硬件处理的角度分别对本申请实施例中模型评估装置进行描述。
需要说明的是，在本申请实施例图5任一所示的实施例中的收发模块对应的实体设备可以为收发器、输入/输出单元、射频电路、通信模块和输出接口等，处理模块对应的实体设备可以为处理器。例如，图5所示的模型评估装置1可以具有如图6所示的结构，当图5所示的模型评估装置1具有如图6所示的结构时，图6中的处理器和收发器能够实现前述对应该模型评估装置1的装置实施例提供的收发模块11和处理模块12相同或相似的功能，图6中的存储器存储处理器执行上述时序异常检测模型评估方法时需要调用的计算机程序。在本申请实施例图5所示的实施例中的所述收发模块所对应的实体设备可以为输入输出接口，所述处理模块对应的实体设备可以为处理器。
本申请实施例还提供了另一种终端设备（即服务终端），如图7所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理（英文全称：PersonalDigital Assistant，英文简称：PDA）、销售终端（英文全称：Point of Sales，英文简称：POS）、车载电脑等任意终端设备，以终端为手机为例：
图7示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图7，手机包括：射频（英文全称：Radio Frequency，英文简称：RF）电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真（英文全称：wirelessfidelity，英文简称：WiFi）模块770、处理器780、以及电源790等部件。本领域技术人员可以理解，图7中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图7对手机的各个构成部件进行具体的介绍：
RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器780处理；另外，将设计上行的数据发送给基站。通常，RF电路710包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（英文全称：LowNoise Amplifier，英文简称：LNA）、双工器等。此外，RF电路710还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统 （英文全称：Global System of Mobile communication，英文简称：GSM）、通用分组无线服务（英文全称：General Packet Radio Service，英文简称：GPRS）、码分多址（英文全称：Code Division Multiple Access，英文简称：CDMA）、宽带码分多址（英文全称：Wideband Code Division Multiple Access, 英文简称：WCDMA）、长期演进 （英文全称：Long Term Evolution，英文简称：LTE）、电子邮件、短消息服务（英文全称：ShortMessaging Service，英文简称：SMS）等。
存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元730可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元730可包括触控面板731以及其他输入设备732。触控面板731，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器780，并能接收处理器780发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731，输入单元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元740可包括显示面板741，可选的，可以采用液晶显示器（英文全称：LiquidCrystal Display，英文简称：LCD）、有机发光二极管（英文全称：Organic Light-EmittingDiode, 英文简称：OLED）等形式来配置显示面板741。进一步的，触控面板731可覆盖显示面板741，当触控面板731检测到在其上或附近的触摸操作后，传送给处理器780以确定触摸事件的类型，随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图7中，触控面板731与显示面板741是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板731与显示面板741集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器750，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在手机移动到耳边时，关闭显示面板741和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路760、扬声器761，传声器762可提供用户与手机之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一手机，或者将音频数据输出至存储器720以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了W-iFi模块770，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
处理器780是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器780可包括一个或多个处理单元；优选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。
手机还包括给各个部件供电的电源790（比如电池），电源可以通过电源管理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的处理器780还具有控制执行以上由图2所示的时序异常检测模型评估方法的流程图。
图8是本申请实施例提供的一种服务器的结构示意图，该服务器820可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（英文全称：centralprocessing units，英文简称：CPU）822（例如，一个或一个以上处理器）和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830（例如一个或一个以上海量存储设备）。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器820上执行存储介质830中的一系列指令操作。
服务器820还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，和/或，一个或一个以上操作系统841，例如Windows Server，Mac OS X，Unix, Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器820的结构。例如上述实施例中由图5所示的时序异常检测模型评估1所执行的步骤可以基于该图8所示的服务器结构。例如，所述处理器822通过调用存储器832中的指令，执行以下操作：
通过输入输出接口858从用户设备获取业务类型；
根据业务类型从多个时序异常检测模型中确定待评估模型；
根据所述待评估模型从训练数据集中确定目标训练集；
通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型；
获取与所述目标训练集对应的目标基准数据和目标测试数据；
将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果；
基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果；
根据预设的模型评估策略和目标匹配结果确定模型评估分值。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘Solid State Disk(SSD)）等。
以上对本申请实施例所提供的技术方案进行了详细介绍，在本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims (10)

1.一种时序异常检测模型评估方法，其特征在于，所述方法包括：
根据业务类型从多个时序异常检测模型中确定待评估模型；
根据所述待评估模型从训练数据集中确定目标训练集；
通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型；
获取与所述目标训练集对应的目标基准数据和目标测试数据；
将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果；
基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果；
根据预设的模型评估策略和目标匹配结果确定模型评估分值。
2.根据权利要求1所述的方法，其特征在于，所述根据业务类型从多个时序异常检测模型中确定待评估模型，包括：
若确定所述业务类型为工业数据获取场景，从所述多个时序异常检测模型中确定匹配度大于第一匹配度阈值的任意时序异常检测模型作为所述待评估模型；
若确定所述业务类型为互联网数据获取场景，从所述多个时序异常检测模型中确定匹配度大于第二匹配度阈值的任意时序异常检测模型作为所述待评估模型。
3.根据权利要求1所述的方法，其特征在于，所述根据业务类型从多个时序异常检测模型中确定待评估模型，包括：
若根据映射关系确定到与所述业务类型匹配的目标标签，则将所述目标标签对应的时序异常检测模型作为所述待评估模型；其中，所述映射关系包括时序异常检测模型与标签的映射关系。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果，包括：
将所述目标测试数据划分为多个数据段；其中，所述目标测试数据是时序序列，且所述目标测试数据中所包括时序序列值的总个数与所述目标训练集中所包括序列值的总个数相同；
将所述多个数据段中第一个数据段中包括的序列值均对应赋值第一检测结果；其中，所述第一检测结果用于标识数据段中不存在异常序列值；
将所述多个数据段从第二个数据段开始依序输入至所述当前检测模型，得到与每一个数据段对应的子检测结果；其中，所述子检测结果为第一检测结果或第二检测结果，且所述第二检测结果用于标识数据段中存在异常序列值；
根据所述第一个数据段中各序列值所对应的第一检测结果及每一个子检测结果确定检测结果。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果，包括：
将所述检测结果中每一个子结果与所述目标基准数据中的对应标注值进行匹配，得到与所述检测结果中每一个子结果对应的子匹配结果；其中，每一个子结果对应的子匹配结果为真阳性样本、假阳性样本、假阴性样本或真阴性样本的其中一个；
将所述检测结果中每一个子结果对应的子匹配结果依序连接，得到初始匹配结果；
基于所述同类型样本合并策略，将所述初始匹配结果中的连续多个真阳性样本合并且将连续多个假阴性样本合并，得到合并结果序列；
输出所述合并结果序列作为所述目标匹配结果。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述模型评估策略用于根据目标匹配结果的精确率和召回率确定调和平均数以作为模型评估分值；
所述根据预设的模型评估策略和目标匹配结果确定模型评估分值，包括：
基于所述目标匹配结果中真阳性样本、假阳性样本、假阴性样本或真阴性样本各自的个数确定模型精确率和模型召回率；
基于所述模型精确率和所述模型召回率的调和平均数确定模型评估分值。
7.根据权利要求1所述的方法，其特征在于，所述根据预设的模型评估策略和目标匹配结果确定模型评估分值之后，所述方法还包括：
若确定所述模型评估分值超出预设的评估分阈值时，将所述待评估模型作为当前检测模型；
获取与所述业务类型对应的待评估时序数据；
基于所述当前检测模型获取所述待评估时序数据的评估结果。
8.一种模型评估装置，其特征在于，所述模型评估装置包括收发模块及处理模块；
所述处理模块用于控制所述收发模块的收发操作；
所述处理模块，用于根据业务类型从多个时序异常检测模型中确定待评估模型；根据所述待评估模型从训练数据集中确定目标训练集；通过所述目标训练集对所述待评估模型进行模型训练，得到当前检测模型；获取与所述目标训练集对应的目标基准数据和目标测试数据；
所述处理模块，还用于将所述目标测试数据基于所述当前检测模型进行异常值检测，得到检测结果；基于预设的同类型样本合并策略，将所述检测结果与所述目标基准数据按位匹配得到的初始匹配结果中连续多个真阳性样本合并，且将初始匹配结果中连续多个假阴性样本合并，得到目标匹配结果；根据预设的模型评估策略和目标匹配结果确定模型评估分值。
9.一种模型评估装置，其特征在于，所述装置包括：
至少一个处理器、存储器和收发器；
其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。
CN202210500143.3A 2022-05-09 2022-05-09 时序异常检测模型评估方法、相关装置及存储介质 Active CN114595124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210500143.3A CN114595124B (zh) 2022-05-09 2022-05-09 时序异常检测模型评估方法、相关装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210500143.3A CN114595124B (zh) 2022-05-09 2022-05-09 时序异常检测模型评估方法、相关装置及存储介质

Publications (2)

Publication Number Publication Date
CN114595124A CN114595124A (zh) 2022-06-07
CN114595124B true CN114595124B (zh) 2022-07-15

Family

ID=81813146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210500143.3A Active CN114595124B (zh) 2022-05-09 2022-05-09 时序异常检测模型评估方法、相关装置及存储介质

Country Status (1)

Country Link
CN (1) CN114595124B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376612B (zh) * 2022-09-13 2023-10-13 郑州思昆生物工程有限公司 一种数据评测方法、装置、电子设备及存储介质
CN115455089B (zh) * 2022-11-09 2023-02-28 西安弘捷电子技术有限公司 一种无源组件的性能评估方法、系统及存储介质
CN115766507A (zh) * 2022-11-16 2023-03-07 支付宝(杭州)信息技术有限公司 业务异常检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562996A (zh) * 2020-04-11 2020-08-21 北京交通大学 一种关键性能指标数据的时序异常检测方法及系统
CN111914932A (zh) * 2020-07-31 2020-11-10 微软技术许可有限责任公司 用于异常检测的模型选择和参数估计
CN113518011A (zh) * 2021-09-10 2021-10-19 阿里云计算有限公司 异常检测方法和装置、电子设备及计算机可读存储介质
CN113723734A (zh) * 2020-12-30 2021-11-30 京东城市(北京)数字科技有限公司 时序数据的异常监测方法、装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375098B2 (en) * 2017-01-31 2019-08-06 Splunk Inc. Anomaly detection based on relationships between multiple time series
US11361197B2 (en) * 2018-06-29 2022-06-14 EMC IP Holding Company LLC Anomaly detection in time-series data using state inference and machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562996A (zh) * 2020-04-11 2020-08-21 北京交通大学 一种关键性能指标数据的时序异常检测方法及系统
CN111914932A (zh) * 2020-07-31 2020-11-10 微软技术许可有限责任公司 用于异常检测的模型选择和参数估计
CN113723734A (zh) * 2020-12-30 2021-11-30 京东城市(北京)数字科技有限公司 时序数据的异常监测方法、装置、电子设备和存储介质
CN113518011A (zh) * 2021-09-10 2021-10-19 阿里云计算有限公司 异常检测方法和装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN114595124A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110598802B (zh) 一种内存检测模型训练的方法、内存检测的方法及装置
CN111310034B (zh) 一种资源推荐方法及相关设备
CN114595124B (zh) 时序异常检测模型评估方法、相关装置及存储介质
US11169827B2 (en) Resource loading at application startup using attributes of historical data groups
CN110704661B (zh) 一种图像分类方法和装置
CN106294308B (zh) 命名实体识别方法及装置
CN111222563B (zh) 一种模型训练方法、数据获取方法以及相关装置
CN111078556B (zh) 应用测试方法及装置
CN110808872A (zh) 一种流量实验的实现方法、装置及电子设备
CN107666515A (zh) 图像处理方法和装置、计算机设备、计算机可读存储介质
CN117576535B (zh) 一种图像识别方法、装置、设备以及存储介质
CN112711516B (zh) 一种数据处理方法和相关装置
CN113704008A (zh) 一种异常检测方法、问题诊断方法和相关产品
CN115376192B (zh) 用户异常行为确定方法、装置、计算机设备及存储介质
CN110781274A (zh) 一种问答对生成的方法与装置
CN114817742B (zh) 基于知识蒸馏的推荐模型配置方法、装置、设备、介质
CN115984643A (zh) 模型训练方法、相关设备及存储介质
CN115062197A (zh) 考勤数据检测方法、装置及存储介质
CN115546516A (zh) 人员聚档方法、装置、计算机设备及存储介质
CN116450384A (zh) 一种信息处理方法和相关装置
CN115080840A (zh) 一种内容推送方法、装置及存储介质
CN115412726B (zh) 视频真伪检测方法、装置及存储介质
CN115565215B (zh) 一种人脸识别算法切换方法、装置及存储介质
CN115525554B (zh) 模型的自动化测试方法、系统及存储介质
CN114722970B (zh) 一种多媒体检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant