CN113656263A - 一种数据处理方法、系统、存储介质及终端 - Google Patents

一种数据处理方法、系统、存储介质及终端 Download PDF

Info

Publication number
CN113656263A
CN113656263A CN202110963130.5A CN202110963130A CN113656263A CN 113656263 A CN113656263 A CN 113656263A CN 202110963130 A CN202110963130 A CN 202110963130A CN 113656263 A CN113656263 A CN 113656263A
Authority
CN
China
Prior art keywords
verification
algorithm
alarm
feature comparison
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110963130.5A
Other languages
English (en)
Other versions
CN113656263B (zh
Inventor
贺宁
魏程琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202110963130.5A priority Critical patent/CN113656263B/zh
Publication of CN113656263A publication Critical patent/CN113656263A/zh
Application granted granted Critical
Publication of CN113656263B publication Critical patent/CN113656263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种数据处理方法、系统、存储介质及终端，包括：根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；根据核验结果，进行告警；本发明通过两种算法共同保障数据的准确性，通过基础算法先初步的一次比对筛选，筛选出一部分数据，再通过其他算法通过核验算法的二次比对筛选，计算出最终的核验数据，在提高了数据的准确性的基础上，降低了成本。

Description

一种数据处理方法、系统、存储介质及终端
技术领域
本发明涉及电子领域，尤其涉及一种数据处理方法、系统、存储介质及终端。
背景技术
在安防领域中，针对布控告警任务，需要各种各样的算法进行支撑，由于各个算法在准确度上肯定都会存在一定的不准确性，而在一些重要的场景下，由于业务需要，数据又非常的重要，因此，针对这些特定的重要数据，需要提升整体的准确度。
目前，现有的方式通常包括两种，一种是通过增加训练的量，以提高算法的准确性，但难度很大，另一种是通过使用其他的已经相对成熟的算法，但这种方式会大大提高成本，并且由于核心算法SDK不易获取，对于产品来说，就失去了核心竞争力。有鉴于此，需要一种新的数据处理方法，能够满足针对重要的布控告警的数据，在保证准确性的前提下，不增加额外成本，获得更好的布控告警效果。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种数据处理方法、系统、存储介质及终端，以解决上述技术问题。
本发明提供的数据处理方法，包括：
根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
根据所述核验结果，进行告警。
与本发明的一实施例中，如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；
如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；
如果所述核验结果小于所述告警阈值，则不进行告警。
与本发明的一实施例中，所述通过基础算法进行一次特征比对包括：
当数据消费后，将通过基础算法解析出来的特征与名单库的数据特征比对，先对比短特征，再根据短特征和长特征的对应关系，对一次特征比对结果进行长特征对比，将长特征对比结果作为核验结果。
与本发明的一实施例中，所述基础预设数量大于所述核验预设数量，一次特征比对结果和长特征对比结果包括相似度；
所述对一次特征比对结果进行长特征对比之前，包括先从磁盘中加载所述长特征到内存，再进行比对。
与本发明的一实施例中，当核验服务发生异常时，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警并反馈异常信息。
与本发明的一实施例中，根据所述异常信息通过新进程启用算法核验，如服务恢复，则以核验结果进行告警，如服务未回复，则继续以一次特征对比结果的基础预设数量进行告警。
本发明还提供一种数据处理系统，包括：
配置模块，用于根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
告警模块，用于进行告警；
若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
告警模块根据所述核验结果，进行告警。
与本发明的一实施例中，如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；
如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；
如果所述核验结果小于所述告警阈值，则不进行告警。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。
本发明的有益效果：本发明中的数据处理方法，通过两种算法共同保障数据的准确性，通过基础算法先初步的一次比对筛选，筛选出一部分数据，再通过其他算法通过核验算法的二次比对筛选，计算出最终的核验数据，在提高了数据的准确性的基础上，降低了成本。
另外，本发明通过基础算法使用长短码，核验算法直接使用长码，极大的减少了内存的使用，同时加快了比对速度，提高了效率。
附图说明
图1是本发明实施例中数据处理方法的整体流程示意图。
图2是本发明实施例中数据处理方法的一实施例的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的数据处理方法，包括：
S1.根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
S2.若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
S3.若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
S4.根据所述核验结果，进行告警。
在本实施例的步骤S1中，首先是进行业务配置，配置是否启用算法核验、核验的算法、基础预设数量(基础算法的TopK)、核验预设数量(核验算法的TopN)，以及核验的告警阈值，在本实施例中，TopK需要大于TopN，最终告警的情况以TopN的数量为准。但是，在实际的业务配置中，TopK不能太大，因为后续步骤会涉及到加载图片之类，在一实施例中，可选的，TopK的推荐值可以设置为5。告警的阈值可以推荐设置为95％。配置完成后，将数据推送到kafka指定的Topic中，需要使用的服务区消费到服务内存中。本实施例中的TopK，可以理解为在一堆数据里面找到前K大(也可以是前K小)的数。对于海量数据，不需要一次性将全部数据取出来，可以一次只取一部分，因为只需要将数据一个个拿来与告警阈值比较，当有数据被添加到集合中时，就直接拿它与告警阈值对比。这样，无论任何时候需要查询当前的前K大数据，都可以立刻返回，不会占用太多的内存空间。本实施例中的TOPN就是给出一个数组，找出前N个最大的元素。
在本实施例的步骤S2中，若不启用算法核验，则直接以基础算法的结果进行告警，例如，基础算法的默认TopK为1；当配置完成后，如果不启用核验算法，则直接使用基础算法的TopK的值进行告警。
在本实施例的步骤S3和S4中，若启用了核验算法，则会在使用核验算法来进行特征解析和特征比对，并以核验算法的TopN进行告警。
在本实施例中，配置完成后，名单库的人员默认解析的算法为基础解析算法，基础算法为长短特征码。如果未配置数据核验时，当数据消费后，直接使用基础算法解析出来的特征进行与名单库的数据特征比对。比对的逻辑为先比对短特征，比对的短特征结果返回相似度前1万条数据，再根据短特征和长特征的对应关系，从磁盘中加载长特征到内存进行比对，由于长特征比较长，长期加载到内存中，内存的需求很大，本实施例采用先比对短特征，再比对长特征，比对长特征时，返回前1条数据。比对成功后，直接把数据推送到kafka的指定Topic中。当配置完成后，确认是否选择布控核验，如果不使用布控核验，则其他的配置参数无效，整体流程和数据返回上述步骤。
在本实施例中，如果选择使用布控核验，则首先进行基础算法的特征比对，即一次特征比对，此时基础算法比对的结果数量为TopK，TopK的值为步骤S1中配置的值，比对的逻辑为基础算法先比对短特征，短码在留存期内长期加载到内存中，短码比对返回Top10000，即比对的短特征结果返回相似度前1万条数据，再根据短特征和长特征的对应关系，从磁盘中加载长特征，比对长特征，返回前TopK条数据(TopK的值为步骤一中配置的值，TopK为名单库中的数据，作为待比对数据)。基础算法TopK的数据比对出来结果后，名单库中的图片作为待比对图片，自动采集的图片为比对图片，根据比对出来的结果进行图片数据的读取，将云存储的图片和名单库中基础算法比对中的待比对图片下载到内存中，并依次调用核验算法进行解析，仅解析长特征，解析完成后，由核验算法进行二次特征比对，二次特征比对直接使用长特征进行特征比对，减少比对流程，确认待比对图片和比对图片的相似度，若图片的相似度未达到告警的阈值，则图片不进行告警，若达到告警的阈值达到配置的阈值，且满足阈值的数量大于N，则根据TopN取前几条进行告警，若满足阈值的数据量未满足N的数据，则以实际的数量进行告警数据推送。
在本实施例中，当算法核验服务发生异常时，例如license过期、核验服务重启或云存储下载图片失败。导致后续的核验流程无法继续时，就将启用基础算法进行告警，告警的数量也为默认的TopK，TopK默认等于1，核验流程标记为异常进行返回，后台新起进程调用接口去重试，确认服务是否恢复正常。若服务恢复正常，则再次以核验的结果进行告警，若服务一直不恢复正常，则服务一直以基础的算法进行告警。
下面以一个具体实施例进行说明：
实施例1
本实施例中包括一套业务系统，其中布控告警任务的业务需求为：基础算法50001，核验算法30001，基础算法TopK配置为5，TopN配置为2，核验阈值为90％，进行举例说明：
首先，根据业务需求，进行业务配置，配置基本的参数：基础算法50001，核验算法30001，基础算法TopK配置为5，TopN配置为2，核验阈值为90％。
如果核验开关配置为关闭，则数据由基础服务进行比对，TopK使用默认值1进行业务告警，当比对阈值达到告警阈值，则将对应的最相似的数据推送到kafka指定的Topic中。
若核验开关配置为开启：当解析的算法推送过来后，数据由基础服务进行比对，因TopK＝5，C++进行特征比对的时候取前5条数据，取到前5条数据后，立即从云存储下载该前5条数据的图片，下载完成的5张图片和本条数据，都再使用核验算法来进行图片的解析。解析完成后进行特征比对，确认数据相似度阈值是否达到90％，若只有1条数据达到了90％，则只告警一条数据，若5条数据中有2条或2条以上达到了90％，则取相似度阈值最高的两条数据进行返回并写入kafka中。
若启用核验，但业务存在一定的阻塞，如：核验算法License过期，图片下载失败，核验服务重启等异常情况时，将缓存中的时候进行数据核验开关改为关闭，基础算法比对完成后直接推送数据到kakfa指定的Topic中，并且启动一个后台重启流程来进行数据的重试，重试成功后，将内存中的核验开关改为开启，此时，业务流程通过核验算法和核验返回规则进行返回数据。
本发明还提供一种数据处理系统，包括：
配置模块，用于根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
告警模块，用于进行告警；
若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
告警模块根据所述核验结果，进行告警。
在本实施例中，如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；
如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；
如果所述核验结果小于所述告警阈值，则不进行告警。
本实施例中的数据处理系统，利用上述数据处理方法，通过两个算法的保障，基础算法的一次比对筛选，通过核验算法的二次比对筛选，形成一个更加可靠的结果，使结果可信度更高，通过启动少量的其他算法作为核验算法，降低了直接使用其他厂商算法的成本。通过基础算法使用长短码，核验算法直接使用长码，极大的减少了内存的使用和加快了比对速度。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例的对应附图中，连接线可以表示各个部件之间的连接关系，以表示更多的构成信号路径(constituent_signal path)和/或一些线的一个或多个末端具有箭头，以表示主要信息流向，连接线作为一种标识，不是对方案本身的限制，而是结合一个或多个事例性实施例使用这些线有助于更容易地接电路或逻辑单元，任何所代表的信号(由设计需求或偏好所决定)实际上可以包括可以在任意一个方向传送的并且可以以任何适当类型的信号方案实现的一个或多个信号。
在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。
在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
根据所述核验结果，进行告警。
2.根据权利要求1所述的数据处理方法，其特征在于，
如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；
如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；
如果所述核验结果小于所述告警阈值，则不进行告警。
3.根据权利要求2所述的数据处理方法，其特征在于，所述通过基础算法进行一次特征比对包括：
当数据消费后，将通过基础算法解析出来的特征与名单库的数据特征比对，先对比短特征，再根据短特征和长特征的对应关系，对一次特征比对结果进行长特征对比，将长特征对比结果作为核验结果。
4.根据权利要求3所述的数据处理方法，其特征在于，所述基础预设数量大于所述核验预设数量，一次特征比对结果和长特征对比结果包括相似度；
所述对一次特征比对结果进行长特征对比之前，包括先从磁盘中加载所述长特征到内存，再进行比对。
5.根据权利要求1-4任一所述的数据处理方法，其特征在于，当核验服务发生异常时，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警并反馈异常信息。
6.根据权利要求5所述的数据处理方法，其特征在于，根据所述异常信息通过新进程启用算法核验，如服务恢复，则以核验结果进行告警，如服务未回复，则继续以一次特征对比结果的基础预设数量进行告警。
7.一种数据处理系统，其特征在于，包括：
配置模块，用于根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
告警模块，用于进行告警；
若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
告警模块根据所述核验结果，进行告警。
8.根据权利要求7所述的数据处理系统，其特征在于，
如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；
如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；
如果所述核验结果小于所述告警阈值，则不进行告警。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至8中任一项所述方法。
CN202110963130.5A 2021-08-20 2021-08-20 一种数据处理方法、系统、存储介质及终端 Active CN113656263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110963130.5A CN113656263B (zh) 2021-08-20 2021-08-20 一种数据处理方法、系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110963130.5A CN113656263B (zh) 2021-08-20 2021-08-20 一种数据处理方法、系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN113656263A true CN113656263A (zh) 2021-11-16
CN113656263B CN113656263B (zh) 2023-05-12

Family

ID=78491863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110963130.5A Active CN113656263B (zh) 2021-08-20 2021-08-20 一种数据处理方法、系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN113656263B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013139082A1 (zh) * 2012-03-23 2013-09-26 中兴通讯股份有限公司 一种基于门限的端到端业务性能管理方法、系统和网管
CN110109768A (zh) * 2019-03-29 2019-08-09 阿里巴巴集团控股有限公司 一种数据质量巡检方法及装置
CN110704811A (zh) * 2019-09-03 2020-01-17 特赞（上海）信息科技有限公司 图片侵权检测方法及装置、存储介质
US20200166918A1 (en) * 2017-09-06 2020-05-28 Siemens Healthcare Diagnostics Inc. Alert-Enabled Passive Application Integration
CN111860854A (zh) * 2019-12-06 2020-10-30 北京嘀嘀无限科技发展有限公司 模型特征管理系统、模型特征管理方法及存储介质
CN112465074A (zh) * 2020-12-25 2021-03-09 深圳深度探测科技有限公司 一种基于分组图案做ai识别的状态判断系统及判断方法
CN112487470A (zh) * 2019-09-11 2021-03-12 浙江宇视科技有限公司 信息校验方法、装置、终端设备和计算机可读存储介质
CN112887317A (zh) * 2021-01-30 2021-06-01 北京中安星云软件技术有限公司 一种基于vxlan网络对数据库的防护方法及系统
CN113190822A (zh) * 2019-01-16 2021-07-30 腾讯科技（深圳）有限公司 身份认证方法、个人安全内核节点、和电子设备
CN113259154A (zh) * 2021-04-20 2021-08-13 广州骏伯网络科技有限公司 中台数据校验通知方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013139082A1 (zh) * 2012-03-23 2013-09-26 中兴通讯股份有限公司 一种基于门限的端到端业务性能管理方法、系统和网管
US20200166918A1 (en) * 2017-09-06 2020-05-28 Siemens Healthcare Diagnostics Inc. Alert-Enabled Passive Application Integration
CN113190822A (zh) * 2019-01-16 2021-07-30 腾讯科技（深圳）有限公司 身份认证方法、个人安全内核节点、和电子设备
CN110109768A (zh) * 2019-03-29 2019-08-09 阿里巴巴集团控股有限公司 一种数据质量巡检方法及装置
CN110704811A (zh) * 2019-09-03 2020-01-17 特赞（上海）信息科技有限公司 图片侵权检测方法及装置、存储介质
CN112487470A (zh) * 2019-09-11 2021-03-12 浙江宇视科技有限公司 信息校验方法、装置、终端设备和计算机可读存储介质
CN111860854A (zh) * 2019-12-06 2020-10-30 北京嘀嘀无限科技发展有限公司 模型特征管理系统、模型特征管理方法及存储介质
CN112465074A (zh) * 2020-12-25 2021-03-09 深圳深度探测科技有限公司 一种基于分组图案做ai识别的状态判断系统及判断方法
CN112887317A (zh) * 2021-01-30 2021-06-01 北京中安星云软件技术有限公司 一种基于vxlan网络对数据库的防护方法及系统
CN113259154A (zh) * 2021-04-20 2021-08-13 广州骏伯网络科技有限公司 中台数据校验通知方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113656263B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN107122289B (zh) 系统回归测试的方法、装置及系统
CN108449313B (zh) 电子装置、互联网服务系统风险预警方法及存储介质
CN113448862B (zh) 软件版本测试方法、装置及计算机设备
US11336668B2 (en) Method and apparatus for detecting abnormal behavior of groupware user
CN106776795B (zh) 基于Hbase数据库的数据写入方法及装置
KR20200010176A (ko) 동적 그래픽 코드 구현 방법 및 장치
CN114745133A (zh) 一种识别设备唯一性的方法及装置
EP3543877A1 (en) Method and device for processing accumulative retrieval, terminal and storage medium
CN114416324A (zh) 任务触发方法、装置、计算机设备和存储介质
CN113656098A (zh) 配置获取方法及系统
CN112363814A (zh) 任务调度方法、装置、计算机设备及存储介质
CN113656263A (zh) 一种数据处理方法、系统、存储介质及终端
CN112416648A (zh) 数据校验方法及装置
CN116339626A (zh) 数据处理方法、装置、计算机设备和存储介质
KR102104783B1 (ko) 주가간 움직임 패턴 분석을 통한 정보 제공 장치 및 제공 방법
CN113259154B (zh) 中台数据校验通知方法、装置、计算机设备和存储介质
CN111371818B (zh) 一种数据请求的验证方法、装置及设备
CN110737718A (zh) 数据备份方法和装置
CN110264211B (zh) 风控方法、系统、装置及设备
CN116580748B (zh) 内存芯片测试治具的配置方法、装置、设备及存储介质
CN113886723B (zh) 确定排序稳定性的方法和装置、以及存储介质和电子设备
CN110263212B (zh) 检索结果共享的方法及装置
CN118069700A (zh) 数据核验方法、装置、计算机设备、存储介质
CN107016041B (zh) 一种控制单条数据出库的方法及装置
CN117435185A (zh) 代码生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant