CN118038347A - 一种针对数据变化的监测方法及装置 - Google Patents

一种针对数据变化的监测方法及装置 Download PDF

Info

Publication number
CN118038347A
CN118038347A CN202211426335.0A CN202211426335A CN118038347A CN 118038347 A CN118038347 A CN 118038347A CN 202211426335 A CN202211426335 A CN 202211426335A CN 118038347 A CN118038347 A CN 118038347A
Authority
CN
China
Prior art keywords
monitored
monitoring
error
feature
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211426335.0A
Other languages
English (en)
Inventor
张浩宇
黄强娟
何昌钦
王之元
寇广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202211426335.0A priority Critical patent/CN118038347A/zh
Publication of CN118038347A publication Critical patent/CN118038347A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种针对数据变化的监测方法及装置，其中，所述监测方法包括：响应于用户发起的监测指令，调用与所述监测指令对应的监测方法对待监测数据进行监测，得到所述待监测数据的误差；基于所述误差和预先设置的置信度，确定与所述误差对应的误差阈值；基于所述误差和所述误差阈值，得到所述待监测数据的监测结果。通过本发明提供的针对数据变化的监测方法，可以根据监测指令得到满足不同场景变化的监测方法，用以对图像数据场景变化现象进行质量监控和检测，进而可以快速匹配实际应用中各类简单或复杂检测场景。

Description

一种针对数据变化的监测方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种针对数据变化的监测方法及装置。
背景技术
基于数据驱动的机器学习模型通过它的训练数据来观察世界。这意味着，随着训练数据所代表的信息离真实世界越来越远，模型将变得越来越“短视”。最直观的表现就是，模型的性能会随着数据质量下降(出现概念偏移现象)而降低。因此在实际生产和应用过程中通过监控和检测输入模型的数据来确保其质量是必要的。
相关技术可知，当前采用的数据监测方法的计算和时间成本相差极大，缺少一个集成多种检测方法的框架来供使用者快速选择相应的方法进行监测，从而匹配不同复杂程度和实时要求的现实应用场景。
发明内容
本发明提供一种针对数据变化的监测方法及装置，实现对图像数据场景变化现象进行质量监控和检测，可以快速匹配实际应用中各类简单或复杂检测场景。
本发明提供一种针对数据变化的监测方法，所述监测方法包括：响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，得到待监测数据的误差；基于误差和预先设置的置信度，确定与误差对应的误差阈值；基于误差和误差阈值，得到待监测数据的监测结果。
根据本发明提供的一种针对数据变化的监测方法，监测指令包括对元数据进行监测的指令，监测方法包括元数据统计监测方法，待监测数据包括待监测元数据；响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，包括：响应于用户发起的对元数据进行监测的指令，调用元数据统计监测方法对待监测元数据进行监测，其中，元数据统计监测方法采用以下方式对待监测元数据进行监测得到待监测元数据的误差：获取在先监测元数据的第一元数据标签；获取待监测元数据的第二元数据标签；基于第一元数据标签和第二元数据标签得到新数据分布；基于第一元数据标签得到原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第一散度值，并将第一散度值作为待监测元数据的误差；基于误差和预先设置的置信度，确定与误差对应的误差阈值，包括：基于第一散度值，按照伽马分布采用最大似然估计得到第一参数和第二参数；基于第一参数和第二参数，得到与第一参数和第二参数对应的第一目标伽马分布；基于第一目标伽马分布和置信度确定误差阈值；基于误差和误差阈值，得到待监测数据的监测结果，包括：在误差大于或等于误差阈值的情况下，得到待监测元数据存在质量问题的监测结果；在误差小于误差阈值的情况下，得到待监测元数据不存在质量问题的监测结果。
根据本发明提供的一种针对数据变化的监测方法，第一元数据标签包括第一标签类型的第一元数据标签和第二标签类型的第一元数据标签；第二元数据标签包括第一标签类型的第二元数据标签和第二标签类型的第二元数据标签；基于所述第一元数据标签和第二元数据标签得到新数据分布，包括：基于第一标签类型的第一元数据标签和第一标签类型的第二元数据标签，得到第一标签类型的新数据分布；基于第二标签类型的第一元数据标签和第二标签类型的第二元数据标签，得到第二标签类型的新数据分布；基于第一元数据标签得到原数据分布，包括：基于第一标签类型的第一元数据标签，得到第一标签类型的原数据分布；基于第二标签类型的第一元数据标签，得到第二标签类型的原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第一散度值，包括：基于第一标签类型的原数据分布和第一标签类型的新数据分布，确定第一标签类型的第一散度值；基于第二标签类型的原数据分布和第二标签类型的新数据分布，确定第二标签类型的第一散度值；基于第一标签类型的第一散度值和第二标签类型的第一散度值的平均值，确定原数据分布和新数据分布的第一散度值。
根据本发明提供的一种针对数据变化的监测方法，监测指令包括对原始特征进行监测的指令，监测方法包括原始特征统计监测方法，待监测数据包括待监测原始特征；响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，包括：响应于用户发起的对原始特征进行监测的指令，调用原始特征统计监测方法对待监测原始特征进行监测，其中，原始特征统计监测方法采用以下方式对待监测原始特征进行监测得到待监测原始特征的误差：获取在先监测原始特征的第一特征标签；获取待监测原始特征的第二特征标签；基于第一特征标签和第二特征标签得到新数据分布；基于第一特征标签得到原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第二散度值，并将第二散度值作为待监测原始特征的误差；基于误差和预先设置的置信度，确定与误差对应的误差阈值，包括：基于第二散度值，按照伽马分布采用最大似然估计得到第三参数和第四参数；基于第三参数和第四参数，得到与第三参数和第四参数对应的第二目标伽马分布；基于第二目标伽马分布和置信度确定误差阈值；基于误差和误差阈值，得到待监测数据的监测结果，包括：在误差大于或等于误差阈值的情况下，得到待监测原始特征存在质量问题的监测结果；在误差小于误差阈值的情况下，得到待监测原始特征不存在质量问题的监测结果。
根据本发明提供的一种针对数据变化的监测方法，第一特征标签包括第一特征类型的第一特征标签和第二特征类型的第一特征标签；第二特征标签包括第一特征类型的第二特征标签和第二特征类型的第二特征标签；基于所述第一特征标签和第二特征标签得到新数据分布，包括：基于第一特征类型的第一特征标签和第一特征类型的第二特征标签，得到第一特征类型的新数据分布；基于第二特征类型的第一特征标签和第二特征类型的第二特征标签，得到第二特征类型的新数据分布；基于第一特征标得到原数据分布，包括：基于第一特征类型的第一特征标签，得到第一特征类型的原数据分布；基于第二特征类型的第一特征标签，得到第二特征类型的原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第二散度值，包括：基于第一特征类型的原数据分布和第一特征类型的新数据分布，确定第一特征类型的第二散度值；基于第二特征类型的原数据分布和第二特征类型的新数据分布，确定第二特征类型的第二散度值；基于第一特征类型的第二散度值和第二特征类型的第二散度值的平均值，确定原数据分布和新数据分布的第二散度值。
根据本发明提供的一种针对数据变化的监测方法，监测指令包括对聚类特征进行监测的指令，监测方法包括特征聚类监测方法，待监测数据包括待监测聚类特征；响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，包括：响应于用户发起的对聚类特征进行监测的指令，调用特征聚类监测方法对待监测聚类特征进行监测，其中，特征聚类监测方法采用以下方式对待监测聚类特征进行监测得到所述待监测聚类特征的误差：对在先监测聚类特征进行分簇得到在先特征簇；计算在先特征簇的质心坐标，以及在先特征簇内各个在先监测聚类特征到质心的第一距离；对待监测聚类特征进行分簇得到待监测特征簇；计算待监测特征簇的质心坐标，以及待监测特征簇内各个待监测聚类特征到质心的第二距离；基于第一距离和第二距离得到新数据分布；基于第一距离得到原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第三散度值，并将第三散度值作为待监测聚类特征的误差；基于误差和预先设置的置信度确定与误差对应的误差阈值，包括：基于第三散度值，按照伽马分布采用最大似然估计得到第五参数和第六参数；基于第五参数和第六参数，得到与第五参数和第六参数对应的第三目标伽马分布；基于第三目标伽马分布和置信度确定误差阈值；基于误差和误差阈值，得到待监测数据的监测结果，包括：在误差大于或等于误差阈值的情况下，得到待监测聚类特征发生场景变化的监测结果；在误差小于误差阈值的情况下，得到待监测聚类特征未发生场景变化的监测结果。
根据本发明提供的一种针对数据变化的监测方法，监测指令包括对重构图像进行监测的指令，监测方法包括重构误差监测方法，待监测数据包括待监测重构图像；响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，包括：响应于用户发起的对重构图像进行监测的指令，调用重构误差监测方法对待监测重构图像进行监测，其中，重构误差监测方法采用以下方式对待监测重构图像进行监测得到待监测重构图像的误差：基于在先监测重构图像训练编码器和解码器；将待监测重构图像依次输入至编码器和解码器，得到解码器输出的目标待监测重构图像；计算目标待监测重构图像和待监测重构图像的重构误差，并将重构误差作为待监测重构图像的误差；基于误差和预先设置的置信度，确定与误差对应的误差阈值，包括：基于重构误差，按照伽马分布采用最大似然估计得到第七参数和第八参数；基于第七参数和第八参数，得到与第七参数和第八参数对应的第四目标伽马分布；基于第四目标伽马分布和置信度确定误差阈值；基于误差和误差阈值得到待监测数据的监测结果，包括：在误差大于或等于误差阈值的情况下，得到待监测重构图像发生场景变化的监测结果；在误差小于误差阈值的情况下，得到待监测重构图像未发生场景变化的监测结果。
根据本发明提供的一种针对数据变化的监测方法，在基于误差和误差阈值，得到待监测数据的监测结果之后，所述方法还包括：在误差小于误差阈值的情况下，将待监测数据作为在先监测数据；其中，在先监测数据包括在先监测元数据、在先监测原始特征、在先监测聚类特征和在先监测重构图像中的任意一种。
根据本发明提供的一种针对数据变化的监测方法，计算目标待监测重构图像和待监测重构图像的重构误差，包括：计算预设窗口内的多个目标待监测重构图像和多个待监测重构图像的重构误差；基于多个重构误差的平均值，得到预设窗口的重构误差；将重构误差作为待监测重构图像的误差，包括：将预设窗口的重构误差，作为预设窗口中的待监测重构图像的误差。
本发明还提供一种针对数据变化的监测装置，所述监测装置包括：第一模块，用于响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，得到待监测数据的误差；第二模块，用于基于误差和预先设置的置信度，确定与误差对应的误差阈值；第三模块，用于基于误差和误差阈值，得到待监测数据的监测结果。
本发明提供的一种针对数据变化的监测方法及装置，通过调用与监测指令对应的监测方法对待监测数据进行监测，得到待监测数据的误差，以及基于误差和预先设置的置信度，确定与误差对应的误差阈值；再基于误差和误差阈值，得到待监测数据的监测结果，可以根据监测指令得到满足不同场景变化的监测方法，用以对图像数据场景变化现象进行质量监控和检测，进而可以快速匹配实际应用中各类简单或复杂检测场景。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。
图1是本发明提供的针对数据变化的监测方法流程示意图之一；
图2是本发明提供的针对数据变化的监测方法流程示意图之二；
图3是本发明提供的针对数据变化的监测方法流程示意图之三；
图4是本发明提供的针对数据变化的监测方法流程示意图之四；
图5是本发明提供的针对数据变化的监测方法流程示意图之五；
图6是本发明提供的针对数据变化的监测装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本发明提供的一种针对数据变化的监测方法，其目的在于解决实际应用中缺少一个集成多种场景变化检测方法的框架来快速匹配有监督/无监督等各类复杂环境的问题。本发明提出一种集成元数据统计、原始特征统计、特征聚类和重构误差四种场景变化检测算法的工具对图像数据场景变化现象进行质量监控和检测，覆盖了有监督和无监督训练问题，可以快速匹配实际应用中各类简单或复杂检测场景。
需要说明的是，实现本发明提供的一种针对数据变化的监测方法可以通过一种场景变化检测工具来实现。场景变化检测工具可以包括数据层、业务层和表现层。在本发明中，将结合场景变化检测工具对一种针对数据变化的监测方法进行说明。数据层可以包含数据存储、数据读取、序列数据处理和数据转换功能。业务层可以集成元数据统计、原始特征统计、特征聚类和重构误差四种场景变化检测算法，对多种数据源/数据类型进行操作从而与数据层进行交互，并传递检测结果给表现层来满足使用者发出的请求。表现层可以提供两种模式供使用者选择。可以理解的是，用户发起的监测指令可以通过表现层实现。在一示例中，在表现层中，可以包括质量监控模式和偏移检测模式两个人机交互接口供使用者根据实际情况选择。其中，质量监控模式集成元数据统计和原始特征统计两种场景变化检测方法，具有检测成本低和响应时间快的特点；偏移检测模式集成特征聚类和重构误差两种场景变化检测方法，具有检测精确度高的特点。
在本发明一示例性实施例中，结合图1可知，一种针对数据变化的监测方法可以包括步骤110至步骤130。
在步骤110中，响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，得到待监测数据的误差。
在一种实施例中，用户可以基于场景变化检测工具发起监测指令，其中，监测指令可以是用户想要对何种数据进行监测的指令。进一步的，可以基于监测指令调用与监测指令对应的监测方法，从而可以得到待监测数据的误差。在一示例中，待监测数据可以包括待监测元数据、待监测原始特征、待监测聚类特征和待监测重构图像。可以理解的是，基于不同的待监测数据需要调用不同的监测方法进行监测。
在步骤120中，基于误差和预先设置的置信度，确定与误差对应的误差阈值。
在步骤130中，基于误差和误差阈值，得到待监测数据的监测结果。
在又一种实施例中，误差阈值还将根据误差进行确定，从而可以保证误差阈值更能满足与待监测数据对应的应用场景，可以覆盖有监督和无监督训练问题。在本实施例，可以根据用户的指令对图像数据场景变换现象进行质量监控和检测，可以覆盖有监督和无监督训练问题，并可以快速匹配实际应用中各类简单或复杂检测场景。
在本发明一示例性实施例中，监测指令可以包括对元数据进行监测的指令，监测方法可以包括元数据统计监测方法，待监测数据可以包括待监测元数据。结合图2可知，一种针对数据变化的监测方法可以包括步骤201至步骤211。
在步骤201中，响应于用户发起的对元数据进行监测的指令，调用元数据统计监测方法对待监测元数据进行监测。
在一种实施例中，待监测元数据可以包括图像元数据信息，例如可以包括日期、仪器、图像大小等。其中，对应待监测元数据作为输入数据时可以直接被业务层使用，即可以直接基于元数据统计监测方法对待监测元数据进行监测。其中，元数据统计监测方法可以采用以下方式(包括步骤202至步骤206)对待监测元数据进行监测以得到待监测元数据的误差。
在步骤202中，获取在先监测元数据的第一元数据标签。
在步骤203中，获取待监测元数据的第二元数据标签。
在一种实施例中，序列图像数据以数据流形式表示D0..n＝{d0,…,dt,…,dn}，t为开始检测点，即dt之后的数据为待检测数据。在又一种实施例中，对于元数据统计监测方法可以搜索和统计特定的标签，通过快速检测图像元数据信息是否存在潜在问题来监控图像数据质量。在一示例中，以w≥2，其中，w为窗口大小，表示每w张图像为一个小批量。以图像格式标签(JPEG、TIFF等)为例进行说明。可以快速检索图像D0..t＝{d0,…,dt}的格式标签并以各类格式标签为刻度统计数量，即获取在先监测元数据的第一元数据标签。其中，D0..t表示在先监测元数据。在又一示例中，还可以将获取的第一元数据标签存储在数据层。此后再使用该功能时，可以直接读取数据层存储的统计结果，不再重复该步骤。
在又一种实施例中，还可以快速检索图像Di..i+w＝{di,…,di+w},i∈[t,n-w]的格式标签并以各类格式标签为刻度统计数量，即获取待监测元数据的第二元数据标签。其中，Di..i+w表示待监测元数据。
在步骤204中，基于第一元数据标签和第二元数据标签，得到新数据分布。
在步骤205中，基于第一元数据标签，得到原数据分布。
在步骤206中，基于原数据分布和新数据分布，确定原数据分布和新数据分布的第一散度值，并将第一散度值作为待监测元数据的误差。
在一种实施例中，可以将第一元数据标签和第二元数据标签的并集作为新数据分布。将第一元数据标签作为原数据分布。进一步的，还可以使用KL散度计算新数据分布D0..t∪Di..i+w和原数据分布D0..t的差异，从而得到原数据分布和新数据分布的第一散度值，并将第一散度值作为待监测元数据的误差。在一种实施例中，原数据分布和新数据分布的第一散度值可以采用公式(1)实现：
其中，P表示原数据分布，Q表示新数据分布。
需要说明的是，为了确保监测结果的准确性，还可以同时检索多个标签进行更精确的联合检测，以实现长期的监控功能。下面将对检索多个标签进行更精确的联合检测的过程进行说明。
在本发明又一示例性实施例中，第一元数据标签可以包括第一标签类型的第一元数据标签和第二标签类型的第一元数据标签；第二元数据标签可以包括第一标签类型的第二元数据标签和第二标签类型的第二元数据标签。
在一示例中，对于基于第一元数据标签和第二元数据标签，得到新数据分布(对应步骤204)，可以采用以下方式实现：基于第一标签类型的第一元数据标签和第一标签类型的第二元数据标签，得到第一标签类型的新数据分布；基于第二标签类型的第一元数据标签和第二标签类型的第二元数据标签，得到第二标签类型的新数据分布。需要说明的是，第一标签类型和第二标签类型可以理解为是关于元数据的不同类型的标签。
在又一示例中，对于基于第一元数据标签，得到原数据分布(步骤205)，还可以采用以下方式实现：基于第一标签类型的第一元数据标签，得到第一标签类型的原数据分布；基于第二标签类型的第一元数据标签，得到第二标签类型的原数据分布。
在又一示例中，对于基于原数据分布和新数据分布，确定原数据分布和新数据分布的第一散度值(对应步骤206)，可以采用以下方式实现：基于第一标签类型的原数据分布和第一标签类型的新数据分布，确定第一标签类型的第一散度值；基于第二标签类型的原数据分布和第二标签类型的新数据分布，确定第二标签类型的第一散度值；基于第一标签类型的第一散度值和第二标签类型的第一散度值的平均值，确定原数据分布和新数据分布的第一散度值。
在一种实施例中，现以图像格式标签和图像光圈值标签为例进行说明。对于待监测元数据可以按照前文所述的方式分别得到关于第一标签类型的第一散度值l格式和关于第二标签类型的第一散度值l光圈。再基于l格式和l光圈的平均值作为最终的原数据分布和新数据分布的第一散度值。通过本实施例，可以使得第一散度值综合考虑多种标签类型，提高了第一散度值的准确性和全面性。
可以理解的是，第一元数据标签除了包括第一标签类型和第二标签类型的第一元数据标签外，还可以包括其他标签类型的第一元数据标签。第二元数据标签除了包括第一标签类型和第二标签类型的第二元数据标签外，还可以包括其他标签类型的第二元数据标签。在本实施例中，不对其他标签类型的元数据标签作具体限定。进一步的，还可以基于多种标签类型分别确定的散度值的平均值，确定原数据分布和新数据分布的第一散度值。
在步骤207中，基于第一散度值，按照伽马分布采用最大似然估计得到第一参数和第二参数。
在步骤208中，基于第一参数和第二参数，得到与第一参数和第二参数对应的第一目标伽马分布。
在步骤209中，基于第一目标伽马分布和置信度，确定误差阈值。
在一种实施例中，可以定义一个伽马分布来拟合误差分布，并根据置信度(由使用者规定)计算可接受的最大误差值(误差阈值)。在一示例中，通过合理的近似，图像各要素的误差通常遵循方差与要素相关的正态分布其中，e表示各类误差，c表示图像要素。误差的平方和(后称二阶误差)即是伽马分布：e2～Γ(α,β)。因此，二阶误差e2的概率密度函数为公式(2)：
其中，x是随机变量，表示二阶误差；α是形状参数(对应第一参数)，用来影响分布的形状；β是速率参数(对应第二参数)，用来拉伸/收缩分布。进一步的，可以采用最大似然估计法(MLE)来估计最拟合二阶误差的伽马分布的第一参数α和第二参数β。对于由二阶误差组成的数据集，最大似然计算如下：
其中，是取均值操作。进一步，求解方程：/> 第二个方程可以到/>将β带入第一个方程并使用牛顿法可以快速迭代收敛得到α。由此得到的α和β，即是伽马分布的一对参数。置信度为二阶误差e2的概率密度函数从0开始可接受的最大面积，即累积伽马分布函数F(θ)≤置信度。θ为可接受的最大二阶误差值(即误差阈值)。可以通过逆函数求出阈值θ＝F-1(置信度)。
在步骤210中，在误差大于或等于误差阈值的情况下，得到待监测元数据存在质量问题的监测结果。
在步骤211中，在误差小于误差阈值的情况下，得到待监测元数据不存在质量问题的监测结果。
在一种实施例中，对应传入业务层的误差序列{e1,e2,…en-t-w+1}，若则业务层会向表现层传递结论：窗口i图像质量较低，可能造成场景变化。通过本实施例，可以对待监测元数据进行质量监测，并将监测结果展示给用户。
在本发明一示例性实施例中，监测指令可以包括对原始特征进行监测的指令，监测方法可以包括原始特征统计监测方法，待监测数据可以包括待监测原始特征。结合图3可知，针对数据变化的监测方法可以包括步骤301至步骤311。
在步骤301中，响应于用户发起的对原始特征进行监测的指令，调用原始特征统计监测方法对待监测原始特征进行监测。
在一种实施例中，原始特征可以包括像素点矩阵、饱和度等特征属性。其中，原始特征信息(对应待监测原始特征)作为输入数据时，数据层可以通过滤波转换、图像分割、特征提取等技术对输入数据统一转化，使其符合业务层要求。数据层还可以根据窗口大小对数据进行拼接或打包，窗口大小为w时，表示每w张图片为一个批量。在又一实施例中，数据层还可以接收文本文件或图片文件，并将其转化为可识别和使用的数组或字典。
在又一种实施例中，可以基于原始特征统计监测方法对待监测原始特征进行监测，其中，原始特征统计监测方法可以采用以下方式(包括步骤302至步骤306)对待监测原始特征进行监测以得到待监测原始特征的误差。
在步骤302中，获取在先监测原始特征的第一特征标签。
在步骤303中，获取待监测原始特征的第二特征标签。
需要说明的是，原始特征统计场景变化检测算法要求输入数据为色调、亮度或饱和度(HSB)特征属性。在一示例中，可以令w≥2，以饱和度为例，在应用过程中，可以快速检索图像D0..t＝{d0,…,dt}的饱和度特征属性，即获取在先监测原始特征的第一特征标签。其中，D0..t表示在先监测原始特征。在又一示例中，还可以将获取的第一特征标签存储在数据层。此后再使用该功能时，可以直接读取数据层存储模块的统计结果。在又一种实施例中，还可以快速检索图像Di..i+w＝{di,…,di+w},i∈[t,n-w]的饱和度特征属性，即获取待监测原始特征的第二特征标签。其中，Di..i+w表示待监测原始特征。
在步骤304中，基于第一特征标签和第二特征标签，得到新数据分布。
在步骤305中，基于第一特征标签，得到原数据分布。
在步骤306中，基于原数据分布和新数据分布，确定原数据分布和新数据分布的第二散度值，并将第二散度值作为待监测原始特征的误差。
在一种实施例中，可以将第一特征标签和第二特征标签的并集作为新数据分布。将第二特征标签作为原数据分布。在又一种实施例中，还可以基于公式(1)确定原数据分布和新数据分布的第二散度值，并将第二散度值作为待监测原始特征的误差。为了确保监测结果的准确性，还可以同时检索多个特征属性进行更精确的联合检测，以实现长期的监控功能。其中，对检索多个特征属性进行更精确的联合检测的过程和前文所述的对检索多个标签进行更精确的联合检测的过程的发明构思相同，在本实施例中不再赘述。
在本发明又一示例性实施例中，第一特征标签可以包括第一特征类型的第一特征标签和第二特征类型的第一特征标签；第二特征标签可以包括第一特征类型的第二特征标签和第二特征类型的第二特征标签。
在一示例中，对于基于第一特征标签和第二特征标签，得到新数据分布(对应步骤304)，可以采用以下方式实现：基于第一特征类型的第一特征标签和第一特征类型的第二特征标签，得到第一特征类型的新数据分布；基于第二特征类型的第一特征标签和第二特征类型的第二特征标签，得到第二特征类型的新数据分布。
在又一示例中，对于基于第一特征标签，得到原数据分布(对应步骤305)，可以采用以下方式实现：基于第一特征类型的第一特征标签，得到第一特征类型的原数据分布；基于第二特征类型的第一特征标签，得到第二特征类型的原数据分布。
在又一示例中，对于基于原数据分布和新数据分布，确定原数据分布和新数据分布的第二散度值(对应步骤306)，可以采用以下方式实现：基于第一特征类型的原数据分布和第一特征类型的新数据分布，确定第一特征类型的第二散度值；基于第二特征类型的原数据分布和第二特征类型的新数据分布，确定第二特征类型的第二散度值；基于第一特征类型的第二散度值和第二特征类型的第二散度值的平均值，确定原数据分布和新数据分布的第二散度值。
可以理解的是，第一特征标签除了包括第一特征类型和第二特征类型的第一特征标签外，还可以包括其他特征类型的第一元特征标签。第二特征标签除了包括第一特征类型和第二特征类型的第二特征标签外，还可以包括其他特征类型的第二特征标签。在本实施例中，不对其他特征类型的特征标签作具体限定。进一步的，还可以基于多种特征类型分别确定的散度值的平均值，确定原数据分布和新数据分布的第二散度值。
在步骤307中，基于第二散度值，按照伽马分布采用最大似然估计得到第三参数和第四参数。
在步骤308中，基于第三参数和第四参数，得到与第三参数和第四参数对应的第二目标伽马分布。
在步骤309中，基于第二目标伽马分布和置信度，确定误差阈值。
在步骤310中，在误差大于或等于误差阈值的情况下，得到待监测原始特征存在质量问题的监测结果。
在步骤311中，在误差小于误差阈值的情况下，得到待监测原始特征不存在质量问题的监测结果。
在一种实施例中，可以基于与前文所述的步骤207至步骤209相似的方式，确定第二目标伽马分布，并基于第二目标伽马分布和置信度，确定误差阈值。进一步的，再根据误差和误差阈值判断待监测原始特征是否存在质量问题。通过本实施例，可以对待监测元数据进行质量监测，并将监测结果展示给用户。
在本发明一示例性实施例中，监测指令可以包括对聚类特征进行监测的指令，监测方法可以包括特征聚类监测方法，待监测数据可以包括待监测聚类特征。结合图4可知，针对数据变化的监测方法可以包括步骤401至步骤413。
在步骤401中，响应于用户发起的对聚类特征进行监测的指令，调用特征聚类监测方法对待监测聚类特征进行监测。
需要说明的是，特征聚类是一种要求输入包含图像类别标签的有监督场景变化检测方法。该方法通过生成和统计每个图像到每个类别的“理想”表示的距离来评估数据是否发生偏移。在一示例中，用内置的特征提取器生成图像特征，即将原始像素值嵌入到一个N维向量中并作归一化处理，以得到在先监测聚类特征和待监测聚类特征。
在步骤402中，对在先监测聚类特征进行分簇，得到在先特征簇。
在步骤403中，计算在先特征簇的质心坐标，以及在先特征簇内各个在先监测聚类特征到质心的第一距离。
在步骤404中，对待监测聚类特征进行分簇，得到待监测特征簇。
在步骤405中，计算所述待监测特征簇的质心坐标，以及所述待监测特征簇内各个待监测聚类特征到质心的第二距离。
在一种实施例中，可以根据K类图像类别标签将图像D0..t＝{d0,…,dt}分为K个簇，以得到在先特征簇，以及将图像Di..i+w＝{di,…,di+w},i∈[t,n-w]进行分类，得到待监测特征簇。进一步的，可以计算每个簇(包括在先特征簇和待监测特征簇)的质心坐标以及该簇内每个图像到质心的距离(包括第一距离和第二距离)。在又一示例中，还可以将获取的第一距离存储在数据层。此后再使用该功能时，可以直接读取数据层存储模块的统计结果。
在步骤406中，基于第一距离和第二距离，得到新数据分布。
在步骤407中，基于第一距离，得到原数据分布。
在步骤408中，基于原数据分布和新数据分布，确定原数据分布和新数据分布的第三散度值，并将第三散度值作为待监测聚类特征的误差。
在一种实施例中，还可以基于公式(1)确定原数据分布和新数据分布的第三散度值，并将第三散度值作为待监测聚类特征的误差。
在步骤409中，基于第三散度值，按照伽马分布采用最大似然估计得到第五参数和第六参数。
在步骤410中，基于第五参数和第六参数，得到与第五参数和第六参数对应的第三目标伽马分布。
在步骤411中，基于第三目标伽马分布和置信度，确定误差阈值。
在步骤412中，在误差大于或等于误差阈值的情况下，得到待监测聚类特征发生场景变化的监测结果。
在步骤413中，在误差小于误差阈值的情况下，得到待监测聚类特征未发生场景变化的监测结果。
在一种实施例中，可以基于与前文所述的步骤207至步骤209相似的方式，确定第三目标伽马分布，并基于第三目标伽马分布和置信度，确定误差阈值。进一步的，再根据误差和误差阈值判断待监测聚类特征是否存在质量问题。通过本实施例，可以对待监测聚类特征进行质量监测和场景监测，并将监测结果展示给用户。
在本发明一示例性实施例中，监测指令可以包括对重构图像进行监测的指令，监测方法可以包括重构误差监测方法，待监测数据可以包括待监测重构图像。结合图5可知，针对数据变化的监测方法可以包括步骤501至步骤510。
在步骤501中，响应于用户发起的对重构图像进行监测的指令，调用重构误差监测方法对待监测重构图像进行监测。
在步骤502中，基于在先监测重构图像训练编码器和解码器。
在步骤503中，将待监测重构图像依次输入至编码器和解码器，得到解码器输出的目标待监测重构图像。
在一种实施例中，重构误差监测方法是一种无监督场景变化检测方法。该方法通过计算和统计编码器对每个图像进行重构的误差来评估数据是否发生偏移。在一示例中，可以利用在先监测重构图像训练编码器和解码器。再将待监测重构图像依次输入至训练好的编码器和解码器，得到解码器输出的目标待监测重构图像。
在步骤504中，计算目标待监测重构图像和待监测重构图像的重构误差，并将重构误差作为待监测重构图像的误差。
在本发明又一示例性实施例中，计算目标待监测重构图像和待监测重构图像的重构误差还可以采用以下方式实现：计算预设窗口内的多个目标待监测重构图像和多个待监测重构图像的重构误差；基于多个重构误差的平均值，得到预设窗口的重构误差，并将预设窗口的重构误差，作为预设窗口中的待监测重构图像的误差。在一种实施例中，对于重构误差，可以通过比较原图像(对应待监测重构图像)x和编码器重构图像(对应目标待监测重构图像)x′的各个像素值来计算，其中，计算方式可以采用如下公式(4)实现：
其中，W，H，C分别表示图像的宽度，高度和通道。
在步骤505中，基于重构误差，按照伽马分布采用最大似然估计得到第七参数和第八参数。
在步骤506中，基于第七参数和第八参数，得到与第七参数和第八参数对应的第四目标伽马分布。
在步骤507中，基于第四目标伽马分布和置信度，确定误差阈值。
在步骤508中，在误差大于或等于误差阈值的情况下，得到待监测重构图像发生场景变化的监测结果。
在步骤509中，在误差小于误差阈值的情况下，得到待监测重构图像未发生场景变化的监测结果。
在一种实施例中，还可以基于与前文所述的步骤207至步骤209相似的方式，确定第四目标伽马分布，并基于第四目标伽马分布和置信度，确定误差阈值。进一步的，再根据误差和误差阈值判断待监测重构图像是否存在质量问题。通过本实施例，可以对待监测重构图像进行质量监测和场景监测，并将监测结果展示给用户。
在本发明又一示例性实施例中，继续结合图1进行说明，在基于误差和误差阈值，得到待监测数据的监测结果(对应步骤130)之后，针对数据变化的监测方法还包括：在误差小于误差阈值的情况下，将待监测数据作为在先监测数据；其中，在先监测数据包括在先监测元数据、在先监测原始特征、在先监测聚类特征和在先监测重构图像中的任意一种。在本实施例中，在本次得到的待监测数据可以作为下次监测过程中的在先监测数据。通过本实施例，可以丰富在先监测数据，提高监测的准确性。
基于相同的构思，本发明还提供一种针对数据变化的监测装置。
在本发明一示例性实施例中，结合图6可知，针对数据变化的监测装置可以包括第一模块610至第三模块630。
第一模块610用于响应于用户发起的监测指令，调用与监测指令对应的监测方法对待监测数据进行监测，得到待监测数据的误差；第二模块620用于基于误差和预先设置的置信度，确定与误差对应的误差阈值；第三模块630用于基于误差和误差阈值，得到待监测数据的监测结果。
在本发明一示例性实施例中，监测指令可以包括对元数据进行监测的指令，监测方法可以包括元数据统计监测方法，待监测数据可以包括待监测元数据；第一模块610用于：响应于用户发起的对元数据进行监测的指令，调用元数据统计监测方法对待监测元数据进行监测，其中，元数据统计监测方法采用以下方式对待监测元数据进行监测得到待监测元数据的误差：获取在先监测元数据的第一元数据标签；获取待监测元数据的第二元数据标签；基于第一元数据标签和第二元数据标签，得到新数据分布；基于第一元数据标签，得到原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第一散度值，并将第一散度值作为待监测元数据的误差；第二模块620用于：基于第一散度值，按照伽马分布采用最大似然估计得到第一参数和第二参数；基于第一参数和第二参数，得到与第一参数和第二参数对应的第一目标伽马分布；基于第一目标伽马分布和置信度，确定误差阈值；第三模块630用于：在误差大于或等于误差阈值的情况下，得到待监测元数据存在质量问题的监测结果；在误差小于误差阈值的情况下，得到待监测元数据不存在质量问题的监测结果。
在本发明一示例性实施例中，第一元数据标签可以包括第一标签类型的第一元数据标签和第二标签类型的第一元数据标签；第二元数据标签可以包括第一标签类型的第二元数据标签和第二标签类型的第二元数据标签；第一模块610用于：基于第一标签类型的第一元数据标签和第一标签类型的第二元数据标签，得到第一标签类型的新数据分布；基于第二标签类型的第一元数据标签和第二标签类型的第二元数据标签，得到第二标签类型的新数据分布；第一模块610用于：基于第一标签类型的第一元数据标签，得到第一标签类型的原数据分布；基于第二标签类型的第一元数据标签，得到第二标签类型的原数据分布；第一模块610用于：基于第一标签类型的原数据分布和第一标签类型的新数据分布，确定第一标签类型的第一散度值；基于第二标签类型的原数据分布和第二标签类型的新数据分布，确定第二标签类型的第一散度值；基于第一标签类型的第一散度值和第二标签类型的第一散度值的平均值，确定原数据分布和新数据分布的第一散度值。在本发明一示例性实施例中，监测指令可以包括对原始特征进行监测的指令，监测方法可以包括原始特征统计监测方法，待监测数据可以包括待监测原始特征；第一模块610用于：响应于用户发起的对原始特征进行监测的指令，调用原始特征统计监测方法对待监测原始特征进行监测，其中，原始特征统计监测方法采用以下方式对待监测原始特征进行监测得到待监测原始特征的误差：获取在先监测原始特征的第一特征标签；获取待监测原始特征的第二特征标签；基于第一特征标签和第二特征标签，得到新数据分布；基于第一特征标签，得到原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第二散度值，并将第二散度值作为待监测原始特征的误差；第二模块620用于：基于第二散度值，按照伽马分布采用最大似然估计得到第三参数和第四参数；基于第三参数和第四参数，得到与第三参数和第四参数对应的第二目标伽马分布；基于第二目标伽马分布和置信度，确定误差阈值；第三模块630用于：在误差大于或等于误差阈值的情况下，得到待监测原始特征存在质量问题的监测结果；在误差小于误差阈值的情况下，得到待监测原始特征不存在质量问题的监测结果。
在本发明一示例性实施例中，第一特征标签可以包括第一特征类型的第一特征标签和第二特征类型的第一特征标签；第二特征标签可以包括第一特征类型的第二特征标签和第二特征类型的第二特征标签；第一模块610用于：基于第一特征类型的第一特征标签和第一特征类型的第二特征标签，得到第一特征类型的新数据分布；基于第二特征类型的第一特征标签和第二特征类型的第二特征标签，得到第二特征类型的新数据分布；第一模块610用于：基于第一特征类型的第一特征标签，得到第一特征类型的原数据分布；基于第二特征类型的第一特征标签，得到第二特征类型的原数据分布；第一模块610用于：基于第一特征类型的原数据分布和第一特征类型的新数据分布，确定第一特征类型的第二散度值；基于第二特征类型的原数据分布和第二特征类型的新数据分布，确定第二特征类型的第二散度值；基于第一特征类型的第二散度值和第二特征类型的第二散度值的平均值，确定原数据分布和新数据分布的第二散度值。
在本发明一示例性实施例中，监测指令可以包括对聚类特征进行监测的指令，监测方法可以包括特征聚类监测方法，待监测数据可以包括待监测聚类特征；第一模块610用于：响应于用户发起的对聚类特征进行监测的指令，调用特征聚类监测方法对待监测聚类特征进行监测，其中，特征聚类监测方法采用以下方式对待监测聚类特征进行监测得到待监测聚类特征的误差：对在先监测聚类特征进行分簇，得到在先特征簇；计算在先特征簇的质心坐标，以及在先特征簇内各个在先监测聚类特征到质心的第一距离；对待监测聚类特征进行分簇，得到待监测特征簇；计算待监测特征簇的质心坐标，以及待监测特征簇内各个待监测聚类特征到质心的第二距离；基于第一距离和所述第二距离，得到新数据分布；基于第一距离，得到原数据分布；基于原数据分布和新数据分布，确定原数据分布和新数据分布的第三散度值，并将第三散度值作为待监测聚类特征的误差；第二模块620用于：基于第三散度值，按照伽马分布采用最大似然估计得到第五参数和第六参数；基于第五参数和第六参数，得到与第五参数和第六参数对应的第三目标伽马分布；基于第三目标伽马分布和置信度，确定误差阈值；第三模块630用于：在误差大于或等于误差阈值的情况下，得到待监测聚类特征发生场景变化的监测结果；在误差小于误差阈值的情况下，得到待监测聚类特征未发生场景变化的监测结果。
在本发明一示例性实施例中，监测指令包括对重构图像进行监测的指令，监测方法包括重构误差监测方法，待监测数据包括待监测重构图像；第一模块610用于：响应于用户发起的对重构图像进行监测的指令，调用重构误差监测方法对待监测重构图像进行监测，其中，重构误差监测方法采用以下方式对待监测重构图像进行监测得到待监测重构图像的误差：基于在先监测重构图像训练编码器和解码器；将待监测重构图像依次输入至编码器和解码器，得到解码器输出的目标待监测重构图像；计算目标待监测重构图像和待监测重构图像的重构误差，并将重构误差作为待监测重构图像的误差；第二模块620用于：基于重构误差，按照伽马分布采用最大似然估计得到第七参数和第八参数；基于第七参数和第八参数，得到与第七参数和第八参数对应的第四目标伽马分布；基于第四目标伽马分布和置信度，确定误差阈值；第三模块630用于：在误差大于或等于误差阈值的情况下，得到待监测重构图像发生场景变化的监测结果；在误差小于误差阈值的情况下，得到待监测重构图像未发生场景变化的监测结果。
在本发明一示例性实施例中，第三模块630用于：在误差小于误差阈值的情况下，将待监测数据作为在先监测数据；在先监测数据包括在先监测元数据、在先监测原始特征、在先监测聚类特征和在先监测重构图像中的任意一种。
在本发明一示例性实施例中，第一模块610用于：计算预设窗口内的多个目标待监测重构图像和多个待监测重构图像的重构误差；基于多个重构误差的平均值得到预设窗口的重构误差；第一模块610用于：将预设窗口的重构误差，作为预设窗口中的待监测重构图像的误差。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行针对数据变化的监测方法。此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，存储在一个计算机可读取存储介质中。本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本发明各个实施例所述方法的全部或部分步骤。又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的针对数据变化的监测方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种针对数据变化的监测方法，其特征在于，所述监测方法包括：
响应于用户发起的监测指令，调用与所述监测指令对应的监测方法对待监测数据进行监测，得到所述待监测数据的误差；
基于所述误差和预先设置的置信度，确定与所述误差对应的误差阈值；
基于所述误差和所述误差阈值，得到所述待监测数据的监测结果。
2.根据权利要求1所述的一种针对数据变化的监测方法，其特征在于，所述监测指令包括对元数据进行监测的指令，所述监测方法包括元数据统计监测方法，所述待监测数据包括待监测元数据；
所述响应于用户发起的监测指令，调用与所述监测指令对应的监测方法对待监测数据进行监测，具体包括：
响应于用户发起的所述对元数据进行监测的指令，调用所述元数据统计监测方法对所述待监测元数据进行监测，其中，
所述元数据统计监测方法采用以下方式对所述待监测元数据进行监测得到所述待监测元数据的误差：
获取在先监测元数据的第一元数据标签；
获取所述待监测元数据的第二元数据标签；
基于所述第一元数据标签和所述第二元数据标签，得到新数据分布；
基于所述第一元数据标签，得到原数据分布；
基于所述原数据分布和所述新数据分布，确定所述原数据分布和所述新数据分布的第一散度值，并将所述第一散度值作为所述待监测元数据的误差；
所述基于所述误差和预先设置的置信度，确定与所述误差对应的误差阈值，具体包括：
基于所述第一散度值，按照伽马分布采用最大似然估计得到第一参数和第二参数；
基于所述第一参数和所述第二参数，得到与所述第一参数和所述第二参数对应的第一目标伽马分布；
基于所述第一目标伽马分布和所述置信度，确定所述误差阈值；
所述基于所述误差和所述误差阈值，得到所述待监测数据的监测结果，具体包括：
在所述误差大于或等于所述误差阈值的情况下，得到所述待监测元数据存在质量问题的监测结果；
在所述误差小于所述误差阈值的情况下，得到所述待监测元数据不存在质量问题的监测结果。
3.根据权利要求2所述的一种针对数据变化的监测方法，其特征在于，所述第一元数据标签包括第一标签类型的第一元数据标签和第二标签类型的第一元数据标签；所述第二元数据标签包括第一标签类型的第二元数据标签和第二标签类型的第二元数据标签；
所述基于所述第一元数据标签和所述第二元数据标签，得到新数据分布，具体包括：
基于所述第一标签类型的第一元数据标签和所述第一标签类型的第二元数据标签，得到第一标签类型的新数据分布；
基于所述第二标签类型的第一元数据标签和所述第二标签类型的第二元数据标签，得到第二标签类型的新数据分布；
所述基于所述第一元数据标签，得到原数据分布，具体包括：
基于所述第一标签类型的第一元数据标签，得到第一标签类型的原数据分布；
基于所述第二标签类型的第一元数据标签，得到第二标签类型的原数据分布；
所述基于所述原数据分布和所述新数据分布，确定所述原数据分布和所述新数据分布的第一散度值，具体包括：
基于第一标签类型的原数据分布和第一标签类型的新数据分布，确定第一标签类型的第一散度值；
基于第二标签类型的原数据分布和第二标签类型的新数据分布，确定第二标签类型的第一散度值；
基于所述第一标签类型的第一散度值和所述第二标签类型的第一散度值的平均值，确定所述原数据分布和所述新数据分布的第一散度值。
4.根据权利要求1所述的一种针对数据变化的监测方法，其特征在于，所述监测指令包括对原始特征进行监测的指令，所述监测方法包括原始特征统计监测方法，所述待监测数据包括待监测原始特征；
所述响应于用户发起的监测指令，调用与所述监测指令对应的监测方法对待监测数据进行监测，具体包括：
响应于用户发起的所述对原始特征进行监测的指令，调用所述原始特征统计监测方法对所述待监测原始特征进行监测，其中，
所述原始特征统计监测方法采用以下方式对所述待监测原始特征进行监测得到所述待监测原始特征的误差：
获取在先监测原始特征的第一特征标签；
获取所述待监测原始特征的第二特征标签；
基于所述第一特征标签和所述第二特征标签，得到新数据分布；
基于所述第一特征标签，得到原数据分布；
基于所述原数据分布和所述新数据分布，确定所述原数据分布和所述新数据分布的第二散度值，并将所述第二散度值作为所述待监测原始特征的误差；
所述基于所述误差和预先设置的置信度，确定与所述误差对应的误差阈值，具体包括：
基于所述第二散度值，按照伽马分布采用最大似然估计得到第三参数和第四参数；
基于所述第三参数和所述第四参数，得到与所述第三参数和所述第四参数对应的第二目标伽马分布；
基于所述第二目标伽马分布和所述置信度，确定所述误差阈值；
所述基于所述误差和所述误差阈值，得到所述待监测数据的监测结果，具体包括：
在所述误差大于或等于所述误差阈值的情况下，得到所述待监测原始特征存在质量问题的监测结果；
在所述误差小于所述误差阈值的情况下，得到所述待监测原始特征不存在质量问题的监测结果。
5.根据权利要求4所述的一种针对数据变化的监测方法，其特征在于，所述第一特征标签包括第一特征类型的第一特征标签和第二特征类型的第一特征标签；所述第二特征标签包括第一特征类型的第二特征标签和第二特征类型的第二特征标签；
所述基于所述第一特征标签和所述第二特征标签，得到新数据分布，具体包括：
基于所述第一特征类型的第一特征标签和所述第一特征类型的第二特征标签，得到第一特征类型的新数据分布；
基于所述第二特征类型的第一特征标签和所述第二特征类型的第二特征标签，得到第二特征类型的新数据分布；
基于所述第一特征标签，得到原数据分布，具体包括：
基于所述第一特征类型的第一特征标签，得到第一特征类型的原数据分布；
基于所述第二特征类型的第一特征标签，得到第二特征类型的原数据分布；
所述基于所述原数据分布和所述新数据分布，确定所述原数据分布和所述新数据分布的第二散度值，具体包括：
基于第一特征类型的原数据分布和第一特征类型的新数据分布，确定第一特征类型的第二散度值；
基于第二特征类型的原数据分布和第二特征类型的新数据分布，确定第二特征类型的第二散度值；
基于所述第一特征类型的第二散度值和所述第二特征类型的第二散度值的平均值，确定所述原数据分布和所述新数据分布的第二散度值。
6.根据权利要求1所述的一种针对数据变化的监测方法，其特征在于，所述监测指令包括对聚类特征进行监测的指令，所述监测方法包括特征聚类监测方法，所述待监测数据包括待监测聚类特征；
所述响应于用户发起的监测指令，调用与所述监测指令对应的监测方法对待监测数据进行监测，具体包括：
响应于用户发起的所述对聚类特征进行监测的指令，调用所述特征聚类监测方法对所述待监测聚类特征进行监测，其中，
所述特征聚类监测方法采用以下方式对所述待监测聚类特征进行监测得到所述待监测聚类特征的误差：
对在先监测聚类特征进行分簇，得到在先特征簇；
计算所述在先特征簇的质心坐标，以及所述在先特征簇内各个在先监测聚类特征到质心的第一距离；
对所述待监测聚类特征进行分簇，得到待监测特征簇；
计算所述待监测特征簇的质心坐标，以及所述待监测特征簇内各个待监测聚类特征到质心的第二距离；
基于所述第一距离和所述第二距离，得到新数据分布；
基于所述第一距离，得到原数据分布；
基于所述原数据分布和所述新数据分布，确定所述原数据分布和所述新数据分布的第三散度值，并将所述第三散度值作为所述待监测聚类特征的误差；
所述基于所述误差和预先设置的置信度，确定与所述误差对应的误差阈值，具体包括：
基于所述第三散度值，按照伽马分布采用最大似然估计得到第五参数和第六参数；
基于所述第五参数和所述第六参数，得到与所述第五参数和所述第六参数对应的第三目标伽马分布；
基于所述第三目标伽马分布和所述置信度，确定所述误差阈值；
所述基于所述误差和所述误差阈值，得到所述待监测数据的监测结果，具体包括：
在所述误差大于或等于所述误差阈值的情况下，得到所述待监测聚类特征发生场景变化的监测结果；
在所述误差小于所述误差阈值的情况下，得到所述待监测聚类特征未发生场景变化的监测结果。
7.根据权利要求1所述的一种针对数据变化的监测方法，其特征在于，所述监测指令包括对重构图像进行监测的指令，所述监测方法包括重构误差监测方法，所述待监测数据包括待监测重构图像；
所述响应于用户发起的监测指令，调用与所述监测指令对应的监测方法对待监测数据进行监测，具体包括：
响应于用户发起的所述对重构图像进行监测的指令，调用所述重构误差监测方法对所述待监测重构图像进行监测，其中，
所述重构误差监测方法采用以下方式对所述待监测重构图像进行监测得到所述待监测重构图像的误差：
基于在先监测重构图像训练编码器和解码器；
将所述待监测重构图像依次输入至所述编码器和所述解码器，得到所述解码器输出的目标待监测重构图像；
计算所述目标待监测重构图像和所述待监测重构图像的重构误差，并将所述重构误差作为所述待监测重构图像的误差；
所述基于所述误差和预先设置的置信度，确定与所述误差对应的误差阈值，具体包括：
基于所述重构误差，按照伽马分布采用最大似然估计得到第七参数和第八参数；
基于所述第七参数和所述第八参数，得到与所述第七参数和所述第八参数对应的第四目标伽马分布；
基于所述第四目标伽马分布和所述置信度，确定所述误差阈值；
所述基于所述误差和所述误差阈值，得到所述待监测数据的监测结果，具体包括：
在所述误差大于或等于所述误差阈值的情况下，得到所述待监测重构图像发生场景变化的监测结果；
在所述误差小于所述误差阈值的情况下，得到所述待监测重构图像未发生场景变化的监测结果。
8.根据权利要求1所述的一种针对数据变化的监测方法，其特征在于，在所述基于所述误差和所述误差阈值，得到所述待监测数据的监测结果之后，所述方法还包括：
在所述误差小于所述误差阈值的情况下，将所述待监测数据作为在先监测数据；其中，所述在先监测数据包括在先监测元数据、在先监测原始特征、在先监测聚类特征和在先监测重构图像中的任意一种。
9.根据权利要求7所述的一种针对数据变化的监测方法，其特征在于，所述计算所述目标待监测重构图像和所述待监测重构图像的重构误差，具体包括：
计算预设窗口内的多个所述目标待监测重构图像和多个所述待监测重构图像的重构误差；
基于多个重构误差的平均值，得到所述预设窗口的重构误差；
所述将所述重构误差作为所述待监测重构图像的误差，具体包括：
将所述预设窗口的重构误差，作为所述预设窗口中的所述待监测重构图像的误差。
10.一种针对数据变化的监测装置，其特征在于，所述监测装置包括：
第一模块，用于响应于用户发起的监测指令，调用与所述监测指令对应的监测方法对待监测数据进行监测，得到所述待监测数据的误差；
第二模块，用于基于所述误差和预先设置的置信度，确定与所述误差对应的误差阈值；
第三模块，用于基于所述误差和所述误差阈值，得到所述待监测数据的监测结果。
CN202211426335.0A 2022-11-14 2022-11-14 一种针对数据变化的监测方法及装置 Pending CN118038347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211426335.0A CN118038347A (zh) 2022-11-14 2022-11-14 一种针对数据变化的监测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211426335.0A CN118038347A (zh) 2022-11-14 2022-11-14 一种针对数据变化的监测方法及装置

Publications (1)

Publication Number Publication Date
CN118038347A true CN118038347A (zh) 2024-05-14

Family

ID=90982911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211426335.0A Pending CN118038347A (zh) 2022-11-14 2022-11-14 一种针对数据变化的监测方法及装置

Country Status (1)

Country Link
CN (1) CN118038347A (zh)

Similar Documents

Publication Publication Date Title
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
EP2568429A1 (en) Method and system for pushing individual advertisement based on user interest learning
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
US20110052074A1 (en) Image database creation device, image retrieval device, image database creation method and image retrieval method
CN110502664A (zh) 视频标签索引库创建方法、视频标签生成方法及装置
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
WO2021004137A1 (zh) 基于人脸识别的信息推送方法、装置、计算机设备
CN112102929A (zh) 医学图像标注方法、装置、存储介质及电子设备
CN111967412A (zh) 基于联邦学习的人脸属性识别方法、客户端、设备及介质
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
US11687782B2 (en) Systems and methods for recognition of user-provided images
CN117373100B (zh) 基于差分量化局部二值模式的人脸识别方法及系统
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN113011254A (zh) 一种视频数据处理方法、计算机设备及可读存储介质
CN118038347A (zh) 一种针对数据变化的监测方法及装置
CN114677578A (zh) 确定训练样本数据的方法和装置
CN112101479B (zh) 一种发型识别方法及装置
CN113191376A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN107992853B (zh) 人眼检测方法、装置、计算机设备及存储介质
CN118467778B (zh) 视频信息摘要生成方法、装置、电子装置和存储介质
CN117218396B (zh) 基于大模型的视觉样本数据自动标注方法及系统
WO2021232708A1 (zh) 一种图像处理方法及电子设备
CN118467778A (zh) 视频信息摘要生成方法、装置、电子装置和存储介质
CN113569888A (zh) 图像标注方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination