CN113704322A - 基于云边协同的数据采集方法、装置和介质 - Google Patents

基于云边协同的数据采集方法、装置和介质 Download PDF

Info

Publication number
CN113704322A
CN113704322A CN202110942928.1A CN202110942928A CN113704322A CN 113704322 A CN113704322 A CN 113704322A CN 202110942928 A CN202110942928 A CN 202110942928A CN 113704322 A CN113704322 A CN 113704322A
Authority
CN
China
Prior art keywords
information
quality
quality detection
alarm
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110942928.1A
Other languages
English (en)
Other versions
CN113704322B (zh
Inventor
陈曦
赵孟祥
董永涛
陈广
赵斌
胡东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Beijing Guodiantong Network Technology Co Ltd
State Grid Materials Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Beijing Guodiantong Network Technology Co Ltd
State Grid Materials Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd, Beijing Guodiantong Network Technology Co Ltd, State Grid Materials Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN202110942928.1A priority Critical patent/CN113704322B/zh
Publication of CN113704322A publication Critical patent/CN113704322A/zh
Application granted granted Critical
Publication of CN113704322B publication Critical patent/CN113704322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)

Abstract

本公开的实施例公开了基于云边协同的数据采集方法、装置和介质。该方法的一具体实施方式包括:从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,元数据配置信息是人工配置的;对至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息;对于至少一个质量检测信息中的每个质量检测信息,响应于确定质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于质量检测信息和元数据配置信息,生成物品质量告警信息;基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。该实施方式提高了质量检测效率。

Description

基于云边协同的数据采集方法、装置和介质
技术领域
本公开的实施例涉及计算机技术领域,具体涉及基于云边协同的数据采集方法、装置和介质。
背景技术
随着数据挖掘技术在工业生产中的应用越来越成熟,大量能够表达工业生产状态,反映生产质量的数据被广泛地收集起来。目前,现有技术通常在定制需求下构建质量模型,然后进一步将质量模型嵌入在线应用系统中以实现数据在模型中的接入分析。
然而,当采用上述方式对生产数据进行采集时,经常会存在如下技术问题:
第一,内置的质量模型的灵活性较差,无法根据业务的变化对模型进行及时地变更及调整,例如,对模型进行调整时,往往需要通过人工手动远程或下发新的固件对模型进行升级,处理周期较长,从而降低了质量检测效率。
第二,定制化需求下的开发,往往忽略了对生产数据的质量分析,进而无法筛选出质量较低的数据,造成质量较低的数据参与质量检测,导致质量检测的准确度较低。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了基于云边协同的数据采集方法、装置和介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种基于云边协同的数据采集方法,该方法包括:从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,上述元数据配置信息是人工配置的;对上述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息;对于上述至少一个质量检测信息中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息;基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
第二方面,本公开的一些实施例提供了一种基于云边协同的数据采集装置,装置包括:筛选单元,被配置成从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,上述元数据配置信息是人工配置的;数据预处理单元,被配置成对上述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息;生成单元,被配置成对于上述至少一个质量检测信息中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息;控制单元,被配置成基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的基于云边协同的数据采集方法,提高了质量检测效率。具体来说,造成质量检测效率较低的原因在于:内置的质量模型的灵活性较差,无法根据业务的变化,及时地对模型进行随时变更及调整,例如,往往需要通过人工手动远程或下发新的固件对模型进行升级,处理周期较长,从而降低了质量检测效率。基于此,本公开的一些实施例的基于云边协同的数据采集方法,首先,从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,上述元数据配置信息是人工配置的。通过在云端统一配置触发告警信息,为后续进行质量告警提供数据支撑。其次,对上述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息。实际情况中,不同接口采集的数据格式和数据质量存有差异,通过对数据进行数据规范预处理以提高数据处理的效率和准确度。然后,对于上述至少一个质量检测信息中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息。通过,根据不同的业务场景在云端配置不同的触发告警条件,不必再下发固件进行模型升级,进而提高了数据处理的速度。最后,基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。从而提高了数据处理的速度,进而,提高了质量检测的效率。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的基于云边协同的数据采集方法的一个应用场景示意图;
图2是根据本公开的基于云边协同的数据采集方法的一些实施例的流程图;
图3是根据本公开的基于云边协同的数据采集方法的另一些实施例的流程图;
图4是根据本公开的基于云边协同的数据采集装置的一些实施例的结构示意图;
图5是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开的一些实施例的基于云边协同的数据采集方法的一个应用场景的示意图。
在图1的应用场景中,首先,计算设备101可以从物品生产信息集102中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息103,其中,上述元数据配置信息是人工配置的。其次,计算设备101可以对上述至少一个候选生产信息103中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息104。然后,计算设备101可以对于上述至少一个质量检测信息104中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息105。最后,计算设备101可以基于所生成的物品质量告警信息,控制报警设备106进行物品质量报警。
需要说明的是,上述计算设备101可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的计算设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的计算设备。
继续参考图2,示出了根据本公开的基于云边协同的数据采集方法的一些实施例的流程200。该基于云边协同的数据采集方法,包括以下步骤:
步骤201,从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息。
在一些实施例中,基于云边协同的数据采集方法的执行主体(例如图1所示的计算设备101)可以从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息。其中,上述元数据配置信息可以是人工配置的。上述物品生产信息集中的物品生产信息为物品生产过程中生产设备所产生的信息。上述物品生产信息集中的物品生产信息可以包括但不限于以下至少一项:物品标识信息、设备标识信息、当前设备温度值、当前设备压强值和时间戳。上述元数据配置信息可以包括但不限于以下至少一项:物品标识信息和待匹配时间段。上述执行主体可以通过从上述物品生产信息集中筛选出满足筛选条件组的物品生产信息作为候选生产信息,得到至少一个候选生产信息。上述筛选条件组可以是上述物品生产信息包括的物品标识信息与元数据配置信息包括的物品标识信息相同、上述物品生产信息包括的时间戳在上述元数据配置信息包括的待匹配时间段范围内。
步骤202,对至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息。
在一些实施例中,上述执行主体可以对至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息。其中,上述执行主体可以通过去除上述至少一个候选生产信息中重复的候选生产信息以生成上述至少一个质量检测信息。上述执行主体也可以通过去除上述至少一个候选生产信息中空白的候选生产信息以生成上述至少一个质量检测信息。
步骤203,对于至少一个质量检测信息中的每个质量检测信息,响应于确定质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于质量检测信息和元数据配置信息,生成物品质量告警信息。
在一些实施例中,上述执行主体可以对于至少一个质量检测信息中的每个质量检测信息,响应于确定质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于质量检测信息和元数据配置信息,生成物品质量告警信息。其中,上述元数据配置信息还可以包括:质量告警触发信息。上述质量告警触发信息可以包括但不限于以下至少一项:当前设备温度阈值和当前设备压强阈值。上述质量告警条件组可以是:上述质量检测信息包括的当前设备温度大于上述质量告警触发信息包括的当前设备温度阈值,上述质量检测信息包括的当前设备压强值大于上述质量告警触发信息包括的当前设备压强阈值。上述执行主体可以响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,将上述质量检测信息进行告警标注以生成告警标注后的质量检测信息作为上述物品质量告警信息。
作为示例,上述质量检测信息可以是[物品标识信息:25,设备标识信息:1号机,当前设备温度值:161摄氏度,当前设备压强值:25帕]。上述当前设备温度阈值可以为150摄氏度。上述设备压强阈值可以为28帕。响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,上述质量检测信息进行告警标注以生成告警标注后的质量检测信息作为上述物品质量告警信息可以是[物品标识信息:25,设备标识信息:1号机,当前设备温度值:161摄氏度,当前设备压强值:25帕,告警指令信息]。
步骤204,基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
在一些实施例中,上述执行主体可以基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。其中,上述报警设备可以是能够发出声光报警信号的报警器。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的基于云边协同的数据采集方法,提高了质量检测效率。具体来说,造成质量检测效率较低的原因在于:内置的质量模型的灵活性较差,无法根据业务的变化,及时地对模型进行随时变更及调整,例如,往往需要通过人工手动远程或下发新的固件对模型进行升级,处理周期较长,从而降低了质量检测效率。基于此,本公开的一些实施例的基于云边协同的数据采集方法,首先,从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,上述元数据配置信息是人工配置的。通过在云端统一配置触发告警信息,为后续进行质量告警提供数据支撑。其次,对上述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息。实际情况中,不同接口采集的数据格式和数据质量存有差异,通过对数据进行数据规范预处理以提高数据处理的效率和准确度。然后,对于上述至少一个质量检测信息中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息。通过,根据不同的业务场景在云端配置不同的触发告警条件,不必再下发固件进行模型升级,进而提高了数据处理的速度。最后,基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。从而提高了数据处理的速度,进而,提高了质量检测的效率。
进一步参考图3,其示出了基于云边协同的数据采集方法的另一些实施例的流程300。该物品信息处理方法的流程300,包括以下步骤:
步骤301,从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息。
在一些实施例中,步骤301的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤201,在此不再赘述。
步骤302,对至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息。
在一些实施例中,上述执行主体对至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息可以包括以下步骤:
第一步,对上述候选生产信息进行数据解析处理以生成解析信息。
其中,上述候选生产信息的数据格式可以是JSON(JavaScript ObjectNotation,对象表示法)数据格式。上述数据解析处理可以通过JSON系统自带的解析方式进行数据解析处理。
第二步,对上述解析信息进行数据解码处理以生成解码信息。
其中,上述执行主体可以利用超文本预处理器中的解码函数对上述解析信息进行数据解码处理以生成解码信息。
第三步,响应于确定上述解码信息通过数据保真检验,确定上述解码信息是否完整。
其中,上述执行主体可以利用本福特定律对上述解码信息进行数据保真校验。上述执行主体可以通过确定上述解码信息中是否有空值,以确定上述解码信息是否完整。
第四步,响应于确定上述解码信息完整,对上述解码信息进行数据清洗处理,以生成数据清洗后的解码信息。
其中,上述执行主体可以通过分箱法对上述对上述解码信息进行数据清洗处理。上述执行主体也可以通过回归法对上述对上述解码信息进行数据清洗处理。
第五步,对上述数据清洗后的解码信息进行数据标准化处理,以生成上述质量检测信息。
其中,上述执行主体可以通过将上述数据清洗后的解码信息的格式转换为目标数据格式的方法,以实现对上述数据清洗后的解码信息进行数据标准化处理。上述目标数据格式为云端数据库中既定的数据格式。上述数据格式可以是数据长度为18字节的字符。上述数据格式也可以是数据长度为12字节的字符。
步骤303,对于至少一个质量检测信息中的每个质量检测信息,响应于确定质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于质量检测信息和元数据配置信息,生成物品质量告警信息。
在一些实施例中,上述执行主体对于至少一个质量检测信息中的每个质量检测信息,响应于确定质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于质量检测信息和元数据配置信息,生成物品质量告警信息,可以包括以下步骤:
第一步,基于上述质量检测信息,确定上述质量检测信息对应的物品数据质量检测值。
其中,上述质量检测信息可以包括:第一检测信息集和第二检测信息集。上述第一检测信息集中的第一检测信息可以是物品长度。上述第二检测信息集中的第二检测信息可以是物品宽度。实践中,首先,上述执行主体可以利用方差公式,确定上述第一检测信息集对应的方差值,得到第一方差值。其次,利用方差公式,可以确定上述第二检测信息集对应的方差值,得到第二方差值。之后,可以对上述第一方差值和上述第二方差值进行求平均处理,得到第一质量评价指标值。然后,可以利用协方差公式,确定上述第一检测信息集和上述第二检测信息集共同对应的协方差值,得到第二质量评价指标值。最后,基于第一预设权重和第二预设权重,对上述第一质量评价指标值和第二质量评价指标值进行加权求和处理,得到物品数据质量检测值。上述第一预设权重A的取值范围为[0,1]。上述第二预设权重B的取值范围为[0,1-A]。
作为示例,上述第一检测信息集可以是:[0.5,0.4,0.3,0.3,0.5]。上述第一检测信息集中各个第一检测信息的均值为:0.4。上述第二检测信息可以是:[0.4,0.3,0.2,0.2,0.4]。上述第二检测信息集中各个第二检测信息的均值为:0.3。上述第一预设权重可以是:0.5。上述第二预设权重可以是0.5。则确定的上述质量检测信息对应的物品数据质量检测值是0.009。
第二步,响应于确定上述质量检测信息满足上述质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息。
其中,上述质量告警条件组可以为:上述质量检测信息包括的检测标识信息和上述元数据配置信息包括的告警标识信息相同,上述质量检测信息对应的物品数据质量检测值在上述质量告警值范围内。上述执行主体可以响应于确定上述质量检测信息满足上述质量告警条件组中的至少一条质量告警条件,将上述质量检测信息和上述元数据配置信息包括的告警指令信息进行组合以生成物品质量告警信息。
上述步骤303以及对应内容作为本公开的实施例的一个发明点,解决了背景技术提及的技术问题二“质量检测的准确度较低”。导致质量检测的准确度较低的因素往往如下:定制化需求下的开发,往往忽略了对生产数据的质量分析,进而无法筛选出质量较低的数据,造成质量较低的数据参与质量检测,导致质量检测的准确度较低。如果解决了上述因素,就能达到提高质量检测的准确度的效果。为了达到这一效果,本公开引入了物品数据质量检测值以确定不同业务下所产生的数据的质量。首先,数据是否稳定往往是影响数据质量的关键因素。因此,本公开利用方差公式确定第一质量评价指标值,用于表征质量检测信息的数据离散程度和数据稳定性。其次,数据之间的冲突性往往也是影响数据质量的关键因素。因此,本公式还引入了协方差公式确定第二质量评价指标值,用于表征质量检测信息的数据冲突性。最后,通过将上述第一质量评价指标值和上述第二质量评价指标值进行加权求和处理以生成物品数据质量检测值用于评估数据的质量。并,通过设置物品质量检测阈值的方法,筛选出质量较低的数据,使质量较低的数据不参与质量检测,进而提升质量检测的准确度。
在一些实施例的一些可选地实现方式中,上述执行主体对于至少一个质量检测信息中的每个质量检测信息,响应于确定质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于质量检测信息和元数据配置信息,生成物品质量告警信息,可以包括以下步骤:
第一步,可以分别确定上述质量检测信息包括的第一检测信息集和第二检测信息集的方差,得到第一检测值和第二检测值。
第二步,确定上述质量检测信息包括的第一检测信息集和第二检测信息集的协方差,得到第三检测值。
第三步,基于上述第一检测值、第二检测值和第三检测值,生成上述质量检测信息对应的物品数据质量检测值。
第四步,响应于确定上述质量检测信息对应的物品数据质量检测值在上述质量告警值范围内,将上述质量检测信息确定为物品质量告警信息。
步骤304,基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
在一些实施例中,步骤304的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤204,在此不再赘述。
步骤305,将所生成的物品质量告警信息存储至云端数据库中,以供调用云端数据库中的云端数据进行数据追踪。
在一些实施例中,上述执行主体可以将所生成的物品质量告警信息存储至云端数据库中,以供调用云端数据库中的云端数据进行数据追踪。上述执行主体可以通过多元方差分析的方法进行数据追踪。上述云端数据库指的是被优化或部署到一个虚拟计算环境中的数据库。上述云端数据库可以是关系型数据库。上述云端数据库也可以是非关系型数据库。
步骤306,对于至少一个质量检测信息中的每个质量检测信息,响应于确定质量检测信息不满足质量告警条件组中的各个质量告警条件,将质量检测信息进行加密处理以生成目标质量信息。
在一些实施例中,上述执行主体可以通过各种目标加密算法对质量检测信息进行加密处理以生成目标质量信息。上述目标加密算法可以是数字签名算法。上述目标加密算法也可以是信息摘要算法。
步骤307,将目标质量信息和业务信息进行数据关联处理,以生成关联信息。
在一些实施例中,上述执行主体可以将目标质量信息和业务信息进行数据关联处理,以生成关联信息。其中,上述业务信息可以是根据业务订单所生成的物品生产计划信息。上述业务信息可以包括:物品标识信息。上述执行主体可以响应于确定上述目标质量信息包括的物品标识信息和上述业务信息包括的物品标识信息相同,将目标质量信息和业务信息进行组合,以生成上述关联信息。
步骤308,将关联信息存储至云端数据库中,以供调用云端数据库中的云端数据进行数据展示和数据共享。
在一些实施例中,上述执行主体可以将关联信息存储至云端数据库中,以供调用云端数据库中的云端数据进行数据展示和数据共享。其中,上述数据展示的形式可以是报表,也可以是系统关系图。上述数据共享可以是将数据下发至需求系统中以供对数据进行分析处理。
本公开的上述各个实施例具有如下有益效果:首先,从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,元数据配置信息是人工配置的。通过在云端统一配置触发告警信息,为后续对数据质量告警提供数据支撑。其次,对所述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息。通过对候选生产信息进行解析、解码、完整性验证、数据清洗以及数据标准化等操作,以实现数据的规范化,从而提高数据处理的效率和准确度。然后,对于上述至少一个质量检测信息中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息。通过配置不同的告警信息以应对不同的突发质量问题。另外,引入了物品数据质量检测值以检测不同业务下所产生的数据的质量。并,通过设置物品质量检测阈值的方法,筛选出质量较低的数据,使质量较低的数据不参与质量检测,进而提升质量检测的准确度。最后,基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。由于数据处理的速度的提升,使质量检测的效率也得以提高。
进一步参考图4,作为对上述各图所示方法的实现,本公开提供了一种基于云边协同的数据采集装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,一些实施例的基于云边协同的数据采集装置400包括:筛选单元401、数据预处理单元402、生成单元403和控制单元404。其中,筛选单元401,被配置成从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,上述元数据配置信息是人工配置的;数据预处理单元402,被配置成对上述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息;生成单元403,被配置成对于上述至少一个质量检测信息中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息;控制单元404,被配置成基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
可以理解的是,该装置400中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置400及其中包含的单元,在此不再赘述。
下面参考图5,其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的计算设备101)500的结构示意图。图5示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM502被安装。在该计算机程序被处理装置501执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,adhoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述装置中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,上述元数据配置信息是人工配置的;对上述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息;对于上述至少一个质量检测信息中的每个质量检测信息,响应于确定上述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于上述质量检测信息和上述元数据配置信息,生成物品质量告警信息;基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括筛选单元、数据预处理单元、生成单元和控制单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,数据预处理单元还可以被描述为“对上述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准物品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于云边协同的数据采集方法,包括:
从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,所述元数据配置信息是人工配置的;
对所述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息;
对于所述至少一个质量检测信息中的每个质量检测信息,响应于确定所述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于所述质量检测信息和所述元数据配置信息,生成物品质量告警信息;
基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
2.根据权利要求1所述的方法,其中,所述方法还包括:
将所生成的物品质量告警信息存储至云端数据库中,以供调用所述云端数据库中的云端数据进行数据追踪。
3.根据权利要求2所述的方法,其中,所述方法还包括:
对于所述至少一个质量检测信息中的每个质量检测信息,响应于确定所述质量检测信息不满足质量告警条件组中的各个质量告警条件,将所述质量检测信息进行加密处理以生成目标质量信息;
将所述目标质量信息和业务信息进行数据关联处理,以生成关联信息;
将所述关联信息存储至所述云端数据库中,以供调用所述云端数据库中的云端数据进行数据展示和数据共享。
4.根据权利要求3所述的方法,其中,所述对所述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,包括:
对所述候选生产信息进行数据解析处理以生成解析信息;
对所述解析信息进行数据解码处理以生成解码信息。
5.根据权利要求4所述的方法,其中,所述对所述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,还包括:
响应于确定所述解码信息通过数据保真检验,确定所述解码信息是否完整;
响应于确定所述解码信息完整,对所述解码信息进行数据清洗处理,以生成数据清洗后的解码信息;
对所述数据清洗后的解码信息进行数据标准化处理,以生成所述质量检测信息。
6.根据权利要求5所述的方法,其中,所述元数据配置信息包括:告警标识信息和质量告警值范围,所述质量检测信息包括:检测标识信息;以及
所述对于所述至少一个质量检测信息中的每个质量检测信息,响应于确定所述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于所述质量检测信息和所述元数据配置信息,生成物品质量告警信息,包括:
基于所述质量检测信息,确定所述质量检测信息对应的物品数据质量检测值;
响应于确定所述质量检测信息满足所述质量告警条件组中的至少一条质量告警条件,基于所述质量检测信息和所述元数据配置信息,生成物品质量告警信息,其中,所述质量告警条件组为:所述质量检测信息包括的检测标识信息和所述元数据配置信息包括的告警标识信息相同,所述质量检测信息对应的物品数据质量检测值在所述质量告警值范围内。
7.根据权利要求6所述的方法,其中,所述质量检测信息还包括:第一检测信息集和第二检测信息集;以及
所述基于所述质量检测信息,确定所述质量检测信息对应的物品数据质量检测值,包括:
分别确定所述质量检测信息包括的第一检测信息集和第二检测信息集的方差,得到第一检测值和第二检测值;
确定所述质量检测信息包括的第一检测信息集和第二检测信息集的协方差,得到第三检测值;
基于所述第一检测值、所述第二检测值和所述第三检测值,生成所述质量检测信息对应的物品数据质量检测值。
8.一种基于云边协同的数据采集装置,包括:
筛选单元,被配置成从物品生产信息集中筛选出与元数据配置信息相匹配的物品生产信息,作为候选生产信息,得到至少一个候选生产信息,其中,所述元数据配置信息是人工配置的;
数据预处理单元,被配置成对所述至少一个候选生产信息中的每个候选生产信息进行数据预处理以生成质量检测信息,得到至少一个质量检测信息;
生成单元,被配置成对于所述至少一个质量检测信息中的每个质量检测信息,响应于确定所述质量检测信息满足质量告警条件组中的至少一条质量告警条件,基于所述质量检测信息和所述元数据配置信息,生成物品质量告警信息;
控制单元,被配置成基于所生成的物品质量告警信息,控制报警设备进行物品质量报警。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7任一所述的方法。
CN202110942928.1A 2021-08-17 2021-08-17 基于云边协同的数据采集方法、装置和介质 Active CN113704322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110942928.1A CN113704322B (zh) 2021-08-17 2021-08-17 基于云边协同的数据采集方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110942928.1A CN113704322B (zh) 2021-08-17 2021-08-17 基于云边协同的数据采集方法、装置和介质

Publications (2)

Publication Number Publication Date
CN113704322A true CN113704322A (zh) 2021-11-26
CN113704322B CN113704322B (zh) 2023-08-01

Family

ID=78653011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110942928.1A Active CN113704322B (zh) 2021-08-17 2021-08-17 基于云边协同的数据采集方法、装置和介质

Country Status (1)

Country Link
CN (1) CN113704322B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109787829A (zh) * 2019-01-21 2019-05-21 北京百度网讯科技有限公司 用于生成信息的方法及装置
CN111477289A (zh) * 2019-01-24 2020-07-31 明码(上海)生物科技有限公司 检测报告的存储和读取方法及装置
CN111600898A (zh) * 2020-05-22 2020-08-28 国网电力科学研究院有限公司 基于规则引擎的安全告警生成方法、装置及系统
WO2020215894A1 (zh) * 2019-04-25 2020-10-29 深圳前海微众银行股份有限公司 一种告警方法、装置及系统
CN112562281A (zh) * 2020-12-23 2021-03-26 广东工业大学 基于边缘计算的车间设备告警事件处理装置及方法
CN112685433A (zh) * 2021-01-07 2021-04-20 网易(杭州)网络有限公司 元数据更新方法、装置、电子设备及计算机可读存储介质
CN113010502A (zh) * 2019-12-19 2021-06-22 阿里巴巴集团控股有限公司 数据质量稽核方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109787829A (zh) * 2019-01-21 2019-05-21 北京百度网讯科技有限公司 用于生成信息的方法及装置
CN111477289A (zh) * 2019-01-24 2020-07-31 明码(上海)生物科技有限公司 检测报告的存储和读取方法及装置
WO2020215894A1 (zh) * 2019-04-25 2020-10-29 深圳前海微众银行股份有限公司 一种告警方法、装置及系统
CN113010502A (zh) * 2019-12-19 2021-06-22 阿里巴巴集团控股有限公司 数据质量稽核方法、装置、设备和存储介质
CN111600898A (zh) * 2020-05-22 2020-08-28 国网电力科学研究院有限公司 基于规则引擎的安全告警生成方法、装置及系统
CN112562281A (zh) * 2020-12-23 2021-03-26 广东工业大学 基于边缘计算的车间设备告警事件处理装置及方法
CN112685433A (zh) * 2021-01-07 2021-04-20 网易(杭州)网络有限公司 元数据更新方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113704322B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108011782B (zh) 用于推送告警信息的方法和装置
CN112527649A (zh) 一种测试用例的生成方法和装置
CN110908967B (zh) 用于存储日志的方法、装置、设备和计算机可读介质
CN114091704B (zh) 一种告警压制方法和装置
CN111966950B (zh) 日志发送方法、装置、电子设备和计算机可读介质
CN112491859A (zh) 域名证书检测方法、装置、电子设备和计算机可读介质
CN117156012A (zh) 异常请求数据处理方法、装置、设备和计算机可读介质
CN112581241B (zh) 设备控制方法、装置、电子设备和计算机可读介质
CN112464039B (zh) 树形结构的数据显示方法、装置、电子设备和介质
CN111932348B (zh) 针对异常订单的报警方法、装置、电子设备和可读介质
CN113704322A (zh) 基于云边协同的数据采集方法、装置和介质
CN116361121A (zh) 异常接口告警方法、装置、电子设备和计算机可读介质
CN113779103B (zh) 用于检测异常数据的方法和装置
CN115187364A (zh) 银行分布式场景下保证金风险监控的方法及装置
CN115361450A (zh) 请求信息处理方法、装置、电子设备、介质和程序产品
CN113986758A (zh) 回归测试方法和装置、电子设备、计算机可读介质
CN110334763B (zh) 模型数据文件生成、图像识别方法、装置、设备及介质
CN111930704B (zh) 业务报警设备控制方法、装置、设备和计算机可读介质
CN113779335A (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN112632542B (zh) 应用程序检测文件动态调整方法、装置、电子设备和介质
CN111831534A (zh) 一种对数据报表进行准确性验证的方法和装置
CN113282471B (zh) 设备性能测试方法、装置、终端设备
CN113760882B (zh) 数据异常报警方法、装置、电子设备和计算机可读介质
CN116739789B (zh) 虚拟物品回测信息发送方法、装置、电子设备和介质
CN115277421B (zh) 配置信息推送方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant