CN117579704B - 基于物联网的检测数据的采集方法及其系统 - Google Patents
基于物联网的检测数据的采集方法及其系统 Download PDFInfo
- Publication number
- CN117579704B CN117579704B CN202410053300.XA CN202410053300A CN117579704B CN 117579704 B CN117579704 B CN 117579704B CN 202410053300 A CN202410053300 A CN 202410053300A CN 117579704 B CN117579704 B CN 117579704B
- Authority
- CN
- China
- Prior art keywords
- data
- acquisition
- processing
- equipment
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 177
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000004140 cleaning Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000005265 energy consumption Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 210000001503 joint Anatomy 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供基于物联网的检测数据的采集方法及其系统，本发明通过分配数据处理节点并构建多个等级处理集可以实现针对不同类型的设备检测数据进行相应的优化处理，有效提高了数据处理效率和质量，且基于历史检测指令数据对采集指标进行类别划分，有利于对数据进行更精细的监控和分析，使得数据采集更加有针对性，有助于满足不同维度和要求的数据采集需求，同时通过处理权重等级划分以及对接数据的识别条件，能够有效地对数据进行分级处理和精准识别，有助于优化数据采集流程和结果，能够提高数据采集效率，并为后续数据处理阶段提供更为优质和有针对性的数据。
Description
技术领域
本发明涉及数据采集技术领域，尤其涉及基于物联网的检测数据的采集方法及其系统。
背景技术
物联网是指通过互联网将各种日常用品与互联网连接在一起的技术。这些设备可以是传感器、智能手机、家用电器、车辆等，它们通过嵌入传感器、软件和其他技术，可以相互通信和交换数据。物联网的概念涵盖了从智能家居到工业自动化等广泛的领域。
在基于物联网的检测数据采集时，传统的数据采集方式可能无法有效地针对不同类型的数据进行优化处理，缺乏多级别、多维度的数据处理方法，在大规模数据处理时可能效率低下，且难以满足不同维度和要求的数据采集需求，缺乏根据不同需求设定采集区间的灵活性，同时难以满足对检测指令数据的精细分类和监控，导致数据的采集缺乏有针对性和精细度。
因此，有必要提供基于物联网的检测数据的采集方法及其系统解决上述技术问题。
发明内容
为解决上述技术问题，本发明提供基于物联网的检测数据的采集方法及其系统用于解决传统的数据处理方式可能无法有效地针对不同类型的数据进行优化处理，缺乏多级别、多维度的数据处理方法，在大规模数据处理时可能效率低下，且难以满足不同维度和要求的数据采集需求，缺乏根据不同需求设定采集区间的灵活性，同时难以满足对检测指令数据的精细分类和监控，导致数据的采集缺乏有针对性和精细度的问题。
本发明提供的基于物联网的检测数据的采集方法，包括：
S1、获取历史设备数据，其中，历史设备数据包括质量数据、生产效率数据、设备状态数据以及设备能耗数据；
S2、获取数据处理节点，并基于历史设备数据的总体量，分配数据处理节点以构建多个等级处理集；
S3、基于历史检测指令数据，对历史检测指令数据进行类别划分，获得采集指标，其中，所述采集指标包括指令类型指标、影响程度指标、时间指标以及关联任务指标；
S4、根据历史设备数据和所述采集指标，构建多个采集需求区间，其中，所述数据的采集需求区间包括准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间；
S5、将多个所述采集需求区间进行处理权重等级划分，且所述等级处理集与处理权重等级相对应，并基于所述等级处理集和处理权重等级，设置等级处理集对接数据的识别条件；
S6、获取待处理设备检测数据，并对待处理设备检测数据进行预处理，获得设备数据团；
S7、将所述设备数据团输入至各个所述采集需求区间中，根据所述采集需求区间，为设备数据团进行权重分配，获得权重分配后的数据团；
S8、通过识别条件对所述权重分配后的数据团进行识别，并于识别后通过各个所述等级处理集进行处理，完成数据的采集。
优选的，所述步骤S2中，具体步骤包括：
S2.1、数据收集与清洗：收集历史设备数据中的体量大小信息，并对体量大小信息进行清洗，处理缺失数据、异常数据或重复数据；
S2.2、体量大小分组：根据体量大小信息，将其分成不同的等级；
S2.3、确定等级标准：针对每个设备体量等级，制定具体的标准和指标，以便后续评估难易程度不同的数据；
S2.4、设立等级处理集：获取多个数据处理节点，并将数据处理节点按照数量从多至少依次分配三次，构建多个等级处理集，其中，包括一等处理集、二等处理集、三等处理集。
优选的，所述步骤S3具体包括：
S3.1、收集设备的历史检测指令数据，并对历史检测指令数据进行整理，且处理历史检测指令数据的缺失值和异常值，确保历史检测指令数据的格式一致；
S3.2、使用文本分类或聚类算法对历史检测指令数据进行类别划分，建立指令类别体系。
优选的，所述步骤S4具体包括：
S4.1、根据对历史设备数据和采集指标的分析，选择并确定历史设备数据和采集指标中需要收集的数据类型和范围；
S4.2、根据采集需求的定义，结合历史设备数据和采集指标，构建准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
优选的，所述步骤S5具体包括：
S5.1、基于设备实际应用中所需的检测指标，确定用于划分权重等级的指标；
S5.2、根据指标的重要性，将多个所述采集需求区间进行处理权重等级的划分，处理权重等级的划分包括一级处理权重、二级处理权重、三级处理权重；
S5.3、将所述等级处理集与处理权重等级相对应，确保每个等级处理集都能够映射到相应的处理权重等级；
S5.4、设置等级处理集对接数据的识别条件，其中，所述识别条件包括确定不同处理权重等级所对应的数据量、数据类型、数据质量标准等条件。
优选的，所述步骤S6中，对待处理设备数据进行预处理具体包括去除噪声、填补缺失值、数据转换和标准化等，以确保数据质量和一致性。
基于物联网的检测数据的采集系统，所述采集系统包括：
采集模块，用于获取历史设备数据，其中，历史设备数据包括质量数据、生产效率数据、设备状态数据以及设备能耗数据；
分配模块，用于获取数据处理节点，并基于历史设备数据的总体量，分配数据处理节点以构建多个等级处理集；
划分模块，用于基于历史检测指令数据，对历史检测指令数据进行类别划分，获得采集指标，其中，所述采集指标包括指令类型指标、影响程度指标、时间指标以及关联任务指标；
整理模块，用于根据历史设备数据和所述采集指标，构建多个采集需求区间，其中，所述数据的采集需求区间包括准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间；
分级模块，用于将多个所述采集需求区间进行处理权重等级划分，且所述等级处理集与处理权重等级相对应，并基于所述等级处理集和处理权重等级，设置等级处理集对接数据的识别条件；
预处理模块，用于获取待处理设备检测数据，并对待处理设备检测数据进行预处理，获得设备数据团；
特征输入模块，将所述设备数据团输入至各个所述采集需求区间中，根据所述采集需求区间，为设备数据团进行权重分配，获得权重分配后的数据团；
识别模块，用于通过识别条件对所述权重分配后的数据团进行识别，并于识别后通过各个所述等级处理集进行处理，完成数据的采集。
优选的，所述分配模块还包括：
数据清洗模块，用于收集历史设备数据中的体量大小信息，并对体量大小信息进行清洗，处理缺失数据、异常数据或重复数据；
等级评估模块，用于针对每个设备体量等级，制定具体的标准和指标，以便后续评估难易程度不同的数据。
优选的，所述整理模块还包括：
分析模块，用于根据对历史设备数据和采集指标的分析，选择并确定历史设备数据和采集指标中需要收集的数据类型和范围；
区间构建模块，用于根据采集需求的定义，结合历史设备数据和采集指标，构建准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
优选的，所述分级模块还包括：
权重标识模块，用于将多个所述采集需求区间进行处理权重等级划分；
映射模块，用于将所述等级处理集与处理权重等级相对应，确保每个等级处理集都能够映射到相应的处理权重等。
与相关技术相比较，本发明提供的基于物联网的检测数据的采集方法及其系统具有如下有益效果：
本发明通过分配数据处理节点并构建多个等级处理集可以实现针对不同类型的设备检测数据进行相应的优化处理，有效提高了数据处理效率和质量，且基于历史检测指令数据对采集指标进行类别划分，有利于对数据进行更精细的监控和分析，使得数据采集更加有针对性，有助于满足不同维度和要求的数据采集需求，同时通过处理权重等级划分以及对接数据的识别条件，能够有效地对数据进行分级处理和精准识别，有助于优化数据采集流程和结果，能够提高数据采集效率，并为后续数据处理阶段提供更为优质和有针对性的数据。
附图说明
图1为本发明提供的基于物联网的检测数据的采集方法的流程示意图；
图2为本发明提供的基于物联网的检测数据的采集方法的步骤S2流程示意图；
图3为本发明提供的基于物联网的检测数据的采集方法的步骤S3流程示意图；
图4为本发明提供的基于物联网的检测数据的采集方法的步骤S4流程示意图；
图5为本发明提供的基于物联网的检测数据的采集方法的步骤S5流程示意图；
图6为本发明提供的基于物联网的检测数据的采集系统的系统模块示意图；
图7为本发明提供的基于物联网的检测数据的采集系统的分配模块示意图；
图8为本发明提供的基于物联网的检测数据的采集系统的整理模块示意图；
图9为本发明提供的基于物联网的检测数据的采集系统的分级模块示意图。
具体实施方式
下面结合附图和实施方式对本发明做进一步说明。
实施例一
参考图1-5基于物联网的检测数据的采集方法，包括：
S1、获取历史设备数据，其中，历史设备数据包括质量数据、生产效率数据、设备状态数据以及设备能耗数据。
获取历史设备数据时，需确定历史设备数据的来源，如来自数据库、传感器、日志文件还是其他数据存储方式，本实施例中，确定历史设备数据的来源为数据库以及日志文件。
S2、获取数据处理节点，并基于历史设备数据的总体量，分配数据处理节点以构建多个等级处理集。
在本实施例中，参考图2所示，步骤S2中，具体步骤包括：
S2.1、数据收集与清洗：收集历史设备数据中的体量大小信息，并对体量大小信息进行清洗，处理缺失数据、异常数据或重复数据。
针对体量大小信息，进行数据清洗，处理缺失数据、异常数据或重复数据，可能需要使用数据清洗工具或者编写脚本来自动化这一过程，确保数据的准确性和完整性。
S2.2、体量大小分组：根据体量大小信息，将其分成不同的等级。
本实施例中，采用等宽分组或者等频分组的方法，将体量大小信息分成不同的等级，以确保每个等级内的数据量相对均匀。
S2.3、确定等级标准：针对每个设备体量等级，制定具体的标准和指标，以便后续评估难易程度不同的数据。
S2.4、设立等级处理集：获取多个数据处理节点，并将数据处理节点按照数量从多至少依次分配三次，构建多个等级处理集，其中，包括一等处理集、二等处理集、三等处理集。
S3、基于历史检测指令数据，对历史检测指令数据进行类别划分，获得采集指标，其中，采集指标包括指令类型指标、影响程度指标、时间指标以及关联任务指标。能够帮助在不同等级设备数据上进行有针对性的分析和处理。
在本实施例中，参考图3所示，步骤S3具体包括：
S3.1、收集设备的历史检测指令数据，并对历史检测指令数据进行整理，且处理历史检测指令数据的缺失值和异常值，确保历史检测指令数据的格式一致。
从设备中收集历史检测指令数据，其方式包括从设备日志、数据库或其他存储位置中提取数据，本实施例中，采用从设备日志和数据库中提取收集历史检测指令数据；而需要对收集的历史检测指令数据进行标准化和归一化处理，以确保历史检测指令数据的格式一致。
S3.2、使用文本分类或聚类算法对历史检测指令数据进行类别划分，建立指令类别体系。
文本分类可以帮助将检测指令数据按照预先定义的类别进行分类，而聚类算法则可以根据数据的相似性将其划分为不同的群组。
S4、根据历史设备数据和采集指标，构建多个采集需求区间，其中，数据的采集需求区间包括准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
在本实施例中，参考图4所示，步骤S4具体包括：
S4.1、根据对历史设备数据和采集指标的分析，选择并确定历史设备数据和采集指标中需要收集的数据类型和范围。
根据对历史设备数据和采集指标的分析，进行仔细的选择和确定，以确保所收集的数据类型和范围能够满足后续分析和应用的需求。
S4.2、根据采集需求的定义，结合历史设备数据和采集指标，构建准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
准确性采集需求区间为确定所需数据的准确性要求，包括精度、误差范围等；相关性采集需求区间为确定所需数据与分析目标之间的相关性要求；影响力采集需求区间为识别数据对业务或生产的潜在影响，以便确定数据采集的重要性；时间采集需求区间为确定数据采集的时间范围，包括开始时间、结束时间以及持续时间等，以便确保数据采集覆盖了所需的时间段；确定数据采集的频率，包括采集的间隔时间、周期等信息；频率采集需求区间为根据数据变化的速度和业务需求，设定合适的数据采集频率。
S5、将多个采集需求区间进行处理权重等级划分，且等级处理集与处理权重等级相对应，并基于等级处理集和处理权重等级，设置等级处理集对接数据的识别条件。
在本实施例中，参考图5所示，步骤S5具体包括：
S5.1、基于设备实际应用中所需的检测指标，确定用于划分权重等级的指标。
基于设备实际应用中所需的检测指标包括质量指标、生产效率指标、设备安全性指标以及设备能耗指标等，在实际应用中的重要性和影响力进行评估，也可根据采集需要进行自动调整。
S5.2、根据指标的重要性，将多个采集需求区间进行处理权重等级的划分，处理权重等级的划分包括一级处理权重、二级处理权重、三级处理权重。
S5.3、将等级处理集与处理权重等级相对应，确保每个等级处理集都能够映射到相应的处理权重等级。有助于后续根据数据的重要性和影响力进行有针对性的处理和分析
S5.4、设置等级处理集对接数据的识别条件，其中，识别条件包括确定不同处理权重等级所对应的数据量、数据类型、数据质量标准等条件。
S6、获取待处理设备检测数据，并对待处理设备检测数据进行预处理，获得设备数据团。
步骤S6中，对待处理设备数据进行预处理具体包括去除噪声、填补缺失值、数据转换和标准化等，以确保数据质量和一致性。
S7、将设备数据团输入至各个采集需求区间中，根据采集需求区间，为设备数据团进行权重分配，获得权重分配后的数据团。
S8、通过识别条件对权重分配后的数据团进行识别，并于识别后通过各个等级处理集进行处理，完成数据的采集。
本发明通过分配数据处理节点并构建多个等级处理集可以实现针对不同类型的设备检测数据进行相应的优化处理，有效提高了数据处理效率和质量，且基于历史检测指令数据对采集指标进行类别划分，有利于对数据进行更精细的监控和分析，使得数据采集更加有针对性，有助于满足不同维度和要求的数据采集需求，同时通过处理权重等级划分以及对接数据的识别条件，能够有效地对数据进行分级处理和精准识别，有助于优化数据采集流程和结果，能够提高数据采集效率，并为后续数据处理阶段提供更为优质和有针对性的数据。
实施例二
参考图6所示，基于物联网的检测数据的采集系统，包括：
采集模块100，用于获取历史设备数据，其中，历史设备数据包括质量数据、生产效率数据、设备状态数据以及设备能耗数据。
具体的，获取历史设备数据时，需确定历史设备数据的来源，如来自数据库、传感器、日志文件还是其他数据存储方式，本实施例中，确定历史设备数据的来源为数据库以及日志文件。
分配模块200，用于获取数据处理节点，并基于历史设备数据的总体量，分配数据处理节点以构建多个等级处理集。
划分模块300，用于基于历史检测指令数据，对历史检测指令数据进行类别划分，获得采集指标，其中，采集指标包括指令类型指标、影响程度指标、时间指标以及关联任务指标。
整理模块400，用于根据历史设备数据和采集指标，构建多个采集需求区间，其中，数据的采集需求区间包括准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
分级模块500，用于将多个采集需求区间进行处理权重等级划分，且等级处理集与处理权重等级相对应，并基于等级处理集和处理权重等级，设置等级处理集对接数据的识别条件。
预处理模块600，用于获取待处理设备检测数据，并对待处理设备检测数据进行预处理，获得设备数据团。
特征输入模块700，将设备数据团输入至各个采集需求区间中，根据采集需求区间，为设备数据团进行权重分配，获得权重分配后的数据团。
识别模块800，用于通过识别条件对权重分配后的数据团进行识别，并于识别后通过各个等级处理集进行处理，完成数据的采集。
在本实施例中，参考图7所示，分配模块200还包括：
数据清洗模块2001，用于收集历史设备数据中的体量大小信息，并对体量大小信息进行清洗，处理缺失数据、异常数据或重复数据。
具体的，针对体量大小信息，进行数据清洗，处理缺失数据、异常数据或重复数据，可能需要使用数据清洗工具或者编写脚本来自动化这一过程，确保数据的准确性和完整性。
等级评估模块2002，用于针对每个设备体量等级，制定具体的标准和指标，以便后续评估难易程度不同的数据。
具体的，采用等宽分组或者等频分组的方法，将体量大小信息分成不同的等级，以确保每个等级内的数据量相对均匀，再针对每个设备体量等级，制定具体的标准和指标。
在本实施例中，参考图8所示，整理模块400还包括：
分析模块4001，用于根据对历史设备数据和采集指标的分析，选择并确定历史设备数据和采集指标中需要收集的数据类型和范围。
具体的，采用从设备日志和数据库中提取收集历史检测指令数据；而需要对收集的历史检测指令数据进行标准化和归一化处理，以确保历史检测指令数据的格式一致。
区间构建模块4002，用于根据采集需求的定义，结合历史设备数据和采集指标，构建准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
在本实施例中，参考图9所示，分级模块500还包括：
权重标识模块5001，用于将多个采集需求区间进行处理权重等级划分。
具体的，根据对历史设备数据和采集指标的分析，进行仔细的选择和确定，以确保所收集的数据类型和范围能够满足后续分析和应用的需求。
映射模块5002，用于将等级处理集与处理权重等级相对应，确保每个等级处理集都能够映射到相应的处理权重等。
具体的，准确性采集需求区间为确定所需数据的准确性要求，包括精度、误差范围等；相关性采集需求区间为确定所需数据与分析目标之间的相关性要求；影响力采集需求区间为识别数据对业务或生产的潜在影响，以便确定数据采集的重要性；时间采集需求区间为确定数据采集的时间范围，包括开始时间、结束时间以及持续时间等，以便确保数据采集覆盖所需的时间段；确定数据采集的频率，包括采集的间隔时间、周期等信息；频率采集需求区间为根据数据变化的速度和业务需求，以设定合适的数据采集频率。
本申请是参照根据本申请实施例的方法、设备（系统）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
Claims (10)
1.基于物联网的检测数据的采集方法，其特征在于，包括以下步骤：
S1、获取历史设备数据，其中，所述历史设备数据包括质量数据、生产效率数据、设备状态数据以及设备能耗数据；
S2、获取数据处理节点，并基于历史设备数据的总体量，分配数据处理节点以构建多个等级处理集；
S3、基于历史检测指令数据，对历史检测指令数据进行类别划分，获得采集指标，其中，所述采集指标包括指令类型指标、影响程度指标、时间指标以及关联任务指标；
S4、根据历史设备数据和所述采集指标，构建多个采集需求区间，其中，所述数据的采集需求区间包括准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间；
S5、将多个所述采集需求区间进行处理权重等级划分，且所述等级处理集与处理权重等级相对应，并基于所述等级处理集和处理权重等级，设置等级处理集对接数据的识别条件；
S6、获取待处理设备检测数据，并对待处理设备检测数据进行预处理，获得设备数据团；
S7、将所述设备数据团输入至各个所述采集需求区间中，根据所述采集需求区间，为设备数据团进行权重分配，获得权重分配后的数据团；
S8、通过识别条件对所述权重分配后的数据团进行识别，并于识别后通过各个所述等级处理集进行处理，完成数据的采集。
2.根据权利要求1所述的基于物联网的检测数据的采集方法，其特征在于，所述步骤S2中，具体步骤包括：
S2.1、数据收集与清洗：收集历史设备数据中的体量大小信息，并对体量大小信息进行清洗，处理缺失数据、异常数据或重复数据；
S2.2、体量大小分组：根据体量大小信息，将其分成不同的等级；
S2.3、确定等级标准：针对每个设备体量等级，制定具体的标准和指标，以便后续评估难易程度不同的数据；
S2.4、设立等级处理集：获取多个数据处理节点，并将数据处理节点按照数量从多至少依次分配三次，构建多个等级处理集，其中，包括一等处理集、二等处理集、三等处理集。
3.根据权利要求1所述的基于物联网的检测数据的采集方法，其特征在于，所述步骤S3具体包括：
S3.1、收集设备的历史检测指令数据，并对历史检测指令数据进行整理，且处理历史检测指令数据的缺失值和异常值，确保历史检测指令数据的格式一致；
S3.2、使用文本分类或聚类算法对历史检测指令数据进行类别划分，建立指令类别体系。
4.根据权利要求1所述的基于物联网的检测数据的采集方法，其特征在于，所述步骤S4具体包括：
S4.1、根据对历史设备数据和采集指标的分析，选择并确定历史设备数据和采集指标中需要收集的数据类型和范围；
S4.2、根据采集需求的定义，结合历史设备数据和采集指标，构建准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
5.根据权利要求1所述的基于物联网的检测数据的采集方法，其特征在于，所述步骤S5具体包括：
S5.1、基于设备实际应用中所需的检测指标，确定用于划分权重等级的指标；
S5.2、根据指标的重要性，将多个所述采集需求区间进行处理权重等级的划分，处理权重等级的划分包括一级处理权重、二级处理权重、三级处理权重；
S5.3、将所述等级处理集与处理权重等级相对应，确保每个等级处理集都能够映射到相应的处理权重等级；
S5.4、设置等级处理集对接数据的识别条件，其中，所述识别条件包括确定不同处理权重等级所对应的数据量、数据类型和数据质量标准。
6.根据权利要求1所述的基于物联网的检测数据的采集方法，其特征在于，所述步骤S6中，对待处理设备数据进行预处理具体包括去除噪声、填补缺失值、数据转换和标准化，以确保数据质量和一致性。
7.基于物联网的检测数据的采集系统，其特征在于，所述采集系统包括：
采集模块，用于获取历史设备数据，其中，历史设备数据包括质量数据、生产效率数据、设备状态数据以及设备能耗数据；
分配模块，用于获取数据处理节点，并基于历史设备数据的总体量，分配数据处理节点以构建多个等级处理集；
划分模块，用于基于历史检测指令数据，对历史检测指令数据进行类别划分，获得采集指标，其中，所述采集指标包括指令类型指标、影响程度指标、时间指标以及关联任务指标；
整理模块，用于根据历史设备数据和所述采集指标，构建多个采集需求区间，其中，所述数据的采集需求区间包括准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间；
分级模块，用于将多个所述采集需求区间进行处理权重等级划分，且所述等级处理集与处理权重等级相对应，并基于所述等级处理集和处理权重等级，设置等级处理集对接数据的识别条件；
预处理模块，用于获取待处理设备检测数据，并对待处理设备检测数据进行预处理，获得设备数据团；
特征输入模块，将所述设备数据团输入至各个所述采集需求区间中，根据所述采集需求区间，为设备数据团进行权重分配，获得权重分配后的数据团；
识别模块，用于通过识别条件对所述权重分配后的数据团进行识别，并于识别后通过各个所述等级处理集进行处理，完成数据的采集。
8.根据权利要求7所述的基于物联网的检测数据的采集系统，其特征在于，所述分配模块还包括：
数据清洗模块，用于收集历史设备数据中的体量大小信息，并对体量大小信息进行清洗，处理缺失数据、异常数据或重复数据；
等级评估模块，用于针对每个设备体量等级，制定具体的标准和指标，以便后续评估难易程度不同的数据。
9.根据权利要求7所述的基于物联网的检测数据的采集系统，其特征在于，所述整理模块还包括：
分析模块，用于根据对历史设备数据和采集指标的分析，选择并确定历史设备数据和采集指标中需要收集的数据类型和范围；
区间构建模块，用于根据采集需求的定义，结合历史设备数据和采集指标，构建准确性采集需求区间、相关性采集需求区间、影响力采集需求区间、时间采集需求区间以及频率采集需求区间。
10.根据权利要求7所述的基于物联网的检测数据的采集系统，其特征在于，所述分级模块还包括：
权重标识模块，用于将多个所述采集需求区间进行处理权重等级划分；
映射模块，用于将所述等级处理集与处理权重等级相对应，确保每个等级处理集都能够映射到相应的处理权重等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410053300.XA CN117579704B (zh) | 2024-01-15 | 2024-01-15 | 基于物联网的检测数据的采集方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410053300.XA CN117579704B (zh) | 2024-01-15 | 2024-01-15 | 基于物联网的检测数据的采集方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117579704A CN117579704A (zh) | 2024-02-20 |
| CN117579704B true CN117579704B (zh) | 2024-04-12 |
Family
ID=89864678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410053300.XA Active CN117579704B (zh) | 2024-01-15 | 2024-01-15 | 基于物联网的检测数据的采集方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117579704B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184554A1 (zh) * | 2020-03-18 | 2021-09-23 | 平安科技（深圳）有限公司 | 数据库异常监测方法、装置、计算机装置及存储介质 |
| CN116187838A (zh) * | 2023-02-03 | 2023-05-30 | 国网江苏省电力有限公司电力科学研究院 | 一种电力设备的质量评估方法、系统、装置及存储介质 |
| CN116705272A (zh) * | 2023-07-10 | 2023-09-05 | 中国南方电网有限责任公司超高压输电公司昆明局 | 基于多维诊断的设备健康状态综合评价方法 |
| WO2023164895A1 (zh) * | 2022-03-03 | 2023-09-07 | 广东电网有限责任公司广州供电局 | 应用于网关的线损检测负载均衡方法、装置和网关设备 |
| CN116743790A (zh) * | 2022-09-30 | 2023-09-12 | 腾讯云计算（北京）有限责任公司 | 设备数据采集、设备数据分析方法、装置和计算机设备 |
-
2024
- 2024-01-15 CN CN202410053300.XA patent/CN117579704B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184554A1 (zh) * | 2020-03-18 | 2021-09-23 | 平安科技（深圳）有限公司 | 数据库异常监测方法、装置、计算机装置及存储介质 |
| WO2023164895A1 (zh) * | 2022-03-03 | 2023-09-07 | 广东电网有限责任公司广州供电局 | 应用于网关的线损检测负载均衡方法、装置和网关设备 |
| CN116743790A (zh) * | 2022-09-30 | 2023-09-12 | 腾讯云计算（北京）有限责任公司 | 设备数据采集、设备数据分析方法、装置和计算机设备 |
| CN116187838A (zh) * | 2023-02-03 | 2023-05-30 | 国网江苏省电力有限公司电力科学研究院 | 一种电力设备的质量评估方法、系统、装置及存储介质 |
| CN116705272A (zh) * | 2023-07-10 | 2023-09-05 | 中国南方电网有限责任公司超高压输电公司昆明局 | 基于多维诊断的设备健康状态综合评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117579704A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113255795B (zh) | 一种基于多指标集群分析的设备状态监测方法 | |
| CN110634080B (zh) | 异常用电检测方法、装置、设备及计算机可读存储介质 | |
| CN109146705B (zh) | 一种用电特征指标降维与极限学习机算法进行窃电检测的方法 | |
| CN110458195B (zh) | 一种基于多判据融合的异常数据甄别方法 | |
| CN102765010A (zh) | 刀具破磨损状态检测方法及其检测系统 | |
| CN101110089A (zh) | 一种数据挖掘和建模的方法及系统 | |
| CN102522709B (zh) | 变压器状态检修的决策方法及系统 | |
| CN110619691B (zh) | 一种板坯表面裂纹的预测方法及装置 | |
| CN106796157A (zh) | 检测配送网络、特别是饮用水配送网络中的异常的方法 | |
| CN105469219A (zh) | 一种基于决策树的电力负荷数据处理方法 | |
| CN116485020B (zh) | 一种基于大数据的供应链风险识别预警方法、系统及介质 | |
| CN111914942A (zh) | 一种多表合一用能异常分析方法 | |
| CN114880312B (zh) | 一种可柔性设置的应用系统业务数据稽核方法 | |
| CN114169424A (zh) | 基于k近邻回归算法和用电数据的排污量预测方法 | |
| CN117579704B (zh) | 基于物联网的检测数据的采集方法及其系统 | |
| CN113283768A (zh) | 食品检测项目提取方法、装置、设备及存储介质 | |
| Zhu et al. | Fuzzy c-means clustering identification method of urban road traffic state | |
| CN101702172A (zh) | 一种基于类-属性关系依赖度的数据离散化方法 | |
| CN111105041B (zh) | 一种用于智慧数据碰撞的机器学习方法及装置 | |
| CN116187861A (zh) | 基于同位素的水质溯源监测方法及相关装置 | |
| CN113780354B (zh) | 调度自动化主站系统遥测数据异常识别方法和装置 | |
| CN109685458A (zh) | 一种用于环境监测仪器的质量控制方法和装置 | |
| CN113191569A (zh) | 一种基于大数据的企业管理方法及系统 | |
| CN113537759A (zh) | 一种基于权重自适应的用户体验度量模型 | |
| CN113298148A (zh) | 一种面向生态环境评价的不平衡数据重采样方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240321 Address after: 518033 no.1011, Fuqiang Road, Futian street, Futian District, Shenzhen City, Guangdong Province Applicant after: SHENZHEN ACADEMY OF INSPECTION AND QUARANTINE Country or region after: China Applicant after: Shenzhen Customs Industrial Products Testing Technology Center Applicant after: Shenzhen customs logistics management center Address before: 518033 no.1011, Fuqiang Road, Futian street, Futian District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN ACADEMY OF INSPECTION AND QUARANTINE Country or region before: China Applicant before: Shenzhen Customs Industrial Products Testing Technology Center |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |