CN113535697A - 爬架数据清理方法、爬架控制装置及存储介质 - Google Patents
爬架数据清理方法、爬架控制装置及存储介质 Download PDFInfo
- Publication number
- CN113535697A CN113535697A CN202110770958.9A CN202110770958A CN113535697A CN 113535697 A CN113535697 A CN 113535697A CN 202110770958 A CN202110770958 A CN 202110770958A CN 113535697 A CN113535697 A CN 113535697A
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- climbing
- preset
- climbing frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009194 climbing Effects 0.000 title claims abstract description 130
- 238000004140 cleaning Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims description 59
- 238000005070 sampling Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 10
- 241000219098 Parthenocissus Species 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004321 preservation Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000001174 ascending effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009435 building construction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种爬架数据清理方法、爬架控制装置及存储介质,爬架数据清理方法包括:获取待处理数据及待处理数据的类型,待处理数据携带有数据源标识和时间标签,待处理数据的类型包括爬架控制装置存储空间的数据和待存储的数据;根据类型和数据源标识为待处理数据配置对应的数据处理参数;根据数据处理参数和时间标签对待处理数据分别进行数据清理,得到最终数据。保证了对无效数据的清理,减小了爬架控制装置的数据冗余,增加了爬架控制装置的处理速度,同时避免有效数据被错误清理,从而导致爬架控制装置不能准确记录并分析爬架状态的情况。
Description
技术领域
本申请涉及建筑设备技术领域,尤其涉及一种爬架数据清理方法、爬架控制装置及存储介质。
背景技术
爬架是近年来开发的新型脚手架体系,主要应用于高层建筑,通过控制装置控制爬架沿着建筑物往上攀升或下降。这种体系使脚手架技术在使用脚手架过程中不必翻架子,也免除了脚手架的拆装工序,且不受建筑物高度的限制,极大的节省了人力和材料。在高层建筑施工领域中,爬架是不可缺少的建筑施工设施。
爬架控制装置与大量的传感器连接,以接收并存储传感器数据,为爬架的运行提供数据支持。但是由于传感器数量多,导致爬架控制装置获取的数据量大,一些无用的数据会造成爬架控制装置的运行速度下降,而一些有用的数据又得不到充分的利用。
因此,针对现有技术的不足,提供一种爬架数据清理方法以解决现有技术不足甚为必要。
申请内容
本申请提供了一种爬架数据清理方法、爬架控制装置及存储介质,通过对不同类型和不同数据源的待处理数据分别配置对应的数据处理参数,实现对爬架控制装置存储空间的数据和待存储的数据的精准清理,解决了爬架控制装置因为数据冗余而导致运行速度变慢的问题。
第一方面,本申请实施例提供一种爬架数据清理方法,应用于爬架控制装置,包括:获取待处理数据及待处理数据的类型,待处理数据携带有数据源标识和时间标签,待处理数据的类型包括存储空间的数据和待存储的数据;根据类型和数据源标识为待处理数据配置对应的数据处理参数;根据数据处理参数和时间标签对待处理数据分别进行数据清理,得到最终数据。
第二方面,本申请实施例提供一种爬架控制装置,包括存储器以及处理器;存储器用于存储计算机可执行的爬架数据清理程序;处理器用于调用计算机可执行的爬架数据清理程序以实现本申请实施例提供的爬架数据清理方法。
第三方面,本申请实施例提供一种存储介质,其上储存有计算机程序,计算机程序被处理器加载以执行本申请实施例提供的爬架数据清理方法。
通过对不同类型和不同数据源的待处理数据分别配置对应的数据处理参数,保证了对无效数据的清理,减小了爬架控制装置的数据冗余,增加了爬架控制装置的处理速度,同时避免有效数据被错误清理,从而导致爬架控制装置不能准确记录并分析爬架状态的情况。且通过对传感器当前采集的待存储数据进行清理,防止无效数据进入存储空间,造成存储空间的浪费,通过对存储空间内的数据进行清理,删除冗余数据,防止过多的数据增加爬架控制装置数据处理的压力,进而提高爬架控制装置的执行效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种爬架数据清理系统的结构示意图;
图2为本申请实施例提供的一种爬架数据清理方法的流程示意图;
图3为图2中的爬架数据清理方法的最终数据获取步骤的流程示意图;
图4为图2中的爬架数据清理方法的最终数据获取步骤的另一流程示意图;
图5为本申请实施例提供的一种爬架控制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
下面结合附图,对本申请的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请实施例提供的一种爬架数据清理系统的结构示意图。如图1所示,爬架数据清理系统1包括爬架控制装置10和爬架20。
需要说明的是,爬架20设置有多个传感器201,传感器201包括但不限于重量传感器、位移传感器、载荷传感器、图像传感器等,以通过传感器201检测爬架20的工作状态。爬架控制装置10与传感器201连接,用于接收传感器201的数据,并对数据进行处理和保存。其中,爬架控制装置10还用于控制爬架20的工作状态;例如,爬架控制装置10通过继电器和交流接触器来控制电动葫芦的上升、下降以及悬停,进而控制爬架20的上升、下降以及悬停。
可以理解的是,爬架控制装置10及传感器201的数量及部署位置可以根据应用场景进行选择,本申请实施例对此不做限定。
爬架控制装置每时每刻都有大量的传感器数据进行采集和存储,随着时间推移存储空间内的数据不断增多,在爬架控制装置中各类数据实体生命周期结束后,与之相关的数据不再被处理,但仍保留在存储空间中,经过长时间的积累,占据了系统大量的存储空间,增加了爬架控制装置数据处理的压力,影响爬架控制装置的执行效率,对其安全运行有隐患。同时,为了保证对爬架的状态的分析,爬架控制装置需要不断获取大量的传感器数据,但这些传感器数据中可能包含有无效数据,如果直接将这些数据进行存储,会对存储空间造成浪费,对有效数据的挖掘也造成不利影响。因此,对数据进行清理是十分重要的。
请参阅图2,图2为本申请实施例提供的爬架数据清理方法的流程图。该爬架数据清理方法具体包括步骤S1-S3,可以理解的是,根据不同的需求,该流程图中步骤的顺序可以改变,某些可以省略。
S1、获取待处理数据及所述待处理数据的类型,所述待处理数据携带有数据源标识和时间标签,所述待处理数据的类型包括存储空间的数据和待存储的数据。
数据源标识包括传感器标识,用于表示采集该待处理数据的传感器类型。每个待处理数据均携带有时间标签,该时间标签用于表示对应传感器采集该待处理数据的时间戳。其中,待处理数据的类型包括爬架控制装置存储空间的数据和待存储的数据,通过待处理数据的类型信息表示该待处理数据为存储空间的数据或传感器当前采集的待存储的数据。
S2、根据所述待处理数据的类型和所述数据源标识为所述待处理数据配置对应的数据处理参数。
不同待处理数据对应不同的数据处理参数,数据处理参数指的是对待处理数据进行清理时的参数。其中,数据处理参数可以根据应用场景进行设置,本申请实施例对此不做限定。
可以理解的是,待处理数据之间的类型及数据源不同,则待处理数据之间的数据特征差异较大,根据类型信息和数据源标识为待处理数据配置对应的数据处理参数,保证了后续数据清理的准确性。
S3、根据所述数据处理参数和所述时间标签对所述待处理数据分别进行数据清理,得到最终数据。
根据数据处理参数对待处理数据分别进行数据处理,以得到处理后的最终数据。
通过对不同的待处理数据适配对应的数据处理参数,以执行对应的数据处理操作,保证了对无效数据的清理,减小了爬架控制装置的数据冗余,增加了爬架控制装置的处理速度,同时避免有效数据被错误清理,从而导致爬架控制装置不能准确记录并分析爬架状态的情况。
且通过对传感器当前采集的待存储数据进行清理,防止无效数据占用存储空间,造成存储空间的浪费。通过对存储空间内的数据进行清理,删除冗余数据,防止过多的数据增加爬架控制装置数据处理的压力,进而提高爬架控制装置的执行效率。
请参阅图3,在一些实施方式中,当所述待处理数据为存储空间的数据时,步骤S3包括子步骤S311至子步骤S314。
S311、当所述待处理数据为存储空间的数据时,根据所述数据处理参数得到预设保存时间。
具体地,每个待处理数据对应不同的数据处理参数,根据数据处理参数得到待处理数据对应的预设保存时间。其中,预设保存时间用于表示待处理数据的可保存的时间,根据待处理数据不同的重要程度及数据性质,设定不同的预设保存时间。
例如,当待处理数据为位移传感器数据时,位移传感器数据用于记录爬架运动时产生的位移,由于爬架的位移传感器数据变化频率较小,且位移传感器数据属于爬架状态分析的重要参数,因此,位移传感器数据集合对应的预设保存时间为30天。而当待处理数据为速度传感器数据时,速度传感器数据用于记录爬架的运动速度,由于爬架的速度传感器数据变化频率较大,且速度传感器数据具有时效性,过于久远的速度传感器数据对于当前爬架状态的分析贡献性较小,因此,速度传感器数据集合对应的预设保存时间为3天。
由此可见,不同类型传感器的数据对应的预设保存时间不同,以根据不同的预设保存时间对各传感器数据进行对应的处理,进而保留尽量多的有效数据,清理其他无效数据。
S312、根据所述预设保存时间和所述时间标签,得到过期时间。
具体地,向爬架控制装置存储区获取待处理数据,可以是获取预设时间区间的传感器数据作为待处理数据,也可以是获取预设数据的传感器数据作为待处理数据。每个待处理数据均携带有时间标签,该时间标签用于表示传感器采集该待处理数据的时间戳。
根据待处理数据的时间标签和当前时间,可以得到该待处理数据的已保存时间,将已保存时间和对应的预设保存时间做差,根据差值得到对应的过期时间。
S313、获取所述待处理数据的使用次数,以根据所述使用次数及所述过期时间对所述待处理数据进行打分,得到当前分值。
待处理数据每次被使用时,对该待处理数据标记对应的使用次数。其中,可以通过检测是否接收到该待处理数据的查询请求,判断该待处理数据是否被使用。
根据待处理数据对应的使用次数及过期时间对该待处理数据进行打分。
示例性地,根据待处理数据对应的数据处理参数分别获取使用次数及过期时间的权重,根据对应的权重对待处理数据进行打分。例如,当待处理数据的生命周期较长,而被使用的次数较少时,则过期时间的权重越小,使用次数的权重越大;当待处理数据的生命周期较短,而被使用的次数较多时,则过期时间的权重越大,使用次数的权重越小。根据使用次数和过期时间对应的权重,以得到当前分值。
通过对不同类型的待处理数据适配不同的打分权重,以对不同数据进行不同的分析,以得到公平且全面的打分结果,防止有效数据被错误删除,而无效数据被错误保留。
S314、根据所述当前分值对所述待处理数据进行过滤,以得到最终数据。
将待处理数据内的每个待处理数据根据当前分值进行排序,以得到数据序列。对该数据序列进行过滤,从而得到过滤后的最终数据。
示例性地,根据数据处理参数得到预设保留分值,根据预设保留分值对数据序列的待处理数据进行划分,以得到保留数据和可清除数据,将可清除数据进行删除,以对待处理数据进行过滤,将保留数据作为最终数据。
通过同时考虑待处理数据的保存时间及使用次数,综合判断该数据是否可以被清理,保证了数据清理的准确性。
在一些实施方式中,当待处理数据为爬架控制装置存储空间的数据时,获取待处理数据包括:获取所述存储空间的存储量;当所述存储量大于预设容量时,根据所述存储空间获取所述待处理数据。
爬架控制装置的存储空间的存储量可以是已存储数据的数据量,即爬架控制装置不需要存储新的传感器数据时,爬架控制装置的存储空间内已经存在的数据量。爬架控制装置的存储空间的存储量也可以是已存储数据的数据量与待存储数据的数据量之和,即爬架控制装置需要存储新的传感器数据时,爬架控制装置的存储空间内已经存在的数据量与待存储数据的数据量之和。
可以实时监测存储空间的存储量,也可以周期性获取存储空间的存储量。在获取存储空间的存储量之后,将该存储量与预设容量进行比较,当比较结果表示存储量大于预设容量时,说明爬架控制装置的存储空间内的数据比较多,会造成爬架控制装置的卡顿、死机、停止运行等现象,此时,可以获取存储空间已存储的数据作为待处理数据,对待处理数据进行处理,以减小存储空间内的数据量。
通过检测存储空间的存储量是否超过预设容量,以使爬架控制装置的存储空间内的数据比较多时,自动对存储空间内的数据进行清理,以保证爬架控制装置的运行效率。
请参阅图4,在一些实施方式中,当所述待处理数据为待存储的数据时,步骤S3包括子步骤S321至子步骤S324。
S321、当所述待处理数据为待存储的数据时,根据所述数据处理参数得到异常数据阈值。
根据数据处理参数获取每个待处理数据对应的异常数据阈值,以根据异常数据阈值对当前获取的各传感器数据进行异常分析。
S322、根据所述异常数据阈值得到所述待处理数据对应的异常数据。
遍历待处理数据的所有待处理数据,判断待处理数据是否处于异常数据阈值范围内。示例性地,当待处理数据处于异常数据阈值范围内时,则该待处理数据为异常数据;当待处理数据不处于异常数据阈值范围内时,则该待处理数据为正常数据。
通过异常数据阈值过滤出待处理数据包含的异常数据。
S323、根据所述异常数据对应的时间标签,得到所述异常数据预设时间范围内的其他数据。
异常数据的产生可能是爬架产生异常情况时而得到的异常数据,也可能是爬架传感器采集到的无效数据。因此,通过时间标签对异常数据的真实性进行判断。
具体地,通过该异常数据的时间标签获取预设时间范围内的其他数据,例如,该异常数据的时间标签对应的时间为10时10分,则对应的预设时间范围为10时09分至10时11分,获取该预设时间范围内对应传感器采集的其他数据,对这些数据进行分析,以判断该异常数据的真实性。
S324、当所述预设范围内的其他数据存在的异常数据数量小于预设值时,对所述异常数据进行删除或修改,以得到最终数据。
根据异常数据阈值判断获取的其他数据中包含的异常数据数量,当预设范围内的其他数据存在的异常数据数量小于预设值时,则表明该异常数据为虚假数据的概率较大,因此,对该异常数据进行删除或修改。其中,修改可以是获取该异常数据前一时间步的数据和后一时间步的数据的平均值,将该平均值作为该异常数据的新值进行修改。
在一些实施方式中,当所述预设范围内的其他数据存在的异常数据数量大于预设值时,根据所述异常数据生成对应的警告信息。
根据异常数据阈值判断获取的其他数据中包含的异常数据数量,当预设范围内的其他数据存在的异常数据数量大于预设值时,则表明该异常数据为真实数据的概率较大,即表明爬架当前的状态异常,根据对应的异常数据生成警告信息,以警示用户。其中,警告信息包括但不限于声音警告、灯光警告、文字警告等。
示例性地,将对应的异常数据在爬架控制装置上进行可视化显示,以方便用户根据异常数据检测爬架的情况,及时对爬架的异常状况进行处理,防止造成安全事故。
在一些实施方式中,当所述待处理数据为待存储的数据时,获取待处理数据包括:获取所述爬架的当前状态;根据所述当前状态选择对应的预设采样频率;根据所述预设采样频率采集所述爬架的工作数据,以根据所述工作数据获取获取所述待处理数据。
爬架的当前状态指的是爬架当前的工作状态,例如,上升、下降或悬停等状态,当爬架处于不同工作状态时,对应选择不同的采样频率,以使传感器根据该采样频率进行数据采集,进而得到爬架的工作数据。
其中,可以通过检测爬架控制装置输入的工作状态转换指令来得到爬架的当前状态,如,用户通过向爬架控制装置输入“上升”指令时,则判断爬架的当前状态为上升状态。还可以通过分析爬架控制装置接收的传感器数据来得到爬架的当前状态,如,当检测到位移传感器传输的数据符合爬架上升时的变化趋势时,则判断爬架的当前状态为上升状态。
示例性地,当所述当前状态为工作状态时,所述预设采样频率为第一采样频率,根据所述第一采样频率获取多个所述传感器的传感器数据,以根据所述传感器数据得到所述工作数据;当所述当前状态为非工作状态时,所述预设采样频率为第二采样频率,根据所述第二采样频率获取多个所述传感器的传感器数据,以根据所述传感器数据得到所述工作数据;其中,所述第一采样频率大于所述第二采样频率。
例如,爬架的工作状态包括上升状态和下降状态,当爬架处于工作状态时,爬架的各传感器检测到的数据变化较大,为了准确捕捉各传感器数据的变化趋势,选择第一采样频率采集传感器数据,以得到爬架的工作数据。
例如,爬架的非工作状态包括悬停状态,当爬架处于非工作状态时,爬架的各传感器检测到的数据变化较小,为了避免过多的重复数据进入爬架控制装置,为后续的数据处理造成负担,选择第二采样频率采集传感器数据,以得到爬架的工作数据。
通过检测爬架的当前状态,选择与当前状态对应的采样频率,防止采样频率过高,造成过采样,使得到过多的无效数据,对后续的数据处理造成影响,进而导致数据处理效果差的情况。同时也避免了采样频率过低,造成欠采样,使得到的数据过少,进而无法准确对爬架的状态进行分析的情况。
在一些实施方式中,根据所述工作数据获取所述待处理数据,包括:对所述工作数据进行预处理,以得到所述待处理数据。
具体地,对工作数据进行预处理包括去重处理、格式检测处理。去重处理可以为将预设时间段内的重复数据进行过滤,仅保留一个原始数据。格式检测处理可以为检测工作数据的格式是否正确,如数据是否属于预设类型,当数据不属于预设类型时,表明不属于对应传感器获取的数据,即该数据为无效数据;数据的大小是否处于预设值,当数据过大或过小时,表明该数据为无效数据。
通过对工作数据进行预处理得到待处理数据,以方便后续的数据清理。
在一些实施例中,获取到最终数据后,将最终数据存储至存储器中,以使爬架控制装置对最终数据进行的后续分析。
请参阅图5,图5是本申请实施例提供的一种爬架控制装置10的结构示意性框图。在图5中,该爬架控制装置10包括处理器101和存储器102,其中,处理器101和存储器102通过总线103连接,该总线103可以为I2C(Inter-integrated Circuit)总线。
其中,存储器102可以包括非易失性存储介质和内存储器。非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种爬架数据清理方法。
处理器101用于提供计算和控制能力,支撑整个爬架控制装置10的运行。
其中,处理器101可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,所述处理器101用于运行存储在存储器102中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取待处理数据及待处理数据的类型,待处理数据携带有数据源标识和时间标签,待处理数据的类型包括存储空间的数据和待存储的数据;根据类型和数据源标识为待处理数据配置对应的数据处理参数;根据数据处理参数和时间标签对待处理数据分别进行数据清理,得到最终数据。
在一些实施方式中,处理器101根据数据处理参数和时间标签对待处理数据分别进行数据清理,得到最终数据,包括:
当待处理数据为存储空间的数据时,根据数据处理参数得到预设保存时间;根据预设保存时间和时间标签,得到过期时间;获取待处理数据的使用次数,以根据使用次数及过期时间对待处理数据进行打分,得到当前分值;根据当前分值对待处理数据进行过滤,以得到最终数据。
在一些实施方式中,处理器101获取待处理数据,包括:获取存储空间的存储量;当存储量大于预设容量时,根据存储空间获取待处理数据。
在一些实施方式中,处理器101根据数据处理参数和时间标签对多个待处理数据分别进行数据处理,得到最终数据,包括:当待处理数据为待存储的数据时,根据数据处理参数得到异常数据阈值;根据异常数据阈值得到待处理数据对应的异常数据;根据异常数据对应的时间标签,得到异常数据预设时间范围内的其他数据;当预设范围内的其他数据存在的异常数据数量小于预设值时,对异常数据进行删除或修改,以得到最终数据。
在一些实施方式中,处理器101还用于实现:当预设范围内的其他数据存在的异常数据数量大于预设值时,根据异常数据生成对应的警告信息。
在一些实施方式中,处理器101获取待处理数据,包括:
获取爬架的当前状态;根据当前状态选择对应的预设采样频率;根据预设采样频率采集爬架的工作数据,以根据工作数据获取待处理数据。
在一些实施方式中,处理器101根据当前状态选择对应的预设采样频率,以根据预设采样频率采集工作数据,包括:
当当前状态为工作状态时,预设采样频率为第一采样频率,根据第一采样频率获取多个传感器的传感器数据,以根据传感器数据得到工作数据;当当前状态为非工作状态时,预设采样频率为第二采样频率,根据第二采样频率获取多个传感器的传感器数据,以根据传感器数据得到工作数据;其中,第一采样频率大于第二采样频率。
在一些实施方式中,处理器101根据工作数据获取待处理数据,包括:对工作数据进行预处理,以得到待处理数据。
本申请的实施例中还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序中包括程序指令,处理器执行程序指令,实现本申请实施例提供的任一项爬架数据清理方法。
本申请实施例通过对不同的待处理数据适配对应的数据处理参数,以执行对应的数据处理操作,保证了对无效数据的清理,减小了爬架控制装置的数据冗余,增加了爬架控制装置的处理速度,同时避免有效数据被错误清理,从而导致爬架控制装置不能准确记录并分析爬架状态的情况。且通过对传感器当前采集的待存储数据进行清理,防止无效数据进入存储空间,造成存储空间的浪费,通过对存储空间内的数据进行清理,删除冗余数据,防止过多的数据增加爬架控制装置数据处理的压力,进而提高爬架控制装置的执行效率。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本申请的具体实施例,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种爬架数据清理方法,应用于爬架控制装置,其特征在于,所述方法包括:
获取待处理数据及所述待处理数据的类型,所述待处理数据携带有数据源标识和时间标签,所述待处理数据的类型包括存储空间的数据和待存储的数据;
根据所述类型和所述数据源标识为所述待处理数据配置对应的数据处理参数;
根据所述数据处理参数和所述时间标签对所述待处理数据分别进行数据清理,得到最终数据。
2.根据权利要求1所述的方法,其特征在于,根据所述数据处理参数和所述时间标签对所述待处理数据分别进行数据清理,得到最终数据,包括:
当所述待处理数据为存储空间的数据时,根据所述数据处理参数得到预设保存时间;
根据所述预设保存时间和所述时间标签,得到过期时间;
获取所述待处理数据的使用次数,以根据所述使用次数及所述过期时间对所述待处理数据进行打分,得到当前分值;
根据所述当前分值对所述待处理数据进行过滤,以得到最终数据。
3.根据权利要求2所述的方法,其特征在于,所述获取待处理数据,包括:
获取所述存储空间的存储量;
当所述存储量大于预设容量时,根据所述存储空间获取所述待处理数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述数据处理参数和所述时间标签对多个所述待处理数据分别进行数据处理,得到最终数据,包括:
当所述待处理数据为待存储的数据时,根据所述数据处理参数得到异常数据阈值;
根据所述异常数据阈值得到所述待处理数据对应的异常数据;
根据所述异常数据对应的时间标签,得到所述异常数据预设时间范围内的其他数据;
当所述预设范围内的其他数据存在的异常数据数量小于预设值时,对所述异常数据进行删除或修改,以得到最终数据。
5.根据权利要求4所述的方法,其特征在于,还包括:
当所述预设范围内的其他数据存在的异常数据数量大于预设值时,根据所述异常数据生成对应的警告信息。
6.根据权利要求4所述的方法,其特征在于,所述获取待处理数据,包括:
获取所述爬架的当前状态;
根据所述当前状态选择对应的预设采样频率;
根据所述预设采样频率采集所述爬架的工作数据,以根据所述工作数据获取所述待处理数据。
7.根据权利要求6所述的方法,其特征在于,所述根据所述当前状态选择对应的预设采样频率,以根据所述预设采样频率采集所述工作数据,包括:
当所述当前状态为工作状态时,所述预设采样频率为第一采样频率,根据所述第一采样频率获取多个传感器的传感器数据,以根据所述传感器数据得到所述工作数据;
当所述当前状态为非工作状态时,所述预设采样频率为第二采样频率,根据所述第二采样频率获取多个所述传感器的传感器数据,以根据所述传感器数据得到所述工作数据;
其中,所述第一采样频率大于所述第二采样频率。
8.根据权利要求6所述的方法,其特征在于,所述根据所述工作数据获取所述待处理数据,包括:
对所述工作数据进行预处理,以得到所述待处理数据。
9.一种爬架控制装置,其特征在于,包括:
存储器以及处理器;
所述存储器用于存储计算机可执行的爬架数据清理程序;
所述处理器用于调用所述计算机可执行的爬架数据清理程序以实现如权利要求1至8任一项所述的爬架数据清理方法。
10.一种存储介质,其上储存有计算机程序,其特征在于,所述计算机程序被处理器加载以执行如权利要求1至8任一项所述的爬架数据清理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110770958.9A CN113535697B (zh) | 2021-07-07 | 2021-07-07 | 爬架数据清理方法、爬架控制装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110770958.9A CN113535697B (zh) | 2021-07-07 | 2021-07-07 | 爬架数据清理方法、爬架控制装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113535697A true CN113535697A (zh) | 2021-10-22 |
CN113535697B CN113535697B (zh) | 2024-05-24 |
Family
ID=78098010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110770958.9A Active CN113535697B (zh) | 2021-07-07 | 2021-07-07 | 爬架数据清理方法、爬架控制装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113535697B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114281250A (zh) * | 2021-12-01 | 2022-04-05 | 上海闪马智能科技有限公司 | 存储文件的清理方法及装置、存储介质、电子装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109743757A (zh) * | 2018-12-29 | 2019-05-10 | 深圳和而泰数据资源与云技术有限公司 | 数据处理方法、装置、无线模组和物联网设备 |
CN110864661A (zh) * | 2019-11-11 | 2020-03-06 | 国网江苏省电力工程咨询有限公司 | 一种基于bim脚手架的安全监测方法和系统 |
CN111061705A (zh) * | 2019-11-05 | 2020-04-24 | 广州文冲船厂有限责任公司 | 一种有效数据清洗方法、装置、介质及终端设备 |
WO2020211299A1 (zh) * | 2019-04-17 | 2020-10-22 | 苏宁云计算有限公司 | 数据清理方法 |
CN111831514A (zh) * | 2020-07-21 | 2020-10-27 | 深信服科技股份有限公司 | 一种设备监控方法、装置、设备及存储介质 |
CN112340609A (zh) * | 2020-11-25 | 2021-02-09 | 广州三叠纪元智能科技有限公司 | 参数信息的配置方法、电箱、服务器和存储介质 |
CN112364381A (zh) * | 2020-11-25 | 2021-02-12 | 广州三叠纪元智能科技有限公司 | 权限管理方法、电箱、服务器和存储介质 |
CN112395333A (zh) * | 2020-11-20 | 2021-02-23 | 北京百度网讯科技有限公司 | 用于排查数据异常的方法、装置、电子设备及存储介质 |
WO2021036466A1 (zh) * | 2019-08-30 | 2021-03-04 | 北京国双科技有限公司 | 边缘设备的处理方法及装置、存储介质和处理器 |
US20210073190A1 (en) * | 2019-09-11 | 2021-03-11 | Commvault Systems, Inc. | Anomaly detection in deduplication pruning operations |
CN112486966A (zh) * | 2020-11-26 | 2021-03-12 | 中国国家铁路集团有限公司 | 一种过期数据清理方法、装置和电子设备 |
CN112632045A (zh) * | 2021-03-10 | 2021-04-09 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN112766651A (zh) * | 2020-12-31 | 2021-05-07 | 上海倍通医药科技咨询有限公司 | 用于数据分析的方法 |
CN112800041A (zh) * | 2021-01-25 | 2021-05-14 | 洛阳师范学院 | 一种基于邻域查询的机械监测标签数据质量保障方法 |
US20210201122A1 (en) * | 2019-12-27 | 2021-07-01 | Beijing Sensetime Technology Development Co., Ltd. | Data processing methods, apparatuses, devices, storage media and program products |
-
2021
- 2021-07-07 CN CN202110770958.9A patent/CN113535697B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109743757A (zh) * | 2018-12-29 | 2019-05-10 | 深圳和而泰数据资源与云技术有限公司 | 数据处理方法、装置、无线模组和物联网设备 |
WO2020211299A1 (zh) * | 2019-04-17 | 2020-10-22 | 苏宁云计算有限公司 | 数据清理方法 |
WO2021036466A1 (zh) * | 2019-08-30 | 2021-03-04 | 北京国双科技有限公司 | 边缘设备的处理方法及装置、存储介质和处理器 |
US20210073190A1 (en) * | 2019-09-11 | 2021-03-11 | Commvault Systems, Inc. | Anomaly detection in deduplication pruning operations |
CN111061705A (zh) * | 2019-11-05 | 2020-04-24 | 广州文冲船厂有限责任公司 | 一种有效数据清洗方法、装置、介质及终端设备 |
CN110864661A (zh) * | 2019-11-11 | 2020-03-06 | 国网江苏省电力工程咨询有限公司 | 一种基于bim脚手架的安全监测方法和系统 |
US20210201122A1 (en) * | 2019-12-27 | 2021-07-01 | Beijing Sensetime Technology Development Co., Ltd. | Data processing methods, apparatuses, devices, storage media and program products |
CN111831514A (zh) * | 2020-07-21 | 2020-10-27 | 深信服科技股份有限公司 | 一种设备监控方法、装置、设备及存储介质 |
CN112395333A (zh) * | 2020-11-20 | 2021-02-23 | 北京百度网讯科技有限公司 | 用于排查数据异常的方法、装置、电子设备及存储介质 |
CN112340609A (zh) * | 2020-11-25 | 2021-02-09 | 广州三叠纪元智能科技有限公司 | 参数信息的配置方法、电箱、服务器和存储介质 |
CN112364381A (zh) * | 2020-11-25 | 2021-02-12 | 广州三叠纪元智能科技有限公司 | 权限管理方法、电箱、服务器和存储介质 |
CN112486966A (zh) * | 2020-11-26 | 2021-03-12 | 中国国家铁路集团有限公司 | 一种过期数据清理方法、装置和电子设备 |
CN112766651A (zh) * | 2020-12-31 | 2021-05-07 | 上海倍通医药科技咨询有限公司 | 用于数据分析的方法 |
CN112800041A (zh) * | 2021-01-25 | 2021-05-14 | 洛阳师范学院 | 一种基于邻域查询的机械监测标签数据质量保障方法 |
CN112632045A (zh) * | 2021-03-10 | 2021-04-09 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114281250A (zh) * | 2021-12-01 | 2022-04-05 | 上海闪马智能科技有限公司 | 存储文件的清理方法及装置、存储介质、电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113535697B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105080205A (zh) | 净化器滤网过期提示方法和装置及净化器 | |
CN106452931B (zh) | 监控指标及域值发现方法、域值调整方法及自动监控系统 | |
CN112115927B (zh) | 一种基于深度学习的机房设备智能识别方法及系统 | |
CN111143167B (zh) | 用于多平台的告警归并方法及装置、设备、存储介质 | |
CN109656786B (zh) | 日志获取方法及装置 | |
CN110149653A (zh) | 一种云手机故障监控方法和系统 | |
CN115794532A (zh) | 多指标智能动态阈值监控方法及系统 | |
CN118244126B (zh) | 一种基于集成传感器的新能源汽车电池检测方法及系统 | |
CN113535697B (zh) | 爬架数据清理方法、爬架控制装置及存储介质 | |
CN112465237A (zh) | 基于大数据分析的故障预测方法、装置、设备和存储介质 | |
CN101996107A (zh) | 一种作业中断自动恢复系统及方法 | |
CN114283590B (zh) | 车流量高峰预测方法及装置、电子设备 | |
CN114200334A (zh) | 一种蓄电池预警方法、装置、车辆及介质 | |
CN118115939A (zh) | 告警事件处理方法、装置、非易失性存储介质及电子设备 | |
CN117094546A (zh) | 一种基于大数据的智慧应急救援指挥方法、系统和介质 | |
CN110031043B (zh) | 一种土木工程建筑结构实时智能监测系统 | |
CN110162444A (zh) | 一种系统性能监测方法及平台 | |
CN114493720A (zh) | 监控Kafka消费者的方法、装置、存储介质及设备 | |
CN110969721A (zh) | 数据处理方法、装置、设备和触摸屏 | |
CN114218295A (zh) | 一种交通设备数据异常监测预警方法及系统 | |
CN113156529A (zh) | 计量检定流水线的启停控制方法、系统、终端和存储介质 | |
CN114091730A (zh) | 车辆状态监测方法、系统、电子设备和存储介质 | |
CN103268353A (zh) | 电网报警自动响应系统及电网报警自动响应方法 | |
CN112433918A (zh) | 一种数据库资源监控方法及装置 | |
CN111881733A (zh) | 一种工人作业工步规范视觉识别判定与指导方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |