CN115309753A - 一种高效环保智能样本研发系统的数据快速读取方法 - Google Patents

一种高效环保智能样本研发系统的数据快速读取方法 Download PDF

Info

Publication number
CN115309753A
CN115309753A CN202211237729.1A CN202211237729A CN115309753A CN 115309753 A CN115309753 A CN 115309753A CN 202211237729 A CN202211237729 A CN 202211237729A CN 115309753 A CN115309753 A CN 115309753A
Authority
CN
China
Prior art keywords
data
target
stationarity
target element
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211237729.1A
Other languages
English (en)
Other versions
CN115309753B (zh
Inventor
俞晓明
丁燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Taijie Inspection Technology Co ltd
Original Assignee
Jiangsu Taijie Inspection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Taijie Inspection Technology Co ltd filed Critical Jiangsu Taijie Inspection Technology Co ltd
Priority to CN202211237729.1A priority Critical patent/CN115309753B/zh
Publication of CN115309753A publication Critical patent/CN115309753A/zh
Application granted granted Critical
Publication of CN115309753B publication Critical patent/CN115309753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据压缩读取技术领域，具体涉及一种高效环保智能样本研发系统的数据快速读取方法，该方法为采集高效环保智能样本研发系统的多种类型的数据；并赋予不同的重要程度；以任意一种类型的数据为目标数据，以目标数据中任意元素为目标元素，获取目标元素的邻近元素以及对应的平稳性和平稳性变化幅度；获取目标元素在其他数据中的对应元素为实际关联数据的置信度；根据置信度、平稳性以及在目标数据中出现的频率得到目标元素为正常数据点的概率，从而得到所有的正常数据点，以及每个正常数据点的优先级，以构建对应的霍夫曼表，根据霍夫曼表进行反编码读取数据；提高了数据读取速度和数据处理的效率。

Description

一种高效环保智能样本研发系统的数据快速读取方法
技术领域
本发明涉及数据压缩读取技术领域，具体涉及一种高效环保智能样本研发系统的数据快速读取方法。
背景技术
对于单片机等数据处理装置，其整体的运行速度不仅仅受内部处理器的数据处理频率的影响，还会受到程序存储器的数据读取速率影响，因此在数据量较大的情况下，在数据读取时往往会读取到一些无意义的冗余数据，从而导致数据读取的效率较低，现有对正常数据的读取时，存在正常数据获取不够精准以及读取顺序随机的问题，不存在先后顺序的对正常数据进行读取，毫无疑问的会影响到数据处理的效率，因此获取精确的正常数据以及按照顺序对正常数据进行高效处理具有重要意义。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种高效环保智能样本研发系统的数据快速读取方法，该方法包括以下步骤：
采集高效环保智能样本研发系统的多种类型的数据；
对每个类型的所述数据赋予不同的重要程度，所有类型的所述数据的重要程度累加为1；以任意一种类型的所述数据为目标数据，获取所述目标数据中每个元素在所述目标序列中出现的频率，以所述目标数据中任意元素为目标元素，获取所述目标元素的邻近元素，基于所有的邻近元素获取所述目标元素的平稳性，根据所述目标元素与其邻近元素的平稳性得到所述目标元素的平稳性变化幅度；
获取所述目标元素在其他数据中的对应元素，判断所述目标元素与对应元素是否为初步关联数据，若是初步关联数据，根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度；
根据所述目标元素对应的所述置信度、所述平稳性以及在目标数据中出现的频率得到所述目标元素为正常数据点的概率，根据每个所述目标元素的概率得到正常数据点，基于所述正常数据点的概率以及所述正常数据点所在类型的重要程度得到正常数据点的优先级，对所有所述正常数据点的优先级进行归一化以构建霍夫曼表；
基于所述霍夫曼表进行数据读取。
优选的，所述获取所述目标元素的邻近元素的步骤，包括：
获取所述目标元素在目标数据中的前L个相邻元素与后L个相邻元素，L为正整数，将2L个相邻元素作为所述目标元素的邻近元素。
优选的，所述基于所有的邻近元素获取所述目标元素的平稳性的步骤，包括：
以所述目标元素和其对应的邻近元素按照时序顺序构成局部序列，计算所述局部序列中每两个相邻元素之间的差值，获取局部序列中所有差值的和；
获取局部序列中最后第一元素与第一个元素的时间差，以差值的和与所述时间差的比值作为所述目标元素的平稳性。
优选的，所述根据所述目标元素与其邻近元素的平稳性得到所述目标元素的平稳性变化幅度的步骤，包括：
获取局部序列中所述目标元素与其相邻的下一个邻近元素之间平稳性的差值，选取所述目标元素与其相邻的下一个邻近元素之间平稳性的最大值，以平稳性的差值与平稳性的最大值的比值为所述目标元素的平稳性变化幅度。
优选的，所述判断所述目标元素与对应元素是否为初步关联数据的步骤，包括：
判断所述目标元素的符号与对应元素的平稳性的符号是否一致，所述符号是指数值的正号或者负号；
若所述目标元素的符号与对应元素的平稳性的符号一致，计算所述目标元素与对应元素之间的平稳性的差值的绝对值，当差值的绝对值大于预设的差异阈值时，所述目标元素与对应元素为初步关联数据；
若所述目标元素的符号与对应元素的平稳性的符号不一致，选取所述目标元素与对应元素之间的平稳性的最小值，当所述最小值大于预设的阈值时，所述目标元素与对应元素为初步关联数据。
优选的，所述根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度的步骤，包括：
获取对应元素的邻近元素构成第二局部序列；计算所述局部序列与所述第二局部序列中对应位置元素之间平稳性变化幅值的差值，以每个对应位置元素之间平稳性变化幅值的差值的负数作为幂指数，以自然常数e作为底数构建指数函数；获取所有对应位置元素的指数函数的求和结果，所述求和结果与2L的比值为所述置信度。
优选的，所述目标元素为正常数据点的概率的计算方法为：
Figure 335536DEST_PATH_IMAGE001
其中，
Figure 183406DEST_PATH_IMAGE002
表示概率；
Figure 780741DEST_PATH_IMAGE003
表示归一化后的平稳性变化幅度的绝对值；
Figure 942732DEST_PATH_IMAGE004
表示调节因子；
Figure 879595DEST_PATH_IMAGE005
表示目标元素与第j个初步关联数据的对应元素之间的置信度；
Figure 570470DEST_PATH_IMAGE006
表示目标元素对应的初步关联数据的数量；
Figure 717418DEST_PATH_IMAGE007
表示所有数据的类型的数量；
Figure 417521DEST_PATH_IMAGE008
表示目标元素对应的频率。
本发明具有如下有益效果：通过对每种类型的数据分配重要程度进行不同的分析，然后对每种类型数据的单个数据进行分析，获取单个元素的平稳性并基于单个元素对应的邻近元素的平稳性获取每个元素的平稳性变化幅度，对数据的分析更加全面可靠；进一步对每个元素在其他类型的数据中的对应元素进行分析，得到实际关联数据，并得到每个元素与其实际关联数据的对应元素之间的置信度，结合平稳性、以及元素在数据中出现的频率得到为正常数据点的概率，从而判断出数据中所有的正常数据点，使得正常数据点的识别更加准确且后续根据正常数据点构建霍夫曼表进行压缩时更加具有针对性，对霍夫曼表的压缩后的数据进行读取，提高了数据读取速度的同时也提高了数据处理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种高效环保智能样本研发系统的数据快速读取方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种高效环保智能样本研发系统的数据快速读取方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种高效环保智能样本研发系统的数据快速读取方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种高效环保智能样本研发系统的数据快速读取方法流程图，该方法包括以下步骤：
步骤S100，采集高效环保智能样本研发系统的多种类型的数据。
具体的，获取高效环保智能样本研发系统的多种类型的数据，将所有类型的数量记为N，N为正整数。
步骤S200，对每个类型的数据赋予不同的重要程度，所有类型的数据的重要程度累加为1；以任意一种类型的数据为目标数据，获取目标数据中每个元素在目标序列中出现的频率，以目标数据中任意元素为目标元素，获取目标元素的邻近元素，基于所有的邻近元素获取目标元素的平稳性，根据目标元素与其邻近元素的平稳性得到目标元素的平稳性变化幅度。
传统的霍夫曼编码往往是基于数据的出现频率获取对应的优先级，没有考虑到存在冗余数据的干扰，并且仅仅根据频率进行优先级的计算效果不佳，因此对每种类型的数据进行分别分析。
首先，对本发明实施例中获取的N种类型的数据进行重要程度的分配，重要程度的分配方法是根据先验只是由人为进行赋予，每种类型的数据对应一个重要程度，所有类型的数据的重要程度的累加之和为1。
然后，以N种类型的数据中的任意一种类型的数据进行分析，将该数据记为目标数据，假设该目标数据对应的数据序列为：
Figure 208890DEST_PATH_IMAGE009
；
Figure 336246DEST_PATH_IMAGE010
表示目标数据中所有元素的数量；
Figure 63218DEST_PATH_IMAGE011
表示目标数据中第
Figure 848902DEST_PATH_IMAGE010
个元素；并且，
Figure 822674DEST_PATH_IMAGE013
对应元素是在
Figure 58615DEST_PATH_IMAGE014
时刻采集的，
Figure 196466DEST_PATH_IMAGE011
对应元素是在
Figure 176055DEST_PATH_IMAGE015
时刻采集的，其中，
Figure 801071DEST_PATH_IMAGE016
。
进一步的，对目标数据中的每个元素进行分析，获取目标数据中每个元素在目标数据中出现的频率记为
Figure 270230DEST_PATH_IMAGE008
，即元素出现的次数与目标数据中总元素的数量的比值；以目标数据中的元素
Figure 488853DEST_PATH_IMAGE017
作为目标元素进行分析，获取目标元素的邻近元素，本发明实施例中目标元素
Figure 865607DEST_PATH_IMAGE017
的邻近元素为
Figure 802253DEST_PATH_IMAGE018
、
Figure 442313DEST_PATH_IMAGE019
、
Figure 148232DEST_PATH_IMAGE020
以及
Figure 531940DEST_PATH_IMAGE021
，则根据目标元素
Figure 131548DEST_PATH_IMAGE017
对应的所有的邻近元素获取目标元素的平稳性，平稳性的计算为：
Figure 208089DEST_PATH_IMAGE022
其中，
Figure 463621DEST_PATH_IMAGE023
表示平稳性；
Figure 588703DEST_PATH_IMAGE024
表示第
Figure 980501DEST_PATH_IMAGE025
个元素；
Figure 24680DEST_PATH_IMAGE026
表示第
Figure 767508DEST_PATH_IMAGE027
个元素；
Figure 430702DEST_PATH_IMAGE028
表示邻近元素
Figure 942586DEST_PATH_IMAGE021
对应的时刻；
Figure 157667DEST_PATH_IMAGE029
表示邻近元素
Figure 653370DEST_PATH_IMAGE018
对应的时刻。
平稳性的绝对值越大，说明该时间段内数据变化幅度越大，平稳性为正数说明目标数据在目标元素
Figure 916992DEST_PATH_IMAGE017
处呈增大趋势；平稳性为负数则说明该目标数据在目标元素
Figure 221066DEST_PATH_IMAGE017
处呈下降趋势。
基于获取目标元素
Figure 810310DEST_PATH_IMAGE017
的平稳性相同的方法，获取目标元素的邻近元素
Figure 278463DEST_PATH_IMAGE018
、
Figure 408093DEST_PATH_IMAGE019
、
Figure 125862DEST_PATH_IMAGE020
以及
Figure 682745DEST_PATH_IMAGE021
分别对应的平稳性，将目标元素与其邻近元素构成局部序列为
Figure 887461DEST_PATH_IMAGE030
，则根据该局部序列中每个元素对应的平稳性得到对应的平稳性变化幅度为：
Figure 758465DEST_PATH_IMAGE031
其中，
Figure 37131DEST_PATH_IMAGE032
表示局部序列中第
Figure 702599DEST_PATH_IMAGE025
个元素的平稳性；
Figure 191349DEST_PATH_IMAGE033
表示局部序列中第
Figure 600465DEST_PATH_IMAGE027
个元素的平稳性；
Figure 733637DEST_PATH_IMAGE034
表示绝对值运算；
Figure 835585DEST_PATH_IMAGE035
表示取最大值函数；
Figure 811631DEST_PATH_IMAGE004
表示调节因子，一个极小的正数，用于防止分母为0。
平稳性变化幅度中
Figure 758859DEST_PATH_IMAGE025
的取值为8，9，10，11，即得到局部序列中四个元素对应的平稳性变化幅度。
步骤S300，获取目标元素在其他数据中的对应元素，判断目标元素与对应元素是否为初步关联数据，若是初步关联数据，根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度。
由步骤S200得到目标元素对应局部序列的平稳性变化幅度，然后获取目标元素
Figure 12117DEST_PATH_IMAGE017
的关联数据，关联数据指的是当目标元素
Figure 19387DEST_PATH_IMAGE017
发生变化时，其关联数据也随着目标元素
Figure 482729DEST_PATH_IMAGE017
的变化而发生变化，比如环保中生活垃圾的产量增加，也会导致污水排放量相应增加；因此根据本发明实施例中得到的N种类型的数据可得到，目标元素
Figure 233648DEST_PATH_IMAGE017
在其他每种类型的数据中的对应元素，例如在第W类型的数据中可得到对应元素
Figure 669308DEST_PATH_IMAGE036
，并可根据步骤S200中相同的方法得到对应元素
Figure 50742DEST_PATH_IMAGE036
的平稳性，以及对应元素
Figure 673484DEST_PATH_IMAGE036
的邻近元素
Figure 24831DEST_PATH_IMAGE037
，
Figure 987102DEST_PATH_IMAGE038
，
Figure 601754DEST_PATH_IMAGE039
，
Figure 508530DEST_PATH_IMAGE040
的平稳性，则可根据对应元素
Figure 538934DEST_PATH_IMAGE036
的平稳性以及其邻近元素
Figure 683608DEST_PATH_IMAGE037
，
Figure 531478DEST_PATH_IMAGE038
，
Figure 382673DEST_PATH_IMAGE039
，
Figure 279085DEST_PATH_IMAGE040
的平稳性得到对应的平稳性变化幅值。
对每个元素对应的平稳性进行归一化处理，在根据归一化处理后的平稳性进行判断目标元素与对应元素是否为初步关联数据，首先判断目标元素的平稳性与对应元素的平稳性的符号是否一致，即同为正或者同为负：若符号不一致时，计算目标元素与对应元素之间的平稳性的差值的绝对值
Figure 950369DEST_PATH_IMAGE041
；本发明实施例中设置差异阈值为0.2，当差值的绝对值大于该差异阈值时，则认为目标元素与对应元素为初步关联数据；若符号一致时，计算
Figure 703561DEST_PATH_IMAGE042
；其中，
Figure 788192DEST_PATH_IMAGE043
表示取最小值函数；当计算得到的
Figure 160399DEST_PATH_IMAGE044
大于预设的阈值0.1时，则认为目标元素与对应元素为初步关联数据，否则，目标元素与对应元素不是初步关联数据。
当确定目标元素与对应元素为初步关联数据时，为提高关联数据的获取精度，对其平稳性变化进行分析，即获取目标元素与对应元素为实际关联数据的置信度，置信度的计算为：
Figure 76402DEST_PATH_IMAGE045
其中，
Figure 938179DEST_PATH_IMAGE046
表示置信度；
Figure 447789DEST_PATH_IMAGE047
表示目标元素对应的局部序列中第
Figure 686003DEST_PATH_IMAGE025
个元素的平稳性变化幅度；
Figure 722092DEST_PATH_IMAGE048
表示对应元素对应的局部序列中第
Figure 754770DEST_PATH_IMAGE025
个元素的平稳性变化幅度；
Figure 79572DEST_PATH_IMAGE049
表示自然常数。
当
Figure 793582DEST_PATH_IMAGE050
的取值越小，说明目标元素
Figure 418598DEST_PATH_IMAGE017
对对应元素
Figure 153336DEST_PATH_IMAGE036
的影响较大，则目标元素
Figure 434276DEST_PATH_IMAGE017
为正常有效数据的置信度越大。
以此类推，根据目标元素
Figure 217555DEST_PATH_IMAGE017
与其对应的每个对应元素之间的平稳性变化幅度得到目标元素
Figure 900340DEST_PATH_IMAGE017
的置信度。
步骤S400，根据目标元素对应的置信度、平稳性以及在目标数据中出现的频率得到目标元素为正常数据点的概率，根据每个目标元素的概率得到正常数据点，基于正常数据点的概率以及正常数据点所在类型的重要程度得到正常数据点的优先级，对所有正常数据点的优先级进行归一化以构建霍夫曼表。
根据步骤S300得到了目标元素
Figure 602717DEST_PATH_IMAGE017
与每个类型数据中的关联数据的对应元素之间的置信度，将目标元素
Figure 290661DEST_PATH_IMAGE017
对应的初步关联数据的数量记为
Figure 441413DEST_PATH_IMAGE006
，则获取目标元素
Figure 41022DEST_PATH_IMAGE017
为正常数据点的概率为：
Figure 851983DEST_PATH_IMAGE001
其中，
Figure 779619DEST_PATH_IMAGE002
表示概率；
Figure 763755DEST_PATH_IMAGE003
表示归一化后的平稳性变化幅度的绝对值，绝对值越小，表明目标元素为正常数据点的概率越大；
Figure 421133DEST_PATH_IMAGE004
表示调节因子；
Figure 340678DEST_PATH_IMAGE005
表示目标元素与第j个初步关联数据的对应元素之间的置信度，置信度越大，说明目标元素对其他对应元素的影响越大，目标元素越可能为正常数据点；
Figure 83506DEST_PATH_IMAGE006
表示目标元素对应初步关联数据的数量；
Figure 871334DEST_PATH_IMAGE007
表示所有数据类型的数量；
Figure 383218DEST_PATH_IMAGE008
表示目标元素对应的频率，其值越大表明目标元素为正常数据点的概率越大。
作为优选，本发明实施例中设置正常阈值为0.9，当目标元素的概率大于0.9时，则该目标元素为正常数据点，反之，该目标元素为冗余数据点。
以此类推，对每种类型数据的每个元素进行分析得到其中的正常数据点和冗余数据点，再对正常数据进一步进行分析，获取正常数据进行霍夫曼编码的优先级：
Figure 817872DEST_PATH_IMAGE051
其中，
Figure 188942DEST_PATH_IMAGE002
表示概率；
Figure 780460DEST_PATH_IMAGE052
表示该正常数据点所在数据类型的重要程度；优先级
Figure 146851DEST_PATH_IMAGE053
越大，则越应该进行优先编码。
由此得到多个正常数据点的优先级，对所有正常数据点的优先级进行归一化处理，并根据数据优先级构建霍夫曼表：首先将数据的优先级以从小到大的方式进行排序，每个数据认为霍夫曼树的第一层的一个节点，在第一层中选择两个优先级最小的数据节点，分别赋予0和1编码，其中两者之间相对较小的为0，另一个为1，进行相连，相连即优先级相加，获取一个第二层的父节点，父节点的优先级为两子节点优先级之和，将未曾进行相连的第一层节点直接挪移到第二层，再获取第二层的两个优先级最小的数据节点进行相连，以此类推，则对每个数据都可得到其对应的二进制编码，优先级最高的数据编码长度最短，计算机在处理起来更加快速迅捷。
步骤S500，基于霍夫曼表进行数据读取。
由步骤S400得到对应的霍夫曼表，完成了对数据的压缩，在后续进行读取时，计算机直接读取压缩后的数据，通过查询通用霍夫曼表，将数据进行反编码即可得到真实数据，完成数据的快速读取。
综上所述，本发明实施例通过采集高效环保智能样本研发系统的多种类型的数据；对每个类型的数据赋予不同的重要程度，所有类型的数据的重要程度累加为1；以任意一种类型的数据为目标数据，获取目标数据中每个元素在目标序列中出现的频率，以目标数据中任意元素为目标元素，获取目标元素的邻近元素，基于所有的邻近元素获取目标元素的平稳性，根据目标元素与其邻近元素的平稳性得到目标元素的平稳性变化幅度；获取目标元素在其他数据中的对应元素，判断目标元素与对应元素是否为初步关联数据，若是初步关联数据，根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度；根据目标元素对应的置信度、平稳性以及在目标数据中出现的频率得到目标元素为正常数据点的概率，当概率大于正常阈值时，目标元素为正常数据点，根据正常数据点所在类型的重要程度与正常数据点的概率得到优先级，对所有正常数据点的优先级进行归一化处理，以构建对应的霍夫曼表；通过霍夫曼表对所有的数据进行压缩，根据霍夫曼表进行反编码读取数据，提高了数据读取速度，同时提高了数据处理的效率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种高效环保智能样本研发系统的数据快速读取方法，其特征在于，该方法包括以下步骤：
采集高效环保智能样本研发系统的多种类型的数据；
对每个类型的所述数据赋予不同的重要程度，所有类型的所述数据的重要程度累加为1；以任意一种类型的所述数据为目标数据，获取所述目标数据中每个元素在所述目标序列中出现的频率，以所述目标数据中任意元素为目标元素，获取所述目标元素的邻近元素，基于所有的邻近元素获取所述目标元素的平稳性，根据所述目标元素与其邻近元素的平稳性得到所述目标元素的平稳性变化幅度；
获取所述目标元素在其他数据中的对应元素，判断所述目标元素与对应元素是否为初步关联数据，若是初步关联数据，根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度；
根据所述目标元素对应的所述置信度、所述平稳性以及在目标数据中出现的频率得到所述目标元素为正常数据点的概率，根据每个所述目标元素的概率得到正常数据点，基于所述正常数据点的概率以及所述正常数据点所在类型的重要程度得到正常数据点的优先级，对所有所述正常数据点的优先级进行归一化以构建霍夫曼表；
基于所述霍夫曼表进行数据读取。
2.根据权利要求1所述的一种高效环保智能样本研发系统的数据快速读取方法，其特征在于，所述获取所述目标元素的邻近元素的步骤，包括：
获取所述目标元素在目标数据中的前L个相邻元素与后L个相邻元素，L为正整数，将2L个相邻元素作为所述目标元素的邻近元素。
3.根据权利要求1所述的一种高效环保智能样本研发系统的数据快速读取方法，其特征在于，所述基于所有的邻近元素获取所述目标元素的平稳性的步骤，包括：
以所述目标元素和其对应的邻近元素按照时序顺序构成局部序列，计算所述局部序列中每两个相邻元素之间的差值，获取局部序列中所有差值的和；
获取局部序列中最后第一元素与第一个元素的时间差，以差值的和与所述时间差的比值作为所述目标元素的平稳性。
4.根据权利要求3所述的一种高效环保智能样本研发系统的数据快速读取方法，其特征在于，所述根据所述目标元素与其邻近元素的平稳性得到所述目标元素的平稳性变化幅度的步骤，包括：
获取局部序列中所述目标元素与其相邻的下一个邻近元素之间平稳性的差值，选取所述目标元素与其相邻的下一个邻近元素之间平稳性的最大值，以平稳性的差值与平稳性的最大值的比值为所述目标元素的平稳性变化幅度。
5.根据权利要求1所述的一种高效环保智能样本研发系统的数据快速读取方法，其特征在于，所述判断所述目标元素与对应元素是否为初步关联数据的步骤，包括：
判断所述目标元素的符号与对应元素的平稳性的符号是否一致，所述符号是指数值的正号或者负号；
若所述目标元素的符号与对应元素的平稳性的符号一致，计算所述目标元素与对应元素之间的平稳性的差值的绝对值，当差值的绝对值大于预设的差异阈值时，所述目标元素与对应元素为初步关联数据；
若所述目标元素的符号与对应元素的平稳性的符号不一致，选取所述目标元素与对应元素之间的平稳性的最小值，当所述最小值大于预设的阈值时，所述目标元素与对应元素为初步关联数据。
6.根据权利要求3所述的一种高效环保智能样本研发系统的数据快速读取方法，其特征在于，所述根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度的步骤，包括：
获取对应元素的邻近元素构成第二局部序列；计算所述局部序列与所述第二局部序列中对应位置元素之间平稳性变化幅值的差值，以每个对应位置元素之间平稳性变化幅值的差值的负数作为幂指数，以自然常数e作为底数构建指数函数；获取所有对应位置元素的指数函数的求和结果，所述求和结果与2L的比值为所述置信度。
7.根据权利要求6所述的一种高效环保智能样本研发系统的数据快速读取方法，其特征在于，所述目标元素为正常数据点的概率的计算方法为：
Figure 180950DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示概率；
Figure 632791DEST_PATH_IMAGE004
表示归一化后的平稳性变化幅度的绝对值；
Figure DEST_PATH_IMAGE005
表示调节因子；
Figure 688385DEST_PATH_IMAGE006
表示目标元素与第j个初步关联数据的对应元素之间的置信度；
Figure DEST_PATH_IMAGE007
表示目标元素对应的初步关联数据的数量；
Figure 846965DEST_PATH_IMAGE008
表示所有数据的类型的数量；
Figure DEST_PATH_IMAGE009
表示目标元素对应的频率。
CN202211237729.1A 2022-10-11 2022-10-11 一种高效环保智能样本研发系统的数据快速读取方法 Active CN115309753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211237729.1A CN115309753B (zh) 2022-10-11 2022-10-11 一种高效环保智能样本研发系统的数据快速读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211237729.1A CN115309753B (zh) 2022-10-11 2022-10-11 一种高效环保智能样本研发系统的数据快速读取方法

Publications (2)

Publication Number Publication Date
CN115309753A true CN115309753A (zh) 2022-11-08
CN115309753B CN115309753B (zh) 2023-04-18

Family

ID=83868258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211237729.1A Active CN115309753B (zh) 2022-10-11 2022-10-11 一种高效环保智能样本研发系统的数据快速读取方法

Country Status (1)

Country Link
CN (1) CN115309753B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115987296A (zh) * 2023-03-20 2023-04-18 北京优天下科技股份有限公司 基于霍夫曼编码的交通能源数据压缩传输方法
CN116913057A (zh) * 2023-09-12 2023-10-20 西安中创博远网络科技有限公司 基于物联网的畜牧养殖异常预警系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542927A (zh) * 2018-10-24 2019-03-29 南京邮电大学 有效数据筛选方法、可读存储介质和终端
CN114923715A (zh) * 2022-04-24 2022-08-19 扬州惠特科技有限公司 一种均化增粘反应釜装置异常状态检测方法及系统
CN115114565A (zh) * 2022-08-24 2022-09-27 启东晶尧光电科技有限公司 一种基于大数据分析的直线电机故障检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542927A (zh) * 2018-10-24 2019-03-29 南京邮电大学 有效数据筛选方法、可读存储介质和终端
CN114923715A (zh) * 2022-04-24 2022-08-19 扬州惠特科技有限公司 一种均化增粘反应釜装置异常状态检测方法及系统
CN115114565A (zh) * 2022-08-24 2022-09-27 启东晶尧光电科技有限公司 一种基于大数据分析的直线电机故障检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115987296A (zh) * 2023-03-20 2023-04-18 北京优天下科技股份有限公司 基于霍夫曼编码的交通能源数据压缩传输方法
CN116913057A (zh) * 2023-09-12 2023-10-20 西安中创博远网络科技有限公司 基于物联网的畜牧养殖异常预警系统
CN116913057B (zh) * 2023-09-12 2023-12-01 西安中创博远网络科技有限公司 基于物联网的畜牧养殖异常预警系统

Also Published As

Publication number Publication date
CN115309753B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN115309753B (zh) 一种高效环保智能样本研发系统的数据快速读取方法
CN109934301B (zh) 一种电力负荷聚类分析方法、装置和设备
CN109740660A (zh) 图像处理方法及装置
CN109325510B (zh) 一种基于网格统计的图像特征点匹配方法
CN108280236A (zh) 一种基于LargeVis的随机森林可视化数据分析方法
CN111709775A (zh) 一种房产价格评估方法、装置、电子设备及存储介质
CN111291824A (zh) 时间序列的处理方法、装置、电子设备和计算机可读介质
CN112101765A (zh) 一种配电网运行指标数据异常数据处理方法及系统
CN111626360B (zh) 用于检测锅炉故障类型的方法、装置、设备和存储介质
CN107480471B (zh) 基于小波变换为特征的序列相似性分析的方法
CN115424053A (zh) 小样本图像识别方法、装置、设备及存储介质
CN113543117A (zh) 携号转网用户的预测方法、装置及计算设备
CN110751400B (zh) 一种风险评估方法及装置
CN106847306B (zh) 一种异常声音信号的检测方法及装置
CN110265151B (zh) 一种基于ehr中异构时态数据的学习方法
CN114125813A (zh) 基于手机信令的信号覆盖范围确定方法及相关装置
CN107180391B (zh) 一种风电数据跨度选取方法及装置
CN113505943A (zh) 一种电网短期负荷的预测方法、系统、设备和介质
CN112698891B (zh) 基于界函数合成的循环程序终止性判断方法
CN115563193B (zh) 一种用于数字信息的大数据分析处理方法
CN113705227B (zh) 中文无分词词嵌入模型的构建方法、系统、介质及设备
CN113918555B (zh) 一种用于提升数据质量的数据治理方法
JPS6315383A (ja) パタン照合装置
CN113345428B (zh) 语音识别模型的匹配方法、装置、设备和存储介质
CN114339859B (zh) 识别全屋无线网络WiFi潜在用户的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant