CN116760908B - 基于数字孪生的农业信息优化管理方法及系统 - Google Patents
基于数字孪生的农业信息优化管理方法及系统 Download PDFInfo
- Publication number
- CN116760908B CN116760908B CN202311043436.4A CN202311043436A CN116760908B CN 116760908 B CN116760908 B CN 116760908B CN 202311043436 A CN202311043436 A CN 202311043436A CN 116760908 B CN116760908 B CN 116760908B
- Authority
- CN
- China
- Prior art keywords
- data
- digital
- value
- agricultural
- digital agricultural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 21
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 238000007906 compression Methods 0.000 claims abstract description 15
- 230000006835 compression Effects 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000013144 data compression Methods 0.000 abstract description 3
- 238000013500 data storage Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 15
- 230000002159 abnormal effect Effects 0.000 description 7
- 239000002689 soil Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Mining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
- H04Q2209/84—Measuring functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明涉及数据压缩存储技术领域,具体涉及基于数字孪生的农业信息优化管理方法及系统,包括:采集数字农业数据,获取数字农业数据中每个数据值的重要性,设置初始的调节参数,根据调节参数以及每个数据值的重要性构建数据值之间的距离公式,根据距离公式进行聚类,根据聚类结果获取数字农业数据合并序列,获取数字农业数据与数字农业数据合并序列之间的DTW路径,结合数据值的重要性获取距离值,进而获取聚类的评价系数,根据聚类的评价系数获取最优调节参数,进而得到第一压缩数据,对第一压缩数据进行压缩,对压缩结果进行存储管理。本发明压缩效率高,损失程度小,构建的数字孪生模型更加准确。
Description
技术领域
本发明涉及数据压缩存储技术领域,具体涉及基于数字孪生的农业信息优化管理方法及系统。
背景技术
在现代农业中,数字技术和大数据分析日益成为提高农业生产效率、减少资源浪费、确保作物产量和质量的关键工具。
其中,数字孪生技术是一种模拟现实世界的技术,可通过将现实世界与虚拟世界相结合,为农业生产提供详尽的数据支持。
由于数据孪生技术在监测农业信息时,农作物生长周期过长,导致大量数据的涌入,如何有效存储的数字农业信息变的日益重要。
目前通常通过霍夫曼编码进行数据压缩,由于霍夫曼编码处理大量、复杂的农业数据时可能会遇到编码冗长、效率低下等问题,这会导致数据存储的效率降低,从而影响到整个农业信息管理系统的性能。
发明内容
为了解决上述问题,本发明基于数字孪生的农业信息优化管理方法及系统。
本发明的基于数字孪生的农业信息优化管理方法采用如下技术方案:
本发明一个实施例提供了基于数字孪生的农业信息优化管理方法,该方法包括以下步骤:
利用传感器采集数字农业数据;
根据数字农业数据中每种数据值出现的次数获取数字农业数据中每个数据值的重要性;
设置初始的调节参数,根据调节参数以及每个数据值的重要性构建数字农业数据中任意两个数据值之间的距离公式,根据数字农业数据中任意两个数据值之间的距离公式对数字农业数据进行聚类,得到多个类别;
获取每个类别中所有数据值的均值,作为每个类别的合并数值,将所有类别的合并数值按照顺序构成一个序列,作为数字农业数据合并序列;
利用DTW动态时间规整算法获取数字农业数据与数字农业数据合并序列之间的DTW路径;根据DTW路径结合每个数据值的重要性获取数字农业数据与数字农业数据合并序列之间的距离值;根据数字农业数据与数字农业数据合并序列之间的距离值获取聚类的评价系数;
根据聚类的评价系数对调节参数进行求解,获取最优调节参数;将最优调节参数对应的数字农业数据合并序列作为第一压缩数据;
对第一压缩数据进行压缩,对压缩结果进行存储管理。
优选的,所述根据数字农业数据中每种数据值出现的次数获取数字农业数据中每个数据值的重要性,包括的具体步骤如下:
将数字农业数据中相同的数据值作为一种数据值,统计数字农业数据中每种数据值在数字农业数据中的占比,作为每种数据值的第一占比;获取第一占比最大的数据值,记作数字农业数据的稳定数据值;根据稳定数据值获取每种数据值的波动程度;
根据每种数据值的第一占比以及波动程度获取每种数据值的重要性:
;
其中,为数字农业数据中第种数据值的重要性;为数字农业数据中第种数
据值的第一占比;为数字农业数据中第种数据值的波动程度;
将每种数据值的重要性作为数字农业数据中对应的每个数据值的重要性。
优选的,所述根据稳定数据值获取每种数据值的波动程度,包括的具体步骤如下:
获取每种数据值和数字农业数据的稳定数据值之间的差值的绝对值,作为每种数据值的波动性,利用所有种数据值的波动性对每种数据值的波动性进行最大最小值归一化,将归一化结果作为每种数据值的波动程度。
优选的,所述设置初始的调节参数,根据调节参数以及每个数据值的重要性构建数字农业数据中任意两个数据值之间的距离公式,包括的具体步骤如下:
设置初始的调节参数的值为1;获取数字农业数据中每个数据值在数字农业数据中的序号,对数字农业数据中所有数据值的序号进行最大最小值归一化,记为数字农业数据中每个数据值的归一序号;对数字农业数据中所有数据值进行最大最小值归一化,记为数字农业数据中每个数据值的归一数值;
根据调节参数、每个数据值的重要性、归一序号以及归一数值构建数字农业数据中任意两个数据值之间的距离公式:
;
其中,为数字农业数据中第个数据值和第个数据值之间的距离;为数字
农业数据中第个数据值的归一序号;为数字农业数据中第个数据值的归一序号;
为数字农业数据中第个数据值的归一数值;为数字农业数据中第个数据值的归一数
值;为数字农业数据中第个数据值的重要性;为数字农业数据中第个数据值的重
要性;为调节参数;为最大值函数。
优选的,所述根据DTW路径结合每个数据值的重要性获取数字农业数据与数字农业数据合并序列之间的距离值,包括的具体步骤如下:
;
其中,为数字农业数据与数字农业数据合并序列之间的距离值;为数字农业
数据中第个数据值的重要性;为数字农业数据中第个数据值;为DTW路径中数字农业
数据中第个数据值在数字农业数据合并序列中匹配的合并数值;为绝对值符号;为数
字农业数据中包含的数据值的个数。
优选的,所述根据数字农业数据与数字农业数据合并序列之间的距离值获取聚类的评价系数,包括的具体步骤如下:
;
其中,为当前聚类的评价系数;为数字农业数据与数字农业数据合并序列之间
的距离值;为数字农业数据中包含的数据值的个数;为当前聚类得到的类别个数;为以自然常数为底的指数函数。
优选的,所述根据聚类的评价系数对调节参数进行求解,获取最优调节参数,包括的具体步骤如下:
利用群优化智能算法对调节参数进行求解,获取评价系数最大时的调节参数,作为最优调节参数。
优选的,所述对第一压缩数据进行压缩,对压缩结果进行存储管理,包括的具体步骤如下:
根据第一压缩数据获取时间序列;对第一压缩数据进行压缩,得到第二压缩数据,对第二压缩数据以及时间序列进行存储。
优选的,所述根据第一压缩数据获取时间序列,包括的具体步骤如下:
获取第一压缩数据中每个合并数值对应的类别中所有数据值的时刻中最早的时刻,作为每个合并数值的起始时刻,将第一压缩数据中所有合并数值的起始时刻构成一个序列,作为时间序列。
本发明还提出基于数字孪生的农业信息优化管理系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现任意一项所述基于数字孪生的农业信息优化管理方法的步骤。
本发明的技术方案的有益效果是:本发明获取数字农业数据中每个数据值的重要性,设置初始的调节参数,根据调节参数以及每个数据值的重要性构建数据值之间的距离公式,根据距离公式对数字农业数据进行聚类,确保了重要性大的每个数据值尽可能单独作为一类,重要性小的且相似的数据值聚为一个类别,根据聚类结果获取数字农业数据合并序列,数字农业数据合并序列对于数字农业数据中相似的时序相邻数据值进行了合并,相较于数字农业数据的数据量减小,同时保留了数字农业数据中的数据特征,使得后续利用数字农业数据合并序列作为第一压缩数据,压缩效果好的同时对于重要性大的数据值的损失程度小;本发明获取数字农业数据与数字农业数据合并序列之间的DTW路径,结合数据值的重要性获取距离值,进而获取聚类的评价系数,根据聚类的评价系数获取最优调节参数,将最优调节参数对应的数字农业数据合并序列作为第一压缩数据,对第一压缩数据进行压缩存储,根据第一压缩数据构建数字孪生模型,实现农业信息优化管理,本发明通过对调节参数进行遍历求解,获取评价系数最高的调节参数,确保了最优调节参数对应的数字农业数据合并序列的数据量尽可能小的同时损失程度尽可能小,对于重要性大的数据即受极端天气影响的异常数据保留更完整,使得利用第一压缩数据构建的数字孪生模型对农作物的全生命周期过程的仿真更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于数字孪生的农业信息优化管理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于数字孪生的农业信息优化管理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。
此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于数字孪生的农业信息优化管理方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于数字孪生的农业信息优化管理方法的步骤流程图,该方法包括以下步骤:
S001.采集数字农业数据。
利用土壤湿度物联网传感器、土壤坚实度传感器等传感器采集农业土壤的湿度、坚实度等不同维度的数据,将农业土壤每个维度的时序上的数据构成一个数据序列,作为该维度的数字农业数据,例如湿度的数字农业数据为从土壤湿度物联网传感器开始采集到结束采集的每一时刻的湿度按照时间顺序构成的序列。
S002.获取数字农业数据中每个数据值的重要性。
需要说明的是,由于天气影响,会造成每个维度的数字农业数据产生波动,使得数字农业数据中的数据重复率较小,对数字农业数据直接利用现有的压缩算法如霍夫曼编码进行压缩的效果较差,且在波动的影响下,数字农业数据中相邻数据的变化量不同,若利用差值法对数字农业数据进行压缩,对于不同的变化量都需要分配一个不同编码,使得每种变化量的编码长度较长,从而导致数字农业数据的压缩数据的数据量大,压缩效果差。因此本发明实施例根据每个维度的数字农业数据中数据的变化合并部分数据值,从而减少编码对象,同时使得数据的重复率上升。
需要进一步说明的是,在对每个维度的数字农业数据中进行数据值合并时,由于数字农业数据为时序数据,其中波动越大且出现次数越少的数据值往往是受天气影响较大的农业数据,对于此些数据值进行重点监测,不能合并,以保证在农作物异常时,能够及时发现造成异常的农业数据,并根据异常的农业数据进行农作物的异常补救;如果数据值在数字农业数据中出现的次数越多,且数据值的波动越小时,则表示处于当前数据值的监测时间较长,由于农作物生长周期往往较长,大部分天气对土壤的影响较小,数据值相对较稳定,此时对该数据值的关注程度较小,可进行合并,以提高数字农业数据的压缩效率,因此本发明实施例根据数字农业数据中数据值的波动情况以及出现次数来获取每种数据值的重要性,以便后续根据重要性进行数据值的合并。
在本发明实施例中,对每个维度的数字农业数据的压缩方法相同,后续出现的数字农业数据,均指单个维度的数字农业数据。
将数字农业数据中相同的数据值作为一种数据值,统计数字农业数据中每种数据值在数字农业数据中的占比,作为每种数据值的第一占比,当第一占比越大,对应的数据值作为数字农业数据中出现的次数越多。获取第一占比最大的数据值,记作数字农业数据的稳定数据值。
需要说明的是,由于农作物的生长周期往往较长,监测值的时间较长,大部分天气对土壤影响较小,使得数字农业数据中数据值相对较为稳定,稳定数据值为数字农业数据中出现次数最多的数据值,对于数字农业数据中每种数据值,若数据值与稳定数据值的差异越大,则数据值的波动越大。因此可根据数据值与稳定数据值的差异获取数据值的波动程度。
在本发明实施例中,获取每种数据值和数字农业数据的稳定数据值之间的差值的绝对值,作为每种数据值的波动性,利用所有种数据值的波动性对每种数据值的波动性进行最大最小值归一化,将归一化结果作为每种数据值的波动程度。最大最小值归一化为公知技术,在本发明实施例中不再详细赘述。
在本发明实施例中,根据每种数据值的第一占比以及波动程度获取每种数据值的重要性:
;
其中,为数字农业数据中第种数据值的重要性;为数字农业数据中第种数
据值的第一占比;为数字农业数据中第种数据值的波动程度;当数字农业数据中第种
数据值的第一占比越大时,表示第种数据值属于相对稳定的数据,此时第种数据值重要
性越低,之后对越需要对其进行合并,本发明实施例利用1减去实现对的负相关映射;
当数字农业数据中第种数据值的波动程度越大时,表示第种数据值可能为极端天气引起
的异常数据,越需要对该数据值进行观测,此时第种数据值重要性越高,之后对越不能对
其进行合并;数字农业数据中第种数据值的重要性越大,则表示第种数据值在之后保留
的概率越大,第种数据值越重要。
至此,获取了数字农业数据中每种数据值的重要性。
由于数字农业数据中相同的数据值为一种数据值,则每种数据值在数字农业数据中对应多个相同的数据值。
将每种数据值的重要性作为数字农业数据中对应的每个数据值的重要性,例如数字农业数据为{1,1,2,1}时,包含1和2共两种数据值,数据值1在数字农业数据中对应第1、2、4个数据值,则将1的重要性作为数字农业数据中第1、2、4个数据值的重要性。
至此,获取了数据农业数据中每个数据值的重要性。
S003.根据每个数据值的重要性,对数字农业数据进行聚类,获取聚类的评价系数。
需要说明的是,在获取数字农业数据中每种数据值的重要性之后,可根据每种数据值对数字农业数据进行分段,根据分段结果,进行段内数据值的合并,从而实现数字农业数据一定程度上的压缩。
由于分段个数并不能确定,同时部分重要性大的数据的密度可能较低导致数字农业数据密度分布不均匀,因此本发明实施例采用DBSCAN密度聚类算法对数字农业数据进行分段,DBSCAN密度聚类算法在聚类时可以将数据值连续的分为一类,使得分类结果具有较好的数据值连续性。
但如果直接利用DBSCAN密度聚类方法对数字农业数据中的数据值进行聚类,往往会由于数字农业数据的数据量过大,使得数字农业数据中出现的数据值按照数据值大小排列之后都是连续的,导致DBSCAN密度聚类无法将数字农业数据中的时序上不连续的数据值分为多个类别。
因此本发明实施例结合数字农业数据中数据值的序号进行DBSCAN密度聚类,确保得到的每个类别中的数据值不但数据值相似,同时时序上也连续。
在本发明实施例中,获取数字农业数据中每个数据值在数字农业数据中的序号,并对数字农业数据中所有数据值的序号进行最大最小值归一化,记为数字农业数据中每个数据值的归一序号。对数字农业数据中所有数据值进行最大最小值归一化,记为数字农业数据中每个数据值的归一数值。
将数字农业数据中每个数据值的归一序号和归一数值作为样本数据,对样本数据进行DBSCAN密度聚类,其中DBSCAN密度聚类算法的聚类半径在本发明实施例中为0.01,最小聚类个数为3,具体不做限定,在其他实施例中,可由实施者根据具体实施场景设置聚类半径以及最小距离个数。
在DBSCAN聚类过程中,对于任意两个数据值之间的距离,计算公式如下:
;
其中,为数字农业数据中第个数据值和第个数据值之间的距离;为数字
农业数据中第个数据值的归一序号;为数字农业数据中第个数据值的归一序号;
为数字农业数据中第个数据值的归一数值;为数字农业数据中第个数据值的归一数
值;为数字农业数据中第个数据值的重要性;为数字农业数据中第个数据值的重
要性;为超参数,用作DBSCAN聚类的调节参数,在第一次聚类时设置;为
最大值函数;表示利用数字农业数据中第个数据值和第个数据值之间最
大的重要性,对第个数据值和第个数据值的归一数值之间的差异进行调
整,当第个数据值和第个数据值之间存在较大的重要性时,更加关注第个数据值和第
个数据值的归一数值之间的差异,确保通过DBSCAN密度聚类可将重要性大的
数据值聚为多个类别,使得重要性大的数据值越分散,进而使得后续对于重要性大的数据
值不进行合并;反之,当第个数据值和第个数据值的重要性都较小时,对第个数据值和
第个数据值的归一数值之间的差异的关注程度变小;通过对数据值的归一
序号之间的差异进行衡量,确保了通过DBSCAN密度聚类得到的各个类别中所
有数据值在时序上连续。
通过DBSCAN密度聚类算法将数字农业数据中每个数据值聚为了多个类别,将类别
个数记为。
需要说明的是,每个类别中包含的数据值在时序上连续,且每个类别中包含的数据值近似,不同类别的数据值按照重要性差异分开,数据值的重要性越大,类别越分散。
在本发明实施例中,获取每个类别中所有数据值的均值,作为每个类别的合并数
值,将所有类别的合并数值按照顺序构成一个序列,作为数字农业数据合并序列,则数字农
业数据合并序列的长度为。
需要说明的是,数字农业数据合并序列对于数字农业数据中相似的时序相邻数据值进行了合并,相较于数字农业数据的数据量减小,保留了数字农业数据中的数据特征,因此数字农业数据合并序列可一定程度上看作数字农业数据的压缩数据。
为了衡量当前DBSCAN密度聚类下数字农业数据合并序列的压缩效果,需要对数字农业数据合并序列中保留数字农业数据的数据特征的程度进行衡量,因此需要计算数字农业数据与数字农业数据合并序列的相似性。
由于数字农业数据与数字农业数据合并序列的长度不同,因此本发明实施例采用DTW动态时间规整算法对数字农业数据与数字农业数据合并序列的相似性进行衡量,为确保极端天气引起的异常数据能够重点监测,在衡量过程中,对于重要性大的数据值的保留程度进行重点衡量。
在本发明实施例中,利用DTW动态时间规整算法获取数字农业数据与数字农业数据合并序列之间的DTW路径;根据DTW路径结合数据值的重要性获取数字农业数据与数字农业数据合并序列之间的距离值:
;
其中,为数字农业数据与数字农业数据合并序列之间的距离值;为数字农业
数据中第个数据值的重要性;为数字农业数据中第个数据值;为DTW路径中数字农业
数据中第个数据值在数字农业数据合并序列中匹配的合并数值;为绝对值符号;为数
字农业数据中包含的数据值的个数;当数字农业数据中第个数据值的重要性越大时,更加
关注DTW路径中数字农业数据中第个数据值在数字农业数据合并序列中匹配的合并数值
与数字农业数据中第个数据值之间的距离;当距离值越小时,表示在当前
DBSCAN密度聚类下,根据聚类得到的每个类别对类别中数据进行合并,合并之后与合并之
前的数据值相比损失程度越小,其中重要程度大的数据值的损失程度更小,此时当前
DBSCAN密度聚类的效果越好;反之,当距离值越大时,损失程度越大,当前DBSCAN密度聚
类的效果越差。
根据数字农业数据与数字农业数据合并序列之间的距离值获取当前DBSCAN密度聚类的评价系数:
;
其中,为当前DBSCAN密度聚类的评价系数;为数字农业数据与数字农业数据合
并序列之间的距离值;为数字农业数据中包含的数据值的个数;为当前DBSCAN密度聚
类得到的类别个数,即数字农业数据合并序列的长度;为以自然常数为底的指数函
数;当数字农业数据与数字农业数据合并序列之间距离值越小,同时数字农业数据与数
字农业数据合并序列的长度差异越大时,说明当前DBSCAN密度聚类的类别个数
越小,数字农业数据合并序列作为压缩数据的数据量越少,同时数字农业数据合并序列相
对于数据农业数据的损失程度越小,此时当前DBSCAN密度聚类的聚类效果越好,评价系数
越大。
至此,获取了当前DBSCAN密度聚类的评价系数。
S004.根据聚类的评价系数,对数字农业数据进行自适应分段合并,得到第一压缩数据。
需要说明的是,上述步骤获取了DBSCAN密度聚类的评价系数,该评价系数反映了DBSCAN密度聚类的聚类效果的好坏,同时反映了在DBSCAN密度聚类下,数字农业数据合并序列作为数字农业数据的压缩数据的压缩效果的好坏。
通过调整DBSCAN密度聚类算法的聚类参数,可以得到不同的聚类效果,获取到不
同压缩效果的数字农业数据合并序列,但调整DBSCAN密度聚类算法的聚类参数的方法,会
使得获取预期压缩效果更好的数字农业数据合并序列的难度增大,因此本发明实施例通过
调整DBSCAN密度聚类时采用的调节参数,来自适应获取压缩效果最优的数字农业数据合
并序列。
在本发明实施例中,利用群优化智能算法对DBSCAN密度聚类的调节参数进行求
解:通过采用不同的对数字农业数据进行DBSCAN密度聚类,获取评价系数最大时的调节
参数,作为最优调节参数。需要说明的是,群优化智能算法为公知技术,在本发明实施例
中不再详细赘述。
获取最优条件参数对应的DBSCAN密度聚类下的数字农业数据合并序列,作为第一压缩数据。
需要说明的是,通过最优条件参数对数字农业数据进行DBSCAN密度聚类实现了对数字农业数据的分段,每个类别即为一个分段,第一压缩数据即为对数字农业数据进行分段之后,利用每段所有的数据值的均值对每段所有数据值进行合并的结果。
获取第一压缩数据中每个合并数值对应的类别中所有数据值的时刻中最早的时刻,作为每个合并数值的起始时刻,将第一压缩数据中所有合并数值的起始时刻构成一个序列,作为时间序列。
至此,获取了第一压缩数据。
S005.对第一压缩数据进行压缩,对压缩结果进行存储管理。
利用霍夫曼编码对第一压缩数据进行压缩,得到第二压缩数据,对第二压缩数据以及时间序列进行存储。
当需要构建数字孪生模型时,对第二压缩数据解压得到第一压缩数据,第一压缩数据中每个合并数值对应时间序列中每个时间点,利用仿真软件根据第一压缩数据以及时间序列进行数字孪生模型的构建。
需要说明的是,数字孪生模型的构建方法公知,在本发明实施例中不再详细赘述。第一压缩数据保留了原始的数字农业数据中的数据值信息,并对其中受极端天气影响的异常数据保留更完整,利用第一压缩数据构建的数字孪生模型对农作物的全生命周期过程的仿真更加准确。
通过以上步骤,完成了用于构建数字孪生模型的数字农业数据的优化管理。
本发明实施例还提出基于数字孪生的农业信息优化管理系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现任意一项所述基于数字孪生的农业信息优化管理方法的步骤。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.基于数字孪生的农业信息优化管理方法,其特征在于,该方法包括以下步骤:
利用传感器采集数字农业数据;
根据数字农业数据中每种数据值出现的次数获取数字农业数据中每个数据值的重要性;
设置初始的调节参数,根据调节参数以及每个数据值的重要性构建数字农业数据中任意两个数据值之间的距离公式,根据数字农业数据中任意两个数据值之间的距离公式对数字农业数据进行聚类,得到多个类别;
获取每个类别中所有数据值的均值,作为每个类别的合并数值,将所有类别的合并数值按照顺序构成一个序列,作为数字农业数据合并序列;
利用DTW动态时间规整算法获取数字农业数据与数字农业数据合并序列之间的DTW路径;根据DTW路径结合每个数据值的重要性获取数字农业数据与数字农业数据合并序列之间的距离值;根据数字农业数据与数字农业数据合并序列之间的距离值获取聚类的评价系数;
根据聚类的评价系数对调节参数进行求解,获取最优调节参数;将最优调节参数对应的数字农业数据合并序列作为第一压缩数据;
对第一压缩数据进行压缩,对压缩结果进行存储管理;
所述根据数字农业数据中每种数据值出现的次数获取数字农业数据中每个数据值的重要性,包括的具体步骤如下:
将数字农业数据中相同的数据值作为一种数据值,统计数字农业数据中每种数据值在数字农业数据中的占比,作为每种数据值的第一占比;获取第一占比最大的数据值,记作数字农业数据的稳定数据值;根据稳定数据值获取每种数据值的波动程度;
根据每种数据值的第一占比以及波动程度获取每种数据值的重要性:
其中,为数字农业数据中第/>种数据值的重要性;/>为数字农业数据中第/>种数据值的第一占比;/>为数字农业数据中第/>种数据值的波动程度;
将每种数据值的重要性作为数字农业数据中对应的每个数据值的重要性;
所述根据稳定数据值获取每种数据值的波动程度,包括的具体步骤如下:
获取每种数据值和数字农业数据的稳定数据值之间的差值的绝对值,作为每种数据值的波动性,利用所有种数据值的波动性对每种数据值的波动性进行最大最小值归一化,将归一化结果作为每种数据值的波动程度;
所述设置初始的调节参数,根据调节参数以及每个数据值的重要性构建数字农业数据中任意两个数据值之间的距离公式,包括的具体步骤如下:
设置初始的调节参数的值为1;获取数字农业数据中每个数据值在数字农业数据中的序号,对数字农业数据中所有数据值的序号进行最大最小值归一化,记为数字农业数据中每个数据值的归一序号;对数字农业数据中所有数据值进行最大最小值归一化,记为数字农业数据中每个数据值的归一数值;
根据调节参数、每个数据值的重要性、归一序号以及归一数值构建数字农业数据中任意两个数据值之间的距离公式:
其中,为数字农业数据中第/>个数据值和第/>个数据值之间的距离;/>为数字农业数据中第/>个数据值的归一序号;/>为数字农业数据中第/>个数据值的归一序号;/>为数字农业数据中第/>个数据值的归一数值;/>为数字农业数据中第/>个数据值的归一数值;/>为数字农业数据中第/>个数据值的重要性;/>为数字农业数据中第/>个数据值的重要性;/>为调节参数;/>为最大值函数。
2.根据权利要求1所述的基于数字孪生的农业信息优化管理方法,其特征在于,所述根据DTW路径结合每个数据值的重要性获取数字农业数据与数字农业数据合并序列之间的距离值,包括的具体步骤如下:
其中,为数字农业数据与数字农业数据合并序列之间的距离值;/>为数字农业数据中第/>个数据值的重要性;/>为数字农业数据中第/>个数据值;/>为DTW路径中数字农业数据中第/>个数据值在数字农业数据合并序列中匹配的合并数值;/>为绝对值符号;/>为数字农业数据中包含的数据值的个数。
3.根据权利要求1所述的基于数字孪生的农业信息优化管理方法,其特征在于,所述根据数字农业数据与数字农业数据合并序列之间的距离值获取聚类的评价系数,包括的具体步骤如下:
其中,为当前聚类的评价系数;/>为数字农业数据与数字农业数据合并序列之间的距离值;/>为数字农业数据中包含的数据值的个数;/>为当前聚类得到的类别个数;/>为以自然常数为底的指数函数。
4.根据权利要求3所述的基于数字孪生的农业信息优化管理方法,其特征在于,所述根据聚类的评价系数对调节参数进行求解,获取最优调节参数,包括的具体步骤如下:
利用群优化智能算法对调节参数进行求解,获取评价系数/>最大时的调节参数/>,作为最优调节参数。
5.根据权利要求1所述的基于数字孪生的农业信息优化管理方法,其特征在于,所述对第一压缩数据进行压缩,对压缩结果进行存储管理,包括的具体步骤如下:
根据第一压缩数据获取时间序列;对第一压缩数据进行压缩,得到第二压缩数据,对第二压缩数据以及时间序列进行存储。
6.根据权利要求5所述的基于数字孪生的农业信息优化管理方法,其特征在于,所述根据第一压缩数据获取时间序列,包括的具体步骤如下:
获取第一压缩数据中每个合并数值对应的类别中所有数据值的时刻中最早的时刻,作为每个合并数值的起始时刻,将第一压缩数据中所有合并数值的起始时刻构成一个序列,作为时间序列。
7.基于数字孪生的农业信息优化管理系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311043436.4A CN116760908B (zh) | 2023-08-18 | 2023-08-18 | 基于数字孪生的农业信息优化管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311043436.4A CN116760908B (zh) | 2023-08-18 | 2023-08-18 | 基于数字孪生的农业信息优化管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116760908A CN116760908A (zh) | 2023-09-15 |
CN116760908B true CN116760908B (zh) | 2023-11-10 |
Family
ID=87957559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311043436.4A Active CN116760908B (zh) | 2023-08-18 | 2023-08-18 | 基于数字孪生的农业信息优化管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116760908B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117496359B (zh) * | 2023-12-29 | 2024-03-22 | 浙江大学山东(临沂)现代农业研究院 | 基于三维点云的植物种植布局监测方法及系统 |
CN117633697B (zh) * | 2024-01-26 | 2024-05-03 | 西安艺琳农业发展有限公司 | 基于物联网的生猪智能监测方法及系统 |
CN117807381A (zh) * | 2024-02-23 | 2024-04-02 | 余姚市农业技术推广服务总站 | 一种农业技术推广记录数据智能管理系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464910A (zh) * | 2009-01-12 | 2009-06-24 | 浙江大学 | 基于数据相似的平衡聚类压缩方法 |
CN108616838A (zh) * | 2018-04-29 | 2018-10-02 | 山东省计算中心(国家超级计算济南中心) | 基于卡尔曼滤波算法的农业大棚数据融合处理方法 |
CN115510982A (zh) * | 2022-09-29 | 2022-12-23 | 联想(北京)有限公司 | 一种聚类方法、装置、设备以及计算机存储介质 |
CN115514376A (zh) * | 2022-08-29 | 2022-12-23 | 北京思维实创科技有限公司 | 基于改进符号聚合近似的高频时序数据压缩方法及装置 |
CN115857447A (zh) * | 2022-11-28 | 2023-03-28 | 安徽宝信信息科技有限公司 | 基于数字孪生的复杂工业系统运行监测方法及系统 |
CN115880433A (zh) * | 2022-12-20 | 2023-03-31 | 中国科学院合肥物质科学研究院 | 一种基于数字孪生的农作物培育优化方法 |
RU2022100315A (ru) * | 2022-01-11 | 2023-07-11 | Общество с ограниченной ответственностью "ЭКОмониторинг Агро" | Способ идентификации агроэкологических групп с использованием дистанционной информации |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3809220B1 (en) * | 2019-10-14 | 2023-01-18 | Honda Research Institute Europe GmbH | Method and system for semi-supervised deep anomaly detection for large-scale industrial monitoring systems based on time-series data utilizing digital twin simulation data |
TWI757915B (zh) * | 2020-10-14 | 2022-03-11 | 國立中央大學 | 高效率異質性時序資料表示法辨別系統 |
-
2023
- 2023-08-18 CN CN202311043436.4A patent/CN116760908B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464910A (zh) * | 2009-01-12 | 2009-06-24 | 浙江大学 | 基于数据相似的平衡聚类压缩方法 |
CN108616838A (zh) * | 2018-04-29 | 2018-10-02 | 山东省计算中心(国家超级计算济南中心) | 基于卡尔曼滤波算法的农业大棚数据融合处理方法 |
RU2022100315A (ru) * | 2022-01-11 | 2023-07-11 | Общество с ограниченной ответственностью "ЭКОмониторинг Агро" | Способ идентификации агроэкологических групп с использованием дистанционной информации |
CN115514376A (zh) * | 2022-08-29 | 2022-12-23 | 北京思维实创科技有限公司 | 基于改进符号聚合近似的高频时序数据压缩方法及装置 |
CN115510982A (zh) * | 2022-09-29 | 2022-12-23 | 联想(北京)有限公司 | 一种聚类方法、装置、设备以及计算机存储介质 |
CN115857447A (zh) * | 2022-11-28 | 2023-03-28 | 安徽宝信信息科技有限公司 | 基于数字孪生的复杂工业系统运行监测方法及系统 |
CN115880433A (zh) * | 2022-12-20 | 2023-03-31 | 中国科学院合肥物质科学研究院 | 一种基于数字孪生的农作物培育优化方法 |
Non-Patent Citations (1)
Title |
---|
Hypermedia Multi-Agents, Semantic Web, and Microservices to Enhance Smart Agriculture Digital Twin;Yogeswaranathan Kalyani;2023 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops): PhD Forum;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116760908A (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116760908B (zh) | 基于数字孪生的农业信息优化管理方法及系统 | |
CN109376772B (zh) | 一种基于神经网络模型的电力负荷组合预测方法 | |
CN115987295B (zh) | 基于物联网的农作物监控数据高效处理方法 | |
CN109471847B (zh) | 一种i/o拥塞控制方法及控制系统 | |
CN108335307A (zh) | 基于暗原色的自适应烟叶图片分割方法及系统 | |
CN110826618A (zh) | 一种基于随机森林的个人信用风险评估方法 | |
CN117540238B (zh) | 一种工业数字化信息采集装置用数据安全管理方法 | |
CN112699605A (zh) | 一种充电桩故障元件预测方法及系统 | |
CN116402117B (zh) | 图像分类卷积神经网络剪枝方法及芯粒器件数据分配方法 | |
CN117113235B (zh) | 一种云计算数据中心能耗优化方法及系统 | |
CN113515512A (zh) | 一种工业互联网平台数据的质量治理及提升方法 | |
CN116502170A (zh) | 基于云平台的农业水利监测方法及相关装置 | |
CN117608499B (zh) | 一种基于物联网的智慧交通数据优化存储方法 | |
CN113127464B (zh) | 农业大数据环境特征处理方法、装置及电子设备 | |
CN117498735A (zh) | 一种步进电机动态平稳驱动方法及系统 | |
CN117290364A (zh) | 一种市场调查数据智能存储方法 | |
CN116628451B (zh) | 一种待处理信息的高速解析方法 | |
CN117454255A (zh) | 一种智慧建筑能耗数据优化存储方法 | |
CN115682207B (zh) | 基于用户使用偏好的加湿器智能控制方法 | |
CN112348360A (zh) | 一种基于大数据技术的中药生产工艺参数分析系统 | |
CN116502802A (zh) | 一种基于大数据与无线传感技术的数据管理系统 | |
CN116232935B (zh) | 一种物联网监测大数据传输方法 | |
CN110609832B (zh) | 一种面向流式数据的非重复采样方法 | |
CN117150224B (zh) | 基于物联网的用户行为数据存储分析方法 | |
CN112860768A (zh) | 一种电磁频谱可用频率推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |