CN113722296A - 一种农业信息处理方法、装置、电子设备及存储介质 - Google Patents

一种农业信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113722296A
CN113722296A CN202111043886.4A CN202111043886A CN113722296A CN 113722296 A CN113722296 A CN 113722296A CN 202111043886 A CN202111043886 A CN 202111043886A CN 113722296 A CN113722296 A CN 113722296A
Authority
CN
China
Prior art keywords
data
column
stored
storage
structure database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111043886.4A
Other languages
English (en)
Inventor
邓玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Gangtou Waterfront Agricultural Research Institute Co ltd
Original Assignee
Sichuan Gangtou Waterfront Agricultural Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Gangtou Waterfront Agricultural Research Institute Co ltd filed Critical Sichuan Gangtou Waterfront Agricultural Research Institute Co ltd
Priority to CN202111043886.4A priority Critical patent/CN113722296A/zh
Publication of CN113722296A publication Critical patent/CN113722296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种农业信息处理方法、装置、电子设备及存储介质，该方法包括从若干农业系统的数据库分别获取若干待存储数据包；所述待存储数据包内的数据为行存储数据；建立至少一个关键字及至少一个分类标识的映射竖表；根据所述映射竖表建立列结构数据库；以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。以此，本方法将多个相互独立的农业系统中的行存储数据，以列存储的方式储存在列结构数据库中，使得在在查询只需要少数几个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就更容易为这种聚集存储设计更好的压缩/解压算法。

Description

一种农业信息处理方法、装置、电子设备及存储介质
技术领域
本申请涉及农业信息存储领域，尤其涉及一种农业信息处理方法、装置、电子设备及存储介质。
背景技术
大数据对于各行业影响深远。基于交易商细分和交易商精细化营销的需求已逐渐成为农产品市场变革的主要手段。目前针对大宗交易平台的数据管理和市场营销需求，通常由业务部门对各类经营指标进行分析，筛选出需要关注的业务指标，然后提交技术部门采集相关业务字段的具体清单，最后由技术部门依据业务部门所提的方案，对相关数据进行手工分析，输出结果。
基于目前的数据分析流程，要经常应对下竖事件：
业务部门所提的需求多样，通常需要跨越多系统采集数据，才能够满足业务部门的分析需求；
针对多系统采集的数据，技术部门需要重新构建多系统关联的检索指标和属性后方可联机查询，输出业务部门需要的报表结果；
针对业务部门的大数据需求，技术部门需要将输出后的报表结果转化为直观图形予以体现。
为应对复杂多系统数据处理问题，需要投入大量人力与精力，但仍然在成本控制、时效性、安全性方面收效甚微。实际情况是：
(1)随着交易商精细化营销的加速，业务部门所提的需求通常需要多系统进行数据采集，而数据库类型、版本的差异导致采集数据的过程较为复杂，技术人员通常需要对业务部门提出的需求进行分类后，从不同的数据支撑系统中采集数据，才能完成业务部门的需求。
(2)传统的方案是按照步骤来进行的，如果发现某一步骤存在问题，在必须回溯到上一步来重新进行，例如分析人员在需求提交后，忽然发现漏提了一个字段，会导致清单输出的不准确性。使用传统方法，这种情况发生，只能修改需求后重新提数，造成了资源的不必要浪费。
(3)分析人员在不同系统间提取的数据，通常缺乏支架关联性，需要人为的对数据进行主键关联，这种关联通常只能支撑小部分的数据分析需求，对于较为复杂的数据缺乏有效的解决方案。
(4)对于使用完毕后的数据，通常不能够再次使用，一般寄存在数据库中或进行直接删除，浪费了数据库空间，并且存在安全隐患。
发明内容
有鉴于此，本申请提供一种农业信息处理方法、装置、电子设备及存储介质，至少部分解决现有技术中存在的问题。
有鉴于此，本申请提供一种农业信息处理方法，包括：
从若干农业系统的数据库分别获取若干待存储数据包；所述待存储数据包内的数据为行存储数据；
建立至少一个关键字及至少一个分类标识的映射竖表；
根据所述映射竖表建立列结构数据库；
以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。
在本公开的一种示例性实施例中，在所述根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库之前，所述方法还包括：
获取读取数据中的用户数据及用户数据的关键字，根据用户数据的关键字在映射竖表中查找到用户数据的关键字对应的分类标识；
根据所述分类标识将用户数据写入所述分类标识在列结构数据库中对应的数据字段；
在所述数据字段的预设位置添加所述分类标识。
在本公开的一种示例性实施例中，所述方法还包括：
对所述列结构数据库中的每列数据内的重复数据进行打包；
将打包后的数据存储于所述列结构数据库中新的一列中。
在本公开的一种示例性实施例中，所述方法还包括：
确定列结构数据库中内数据的列标签名；
生成以所述列标签名作为关键字的列索引文件；所述列索引文件与所述列标签名具有对应关系。
在本公开的一种示例性实施例中，所述步骤还包括：
生成每一所述列索引文件对应的哈希值，并根据所述哈希值生成列索引。
在本公开的一种示例性实施例中，所述列结构数据库包括：由列存储引擎、竖执行引擎、行存储引擎和行执行引擎组成的双执行引擎及双存储引擎。
在本公开的一种示例性实施例中，所述方法还包括：
获取查询条件，确定查询条件对应的查询关键字；
根据查询关键字在映射竖表中查找到所述预设关键字对应的查询分类标识；
根据所述查询分类标识和查询算法将列结构数据库中包含的数据进行计算并得到输出结果。
根据本公开的一个方面，提供一种农业信息处理装置，包括：
获取模块，用于从若干农业系统的数据库分别获取若干待存储数据包；所述待存储数据包内的数据为行存储数据；
第一生成模块，用于建立至少一个关键字及至少一个分类标识的映射竖表；
第二生成模块，用于根据所述映射竖表建立列结构数据库；
存储模块，用于以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。
根据本公开的一个方面，提供一种电子设备，包括处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如上述任一项所述方法的步骤。
根据本公开的一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上述任一项所述方法的步骤。
本申请提供的一种农业信息处理方法，通过从若干农业系统的数据库分别获取若干待存储数据包；建立至少一个关键字及至少一个分类标识的映射竖表；根据所述映射竖表建立列结构数据库；以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。将多个相互独立的农业系统中的行存储数据，以列存储的方式储存在列结构数据库中，使得在在查询只需要少数几个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就更容易为这种聚集存储设计更好的压缩/解压算法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本实施例提供的一种农业信息处理方法的流程示意图；
图2为本实施例提供的列结构数据库的结构图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本实施例提供一种农业信息处理方法，包括以下步骤：
步骤S100，从若干农业系统的数据库分别获取若干待存储数据包；所述待存储数据包内的数据为行存储数据；
步骤S200，建立至少一个关键字及至少一个分类标识的映射竖表；
步骤S300，根据所述映射竖表建立列结构数据库；
步骤S400，以行为单位读取所述待存储数据包中的数据；
步骤S500，根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。
其中，每一农业系统的数据库单独设置，且内部的信息均已行的形式进行存储。本方法的实施主体可以是一种电子设备或是一种系统等，建立与各个农业系统之间的数据传输关系，并获取每一数据库汇总的待存储数据包。
本实施例中，图2提供了本实施例提供的竖结构数据库的结构图。
竖结构数据库是基于列存储的、主要面向OLAP型应用的关系型数据库。竖结构数据库的特点是可以更好的应对海量关系数据中竖向的查询，占用更少的存储空间和更少的I/O，这些特点使其成为构建数据仓库的理想架构。
列存储不同于传统的关系型数据库，其数据在表中是按列存储的，竖方式所带来的重要好处之一就是，由于查询中的选择规则是通过竖来定义的，因此整个数据库是自动索引化的。
本实施例提供的一种农业信息处理方法，通过从若干农业系统的数据库分别获取若干待存储数据包；建立至少一个关键字及至少一个分类标识的映射竖表；根据所述映射竖表建立列结构数据库；以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。将多个相互独立的农业系统中的行存储数据，以列存储的方式储存在列结构数据库中，按列存储每个字段的数据聚集存储，使得在在查询只需要少数几个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就更容易为这种聚集存储设计更好的压缩/解压算法。
在本公开的一种示例性实施例中，在步骤S500之前，所述方法还包括：
获取读取数据中的用户数据及用户数据的关键字，根据用户数据的关键字在映射竖表中查找到用户数据的关键字对应的分类标识；
根据所述分类标识将用户数据写入所述分类标识在列结构数据库中对应的数据字段；
在所述数据字段的预设位置添加所述分类标识。
构建“共享数据矩阵”(即本实施例中的竖结构数据库)，采用最新的竖存存储技术，即便数据很多，查询速度也非常快(数据统计，使用竖存数据库的查询效率是使用关系型数据库的20倍)，而且空间也较关系型数据库节省了 40％左右。这张共享数据矩阵将作为业务部门的共享数据库
分析人员只需要构思相关思路，在“共享矩阵上”选取自己需要的关键字，即可进行相关数据汇总。如果忽然发现漏选了一些字段或某些字段不需要，只需要重新勾选相关字段。由于竖存数据库的高效性，重新选取字段进行处理的过程非常迅速，可在很短时间内重新输出需要的数据或清单。
具体的，获取至少一个关键字及至少一个分类标识，按照一个分类标识对应一个关键字的规则建立映射竖表，其中，至少一个关键字包括预设关键字，至少一个分类标识包括预设分类标识。例如，关键字是DP(decoction pieces，中药饮片)试剂，预设分类标识为DP，那么在数据库中数据字段的预设位置如果包含DP，则代表该数据字段所包含的数据与关键字中药饮片有关。预设位置是分类标识在数据字段中的存储位置。
获取用户数据及用户数据的关键字，根据用户数据的关键字在映射竖表中查找到用户数据的关键字对应的用户数据的分类标识，根据用户数据的分类标识将用户数据写入用户数据的分类标识在数据库中所对应的数据字段，并在用户数据的分类标识对应的数据字段的预设位置添加用户数据的分类标识。例如，当数据处理装置获取到的用户数据为交易商的交易价格，则可以交易价格作为用户数据的关键字，将交易价格对应的分类标识设为P，将用户数据写入分类标识P对应的数据字段中，并在该数据字段的预设位置写入分类标识P。
在本公开的一种示例性实施例中，所述方法还包括：
对所述列结构数据库中的每列数据内的重复数据进行打包；
将打包后的数据存储于所述列结构数据库中新的一列中。
本实施例通过上述方法对导入竖式数据库中的数据，再次进行筛选压缩。具体的，对列(栏位)所对应的值使用二进制格式存储和针对每列数据再细分为“数据包”，将栏位中重复的值“打包”进行再存储新的一列。此方法大大减少了数据的占用空间，压缩比通常能够达到1：1甚至更优，并且运算的时候既占用空间少而且还提高了查询的速度。
在本公开的一种示例性实施例中，所述方法还包括：
所述确定列结构数据库中内数据的列标签名
生成以所述列标签名作为关键字的列索引文件；所述列索引文件与所述列标签名具有对应关系。
生成每一所述列索引文件对应的哈希值，并根据所述哈希值生成列索引。
所述列结构数据库包括：由列存储引擎、竖执行引擎、行存储引擎和行执行引擎组成的双执行引擎及双存储引擎。
以此，本实施例中能够通过列索引迅速对数据进行定位和查询。
索引技术是提高海量数据查询效率的关键技术之一。本实施例中使用的竖存数据分析引擎采用哈希索引和B-树的算法提高查询速度。
B-Tree主要应用于大型数据库的索引。当数据量很大的时候，有B-Tree索引就像查找书的目录一样，直接定位某个行号(rowid)立刻就可以找到想要的数据，实质就是减少了I/O从而提高了速度，它的查询性能与表中数据量无关。
哈希索引(Hash Index)在数据库的应用中，经常需要进行精确的查询。Hash 索引是基于每一条记录建立的细粒度索引，在用户进行精确定位查询时可以有效提升性能。由于Hash Index中不存储空值，因此对于”＝”，”IN”,”BETWEEN AND”运算，以及不包含空值的竖的”<>”运算优化性能非常好。
在本公开的一种示例性实施例中，所述方法还包括：
获取查询条件，确定查询条件对应的查询关键字；
根据查询关键字在映射竖表中查找到所述预设关键字对应的查询分类标识；
根据所述查询分类标识和查询算法将列结构数据库中包含的数据进行计算并得到输出结果。
本实施例在实施时，当需要从列结构数据库中提取数据进行数据分析时，可以直接根据查询关键字在已经存储的映射竖表中查找到查询关键字对应的查询分类标识。并根据查询分类标识在数据库中读取要查询的数据字段。
其中，要查询的数据字段为数据库中预设位置包含查询分类标识的数据字段，预设位置为查询分类标识在预设数据字段中的位置。可选的，列结构数据库中存储的数据按照列存储的方式进行存储。
最终根据查询算法将要查询的数据字段中包含的数据进行计算并得到输出结果。
可选的，查询算法可以是常用的数学模型，数学函数等，可以为多种算法。
而传统的方案是按照步骤来进行的，如果发现某一步骤存在问题，在必须回溯到上一步来重新进行，例如分析人员在提数完毕后，忽然发现漏提了一个字段，会导致清单输出的不准确性。使用传统方法，这种情况发生，只能修改需求后重新提数。
综上所述，本实施例通过构建“共享数据矩阵”(列结构数据)，采用最新的列存储技术，即便数据很多，查询速度也非常快(数据统计，使用竖存数据库的查询效率是使用关系型数据库的20倍)，而且空间也较关系型数据库节省了40％左右。这张共享数据矩阵将作为业务部门的共享数据库
分析人员只需要构思相关思路，在“共享矩阵上”选取自己需要的关键字，即可进行相关数据汇总。如果忽然发现漏选了一些字段或某些字段不需要，只需要重新勾选相关字段。由于竖存数据库的高效性，重新选取字段进行处理的过程非常迅速，可在很短时间内重新输出需要的数据或清单。
根据本公开的一个方面，提供一种农业信息处理装置，包括：
获取模块，用于从若干农业系统的数据库分别获取若干待存储数据包；所述待存储数据包内的数据为行存储数据；
第一生成模块，用于建立至少一个关键字及至少一个分类标识的映射竖表；
第二生成模块，用于根据所述映射竖表建立列结构数据库；
存储模块，用于以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
根据本发明的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。
其中，所述储存器存储有程序代码，所述程序代码可以被所述处理器执行，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器 (RAM)和/或高速缓存储存器，还可以进一步包括只读储存器(ROM)。
储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/ 或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网 (LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++ 等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种农业信息处理方法，其特征在于，包括：
从若干农业系统的数据库分别获取若干待存储数据包；所述待存储数据包内的数据为行存储数据；
建立至少一个关键字及至少一个分类标识的映射竖表；
根据所述映射竖表建立列结构数据库；
以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。
2.根据权利要求1所述的农业信息处理方法，其特征在于，在所述根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库之前，所述方法还包括：
获取读取数据中的用户数据及用户数据的关键字，根据用户数据的关键字在映射竖表中查找到用户数据的关键字对应的分类标识；
根据所述分类标识将用户数据写入所述分类标识在列结构数据库中对应的数据字段；
在所述数据字段的预设位置添加所述分类标识。
3.根据权利要求1所述的农业信息处理方法，其特征在于，所述方法还包括：
对所述列结构数据库中的每列数据内的重复数据进行打包；
将打包后的数据存储于所述列结构数据库中新的一列中。
4.根据权利要求1所述的农业信息处理方法，其特征在于，所述方法还包括：
确定列结构数据库中内数据的列标签名；
生成以所述列标签名作为关键字的列索引文件；所述列索引文件与所述列标签名具有对应关系。
5.根据权利要求4所述的农业信息处理方法，其特征在于，所述步骤还包括：
生成每一所述列索引文件对应的哈希值，并根据所述哈希值生成列索引。
6.根据权利要求1所述的农业信息处理方法，其特征在于，所述列结构数据库包括：由列存储引擎、竖执行引擎、行存储引擎和行执行引擎组成的双执行引擎及双存储引擎。
7.根据权利要求1所述的农业信息处理方法，其特征在于，所述方法还包括：
获取查询条件，确定查询条件对应的查询关键字；
根据查询关键字在映射竖表中查找到所述预设关键字对应的查询分类标识；
根据所述查询分类标识和查询算法将列结构数据库中包含的数据进行计算并得到输出结果。
8.一种农业信息处理装置，其特征在于，包括：
获取模块，用于从若干农业系统的数据库分别获取若干待存储数据包；所述待存储数据包内的数据为行存储数据；
第一生成模块，用于建立至少一个关键字及至少一个分类标识的映射竖表；
第二生成模块，用于根据所述映射竖表建立列结构数据库；
存储模块，用于以行为单位读取所述待存储数据包中的数据，并根据所述映射竖表，将每一所述待存储数据包中的行存储数据，以列存储的形式存储到列结构数据库中。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述方法的步骤。
CN202111043886.4A 2021-09-07 2021-09-07 一种农业信息处理方法、装置、电子设备及存储介质 Pending CN113722296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111043886.4A CN113722296A (zh) 2021-09-07 2021-09-07 一种农业信息处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111043886.4A CN113722296A (zh) 2021-09-07 2021-09-07 一种农业信息处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113722296A true CN113722296A (zh) 2021-11-30

Family

ID=78682218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111043886.4A Pending CN113722296A (zh) 2021-09-07 2021-09-07 一种农业信息处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113722296A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401417A (zh) * 2023-06-07 2023-07-07 深圳市中农网有限公司 一种基于海量农产品数据的分级存储方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401417A (zh) * 2023-06-07 2023-07-07 深圳市中农网有限公司 一种基于海量农产品数据的分级存储方法
CN116401417B (zh) * 2023-06-07 2023-09-05 深圳市中农网有限公司 一种基于海量农产品数据的分级存储方法

Similar Documents

Publication Publication Date Title
CN109684352B (zh) 数据分析系统、方法、存储介质及电子设备
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CA2603901C (en) System and methods for facilitating a linear grid database with data organization by dimension
CN111611458B (zh) 大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法
CN110795455A (zh) 依赖关系解析方法、电子装置、计算机设备及可读存储介质
US20140046928A1 (en) Query plans with parameter markers in place of object identifiers
MX2013014800A (es) Recomendacion de enriquecimientos de datos.
CN110837520A (zh) 一种数据处理方法、平台及系统
CN113407785B (zh) 一种基于分布式储存系统的数据处理方法和系统
CN110688544A (zh) 一种查询数据库的方法、设备及存储介质
CN114417408B (zh) 数据处理方法、装置、设备以及存储介质
CN107403111A (zh) Hive数据脱敏方法及装置
CN114461603A (zh) 多源异构数据融合方法及装置
CN111858730A (zh) 一种图数据库的数据导入导出装置、方法、设备及介质
CN115905630A (zh) 一种图数据库查询方法、装置、设备及存储介质
CN113722296A (zh) 一种农业信息处理方法、装置、电子设备及存储介质
CN111221698A (zh) 任务数据采集方法与装置
US20070282804A1 (en) Apparatus and method for extracting database information from a report
CN112818070A (zh) 基于全域数据字典的数据查询方法、装置及电子设备
Kathare et al. A comprehensive study of Elasticsearch
WO2023197865A1 (zh) 一种信息存储方法及装置
EP4216076A1 (en) Method and apparatus of processing an observation information, electronic device and storage medium
CN109697234B (zh) 实体的多属性信息查询方法、装置、服务器和介质
CN111198917A (zh) 数据处理方法、装置、设备及存储介质
US8250024B2 (en) Search relevance in business intelligence systems through networked ranking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination