CN109492004A - 一种数字渔业异构数据存储方法、系统及装置 - Google Patents
一种数字渔业异构数据存储方法、系统及装置 Download PDFInfo
- Publication number
- CN109492004A CN109492004A CN201811266726.4A CN201811266726A CN109492004A CN 109492004 A CN109492004 A CN 109492004A CN 201811266726 A CN201811266726 A CN 201811266726A CN 109492004 A CN109492004 A CN 109492004A
- Authority
- CN
- China
- Prior art keywords
- data
- fishery
- digital
- isomeric
- concordance list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数字渔业异构数据存储方法、系统及装置，方法包括：实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；根据数字渔业数据，对数字渔业数据进行存储并建立索引表。本发明通过将渔业数据进行处理后，进行存储并建立索引，从而使得在搜索时能根据索引表进行快速搜索，大大提高搜索的速度和效率。本发明可广泛应用于渔业数据管理中。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数字渔业异构数据存储方法、系统及装置。
背景技术
现在，数字渔业中常见的资源包含数值型数据、图像、动态信息等，其包括有大量的结构化数据、半结构化数据和非结构化数据，在针对某一个结构的数据，例如，结构化数据，在渔业数据的数据库中进行搜索时，需要在该存储量较大的数据库中依次遍历每一个数据直到搜索到搜索目标，导致搜索效率较低。
发明内容
为了解决上述技术问题，本发明的目的是提供一种能提高搜索效率的数字渔业异构数据存储方法、系统及装置。
本发明所采取的技术方案是：
一种数字渔业异构数据存储方法，包括以下步骤：
实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；
对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；
根据数字渔业数据，对数字渔业数据进行存储并建立索引表。
作为所述的一种数字渔业异构数据存储方法的进一步改进，所述的对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据，这一步骤具体包括：
对渔业异构数据进行去重复处理；
将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。
作为所述的一种数字渔业异构数据存储方法的进一步改进，所述的根据数字渔业数据，对数字渔业数据进行存储并建立索引表，这一步骤具体包括：
根据数字渔业数据，将数字渔业数据存储至数据库中；
对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；
根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；
根据排序表，逐级建立索引得到索引表；
根据索引表，建立索引表与数字渔业数据的映射关系。
作为所述的一种数字渔业异构数据存储方法的进一步改进，还包括有以下步骤：
接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。
本发明所采用的另一个技术方案是：
一种数字渔业异构数据存储系统，包括：
数据采集单元，用于实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；
预处理单元，用于对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；
索引建立单元，用于根据数字渔业数据，对数字渔业数据进行存储并建立索引表。
作为所述的一种数字渔业异构数据存储系统的进一步改进，所述的预处理单元具体包括：
去重单元，用于对渔业异构数据进行去重复处理；
清洗单元，用于将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。
作为所述的一种数字渔业异构数据存储系统的进一步改进，所述的索引建立单元具体包括：
存储单元，用于根据数字渔业数据，将数字渔业数据存储至数据库中；
提取单元，用于对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；
排序单元，用于根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；
索引表生成单元，用于根据排序表，逐级建立索引得到索引表；
映射建立单元，用于根据索引表，建立索引表与数字渔业数据的映射关系。
作为所述的一种数字渔业异构数据存储系统的进一步改进，还包括：
搜索单元，用于接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。
本发明所采用的再一个技术方案是：
一种数字渔业异构数据存储装置，包括：
存储器，用于存放程序；
处理器，用于执行所述程序，所述程序使得所述处理器执行所述的数字渔业异构数据存储方法。
本发明的有益效果是：
本发明一种数字渔业异构数据存储方法、系统及装置通过将渔业数据进行处理后，进行存储并建立索引，从而使得在搜索时能根据索引表进行快速搜索，大大提高搜索的速度和效率。
附图说明
图1是本发明一种数字渔业异构数据存储方法的步骤流程图；
图2是本发明一种数字渔业异构数据存储系统的模块方框图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
参考图1，本发明一种数字渔业异构数据存储方法，包括以下步骤：
实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；
对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；
根据数字渔业数据，对数字渔业数据进行存储并建立索引表。
进一步作为优选的实施方式，所述的对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据，这一步骤具体包括：
对渔业异构数据进行去重复处理；
将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。
进一步作为优选的实施方式，所述的根据数字渔业数据，对数字渔业数据进行存储并建立索引表，这一步骤具体包括：
根据数字渔业数据，将数字渔业数据存储至数据库中；
对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；
根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；本实施例中，关键词按照其对应的计数值从小到大进行排序，从而得到排序表；
根据排序表，逐级建立索引得到索引表；
根据索引表，建立索引表与数字渔业数据的映射关系。
进一步作为优选的实施方式，还包括有以下步骤：
接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。
本发明具体实施例中，数据库具体包括有MySQL、NoSQL、文件数据库、Redis内存数据库等，关系型数据库的优势在于保持数据的一致性，由于以数据标准化为前提，数据更新的系统开销很小，同时可以方便的进行Join等复杂查询。针对现有数据，绝大多数的结构化数据都可以保存在该类数据库中，从而实现复杂条件下的检索操作。同时，关系型数据库担任保存整个系统元数据架构与基本数据的任务，是其他结构数据库存储及导入导出的基础。
NoSQL泛指非关系型的数据库，优势在于性能，由于NoSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。另外可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。可以最大程度的解决关系型数据库所不擅长的大量数据的写入处理和为有数据更新的表做索引或表结构变更等问题。用NoSQL可以方便的保存系统中的非结构化数据，并根据实际需求随时调整结构。
分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。由于系统中数据资源过于庞大，为提高其使用访问效率，利用HDFS的一次写入、多次读写的特性。数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，从而响应各种各样的数据分析任务请求。
以Redis为代表的内存数据库，是基于全部数据都存在内存中的技术体系，抛弃了磁盘数据管理的方式，它在采用半持久化模式运行时所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上。通过这种方式，内存数据库在保证读写速度远超过传统数据库的基础上，又可对其数据进行分布式存储且具有可恢复性。
针对以上需求内容，本实施例中结合各种软件的特性：(1)MySQL满足关系型数据库需求；(2)NoSQL满足对数据结构要求灵活需求；(3)HDFS满足文档类型数据存储需求；(4)Redis内存型数据库，满足高速存取需求。
本发明提供统一数据存储环境，为后续数据统一元数据管理、数据统一权限管理、数据统一搜索等建设提供了充分必要条件。统一数据存储提供大容量数据存储环境，满足数据存储的大量、高速、多样的需求。在这个基础上，还需要有统一元数据对存储的数据结构进行定义，统一数据访问安全控制对数据访问者进行权限控制，用数据统一搜索打通各种类型数据，为后续数据挖掘分析提供数据高速访问接口。
参考图2，本发明一种数字渔业异构数据存储系统，包括：
数据采集单元，用于实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；
预处理单元，用于对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；
索引建立单元，用于根据数字渔业数据，对数字渔业数据进行存储并建立索引表。
进一步作为优选的实施方式，所述的预处理单元具体包括：
去重单元，用于对渔业异构数据进行去重复处理；
清洗单元，用于将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。
进一步作为优选的实施方式，所述的索引建立单元具体包括：
存储单元，用于根据数字渔业数据，将数字渔业数据存储至数据库中；
提取单元，用于对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；
排序单元，用于根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；
索引表生成单元，用于根据排序表，逐级建立索引得到索引表；
映射建立单元，用于根据索引表，建立索引表与数字渔业数据的映射关系。
进一步作为优选的实施方式，还包括：
搜索单元，用于接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。
本发明一种数字渔业异构数据存储装置，包括：
存储器，用于存放程序；
处理器，用于执行所述程序，所述程序使得所述处理器执行所述的数字渔业异构数据存储方法。
从上述内容可知，本发明通过将渔业数据进行处理后，进行存储并建立索引，从而使得在搜索时能根据索引表进行快速搜索，大大提高搜索的速度和效率。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种数字渔业异构数据存储方法，其特征在于，包括以下步骤：
实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；
根据数字渔业数据，对数字渔业数据进行存储并建立索引表。
2.根据权利要求1所述的一种数字渔业异构数据存储方法，其特征在于：所述的对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据，这一步骤具体包括：
对渔业异构数据进行去重复处理；
将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。
3.根据权利要求1所述的一种数字渔业异构数据存储方法，其特征在于：所述的根据数字渔业数据，对数字渔业数据进行存储并建立索引表，这一步骤具体包括：
根据数字渔业数据，将数字渔业数据存储至数据库中；
对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；
根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；
根据排序表，逐级建立索引得到索引表；
根据索引表，建立索引表与数字渔业数据的映射关系。
4.根据权利要求1所述的一种数字渔业异构数据存储方法，其特征在于：还包括有以下步骤：
接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。
5.一种数字渔业异构数据存储系统，其特征在于，包括：
数据采集单元，用于实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；
预处理单元，用于对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；
索引建立单元，用于根据数字渔业数据，对数字渔业数据进行存储并建立索引表。
6.根据权利要求5所述的一种数字渔业异构数据存储系统，其特征在于：所述的预处理单元具体包括：
去重单元，用于对渔业异构数据进行去重复处理；
清洗单元，用于将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。
7.根据权利要求5所述的一种数字渔业异构数据存储系统，其特征在于：所述的索引建立单元具体包括：
存储单元，用于根据数字渔业数据，将数字渔业数据存储至数据库中；
提取单元，用于对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；
排序单元，用于根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；
索引表生成单元，用于根据排序表，逐级建立索引得到索引表；
映射建立单元，用于根据索引表，建立索引表与数字渔业数据的映射关系。
8.根据权利要求5所述的一种数字渔业异构数据存储系统，其特征在于：还包括：
搜索单元，用于接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。
9.一种数字渔业异构数据存储装置，其特征在于，包括：
存储器，用于存放程序；
处理器，用于执行所述程序，所述程序使得所述处理器执行如权利要求1～4任一项所述的数字渔业异构数据存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811266726.4A CN109492004A (zh) | 2018-10-29 | 2018-10-29 | 一种数字渔业异构数据存储方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811266726.4A CN109492004A (zh) | 2018-10-29 | 2018-10-29 | 一种数字渔业异构数据存储方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109492004A true CN109492004A (zh) | 2019-03-19 |
Family
ID=65693241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811266726.4A Pending CN109492004A (zh) | 2018-10-29 | 2018-10-29 | 一种数字渔业异构数据存储方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109492004A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650865A (zh) * | 2021-01-27 | 2021-04-13 | 南威软件股份有限公司 | 一种基于灵活规则解决多区域证照数据冲突的方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130124505A1 (en) * | 2011-11-16 | 2013-05-16 | Thingworx | Methods for integrating semantic search, query, and analysis across heterogeneous data types and devices thereof |
| CN103412897A (zh) * | 2013-07-25 | 2013-11-27 | 中国科学院软件研究所 | 一种基于分布式结构的并行数据处理方法 |
| CN104573068A (zh) * | 2015-01-23 | 2015-04-29 | 四川中科腾信科技有限公司 | 一种基于大数据的信息处理方法 |
| CN105160012A (zh) * | 2015-09-23 | 2015-12-16 | 烽火通信科技股份有限公司 | 一种异构数据库的管理方法及系统 |
| CN105467933A (zh) * | 2014-08-21 | 2016-04-06 | 无锡市嘉邦电力管道厂 | 一种基于物联网的渔业监控系统 |
| CN107357840A (zh) * | 2017-06-23 | 2017-11-17 | 广东开放大学（广东理工职业学院） | 一种渔业大数据检测分析方法及系统 |
| CN108509585A (zh) * | 2018-03-29 | 2018-09-07 | 重庆大学 | 一种异构数据实时交互优化处理方法 |
| CN108647266A (zh) * | 2018-04-28 | 2018-10-12 | 重庆沐信润喆网络科技有限公司 | 一种异构数据快速分布存储、交互方法 |
-
2018
- 2018-10-29 CN CN201811266726.4A patent/CN109492004A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130124505A1 (en) * | 2011-11-16 | 2013-05-16 | Thingworx | Methods for integrating semantic search, query, and analysis across heterogeneous data types and devices thereof |
| CN103412897A (zh) * | 2013-07-25 | 2013-11-27 | 中国科学院软件研究所 | 一种基于分布式结构的并行数据处理方法 |
| CN105467933A (zh) * | 2014-08-21 | 2016-04-06 | 无锡市嘉邦电力管道厂 | 一种基于物联网的渔业监控系统 |
| CN104573068A (zh) * | 2015-01-23 | 2015-04-29 | 四川中科腾信科技有限公司 | 一种基于大数据的信息处理方法 |
| CN105160012A (zh) * | 2015-09-23 | 2015-12-16 | 烽火通信科技股份有限公司 | 一种异构数据库的管理方法及系统 |
| CN107357840A (zh) * | 2017-06-23 | 2017-11-17 | 广东开放大学（广东理工职业学院） | 一种渔业大数据检测分析方法及系统 |
| CN108509585A (zh) * | 2018-03-29 | 2018-09-07 | 重庆大学 | 一种异构数据实时交互优化处理方法 |
| CN108647266A (zh) * | 2018-04-28 | 2018-10-12 | 重庆沐信润喆网络科技有限公司 | 一种异构数据快速分布存储、交互方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650865A (zh) * | 2021-01-27 | 2021-04-13 | 南威软件股份有限公司 | 一种基于灵活规则解决多区域证照数据冲突的方法及系统 |
| CN112650865B (zh) * | 2021-01-27 | 2021-11-09 | 南威软件股份有限公司 | 一种基于灵活规则解决多区域证照数据冲突的方法及系统 |
| WO2022160373A1 (zh) * | 2021-01-27 | 2022-08-04 | 南威软件股份有限公司 | 一种基于灵活规则解决多区域证照数据冲突的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khasawneh et al. | Sql, newsql, and nosql databases: A comparative survey | |
| US10191932B2 (en) | Dependency-aware transaction batching for data replication | |
| US20170193041A1 (en) | Document-partitioned secondary indexes in a sorted, distributed key/value data store | |
| Chavan et al. | Survey paper on big data | |
| US8949222B2 (en) | Changing the compression level of query plans | |
| Salinas et al. | Data warehouse and big data integration | |
| WO2017096892A1 (zh) | 索引构建方法、查询方法及对应装置、设备、计算机存储介质 | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN104036029A (zh) | 大数据一致性对比方法和系统 | |
| US11409722B2 (en) | Database live reindex | |
| Gupta et al. | Faster as well as early measurements from big data predictive analytics model | |
| US9836513B2 (en) | Page feed for efficient dataflow between distributed query engines | |
| US10558636B2 (en) | Index page with latch-free access | |
| CN113704248B (zh) | 一种基于外置索引的区块链查询优化方法 | |
| Luo et al. | Big-data analytics: challenges, key technologies and prospects | |
| US10095738B1 (en) | Dynamic assignment of logical partitions according to query predicate evaluations | |
| CN115918110A (zh) | 使用键值存储库的空间搜索 | |
| CN106776810B (zh) | 一种大数据的数据处理系统及方法 | |
| CN106462591A (zh) | 使用存储器中的智能索引的分区过滤 | |
| CN109492004A (zh) | 一种数字渔业异构数据存储方法、系统及装置 | |
| Wang et al. | Waterwheel: Realtime indexing and temporal range query processing over massive data streams | |
| US11500931B1 (en) | Using a graph representation of join history to distribute database data | |
| Chihoub et al. | A scalability comparison study of data management approaches for smart metering systems | |
| US11789971B1 (en) | Adding replicas to a multi-leader replica group for a data set | |
| Kvet | Database Block Management using Master Index |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190319 |