CN109766313A - 地质项目数据处理方法、装置及计算机设备 - Google Patents
地质项目数据处理方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN109766313A CN109766313A CN201811480110.7A CN201811480110A CN109766313A CN 109766313 A CN109766313 A CN 109766313A CN 201811480110 A CN201811480110 A CN 201811480110A CN 109766313 A CN109766313 A CN 109766313A
- Authority
- CN
- China
- Prior art keywords
- node
- geological
- geological project
- information paper
- storage space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种地质项目数据处理方法、装置及计算机设备,其中该方法包括:为地质项目涉及的各个节点分配在线存储空间,其中在线存储空间用于存储地质项目资料文件中其所属节点涉及的部分,各个节点组成分布式存储系统;生成各个节点涉及的地质项目资料文件的文件列表信息,并将文件列表信息存储到中心节点,提供地质项目资料文件的访问;从各个节点的在线存储空间存储的地质项目资料文件中抽取成果资料内容;将成果资料内容存储到位于中心节点的全文搜索数据库中,提供对成果资料内容的访问及搜索。通过本公开,实现了对地质项目数据的完整存储,提高了数据存储的效率,实现了地质项目各个节点对整体数据的访问和检索分析。
Description
技术领域
本发明涉及地质项目数据管理技术领域,尤其涉及一种地质项目数据处理方法、装置及计算机设备。
背景技术
地质项目通常涉及多个区域,每个区域产生部分地质项目数据,由各个区域的地质项目数据构成整个地质项目的数据。相关技术中,地质项目数据通过人工交付项目的纸质材料至地调局,然后地调局将接收到的项目资料自行整理存储至计算机中。
上述全人工操作的数据汇聚方法不但耗时耗力,而且由于人工干涉过多,无法保证项目数据的完好性。并且,无法保证同一项目不同区域地质项目数据的一致性,且不利于对整个地质项目数据的检索、分析和挖掘。
发明内容
本发明实施例提供一种地质项目数据处理方法、装置及计算机设备,以至少解决相关技术中由于人工汇聚地质项目数据导致的数据完好性、即时性、一致性以及不利于数据分析的技术问题。
根据本发明实施例的一个方面,提供了一种地质项目数据处理方法,包括:为地质项目涉及的各个节点分配在线存储空间,其中,各个节点包括中心节点和非中心节点,在线存储空间用于存储地质项目资料文件中其所属节点涉及的部分,各个节点组成分布式存储系统;生成各个节点涉及的地质项目资料文件的文件列表信息,并将文件列表信息存储到中心节点,以通过中心节点向各个节点提供地质项目资料文件的访问,其中,文件列表信息包括文件属性信息和文件访问链接;从各个节点的在线存储空间存储的地质项目资料文件中抽取成果资料内容,其中,成果资料内容包括:文档形式文件或数据库形式文件的成果内容,和其他形式文件的属性信息;将成果资料内容存储到位于中心节点的全文搜索数据库中,以通过中心节点向各个节点提供对成果资料内容的访问及搜索。
可选地,上述方法还包括:将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点。
可选地,上述方法还包括:检测各个节点的在线存储空间存储的地质项目资料文件是否更新;当检测到存在更新时,更新上述文件列表信息,并从更新的地质项目资料文件中抽取成果资料内容;将从更新的地质项目资料文件中抽取的成果资料内容,更新到上述全文搜索数据库中。
可选地,将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点,包括:在网络空闲时间段将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点;以及,在网络繁忙时间段记录各个节点的在线存储空间存储的地质项目资料文件的更新,在网络空闲时间段将记录的更新备份到中心节点。
可选地,在线存储空间包括多个文件夹,按照地质项目资料文件的类型将地质项目资料文件存储至对应的文件夹;文件列表信息中按照地质项目资料文件所属的文件夹对地质项目资料文件分组。
根据本发明实施例的一个方面,提供了一种地质项目数据处理装置,包括:分配模块,用于为地质项目涉及的各个节点分配在线存储空间,其中,各个节点包括中心节点和非中心节点,在线存储空间用于存储地质项目资料文件中其所属节点涉及的部分,各个节点组成分布式存储系统;生成模块,用于生成各个节点涉及的地质项目资料文件的文件列表信息,其中,文件列表信息包括文件属性信息和文件访问链接;第一存储模块,用于将文件列表信息存储到位于中心节点中,以通过中心节点向各个节点提供地质项目资料文件的访问;抽取模块,用于从各个节点的在线存储空间存储的地质项目资料文件中抽取成果资料内容,其中,成果资料内容包括:文档形式文件或数据库形式文件的成果内容,和其他形式文件的属性信息;第二存储模块,用于将成果资料内容存储到位于中心节点的全文搜索数据库中,以通过中心节点向各个节点提供对成果资料内容的访问及搜索。
可选地,该装置还包括:备份模块,用于将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点。
可选地,该装置还包括:更新模块,用于检测各个节点的在线存储空间存储的地质项目资料文件是否更新;其中,第一存储模块,还用于当检测到存在更新时,更新文件列表信息;抽取模块,还用于从更新的地质项目资料文件中抽取成果资料内容;第二存储模块,还用于将从更新的地质项目资料文件中抽取的成果资料内容,更新到全文搜索数据库中。
可选地,备份模块,用于在网络空闲时间段将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点;以及,在网络繁忙时间段记录各个节点的在线存储空间存储的地质项目资料文件的更新,在网络空闲时间段将记录的更新备份到中心节点。
可选地,在线存储空间包括多个文件夹,按照地质项目资料文件的类型将地质项目资料文件存储至对应的文件夹;上述文件列表信息中按照地质项目资料文件所属的文件夹对地质项目资料文件分组。
根据本发明实施例的又一个方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该计算机程序时实现上述地质项目数据处理方法的步骤。
根据本发明实施例的再一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述地质项目数据处理方法的步骤。
本发明实施例提供的地质项目数据处理方法、装置及计算机设备,各个节点组成分布式存储系统,地质项目资料文件被分布式存储在各个节点,并且在中心节点存储汇总的各个节点的地质项目资料文件的文件列表信息,通过中心节点向各个节点提供地质项目资料文件的访问,实现了所有节点均能够访问项目涉及的文件。并且,从各个节点的在线存储空间存储地质项目资料文件中提取成果资料内容,将该成果资料内容存储至位于中心节点的全文搜索数据库中,通过中心节点向各个节点提供对成果资料内容的访问和检索,实现了地质项目各个节点对整体数据的访问和检索分析。
附图说明
图1为根据本发明实施例的地质项目数据处理系统的示意图;
图2为根据本发明实施例的地质项目数据处理装置103的结构框图;
图3为根据本发明实施例的地质项目数据处理方法的流程图;以及
图4为根据本发明实施例的计算机设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例的地质项目数据处理系统的示意图,如图1所示,地质项目数据处理系统100可包括:多个节点101、多个在线存储空间102、地质项目数据处理装置103、以及全文搜索数据库104。其中,地质项目数据处理装置103将多个节点101配置为分布式存储系统,并为每个节点101分配在线存储空间102。多个节点101可包括中心节点和非中心节点。
在本发明实施例中,地质项目可涉及多个区域,每个区域可包括至少一个节点101,可在多个节点101中配置中心节点,上述全文搜索数据库104位于中心节点处,通过中心节点向各个节点提供对全文搜索数据库104中数据的访问和搜索。
在本发明实施例中,在线存储空间102可以为节点101本地的存储空间,其可通过网络被访问;或者,在线存储空间102可以为位于网络上的存储空间,节点101通过网络向网络上的存储空间写入数据,或者从存储空间中读取数据。本发明实施例对此不做限定。
每个节点101的在线存储空间102,用于存储地质项目资料文件中该在线存储空间102所属节点101的部分。分配给多个节点101的在线存储空间102中存储的地质项目资料文件,组成完整的地质项目数据。地质项目数据被分布式地存储在多个节点101的在线存储空间102中。汇总分布式地存在多个节点101的在线存储空间102中的地质项目资料文件,得到地质项目的文件列表信息,文件列表信息可被存储在中心节点,通过该文件列表信息提供对完整的地质项目数据的访问。文件列表信息包括文件属性信息和文件访问链接。其中,文件属性信息可包括文件名、文件类型、文件版本、文件存储时间、文件更新时间、文件所属文件夹等任意组合。通过文件访问链接可以访问对应的文件。
在某些实施方式中,在本发明实施例中,地质项目资料文件可包括但不限于:地质图件、文档形式(例如微软公司的Word文档)的成果内容、数据库形式的成果内容、计算机软件等。每个节点101的在线存储空间102包括多个文件夹,按照地质项目资料文件的类型存储在对应的文件夹下。按照地质项目资料文件的类型将地质项目资料文件存储到对应的文件夹,便于对文件的访问可管理。应当理解,按照文件夹存储仅作为本发明实施例的示例性说明,本发明实施例并不限于此。
在某些实施方式中,可在线存储空间102的文件目录中存储地质项目资料文件的压缩文件。各个节点101的在线存储空间102中存储的压缩文件可按照预定命名标准命名,以便于对各个节点101涉及的地质项目资料文件统一处理。
图2为根据本发明实施例的地质项目数据处理装置103的结构框图,如图2所示,地质项目数据处理装置103,包括:分配模块1031、生成模块1032、第一存储模块1033、抽取模块1034和第二存储模块1035。
分配模块1031,用于为地质项目涉及的各个节点101分配在线存储空间102,其中,每个在线存储空间102用于存储地质项目资料文件中其所属节点101涉及的部分,该各个节点101被配置为分布式存储系统,存储地质项目资料文件被分布式地存储在各个节点101分配在线存储空间102。
在某些实施方式中,分配模块1031可为各个节点101分配大小相同的在线存储空间102,也可根据各个节点101预期的数据量分配对应大小的在线存储空间102,本实施例对此不做限定。
生成模块1032,用于生成各个节点101涉及的地质项目资料文件的文件列表信息,其中,文件列表信息包括文件属性信息和文件访问链接。其中,文件属性信息可包括文件名、文件类型、文件版本、文件存储时间、文件更新时间、文件所属文件夹等任意组合。通过文件访问链接可以访问对应的文件。
第一存储模块1033,用于将文件列表信息存储到位于中心节点中,以通过中心节点向各个节点101提供地质项目资料文件的访问。在本实施例中,访问中心节点上存储的文件列表信息,在文件列表信息中选择要访问的文件后,通过文件访问链接从对应节点101的在线存储空间102中下载所选择的文件。
抽取模块1034,用于从各个节点101的在线存储空间存储102的地质项目资料文件中抽取成果资料内容,其中,成果资料内容包括:文档形式文件或数据库形式文件的成果内容,和其他形式文件的属性信息。
抽取模块1034,可异步或同步从各个节点101的在线存储空间102存储的地质项目资料文件中抽取成果资料内容,从各个节点101中抽取的成果资料内容组成地质项目完整的成果资料内容。
第二存储模块1035,用于将成果资料内容存储到位于中心节点的全文搜索数据库104中,以通过中心节点向各个节点101提供对成果资料内容的访问及搜索。通过与中心节点通信,来访问全文搜索数据库104中的数据。可通过图形用户界面获取访问和搜索请求,响应于该请求从全文搜索数据库104,提供对请求的成果资料内容的访问及搜索。
在本发明实施例中,地质项目资料文件可包括但不限于:地质图件、文档形式(例如微软公司的Word文档)的成果内容、数据库形式的成果内容、计算机软件等。抽取模块1034抽取的该成果资料内容包括但不限于:文档形式文件或数据库形式文件的成果内容,和其他形式文件的属性信息。其中,上述其他形式文件的属性信息包括但不限于:文件名、描述信息等。
在某些实施例方式中,该装置还可包括备份模块,备份模块用于将各个节点101的在线存储空间102存储的地质项目资料文件备份到中心节点。可选地,备份模块可用于在网络空闲时间段将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点;以及,在网络繁忙时间段记录各个节点的在线存储空间存储的地质项目资料文件的更新,在网络空闲时间段将记录的更新备份到中心节点。
在某些的实施方式中,备份模块可用于对节点101对应的地质项目资料文件进行分块处理;向中心节点发送分块处理得到的各个分块;对中心节点处接收到的各个分块进行哈希校验。如果哈希校验通过,则各个分块不存在损坏,可确认传输成功。如果哈希校验失败,则说明对应分块已经损坏,可重新传输。在某些实施例中,可基于地质项目资料文件的大小确定是否分块传输,例如,可设置分块传输阈值,当其大于该分块传输阈值时,进行上述分块传输。通过分块传输和校验,实现了断点续传,并且提高文档校验的效率。
在某些实施方式中,该装置还包括更新模块,更新模块用于检测各个节点101的在线存储空间存储的地质项目资料文件是否更新;其中,第一存储模块1033,还用于当检测到存在更新时,在中心节点中更新文件列表信息;抽取模块1034,还用于从更新的地质项目资料文件中抽取成果资料内容;第二存储模块1035,还用于将从更新的地质项目资料文件中抽取的成果资料内容,更新到全文搜索数据库104中。地质项目资料文件的更新可包括:修改已存储的地质项目资料文件、存储新的地质项目资料文件,以及删除已存储的地质项目资料文件。
在某些实施方式中,在线存储空间102包括多个文件夹,按照地质项目资料文件的类型将地质项目资料文件存储至对应的文件夹;上述文件列表信息中按照地质项目资料文件所属的文件夹对地质项目资料文件分组。
在某些实施方式中,第二存储模块1035可用于对节点101对应的成果资料内容进行分块处理;向中心节点发送分块处理得到的各个分块;对中心节点处接收到的各个分块进行哈希校验。如果哈希校验通过,则各个分块不存在损坏,可确认传输成功。如果哈希校验失败,则说明对应分块已经损坏,可重新传输。在某些实施例中,可基于地质项目资料文件的大小确定是否分块传输,例如,可设置分块传输阈值,当其大于该分块传输阈值时,进行上述分块传输。通过分块传输和校验,实现了断点续传,并且提高文档校验的效率。
图3为根据本发明实施例的地质项目数据处理方法的流程图,如图3所示,地质项目数据处理方法包括步骤301至步骤304。
步骤301,为地质项目涉及的各个节点分配在线存储空间。
在本发明实施例中,每个在线存储空间用于存储地质项目资料文件中其所属节点涉及的部分,该各个节点组成分布式存储系统。
步骤S302,生成各个节点涉及的地质项目资料文件的文件列表信息,并将文件列表信息存储到中心节点,以通过中心节点向各个节点提供地质项目资料文件的访问。
其中,文件列表信息包括文件属性信息和文件访问链接。其中,文件属性信息可包括文件名、文件类型、文件版本、文件存储时间、文件更新时间、文件所属文件夹等任意组合。通过文件访问链接可以访问对应的文件。
在本实施例中,访问中心节点上存储的文件列表信息,在文件列表信息中选择要访问的文件后,通过文件访问链接从对应节点的在线存储空间中下载所选择的文件。
步骤303,从各个节点的在线存储空间存储的地质项目资料文件中抽取成果资料内容。
在本发明实施例中,该成果资料内容可包括但不限于:文档形式文件或数据库形式文件的成果内容,和其他形式文件的属性信息。
步骤304,将成果资料内容存储到位于中心节点的全文搜索数据库中,以通过中心节点向各个节点提供对成果资料内容的访问及搜索。
本发明实施例的地质项目数据处理方法,各个节点组成分布式存储系统,地质项目资料文件被分布式存储在各个节点,并且在中心节点存储汇总的各个节点的地质项目资料文件的文件列表信息,通过中心节点向各个节点提供地质项目资料文件的访问,实现了所有节点均能够访问项目涉及的文件。并且,从各个节点的在线存储空间存储地质项目资料文件中提取成果资料内容,将该成果资料内容存储至位于中心节点的全文搜索数据库中,通过中心节点向各个节点提供对成果资料内容的访问和检索,实现了地质项目各个节点对整体数据的访问和检索分析。
在本发明实施例中,上述生成各个节点涉及的地质项目资料文件的文件列表信息的步骤,从各个节点的在线存储空间存储的地质项目资料文件中抽取成果资料内容的步骤,将文件列表信息存储到中心节点的步骤,将成果资料内容存储到位于中心节点的全文搜索数据库中的步骤,并不限于本实施例的先后顺序。例如,可先从各个节点的在线存储空间存储的地质项目资料文件中抽取成果资料内容,也可以先生成各个节点涉及的地质项目资料文件的文件列表信息,或者同步进行。另外,可先将文件列表信息存储到中心节点,也可以先将成果资料内容存储到位于中心节点的全文搜索数据库中,或者同步进行。
在某些实施方式中,上述方法还可包括:将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点。在某些实施方式中,在网络空闲时间段将各个节点的在线存储空间存储的地质项目资料文件备份到中心节点;以及,在网络繁忙时间段记录各个节点的在线存储空间存储的地质项目资料文件的更新,在网络空闲时间段将记录的更新备份到中心节点。
在某些实施方式中,上述方法还可包括:检测各个节点的在线存储空间存储的地质项目资料文件是否更新;当检测到存在更新时,更新上述文件列表信息,并从更新的地质项目资料文件中抽取成果资料内容;将从更新的地质项目资料文件中抽取的成果资料内容,更新到上述全文搜索数据库中。
在某些实施方式中,在线存储空间包括多个文件夹,按照地质项目资料文件的类型将地质项目资料文件存储至对应的文件夹;文件列表信息中按照地质项目资料文件所属的文件夹对地质项目资料文件分组。
在某些的实施方式中,可对节点对应的地质项目资料文件进行分块处理;向中心节点发送分块处理得到的各个分块;对中心节点处接收到的各个分块进行哈希校验。如果哈希校验通过,则各个分块不存在损坏,可确认传输成功。如果哈希校验失败,则说明对应分块已经损坏,可重新传输。在某些实施例中,可基于地质项目资料文件的大小确定是否分块传输,例如,可设置分块传输阈值,当其大于该分块传输阈值时,进行上述分块传输。通过分块传输和校验,实现了断点续传,并且提高文档校验的效率。
在某些实施方式中,可对节点对应的成果资料内容进行分块处理;向中心节点发送分块处理得到的各个分块;对中心节点处接收到的各个分块进行哈希校验。如果哈希校验通过,则各个分块不存在损坏,可确认传输成功。如果哈希校验失败,则说明对应分块已经损坏,可重新传输。在某些实施例中,可基于地质项目资料文件的大小确定是否分块传输,例如,可设置分块传输阈值,当其大于该分块传输阈值时,进行上述分块传输。通过分块传输和校验,实现了断点续传,并且提高文档校验的效率。
本实施例还提供一种计算机设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于:可通过系统总线相互通信连接的存储器21、处理器22,如图4所示。需要指出的是,图4仅示出了具有组件21-22的计算机设备20,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器21可以是计算机设备20的内部存储单元,例如该计算机设备20的硬盘或内存。在另一些实施例中,存储器21也可以是计算机设备20的外部存储设备,例如该计算机设备20上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。当然,存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中,存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件,例如前述地质项目数据处理装置103的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中,处理器22用于运行存储器21中存储的程序代码或者处理数据,例如运行地质项目数据处理装置103,以实现前述地质项目数据处理方法。
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储前述地质项目数据处理装置103,被处理器执行时实现前述地质项目数据处理方法。
通过本发明实施例:首先,将地质项目涉及的各个节点组成分布式存储系统,为每个节点分配在线存储空间,各个节点的在线存储空间构成分布式存储系统,将地质项目资料文件中每个节点涉及的部分存储至该节点对应的在线存储空间,实现了对地质项目数据的完整存储,提高了数据存储的效率。
并且,生成分布式存储的地质项目资料文件的文件列表信息,将该文件列表信息存储在中心节点上,通过该文件列表信息中的文件访问链接来访问分布式存储的地质项目资料文件。
进一步的,从各个节点的在线存储空间存储地质项目资料文件中提取成果资料内容,将该成果资料内容存储至位于中心节点的全文搜索数据库中,通过中心节点向各个节点提供对成果资料内容的访问和检索,实现了地质项目各个节点对整体数据的访问和检索分析。
更进一步的,通过检测地质项目资料文件是否更新,并在检测到更新时,抽取更新的成果资料内容,将更新的成果资料内容更新到全文搜索数据库中,保证了数据的一致性。
此外,在数据传输中,通过分块传输和校验,实现了断点续传,并且提高了校验效率。在网络空闲时备份地质项目资料文件,避免了备份消耗网络带宽,影响正常的数据访问和搜索。在网络繁忙时记录地质项目资料文件的更新,在网络空闲时备份记录的更新,避免了备份消耗网络带宽。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种地质项目数据处理方法,其特征在于,包括:
为地质项目涉及的各个节点分配在线存储空间,其中,所述各个节点包括中心节点和非中心节点,所述在线存储空间用于存储地质项目资料文件中其所属节点涉及的部分,所述各个节点组成分布式存储系统;
生成所述各个节点涉及的地质项目资料文件的文件列表信息,并将所述文件列表信息存储到所述中心节点,以通过所述中心节点向所述各个节点提供地质项目资料文件的访问,其中,所述文件列表信息包括文件属性信息和文件访问链接;
从所述各个节点的所述在线存储空间存储的地质项目资料文件中抽取成果资料内容,其中,所述成果资料内容包括:文档形式文件或数据库形式文件的成果内容,和其他形式文件的属性信息;
将所述成果资料内容存储到位于所述中心节点的全文搜索数据库中,以通过所述中心节点向所述各个节点提供对所述成果资料内容的访问及搜索。
2.根据权利要求1所述的地质项目数据处理方法,其特征在于,还包括:将所述各个节点的所述在线存储空间存储的地质项目资料文件备份到所述中心节点。
3.根据权利要求1所述的地质项目数据处理方法,其特征在于,还包括:
检测所述各个节点的所述在线存储空间存储的地质项目资料文件是否更新;
当检测到存在更新时,更新所述文件列表信息,并从更新的地质项目资料文件中抽取成果资料内容;
将从所述更新的地质项目资料文件中抽取的成果资料内容,更新到所述全文搜索数据库中。
4.根据权利要求2所述的地质项目数据处理方法,其特征在于,将所述各个节点的所述在线存储空间存储的地质项目资料文件备份到所述中心节点,包括:
在网络空闲时间段将所述各个节点的所述在线存储空间存储的地质项目资料文件备份到所述中心节点;以及
在网络繁忙时间段记录所述各个节点的所述在线存储空间存储的地质项目资料文件的更新,在所述网络空闲时间段将记录的更新备份到所述中心节点。
5.根据权利要求1所述的地质项目数据处理方法,其特征在于,所述在线存储空间包括多个文件夹,按照地质项目资料文件的类型将所述地质项目资料文件存储至对应的文件夹;所述文件列表信息中按照地质项目资料文件所属的文件夹对地质项目资料文件分组。
6.一种地质项目数据处理装置,其特征在于,包括:
分配模块,用于为地质项目涉及的各个节点分配在线存储空间,其中,所述各个节点包括中心节点和非中心节点,所述在线存储空间用于存储地质项目资料文件中其所属节点涉及的部分,所述各个节点组成分布式存储系统;
生成模块,用于生成所述各个节点涉及的地质项目资料文件的文件列表信息,其中,所述文件列表信息包括文件属性信息和文件访问链接;
第一存储模块,用于将所述文件列表信息存储到位于所述中心节点中,以通过所述中心节点向所述各个节点提供地质项目资料文件的访问;
抽取模块,用于从所述各个节点的所述在线存储空间存储的地质项目资料文件中抽取成果资料内容,其中,所述成果资料内容包括:文档形式文件或数据库形式文件的成果内容,和其他形式文件的属性信息;
第二存储模块,用于将所述成果资料内容存储到位于所述中心节点的全文搜索数据库中,以通过所述中心节点向所述各个节点提供对所述成果资料内容的访问及搜索。
7.根据权利要求6所述的地质项目数据处理装置,其特征在于,还包括:备份模块,用于将所述各个节点的所述在线存储空间存储的地质项目资料文件备份到所述中心节点。
8.根据权利要求6所述的地质项目数据处理装置,其特征在于,还包括:更新模块,用于检测所述各个节点的所述在线存储空间存储的地质项目资料文件是否更新;其中,所述第一存储模块,还用于当检测到存在更新时,更新所述文件列表信息;所述抽取模块,还用于从更新的地质项目资料文件中抽取成果资料内容;所述第二存储模块,还用于将从所述更新的地质项目资料文件中抽取的成果资料内容,更新到所述全文搜索数据库中。
9.一种计算机设备,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811480110.7A CN109766313A (zh) | 2018-12-05 | 2018-12-05 | 地质项目数据处理方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811480110.7A CN109766313A (zh) | 2018-12-05 | 2018-12-05 | 地质项目数据处理方法、装置及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766313A true CN109766313A (zh) | 2019-05-17 |
Family
ID=66451144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811480110.7A Pending CN109766313A (zh) | 2018-12-05 | 2018-12-05 | 地质项目数据处理方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766313A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110716898A (zh) * | 2019-10-15 | 2020-01-21 | 中国地质调查局发展研究中心 | 一种野外地质调查数据实时汇聚方法及系统 |
CN112559483A (zh) * | 2020-12-22 | 2021-03-26 | 赛尔网络有限公司 | 基于hdfs的数据管理方法、装置、电子设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070277227A1 (en) * | 2004-03-04 | 2007-11-29 | Sandbox Networks, Inc. | Storing Lossy Hashes of File Names and Parent Handles Rather than Full Names Using a Compact Table for Network-Attached-Storage (NAS) |
CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储系统 |
-
2018
- 2018-12-05 CN CN201811480110.7A patent/CN109766313A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070277227A1 (en) * | 2004-03-04 | 2007-11-29 | Sandbox Networks, Inc. | Storing Lossy Hashes of File Names and Parent Handles Rather than Full Names Using a Compact Table for Network-Attached-Storage (NAS) |
CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储系统 |
Non-Patent Citations (2)
Title |
---|
中国地质调查局: ""地质云"建设技术要求", 《HTTP://WWW.CGS.GOV.CN/DDZTT/JQTHD/DZY/SHIZHANG/》 * |
李颖: "基于分布式文件系统的农业数据云存储研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110716898A (zh) * | 2019-10-15 | 2020-01-21 | 中国地质调查局发展研究中心 | 一种野外地质调查数据实时汇聚方法及系统 |
CN112559483A (zh) * | 2020-12-22 | 2021-03-26 | 赛尔网络有限公司 | 基于hdfs的数据管理方法、装置、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105630632B (zh) | 一种虚拟机恢复的方法及虚拟机管理设备 | |
CN103136243B (zh) | 基于云存储的文件系统去重方法及装置 | |
CN107436725A (zh) | 一种数据写、读方法、装置及分布式对象存储集群 | |
CN102938784A (zh) | 应用于分布式存储系统中的数据存储方法和系统 | |
CN110347651A (zh) | 基于云存储的数据同步方法、装置、设备及存储介质 | |
CN109445861A (zh) | 系统启动方法、装置、计算机装置及存储介质 | |
CN105095103B (zh) | 用于云环境下的存储设备管理方法和装置 | |
CN108197159A (zh) | 基于分布式文件系统的数据读取、写入方法及装置 | |
CN108427728A (zh) | 元数据的管理方法、设备及计算机可读介质 | |
CN103067479A (zh) | 一种基于文件冷热的网盘同步方法及系统 | |
CN103019891A (zh) | 一种还原被删除文件的方法及系统 | |
CN105653209A (zh) | 一种对象存储数据传输方法及装置 | |
US11360966B2 (en) | Information processing system and method of controlling information processing system | |
CN110008197A (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
CN108205482B (zh) | 文件挂载恢复方法 | |
CN109343962A (zh) | 数据处理方法、装置及分布式服务系统 | |
CN113806300A (zh) | 数据存储方法、系统、装置、设备及存储介质 | |
CN109766313A (zh) | 地质项目数据处理方法、装置及计算机设备 | |
CN106294842A (zh) | 一种数据交互方法、平台及分布式文件系统 | |
CN108196902A (zh) | 用于展示开屏广告的方法与设备 | |
CN109558082B (zh) | 分布式文件系统 | |
CN114924914B (zh) | 磁盘分区表信息备份、恢复方法及系统 | |
CN107133163A (zh) | 一种验证描述类api的方法与设备 | |
CN109766220A (zh) | 应用系统的备份恢复方法、装置及计算机可读存储介质 | |
CN109241110A (zh) | 订单管理方法及系统、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190517 |