CN110968581B - 数据存储方法及装置 - Google Patents
数据存储方法及装置 Download PDFInfo
- Publication number
- CN110968581B CN110968581B CN201811163346.8A CN201811163346A CN110968581B CN 110968581 B CN110968581 B CN 110968581B CN 201811163346 A CN201811163346 A CN 201811163346A CN 110968581 B CN110968581 B CN 110968581B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- metadata
- court
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储方法及装置。其中,该方法包括:获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;利用业务分类条件,对元数据分类;根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。本发明解决了相关技术在获取法院业务数据时,由于数据量庞大,导致无法灵活分类的情况发生的技术问题。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据存储方法及装置。
背景技术
相关技术中,对于数据存储的方式,当前的主要方式是通过将数据整合到统一的数据平台,然后存储到预设的存储器中,如当前的法院数据处理,经过很多年的信息化建设,法院建设了众多的业务信息系统,并且积累了很多的法院业务相关的数据资产,但是目前这些数据处于一个比较孤立的状态,数据无法共享,也无法进行有效分析处理。另一方面,由于法院业务系统基本上是利用关系型数据库进行数据存储,该种存储方式,不同于日志采集存储,也不同于日志的增量存储,从数据库中采集数据面临着一系列的问题,其中之一就是数据具有整改删的可能性,如何判断数据的更新也是一个难点。另外,对于法院业务数据,在获取时,常常会由于法院业务数据量庞大,导致无法有效分类的情况发生,例如,无法判断法院业务的文书是可能产生变化的数据,还是不会产生变化的数据。
另外,相关技术中,一种数据处理方式是通过直连生产数据库,然后查询生产数据库,并跟采集的大数据平台进行全文比对,然后把差异的部分合并到大数据平台。但是这种数据处理方式,存在很大的弊端,直接连接生产库,对实际的日常生产有较大的影响,一是有可能会出现误操作的可能,另一个是由于进行全文比对,因此对生产库的性能有较大的影响,并且由于大数据平台业务数据量比较大,进行全文比对,当数据量大到一定量级时,要么出现错误,要么耗时特别长。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据存储方法及装置,以至少解决相关技术在获取法院业务数据时,由于数据量庞大,导致无法灵活分类的情况发生的技术问题。
根据本发明实施例的一个方面,提供了一种数据存储方法,包括:获取待分析的元数据,其中,所述元数据中携带有法院业务的业务数据特征;根据所述业务数据特征和所述法院业务的业务分类条件之间的映射关系,获取到与所述元数据对应的业务分类条件;利用所述业务分类条件,对所述元数据分类;根据分类结果,将所述元数据分类存储至法院数据平台,其中,所述法院数据平台至少包括:稳定分区和活动分区,所述稳定分区用于存储稳定数据,所述活动分区用于存储活动数据。
进一步地,获取待分析的元数据包括:按照预设时间段,从预设的法院业务源数据库中读取所述元数据;将所述元数据存储至镜像数据库中,其中,所述法院业务源数据库与所述镜像数据库之间预先设置有隔离网,所述隔离网用于限制所述元数据的读取时间。
进一步地,在获取待分析的元数据之前,还包括:将所述业务数据特征与所述法院业务的元数据一一对应;判断所述元数据中每份子数据是否所述业务约束条件;在每份所述子数据满足所述业务约束条件的情况下,确定所述元数据满足所述业务约束条件。
进一步地,对所述元数据分类包括:通过所述业务分类条件和多组训练数据,训练数据分类器,其中,数据分类器用于对所述元数据进行分类,每组所述训练数据中至少包括:法院业务数据、分类结果;通过所述数据分类器对所述元数据分类。
进一步地,所述元数据的类型为下述之一:立案数据、开庭数据、结案数据和归档数据,其中,所述立案数据和开庭数据被分类为所述活动数据,所述结案数据和所述归档数据被分类为所述稳定数据。
根据本发明实施例的另一方面,还提供了一种数据存储装置,包括:第一获取单元,用于获取待分析的元数据,其中,所述元数据中携带有法院业务的业务数据特征;第二获取单元,用于根据所述业务数据特征和所述法院业务的业务分类条件之间的映射关系,获取到与所述元数据对应的业务分类条件;分类单元,用于利用所述业务分类条件,对所述元数据分类;存储单元,用于根据分类结果,将所述元数据分类存储至法院数据平台,其中,所述法院数据平台至少包括:稳定分区和活动分区,所述稳定分区用于存储稳定数据,所述活动分区用于存储活动数据。
进一步地,所述第一获取单元包括:读取模块,用于按照预设时间段,从预设的法院业务源数据库中读取所述元数据;存储模块,用于将所述元数据存储至镜像数据库中,其中,所述法院业务源数据库与所述镜像数据库之间预先设置有隔离网,所述隔离网用于限制所述元数据的读取时间。
进一步地,上述数据存储装置还包括:第一确定单元,用于在获取待分析的元数据之前,将所述业务数据特征与所述法院业务的元数据一一对应;判断单元,用于判断所述元数据中每份子数据是否所述业务约束条件;第二确定单元,用于在每份所述子数据满足所述业务约束条件的情况下,确定所述元数据满足所述业务约束条件。
进一步地,所述分类单元包括:训练模块,用于通过所述业务分类条件和多组训练数据,训练数据分类器,其中,数据分类器用于对所述元数据进行分类,每组所述训练数据中至少包括:法院业务数据、分类结果;分类模块,用于通过所述数据分类器对所述元数据分类。
进一步地,所述元数据的类型为下述之一:立案数据、开庭数据、结案数据和归档数据,其中,所述立案数据和开庭数据被分类为所述活动数据,所述结案数据和所述归档数据被分类为所述稳定数据。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质用于存储程序,其中,所述程序在被处理器执行时控制所述存储介质所在设备执行上述任意一项所述的数据存储方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任意一项所述的数据存储方法。
在本发明实施例中,获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;利用业务分类条件,对元数据分类;根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。在该实施例中,可以利用法院业务的业务数据特征和业务分类条件之间的映射关系,对数据进行分类,通过法院业务的业务数据特征提取,结合业务分类条件,可以有效对法院业务数据进行有效分类,提高分类的效率,进而解决相关技术在获取法院业务数据时,由于数据量庞大,导致无法灵活分类的情况发生的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种数据存储方法的流程图;
图2是根据本发明实施例的一种可选的法院系统的示意图;
图3是根据本发明实施例的一种法院数据平台的示意图;
图4根据本发明实施例的另一种数据存储装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明下述实施例的各个实施例可以应用于法院业务数据处理,针对法院的业务数据特征,可以依据映射关系,得到与元数据对应的业务分类条件,从而实现对元数据的分类存储。在镜像数据库采集的过程中,针对法院的业务数据特征进行采集方案的设计,并且还可以针对法院业务数据的稳定数据和非稳定数据分别设置分区,以存储各种类型的数据。下面结合各个实施例对本发明进行详细说明。
实施例一
根据本发明实施例,提供了一种数据存储的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据存储方法的流程图,如图1所示,该存储方法包括:
步骤S102,获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;
步骤S104,根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;
步骤S106,利用业务分类条件,对元数据分类;
步骤S108,根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。
在本发明实施例中,获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;利用业务分类条件,对元数据分类;根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。在该实施例中,可以利用法院业务的业务数据特征和业务分类条件之间的映射关系,对数据进行分类,通过法院业务的业务数据特征提取,结合业务分类条件,可以有效对法院业务数据进行有效分类,提高分类的效率,进而解决相关技术在获取法院业务数据时,由于数据量庞大,导致无法灵活分类的情况发生的技术问题。
下面对上述各步骤进行详细说明。
步骤S102,获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征。
其中,待分析的元数据可以为法院系统中存储的法院业务源数据。一般而言,法院系统中会包括法院业务源数据库,在法院业务源数据库中会存储与法院业务产生的相关数据,例如,存储判决文书,开庭档案等。图2是根据本发明实施例的一种可选的法院系统的示意图,如图2所示,在法院系统中会包括:生产数据服务器21、备份服务器23、镜像库服务器25,其中,生产数据服务器21,提供法院业务源数据库,实时存储法院产生的相关数据;备份服务器23,与生产数据库连接,对法院产生的变化数据,例如,修改立案文档,对案件结案的判决文书等数据,这里可以将这些数据定义为增量备份数据;镜像库服务器25,用于下载备份服务器中的数据,并将该数据传输给外部的镜像数据库中。
上述实施方式中,可以利用生产数据服务器21存储法院业务的实时数据,利用备份服务器23增量备份数据,通过镜像库服务器25对镜像数据库提供服务器。这样就可以在需要获取法院系统产生的数据时,通过镜像库服务器就可以拿到法院系统中的各项数据。应用于法院业务数据建设中,可以建设一法院生产数据库,通过该生产数据库定期更改法院业务数据,并且以更短的周期进行一个增量备份(可以是对少量更改的法院业务数据进行增量备份)。同时,本发明实施例中还可以建设一个跟生产数据库相同版本的镜像数据库,当生产数据库备份完整后,从备份服务器上下载增量备份数据,保持镜像数据库与生产数据库的数据准实时同步。
在一可选的示例中,获取待分析的元数据包括:按照预设时间段,从预设的法院业务源数据库中读取元数据;将元数据存储至镜像数据库中,其中,法院业务源数据库与镜像数据库之间预先设置有隔离网,隔离网用于限制元数据的读取时间。即由于法院业务源数据库的数据相对封闭,如果需要获取到法院业务源数据库中的数据,需要在预设时间段获取到相应的数据,这样就会对数据的实时获取造成困难,本申请中通过将法院业务源数据库中的数据存储在对应的法院数据平台中,可以实时对数据进行分类和读取,提高后续获取法院业务元数据的效率。
作为本发明一可选的实施方式,业务数据特征可以包括法院业务数据的数据表格特征、字段、数据类型等,通过这些业务数据特征,可以判断该元数据的基本类别。
可选地,在获取待分析的元数据之前,还包括:将业务数据特征与法院业务的元数据一一对应;判断元数据中每份子数据是否业务约束条件;在每份子数据满足业务约束条件的情况下,确定元数据满足业务约束条件。
其中,上述的业务约束条件,可以指示为法院业务标准,通过该法院业务标准可以对元数据中各个子数据进行判断,确定出子数据的类型,然后可以判断出该元数据的类型,例如,按照法院业务标准可以将元数据分类为立案数据、开庭数据、结案数据、归档数据中的一种。或者按照法院业务标准可以提取出元数据中含有法院业务的专业词语,然后可以利用该法院业务的专业词语对元数据分类。
步骤S104,根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件。
在本发明实施例中,业务分类条件包括自动生成的分类规则库,通过该规则库可以利用设备对元数据进行分类,或者将该分类规则库输入至下述的数据分类器,通过下述的数据分类器,对元数据进行分类。
步骤S106,利用业务分类条件,对元数据分类。
在本发明一可选的示例中,对元数据分类包括:通过业务分类条件和多组训练数据,训练数据分类器,其中,数据分类器用于对元数据进行分类,每组训练数据中至少包括:法院业务数据、分类结果;通过数据分类器对元数据分类。
步骤S108,根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。
在本发明实施例中,分类结果可以为下述之一:元数据为活动数据,元数据为稳定数据。
图3是根据本发明实施例的一种法院数据平台的示意图,如图3所示,该法院数据平台32可以包括:稳定分区321、活动分区322,法院数据平台可以与镜像数据库31连接。
对于本发明实施例来说,元数据的类型为下述之一:立案数据、开庭数据、结案数据和归档数据,其中,立案数据和开庭数据被分类为活动数据,结案数据和归档数据被分类为稳定数据。
可选地,对于上述四类法院业务数据,可以通过一个表格或者案卷号对数据进行存储,在表格中可以将每个案卷号对应的数据划分对应的数据类型。
当然,对于法院业务数据来说,找出稳定和非稳定部,分别处理,对于稳定的数据基本上是不会再进行变更的数据,这部分数据量是比较大的,因此可以存储到一个单独的稳定分区,对于非稳定的活动数据,由于这种数据量级一般比较小,因此可以把全量的活动数据存储到另一个活动分区。此外还会有一部分非稳定数据从非稳定状态变为稳定状态,因此这部分数据需要增量的添加到稳定分区,可以由一个单独的装置完成。
由于数据的类型是会产生变化,这时也需要将非稳定数据变化为稳定状态的数据更新至稳定分区,例如,对于开庭数据,如果在开庭后,进行了相应的结案,也开庭数据进行数据补充后,会变化为结案数据,这时,就需要将重新采集到的该结案数据存储至稳定分区,并将原来活动分区中对应的开庭数据删除。
在本发明中,对于结案案件或者归档案件,可以专门建立一个结案表格,由于结案案件和归档案件是相对稳定的数据,基本不会产生变化,这样记录的表格中的案件信息基本不会出现变化,对于新添加的案件,例如,从开庭状态或者立案状态转化为结案状态的案件,可以将数据添加至该结案表格中,通过结案表格可以对稳定数据进行信息记录。利用该结案表格可以将稳定数据和活动数据进行区分,划分分界线。
对立案和开庭的案件一般占据比较小的比例,因此可以通过筛选这两个状态的数据,归入活动分区。
下面结合另一种可选的实施例对本发明进行详细说明。
实施例二
图4根据本发明实施例的另一种数据存储装置的示意图,数据至少包括:已结案数据和待结案数据,如图4所示,该存储装置包括:第一获取单元41、第二获取单元43、分类单元45、存储单元47,其中,
第一获取单元41,用于获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;
第二获取单元43,用于根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;
分类单元45,用于利用业务分类条件,对元数据分类;
存储单元47,用于根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。
上述数据存储装置,通过第一获取单元41获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;通过第二获取单元43根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;通过分类单元45利用业务分类条件,对元数据分类;通过存储单元47根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。在该实施例中,可以利用法院业务的业务数据特征和业务分类条件之间的映射关系,对数据进行分类,通过法院业务的业务数据特征提取,结合业务分类条件,可以有效对法院业务数据进行有效分类,提高分类的效率,进而解决相关技术在获取法院业务数据时,由于数据量庞大,导致无法灵活分类的情况发生的技术问题。
可选地,第一获取单元包括:读取模块,用于按照预设时间段,从预设的法院业务源数据库中读取元数据;存储模块,用于将元数据存储至镜像数据库中,其中,法院业务源数据库与镜像数据库之间预先设置有隔离网,隔离网用于限制元数据的读取时间。
在本发明实施例中,上述数据存储装置还包括:第一确定单元,用于在获取待分析的元数据之前,将业务数据特征与法院业务的元数据一一对应;判断单元,用于判断元数据中每份子数据是否业务约束条件;第二确定单元,用于在每份子数据满足业务约束条件的情况下,确定元数据满足业务约束条件。
另外,分类单元包括:训练模块,用于通过业务分类条件和多组训练数据,训练数据分类器,其中,数据分类器用于对元数据进行分类,每组训练数据中至少包括:法院业务数据、分类结果;分类模块,用于通过数据分类器对元数据分类。
可选地,元数据的类型为下述之一:立案数据、开庭数据、结案数据和归档数据,其中,立案数据和开庭数据被分类为活动数据,结案数据和归档数据被分类为稳定数据。
上述的数据存储装置还可以包括处理器和存储器,上述第一获取单元41、第二获取单元43、分类单元45、存储单元47等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来将将元数据分类存储至法院数据平台。
上述存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
根据本发明实施例的另一方面,还提供了一种存储介质,存储介质用于存储程序,其中,程序在被处理器执行时控制存储介质所在设备执行上述任意一项的数据存储方法。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述任意一项的数据存储方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;利用业务分类条件,对元数据分类;根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。
可选的,上述处理器在执行程序时,还可以实现以下步骤:按照预设时间段,从预设的法院业务源数据库中读取元数据;将元数据存储至镜像数据库中,其中,法院业务源数据库与镜像数据库之间预先设置有隔离网,隔离网用于限制元数据的读取时间。
可选的,上述处理器在执行程序时,还可以实现以下步骤:在获取待分析的元数据之前,将业务数据特征与法院业务的元数据一一对应;判断元数据中每份子数据是否业务约束条件;在每份子数据满足业务约束条件的情况下,确定元数据满足业务约束条件。
可选的,上述处理器在执行程序时,还可以实现以下步骤:通过业务分类条件和多组训练数据,训练数据分类器,其中,数据分类器用于对元数据进行分类,每组训练数据中至少包括:法院业务数据、分类结果;通过数据分类器对元数据分类。
可选地,元数据的类型为下述之一:立案数据、开庭数据、结案数据和归档数据,其中,立案数据和开庭数据被分类为活动数据,结案数据和归档数据被分类为稳定数据。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取待分析的元数据,其中,元数据中携带有法院业务的业务数据特征;根据业务数据特征和法院业务的业务分类条件之间的映射关系,获取到与元数据对应的业务分类条件;利用业务分类条件,对元数据分类;根据分类结果,将元数据分类存储至法院数据平台,其中,法院数据平台至少包括:稳定分区和活动分区,稳定分区用于存储稳定数据,活动分区用于存储活动数据。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据存储方法,其特征在于,应用于法院业务数据建设中,建设生产数据库,所述生产数据库用于定期更改法院业务数据,包括:
获取待分析的元数据,其中,所述元数据中携带有法院业务的业务数据特征,所述元数据为法院系统中存储的法院业务源数据,所述法院系统包括:生产数据服务器、备份服务器、镜像库服务器,所述生产数据服务器用于提供法院业务源数据库,实时存储法院产生的相关数据;所述备份服务器与所述生产数据服务器连接,将法院产生的变化数据定义为增量备份数据;所述镜像库服务器用于下载所述备份服务器中的数据,并将所述数据传输给外部的镜像数据库中,所述镜像数据库是一个跟所述生产数据库具有相同版本的数据库,当所述生产数据库备份完整后,从所述备份服务器上下载所述增量备份数据,保持所述镜像数据库与所述生产数据库的数据实时同步;
根据所述业务数据特征和所述法院业务的业务分类条件之间的映射关系,获取到与所述元数据对应的业务分类条件;
利用所述业务分类条件,对所述元数据分类;
根据分类结果,将所述元数据分类存储至法院数据平台,其中,所述法院数据平台至少包括:稳定分区和活动分区,所述稳定分区用于存储稳定数据,所述活动分区用于存储活动数据。
2.根据权利要求1所述的方法,其特征在于,获取待分析的元数据包括:
按照预设时间段,从预设的法院业务源数据库中读取所述元数据;
将所述元数据存储至镜像数据库中,其中,所述法院业务源数据库与所述镜像数据库之间预先设置有隔离网,所述隔离网用于限制所述元数据的读取时间。
3.根据权利要求1所述的方法,其特征在于,在获取待分析的元数据之前,还包括:
将所述业务数据特征与所述法院业务的元数据一一对应;
判断所述元数据中每份子数据是否满足业务约束条件;
在每份所述子数据满足所述业务约束条件的情况下,确定所述元数据满足所述业务约束条件。
4.根据权利要求3所述的方法,其特征在于,对所述元数据分类包括:
通过所述业务分类条件和多组训练数据,训练数据分类器,其中,数据分类器用于对所述元数据进行分类,每组所述训练数据中至少包括:法院业务数据、分类结果;
通过所述数据分类器对所述元数据分类。
5.根据权利要求4所述的方法,其特征在于,所述元数据的类型为下述之一:立案数据、开庭数据、结案数据和归档数据,其中,所述立案数据和开庭数据被分类为所述活动数据,所述结案数据和所述归档数据被分类为所述稳定数据。
6.一种数据存储装置,其特征在于,应用于法院业务数据建设中,建设生产数据库,所述生产数据库用于定期更改法院业务数据,包括:
第一获取单元,用于获取待分析的元数据,其中,所述元数据中携带有法院业务的业务数据特征,所述元数据为法院系统中存储的法院业务源数据,所述法院系统包括:生产数据服务器、备份服务器、镜像库服务器,所述生产数据服务器用于提供法院业务源数据库,实时存储法院产生的相关数据;所述备份服务器与所述生产数据服务器连接,将法院产生的变化数据定义为增量备份数据;所述镜像库服务器用于下载所述备份服务器中的数据,并将所述数据传输给外部的镜像数据库中,所述镜像数据库是一个跟所述生产数据库具有相同版本的数据库,当所述生产数据库备份完整后,从所述备份服务器上下载所述增量备份数据,保持所述镜像数据库与所述生产数据库的数据实时同步;
第二获取单元,用于根据所述业务数据特征和所述法院业务的业务分类条件之间的映射关系,获取到与所述元数据对应的业务分类条件;
分类单元,用于利用所述业务分类条件,对所述元数据分类;
存储单元,用于根据分类结果,将所述元数据分类存储至法院数据平台,其中,所述法院数据平台至少包括:稳定分区和活动分区,所述稳定分区用于存储稳定数据,所述活动分区用于存储活动数据。
7.根据权利要求6所述的装置,其特征在于,所述第一获取单元包括:
读取模块,用于按照预设时间段,从预设的法院业务源数据库中读取所述元数据;
存储模块,用于将所述元数据存储至镜像数据库中,其中,所述法院业务源数据库与所述镜像数据库之间预先设置有隔离网,所述隔离网用于限制所述元数据的读取时间。
8.根据权利要求6所述的装置,其特征在于,数据存储装置还包括:
第一确定单元,用于在获取待分析的元数据之前,将所述业务数据特征与所述法院业务的元数据一一对应;
判断单元,用于判断所述元数据中每份子数据是否满足业务约束条件;
第二确定单元,用于在每份所述子数据满足所述业务约束条件的情况下,确定所述元数据满足所述业务约束条件。
9.一种存储介质,其特征在于,所述存储介质用于存储程序,其中,所述程序在被处理器执行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的数据存储方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的数据存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811163346.8A CN110968581B (zh) | 2018-09-30 | 2018-09-30 | 数据存储方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811163346.8A CN110968581B (zh) | 2018-09-30 | 2018-09-30 | 数据存储方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110968581A CN110968581A (zh) | 2020-04-07 |
CN110968581B true CN110968581B (zh) | 2023-07-04 |
Family
ID=70029469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811163346.8A Active CN110968581B (zh) | 2018-09-30 | 2018-09-30 | 数据存储方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110968581B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096684A (zh) * | 2009-12-11 | 2011-06-15 | 华大天元(北京)电力科技有限公司 | 电网实时数据集成与共享平台 |
CN102609463A (zh) * | 2012-01-13 | 2012-07-25 | 广东电网公司电力科学研究院 | 一种基于准实时平台的数据集群管理系统 |
CN105637487A (zh) * | 2013-06-13 | 2016-06-01 | 数据引力公司 | 用于数据智能存储系统的实况还原 |
CN105869082A (zh) * | 2016-03-28 | 2016-08-17 | 上海易能信息技术有限公司 | 一种数据处理方法及装置 |
CN108228749A (zh) * | 2017-12-21 | 2018-06-29 | 江苏瑞中数据股份有限公司 | 一种通用的时序数据的快速迁移方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2397401A (en) * | 2003-01-15 | 2004-07-21 | Luke Leonard Martin Porter | Time in databases and applications of databases |
US9292564B2 (en) * | 2013-09-21 | 2016-03-22 | Oracle International Corporation | Mirroring, in memory, data from disk to improve query performance |
CN105701176A (zh) * | 2016-01-04 | 2016-06-22 | 浪潮软件股份有限公司 | 一种数据整合的方法及装置 |
CN107122369B (zh) * | 2016-02-25 | 2021-05-11 | 创新先进技术有限公司 | 一种业务数据处理方法、装置和系统 |
CN107317708B (zh) * | 2017-06-29 | 2019-12-31 | 人民法院信息技术服务中心 | 一种法院业务应用系统的监测方法及装置 |
CN108052281A (zh) * | 2017-11-30 | 2018-05-18 | 平安科技(深圳)有限公司 | 业务资料存储方法、应用服务器及计算机存储介质 |
CN108052634B (zh) * | 2017-12-20 | 2021-11-12 | 江苏瑞中数据股份有限公司 | 一种电网生产控制大区与资产管理大区多信息系统的集成方法 |
-
2018
- 2018-09-30 CN CN201811163346.8A patent/CN110968581B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096684A (zh) * | 2009-12-11 | 2011-06-15 | 华大天元(北京)电力科技有限公司 | 电网实时数据集成与共享平台 |
CN102609463A (zh) * | 2012-01-13 | 2012-07-25 | 广东电网公司电力科学研究院 | 一种基于准实时平台的数据集群管理系统 |
CN105637487A (zh) * | 2013-06-13 | 2016-06-01 | 数据引力公司 | 用于数据智能存储系统的实况还原 |
CN105869082A (zh) * | 2016-03-28 | 2016-08-17 | 上海易能信息技术有限公司 | 一种数据处理方法及装置 |
CN108228749A (zh) * | 2017-12-21 | 2018-06-29 | 江苏瑞中数据股份有限公司 | 一种通用的时序数据的快速迁移方法 |
Non-Patent Citations (2)
Title |
---|
graywulf:a platform for federated scientific databases and services;Dobos等;proceedings of the 25th international conference on scientific and statistic and statistical database management;1-12 * |
电力气象系统数据存储优化方案;高阳;李哲;苑司坤;商兵兵;张小斐;;现代信息科技;第2卷(第1期);155-157+160 * |
Also Published As
Publication number | Publication date |
---|---|
CN110968581A (zh) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220164356A1 (en) | Adaptive big data service | |
US20140207786A1 (en) | System and methods for computerized information governance of electronic documents | |
US10437470B1 (en) | Disk space manager | |
AU2017243870B2 (en) | "Methods and systems for database optimisation" | |
CN111221570B (zh) | 微服务框架的迁移方法、装置、设备及存储介质 | |
CN108268565B (zh) | 基于数据仓库处理用户浏览行为数据的方法及系统 | |
US11036699B2 (en) | Method for computing distinct values in analytical databases | |
US8880463B2 (en) | Standardized framework for reporting archived legacy system data | |
US9280551B2 (en) | De-duplication deployment planning | |
CN114490375B (zh) | 应用程序的性能测试方法、装置、设备及存储介质 | |
CN111506569A (zh) | 数据存储方法、装置、电子装置 | |
CN111026961A (zh) | 标引多重数据元素内的感兴趣的数据的方法及系统 | |
CN107391769B (zh) | 一种索引查询方法及装置 | |
CN113485999A (zh) | 数据清理方法、装置和服务器 | |
CN114490554A (zh) | 数据同步方法及其装置、电子设备及存储介质 | |
US11531666B1 (en) | Indexing partitions using distributed bloom filters | |
CN107430633B (zh) | 用于数据存储的系统及方法和计算机可读介质 | |
CN112527824B (zh) | 分页查询方法、装置、电子设备和计算机可读存储介质 | |
CN110968581B (zh) | 数据存储方法及装置 | |
CN112800016A (zh) | 一种日志数据分类排序方法及装置 | |
KR20180086022A (ko) | 농축산물 정보 관리 방법 | |
CN115510289B (zh) | 一种数据立方体配置方法、装置、电子设备及存储介质 | |
CN111045994A (zh) | 一种基于kv数据库的文件分类检索方法及系统 | |
WO2016206395A1 (zh) | 周报信息处理方法及装置 | |
CN114297236A (zh) | 一种数据血缘分析方法、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |