CN110990396B - 数据存储方法、装置及存储介质 - Google Patents
数据存储方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110990396B CN110990396B CN201910967137.7A CN201910967137A CN110990396B CN 110990396 B CN110990396 B CN 110990396B CN 201910967137 A CN201910967137 A CN 201910967137A CN 110990396 B CN110990396 B CN 110990396B
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- task
- information
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012795 verification Methods 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013524 data verification Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 210000004899 c-terminal region Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010992 reflux Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据存储方法、装置及存储介质,涉及数据处理技术。具体方案包括:根据任务模板创建数据存储任务,接收存储任务数据并获取任务模板中的存储任务信息;存储任务数据包括至少一个待存储数据和每个待存储数据分别对应的不动产信息;根据存储任务信息对每个待存储数据进行校验,并根据通过校验的每个待存储数据分别对应的不动产信息,将通过校验的待存储数据分为至少一组;一组待存储数据对应同一个不动产;根据存储任务信息将待存储数据分别转换为预设的数据类型,并将每组待存储数据分别存储在数据库中。本申请既可以将不同类型的不动产相关数据存储在同一个数据库中,又可以迅速准确地获得作为交易标的的不动产相关数据。
Description
技术领域
本申请涉及数据处理技术,特别是涉及一种数据存储方法、装置及存储介质。
背景技术
进行不动产交易时,需要对作为交易标的的不动产进行全面的了解,因此,需要针对不同类型的交易和不同类型的不动产,从交易市场上海量的不动产相关的数据中,迅速而准确地获得作为交易标的的不动产相关的数据。为了达到迅速准确地获得作为交易标的的不动产相关的数据的目的,需要结构合理、查询便利的数据库存储不动产相关数据。
然而不动产及不动产交易的类型繁多,每种不同类型的不动产相关的数据不同,每种不同类型的不动产交易需获取的数据也不同,若针对每种类型的不动产及不动产交易分别定制满足需求的数据库,会产生大量重复性工作,耗费多余的人力及时间成本。而若只简单的将每种类型的不动产相关数据和每种类型的不动产交易所需的数据存储在一起,难以满足迅速准确地获得作为交易标的的不动产相关的数据的要求。
发明内容
有鉴于此,本申请的主要目的在于提供一种数据存储方法,该方法既可以将不同类型的不动产相关数据存储在同一个数据库中,又可以满足迅速准确地获得作为交易标的的不动产相关的数据的要求。
为了达到上述目的,本申请提出的技术方案为:
第一方面,本申请实施例提供了一种数据存储方法,包括以下步骤:
根据任务模板创建数据存储任务,接收存储任务数据并获取所述任务模板中的存储任务信息;所述存储任务数据包括至少一个待存储数据和每个所述待存储数据分别对应的不动产信息;
根据所述存储任务信息对每个所述待存储数据进行校验,并根据通过校验的每个所述待存储数据分别对应的不动产信息,将通过校验的所述待存储数据分为至少一组;一组所述待存储数据对应同一个不动产;
根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型,并将每组所述待存储数据分别存储在数据库中。
一种可能的实施方式中,所述根据任务模板创建数据存储任务的步骤之前,所述方法还包括创建所述任务模板的步骤:
创建至少一个数据模块;每个所述数据模块中包括至少一个字段;
为每个所述字段配置所述存储任务信息;所述存储任务信息包括所述字段中存储的待存储数据的校验信息和数据类型;
生成模板标识信息,并以所述模板标识信息为索引将所述任务模板存储在数据库中。
一种可能的实施方式中,所述根据任务模板创建数据存储任务的步骤包括:
获取任务属性信息;所述任务属性信息包含数据发送方的身份标识信息;
根据所述任务属性信息校验所述数据发送方是否有创建所述数据存储任务的权限;
在所述数据发送方有创建所述数据存储任务的权限的情况下,根据所述任务模板创建所述数据存储任务,并将所述任务属性信息存储在数据库中。
一种可能的实施方式中,所述根据任务模板创建数据存储任务的步骤之前,所述创建所述任务模板的步骤之后,所述方法还包括:
根据所述任务模板生成至少一个获取页面,并将每个所述获取页面展示给数据发送方;每个所述获取页面分别对应一个所述数据模块,该获取页面包含对应的所述数据模块中的每个所述字段。
一种可能的实施方式中,所述将通过校验的所述待存储数据分为至少一组的步骤之后,所述根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型的步骤之前,所述方法还包括:
根据每组所述待存储数据对应的不动产信息,判断每组所述待存储数据对应的不动产之间是否存在从属关系;
将存在从属关系的不动产对应的所述待存储数据关联存储。
一种可能的实施方式中,所述将每组所述待存储数据分别存储在数据库中的步骤之后,所述方法还包括:
根据获取的查询任务,对所述数据库中存储的所述待存储数据、任务模板或任务属性信息进行多维度查询。
一种可能的实施方式中,所述存储任务信息包括以下至少一种:每个所述待存储数据对应的必填校验信息、正则校验信息和数据类型;
所述根据所述存储任务信息对每个所述待存储数据进行校验的步骤包括:
根据每个所述待存储数据对应的必填校验信息,判断是否有必填的待存储数据缺失,在有必填的待存储数据缺失的情况下,所述待存储数据未通过校验,取消所述数据存储任务;和/或
根据每个所述待存储数据对应的正则校验信息对该待存储数据进行正则校验,在存在未通过正则校验的所述待存储数据的情况下,取消所述数据存储任务;
所述根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型的步骤包括:
将每个所述待存储数据分别转换为存储任务信息中的数据类型。
第二方面,本申请实施例还提供一种数据存储装置,包括:
任务创建模块,用于根据任务模板创建数据存储任务,接收存储任务数据并获取所述任务模板中的存储任务信息;所述存储任务数据包括至少一个待存储数据和每个所述待存储数据分别对应的不动产信息;
数据校验模块,用于根据所述存储任务信息对每个所述待存储数据进行校验;
数据分组模块,用于根据通过校验的每个所述待存储数据分别对应的不动产信息,将通过校验的所述待存储数据分为至少一组;一组所述待存储数据对应同一个不动产;
数据转换模块,用于根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型;
数据存储模块,用于将每组所述待存储数据分别存储在数据库中。
第三方面,本申请实施例还提供一种计算机可读存储介质。具体方案为:
一种计算机可读存储介质,存储有计算机指令,所述指令被处理器执行时可实现上述第一方面及第一方面中任一种可能的实施方式的步骤。
第四方面,本申请实施例还提供一种电子设备。具体方案为:
一种电子设备,该电子设备包括上述的计算机可读存储介质,还包括可执行所述计算机可读存储介质的处理器。
综上所述,本申请提出一种数据存储方法、装置及存储介质。本申请根据任务模板创建数据存储任务,利用不同的任务模板管理不同类型的不动产及不同类型的不动产交易。利用任务模板中的存储任务信息,根据不同类型的不动产及不同类型的不动产交易的需求对待存储数据进行校验。利用任务模板中的存储任务信息根据不同类型的不动产及不同类型的不动产交易的需求和数据库可以识别的数据类型需求,将待存储数据转换为预设的数据格式。因此,本申请通过任务模板达到了在同一个数据库中,以较小的重复性工作和较少的人力及时间成本,针对每种类型的不动产及不动产交易分别满足其需求的效果,同时可以满足迅速准确地获得作为交易标的的不动产相关的数据的要求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据存储方法的流程示意图;
图2为本申请实施例提供的另一种数据存储方法的流程示意图;
图3为创建任务模板的流程示意图;
图4为本申请实施例提供的一种数据存储装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
在构建结构合理、查询便利的数据库存储不动产相关数据时,需要面对类型繁多的不动产及不动产交易,例如:住宅不动产的数据通常包括楼盘、楼栋、单元、楼层、房屋五个层级,商业不动产的数据层级不同,可能不包含楼栋和单元,也可能不包含楼盘。每个不动产涉及的数据信息、数据数目、数据录入类型、数据录入形式均不相同。并且,针对不动产租赁交易,需要保存的不动产相关数据较少,而针对自有优质房源,需要保存尽可能详尽的不动产相关数据。
现有技术都是需要有针对性地对每种类型的不动产及不动产交易分别定制满足需求的数据库,然而每种类型的不动产及不动产交易涉及的不动产相关数据之间除了有差异,更多的是共性,很大一部分定制数据库的工作都是重复性的工作,耗费大量人力和时间成本,开发及维护周期冗长。采用不同该数据结构创造不同的数据库对每种类型的不动产及不动产交易进行存储的方式,扩展性很差,难以适应海量不动产相关数据的获取及维护需求。并且每次均构建新的数据结构,就需要修改数据库的代码逻辑,而频繁改动代码逻辑的风险极高,需要花费很高的测试成本才能保证数据库的系统稳定性。并且,如果遇到了跨数据库的复杂查询请求,需要建立很多关系表才能满足快速准确获得不动产相关数据的需求。而若只简单的将每种类型的不动产相关数据和每种类型的不动产交易所需的数据存储在一起,而没有结构化、标准化的获取数据和存储数据的方法,则无法建立有效的索引,数据库系统性能较低,难以满足迅速准确地获得作为交易标的的不动产相关的数据的要求。
本申请的核心发明点在于:通过任务模板达到了在同一个数据库中,以较小的重复性工作和较少的人力及时间成本,针对每种类型的不动产及不动产交易分别满足其需求的效果,同时可以满足迅速准确地获得作为交易标的的不动产相关的数据的要求。
为使本申请的目的、技术方案和优点更加清楚,下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
实施例一
图1为本申请实施例提供的数据存储方法的流程示意图,如图1所示,该实施例主要包括:
S101:根据任务模板创建数据存储任务,接收存储任务数据并获取所述任务模板中的存储任务信息;所述存储任务数据包括至少一个待存储数据和每个所述待存储数据分别对应的不动产信息。
任务模板针对不同的不动产类型或不同的不动产交易类型分别设定,采用定制化的任务模板创建数据存储任务,可以针对不同的不动产类型或不同的不动产交易类型建立不同的数据存储任务。并通过不同的数据存储任务获取不同的存储任务数据,这里,存储任务数据包括至少一个待存储数据和每个所述待存储数据分别对应的不动产信息。具体的,待存储数据为不动产相关数据,例如楼盘数据、楼栋数据或房屋数据等,包括楼盘的物业公司、楼盘的物业费、楼栋的层高、房屋的建筑面积、房屋的套内面积等。不动产信息包括不动产标识信息等,例如,楼号、层号、房屋号等。每个待存储数据可以对应同一个不动产,也可以对应不同的不动产。进一步的,每个任务模板包括不同的存储任务信息,包括待存储数据的校验信息和数据类型。
S102:根据所述存储任务信息对每个所述待存储数据进行校验,并根据通过校验的每个所述待存储数据分别对应的不动产信息,将通过校验的所述待存储数据分为至少一组;一组所述待存储数据对应同一个不动产。
具体的,根据存储任务信息中的校验信息对每个待存储数据进行校验,每个待存储数据可能对应着不同的校验信息,因此,分别对每个待存储数据进行校验。
例如,可以根据不动产标识信息对每个待存储数据进行分组,每组待存储数据对应同一个不动产。在每个待存储数据对应同一个不动产的情况下,每个待存储数据分为一组。例如,对应同一个楼盘的待存储数据分为一组,对应同一个楼栋的待存储数据分为一组,或者对应同一个房屋的待存储数据分为一组。
S103:根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型,并将每组所述待存储数据分别存储在数据库中。
具体的,根据存储任务信息中待存储数据的数据类型,分别将每个通过校验的待存储数据分别转换为预设的数据类型,这里预设的数据类型可以被数据库的数据结构识别,方便将每组待存储数据分别存储在数据库中。并且,每组待存储数据中包括至少一个待存储数据,一组待存储数据中的每个待存储数据并不一定具有相同的数据类型。
实施例二
如图2所示,本申请实施例提供了另一种数据存储方法,包括:
S201:获取任务属性信息。
具体的,任务属性信息用于校验数据发送方的身份,因此,任务属性信息可以包含数据发送方的身份标识信息,也可以包括数据发送方的平台标识信息。
S202:根据所述任务属性信息校验所述数据发送方是否有创建所述数据存储任务的权限。
在根据数据发送的身份判断数据发送方是否有创建所述数据存储任务的权限的情况下,例如,当仅客户经理有权创建数据存储任务的情况下,根据数据发送方的身份标识信息进行校验。在根据数据发送方采用的数据发送平台判断数据发送方是否有创建所述数据存储任务的权限的情况下,例如,在门店信息系统、房源中台、楼书小程序、贝壳C端、新房信息系统、交易信息系统等数据发送平台具有创建数据存储任务的权限的情况下,根据数据发送方的平台标识信息进行校验。
S203:在所述数据发送方有创建所述数据存储任务的权限的情况下,根据所述任务模板创建所述数据存储任务,并将所述任务属性信息存储在数据库中。
一次不动产相关数据的回流入库操作与一次数据存储任务是一一对应的关系,因此,每次将不动产相关数据作为待存储数据上传存储时,均需要创建一个数据存储任务。为了可以对每次提交或修改不动产相关数据的行为进行记录和管控,任务属性信息还可以包括,创建任务的时间信息、创建的任务提交的待存储数据的数据量等任务概况信息,还可以包括任务标识信息,例如本次数据存储任务的任务编号等。并将任务属性信息存储在数据库中,以便日后查询、分析、统计和处理。
数据存储任务在可能在获取待存储数据的过程中出现错误,例如,数据发送方可能发送了有误的不动产相关数据作为待存储数据,此时,需要对错误的不动产相关数据进行修改。由于数据存储任务中获取的每个待存储数据中,可能仅有个别出现错误,要求数据发送方重新填写每个待存储数据会带来冗余的人力成本和时间成本消耗。因此,可以通过任务属性信息中的任务标识信息获取已有的数据存储任务,并在上述已有的数据存储任务的基础上进行修改。
因此,在所述数据发送方有创建所述数据存储任务的权限的情况下,可以根据任务属性信息查询数据库中是否已经存在数据存储任务,在不存在数据存储任务的情况下,根据任务模板创建数据存储任务。
S204:根据所述存储任务信息对每个所述待存储数据进行校验。
存储任务信息可以包括:每个所述待存储数据对应的必填校验信息、正则校验信息和数据类型。其中必填校验信息和正则校验信息均为待存储数据的校验信息。
具体的,可以根据每个所述待存储数据对应的必填校验信息,判断是否有必填的待存储数据缺失,在有必填的待存储数据缺失的情况下,所述待存储数据未通过校验,取消所述数据存储任务。
在没有必填的待存储数据缺失的情况下,根据每个所述待存储数据对应的正则校验信息对该待存储数据进行正则校验,在存在未通过正则校验的所述待存储数据的情况下,取消所述数据存储任务。
处理必填校验和正则校验,还可以进行一致性校验等任一种校验。
另外,还可以对每个待存储数据进行过滤,判断该待存储数据的值是否为空值,判断该待存储数据是否已经存储于数据库中,或者判断该待存储数据是否与数据库中该字段的默认值相同,如果该待存储数据的值为空值、该待存储数据已经存储于数据库中或者该待存储数据与数据库中该字段的默认值相同,该待存储数据可以丢弃,无需更新数据库中的对应字段的存储值。
S205:根据通过校验的每个所述待存储数据分别对应的不动产信息,将通过校验的所述待存储数据分为至少一组。
将通过校验的待存储数据根据分别对应的不动产信息分组,并将每组待存储数据标识属于同一不动产。
S206:根据每组所述待存储数据对应的不动产信息,判断每组所述待存储数据对应的不动产之间是否存在从属关系;将存在从属关系的不动产对应的所述待存储数据关联存储。
具体的例如,若一组待存储数据对应的不动产为楼盘A,一组待存储数据对应的不动产为楼栋B,而另一组待存储数据对应的不动产为上述楼栋中的房屋C,房屋C属于楼栋B,且楼栋B属于楼盘A,则上述三组待存储数据之间存在从属关系。可以将具有从属关系的不动产对应的每组待存储数据存储在一起。也可以仍然将具有从属关系的不动产对应的每组待存储数据分别存储,与此同时,采用单独的数据结构存储具有从属关系的不动产,以及具有从属关系的不动产对应的每组待存储数据之间的关联关系。
S207:将通过校验的所述待存储数据分别转换为存储任务信息中的数据类型。
具体的,将每个所述待存储数据分别转换为存储任务信息中的数据类型。
S208:将每组所述待存储数据分别存储在数据库中。
具体的,可以分别对每组待存储数据建立一个表,将对应不同不动产的每组待存储数据存在不同的表中。
通过任务模板和任务模板中的存储任务信息,将数据库内部的数据结构、数据类型和存储方式与数据发送方上传数据的行为隔离开来,使数据发送方无需了解数据库内部的数据结构,也保证了数据库的系统稳定性。
实施例三
在使用任务模板创建数据存储任务之前,需要先创建任务模板。任务模板可以由开发者提供,也可以由数据发送方自定义。创建任务模板的步骤如图3所示,包括:
S301:创建至少一个数据模块;每个所述数据模块中包括至少一个字段。
这里,任务模板是对不动产相关数据回流入库行为的抽象,数据模块是对数据发送方操作行为的抽象。数据模块中包括至少一个字段,数据模块通常为一类字段的集合,例如,属于同一个房地产的字段的集合。
每个任务模板包括至少一个数据模块,每个数据模块包括至少一个字段,采用这种树状结构进行任务模板的创建,可以创建更清晰、更标准化地任务模板结构,并且,在创建任务模板时,可以灵活地组合不同的字段创建数据模块,也可以灵活地由任意不同的数据模块组合成任务模板。使数据发送方可以更方便灵活地使用任务模板,满足不同类型的不动产及不动产交易对不动产相关数据的存储需求。
S302:为每个所述字段配置所述存储任务信息;所述存储任务信息包括所述字段中存储的待存储数据的校验信息和数据类型。
这里,字段为不动产相关数据的抽象,一个字段中存储了一个待存储数据,每个字段与待存储数据是一一对应的关系,每个字段可以表达待存储数据在数据库中的具体存储位置。
每个字段需配置各自的存储任务信息,存储任务信息包括该字段中存储的待存储数据的校验信息和数据类型。这里校验信息可以包括必填校验信息、正则校验信息和一致性校验信息等。
S303:生成模板标识信息,并以所述模板标识信息为索引将所述任务模板存储在数据库中。
为了方便对任务模板的反复调用,为任务模板生成模板标识信息,例如,生成模板编号、模板名称等,并以模板标识信息为索引将任务模板存储在数据库中,以便后期调用、修改及维护。
每个任务模板还可以包括至少一个模板属性信息,模板属性信息可以包括任务模板的调用权限、任务模板对应的数据回流入库过程的流程类型等。
任务模板调用权限可以应用于根据所述任务属性信息校验所述数据发送方是否有创建所述数据存储任务的权限的步骤,用于存储和表征具有何种任务属性信息的数据发送方有创建数据存储任务的权限。例如,在根据数据发送方采用的数据发送平台判断数据发送方是否有创建所述数据存储任务的权限的情况下,可以使用数据发送平台设置任务模板的调用权限,具体可以在门店信息系统、房源中台、楼书小程序、贝壳C端、新房信息系统、交易信息系统等数据发送平台中选择设置。进一步的,可以按照城市、模板、数据发送方等灵活地进行权限控制。
由于每种类型的不动产和针对每种类型的不动产交易类型,存储的数据可能需要经过不同的审核、审批或入库流程,因此,可以使用模板属性信息规定任务模板对应的数据回流入库过程的流程类型。例如,使用模板属性信息,可以使任务模板支持先审核后入库、先入库后审核、不审核直接入库、先提交证据再审核等多种不动产相关数据的回流入库流程。
S304:根据所述任务模板生成至少一个获取页面,并将每个所述获取页面展示给数据发送方。
这里,每个所述获取页面分别对应一个所述数据模块,该获取页面包含对应的所述数据模块中的每个所述字段。
数据发送方按照根据任务模板配置好的获取页面进行操作,最终完成待存储数据的提交,就完成了数据发送方的不动产相关数据的回流入库流程。本申请提供的方法在接收数据发送方发来的存储任务数据之后,经过数据校验、数据过滤、数据类型转换等操作,还可以根据模板属性信息判断是否要进行审核,不需要审核直接入库的待存储数据,直接分组后将每组待存储数据分别存储在数据库中。需要进行审核的待存储数据发送给审核系统的缓存进行审核,在审核通过后将每组待存储数据分别存储在数据库中。
按照数据模块生成获取页面的情况下,获取存储任务数据的过程也是按照数据模块进行的,每获取一个数据模块的存储任务数据,将该数据模块的存储任务数据存储在缓存中,直至任务模板中每个数据模块的存储任务数据接收完毕。对接收到的所有存储任务数据进行校验。
使用建立任务模板的方式,其目的也是为了将针对不同类型的不动产和不动产交易进行定制化数据采集的过程与数据库内部的数据结构、数据类型和存储方式隔离开来,数据库内部使用统一的、标准的数据结构,使用任务模板打造待存储数据统一的数据上传入库口,构建待存储数据的写入标准。且每个数据模块中的字段和每个任务模板中的数据模块可以灵活组合,每种类型的不动产及不动产交易涉及的不动产相关数据之间存在很大共性的情况下,可以大大减少针对不同需求定制化数据库的数据结构的重复开发工作量,快速复用配置,节省人力资源成本,提高工作效率。且将任务模板、任务属性信息、存储任务信息、模板属性信息等均存储在数据库中,方便任务模板及数据存储任务的管理,可以简化审核过程,打造完整的不动产相关数据的回流入库的流程闭环,任务模板、任务属性信息、存储任务信息、模板属性信息等信息均可以支持统计、数据分析及详情展示等功能。
本申请实施例提供的数据存储方法将任务模板、任务属性信息、存储任务信息、模板属性信息和作为待存储信息的不动产相关数据均存储在数据库中,可以根据获取的查询任务,对数据库中存储的待存储数据、任务模板或任务属性信息进行多维度查询。例如,可以根据获取的查询任务需求,按照数据发送方、城市、模板标识信息、流程类型等多个维度查询任务模板、任务属性信息、存储任务信息、模板属性信息或待存储信息,并将查询结果转换为便于展示的数据结构和组织形式,展示给查询方。例如,可以使用不同的维度查询任一个数据存储任务的数据发送方、任务创建时间信息和待存储数据明细。也可以使用不同的维度查询任一个不动产的数据明细,例如,查询A房屋的建筑面积等。
基于相同的设计构思,本申请实施例还提供一种数据存储装置、存储介质及电子设备。
实施例四
如图4所示,本申请实施例还提供一种数据存储装置400,包括:
任务创建模块401,用于根据任务模板创建数据存储任务,接收存储任务数据并获取所述任务模板中的存储任务信息;所述存储任务数据包括至少一个待存储数据和每个所述待存储数据分别对应的不动产信息;
数据校验模块402,用于根据所述存储任务信息对每个所述待存储数据进行校验;
数据分组模块403,用于根据通过校验的每个所述待存储数据分别对应的不动产信息,将通过校验的所述待存储数据分为至少一组;一组所述待存储数据对应同一个不动产;
数据转换模块404,用于根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型;
数据存储模块405,用于将每组所述待存储数据分别存储在数据库中。
一种可能的实施方式中,数据存储装置400,还包括模板创建模块406,用于:
创建至少一个数据模块;每个所述数据模块中包括至少一个字段;
为每个所述字段配置所述存储任务信息;所述存储任务信息包括所述字段中存储的待存储数据的校验信息和数据类型;
生成模板标识信息,并以所述模板标识信息为索引将所述任务模板存储在数据库中。
一种可能的实施方式中,任务创建模块401,还用于:
获取任务属性信息;所述任务属性信息包含数据发送方的身份标识信息;
根据所述任务属性信息校验所述数据发送方是否有创建所述数据存储任务的权限;
在所述数据发送方有创建所述数据存储任务的权限的情况下,根据所述任务模板创建所述数据存储任务,并将所述任务属性信息存储在数据库中。
一种可能的实施方式中,模板创建模块406,还用于:
根据所述任务模板生成至少一个获取页面,并将每个所述获取页面展示给数据发送方;每个所述获取页面分别对应一个所述数据模块,该获取页面包含对应的所述数据模块中的每个所述字段。
一种可能的实施方式中,数据分组模块403,还用于:
根据每组所述待存储数据对应的不动产信息,判断每组所述待存储数据对应的不动产之间是否存在从属关系;
将存在从属关系的不动产对应的所述待存储数据关联存储。
一种可能的实施方式中,数据存储装置400,还包括查询模块407,用于:
根据获取的查询任务,对所述数据库中存储的所述待存储数据、任务模板或任务属性信息进行多维度查询。
一种可能的实施方式中,所述存储任务信息包括以下至少一种:每个所述待存储数据对应的必填校验信息、正则校验信息和数据类型;
数据校验模块402,还用于:
根据每个所述待存储数据对应的必填校验信息,判断是否有必填的待存储数据缺失,在有必填的待存储数据缺失的情况下,所述待存储数据未通过校验,取消所述数据存储任务;和/或
根据每个所述待存储数据对应的正则校验信息对该待存储数据进行正则校验,在存在未通过正则校验的所述待存储数据的情况下,取消所述数据存储任务;
数据转换模块404,还用于:
将每个所述待存储数据分别转换为存储任务信息中的数据类型。
实施例五
一种计算机可读介质,所述计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行实施例一至实施例三提供的方法的步骤。实际应用中,所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的,也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或多个程序被执行时,实现根据参考实施例四提供的装置进行实施例一至实施例三提供的方法的步骤。
根据本申请公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件,或者上述的任意合适的组合,但不用于限制本申请保护的范围。在本申请公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请所述的方法步骤除了可以用数据处理程序来实现,还可以由硬件来实现,例如,可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
实施例五
本申请实施例还提供一种电子设备,可以是计算机或服务器,其中可以集成本申请上述装置实施例四的装置。如图5所示,其示出了本申请装置实施例四所涉及的电子设备500。
该电子设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质502。该电子设备还可以包括电源503、输入输出单元504。本领域技术人员可以理解,图5中并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中:
处理器501是该电子设备的控制部分,利用各种接口和线路连接各个部分,通过运行或执行存储在计算机可读存储介质502中的软件程序,执行实施例一至实施例三提供的方法的步骤。
计算机可读存储介质502可用于存储软件程序,即实施例一至实施例三提供的方法中涉及的程序。
处理器501通过运行存储在计算机可读存储介质502的软件程序,从而执行各种功能应用以及数据处理。计算机可读存储介质502可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据电子设备需要使用的数据等。此外,计算机可读存储介质502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,计算机可读存储介质502还可以包括存储器控制器,以提供处理器501对计算机可读存储介质502的访问。
电子设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入输出单元504,比如可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入;比如可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
本申请附图中的流程图和框图,示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如,两个连接地表示的方框实际上可以基本并行地执行,它们有时也可以按照相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或者流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,所有这些组合和/或结合均落入本申请公开的范围。
本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思路,并不用于限制本申请。对于本领域的技术人员来说,可以依据本申请的思路、精神和原则,在具体实施方式及应用范围上进行改变,其所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (9)
1.一种数据存储方法,其特征在于,包括:
根据任务模板创建数据存储任务,接收存储任务数据并获取所述任务模板中的存储任务信息;所述存储任务数据包括至少一个待存储数据和每个所述待存储数据分别对应的不动产信息,所述任务模板针对不同的不动产类型或不同的不动产交易类型分别设定;所述存储任务信息包括待存储数据的校验信息和数据类型;所述不动产信息包括不动产标识信息;
根据所述存储任务信息对每个所述待存储数据进行校验,并根据通过校验的每个所述待存储数据分别对应的不动产信息,将通过校验的所述待存储数据分为至少一组;一组所述待存储数据对应同一个不动产;
根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型,并将每组所述待存储数据分别存储在数据库中,包括:根据存储任务信息中待存储数据的数据类型,分别将每个通过校验的待存储数据分别转换为预设的数据类型;
所述将通过校验的所述待存储数据分为至少一组的步骤之后,所述根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型的步骤之前,所述数据存储方法还包括:
根据每组所述待存储数据对应的不动产信息,判断每组所述待存储数据对应的不动产之间是否存在从属关系;
将存在从属关系的不动产对应的所述待存储数据关联存储。
2.根据权利要求1所述的数据存储方法,其特征在于,所述根据任务模板创建数据存储任务的步骤之前,所述方法还包括创建所述任务模板的步骤:
创建至少一个数据模块;每个所述数据模块中包括至少一个字段;
为每个所述字段配置所述存储任务信息;所述存储任务信息包括所述字段中存储的待存储数据的校验信息和数据类型;
生成模板标识信息,并以所述模板标识信息为索引将所述任务模板存储在数据库中。
3.根据权利要求1所述的数据存储方法,其特征在于,所述根据任务模板创建数据存储任务的步骤包括:
获取任务属性信息;所述任务属性信息包含数据发送方的身份标识信息;
根据所述任务属性信息校验所述数据发送方是否有创建所述数据存储任务的权限;
在所述数据发送方有创建所述数据存储任务的权限的情况下,根据所述任务模板创建所述数据存储任务,并将所述任务属性信息存储在数据库中。
4.根据权利要求2所述的数据存储方法,其特征在于,所述根据任务模板创建数据存储任务的步骤之前,所述创建所述任务模板的步骤之后,所述方法还包括:
根据所述任务模板生成至少一个获取页面,并将每个所述获取页面展示给数据发送方;每个所述获取页面分别对应一个所述数据模块,该获取页面包含对应的所述数据模块中的每个所述字段。
5.根据权利要求3所述的数据存储方法,其特征在于,所述将每组所述待存储数据分别存储在数据库中的步骤之后,所述方法还包括:
根据获取的查询任务,对所述数据库中存储的所述待存储数据、任务模板或任务属性信息进行多维度查询。
6.根据权利要求1所述的数据存储方法,其特征在于,所述存储任务信息包括以下至少一种:每个所述待存储数据对应的必填校验信息、正则校验信息和数据类型;
所述根据所述存储任务信息对每个所述待存储数据进行校验的步骤包括:
根据每个所述待存储数据对应的必填校验信息,判断是否有必填的待存储数据缺失,在有必填的待存储数据缺失的情况下,所述待存储数据未通过校验,取消所述数据存储任务;和/或
根据每个所述待存储数据对应的正则校验信息对该待存储数据进行正则校验,在存在未通过正则校验的所述待存储数据的情况下,取消所述数据存储任务;
所述根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型的步骤包括:
将每个所述待存储数据分别转换为存储任务信息中的数据类型。
7.一种数据存储装置,其特征在于,包括:
任务创建模块,用于根据任务模板创建数据存储任务,接收存储任务数据并获取所述任务模板中的存储任务信息;所述存储任务数据包括至少一个待存储数据和每个所述待存储数据分别对应的不动产信息,所述任务模板针对不同的不动产类型或不同的不动产交易类型分别设定;所述存储任务信息包括待存储数据的校验信息和数据类型;所述不动产信息包括不动产标识信息;
数据校验模块,用于根据所述存储任务信息对每个所述待存储数据进行校验;
数据分组模块,用于根据通过校验的每个所述待存储数据分别对应的不动产信息,将通过校验的所述待存储数据分为至少一组;一组所述待存储数据对应同一个不动产;
数据转换模块,用于根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型,包括:根据存储任务信息中待存储数据的数据类型,分别将每个通过校验的待存储数据分别转换为预设的数据类型;
数据存储模块,用于将每组所述待存储数据分别存储在数据库中;
所述将通过校验的所述待存储数据分为至少一组之后,所述根据所述存储任务信息将通过校验的所述待存储数据分别转换为预设的数据类型之前,还包括:
根据每组所述待存储数据对应的不动产信息,判断每组所述待存储数据对应的不动产之间是否存在从属关系;
将存在从属关系的不动产对应的所述待存储数据关联存储。
8.一种计算机可读存储介质,存储有计算机指令,其特征在于,所述指令被处理器执行时可实现权利要求1~6任一项所述的数据存储方法的步骤。
9.一种电子设备,其特征在于,该电子设备包括如权利要求8所述的计算机可读存储介质,还包括可执行所述计算机可读存储介质的处理器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910967137.7A CN110990396B (zh) | 2019-10-12 | 2019-10-12 | 数据存储方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910967137.7A CN110990396B (zh) | 2019-10-12 | 2019-10-12 | 数据存储方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110990396A CN110990396A (zh) | 2020-04-10 |
CN110990396B true CN110990396B (zh) | 2024-02-27 |
Family
ID=70081912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910967137.7A Active CN110990396B (zh) | 2019-10-12 | 2019-10-12 | 数据存储方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110990396B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767463A (zh) * | 2020-06-30 | 2020-10-13 | 北京同邦卓益科技有限公司 | 信息处理方法、装置及存储介质 |
CN112347099A (zh) * | 2020-10-27 | 2021-02-09 | 口碑(上海)信息技术有限公司 | 数据处理方法、装置、计算设备及计算机可读存储介质 |
CN113064896B (zh) * | 2021-03-08 | 2023-05-23 | 山东英信计算机技术有限公司 | 一种紧固件防呆系统、方法及介质 |
CN117238433B (zh) * | 2023-11-10 | 2024-02-06 | 智业软件股份有限公司 | 基于LibreOffice进行文档数据自动隔离的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633014A (zh) * | 2017-08-17 | 2018-01-26 | 深圳市诚壹科技有限公司 | 一种数据存储方法及服务器 |
CN108874866A (zh) * | 2018-04-22 | 2018-11-23 | 平安科技(深圳)有限公司 | 数据导入管理方法、装置、移动终端和存储介质 |
CN109558404A (zh) * | 2018-10-19 | 2019-04-02 | 中国平安人寿保险股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
CN110109893A (zh) * | 2018-02-02 | 2019-08-09 | 北京京东尚科信息技术有限公司 | 数据建模和操作的方法和装置 |
CN110110006A (zh) * | 2019-04-15 | 2019-08-09 | 平安普惠企业管理有限公司 | 数据管理方法及相关产品 |
-
2019
- 2019-10-12 CN CN201910967137.7A patent/CN110990396B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633014A (zh) * | 2017-08-17 | 2018-01-26 | 深圳市诚壹科技有限公司 | 一种数据存储方法及服务器 |
CN110109893A (zh) * | 2018-02-02 | 2019-08-09 | 北京京东尚科信息技术有限公司 | 数据建模和操作的方法和装置 |
CN108874866A (zh) * | 2018-04-22 | 2018-11-23 | 平安科技(深圳)有限公司 | 数据导入管理方法、装置、移动终端和存储介质 |
CN109558404A (zh) * | 2018-10-19 | 2019-04-02 | 中国平安人寿保险股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
CN110110006A (zh) * | 2019-04-15 | 2019-08-09 | 平安普惠企业管理有限公司 | 数据管理方法及相关产品 |
Also Published As
Publication number | Publication date |
---|---|
CN110990396A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110990396B (zh) | 数据存储方法、装置及存储介质 | |
US9904524B2 (en) | Method and device for visually implementing software code | |
CN112948427B (zh) | 数据查询方法、装置、设备及存储介质 | |
US9009175B2 (en) | System and method for database migration and validation | |
US20100306638A1 (en) | Object templates for data-driven applications | |
CN112445875A (zh) | 数据关联及检验方法、装置、电子设备及存储介质 | |
CN103164337B (zh) | 基于有限状态机的云计算软件测试方法 | |
CN113282795A (zh) | 数据结构图生成及更新方法、装置、电子设备及存储介质 | |
CN112948275A (zh) | 测试数据生成方法、装置、设备及存储介质 | |
CN112434982A (zh) | 任务处理方法、装置、系统、存储介质及电子设备 | |
CN111931471A (zh) | 表单收集方法、装置、电子设备及存储介质 | |
CN117193975A (zh) | 任务调度方法、装置、设备及存储介质 | |
CN101753619A (zh) | 用于扩展服务模型的方法和系统 | |
CN104951312A (zh) | 一种基于模型驱动的业务功能定制系统 | |
US10025838B2 (en) | Extract transform load input suggestion | |
CN114896164A (zh) | 接口优化方法、装置、电子设备及存储介质 | |
CN102016903A (zh) | 与多起诉讼有关的证据性信息项 | |
CN113743791A (zh) | 一种业务工单的业务考评方法、装置、电子设备和介质 | |
US20140244539A1 (en) | Business process management, configuration and execution | |
CN113434359B (zh) | 数据溯源系统构建方法、装置、电子设备及可读存储介质 | |
CN110597587A (zh) | 用户界面生成方法、装置、电子设备及存储介质 | |
CN103678636A (zh) | 一种构件软件系统可靠性的提高系统及方法 | |
US20110047001A1 (en) | Method and system for creating an instance of an adaptable business object | |
CN115543969B (zh) | 一种数据迁移方法、装置、设备及介质 | |
CN103679432A (zh) | 一种支持动态构建应用平台的vnms系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |