CN114356898A - 数据存储方法、装置、电子设备和存储介质 - Google Patents
数据存储方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114356898A CN114356898A CN202111387317.1A CN202111387317A CN114356898A CN 114356898 A CN114356898 A CN 114356898A CN 202111387317 A CN202111387317 A CN 202111387317A CN 114356898 A CN114356898 A CN 114356898A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- stored
- metadata
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据存储方法、装置、电子设备和存储介质,所述方法包括:基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数;在待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,将待存储数据的基础信息存储至指标元数据库。本发明能够避免将与各指标数据重复或相似的待存储数据的基础信息存储至指标元数据库,导致占用指标元数据库存储空间的问题。此外,由于待存储数据与指标元数据库中的其它指标数据不同,从而用户在指标元数据库中可以唯一查询到待存储数据,避免出现多个相似指标数据使得用户需要筛选导致查询效率较低的问题。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据存储方法、装置、电子设备和存储介质。
背景技术
目前,为了方便快捷查询数据,多是基于元数据与数据的基础信息之间的映射关系在指标数据库中进行查询。
在构建数据库的过程中,需要将大量数据的基础信息存储至数据库中,以便后续查询数据的基础信息。现有技术中多是直接将大量数据的基础信息存储至数据库中,但这些基础信息中可能存在大量相同或相似的信息,进而导致数据库中存在大量冗余数据,浪费数据库的存储空间。
发明内容
本发明提供一种数据存储方法、装置、电子设备和存储介质,用以解决现有技术中数据库中存在冗余数据导致浪费数据库存储空间的缺陷。
本发明提供一种数据存储方法,包括:
基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;
在所述相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
根据本发明提供的一种数据存储方法,所述基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数,包括:
基于所述待存储数据的元数据与各指标数据的元数据,确定所述待存储数据与各指标数据之间的交集信息和并集信息;
基于所述交集信息和所述并集信息,确定所述相似度指数。
根据本发明提供的一种数据存储方法,所述基于所述交集信息和所述并集信息,确定所述相似度指数,包括:
统计所述交集信息的数量和所述并集信息的数量;
以所述交集信息的数量与所述并集信息的数量的比值作为所述相似度指数。
根据本发明提供的一种数据存储方法,在将所述待存储数据的基础信息存储至所述指标元数据库之后,还包括:
建立所述待存储数据的元数据与所述待存储数据的基础信息之间的映射关系,以及建立所述待存储数据的元数据与授权用户信息之间的映射关系;所述授权用户信息指具备访问所述待存储数据的用户信息。
根据本发明提供的一种数据存储方法,在建立所述待存储数据的元数据与授权用户信息之间的映射关系之后,还包括:
在检测到待访问用户的查询指令时,获取所述查询指令中的待访问用户信息;
在所述待访问用户信息与所述待存储数据的元数据之间存在映射关系时,将所述待存储数据的基础信息发送至所述待访问用户。
根据本发明提供的一种数据存储方法,还包括:
在所述待存储数据与任一指标数据之间的相似度指数大于等于所述相似度阈值时,进行信息提示。
根据本发明提供的一种数据存储方法,在确定所述待存储数据与各指标数据之间的相似度指数之后,还包括:
以所述待存储数据和各指标数据作为节点,以所述相似度指数作为边,将所述待存储数据、各指标数据和所述相似度指数添加至指标关系图谱。
本发明还提供一种数据存储装置,包括:
确定单元,用于基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;
存储单元,用于在所述相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述数据存储方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述数据存储方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述数据存储方法的步骤。
本发明提供的数据存储方法、装置、电子设备和存储介质,基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数,并在待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,将待存储数据的基础信息存储至指标元数据库,从而避免将与各指标数据重复或相似的待存储数据的基础信息存储至指标元数据库,导致占用指标元数据库存储空间的问题。此外,由于待存储数据与指标元数据库中的其它指标数据不同,从而用户在指标元数据库中可以唯一查询到待存储数据,避免出现多个相似指标数据使得用户需要筛选导致查询效率较低的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的数据存储方法的流程示意图之一;
图2是本发明提供的唯一性校验方法的流程示意图;
图3是本发明提供的数据存储方法的流程示意图之二;
图4是本发明提供的指标权限分配的流程示意图;
图5是本发明提供的数据存储装置的结构示意图;
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在构建数据库的过程中,需要将大量数据的基础信息存储至数据库中,以便后续查询数据的基础信息。现有技术中多是直接将大量数据的基础信息存储至数据库中,但这些基础信息中可能存在大量相同或相似的信息,进而导致数据库中存在大量冗余数据,浪费数据库的存储空间,而且在用户输入元数据进行查询时,可能会同时出现多个相同或相似的基础信息供用户筛选,进而降低了用户查询信息的效率。
对此,本发明提供一种数据存储方法。图1是本发明提供的数据存储方法的流程示意图,如图1所示,该方法包括:
步骤110、基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数。
此处,待存储数据的元数据指用于描述待存储数据的属性信息,例如待存储数据为用户身高,则待存储数据的元数据可以是用户的姓名、身份证号等。同理,各指标数据的元数据用于描述各指标数据的属性信息,如各指标数据的名称、编码等。
可以理解的是,指标元数据库中存储有大量指标数据的基础信息,为了保证能够准确且快速从指标元数据库中获取对应指标数据的基础信息,需要基于大量指标数据的基础信息构建得到指标元数据库。目前,传统方法中多是直接将大量指标数据的基础信息存储至指标元数据库中,但这些基础信息中可能存在大量相同或相似的信息,进而导致指标元数据库中存在大量冗余数据,浪费指标元数据库的存储空间。例如,第一次管理员将用户A的身高数据170cm存储至指标元数据库中,并建立用户A与身高数据170cm之间的映射关系。在管理员下一次添加基础信息至指标元数据库时,由于指标元数据库中存储有大量指标数据的基础信息,管理员已经忘记第一次已经添加过用户A的身高数据至指标元数据库,从而再次将用户A的身高数据170cm存储至指标元数据库中,并建立用户A与身高数据170cm之间的映射关系,进而导致指标元数据库中存储了2次用户A的身高数据,造成了指标元数据库的存储空间浪费。
此外,在用户输入元数据(如用户的姓名、身份证号等)进行查询时,可能会同时出现多个相同或相似的基础信息供用户筛选,进而降低了用户查询信息的效率。例如,第一次管理员将用户A的身高数据170cm存储至指标元数据库中,并建立用户A与身高数据170cm之间的映射关系。在管理员下一次添加基础信息至指标元数据库时,由于指标元数据库中存储有大量指标数据的基础信息,管理员已经忘记第一次已经添加过用户A的身高数据至指标元数据库,从而再次将用户A的身高数据存储至指标元数据库中,而且在此次存储过程中,由于管理员失误将用户A的身高数据170cm错误存储为176cm,并建立了用户A与身高数据176cm之间的映射关系,从而在用户输入用户A的姓名至指标元数据库中查询用户A的身高数据时,会出现170cm和176cm两个数据,使得用户无法判断哪个数据为正确数据。
由此可见,传统方法中在将指标数据的基础信息存储至指标元数据库中时,无法对该指标数据的基础信息进行查重、查错等处理,不仅浪费了指标元数据库的存储空间,而且会由于存在错误数据导致无法获取对应指标数据的基础信息的问题。
因此,本发明实施例在将待存储数据的基础信息存储至指标元数据库前,基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数,该相似度指数用于表征待存储数据与各指标数据的相似程度,也可以理解为该相似度指数用于表征待存储数据在指标元数据库中的唯一性,即可以确定待存储数据的基础信息是否已经存储于指标元数据库中,若否,则表明指标元数据库中不存在待存储数据的基础信息,即可以将待存储数据的基础信息存储至指标元数据库。
步骤120、在相似度指数均小于相似度阈值时,将待存储数据的基础信息存储至指标元数据库。
具体地,待存储数据的基础信息指待存储数据的详细信息,例如待存储数据为用户身高,则待存储数据的基础信息指用户身高的具体值,如170cm。指标元数据库中存储有大量指标数据的基础信息,可以用于查询指定指标数据的基础信息,例如指标元数据库中可以存储有大量用户身高的具体值,当需要查询用户A的身高时,可以在指标元数据库中输入用户A的姓名、身份证号等查询用户A的身高。
待存储数据与各指标数据之间的相似度指数用于表征待存储数据与各指标数据之间的相似程度,相似程度越高,表明待存储数据与对应指标数据越相似,即待存储数据的基础信息存在于指标元数据库中的概率越高,若此时将待存储数据的基础信息存储至指标元数据库中,则可能会造成重复存储。相似程度越低,表明待存储数据与对应指标数据越不相似,即待存储数据的基础信息存在于指标元数据库中的概率越低。
在待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,表明待存储数据与指标元数据库中的所有指标数据的相似程度较低,即待存储数据存在于指标元数据库中的概率较低,此时可以将待存储数据的基础信息存储至指标元数据库。
如图2所示,基于待存储数据的元数据(如指标名称、指标编码等)在指标元数据库中进行查询比较,对待存储数据进行唯一性校验,判断指标元数据库中是否存在待存储数据的基础信息,若是,则进行信息提示,若否,则将待存储数据入库(即将待存储数据存储至指标元数据库中)。
本发明实施例提供的数据存储方法,基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数,并在待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,将待存储数据的基础信息存储至指标元数据库,从而避免将与各指标数据重复或相似的待存储数据的基础信息存储至指标元数据库,导致占用指标元数据库存储空间的问题。此外,由于待存储数据与指标元数据库中的其它指标数据不同,从而用户在指标元数据库中可以唯一查询到待存储数据,避免出现多个相似指标数据使得用户需要筛选导致查询效率较低的问题。
基于上述实施例,基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数,包括:
基于待存储数据的元数据与各指标数据的元数据,确定待存储数据与各指标数据之间的交集信息和并集信息;
基于交集信息和并集信息,确定相似度指数。
此处,待存储数据的元数据指用于描述待存储数据的属性信息,各指标数据的元数据用于描述各指标数据的属性信息,元数据可以为数据的名称、编码等。例如,在待存储数据或指标数据为用户身高数据时,对应的元数据可以为用户姓名或用户身份证号。
待存储数据与各指标数据之间的交集信息指待存储数据与各指标数据之间相同的数据信息,待存储数据与各指标数据之间的并集信息指待存储数据与各指标数据的数据信息总和。
若交集信息在并集信息中所占的比例越大,则表明待存储数据与各指标数据之间存在相同的是数据信息越多,即待存储数据与各指标数据之间的相似度指数越大。若交集信息在并集信息中所占的比例越小,则表明待存储数据与各指标数据之间存在相同的是数据信息越少,即待存储数据与各指标数据之间的相似度指数越小。例如,当交集信息在并集信息中所占的比例为0时,表明待存储数据与各指标数据之间不存在相同数据信息,即待存储数据与各指标数据之间不存在血缘关系,因此可以将待存储数据的基础信息存储至指标元数据库中。
基于上述任一实施例,基于交集信息和并集信息,确定相似度指数,包括:
统计交集信息的数量和并集信息的数量;
以交集信息的数量与并集信息的数量的比值作为相似度指数。
具体地,待存储数据与各指标数据之间的交集信息指待存储数据与各指标数据之间相同的数据信息,待存储数据与各指标数据之间的并集信息指待存储数据与各指标数据的数据信息总和。
若交集信息在并集信息中所占的数量比例越大,则表明待存储数据与各指标数据之间存在相同的是数据信息越多,即待存储数据与各指标数据之间的相似度指数越大。若交集信息在并集信息中所占的数量比例越小,则表明待存储数据与各指标数据之间存在相同的是数据信息越少,即待存储数据与各指标数据之间的相似度指数越小。例如,当交集信息在并集信息中所占的比例为0时,表明待存储数据与各指标数据之间不存在相同数据信息,即待存储数据与各指标数据之间不存在血缘关系,因此可以将待存储数据的基础信息存储至指标元数据库中。
如图3所示,当存在指标数据集的基础信息需要写入指标元数据库和指标关系图谱中时,管理员可以进入WEB页面上传指标数据集并启动指标元数据初始化程序,初始化程序加载指标数据集(EXCEL)信息后进行唯一性校验,即判断指标数据集与指标元数据库中各指标数据之间的相似度指数,若相似度指数小于相似度阈值,表明唯一性校验无误,此时可以将指标数据集的基础信息写入指标元数据库,并将指标数据集与各指标数据之间的关系添加至指标关系图谱中,从而可以基于指标数据的元数据与指标数据的基础信息之间的映射关系,在指标元数据库中快速查询得到指标数据的基础信息,并在指标关系图谱中查询得到待存储数据与各指标数据之间的相似度指数。对于指标数据A和指标数据B之间的相似度指数J(A,B),可以采用如下公式进行计算:
式中,│A∩B│表示指标数据A与指标数据B之间的交集数量,│A∪B│表示指标数据A与指标数据B之间的并集数量,│A│表示指标数据A中的信息数量,│B│表示指标数据B中的信息数量。
基于上述任一实施例,在将待存储数据的基础信息存储至指标元数据库之后,还包括:
建立待存储数据的元数据与待存储数据的基础信息之间的映射关系,以及建立待存储数据的元数据与授权用户信息之间的映射关系;授权用户信息指具备访问待存储数据的用户信息。
具体地,在将待存储数据的基础信息存储至指标元数据库之后,建立待存储数据的元数据与待存储数据的基础信息之间的映射关系,从而可以基于待存储数据的元数据在指标元数据库中快速查询到待存储数据的基础信息。例如,基于用户的身份证号(元数据)可以从指标元数据库中快速查询到用户的身高数据(基础信息)。
此外,为了避免指标元数据库中存储的数据泄露,还需要建立待存储数据的元数据与授权用户信息之间的映射关系,从而可以避免非授权用户非法获取指标元数据库中的信息。其中,授权用户信息可以用于表征授权用户的身份,其可以为授权用户的身份证号、指纹、账号、密钥等,本发明实施例对此不作具体限定。
基于上述任一实施例,在建立待存储数据的元数据与授权用户信息之间的映射关系之后,还包括:
在检测到待访问用户的查询指令时,获取查询指令中的待访问用户信息;
在待访问用户信息与待存储数据的元数据之间存在映射关系时,将待存储数据的基础信息发送至待访问用户。
具体地,在建立待存储数据的元数据与授权用户信息之间的映射关系后,当待访问用户需要获取待存储数据的基础信息时,可以生成带有待访问用户信息的查询指令。
若待访问用户信息与待存储数据的元数据之间存在映射关系,则表明待访问用户为授权用户,具备访问待存储数据的基础信息的权限,此时可以将待存储数据的基础信息发送至待访问用户。若待访问用户信息与待存储数据的元数据之间不存在映射关系,则表明待访问用户不是授权用户,为了避免指标元数据库中的数据泄露,此时不会将待存储数据的基础信息发送至待访问用户。
如图4所示,管理员进入指标发布配置界面,建立待存储数据的元数据与待存储数据的基础信息之间的映射关系,同时管理员进入指标权限配置界面,建立待存储数据的元数据与授权用户信息之间的映射关系,从而待访问用户需要查询待存储数据的基础信息时,需要获取对应的指标权限(待访问用户与待存储数据的元数据之间存在映射关系),方可查询相应的待存储数据的基础信息。
基于上述任一实施例,还包括:
在待存储数据与任一指标数据之间的相似度指数大于等于相似度阈值时,进行信息提示。
具体地,待存储数据与各指标数据之间的相似度指数用于表征待存储数据与各指标数据之间的相似程度,相似程度越高,表明待存储数据与对应指标数据越相似,即待存储数据的基础信息存在于指标元数据库中的概率越高,若此时将待存储数据的基础信息存储至指标元数据库中,则可能会造成重复存储。相似程度越低,表明待存储数据与对应指标数据越不相似,即待存储数据的基础信息存在于指标元数据库中的概率越低。
在待存储数据与任一指标数据之间的相似度指数大于等于相似度阈值时,表明待存储数据与指标元数据库中对应的指标数据的相似程度较高,即待存储数据存在于指标元数据库中的概率较高,为了避免重复存储,此时不将待存储数据的基础信息存储至指标元数据库,并进行信息提示。
可以理解的是,在进行信息提示后,可以将待存储数据与对应指标数据发送至管理员,以使管理员确认待存储数据是否与指标数据相同或相似,若是,则不将待存储数据的基础信息存储至指标元数据库;若否,则管理员可以手动将待存储数据的基础信息存储至指标元数据库。
本发明实施例提供的数据存储方法,基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数,并在待存储数据与任一指标数据之间的相似度指数大于等于相似度阈值时,进行信息提示,从而避免将与各指标数据重复或相似的待存储数据的基础信息存储至指标元数据库,导致占用指标元数据库存储空间的问题。此外,由于待存储数据与指标元数据库中的其它指标数据不同,从而用户在指标元数据库中可以唯一查询到待存储数据,避免出现多个相似指标数据使得用户需要筛选导致查询效率较低的问题。
基于上述任一实施例,在确定待存储数据与各指标数据之间的相似度指数之后,还包括:
以待存储数据和各指标数据作为节点,以相似度指数作为边,将待存储数据、各指标数据和相似度指数添加至指标关系图谱。
具体地,在确定待存储数据与各指标数据之间的相似度指数之后,可以以待存储数据和各指标数据作为节点,以相似度指数作为边,将待存储数据、各指标数据和相似度指数添加至指标关系图谱,从而可以从指标关系图谱中获取待存储数据与各指标数据之间的相似度指数,即得到待存储与各指标数据之间的血缘关系。例如,待存储数据与某一指标数据相似度指数较高时,表明两者之间存在相同信息的概率越高,即两者相似程度越高;待存储数据与某一指标数据相似度指数较低时,表明两者之间存在相同信息的概率越低,即两者相似程度越低。
下面对本发明提供的数据存储装置进行描述,下文描述的数据存储装置与上文描述的数据存储方法可相互对应参照。
基于上述任一实施例,本发明提供一种数据存储装置,如图5所示,该装置包括:
确定单元510,用于基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;
存储单元520,用于在所述相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
此处,待存储数据的元数据指用于描述待存储数据的属性信息,例如待存储数据为用户身高,则待存储数据的元数据可以是用户的姓名、身份证号等。同理,各指标数据的元数据用于描述各指标数据的属性信息,如各指标数据的名称、编码等。
可以理解的是,指标元数据库中存储有大量指标数据的基础信息,为了保证能够准确且快速从指标元数据库中获取对应指标数据的基础信息,需要基于大量指标数据的基础信息构建得到指标元数据库。目前,传统方法中多是直接将大量指标数据的基础信息存储至指标元数据库中,但这些基础信息中可能存在大量相同或相似的信息,进而导致指标元数据库中存在大量冗余数据,浪费指标元数据库的存储空间。此外,在用户输入元数据(如用户的姓名、身份证号等)进行查询时,可能会同时出现多个相同或相似的基础信息供用户筛选,进而降低了用户查询信息的效率。
由此可见,传统方法中在将指标数据的基础信息存储至指标元数据库中时,无法对该指标数据的基础信息进行查重、查错等处理,不仅浪费了指标元数据库的存储空间,而且会由于存在错误数据导致无法获取对应指标数据的基础信息的问题。
因此,本发明实施例在将待存储数据的基础信息存储至指标元数据库前,基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数,该相似度指数用于表征待存储数据与各指标数据的相似程度,也可以理解为该相似度指数用于表征待存储数据在指标元数据库中的唯一性,即可以确定待存储数据的基础信息是否已经存储于指标元数据库中,若否,则表明指标元数据库中不存在待存储数据的基础信息,即可以将待存储数据的基础信息存储至指标元数据库。
在待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,表明待存储数据与指标元数据库中的所有指标数据的相似程度较低,即待存储数据存在于指标元数据库中的概率较低,此时可以将待存储数据的基础信息存储至指标元数据库。
本发明实施例提供的数据存储装置,基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定待存储数据与各指标数据之间的相似度指数,并在待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,将待存储数据的基础信息存储至指标元数据库,从而避免将与各指标数据重复或相似的待存储数据的基础信息存储至指标元数据库,导致占用指标元数据库存储空间的问题。此外,由于待存储数据与指标元数据库中的其它指标数据不同,从而用户在指标元数据库中可以唯一查询到待存储数据,避免出现多个相似指标数据使得用户需要筛选导致查询效率较低的问题。
基于上述任一实施例,所述确定单元510,包括:
信息确定单元,用于基于所述待存储数据的元数据与各指标数据的元数据,确定所述待存储数据与各指标数据之间的交集信息和并集信息;
相似度指数确定单元,用于基于所述交集信息和所述并集信息,确定所述相似度指数。
基于上述任一实施例,所述相似度指数确定单元,包括:
统计单元,用于统计所述交集信息的数量和所述并集信息的数量;
计算单元,用于以所述交集信息的数量与所述并集信息的数量的比值作为所述相似度指数。
基于上述任一实施例,所述装置还包括:
映射单元,用于在将所述待存储数据的基础信息存储至所述指标元数据库之后,建立所述待存储数据的元数据与所述待存储数据的基础信息之间的映射关系,以及建立所述待存储数据的元数据与授权用户信息之间的映射关系;所述授权用户信息指具备访问所述待存储数据的用户信息。
基于上述任一实施例,所述装置还包括:
获取单元,用于在建立所述待存储数据的元数据与授权用户信息之间的映射关系之后,在检测到待访问用户的查询指令时,获取所述查询指令中的待访问用户信息;
发送单元,用于在所述待访问用户信息与所述待存储数据的元数据之间存在映射关系时,将所述待存储数据的基础信息发送至所述待访问用户。
基于上述任一实施例,所述装置还包括:
提示单元,用于在所述待存储数据与任一指标数据之间的相似度指数大于等于所述相似度阈值时,进行信息提示。
基于上述任一实施例,所述装置还包括:
添加单元,用于在确定所述待存储数据与各指标数据之间的相似度指数之后,以所述待存储数据和各指标数据作为节点,以所述相似度指数作为边,将所述待存储数据、各指标数据和所述相似度指数添加至指标关系图谱。
图6是本发明提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、存储器(memory)620、通信接口(Communications Interface)630和通信总线640,其中,处理器610,存储器620,通信接口630通过通信总线640完成相互间的通信。处理器610可以调用存储器620中的逻辑指令,以执行数据存储方法,该方法包括:基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;在所述待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
此外,上述的存储器620中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的执行数据存储方法,该方法包括:基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;在所述待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的执行数据存储方法,该方法包括:基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;在所述待存储数据与各指标数据之间的相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数据存储方法,其特征在于,包括:
基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;
在所述相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
2.根据权利要求1所述的数据存储方法,其特征在于,所述基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数,包括:
基于所述待存储数据的元数据与各指标数据的元数据,确定所述待存储数据与各指标数据之间的交集信息和并集信息;
基于所述交集信息和所述并集信息,确定所述相似度指数。
3.根据权利要求2所述的数据存储方法,其特征在于,所述基于所述交集信息和所述并集信息,确定所述相似度指数,包括:
统计所述交集信息的数量和所述并集信息的数量;
以所述交集信息的数量与所述并集信息的数量的比值作为所述相似度指数。
4.根据权利要求1所述的数据存储方法,其特征在于,在将所述待存储数据的基础信息存储至所述指标元数据库之后,还包括:
建立所述待存储数据的元数据与所述待存储数据的基础信息之间的映射关系,以及建立所述待存储数据的元数据与授权用户信息之间的映射关系;所述授权用户信息指具备访问所述待存储数据的用户信息。
5.根据权利要求4所述的数据存储方法,其特征在于,在建立所述待存储数据的元数据与授权用户信息之间的映射关系之后,还包括:
在检测到待访问用户的查询指令时,获取所述查询指令中的待访问用户信息;
在所述待访问用户信息与所述待存储数据的元数据之间存在映射关系时,将所述待存储数据的基础信息发送至所述待访问用户。
6.根据权利要求1至5任一项所述的数据存储方法,其特征在于,还包括:
在所述待存储数据与任一指标数据之间的相似度指数大于等于所述相似度阈值时,进行信息提示。
7.根据权利要求1至5任一项所述的数据存储方法,其特征在于,在确定所述待存储数据与各指标数据之间的相似度指数之后,还包括:
以所述待存储数据和各指标数据作为节点,以所述相似度作为边,将所述待存储数据、各指标数据和所述相似度添加至指标关系图谱。
8.一种数据存储装置,其特征在于,包括:
确定单元,用于基于待存储数据的元数据与指标元数据库中各指标数据的元数据,确定所述待存储数据与各指标数据之间的相似度指数;
存储单元,用于在所述相似度指数均小于相似度阈值时,将所述待存储数据的基础信息存储至所述指标元数据库。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述数据存储方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据存储方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111387317.1A CN114356898A (zh) | 2021-11-22 | 2021-11-22 | 数据存储方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111387317.1A CN114356898A (zh) | 2021-11-22 | 2021-11-22 | 数据存储方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114356898A true CN114356898A (zh) | 2022-04-15 |
Family
ID=81096317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111387317.1A Pending CN114356898A (zh) | 2021-11-22 | 2021-11-22 | 数据存储方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114356898A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115203758A (zh) * | 2022-07-21 | 2022-10-18 | 莱阳市致睿电子科技有限公司 | 一种数据安全存储方法、系统及云平台 |
CN116910174A (zh) * | 2023-09-12 | 2023-10-20 | 北京市农林科学院信息技术研究中心 | 面向数据方舱的数据存储管理方法、装置及存储介质 |
-
2021
- 2021-11-22 CN CN202111387317.1A patent/CN114356898A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115203758A (zh) * | 2022-07-21 | 2022-10-18 | 莱阳市致睿电子科技有限公司 | 一种数据安全存储方法、系统及云平台 |
CN115203758B (zh) * | 2022-07-21 | 2023-11-07 | 北京国联视讯信息技术股份有限公司 | 一种数据安全存储方法、系统及云平台 |
CN116910174A (zh) * | 2023-09-12 | 2023-10-20 | 北京市农林科学院信息技术研究中心 | 面向数据方舱的数据存储管理方法、装置及存储介质 |
CN116910174B (zh) * | 2023-09-12 | 2023-12-22 | 北京市农林科学院信息技术研究中心 | 面向数据方舱的数据存储管理方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110309125B (zh) | 数据校验方法、电子装置及存储介质 | |
CN114356898A (zh) | 数据存储方法、装置、电子设备和存储介质 | |
CN110597511B (zh) | 一种页面自动生成方法、系统、终端设备及存储介质 | |
CN108829782B (zh) | 数据表清理方法、服务器及计算机可读存储介质 | |
CN110334144B (zh) | 报文展示方法、装置、计算机设备及存储介质 | |
CN109062936B (zh) | 一种数据查询方法、计算机可读存储介质及终端设备 | |
CN108536739A (zh) | 元数据敏感信息字段识别方法、装置、设备及存储介质 | |
CN116562826A (zh) | 一种基于用户需求的客户erp系统管理方法、系统及介质 | |
CN107025102B (zh) | 一种基于规则文件的决策方法和系统 | |
CN114372868A (zh) | 纸质档案与电子档案的关联管理方法及装置 | |
CN113886242A (zh) | 数据处理方法、装置、终端及存储介质 | |
CN115309702B (zh) | 基于usn日志的文件检索管理方法、装置、系统、设备 | |
CN115688199A (zh) | 智能设备的密钥生成方法、装置、电子设备及介质 | |
CN116401229A (zh) | 数据库的数据校验方法、装置及设备 | |
CN115544132A (zh) | 数据导入方法、系统及电子设备 | |
CN113934729A (zh) | 一种基于知识图谱的数据管理方法、相关设备及介质 | |
CN114547675A (zh) | 一种数据识别方法及装置 | |
CN114461606A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
CN113674083A (zh) | 互联网金融平台信用风险监测方法、装置及计算机系统 | |
CN113342647A (zh) | 一种测试数据的生成方法及装置 | |
CN111858609A (zh) | 区块链模糊查询方法及装置 | |
CN112286881A (zh) | 一种文档的认证溯源方法及装置 | |
CN111901299A (zh) | 申请认证方法、装置、电子设备和存储介质 | |
CN106775854B (zh) | 一种生成配置文件的方法和装置 | |
CN111061885A (zh) | 电子文书制作方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |