CN116204136A - 一种数据存储、查询方法、装置、设备及存储介质 - Google Patents

一种数据存储、查询方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116204136A
CN116204136A CN202310485464.5A CN202310485464A CN116204136A CN 116204136 A CN116204136 A CN 116204136A CN 202310485464 A CN202310485464 A CN 202310485464A CN 116204136 A CN116204136 A CN 116204136A
Authority
CN
China
Prior art keywords
data
preset
data storage
storage
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310485464.5A
Other languages
English (en)
Other versions
CN116204136B (zh
Inventor
王雄儒
李锐
赵鑫鑫
姜凯
王帅
于帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Science Research Institute Co Ltd
Original Assignee
Shandong Inspur Science Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Science Research Institute Co Ltd filed Critical Shandong Inspur Science Research Institute Co Ltd
Priority to CN202310485464.5A priority Critical patent/CN116204136B/zh
Publication of CN116204136A publication Critical patent/CN116204136A/zh
Application granted granted Critical
Publication of CN116204136B publication Critical patent/CN116204136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • G06F3/0622Securing storage systems in relation to access
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据存储、查询方法、装置、设备及存储介质,应用于预设虚拟现实数据库,涉及数据库设计领域,包括:当获取预设应用终端发送的数据存储请求时,通过预设数据库服务器对数据存储请求中的待存储数据进行解码得到解码后数据;将解码后数据发送至预设虚拟数据存储分区进行存储,在预设虚拟数据存储分区基于预设数据分解规则对解码后数据进行分解操作得到若干分解后数据片段;确定预设现实数据存储分区中与各分解后数据片段对应的存储地址,利用存储地址完成针对相应的分解后数据片段的存储。本申请通过将在预设虚拟数据存储分区分解后得到的数据片段存储至预设现实数据存储分区,在保证效率的前提下有效减少了繁杂数据的重复存储。

Description

一种数据存储、查询方法、装置、设备及存储介质
技术领域
本发明涉及数据库设计领域,特别涉及一种数据存储、查询方法、装置、设备及存储介质。
背景技术
数据库是一种数据记录存储系统,支持多种数据的存储、检索和高速处理,因此被广泛应用于商业、工业、人工智能和大数据等领域。在应用过程中,用户可以通过查询数据库来发现隐藏在数据集中的信息。
目前,随着人工智能领域和信息化社会的不断推进,数据库中存储的信息数量日渐繁杂。当前行业常用的数据库在内存容量壁垒下的发展逐步进入瓶颈期,庞大的数据基数给用户的数据库的正常存取操作带来了巨大挑战,内存爆满溢出现象时有发生,给用户带来不好的使用体验。
发明内容
有鉴于此,本发明的目的在于提供一种数据存储、查询方法、装置、设备及存储介质,能够在保证效率的前提下有效减少繁杂数据的重复存储,节约预设现实数据存储分区的内存容量,并避免当前海量存储数据时导致的数据库爆满溢出的现象。其具体方案如下:
第一方面,本申请提供了一种数据存储方法,应用于预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述方法包括:
当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;
将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;
确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。
可选的,所述数据存储方法,还包括:
对通过预设接口获取的所述预设应用终端发送的终端请求进行类型判断,得到与所述终端请求对应的目标请求类型;所述目标请求类型为数据存储请求或数据查询请求,所述预设应用终端为移动终端或固定终端。
可选的,所述在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段,包括:
在所述预设虚拟数据存储分区基于预设聚类算法对所述解码后数据进行预设轮次的分解操作,得到若干分解后数据片段。
可选的,所述确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,包括:
基于哈希算法确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址。
可选的,所述在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作之后,还包括:
在所述分解操作结束后启动计时,并在计时时长达到预设时间阈值时,触发所述预设虚拟数据存储分区对本地存储的相应的所述解码后数据进行自动丢失操作。
第二方面,本申请提供了一种数据存储方法,应用于利用前述的数据存储方法进行数据存储的预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述数据查询方法包括:
当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据;
如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段;
基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
可选的,所述基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据之后,还包括:
如果是,则直接读取存储于所述预设虚拟数据存储分区中的所述目标查询数据;
通过所述预设数据库服务器对所述目标查询数据进行数据编码操作,并将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
第三方面,本申请提供了一种数据存储装置,应用于预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述装置包括:
数据解码模块,用于当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;
数据分解模块,用于将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;
数据存储模块,用于确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。
第四方面,本申请提供了一种数据查询装置,应用于利用前述的数据存储装置进行数据存储的预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述数据查询装置包括:
数据判断模块,用于当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据;
数据读取模块,用于如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段;
数据返回模块,用于基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
第五方面,本申请提供了一种电子设备,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现前述的方法的步骤。
第六方面,本申请提供了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述的方法的步骤。
可见,本申请中,当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。本申请在接收到数据存储请求时,先在预设虚拟现实数据库的预设虚拟数据存储分区对待存储数据进行分解,得到若干分解后数据片段,然后再将各所述分解后数据片段存储至所述预设虚拟现实数据库的预设现实数据存储分区。这样一来,能够在保证效率的前提下有效减少繁杂数据的重复存储,节约预设现实数据存储分区的内存容量,有效避免当前海量存储数据时导致的数据库爆满溢出的现象,并进而提高用户体验感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种数据存储方法流程图;
图2为本申请提供的一种数据存储、查询方法流程示意图;
图3为本申请提供的一种数据库应用方法案例示意图;
图4为本申请提供的一种预设虚拟现实数据库运行流程示意图;
图5为本申请提供的一种预设虚拟显示数据库整体架构示意图;
图6为本申请提供的一种现有数据库与预设虚拟现实数据库的存储方式区别示意图;
图7为本申请提供的一种数据查询方法流程图;
图8为本申请提供的一种数据存储装置结构示意图;
图9为本申请提供的一种数查询装置结构示意图;
图10为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,随着人工智能领域和信息化社会的不断推进,数据库中存储的信息数量日渐繁杂。当前行业常用的数据库在内存容量壁垒下的发展逐步进入瓶颈期,庞大的数据基数给用户的数据库的正常存取操作带来了巨大挑战,内存爆满溢出现象时有发生,给用户带来不好的使用体验。为此,本申请提供了一种数据存储、查询方案,能够在保证效率的前提下有效减少繁杂数据的重复存储,节约预设现实数据存储分区的内存容量,并避免当前海量存储数据时导致的数据库爆满溢出的现象。
参见图1所示,本发明实施例公开了一种数据查询方法,应用于预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述方法包括:
步骤S11、当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据。
具体的,参见图2所示,本实施例中,在对所述数据存储请求中的待存储数据执行解码操作之前,需要确定当前获取的预设应用终端发送的请求为数据存储请求,也即对通过预设接口获取的所述预设应用终端发送的终端请求进行类型判断,得到与所述终端请求对应的目标请求类型;所述目标请求类型为数据存储请求或数据查询请求,所述预设应用终端为移动终端或固定终端。参见图3所示,所述固定终端包括但不限于PC(PersonalComputer,个人计算机)端、服务器、数据中心,所述移动终端包括但不限于手机、iPad等便携式数据查询终端。其中,所述固定终端可直接通过自身的应用系统安装的数据库应用软件像预设虚拟现实数据库发送所述请求,需要理解的是,所述请求以电信号的形式传送至所述预设虚拟现实数据库的信息收发端口,进而实现数据的查询或存储。同时,所述移动终端则需通过无线网络将所述请求发送至所在区域的通信调制调节器,以便基于区域网络将所述请求传送至所述预设虚拟现实数据库的所述信息收发端口,进而实现数据的查询或存储。
进一步的,参见图4所示,本实施例在执行数据解码操作时,具体是在所述预设数据库服务器的数据解码模块中完成的。
需要理解的是,结合图5所示的所述预设虚拟现实数据库的整体架构示意图,可知所述预设虚拟现实数据库由预设虚拟现实数据库管理平台和所述预设现实数据存储分区两部分组成。其中,所述预设虚拟现实数据库管理平台包括预设虚拟数据存储分区和所述预设数据库服务器,并且所述预设现实数据存储分区以电信号的方式与所述预设数据库服务器进行通信,所述预设数据库服务器包括相应的CPU(Central Processing Unit,中央处理器)。
步骤S12、将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段。
本实施例中,所述在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段,具体可以包括:在所述预设虚拟数据存储分区基于预设聚类算法对所述解码后数据进行预设轮次的分解操作,得到若干分解后数据片段。具体参见图6所示,当所述待存储数据为ABAD、ACCD、CBD三组数据时,现有数据库直接为所述三组数据分配存储地址,然后进行存储。这样一来,占用了11个单位的数据库存储空间。而本实施例中的所述预设虚拟现实数据库需要对所述三组数据进行分解,然后为分解后得到的若干数据片段分配存储地址,然后进行存储。这样一来,仅占用4个单位的数据库存储空间,在最大限度上减少了数据库的内存损耗,避免了当前海量存储数据时导致的数据库爆满溢出的现象
结合图4所示,本实施例在进行分解操作的过程中,具体是先将解码后数据发送至所述预设虚拟数据存储分区的数据分解区的第一层缓存,并基于所述预设聚类算法进行分解(步骤①)。然后将第一次分解后的结果存放之第二层缓存(步骤②),并基于所述预设聚类算法进行分解(步骤③),得到最终的所述若干数据片段。然后将所述若干数据片段存放至第三层缓存(步骤④),并执行步骤S13(步骤⑤),以完成单次查询。其中,需要理解的是,所述算法单元存储于所述预设数据库服务器。
进一步的,所述在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作之后,具体还可以包括:在所述分解操作结束后启动计时,并在计时时长达到预设时间阈值时,触发所述预设虚拟数据存储分区对本地存储的相应的所述解码后数据进行自动丢失操作。其中,所述预设时间阈值可以预先基于实际需求进行设置,例如,所述预设时间阈值可以设置为14天。这样一来,可以在方便数据读取的条件下避免过多数据重复存储。此外,可以理解的是,所述预设现实数据存储分区中存储的数据是始终存在的,除执行人为擦除操作外不会进行自动丢失操作。
步骤S13、确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。
本实施例中,所述确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,具体可以包括:基于哈希算法确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址。
由此可见,本申请实施例中,当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。本申请在接收到数据存储请求时,先在预设虚拟现实数据库的预设虚拟数据存储分区对待存储数据进行分解,得到若干分解后数据片段,然后再将各所述分解后数据片段存储至所述预设虚拟现实数据库的预设现实数据存储分区。这样一来,能够在保证效率的前提下有效减少繁杂数据的重复存储,节约预设现实数据存储分区的内存容量,有效避免当前海量存储数据时导致的数据库爆满溢出的现象,并进而提高用户体验感。
参见图7所示,本发明实施例公开了一种数据查询方法,应用于利用前述的数据存储方法进行数据存储的预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述数据查询方法包括:
步骤S21、当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据。
本实施例中,结合图2所示,所述基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据之后,具体还可以包括:如果是,则直接读取存储于所述预设虚拟数据存储分区中的所述目标查询数据;通过所述预设数据库服务器对所述目标查询数据进行数据编码操作,以通过将编码后数据返回至所述预设应用终端完成相应的数据查询操作。在此情况下可以快速实现数据的查询操作,也即在一定程度上降低了执行数据查询操作的所耗时长。
步骤S22、如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段。
步骤S23、基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
本实施例中,结合图4所示,如果所述预设虚拟数据存储分区未查询到相应所述目标查询数据,则需通过哈希算法计算所述预设现实数据存储分区中与所述目标查询数据对应的存储地址(步骤⑥),并读取各所述存储地址上预先保存的分解后数据片段至所述预设虚拟数据存储分区的所述数据分解区的所述第三层缓存中。然后利用预设哈希组合算法对存储至所述第三层缓存中的数据进行合成(步骤⑦),并将合成后数据发送至所述预设虚拟数据存储分区的所述数据分解区的所述第一层缓存中(步骤⑧)。然后将所述合成后数据发送至所述预设数据库服务器的数据编码模块进行编码,并将编码后数据返回至所述预设应用终端,完成单次查询。
其中,关于上述步骤S22的具体过程可以参考前述实施例公开的相应内容,在此不再进行赘述。
由此可见,本申请实施例中,当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据;如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段;基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。本申请在获取数据查询请求时先判断预设虚拟数据存储分区是否存储目标查询数据,如果否则获取预设现实数据存储分区内与所述目标查询数据对应的数据片段,并对所述数据片段进行合成。这样一来,有效保证了数据查询操作的效率。
参见图8所示,本申请实施例还相应公开了一种数据存储装置,应用于预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述装置包括:
数据解码模块11,用于当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;
数据分解模块12,用于将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;
数据存储模块13,用于确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。
其中,关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
由此可见,本申请中,当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。本申请在接收到数据存储请求时,先在预设虚拟现实数据库的预设虚拟数据存储分区对待存储数据进行分解,得到若干分解后数据片段,然后再将各所述分解后数据片段存储至所述预设虚拟现实数据库的预设现实数据存储分区。这样一来,能够在保证效率的前提下有效减少繁杂数据的重复存储,节约预设现实数据存储分区的内存容量,有效避免当前海量存储数据时导致的数据库爆满溢出的现象,并进而提高用户体验感。
在一些具体实施例中,所述数据存储装置,具体还可以包括:
请求类型判断单元,用于对通过预设接口获取的所述预设应用终端发送的终端请求进行类型判断,得到与所述终端请求对应的目标请求类型;所述目标请求类型为数据存储请求或数据查询请求,所述预设应用终端为移动终端或固定终端。
在一些具体实施例中,所述数据分解模块12,具体可以包括:
数据分解单元,用于在所述预设虚拟数据存储分区基于预设聚类算法对所述解码后数据进行预设轮次的分解操作,得到若干分解后数据片段。
在一些具体实施例中,所述数据存储模块13,具体可以包括:
存储地址确定单元,用于基于哈希算法确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址。
在一些具体实施例中,所述数据存储装置,具体还可以包括:
数据自动丢失单元,用于在所述分解操作结束后启动计时,并在计时时长达到预设时间阈值时,触发所述预设虚拟数据存储分区对本地存储的相应的所述解码后数据进行自动丢失操作。
参见图9所示,本申请实施例还相应公开了一种数据查询装置,应用于利用前述的数据存储装置进行数据存储的预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述数据查询装置包括:
数据判断模块21,用于当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据;
数据读取模块22,用于如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段;
数据返回模块23,用于基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
其中,关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
由此可见,本申请实施例,当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据;如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段;基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。本申请在获取数据查询请求时先判断预设虚拟数据存储分区是否存储目标查询数据,如果否则获取预设现实数据存储分区内与所述目标查询数据对应的数据片段,并对所述数据片段进行合成。这样一来,有效保证了数据查询操作的效率。
在一些具体实施例中,所述数据查询装置,具体还可以包括:
目标查询数据直接读取单元,用于如果是,则直接读取存储于所述预设虚拟数据存储分区中的所述目标查询数据;
编码后数据返回单元,用于通过所述预设数据库服务器对所述目标查询数据进行数据编码操作,并将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
进一步的,本申请实施例还公开了一种电子设备,图10是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图10为本申请实施例提供的一种电子设备30的结构示意图。该电子设备 20,具体可以包括:至少一个处理器31、至少一个存储器32、电源33、通信接口34、输入输出接口35和通信总线36。其中,所述存储器32用于存储计算机程序,所述计算机程序由所述处理器31加载并执行,以实现前述任一实施例公开的方法中的相关步骤。另外,本实施例中的电子设备30具体可以为电子计算机。
电源33用于为电子设备30上的各硬件设备提供工作电压;通信接口34能够为电子设备30创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口35,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器32作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统321、计算机程序322等,存储方式可以是短暂存储或者永久存储。
其中,操作系统321用于管理与控制电子设备30上的各硬件设备以及计算机程序322,其可以是Windows Server、Netware、Unix、Linux等。计算机程序322除了包括能够用于完成前述任一实施例公开的由电子设备30执行的方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种数据存储方法,其特征在于,应用于预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述方法包括:
当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;
将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;
确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。
2.根据权利要求1所述的数据存储方法,其特征在于,还包括:
对通过预设接口获取的所述预设应用终端发送的终端请求进行类型判断,得到与所述终端请求对应的目标请求类型;所述目标请求类型为数据存储请求或数据查询请求,所述预设应用终端为移动终端或固定终端。
3.根据权利要求1所述的数据存储方法,其特征在于,所述在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段,包括:
在所述预设虚拟数据存储分区基于预设聚类算法对所述解码后数据进行预设轮次的分解操作,得到若干分解后数据片段。
4.根据权利要求1所述的数据存储方法,其特征在于,所述确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,包括:
基于哈希算法确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址。
5.根据权利要求1至4任一项所述的数据存储方法,其特征在于,所述在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作之后,还包括:
在所述分解操作结束后启动计时,并在计时时长达到预设时间阈值时,触发所述预设虚拟数据存储分区对本地存储的相应的所述解码后数据进行自动丢失操作。
6.一种数据查询方法,其特征在于,应用于利用如权利要求1至5任一项所述的数据存储方法进行数据存储的预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述数据查询方法包括:
当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据;
如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段;
基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
7.根据权利要求6所述的数据查询方法,其特征在于,所述基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据之后,还包括:
如果是,则直接读取存储于所述预设虚拟数据存储分区中的所述目标查询数据;
通过所述预设数据库服务器对所述目标查询数据进行数据编码操作,并将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
8.一种数据存储装置,其特征在于,应用于预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述装置包括:
数据解码模块,用于当获取预设应用终端发送的数据存储请求时,通过所述预设数据库服务器对所述数据存储请求中的待存储数据执行解码操作,得到解码后数据;
数据分解模块,用于将所述解码后数据发送至所述预设虚拟数据存储分区进行存储,并在所述预设虚拟数据存储分区基于预设数据分解规则对所述解码后数据进行分解操作,得到若干分解后数据片段;
数据存储模块,用于确定所述预设现实数据存储分区中与各所述分解后数据片段对应的存储地址,并利用所述存储地址完成针对相应的所述分解后数据片段的存储操作。
9.一种数据查询装置,其特征在于,应用于利用如权利要求8所述的数据存储装置进行数据存储的预设虚拟现实数据库,所述预设虚拟现实数据库包括相应的预设虚拟数据存储分区、预设数据库服务器以及预设现实数据存储分区;其中,所述数据查询装置包括:
数据判断模块,用于当获取预设应用终端发送的数据查询请求时,基于所述数据查询请求判断所述预设虚拟数据存储分区是否已存储目标查询数据;
数据读取模块,用于如果否,则确定所述预设现实数据存储分区中与所述目标查询数据对应的各存储地址,并读取各所述存储地址上预先保存的分解后数据片段;
数据返回模块,用于基于预设数据组合规则对读取到的各所述分解后数据片段进行合成,并将合成后数据发送至所述预设数据库服务器进行数据编码操作,然后将编码后数据返回至所述预设应用终端,以完成相应的数据查询操作。
10.一种电子设备,其特征在于,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至7任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202310485464.5A 2023-05-04 2023-05-04 一种数据存储、查询方法、装置、设备及存储介质 Active CN116204136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310485464.5A CN116204136B (zh) 2023-05-04 2023-05-04 一种数据存储、查询方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310485464.5A CN116204136B (zh) 2023-05-04 2023-05-04 一种数据存储、查询方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116204136A true CN116204136A (zh) 2023-06-02
CN116204136B CN116204136B (zh) 2023-08-15

Family

ID=86513309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310485464.5A Active CN116204136B (zh) 2023-05-04 2023-05-04 一种数据存储、查询方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116204136B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450692A (zh) * 2023-06-06 2023-07-18 山东浪潮科学研究院有限公司 一种数据库故障排查方法,装置、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742806A (en) * 1994-01-31 1998-04-21 Sun Microsystems, Inc. Apparatus and method for decomposing database queries for database management system including multiprocessor digital data processing system
WO2014118560A1 (en) * 2013-01-31 2014-08-07 Alterscope Limited Method and system for data storage
CN106020722A (zh) * 2016-05-19 2016-10-12 浪潮(北京)电子信息产业有限公司 一种云存储系统的重复数据去重方法、装置及系统
CN107239226A (zh) * 2016-03-29 2017-10-10 联想(北京)有限公司 一种数据去重方法及终端、服务器
WO2018090585A1 (zh) * 2016-11-21 2018-05-24 平安科技(深圳)有限公司 数据虚拟化存储方法、装置、服务器和存储介质
CN110941515A (zh) * 2019-12-04 2020-03-31 深圳市科力锐科技有限公司 主机备份重建方法、装置、服务器及存储介质
US20200250080A1 (en) * 2017-10-25 2020-08-06 Huawei Technologies Co., Ltd. Data Read/Write Method and Apparatus, and Storage Server
US20200304574A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and device for storing a data file in a cloud-based storage
US20210227007A1 (en) * 2018-01-19 2021-07-22 Wangsu Science & Technology Co., Ltd. Data storage method, encoding device, and decoding device
US20210286534A1 (en) * 2020-03-11 2021-09-16 International Business Machines Corporation Partitioning of deduplication domains in storage systems
CN113485637A (zh) * 2021-05-11 2021-10-08 广州炒米信息科技有限公司 数据存储方法、装置及计算机设备
CN113568585A (zh) * 2021-08-03 2021-10-29 上海提喀科技有限公司 文件存取方法、设备、节点及存储介质
CN114020766A (zh) * 2021-09-22 2022-02-08 中科恒运股份有限公司 数据查询方法、装置及终端设备
US11250012B1 (en) * 2020-10-12 2022-02-15 Shanghai Icekredit, Inc. Data query method and system
CN115328403A (zh) * 2022-08-19 2022-11-11 济南浪潮数据技术有限公司 一种数据重删方法、装置、设备及存储介质
CN115587231A (zh) * 2022-10-13 2023-01-10 西安银江智慧城市技术有限公司 基于云计算平台的数据组合处理及快速存储调取方法
WO2023029752A1 (zh) * 2021-08-31 2023-03-09 深圳市兆珑科技有限公司 数据查询方法、装置、服务器及计算机可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742806A (en) * 1994-01-31 1998-04-21 Sun Microsystems, Inc. Apparatus and method for decomposing database queries for database management system including multiprocessor digital data processing system
WO2014118560A1 (en) * 2013-01-31 2014-08-07 Alterscope Limited Method and system for data storage
CN107239226A (zh) * 2016-03-29 2017-10-10 联想(北京)有限公司 一种数据去重方法及终端、服务器
CN106020722A (zh) * 2016-05-19 2016-10-12 浪潮(北京)电子信息产业有限公司 一种云存储系统的重复数据去重方法、装置及系统
WO2018090585A1 (zh) * 2016-11-21 2018-05-24 平安科技(深圳)有限公司 数据虚拟化存储方法、装置、服务器和存储介质
US20200250080A1 (en) * 2017-10-25 2020-08-06 Huawei Technologies Co., Ltd. Data Read/Write Method and Apparatus, and Storage Server
US20210227007A1 (en) * 2018-01-19 2021-07-22 Wangsu Science & Technology Co., Ltd. Data storage method, encoding device, and decoding device
US20200304574A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and device for storing a data file in a cloud-based storage
CN110941515A (zh) * 2019-12-04 2020-03-31 深圳市科力锐科技有限公司 主机备份重建方法、装置、服务器及存储介质
US20210286534A1 (en) * 2020-03-11 2021-09-16 International Business Machines Corporation Partitioning of deduplication domains in storage systems
US11250012B1 (en) * 2020-10-12 2022-02-15 Shanghai Icekredit, Inc. Data query method and system
CN113485637A (zh) * 2021-05-11 2021-10-08 广州炒米信息科技有限公司 数据存储方法、装置及计算机设备
CN113568585A (zh) * 2021-08-03 2021-10-29 上海提喀科技有限公司 文件存取方法、设备、节点及存储介质
WO2023029752A1 (zh) * 2021-08-31 2023-03-09 深圳市兆珑科技有限公司 数据查询方法、装置、服务器及计算机可读存储介质
CN114020766A (zh) * 2021-09-22 2022-02-08 中科恒运股份有限公司 数据查询方法、装置及终端设备
CN115328403A (zh) * 2022-08-19 2022-11-11 济南浪潮数据技术有限公司 一种数据重删方法、装置、设备及存储介质
CN115587231A (zh) * 2022-10-13 2023-01-10 西安银江智慧城市技术有限公司 基于云计算平台的数据组合处理及快速存储调取方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BUZA, KRISZTIAN: "Storage-optimizing clustering algorithms for high-dimensional tick data", EXPERT SYSTEMS WITH APPLICATIONS *
张伟;孙涛;刘振斌;: "基于Hash存储的高效DNS缓存系统", 计算机工程与设计, no. 08 *
李爱国 等: "数据挖掘原理、算法及应用", 西安电子科技大学出版社, pages: 130 - 133 *
赵法信, 王国业: "数据挖掘中聚类分析算法研究", 通化师范学院学报, no. 02, pages 130 - 133 *
黄甜甜: "基于深度哈希的层次聚类索引方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450692A (zh) * 2023-06-06 2023-07-18 山东浪潮科学研究院有限公司 一种数据库故障排查方法,装置、设备及存储介质
CN116450692B (zh) * 2023-06-06 2023-08-29 山东浪潮科学研究院有限公司 一种数据库故障排查方法,装置、设备及存储介质

Also Published As

Publication number Publication date
CN116204136B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US8265407B2 (en) Method for coding and decoding 3D data implemented as a mesh model
CN116204136B (zh) 一种数据存储、查询方法、装置、设备及存储介质
CN111276123B (zh) 一种语音播报留言的方法、装置、计算机设备及存储介质
US7110382B2 (en) Method to obtain friendly names for Bluetooth devices
CN107370685A (zh) 一种物联网终端接入方法及装置
CN111679790A (zh) 远程软件开发存储空间分配方法及装置
CN112835632B (zh) 一种端能力的调用方法、设备和计算机存储介质
CN106572131A (zh) 物联网中媒体数据分享的方法及系统
CN112436943B (zh) 基于大数据的请求去重方法、装置、设备及存储介质
CN116360809B (zh) 一种嵌入式智能终端固件远程升级方法、系统及介质
CN111475230B (zh) 应用的功能配置方法、装置和电子设备
CN111314555B (zh) 移动终端的通信方法、装置、移动终端和存储介质
CN112685115A (zh) 国际提示语生成方法、系统、计算机设备及存储介质
CN111404788A (zh) 一种设备分享方法及服务器
CN113791984B (zh) 接口自动化测试方法及装置
CN113691937B (zh) 用于确定位置信息的方法、云手机和终端设备
CN110855750B (zh) 一种软件开发工具包的下载方法及相关设备
CN113986995A (zh) 请求分发方法、装置、存储介质及电子设备
CN102891888B (zh) 一种数据访问方法及相关设备、系统
CN113342811A (zh) HBase表格数据处理方法及装置
CN113342501B (zh) 系统故障处理方法及装置
WO2024021517A1 (zh) 网络协同处理方法、系统、装置及相关设备
CN111884848B (zh) 网络切片的选择方法及装置
CN113132480B (zh) 一种数据传输方法、装置和系统
CN115622981B (zh) 一种WebRTC通信方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant