CN110110006A - 数据管理方法及相关产品 - Google Patents
数据管理方法及相关产品 Download PDFInfo
- Publication number
- CN110110006A CN110110006A CN201910297504.7A CN201910297504A CN110110006A CN 110110006 A CN110110006 A CN 110110006A CN 201910297504 A CN201910297504 A CN 201910297504A CN 110110006 A CN110110006 A CN 110110006A
- Authority
- CN
- China
- Prior art keywords
- data
- index mark
- database
- message queue
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例涉及数据处理技术领域，具体公开了一种数据管理方法及相关产品，该方法包括：接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在Oracle数据库中的索引标识；通知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库；接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。本申请实施例有利于提高数据访问速度。
Description
技术领域
本申请涉及电子技术领域，具体涉及数据管理方法及相关产品。
背景技术
随着科学技术的飞速发展，网络源源不断的产生新的数据，当产生新数据后，需将一些重要数据存储，以备后续使用，目前，一般将数据存储到Oracle 数据库中进行保存，当后续需要使用该数据时，可以向Oracle数据库发起数据获取请求，但是，当数据库存储的数据过多时，每次调取数据都需要遍历Oracle 数据，导致数据的获取速度慢，从而将部分数据信息存储在其他数据库，来提高数据的访问速度，但是，在数据同步时，对数据库的访问次数多，导致数据库开销较大。
现有技术中，对的数据获取速度慢、同步方式单一、效率低、用户体验差。
发明内容
本申请实施例提供了一种数据管理方法，通过消息队列进行数据库之间的数据同步，提高同步速度，减轻对数据库的访问压力。
第一方面，本申请实施例提供一种数据管理方法，该方法包括：
接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；
通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识；
知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库；
接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。
第二方面，本申请实施例提供一种数据管理装置，该装置包括：
存储单元，用于接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；
第一通知单元，用于通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识；
第二通知单元，用于通知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库；
获取单元，用于接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面所述的方法中的步骤的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例，具有如下有益效果：
可以看出，在本申请实施例中，在对数据进行存储时，首先将该数据存储至Oracle数据库，然后将该数据在Oracle数据库的索引标识同步至ES数据库，并且在同步时，采用消息队列的方式将索引标识同步至ES数据库，从而减少对数据库的访问开销，将多次访问转变为单次访问，减少数据库的算法开销。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供的一种数据管理方法的网络架构示意图；
图1B为本申请实施例提供的一种数据管理方法的流程示意图；
图1C为本申请实施例提供的一种存储数据方式的示意图；
图2为本申请实施例提供的另一种数据管理方法的流程示意图；
图3为本申请实施例提供的一种数据管理装置的结构示意图；
图4为本申请实施例提供的一种数据管理装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请中的数据管理装置可以包括智能手机(如Android手机、iOS手机、 WindowsPhone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备 MID(Mobile InternetDevices，简称：MID)或穿戴式设备等，上述电子设备仅是举例，而非穷举，包含但不限于上述电子设备，例如还可以包括：智能车载终端、计算机设备等等。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
Oracle数据库，一种关系型数据库，采用关系模型来组织数据的数据库，其关系模型指的就是二维表格模型，故Oracle关系型数据库由二维表及其之间的联系所组成的一个数据组织；ES数据库，一种非关系型数据库，存储理念以键值对存储，且结构不固定，每一个元组有不一样的字段，每个元组可以根据需要增加自己的键值对，不局限于固定的结构，减少时间和空间的开销；用户可以根据需求添加自己需要的字段。
优缺点比较：从非关系型数据库中获取数据信息时，不需像关系型数据库中获取数据时，需对多个表进行关联查询。仅需要根据id取出相应的value就可以查询数据信息，查询速度快。由于非关系型数据库存在很少的约束，很难提供像关系型数据库所提供的where这种对于字段属性值情况的查询，故只适合存储一些较为简单的数据，例如，存储索引标识；对于需要进行较复杂查询的数据、逻辑关系较复杂的数据信息，需要存放在关系型数据库。
首先，参阅图1A，图1A为本申请实施例一种数据管理的网络架构示意图，该网络架构包括：客户端10、数据管理装置20、第一服务器30、消息队列40、第二服务器50，其中，第一服务器30为Oracle数据库的服务器，第二服务器 50为ES数据库的服务器；
客户端10，用于向数据管理装置20发送数据存储请求，该数据存储请求中携带待存储数据信息；
数据管理装置20，用于接收来自客户端10的数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；
数据管理装置20，还用于通知第一服务器30向消息队列40发布索引标识，所述索引标识为所述待存储数据信息在Oracle数据库中的索引标识；
数据管理装置20，还用于通知第二服务器50从消息队列40中消费该索引标识，以将所述索引标识保存至该ES数据库；
客户端10，还用于向数据管理装置20发送数据获取请求；
数据管理装置200，还用于接收该数据获取请求，从该ES数据库中获取与所述数据获取请求对应的第一索引标识，从该Oracle数据库中获取与该第一索引标识对应的数据信息。
可以看出，在本申请实施例中，在将数据存储至Oracle数据库后，将存储数据的索引标识同步至ES数据库，并且以消息队列的方式将该索引标识同步至 ES数据库，从而减少了数据同步时对数据库的访问次数，减少了服务器的开销；而且，通过ES数据库和Oracle数据库的协同作用，加快了数据的获取速度。
参阅图1B，图1B为本申请实施例提供的一种数据管理方法，该方法应用于数据管理系统，该数据管理系统包括数据管理装置、客户端以及Oracle数据库和ES数据库的封装组件，该方法包括如步骤S101～S104中所示的内容：
步骤S101、数据管理装置接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库。
其中，该数据存储请求可以为针对任意客户数据信息的存储请求，该数据信息包含若干项数据信息，具体包括客户ID(例如，注册账号或者会员号)、银行卡信息(例如，银行卡号、开户行、开户类型)、信用等级、身份信息(如，年龄、职业)。
其中，该数据存储请求携带待存储数据信息。
可选的，按照预设存储规则将所述待存储数据信息存储至所述Oracle数据库的实现过程可以为：对所述待存储数据信息中的各项数据信息进行关键词识别，确定每项数据信息对应的关键词集群；将属于同一关键词集群的数据信息划分到同一数据维度，得到多个数据维度；获取所述多个数据维度中每个数据维度相对于所述待存储数据信息的重要等级；将重要等级最高的数据维度作为根节点，将所述多个数据维度中除重要等级最高的数据维度之外的其他数据维度作为子节点创建第一树模型；将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上，其中，所述节点包括所述第一树模型的根节点和子节点；将存储数据信息后的第一树模型存储至所述Oracle数据库。
具体来讲，首先预设关键词集群，每个关键词集群中包含若干个关键词，例如，预设身份信息关键词集群，其可以包括关键词：“姓名”、“性别”、“身份证号”、“身高”、“体重”，等等，在对各项数据信息进行关键词识别时，需对识别到的关键词进行属性分析，确定每个关键词的源属性，即源信息，判断该源属性对应的关键词集群，将该源属性对应的关键词集群作为该关键词对应的关键词集群，例如，识别出的关键词为138×××8733时，确定其对应的源属性为电话号码，再如，识别出的关键词为“张三”时，确定其对应的源属性为姓名，故在确定各项信息对应的关键词集群后，将属于同一个关键词集群的各项数据信息划分到同一数据维度，得到多个数据维度；例如，将“姓名”、“性别”、“身份证号”对应的数据信息划分到身份信息维度。
进一步地，获取所述多个数据维度中每个数据维度相对于所述待存储数据信息的重要等级的实现过程可以为：获取各个数据维度的标识信息，确定该标识信息是否具有唯一性，依据该标识信息是否具有唯一性确定每个数据维度的重要等级，其重要等级可以划分为高和低，如标识信息具有唯一性，确定该数据维度的重要等级为高，否则确定该数据维度的重要等级为低。举例来说，对于客户来说，客户ID和客户的身份证号的标识作用均具有唯一性，故其对应的重要等级为高，本申请中以客户ID作为具有唯一性的数据维度为例作具体说明，并不做唯一限定。可以看出，本申请构建的第一树模型与现有的随机森林算法构建的决策树模型相比，本申请中的子节点之间无重要性排序，即子节点处存储的数据信息之间无耦合关系。
进一步地，将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上的实现过程可以为：确定所述多个数据维度中每个数据维度对应的主题域；获取该主题域中主题数量；获取该主题域中每个主题对应的待存储数据信息的数量，确定该主题域中待存数据信息的数量最多的第一主题；以所述主题数量为行数，以所述第一主题对应的待存储数据信息的数量作为列数，创建该主题域对应的Excel表；将该主题域对应的待存储数据信息添加到所述Excel表中；将添加数据信息后的Excel表挂接在每个数据维度对应的节点处。
具体来讲，结合数据仓库理念，预先设置数据维度与主题域的对应关系，依据该对应关系获取每个数据维度对应的主题域，每个主题域中包含至少一个主题，每个主题在该数据维度下对应至少一项数据信息，举例来说，如数据维度为银行卡维度时，其对应的主题域为银行卡，该主题域中主题包括卡号、开户行、银行卡类型(例如，借记卡、信用卡、储蓄卡)，等，故可以主题的数量为Excel表的行数，获取每个主题对应的待存储数据信息的数量，以待存储数据信息的最大数量作为Excel表的行数，构建Excel表，可以理解的是，如该Excel 表中第一行存储的待存储数据信息和第二行存储的待存储数据信息之间存在依赖关系时，在将相关待存储数据信息添加至第一行和第二行时，将存在依赖关系的数据信息添加在该Excel表的同一列，以在获取数据信息时，从该列中提取出一份完整的数据信息。
举例来说，如图1C所示，数据维度包括客户ID维度、身份信息维度、申请信息维度以及银行卡信息维度，故以客户ID作为根节点，将ID号存储在该根节点处的Excel表，分别以身份信息维度、申请信息维度以及银行卡信息维度作为子节点，创建第一树模型，并将各个数据维度对应的待存储数据信息存储在各个节点处的Excel表，由于每张银行卡的卡号和开户行存在依赖关系，所以存储银行卡维度节点对应的数据信息时，将每张银行卡的卡号和开户行存储在 Excel表的同一列，如第一列，表明该列数据信息为每张银行卡的完整信息。
步骤S102、所述数据管理装置通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识。
可选的，在通知Oracle数据库服务器向预先建立的消息队列发布索引标识之前，该数据管理装置需预先建立消息队列，在建立消息队列后，将该消息队列的数据传输方式分别发送给Oracle数据库服务器以及ES数据库服务器，其中，所述数据传输方式包括用户名、密码、访问路径、端口号以及数据传输顺序，该数据传输顺序包括先入先出FIFO顺序或者后入先出LIFO顺序；以使Oracle 数据库服务器根据所述数据传输方式向所述消息队列发布索引标识，以使ES数据库服务器根据所述用户名、密码、访问路径以及端口号从所述消息队列中消费索引标识。
进一步地，所述通知Oracle数据库服务器向预先建立的消息队列发布索引标识的实现过程可以为：在将待存储数据信息存储至Oracle数据库之后，接收 Oracle数据库服务器针对该待存储数据信息反馈的存储成功的第一确认字符 ACK，在接收到该第一ACK时，向Oracle数据库服务器发送数据发布请求，该数据发布请求用于请求所述Oracle数据库服务器执行发布操作，该发布操作具体包括以下操作：获取该第一树模型每个节点处挂接的Excel表的主键，将所述主键作为每个节点的索引标识，将每个节点的主键挂接在每个节点处，如图1C 所示，构建与索引标识对应的第二树模型；利用开发工具包SDK组件封装该第二树模型，得到封装好的数据包，根据接收到的数据传输方式与所述消息队列建立连接，将所述封装好的数据包发布至预先建立的消息队列。
步骤S103、所述数据管理装置通知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库。
可选的，所述通知ES数据库服务器从所述消息队列中消费所述索引标识的实现过程可以为：接收ES数据库服务器针对该索引标识发布成功的第二确认字符ACK，在接收到该第二ACK时，向ES数据库服务器发送数据消费请求，所述数据消费请求用于请求该ES数据库服务器执行消费操作，该消费操作包括以下操作：根据接收到的数据传输方式与所述消息队列建立连接；根据该数据传输方式中的数据传输顺序从所述消息队列中依次消费封装好的数据包，解析该封装好的数据包，得到该第二树模型，将该第二树模型存储至该ES数据库。
在一可能的示例中，在接收到第二ACK时，获取预设时间段内累积接收到的第二ACK的数量，当该第二ACK的达到该消息队列的容量时，向ES数据库服务器发送数据消费请求或者在该预设时间段的结束时刻，向ES数据库服务器发送数据消费请求，其中，该预设时间段可以为1天、1周或者其他值。
步骤S104、所述数据管理装置接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。
可选的，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识的实现过程可以为：遍历ES数据库已存储的所有第二树模型的根节点，确定与该数据获取请求对应的第一根节点，将该第一根节点挂接(存储)的索引标识作为一级索引标识，然后，遍历第一根节点所在的第二树模型的所有子节点，确定与该数据获取请求对应的第一子节点，读取第一根节点处挂接的索引标识，将该索引标识作为二级索引标识，将该一级索引标识和二级索引标识组合，得到与该数据获取请求对应的第一索引标识。
可选的，从所述Oracle数据库中获取与所述第一索引标识对应的数据信息具体包括：确定Oracle数据库中与一级索引标识对应的第一树模型，确定该第一树模型中与二级索引标识对应的子节点，提取该子节点处存储的Excel表，从该Excel表中提取与该数据获取请求对应的数据信息
可以看出，在本申请实施例中，基于Oracle数据库和ES数据库的封装组件，在将待存储数据存储至Oracle数据库时，将该待存储数据的索引标识存储至ES 数据库，当接收到数据访问请求时，先在ES数据库中查询该数据访问请求的索引标识，再基于该索引标识从Oracle数据库获取对应的数据信息，由于ES数据库的访问速度快，所以，提高了数据的访问速度；而且，在将索引标识同步至 ES数据库时，通过消息队列同步，实现批量同步索引标识，减少了对数据库的访问次数，降低了数据库的算法开销，保证数据库工作的稳定性。
在一可能的示例中，在通知ES数据库服务器从所述消息队列中消费所述索引标识时，所述方法还包括：获取所述消息队列的传输速率；如所述传输速率小于预设传输速率，增加所述消息队列中的队列Queue；通知所述Oracle数据库服务器增加与新增的队列Queue对应的Queue线程，在下个时间窗口内开启所有的Queue线程，将索引标识发布至所述消息队列的所有Queue中；通知所述Oracle数据库服务器并行消费所述消息队列的所有Queue中的述索引标识。
在上述可能的示例中，数据管理装置通过计算消息队列每秒传输的第二树模型的数量来获取所述消息队列的传输速率，例如，如预先设定，每次成功消费第二树模型时，需向数据管理装置反馈消费成功确认字符ACK，则可以通过计算ES数据库服务器在单位时间内向数据管理装置反馈的ACK的数量来衡量该消息队列的传输效率，当然仅为示例说明，不做唯一限定；由于，在增加该队列Queue时，该Oracle数据库服务器的发布线程已开启，所以，在下一个时间窗口内开启与增加的队列Queue对应的线程，实现并行向消息队列的Queue 中发布索引标识，从而提高单位时间内同步的索引标识的数量，提高了数据同步的速度，提高用户体验，动态调节队列Queue的数量，可以解决大量数据同步缓慢的问题，使数据同步更加智能。
在一可能的示例中，在按照预设存储规则将待存储数据信息存储至Oracle 数据库之后，所述方法还包括：获取该Oracle数据库中已存储的第一树模型的数量；在所述数量大于1时，将该Oracle数据库已存储的数据信息分层存储。
可选的，在上述可能的示例中，将Oracle数据库已存储的数据信息分层存储的实现过程可以为：将Oracle数据库中已存储的树模型的根节点存放在同一数据存储层；确定已存储的树模型中每个树模型上各个子节点对应的主题域，将同一主题域的至少一个子节点存放在同一数据存储层，将不存在相同主题域的子节点单独存放在一数据存储层。在对数据分层存储后，建立主题域与数据存储层的映射关系，以便依据主题域可查找出该主题域下的数据信息所在的数据存储层。
进一步地，在对已存储的数据信息分层存储之前，预先对数据存储层进行空间分配，其分配过程包括如下步骤：获取每个数据存储层待存储的数据维度；获取该数据维度对应的数据信息类型；获取该数据信息类型对应的存储概率，该存储概率为存储数据信息的所有客户中，存储有该数据维度对应的数据信息的客户在所有客户中的占比；根据该数据类型以及该存储概率计算每个数据存储层所需的存储空间；例如，数据维度为身份信息维度，该身份信息的数据信息类型包含面部图像，相比于其他的数据维度，该数据维度下的数据信息占空间较大，所以，预先划分出一个内存空间较大的数据存储层，以完全存储该数据维度下的数据信息，所以，对数据存储层预先划分存储空间，从而合理利用该存储资源，提高存储利用率。
每个数据存储层所需的存储空间的计算公式如下：
其中，Sj为第j个数据存储层所需的存储空间，pj为第j个数据存储层对应的数据信息类型的存储概率，N为当前时刻在第j个数据存储层存储数据信息的客户数量，Mj为每个客户第j个数据存储层中所需的存储空间，Sj为j个数据存储层中存储的数据信息中的字符数量，aij为该数据信息中第i个图片的像素宽度， bij为该数据信息中第i个图片的像素高度，ki为第i个图片中每个像素点所占的字节大小，n为第j个数据存储层中存储的数据信息中的图片数量，其中，当i＝0 时，表示不存在图片，即a0j＝b0j＝k0＝0，i和j均为大于1的整数。
进一步地，基于Oracle数据库中分层存储的方式，对与索引标识对应的第二树模型进行相同模式的分层存储，在此不再叙述，通过消息队列将分层存储后的第二树模型同步至ES数据库，其同步方式与上述方式一致，不再叙述。
故上述从ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息的实现过程可以为：遍历ES数据库根节点数据存储层中存储的所有根节点，查询与该数据获取请求对应的根节点，获取该根节点存储的索引标识(即一级索引标识)，确定该标识信息对应的主题域，确定与该主题域对应的数据存储层，在该数据存储层中查询与该数据获取请求对应的子节点，获取该子节点存储的索引标识(即二级索引标识)；同理，基于一级索引标识在Oracle数据库中存储根节点层确定出目标树模型；在相应的数据存储层获取与二级索引标识对应的子节点处挂接的Excel表，从该Excel表中提取提取与数据获取请求对应的数据信息。故通过分层存储，在从Oracle数据库调取数据时，无需遍历Oracle 数据库，只需在相应的存储层中查询与数据获取请求对应的数据信息，从而实现快速调取数据，提高了数据的访问速度。
参阅图2，图2为本申请实施例提供的另一种数据管理方法的流程示意图，该方法应用于数据管理装置，该方法包括如步骤S201～S206中所示的内容：
步骤S201、数据管理装置接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库。
步骤S202、所述数据管理装置获取预先建立的消息队列的数据传输方式。
步骤S203、所述数据管理装置将所述数据传输方式分别发送给Oracle数据库服务器以及ES数据库服务器。
步骤S204、所述数据管理装置通知所述Oracle数据库服务器根据接收到的数据传输方式向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识。
步骤S205、所述数据管理装置通知ES数据库服务器根据接收到的数据传输方式从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库。
步骤S206、所述数据管理装置接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述 Oracle数据库中获取与所述数据获取请求对应的数据信息。
需要说明的是，图2所示的方法的各个步骤的具体实现过程可参见上述图 1B所述方法的具体实现过程，在此不再叙述。
可以看出，在本申请实施例中，在将数据存储至Oracle数据库时，将通过消息队列方式，将Oracle数据库中的索引标识批量同步至ES数据库，减少了数据同步次数，而且，按照预设的存储规则将数据整合存储，无需遍历该数据库中的所有数据，通过分层查找的方式即可调取数据，提高了数据的访问速度。
与上述图1B、图2所示的实施例一致的，请参阅图3，图3为本申请实施例提供的一种数据管理装置300的结构示意图，如图3所示，数据管理装置300 包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序不同于上述一个或多个应用程序，且上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；
通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识；
通知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库；
接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。
在一可能的示例中，在按照预设存储规则将所述待存储数据信息存储至 Oracle数据库时，上述程序具体用于执行以下步骤的指令：
对所述待存储数据信息中的各项数据信息进行关键词识别，确定每项数据信息对应的关键词集群；
将属于同一关键词集群的数据信息划分到同一数据维度，得到多个数据维度；
获取所述多个数据维度中每个数据维度相对于所述待存储数据信息的重要等级；
将重要等级最高的数据维度作为根节点，将所述多个数据维度中除重要等级最高的数据维度之外的其他数据维度作为子节点创建第一树模型；
将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上，其中，所述节点包括所述第一树模型的根节点和子节点；
将存储数据信息后的第一树模型存储至Oracle数据库。
在一可能的示例中，在将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上时，上述程序具体用于执行以下步骤的指令：
确定所述多个数据维度中每个数据维度对应的主题域；
获取该主题域中主题数量；
获取该主题域中每个主题对应的待存储数据信息的数量，确定该主题域中待存数据信息的数量最多的第一主题；
以所述主题数量为行数，以所述第一主题对应的待存储数据信息的数量作为列数，创建该主题域对应的Excel表；
将该主题域对应的待存储数据信息添加到所述Excel表中；
将添加数据信息后的Excel表挂接在每个数据维度对应的节点处。
在一可能的示例中，在通知Oracle数据库服务器向预先建立的消息队列发布索引标识之前，上述程序还用于执行以下步骤的指令：
获取预先建立的消息队列的数据传输方式；
将所述数据传输方式分别发送给所述Oracle数据库服务器以及所述ES数据库服务器，以使所述Oracle数据库服务器根据所述数据传输方式向所述消息队列发布索引标识，以使所述ES数据库服务器根据所述用户名、密码、访问路径以及端口号从所述消息队列中消费索引标识；
其中，所述数据传输方式包括用户名、密码、访问路径、端口号以及数据传输顺序。
在一可能的示例中，在通知Oracle数据库服务器向预先建立的消息队列发布索引标识时，上述程序具体用于执行以下步骤的指令：
向Oracle数据库服务器发送数据发布请求，所述发布请求用于数据请求所述Oracle数据库服务器执行发布操作，所述发布操作包括以下操作：
获取所述第一树模型每个节点处挂接的Excel表的主键，将所述主键作为每个节点的索引标识，将每个节点的主键挂接在每个节点处，构建与索引标识对应的第二树模型；
利用开发工具包SDK组件封装所述第二树模型，得到封装好的数据包，根据接收到的数据传输方式与所述消息队列建立连接，将所述封装好的数据包发布至预先建立的消息队列。
在一可能的示例中，在通知ES数据库服务器从所述消息队列中消费所述索引标识时，上述程序具体用于执行以下步骤的指令：
向ES数据库服务器发送数据消费请求，所述数据消费请求用于请求所述 ES数据库服务器执行消费操作，所述消费操作包括以下操作：
根据接收到的数据传输方式与所述消息队列建立连接；
根据所述数据传输方式从所述消息队列中消费所述封装好的数据包，解析所述封装好的数据包，得到所述第二树模型，将所述第二树模型存储至所述ES 数据库。
在一可能的示例中，在通知Oracle数据库服务器向预先建立的消息队列发布索引标识之后，上述程序还用于执行以下步骤的指令：
获取所述Oracle数据库服务器发布至预先建立的消息队列中的索引标识的第一数量；
在通知ES数据库服务器从所述消息队列中消费所述索引标识之后，所述方法还包括：
获取所述ES数据库服务器从所述消息队列中消费的索引标识的第二数量；
如所述第一数量与所述第二数量不一致，通知所述Oracle数据库服务器重新发布索引标识，通知所述ES数据库服务器重新消费索引标识，直至所述第一数量与所述第二数量一致。
参阅图4，图4示出了上述实施例中所涉及的数据管理装置400的一种可能的功能单元组成框图，数据管理装置400包括：存储单元410、第一通知单元 420、第二通知单元430、获取单元440；
存储单元410，用于接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；
第一通知单元420，用于通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识；
第二通知单元430，用于通知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库；
获取单元440，用于接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。
在一可能的示例中，在按照预设存储规则将所述待存储数据信息存储至 Oracle数据库时，存储单元410，具体用于：对所述待存储数据信息中的各项数据信息进行关键词识别，确定每项数据信息对应的关键词集群；将属于同一关键词集群的数据信息划分到同一数据维度，得到多个数据维度；获取所述多个数据维度中每个数据维度相对于所述待存储数据信息的重要等级；将重要等级最高的数据维度作为根节点，将所述多个数据维度中除重要等级最高的数据维度之外的其他数据维度作为子节点创建第一树模型；将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上，其中，所述节点包括所述第一树模型的根节点和子节点；将存储数据信息后的第一树模型存储至Oracle数据库。
在一可能的示例中，在将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上时，存储单元410，具体用于：确定所述多个数据维度中每个数据维度对应的主题域；获取该主题域中主题数量；获取该主题域中每个主题对应的待存储数据信息的数量，确定该主题域中待存数据信息的数量最多的第一主题；以所述主题数量为行数，以所述第一主题对应的待存储数据信息的数量作为列数，创建该主题域对应的Excel表；将该主题域对应的待存储数据信息添加到所述Excel表中；将添加数据信息后的Excel表挂接在每个数据维度对应的节点处。
在一可能的示例中，数据管理装置还包括发送单元450；
发送单元450，用于获取预先建立的消息队列的数据传输方式；将所述数据传输方式分别发送给所述Oracle数据库服务器以及所述ES数据库服务器，以使所述Oracle数据库服务器根据所述数据传输方式向所述消息队列发布索引标识，以使所述ES数据库服务器根据所述用户名、密码、访问路径以及端口号从所述消息队列中消费索引标识；其中，所述数据传输方式包括用户名、密码、访问路径、端口号以及数据传输顺序。
在一可能的示例中，在通知Oracle数据库服务器向预先建立的消息队列发布索引标识时，第一通知单元420，具体用于：向Oracle数据库服务器发送数据发布请求，所述发布请求用于数据请求所述Oracle数据库服务器执行发布操作，所述发布操作包括以下操作：获取所述第一树模型每个节点处挂接的Excel表的主键，将所述主键作为每个节点的索引标识，将每个节点的主键挂接在每个节点处，构建与索引标识对应的第二树模型；利用开发工具包SDK组件封装所述第二树模型，得到封装好的数据包，根据接收到的数据传输方式与所述消息队列建立连接，将所述封装好的数据包发布至预先建立的消息队列。
在一可能的示例中，在通知ES数据库服务器从所述消息队列中消费所述索引标识时，第二通知单元430，具体用于：向ES数据库服务器发送数据消费请求，所述数据消费请求用于请求所述ES数据库服务器执行消费操作，所述消费操作包括以下操作：根据接收到的数据传输方式与所述消息队列建立连接；根据所述数据传输方式从所述消息队列中消费所述封装好的数据包，解析所述封装好的数据包，得到所述第二树模型，将所述第二树模型存储至所述ES数据库。
在一可能的示例中，在通知Oracle数据库服务器向预先建立的消息队列发布索引标识之后，获取单元440，还用于获取所述Oracle数据库服务器发布至预先建立的消息队列中的索引标识的第一数量；在通知ES数据库服务器从所述消息队列中消费所述索引标识之，获取单元440，还用于获取所述ES数据库服务器从所述消息队列中消费的索引标识的第二数量；
如所述第一数量与所述第二数量不一致，通知所述Oracle数据库服务器重新发布索引标识，通知所述ES数据库服务器重新消费索引标识，直至所述第一数量与所述第二数量一致。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于存储计算机程序，其中，该计算机程序被处理器执行，以实现如上述方法实施例中记载的任何一种数据管理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种数据管理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据管理方法，其特征在于，所述方法包括：
接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；
通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识；
通知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库；
接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。
2.根据权利要求1所述的方法，其特征在于，所述按照预设存储规则将所述待存储数据信息存储至Oracle数据库具体包括：
对所述待存储数据信息中的各项数据信息进行关键词识别，确定每项数据信息对应的关键词集群；
将属于同一关键词集群的数据信息划分到同一数据维度，得到多个数据维度；
获取所述多个数据维度中每个数据维度相对于所述待存储数据信息的重要等级；
将重要等级最高的数据维度作为根节点，将所述多个数据维度中除重要等级最高的数据维度之外的其他数据维度作为子节点创建第一树模型；
将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上，其中，所述节点包括所述第一树模型的根节点和子节点；
将存储数据信息后的第一树模型存储至Oracle数据库。
3.根据权利要求2所述的方法，其特征在于，所述将所述多个数据维度各自对应的待存储数据信息存储在对应的节点上具体包括：
确定所述多个数据维度中每个数据维度对应的主题域；
获取该主题域中主题数量；
获取该主题域中每个主题对应的待存储数据信息的数量，确定该主题域中待存数据信息的数量最多的第一主题；
以所述主题数量为行数，以所述第一主题对应的待存储数据信息的数量作为列数，创建该主题域对应的Excel表；
将该主题域对应的待存储数据信息添加到所述Excel表中；
将添加数据信息后的Excel表挂接在每个数据维度对应的节点处。
4.根据权利要求1所述的方法，其特征在于，所述在通知Oracle数据库服务器向预先建立的消息队列发布索引标识之前，所述方法还包括：
获取预先建立的消息队列的数据传输方式；
将所述数据传输方式分别发送给Oracle数据库服务器以及ES数据库服务器，所述数据传输方式包括用户名、密码、访问路径、端口号以及数据传输顺序，以使所述Oracle数据库服务器根据所述数据传输方式向所述消息队列发布索引标识，以使所述ES数据库服务器根据所述用户名、密码、访问路径以及端口号从所述消息队列中消费索引标识。
5.根据权利要求4所述的方法，其特征在于，所述通知Oracle数据库服务器向预先建立的消息队列发布索引标识具体包括：
向Oracle数据库服务器发送数据发布请求，所述发布请求用于数据请求所述Oracle数据库服务器执行发布操作，所述发布操作包括以下操作：
获取所述第一树模型每个节点处挂接的Excel表的主键，将所述主键作为每个节点的索引标识，将每个节点的主键挂接在每个节点处，构建与索引标识对应的第二树模型；
利用开发工具包SDK组件封装所述第二树模型，得到封装好的数据包，根据接收到的数据传输方式与所述消息队列建立连接，将所述封装好的数据包发布至预先建立的消息队列。
6.根据权利要求5所述的方法，其特征在于，所述通知ES数据库服务器从所述消息队列中消费所述索引标识具体包括：
向ES数据库服务器发送数据消费请求，所述数据消费请求用于请求所述ES数据库服务器执行消费操作，所述消费操作包括以下操作：
根据接收到的数据传输方式与所述消息队列建立连接；
根据所述数据传输方式从所述消息队列中消费所述封装好的数据包，解析所述封装好的数据包，得到所述第二树模型，将所述第二树模型存储至所述ES数据库。
7.根据权利要求4所述的方法，其特征在于，所述在通知Oracle数据库服务器向预先建立的消息队列发布索引标识之后，所述方法还包括：
获取所述Oracle数据库服务器发布至预先建立的消息队列中的索引标识的第一数量；
在通知ES数据库服务器从所述消息队列中消费所述索引标识之后，所述方法还包括：
获取所述ES数据库服务器从所述消息队列中消费的索引标识的第二数量；
如所述第一数量与所述第二数量不一致，通知所述Oracle数据库服务器重新发布索引标识，通知所述ES数据库服务器重新消费索引标识，直至所述第一数量与所述第二数量一致。
8.一种数据管理装置，其特征在于，所述装置包括：
存储单元，用于接收数据存储请求，提取所述数据存储请求中的待存储数据信息，按照预设存储规则将所述待存储数据信息存储至Oracle数据库；
第一通知单元，用于通知Oracle数据库服务器向预先建立的消息队列发布索引标识，所述索引标识为所述待存储数据信息在所述Oracle数据库中的索引标识；
第二通知单元，用于通知ES数据库服务器从所述消息队列中消费所述索引标识，以将所述索引标识保存至ES数据库；
获取单元，用于接收数据获取请求，从所述ES数据库中获取与所述数据获取请求对应的第一索引标识，根据所述第一索引标识从所述Oracle数据库中获取与所述数据获取请求对应的数据信息。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-7任一项方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，其用于存储计算机程序，其中，所述计算机程序被处理器执行，以实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910297504.7A CN110110006A (zh) | 2019-04-15 | 2019-04-15 | 数据管理方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910297504.7A CN110110006A (zh) | 2019-04-15 | 2019-04-15 | 数据管理方法及相关产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110110006A true CN110110006A (zh) | 2019-08-09 |
Family
ID=67483921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910297504.7A Pending CN110110006A (zh) | 2019-04-15 | 2019-04-15 | 数据管理方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110006A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990396A (zh) * | 2019-10-12 | 2020-04-10 | 贝壳技术有限公司 | 数据存储方法、装置及存储介质 |
| CN111339186A (zh) * | 2020-02-19 | 2020-06-26 | 平安科技（深圳）有限公司 | 工作流引擎数据同步方法、装置、介质及电子设备 |
| CN111352994A (zh) * | 2020-02-04 | 2020-06-30 | 浙江大华技术股份有限公司 | 数据同步方法以及相关设备、装置 |
| CN111427959A (zh) * | 2020-03-27 | 2020-07-17 | 北京贝斯平云科技有限公司 | 一种数据存储方法及装置 |
| CN111526207A (zh) * | 2020-05-06 | 2020-08-11 | 金蝶软件（中国）有限公司 | 数据传输方法及相关设备 |
| CN112631800A (zh) * | 2020-12-22 | 2021-04-09 | 平安普惠企业管理有限公司 | 面向kafka的数据传输方法、系统、计算机设备及存储介质 |
| CN112765610A (zh) * | 2019-08-30 | 2021-05-07 | 创新先进技术有限公司 | 交易调度方法及装置 |
| CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
| CN113127219A (zh) * | 2019-12-31 | 2021-07-16 | 中移(苏州)软件技术有限公司 | 数据存储方法、数据获取方法、装置和存储介质 |
| CN113296973A (zh) * | 2020-07-20 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 一种消息处理方法、消息读取方法、装置及可读介质 |
| CN113568907A (zh) * | 2021-07-14 | 2021-10-29 | 彩讯科技股份有限公司 | 一种站内信消息处理方法、装置、服务器及存储介质 |
| CN113761330A (zh) * | 2020-09-16 | 2021-12-07 | 北京京东尚科信息技术有限公司 | 设备信息获取方法、装置、电子设备和存储介质 |
| US11922026B2 (en) | 2022-02-16 | 2024-03-05 | T-Mobile Usa, Inc. | Preventing data loss in a filesystem by creating duplicates of data in parallel, such as charging data in a wireless telecommunications network |
| CN113127659B (zh) * | 2019-12-31 | 2024-09-27 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014141802A1 (ja) * | 2013-03-12 | 2014-09-18 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
| US20160371355A1 (en) * | 2015-06-19 | 2016-12-22 | Nuodb, Inc. | Techniques for resource description framework modeling within distributed database systems |
| CN106708996A (zh) * | 2016-12-19 | 2017-05-24 | 北京天广汇通科技有限公司 | 用于对关系数据库进行全文搜索的方法及系统 |
| CN108717432A (zh) * | 2018-05-11 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 资源查询方法及装置 |
| CN109144994A (zh) * | 2017-06-19 | 2019-01-04 | 华为技术有限公司 | 索引更新方法、系统及相关装置 |
-
2019
- 2019-04-15 CN CN201910297504.7A patent/CN110110006A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014141802A1 (ja) * | 2013-03-12 | 2014-09-18 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
| US20160371355A1 (en) * | 2015-06-19 | 2016-12-22 | Nuodb, Inc. | Techniques for resource description framework modeling within distributed database systems |
| CN106708996A (zh) * | 2016-12-19 | 2017-05-24 | 北京天广汇通科技有限公司 | 用于对关系数据库进行全文搜索的方法及系统 |
| CN109144994A (zh) * | 2017-06-19 | 2019-01-04 | 华为技术有限公司 | 索引更新方法、系统及相关装置 |
| CN108717432A (zh) * | 2018-05-11 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 资源查询方法及装置 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112765610A (zh) * | 2019-08-30 | 2021-05-07 | 创新先进技术有限公司 | 交易调度方法及装置 |
| CN110990396B (zh) * | 2019-10-12 | 2024-02-27 | 贝壳技术有限公司 | 数据存储方法、装置及存储介质 |
| CN110990396A (zh) * | 2019-10-12 | 2020-04-10 | 贝壳技术有限公司 | 数据存储方法、装置及存储介质 |
| CN113127219A (zh) * | 2019-12-31 | 2021-07-16 | 中移(苏州)软件技术有限公司 | 数据存储方法、数据获取方法、装置和存储介质 |
| CN113127659B (zh) * | 2019-12-31 | 2024-09-27 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
| CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
| CN111352994A (zh) * | 2020-02-04 | 2020-06-30 | 浙江大华技术股份有限公司 | 数据同步方法以及相关设备、装置 |
| CN111352994B (zh) * | 2020-02-04 | 2023-04-18 | 浙江大华技术股份有限公司 | 数据同步方法以及相关设备、装置 |
| CN111339186B (zh) * | 2020-02-19 | 2022-09-30 | 平安科技（深圳）有限公司 | 工作流引擎数据同步方法、装置、介质及电子设备 |
| CN111339186A (zh) * | 2020-02-19 | 2020-06-26 | 平安科技（深圳）有限公司 | 工作流引擎数据同步方法、装置、介质及电子设备 |
| CN111427959A (zh) * | 2020-03-27 | 2020-07-17 | 北京贝斯平云科技有限公司 | 一种数据存储方法及装置 |
| CN111427959B (zh) * | 2020-03-27 | 2024-04-23 | 北京贝斯平云科技有限公司 | 一种数据存储方法及装置 |
| CN111526207A (zh) * | 2020-05-06 | 2020-08-11 | 金蝶软件（中国）有限公司 | 数据传输方法及相关设备 |
| CN113296973A (zh) * | 2020-07-20 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 一种消息处理方法、消息读取方法、装置及可读介质 |
| CN113761330A (zh) * | 2020-09-16 | 2021-12-07 | 北京京东尚科信息技术有限公司 | 设备信息获取方法、装置、电子设备和存储介质 |
| CN112631800A (zh) * | 2020-12-22 | 2021-04-09 | 平安普惠企业管理有限公司 | 面向kafka的数据传输方法、系统、计算机设备及存储介质 |
| CN113568907A (zh) * | 2021-07-14 | 2021-10-29 | 彩讯科技股份有限公司 | 一种站内信消息处理方法、装置、服务器及存储介质 |
| US11922026B2 (en) | 2022-02-16 | 2024-03-05 | T-Mobile Usa, Inc. | Preventing data loss in a filesystem by creating duplicates of data in parallel, such as charging data in a wireless telecommunications network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110006A (zh) | 数据管理方法及相关产品 | |
| US10579827B2 (en) | Event processing system to estimate unique user count | |
| CN107315776A (zh) | 一种基于云计算的数据管理系统 | |
| CN110471900A (zh) | 数据处理方法及终端设备 | |
| CN107622102A (zh) | 实体卡号生成方法及终端设备 | |
| CN103607418B (zh) | 基于云服务数据特征的大规模数据分割系统及分割方法 | |
| US11226982B2 (en) | Synchronization of offline instances | |
| CN109299157A (zh) | 一种分布式大单表的数据导出方法及装置 | |
| CN116955361A (zh) | 存储器内密钥范围搜索方法和系统 | |
| CN104407879A (zh) | 一种电网时序大数据并行加载方法 | |
| CN103902548B (zh) | 一种访问数据库的系统和方法及注册、订票、网购系统 | |
| CN103856462A (zh) | 一种会话的管理方法及系统 | |
| CN110134698A (zh) | 数据管理方法及相关产品 | |
| CN109218385A (zh) | 处理数据的方法和装置 | |
| WO2016127854A1 (zh) | 一种信息处理方法及装置 | |
| CN101778131A (zh) | 数据同步系统 | |
| CN110119396A (zh) | 数据管理方法及相关产品 | |
| CN101789963A (zh) | 数据同步系统 | |
| CN111259062B (zh) | 一种能够保证分布式数据库全表查询语句结果集顺序的方法和装置 | |
| CN106326295B (zh) | 语义数据的存储方法及装置 | |
| CN110110007A (zh) | 数据管理方法及相关产品 | |
| CN110119427A (zh) | 数据管理方法及相关产品 | |
| CN103970592A (zh) | 交易中间件的单线程多任务处理方法及服务器 | |
| CN115525659A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
| CN104735149A (zh) | 一种云计算资源管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |