CN108228606A - 数据的写入方法及装置 - Google Patents
数据的写入方法及装置 Download PDFInfo
- Publication number
- CN108228606A CN108228606A CN201611153920.2A CN201611153920A CN108228606A CN 108228606 A CN108228606 A CN 108228606A CN 201611153920 A CN201611153920 A CN 201611153920A CN 108228606 A CN108228606 A CN 108228606A
- Authority
- CN
- China
- Prior art keywords
- data
- written
- data structure
- search engine
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据的写入方法及装置，涉及数据存储领域，解决了现有技术中针对不同的数据结构，需要编写不同的程序，每次编写程序都会浪费大量的人力和时间，造成数据写入的速度较慢，从而导致数据写入的效率较低的问题。本发明的主要技术方案为：获取分布式搜索引擎中的待写入数据；根据预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，其中，所述预置数据结构映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；将数据结构转换后的数据写入到所述目标数据库中。本发明适用于数据的写入。
Description
技术领域
本发明涉及数据存储领域，尤其涉及一种数据的写入方法及装置。
背景技术
随着科学的发展、数据量的逐步增加，分布式存储系统与分布式存储搜索引擎系统的使用也越来越广泛，其中，在使用分布式存储搜索引擎系统时，通常需要将分布式存储搜索引擎系统中搜索到的数据写入到传统的关系型数据库中，以便后续的使用和提取。例如，在使用ES(Elastic Search，目前主流的一种文档型分布式存储搜索引擎系统)时，通常需要将ES中的数据写入到Sqlite一类的数据库中。
目前，通常采用人工编写程序的方式，将分布式存储搜索引擎系统中的数据写入到传统的关系型数据库中，即采用人工编写的程序将分布式存储搜索引擎系统中不同数据结构的数据写入到传统的关系型数据库中。然而，若采用人工编写程序的方式，将分布式存储搜索引擎系统中的数据写入到传统的关系型数据库中，针对不同的数据结构，需要编写不同的程序，每次编写程序都会浪费大量的人力和时间，造成数据写入的速度较慢，从而导致数据写入的效率较低。
发明内容
鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的数据的写入方法及装置。
为达到上述目的，本发明主要提供如下技术方案：
一方面，本发明提供了一种数据的写入方法，所述方法包括：
获取分布式搜索引擎中的待写入数据；
根据预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，
其中，所述预置数据类型映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；
将数据结构转换后的数据写入到所述目标数据库中。
另一方面，本发明提供了一种数据的写入装置，所述装置包括：
获取单元，用于获取分布式搜索引擎中的待写入数据；
转换单元，用于根据预置数据结构映射表将所述获取单元获取的所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，其中，所述预置数据类型映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；
写入单元，用于将数据结构转换后的数据写入到所述目标数据库中。
借由上述技术方案，本发明提供的一种数据的写入方法及装置。与现有技术中每次针对不同的数据结构，需通过人工编写不同的程序相比，本发明通过预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，实现了自动转化数据结构的功能，避免了每次都需要人工编写程序，节约了人力和时间，进而提高了数据写入的速度和数据写入的效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种数据的写入方法流程图；
图2为本发明实施例提供的另一种数据的写入方法流程图；
图3为本发明实施例提供的一种数据的写入装置结构示意图；
图4为本发明实施例提供的另一种数据的写入装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。
本发明实施例提供了一种数据的写入方法，如图1所示，所述方法包括：
101、获取分布式搜索引擎中的待写入数据。
在本步骤中，所述分布式搜索引擎可以为ElasticSearch，其中ElasticSearch基于使用RESTful web接口，能够提供分布式多用户能力的全文搜索，是目前流行的一种文档型分布式存储搜索引擎系统。
102、根据预置数据结构映射表将待写入数据在分布式搜索引擎中对应的数据结构转换成待写入数据在目标数据库中对应的数据结构。
其中，所述预置数据类型映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系。
在数学领域，映射关系是一个术语，指两个元素的集合之间元素相互“对应”的关系。在本发明实施例中，所述映射关系指同一数据在不同存储系统中不同数据结构间的一种对应关系。
在计算机领域及数据存储领域中，通常我们都要面对数据的转移、复制、存储的问题。在不同的数据库之间、不同的存储系统之间，由于不同的数据库或存储系统存储数据的逻辑方式可能不同，因此，当数据在进行存储和转移时，所存储的同一数据在不同的数据库或存储系统中的结构可能是不同的。为了应对此种情况，同一数据在不同数据库或存储系统间的结构需要一种对应关系，以保证在进行数据的转移、复制和保存时，仍能保证该数据的完整性和真实性。
需要说明的是，在本步骤中，所述将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构中，转换数据结构的方法有很多种，在此不做具体的限定，可以根据需要自行进行选取。
103、将数据结构转换后的数据写入到目标数据库中。
其中，所述目标数据库可以为SQLite。其中，SQLite是一种传统的关系型数据库。因其占用资源非常的低，可能只需要几百K的内存就足使用，因此，SQlite广泛使用在嵌入式设备中。
本发明提供的一种数据的写入方法。与现有技术中每次针对不同的数据结构，需通过人工编写不同的程序相比，本发明通过预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，实现了自动转化数据结构的功能，避免了每次都需要人工编写程序，节约了人力和时间，进而提高了数据写入的速度和数据写入的效率。
本发明实施例提供了另一种数据的写入方法，如图2所示，所述方法包括：
201、获取不同数据在分布式搜索引擎中对应的数据结构，与不同数据在目标数据库中对应的数据结构。
其中，所述数据结构包括不同数据，以及不同数据对应的数据类型。
一般来说，分布式搜索引擎可以为ElasticSearch，这种以RESTful web接口的搜索引擎系统，已经成为目前主流的一种文档型分布式存储搜索引擎系统。在通常情况下，在使用ElasticSearch时，经常会将获取到的数据写入到传统的关系型数据库中，如SQlite数据库中，以便后续操作的使用。
在本发明实施例中，我们主要通过对ElasticSearch搜索引擎与SQlite数据库之间的数据写入过程作为本发明实施例的应用场景，但需要说明的是，本例中所述的搜索引擎与所述目标数据库不做具体的限定，可以根据需要自行进行选取。
通常，数据结构是计算机存储和组织数据的方式，同时也可以理解为相互之间存在一种或多种特定关系的数据元素的集合。数据类型是在数据存储时所体现出的不同类型，譬如int、string等。由此可以得知，数据结构中包含有数据以及数据对应的数据类型。
在实际的运用中，当数据从某一种存储系统或数据库中转移到另一种存储系统和数据库时，由于不同的存储系统或数据库的在保存数据时的逻辑和算法不同，必然会导致数据的数据结构的变化。由于数据结构涉及数据以及对应的数据类型，因此，必然涉及到数据的数据类型的变化。由此可知，同一数据在不同的存储系统或数据库时，有相对应的不同的数据类型。例如：在ElasticSearch中，数据内容id所对应数据类型为string，而在SQlite中，数据内容id对应的数据类型为TEXT。
202、建立不同数据在分布式搜索引擎中对应的数据结构，与不同数据在目标数据库中对应的数据结构之间的映射关系。
如步骤201中所述，同一数据在不同的存储系统、数据库中的数据类型是不同的。因此，在本步骤中，我们需要获取不同数据在分布式搜索引擎中对应数据结构中的数据类型，与不同数据在目标数据库中对应的数据结构中的数据类型，然后将获取到的数据类型一一对应，建立映射关系。
例如：当所述分布式搜索引擎为ElasticSearch，目标数据库为SQLite时，所述ElasticSearch中数据结构中的数据类型包括：int、long、double、string、datetime；则在SQLite中的与之对应的数据结构中的数据类型为：INT、BIGINT、DOUBLE、TEXT、DATETIME。其中，int对应INT、long对应BIGINT等等，将所述获取到的数据类型一一对应，建立映射关系。
203、将映射关系保存到预置数据类型映射表中。
其中，如前文所述，在数学领域，映射关系是一个术语，指两个元素的集合之间元素相互“对应”的关系。在本发明实施例中，所述映射关系指不同数据的数据结构中数据类型间的一种对应关系。
例如，在步骤202中所述，当获取到分布式搜索引擎ElasticSearch中相应数据类型为：int、long、double、string、datetime时，同时获取到目标数据库SQLite中的对应数据类型：INT、BIGINT、DOUBLE、TEXT、DATETIME，则根据映射关系，将所述映射关系保存到映射表中，如表1所示。
表1
| ElasticSearch中数据类型 | SQLite中数据类型 |
| int | INT |
| long | BIGINT |
| double | DOUBLE |
| string | TEXT |
| datetime | DATETIME |
204、获取分布式搜索引擎中的待写入数据。
其中，本步骤包括：获取分布式搜索引擎中的待写入数据的地址；根据所述待写入数据的地址，确定所述待写入数据。
在所述获取分布式搜索引擎中的待写入数据的地址时，首先需先获取所述分布式搜索引擎的地址。其中，在计算机领域中，每一条数据在存储时都需要在存储器中留有一个“地址”，而系统也会通过地址来查找和筛选数据。一般来说，在数据系统中，可能包含多个搜索引擎，因此为了获取待写入数据的地址，首先需获取到待写入数据所在的搜索引擎的地址。随后根据搜索引擎获取到待写入数据的地址，最后再根据待写入数据的地址，确定待写入数据。
205、获取分布式搜索引擎中的待写入数据对应的索引，所述索引记录不同数据分别对应的数据结构。
通常情况下，索引是一种单独的、物理的数对数据库表中一列或多列的值进行排序的一种存储结构，其中包含不同指针以及指针所对应数据，索引的作用可以理解为图书的目录，可以根据目录中的页码快速找到所需的内容。在本发明实施例中，索引可以用来通过获取到所述待写入数据的数据结构，根据数据结构，获取所述待写入数据中不同数据内容，以及不同的数据内容对应的不同数据类型。
206、根据待写入数据的索引，确定待写入数据的数据结构。
在获取到所述待写入数据的索引后，索引中数据结构包含的指针以及对应的数据确定待写入数据中的数据类型，其中当所述分布式搜索引擎为ElasticSearch时，获取到的数据结构中数据包含id、ratio、pubishtime、count时，根据索引，我们可以获取到所述待写入数据的数据结构中不同数据对应的数据类型，如表2所示。
表2
| ElasticSearch中待写入数据 | ElasticSearch中数据类型 |
| id | String |
| ratio | Double |
| pubishtime | Datetime |
| count | Int |
207、根据预置数据类型映射表将待写入数据在分布式搜索引擎中对应的数据结构转换成待写入数据在目标数据库中对应的数据结构。
其中，所述预置数据类型映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系。
在本步骤中，预置数据类型映射表为步骤203中所述保存有待写入数据与目标数据库中对应数据映射关系的表格，根据映射关系，将所述待写入数据的数据结构中不同数据内容转换成目标数据库中对应的数据结构中的数据类型。
例如，当所述待写入数据为ElasticSearch获取的数据，其中包含id、ratio、pubishtime、count内容，目标数据库为SQLite时，则根据前文实施例步骤206所述的表2中待写入数据中各个内容所对应的数据类型，与实施例203中表1所示ElasticSearch与SQLite间的数据类型转换的关系，得出所述待写入数据需进行的数据类型转化关系，如表3所示，然后，根据数据类型转换关系将待写入数据的数据类型转换成目标数据库中的数据类型。
表3
208、将数据结构转换后的数据写入到目标数据库中。
在所述将数据类型转换后的数据写入到所述目标数据库中时，同样需要获取目标数据库的地址，以及所述数据类型转换后的数据需写入目标数据库中的地址。然后根据获取到的所述目标数据库的地址与目标数据库中需写入数据的地址，将所述数据结构转换后的数据写入。具体写入的方式，可以根据需要自行选择。
本发明提供的另一种数据的写入方法。与现有技术中每次针对不同的数据结构，需通过人工编写不同的程序相比，本发明通过获取分布式搜索引擎中待写入数据的数据结构中数据类型与目标数据库的数据结构中数据类型，并预置分布式搜索引擎与目标数据库之间数据结构中不同数据对应的数据类型映射表，以表格的形式确定了映射关系，确保了数据转换的准确性，同时通过获取待写入数据的索引来获取待写入数据的数据结构，其中数据机构包括数据以及数据对应的数据类型，提高了获取速度。并且整个过程实现了自动转化数据类型的功能，避免了每次都需要人工编写程序，进一步节约了人力和时间，从而进一步的提高了数据写入的速度和数据写入的效率。
进一步地，本发明实施例提供一种数据的写入装置，如图3所示，所述装置包括：获取单元31、转换单元32、写入单元33。
获取单元31，可以用于获取分布式搜索引擎中的待写入数据。
转换单元32，用于根据预置数据结构映射表将所述获取单元31获取的所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，其中，所述预置数据类型映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系。
写入单元33，用于将数据结构由转换单元32转换后的数据写入到所述目标数据库中。
需要说明的是，本发明实施例提供的一种数据的写入装置所涉及各功能单元的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
本发明提供的一种数据的写入装置。所述装置包括：获取单元，转换单元，写入单元。与现有技术中每次针对不同的数据结构，需通过人工编写不同的程序相比，本发明通过预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，实现了自动转化数据结构的功能，避免了每次都需要人工编写程序，节约了人力和时间，进而提高了数据写入的速度和数据写入的效率。
进一步地，本发明实施例提供另一种数据的写入装置，如图4所示，所述装置包括：获取单元41、转换单元42和写入单元43。
获取单元41，可以用于获取分布式搜索引擎中的待写入数据。
转换单元42，可以用于根据预置数据结构映射表将所述获取单元41获取的所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，其中，所述预置数据结构映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系。
写入单元43，可以用于将由转换单元42转换数据结构后的数据写入到所述目标数据库中。
进一步的，所述装置还包括：建立单元44和保存单元45。
所述获取单元41，还可以用于获取不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构。
所述建立单元44，可以用于建立所述获取单元41获取的不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系。
所述保存单元45，可以用于将所述建立单元44建立的所述映射关系保存到所述预置数据类型映射表中。
进一步的，所述获取单元41包括：获取模块4101和确定模块4102。
所述获取模块4101，可以用于获取分布式搜索引擎中的待写入数据的地址。
所述确定模块4102，可以用于根据所述待写入数据的地址，确定所述待写入数据。
进一步的，所述装置还包括：确定单元46。
所述获取单元41，还可以用于获取分布式搜索引擎中的待写入数据对应的索引，所述索引记录不同数据分别对应的数据结构。
所述确定单元46，可以用于根据所述待写入数据的索引，确定所述待写入数据的数据结构。
需要说明的是，本发明实施例提供的另一种数据的写入装置，所涉及各功能单元的其他相应描述，可以参考图2所示方法的对应描述，在此不再赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
本发明提供的另一种数据的写入装置。所述装置包括：获取单元，转换单元，写入单元，建立单元，保存单元，确定单元。与现有技术中每次针对不同的数据结构，需通过人工编写不同的程序相比，本发明通过获取分布式搜索引擎中待写入数据的数据结构中数据类型与目标数据库的数据结构中数据类型，并预置分布式搜索引擎与目标数据库之间数据结构中不同数据对应的数据类型映射表，以表格的形式确定了映射关系，确保了数据转换的准确性，同时通过获取待写入数据的索引来获取待写入数据的数据结构，其中数据机构包括数据以及数据对应的数据类型，提高了获取速度。并且整个过程实现了自动转化数据类型的功能，避免了每次都需要人工编写程序，进一步节约了人力和时间，从而进一步的提高了数据写入的速度和数据写入的效率。
所述数据的写入装置包括处理器和存储器，上述获取单元，转换单元，写入单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现自动转化数据结构的功能，进而提高数据写入的速度和数据写入的效率。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取分布式搜索引擎中的待写入数据；根据预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，其中，所述预置数据结构映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；将数据结构转换后的数据写入到所述目标数据库中。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据的写入方法，其特征在于，包括：
获取分布式搜索引擎中的待写入数据；
根据预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，
其中，所述预置数据结构映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；
将数据结构转换后的数据写入到所述目标数据库中。
2.根据权利要求1所述的方法，其特征在于，所述获取分布式搜索引擎中的待写入数据之前，所述方法还包括：
获取不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构；
建立所述不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；
将所述映射关系保存到所述预置数据结构映射表中。
3.根据权利要求1所述的方法，其特征在于，所述获取分布式搜索引擎中的待写入数据包括：
获取分布式搜索引擎中的待写入数据的地址；
根据所述待写入数据的地址，确定所述待写入数据。
4.根据权利要求1所述的方法，其特征在于，所述根据预置数据结构映射表将所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构之前，所述方法还包括：
获取分布式搜索引擎中的待写入数据对应的索引，所述索引记录不同数据分别对应的数据结构；
根据所述待写入数据的索引，确定所述待写入数据的数据结构。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述数据结构包括不同数据，以及不同数据对应的数据类型。
6.一种数据的写入装置，其特征在于，包括：
获取单元，用于获取分布式搜索引擎中的待写入数据；
转换单元，用于根据预置数据结构映射表将所述获取单元获取的所述待写入数据在分布式搜索引擎中对应的数据结构转换成所述待写入数据在目标数据库中对应的数据结构，其中，所述预置数据类型映射表中保存不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；
写入单元，用于将数据结构转换后的数据写入到所述目标数据库中。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：建立单元和保存单元，
所述获取单元，还用于获取不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构；
所述建立单元，用于建立所述第二获取单元获取的不同数据在分布式搜索引擎中对应的数据结构，与所述不同数据在目标数据库中对应的数据结构之间的映射关系；
所述保存单元，用于将所述建立单元建立的所述映射关系保存到所述预置数据结构映射表中。
8.根据权利要求6所述的装置，其特征在于，所述获取单元包括：
获取模块，用于获取分布式搜索引擎中的待写入数据的地址；
确定模块，用于根据所述待写入数据的地址，确定所述待写入数据。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：确定单元，
所述获取单元，还用于获取分布式搜索引擎中的待写入数据对应的索引，所述索引记录不同数据分别对应的数据结构；
所述确定单元，用于根据所述待写入数据的索引，确定所述待写入数据的数据结构。
10.根据权利要求6-9中任一项所述的装置，其特征在于，所述数据结构包括不同数据，以及不同数据对应的数据类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611153920.2A CN108228606A (zh) | 2016-12-14 | 2016-12-14 | 数据的写入方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611153920.2A CN108228606A (zh) | 2016-12-14 | 2016-12-14 | 数据的写入方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108228606A true CN108228606A (zh) | 2018-06-29 |
Family
ID=62638411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611153920.2A Pending CN108228606A (zh) | 2016-12-14 | 2016-12-14 | 数据的写入方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108228606A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062329A (zh) * | 2016-11-08 | 2018-05-22 | 北京国双科技有限公司 | 一种数据导入方法及装置 |
| CN109359152A (zh) * | 2018-12-07 | 2019-02-19 | 泰康保险集团股份有限公司 | 基于切片的编码映射方法、装置、电子设备、存储介质 |
| CN109783074A (zh) * | 2018-12-11 | 2019-05-21 | 平安科技（深圳）有限公司 | 程序编写的数据类型转换方法、电子设备 |
| CN114297278A (zh) * | 2021-12-22 | 2022-04-08 | 苏州众言网络科技股份有限公司 | 批量数据快速写入方法、系统和装置 |
| CN110059153B (zh) * | 2019-03-29 | 2023-09-26 | 中国人民解放军63791部队 | 一种用于实时数据处理系统的数据交换方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101283350A (zh) * | 2005-07-15 | 2008-10-08 | 思索软件有限公司 | 用于为自由文本消息提供结构化数据的方法和装置 |
| US20140188918A1 (en) * | 2012-04-03 | 2014-07-03 | Sas Institute Inc. | Techniques to perform in-database computational programming |
| CN104090901A (zh) * | 2013-12-31 | 2014-10-08 | 腾讯数码（天津）有限公司 | 一种对数据进行处理的方法、装置及服务器 |
| CN104361099A (zh) * | 2014-11-21 | 2015-02-18 | 北京邮电大学 | 一种面向异构存储的适配装置 |
-
2016
- 2016-12-14 CN CN201611153920.2A patent/CN108228606A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101283350A (zh) * | 2005-07-15 | 2008-10-08 | 思索软件有限公司 | 用于为自由文本消息提供结构化数据的方法和装置 |
| US20140188918A1 (en) * | 2012-04-03 | 2014-07-03 | Sas Institute Inc. | Techniques to perform in-database computational programming |
| CN104090901A (zh) * | 2013-12-31 | 2014-10-08 | 腾讯数码（天津）有限公司 | 一种对数据进行处理的方法、装置及服务器 |
| CN104361099A (zh) * | 2014-11-21 | 2015-02-18 | 北京邮电大学 | 一种面向异构存储的适配装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062329A (zh) * | 2016-11-08 | 2018-05-22 | 北京国双科技有限公司 | 一种数据导入方法及装置 |
| CN109359152A (zh) * | 2018-12-07 | 2019-02-19 | 泰康保险集团股份有限公司 | 基于切片的编码映射方法、装置、电子设备、存储介质 |
| CN109359152B (zh) * | 2018-12-07 | 2021-01-29 | 泰康保险集团股份有限公司 | 基于切片的编码映射方法、装置、电子设备、存储介质 |
| CN109783074A (zh) * | 2018-12-11 | 2019-05-21 | 平安科技（深圳）有限公司 | 程序编写的数据类型转换方法、电子设备 |
| CN110059153B (zh) * | 2019-03-29 | 2023-09-26 | 中国人民解放军63791部队 | 一种用于实时数据处理系统的数据交换方法 |
| CN114297278A (zh) * | 2021-12-22 | 2022-04-08 | 苏州众言网络科技股份有限公司 | 批量数据快速写入方法、系统和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108228606A (zh) | 数据的写入方法及装置 | |
| CN103593436B (zh) | 文件合并方法和装置 | |
| US10846278B2 (en) | Dynamic updates to a semantic database using fine-grain locking | |
| CN105786808B (zh) | 一种用于分布式执行关系型计算指令的方法与设备 | |
| CN102640151A (zh) | 信息系统中转换后的数据的高吞吐量、可靠复制 | |
| Holzschuher et al. | Querying a graph database–language selection and performance considerations | |
| CN103914483B (zh) | 文件存储方法、装置及文件读取方法、装置 | |
| CN107292326A (zh) | 一种模型的训练方法和装置 | |
| CN106649828A (zh) | 一种数据查询方法及系统 | |
| CN104156381A (zh) | Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统 | |
| Silva et al. | Integrating big data into the computing curricula | |
| CN106844288A (zh) | 一种随机字符串生成方法及装置 | |
| CN108153776A (zh) | 数据查询方法及装置 | |
| CN105183880A (zh) | 一种哈希连接的方法及装置 | |
| CN110019111A (zh) | 数据处理方法、装置、存储介质以及处理器 | |
| CN105550220B (zh) | 一种异构系统的取数的方法及装置 | |
| CN110019205A (zh) | 一种数据存储、还原方法、装置及计算机设备 | |
| CN114846459A (zh) | 用于智能且可扩展的模式匹配框架的方法和装置 | |
| CN104268225B (zh) | 一种多维自由度寻址的文件系统架构及其生成和访问方式 | |
| CN107807793B (zh) | 分布式计算机存储系统中数据副本异构存储与访问方法 | |
| EP3743821A1 (en) | Wide key hash table for a graphics processing unit | |
| US8407255B1 (en) | Method and apparatus for exploiting master-detail data relationships to enhance searching operations | |
| WO2021004266A1 (zh) | 数据插入方法、装置、设备和储存介质 | |
| CN105930354A (zh) | 存储模型转换方法和装置 | |
| CN107729355B (zh) | 一种基于数据储存类型TVariant的数据存储方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing Applicant before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180629 |
|
| RJ01 | Rejection of invention patent application after publication |