CN115422168A - 一种轻量级数据迁移装置及方法 - Google Patents

一种轻量级数据迁移装置及方法 Download PDF

Info

Publication number
CN115422168A
CN115422168A CN202211360109.7A CN202211360109A CN115422168A CN 115422168 A CN115422168 A CN 115422168A CN 202211360109 A CN202211360109 A CN 202211360109A CN 115422168 A CN115422168 A CN 115422168A
Authority
CN
China
Prior art keywords
data migration
data
user
content
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211360109.7A
Other languages
English (en)
Other versions
CN115422168B (zh
Inventor
吴文池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepexi Technology Co Ltd
Original Assignee
Beijing Deepexi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepexi Technology Co Ltd filed Critical Beijing Deepexi Technology Co Ltd
Priority to CN202211360109.7A priority Critical patent/CN115422168B/zh
Publication of CN115422168A publication Critical patent/CN115422168A/zh
Application granted granted Critical
Publication of CN115422168B publication Critical patent/CN115422168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种轻量级数据迁移装置及方法，其中，装置包括：第一获取模块，用于获取数据迁移任务，所述数据迁移任务包括：源表和目的表；第二获取模块，用于获取所述源表的表信息；所述表信息包括：所述源表的表结构、所述源表中的数据文件的数据结构和文件路径；填充模块，用于基于所述表信息，填充所述目的表，完成数据迁移。本发明的轻量级数据迁移装置及方法，迁移后，真正的数据仍只有一份，不存在数据冗余，整个迁移过程不涉及数据文件的读取和写入，只记录数据文件位置，整个迁移过程相当快捷。

Description

一种轻量级数据迁移装置及方法
技术领域
本发明涉及计算机数据处理技术领域，特别涉及一种轻量级数据迁移装置及方法。
背景技术
目前，进行数据迁移时，多使用sql语句做数据迁移，实际上就是把源表中的数据全部读取一份，然后再重新写入到目的表中，所以源表中存在一个完整数据，目的表中也存在一份完整数据。但是，该过程需要遍历所有数据文件的数据内容，所以该流程耗时很长且存在数据冗余。
发明内容
本发明目的之一在于提供了一种轻量级数据迁移装置，迁移后，真正的数据仍只有一份，不存在数据冗余，整个迁移过程不涉及数据文件的读取和写入，只记录数据文件位置，整个迁移过程相当快捷。
本发明实施例提供的一种轻量级数据迁移装置，包括：
第一获取模块，用于获取数据迁移任务，所述数据迁移任务包括：源表和目的表；
第二获取模块，用于获取所述源表的表信息；所述表信息包括：所述源表的表结构、所述源表中的数据文件的数据结构和文件路径；
填充模块，用于基于所述表信息，填充所述目的表，完成数据迁移。
优选的，所述填充模块基于所述表信息，填充所述目的表，包括：
基于所述源表的表结构和所述源表中的数据文件的数据结构，构建表字段；
通过所述源表中的数据文件的文件路径读取所述数据文件；
基于所述表字段，对读取的所述数据文件进行预处理；
将预处理结果填充至所述目的表中。
优选的，轻量级数据迁移装置，还包括：
删除模块，用于当所述数据文件需要删除时，获取所述数据文件的被引用次数，若所述被引用次数小于等于1，删除所述数据文件，否则，将所述被引用次数减1。
优选的，所述第一获取模块获取数据迁移任务，包括：
获取用户自主输入的数据迁移任务；
和/或，
构建对应于用户的数据迁移任务预测依据库；
基于所述数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务。
优选的，所述第一获取模块构建对应于用户的数据迁移任务预测依据库，包括：
获取待入库内容；
将每一待入库内容整合入库，获得对应于用户的数据迁移任务预测依据库；
其中，获取待入库内容，包括：
获取用户最近预设的第一时间内输入的用户操作，并作为待入库内容；所述用户操作包括：终端操作和语音操作中一种或两种结合；
和/或，
获取用户最近预设的第二时间内与至少一个其他用户之间的互动内容，并作为待入库内容。
优选的，所述第一获取模块基于所述数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务，包括：
将所述数据迁移任务预测依据库输入至预设的数据迁移任务预测模型，预测确定用户需要进行的数据迁移任务；
或，
获取预设的数据迁移任务预测库，所述数据迁移任务预测库包括：多组一一对应的预测依据条件和任务预测结果；
确定所述数据迁移任务预测依据库中是否有满足任一所述预测依据条件的任务预测依据；
若是，将对应所述任务预测结果作为用户需要进行的数据迁移任务。
优选的，所述第一获取模块将所述用户操作作为待入库内容前，对所述用户操作的第一入库价值进行验证，当验证通过时，作为待入库内容；
其中，对所述用户操作的第一入库价值进行验证，包括：
获取用户产生所述用户操作前和后预设的第三时间内产生的其他用户操作；
获取预设的触发操作库；
将任一所述用户操作或所述其他用户操作与所述触发操作库中的任一触发操作进行匹配；
若存在匹配符合，所述用户操作的第一入库价值通过验证；
若匹配均不符合，所述用户操作的第一入库价值未通过验证。
优选的，所述第一获取模块将所述互动内容作为待入库内容前，对所述互动内容的第二入库价值进行验证，当验证通过时，作为待入库内容；
其中，对所述互动内容的第二入库价值进行验证，包括：
解析所述互动内容中的多个分内容；
对所述分内容进行语义提取，获得多个内容语义；
获取预设的触发内容语义库；
将任一所述内容语义与所述触发内容语义库中的任一触发内容语义进行匹配；
若匹配符合，获取匹配符合的所述触发内容语义对应的预设的触发值；
累加计算每一所述触发值，获得触发值和；
若所述触发值和大于等于预设的触发值和阈值，所述互动内容的第二入库价值通过验证；
否则，所述互动内容的第二入库价值未通过验证。
本发明实施例提供的一种轻量级数据迁移方法，包括：
步骤1：获取数据迁移任务，所述数据迁移任务包括：源表和目的表；
步骤2：获取所述源表的表信息；所述表信息包括：所述源表的表结构、所述源表中的数据文件的数据结构和文件路径；
步骤3：基于所述表信息，填充所述目的表，完成数据迁移。
优选的，所述步骤3中，基于所述表信息，填充所述目的表，包括：
基于所述源表的表结构和所述源表中的数据文件的数据结构，构建表字段；
通过所述源表中的数据文件的文件路径读取所述数据文件；
基于所述表字段，对读取的所述数据文件进行预处理；
将预处理结果填充至所述目的表中。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种轻量级数据迁移装置的示意图；
图2-5为本发明实施例中数据迁移的示例流程图；
图6为本发明实施例中一种轻量级数据迁移方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种轻量级数据迁移装置，如图1所示，包括：
第一获取模块1，用于获取数据迁移任务，所述数据迁移任务包括：源表和目的表；
第二获取模块2，用于获取所述源表的表信息；所述表信息包括：所述源表的表结构、所述源表中的数据文件的数据结构和文件路径；
填充模块3，用于基于所述表信息，填充所述目的表，完成数据迁移。
所述填充模块3基于所述表信息，填充所述目的表，包括：
基于所述源表的表结构和所述源表中的数据文件的数据结构，构建表字段；
通过所述源表中的数据文件的文件路径读取所述数据文件；
基于所述表字段，对读取的所述数据文件进行预处理；
将预处理结果填充至所述目的表中。
删除模块，用于当所述数据文件需要删除时，获取所述数据文件的被引用次数，若所述被引用次数小于等于1，删除所述数据文件，否则，将所述被引用次数减1。
上述技术方案的工作原理及有益效果为：
本申请在实施时，如图2所示，构建3个模块分别为表描述符模块、表数据文件引用模块和数据文件引用汇总模块，表描述符模块记录源表的表结构（例如：几列几行），用于识别数据文件里的数据结构（例如：有哪些数据需要显示），表数据文件引用模块记录源表数据文件的路径，用于获取该表对应的数据文件路径，后续可以读取这些数据文件。表字段则为表结合数据的总体结构。基于表字段，对读取的数据文件进行预处理即将读取的数据文件按照原来的表结构和数据结构进行显示处理。
数据文件引用汇总模块记录被引用的数据文件的路径和次数，防止对被引用数据文件做删除，所有表公用该模块。迁移、读取的详细流程（源表以hive表为例）如图3-5所示。hms为源表的表地址，通信对接用。根据表字段对数据做格式化即为预处理，将不需要显示的数据文件路径剔除。
本申请在数据迁移后，真正的数据仍只有一份，不存在数据冗余，实现轻量级。整个迁移过程不涉及数据文件的读取和写入，只记录数据文件位置，实现轻量级，整个迁移过程相当快捷。
在一个实施例中，所述第一获取模块1获取数据迁移任务，包括：
获取用户自主输入的数据迁移任务；
和/或，
构建对应于用户的数据迁移任务预测依据库；
基于所述数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务。
上述技术方案的工作原理及有益效果为：
用户可自行输入数据迁移任务。一般的，用户数据迁移的需求较多，若每一均需要用户创建数据迁移任务并输入，比较繁琐，用户体验较差。因此，还可构建对应于用户的数据迁移任务预测依据库，基于其自适应预测用户需要进行的数据迁移任务。数据迁移任务预测依据库中包含大量可预测用户需要进行的数据迁移任务的依据，例如：与别的用户聊天中提及待会将本地某数据迁移至对方的某存储区，则可预测用户需要进行数据迁移任务即某数据从本地迁移至对方的某存储区。提升便捷性，更提升用户体验。
在一个实施例中，所述第一获取模块1构建对应于用户的数据迁移任务预测依据库，包括：
获取待入库内容；
将每一待入库内容整合入库，获得对应于用户的数据迁移任务预测依据库；
其中，获取待入库内容，包括：
获取用户最近预设的第一时间内输入的用户操作，并作为待入库内容；所述用户操作包括：终端操作和语音操作中一种或两种结合；
和/或，
获取用户最近预设的第二时间内与至少一个其他用户之间的互动内容，并作为待入库内容。
上述技术方案的工作原理及有益效果为：
预设的第一时间可以为30秒。用户最近第一时间输入的用户操作可以作为预测用户需要进行数据迁移任务的依据，例如：用户操作表征用户在创建新的演示内容，用户修改演示内容中某标题为“xx实验数据”，则预测用户需要使用数据迁移，将xx实验数据迁移至此演示内中。预设的第二时间可以为60秒。用户最近第二时间内与其他用户自己的互动内容也可以作为预测用户需要进行数据迁移任务的依据，例如：其他用户在聊天中提取需要某数据作什么用，则可预测数据迁移任务。本申请引入两种方式获取预测用户需要进行数据迁移任务的依据，提升了适用性，提升了对应于用户的数据迁移任务预测依据库的构建全面性。
在一个实施例中，所述第一获取模块1基于所述数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务，包括：
将所述数据迁移任务预测依据库输入至预设的数据迁移任务预测模型，预测确定用户需要进行的数据迁移任务；
或，
获取预设的数据迁移任务预测库，所述数据迁移任务预测库包括：多组一一对应的预测依据条件和任务预测结果；
确定所述数据迁移任务预测依据库中是否有满足任一所述预测依据条件的任务预测依据；
若是，将对应所述任务预测结果作为用户需要进行的数据迁移任务。
上述技术方案的工作原理及有益效果为：
基于数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务有两种方式：一、引入预设的数据迁移任务预测模型，将数据迁移任务预测依据库输入至该模型中以确定；数据迁移任务预测模型为利用大量人工基于数据迁移任务预测依据进行数据迁移任务预测的逻辑过程（例如：用户操作表征用户在创建新的演示内容，用户修改演示内容中某标题为“xx实验数据”，则预测用户需要使用数据迁移，将xx实验数据迁移至此演示内中）作为训练样本对神经网络模型进行训练值收敛后的人工智能模型。二、预设的数据迁移任务预测库，基于数据迁移任务预测库进行预测；数据迁移任务预测库中的一一对应的预测依据条件和任务预测结果具体为：预测依据条件为能够预测出该预测结果时预测依据应满足的条件，例如：任务预测结果为将系统工作日志从本地迁移至共享云端，则预测依据应满足的条件为用户与其他用户的交流中提交将系统工作日志从本地迁移至共享云端。本申请引入两种方式基于数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务，提升了预测的精准性和预测效率。
在一个实施例中，所述第一获取模块1将所述用户操作作为待入库内容前，对所述用户操作的第一入库价值进行验证，当验证通过时，作为待入库内容；
其中，对所述用户操作的第一入库价值进行验证，包括：
获取用户产生所述用户操作前和后预设的第三时间内产生的其他用户操作；
获取预设的触发操作库；
将任一所述用户操作或所述其他用户操作与所述触发操作库中的任一触发操作进行匹配；
若存在匹配符合，所述用户操作的第一入库价值通过验证；
若匹配均不符合，所述用户操作的第一入库价值未通过验证。
上述技术方案的工作原理及有益效果为：
一般的，用户并不是时刻需要进行数据迁移，因此，不能将用户全部的用户操作作为预测依据，这样会导致资源浪费。因此，引入预设的触发操作库，触发操作库中包含有大量能够表征用户可能会需要进行数据迁移测触发操作，例如：创建新的演示内容和与历史上有过数据迁移来往的其他用户交流等。一般的，一些连续操作需要共同作为预测依据，例如：在演示内容里的连续设置操作，因此，获取用户产生用户操作前和后预设的第三时间内产生的其他用户操作，将任一用户操作或其他用户操作与触发操作库中的任一触发操作进行匹配，若匹配符合，说明用户操作具有作为预测依据的价值，作为待入库内容。在入库前进行第一价值性验证，将有价值作为预测用户需要进行数据迁移任务的依据的用户操作进行入库，极大程度上提升了系统的工作效率，避免资源浪费，另外，引入触发操作库，提升第一价值性验证的验证效率和验证精准性。
在一个实施例中，所述第一获取模块1将所述互动内容作为待入库内容前，对所述互动内容的第二入库价值进行验证，当验证通过时，作为待入库内容；
其中，对所述互动内容的第二入库价值进行验证，包括：
解析所述互动内容中的多个分内容；
对所述分内容进行语义提取，获得多个内容语义；
获取预设的触发内容语义库；
将任一所述内容语义与所述触发内容语义库中的任一触发内容语义进行匹配；
若匹配符合，获取匹配符合的所述触发内容语义对应的预设的触发值；
累加计算每一所述触发值，获得触发值和；
若所述触发值和大于等于预设的触发值和阈值，所述互动内容的第二入库价值通过验证；
否则，所述互动内容的第二入库价值未通过验证。
上述技术方案的工作原理及有益效果为：
同样，并非所有互动内容可以作为预测依据。解析互动内容中的多个分内容，例 如：聊天记录中的每一对话。提取分内容的内容语义，可基于语义提取技术实现。引入预设 的触发内容语义库，触发内容语义库中包含大量表征用户可能需要进行数据迁移的对话语 义，例如：“把xx表数据迁过来”和“我需要xx表数据”等。将任一内容语义与触发内容语义库 中的任一触发内容语义进行匹配，若匹配符合，获取匹配符合的触发内容语义对应的预设 的触发值，触发值越大，匹配符合的触发内容语义表征用户可能需要进行数据迁移的可能 性越大，累加计算每一触发值，获得触发值和，累加计算公式为：
Figure 847439DEST_PATH_IMAGE001
，其中，
Figure 592017DEST_PATH_IMAGE002
为触 发值和，
Figure 54222DEST_PATH_IMAGE003
为第
Figure 74131DEST_PATH_IMAGE004
个触发值，
Figure 404618DEST_PATH_IMAGE005
为触发值的总数目。若触发值和大于等于预设的触发值和阈 值，互动内容作为预测依据的价值足够，即互动内容的第二入库价值通过验证。本申请在互 动内容入库前进行第二价值性验证，保证有作为预测依据价值的互动内容才能入库，提升 了对应于用户的数据迁移任务预测依据库的构建精准性，提升了预测用户使用数据迁移需 求的预测精准性和预测及时性，另外，引入触发内容语义库，提升了互动内容的第二价值性 验证的验证效率和验证精准性。
本发明实施例提供了一种轻量级数据迁移方法，如图6所示，包括：
步骤1：获取数据迁移任务，所述数据迁移任务包括：源表和目的表；
步骤2：获取所述源表的表信息；所述表信息包括：所述源表的表结构、所述源表中的数据文件的数据结构和文件路径；
步骤3：基于所述表信息，填充所述目的表，完成数据迁移。
在一个实施例中，所述步骤3中，基于所述表信息，填充所述目的表，包括：
基于所述源表的表结构和所述源表中的数据文件的数据结构，构建表字段；
通过所述源表中的数据文件的文件路径读取所述数据文件；
基于所述表字段，对读取的所述数据文件进行预处理；
将预处理结果填充至所述目的表中。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种轻量级数据迁移装置，其特征在于，包括：
第一获取模块，用于获取数据迁移任务，所述数据迁移任务包括：源表和目的表；
第二获取模块，用于获取所述源表的表信息；所述表信息包括：所述源表的表结构、所述源表中的数据文件的数据结构和文件路径；
填充模块，用于基于所述表信息，填充所述目的表，完成数据迁移。
2.如权利要求1所述的一种轻量级数据迁移装置，其特征在于，所述填充模块基于所述表信息，填充所述目的表，包括：
基于所述源表的表结构和所述源表中的数据文件的数据结构，构建表字段；
通过所述源表中的数据文件的文件路径读取所述数据文件；
基于所述表字段，对读取的所述数据文件进行预处理；
将预处理结果填充至所述目的表中。
3.如权利要求1所述的一种轻量级数据迁移装置，其特征在于，还包括：
删除模块，用于当所述数据文件需要删除时，获取所述数据文件的被引用次数，若所述被引用次数小于等于1，删除所述数据文件，否则，将所述被引用次数减1。
4.如权利要求1所述的一种轻量级数据迁移装置，其特征在于，所述第一获取模块获取数据迁移任务，包括：
获取用户自主输入的数据迁移任务；
和/或，
构建对应于用户的数据迁移任务预测依据库；
基于所述数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务。
5.如权利要求4所述的一种轻量级数据迁移装置，其特征在于，所述第一获取模块构建对应于用户的数据迁移任务预测依据库，包括：
获取待入库内容；
将每一待入库内容整合入库，获得对应于用户的数据迁移任务预测依据库；
其中，获取待入库内容，包括：
获取用户最近预设的第一时间内输入的用户操作，并作为待入库内容；所述用户操作包括：终端操作和语音操作中一种或两种结合；
和/或，
获取用户最近预设的第二时间内与至少一个其他用户之间的互动内容，并作为待入库内容。
6.如权利要求4所述的一种轻量级数据迁移装置，其特征在于，所述第一获取模块基于所述数据迁移任务预测依据库，自适应预测用户需要进行的数据迁移任务，包括：
将所述数据迁移任务预测依据库输入至预设的数据迁移任务预测模型，预测确定用户需要进行的数据迁移任务；
或，
获取预设的数据迁移任务预测库，所述数据迁移任务预测库包括：多组一一对应的预测依据条件和任务预测结果；
确定所述数据迁移任务预测依据库中是否有满足任一所述预测依据条件的任务预测依据；
若是，将对应所述任务预测结果作为用户需要进行的数据迁移任务。
7.如权利要求5所述的一种轻量级数据迁移装置，其特征在于，所述第一获取模块将所述用户操作作为待入库内容前，对所述用户操作的第一入库价值进行验证，当验证通过时，作为待入库内容；
其中，对所述用户操作的第一入库价值进行验证，包括：
获取用户产生所述用户操作前和后预设的第三时间内产生的其他用户操作；
获取预设的触发操作库；
将任一所述用户操作或所述其他用户操作与所述触发操作库中的任一触发操作进行匹配；
若存在匹配符合，所述用户操作的第一入库价值通过验证；
若匹配均不符合，所述用户操作的第一入库价值未通过验证。
8.如权利要求5所述的一种轻量级数据迁移装置，其特征在于，所述第一获取模块将所述互动内容作为待入库内容前，对所述互动内容的第二入库价值进行验证，当验证通过时，作为待入库内容；
其中，对所述互动内容的第二入库价值进行验证，包括：
解析所述互动内容中的多个分内容；
对所述分内容进行语义提取，获得多个内容语义；
获取预设的触发内容语义库；
将任一所述内容语义与所述触发内容语义库中的任一触发内容语义进行匹配；
若匹配符合，获取匹配符合的所述触发内容语义对应的预设的触发值；
累加计算每一所述触发值，获得触发值和；
若所述触发值和大于等于预设的触发值和阈值，所述互动内容的第二入库价值通过验证；
否则，所述互动内容的第二入库价值未通过验证。
9.一种轻量级数据迁移方法，其特征在于，包括：
步骤1：获取数据迁移任务，所述数据迁移任务包括：源表和目的表；
步骤2：获取所述源表的表信息；所述表信息包括：所述源表的表结构、所述源表中的数据文件的数据结构和文件路径；
步骤3：基于所述表信息，填充所述目的表，完成数据迁移。
10.如权利要求9所述的一种轻量级数据迁移方法，其特征在于，所述步骤3中，基于所述表信息，填充所述目的表，包括：
基于所述源表的表结构和所述源表中的数据文件的数据结构，构建表字段；
通过所述源表中的数据文件的文件路径读取所述数据文件；
基于所述表字段，对读取的所述数据文件进行预处理；
将预处理结果填充至所述目的表中。
CN202211360109.7A 2022-11-02 2022-11-02 一种轻量级数据迁移装置及方法 Active CN115422168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211360109.7A CN115422168B (zh) 2022-11-02 2022-11-02 一种轻量级数据迁移装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211360109.7A CN115422168B (zh) 2022-11-02 2022-11-02 一种轻量级数据迁移装置及方法

Publications (2)

Publication Number Publication Date
CN115422168A true CN115422168A (zh) 2022-12-02
CN115422168B CN115422168B (zh) 2023-01-10

Family

ID=84207568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211360109.7A Active CN115422168B (zh) 2022-11-02 2022-11-02 一种轻量级数据迁移装置及方法

Country Status (1)

Country Link
CN (1) CN115422168B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082862A (zh) * 2007-03-07 2007-12-05 浪潮集团山东通用软件有限公司 一种逻辑、表示和数据分离的窗体描述方法和标记语言
JP2012141847A (ja) * 2011-01-04 2012-07-26 Hitachi Solutions Ltd データ移行システム、データ移行装置、及びデータ移行方法
CN111367895A (zh) * 2020-03-31 2020-07-03 中国建设银行股份有限公司 数据迁移方法及装置
CN114741375A (zh) * 2022-05-18 2022-07-12 江苏省联合征信有限公司 一种多源异构数据库快速自动数据迁移系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082862A (zh) * 2007-03-07 2007-12-05 浪潮集团山东通用软件有限公司 一种逻辑、表示和数据分离的窗体描述方法和标记语言
JP2012141847A (ja) * 2011-01-04 2012-07-26 Hitachi Solutions Ltd データ移行システム、データ移行装置、及びデータ移行方法
CN111367895A (zh) * 2020-03-31 2020-07-03 中国建设银行股份有限公司 数据迁移方法及装置
CN114741375A (zh) * 2022-05-18 2022-07-12 江苏省联合征信有限公司 一种多源异构数据库快速自动数据迁移系统及方法

Also Published As

Publication number Publication date
CN115422168B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
US10789552B2 (en) Question answering system-based generation of distractors using machine learning
US20200380211A1 (en) Method, apparatus, computer device and readable medium for knowledge hierarchical extraction of a text
CN110647614A (zh) 智能问答方法、装置、介质及电子设备
CN109902216A (zh) 一种基于社交网络的数据采集与分析方法
CN112035638A (zh) 信息处理方法、装置、存储介质及设备
CN107480205A (zh) 一种进行数据分区的方法和装置
CN113360622A (zh) 用户对话信息的处理方法、装置及计算机设备
CN113127633A (zh) 智能会议管理方法、装置、计算机设备及存储介质
CN115130711A (zh) 一种数据处理方法、装置、计算机及可读存储介质
US20230106106A1 (en) Text backup method, apparatus, and device, and computer-readable storage medium
CN108711031B (zh) 一种智能终端电子证据库管理训练系统及方法
CN112732949A (zh) 一种业务数据的标注方法、装置、计算机设备和存储介质
US20230281389A1 (en) Topic suggestion in messaging systems
CN109903122A (zh) 房产交易信息处理方法、装置、设备及存储介质
CN116700839A (zh) 一种任务处理方法、装置、设备、存储介质及程序产品
CN111443973B (zh) 备注信息的填入方法、装置、设备及存储介质
CN110377745A (zh) 信息处理方法、信息检索方法、装置及服务器
CN112558966B (zh) 深度模型可视化数据的处理方法、装置及电子设备
CN115422168B (zh) 一种轻量级数据迁移装置及方法
CN116414961A (zh) 基于军事领域知识图谱的问答方法和系统
US11151309B1 (en) Screenshot-based memos
US20230267277A1 (en) Systems and methods for using document activity logs to train machine-learned models for determining document relevance
CN113449501A (zh) 文档编辑方法、装置、计算机设备和存储介质
CN115374372B (zh) 网络社区虚假信息快速识别方法及装置、设备、存储介质
CN111598159B (zh) 机器学习模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant