CN110297825B - 数据处理方法、装置、计算机设备以及存储介质 - Google Patents

数据处理方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
CN110297825B
CN110297825B CN201910433941.7A CN201910433941A CN110297825B CN 110297825 B CN110297825 B CN 110297825B CN 201910433941 A CN201910433941 A CN 201910433941A CN 110297825 B CN110297825 B CN 110297825B
Authority
CN
China
Prior art keywords
data
target
null
target data
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910433941.7A
Other languages
English (en)
Other versions
CN110297825A (zh
Inventor
曹红姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201910433941.7A priority Critical patent/CN110297825B/zh
Publication of CN110297825A publication Critical patent/CN110297825A/zh
Application granted granted Critical
Publication of CN110297825B publication Critical patent/CN110297825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据处理方法、装置、计算机设备以及存储介质，所述方法包括：确定目标数据库中所存储的目标数据表，并获取目标数据表的表结构；根据所获取的表结构在本地数据库中创建相对应的本地数据表；调用目标数据库中的预设数据接口，并根据预设数据接口从目标数据库中获取与目标数据表相对应的目标数据；检测目标数据中是否存在空值数据；若检测到目标数据中存在空值数据，对空值数据进行标记；使用预设的数据转换规则对已标记的目标数据进行转换处理；使用SQL语句将处理后的目标数据插入至对应的本地数据表。本发明提供一种数据处理方法，能够提高数据的传输效率，并对空值数据进行转换处理，改善用户的使用体验。

Description

数据处理方法、装置、计算机设备以及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算机设备以及存储介质。
背景技术
现有数据的同步机制大部分是通过ETL(Extract-Transform-Load)镜像的方式进行同步，其中，ETL用于描述将数据从数据来源端(例如，外部数据库)经过提取、转换、加载至目的端(例如，本地数据库)的过程，随着大数据环境的不断发展，现有的数据同步机制在对接大量的外部数据时，数据的清洗过程会耗费相当长的时间，此外，现有的数据同步机制，数据无法批量同步，只能按照预定的数据量进行处理；同时，对于外部数据库中的外部数据无法有效地的进行空值检测。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法、装置、计算机设备以及存储介质，能够提高数据的传输效率，并对空值数据进行转换处理，改善用户的使用体验。
一方面，本发明实施例提供了一种数据处理方法，该方法包括：
确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；
根据所获取的表结构在本地数据库中创建相对应的本地数据表；
调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；
检测所述目标数据中是否存在空值数据；
若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；
使用预设的数据转换规则对已标记的目标数据进行转换处理；
使用SQL语句将处理后的目标数据插入至对应的本地数据表。
另一方面，本发明实施例提供了一种数据处理装置，所述装置包括：
第一确定单元，用于确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；
创建单元，用于根据所获取的表结构在本地数据库中创建相对应的本地数据表；
调用单元，用于调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；
检测单元，用于检测所述目标数据中是否存在空值数据；
标记单元，用于若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；
转换单元，用于使用预设的数据转换规则对已标记的目标数据进行转换处理；
插入单元，用于使用SQL语句将处理后的目标数据插入至对应的本地数据表。
又一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据处理方法。
再一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如上所述的数据处理方法。
本发明实施例提供一种数据处理方法、装置、计算机设备以及存储介质，其中方法包括：确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；根据所获取的表结构在本地数据库中创建相对应的本地数据表；调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；检测所述目标数据中是否存在空值数据；若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；使用预设的数据转换规则对已标记的目标数据进行转换处理；使用SQL语句将处理后的目标数据插入至对应的本地数据表。本发明提供一种数据处理方法，能够提高数据的传输效率，并对空值数据进行转换处理，改善用户的使用体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的应用场景示意图；
图2是本发明实施例提供的一种数据处理方法的示意流程图；
图3是本发明实施例提供的一种数据处理方法的另一示意流程图；
图4是本发明实施例提供的一种数据处理方法的另一示意流程图；
图5是本发明实施例提供的一种数据处理方法的另一示意流程图；
图6是本发明实施例提供的一种数据处理装置的示意性框图；
图7是本发明实施例提供的一种数据处理装置的另一示意性框图；
图8是本发明实施例提供的一种数据处理装置的另一示意性框图；
图9是本发明实施例提供的一种数据处理装置的另一示意性框图；
图10是本发明实施例提供的一种数据处理装置的另一示意性框图；
图11是本发明实施例提供的一种数据处理装置的另一示意性框图；
图12是本发明实施例提供的一种计算机设备的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的一种数据处理方法的应用场景示意图，图2为本发明实施例提供的一种数据处理方法的流程示意图。作为一应用，如图1所示，该数据处理方法应用于服务器10中，该服务器10可以为分布式服务平台中的一台服务器，该服务器10执行其从终端20所获取的数据的处理操作，该处理操作包括对数据进行空值数据的标记，以及对数据进行转换处理。
需要说明的是，图1中仅仅示意出一台终端20，在实际操作过程中，服务器10可以执行其从多个终端20所获取的数据的处理操作。
请参阅图2，图2为本发明实施例提供的一种数据处理方法的示意流程图。如图2所示，该方法包括以下步骤S101～S107。
S101，确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构。
在本发明实施例中，为了将目标数据库中的数据表的表结构导出，首先需要确定目标数据库中的目标数据表，所述目标数据表可以是目标数据库中的所有数据表，也可以是目标数据库中的部分数据表，若所述目标数据表是目标数据库中的部分数据表，则该部分数据表由用户通过选择而确定。具体的，通过接收用户的输入参数确定目标数据库中的目标数据，并利用SQL语句获取所述目标数表的表结构。
在一实施例中，如图3所示，所述步骤S101包括步骤S201～S204：
S201，接收用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名、目标数据库密码及目标数据库表名。
在本实施例中，用户的输入参数包括用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名、目标数据库密码及目标数据库表名等；通过用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名及目标数据库密码确定对应的目标数据库，通过用户录入的目标数据库表名确定目标数据库中所存储的目标数据表。
S202，根据用户录入的目标数据库表名确定目标数据库中所存储的目标数据表；
S203，解析所述目标数据表并获取所述目标数据表的表结构。
在本实施例中，表结构定义一个表的表名、表列信息、表主键信息，由这些基于的表属性组成了数据库中数据表的表结构，本实施例利用上述用户的输入参数生成SQL语句，通过生成的SQL语句获取所述目标数据表的表结构，其中，表结构包括目标数据表的表名、表列信息、表主键信息等。
S102，根据所获取的表结构在本地数据库中创建相对应的本地数据表。
在本发明实施例中，通过SQL语句在本地数据库中创建本地数据表，并且所创建的本地数据表是根据所获取的表结构进行创建的，具体的，使用的SQL语句为CREATE TABLE语句，并利用CREATE TABLE语句在本地数据库中创建本地数据表，所创建的本地数据表的表名、表列信息、表主键信息与对应的目标数据表的表结构相同。
S103，调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据。
在本发明实施例中，所述外部数据库为万得数据库，所述预设数据接口可以为RS-232-C接口，在本实施例中，通过SQL语句调用所述目标数据库中的数据接口并从所述目标数据库中获取目标数据，而所获取的目标数据是存储在所述目标数据库的目标数据表中，也就是通过SQL语句调用所述目标数据库中的数据接口并从所述目标数据库的目标数据表中获取目标数据，本实施例中使用的SQL语句为SELECT语句。
S104，检测所述目标数据中是否存在空值数据。
在本发明实施例中，在将目标数据库中的目标数据传输至本地数据库之前，需要对所获取的目标数据进行检测，以判断所述目标数据是否存在空值数据，所谓空值数据指的是数据值为null的数据，通过遍历所有目标数据的数据值，若存在数据值为null的数据，则判断对应的目标数据中存在空值数据。
进一步地，如图4所示，所述步骤S104包括步骤S301～S302：
S301，遍历所述目标数据，并判断在所述目标数据中是否查找到空值关键字。
在本发明实施例中，所述空值关键字指的是空值数据中的数据值，比如数据值为null的空值数据，则空值关键字为null；遍历所述目标数据，并判断在所述目标数据中是否查找到空值关键字，即遍历所述目标数据表中的所有目标数据，并判断在所遍历的目标数据中是否查找到存在空值关键字为null的数据。
S302，若在所述目标数据中查找到空值关键字，确定检测到所述目标数据中存在空值数据。
在本发明实施例中，遍历所述目标数据表中的所有目标数据，若在所遍历的目标数据中查找到存在空值关键字为null的数据，则确定检测到目标数据表中的目标数据存在空值数据，即存在数据值为null的数据。
S105，若检测到所述目标数据中存在空值数据，对所述空值数据进行标记。
在本发明实施例中，在将目标数据传输至本地数据库之前，需要对目标数据中的空值数据进行标记，标记的方法可以为将空值数据的数据值统一配置为指定的替换数据，本实施例使用SQL语句对空值数据进行标记，SQL语句为Update tablename setvalue＝null where value＝-99999，比如：使用替换数据-9999作为空值数据的数据值。
进一步地，如图5所示，所述步骤S105包括步骤S401～S402：
S401，若检测到所述目标数据中存在空值数据，确定所述空值数据在所述目标数据中的位置。
S402，根据所述空值数据在所述目标数据中的位置，使用指定数据对所述空值数据进行替换，以完成对所述空值数据的标记。
在本实施例中，通过使用指定数据对所述空值数据进行替换，并对所述目标数据中的空值数据进行标记，能够在后续的数据处理步骤中对目标数据中空值数据与正常数据进行区分。
S106，使用预设的数据转换规则对已标记的目标数据进行转换处理。
在本发明实施例中，由于本地数据表获得目标数据后需要直接对用户进行可视化界面展示，因此，为了提高美观度，对于目标数据中的一些被标记的空值数据需要定义一些预设数据转换规则进行转换处理，比如：收盘价为空值的数据都应该在可视化界面展示中显示为0，本实施例中可以通过s＝＝-9999||
s.equals("")这种语句完成空值数据的转换。
S107，使用SQL语句将处理后的目标数据插入至对应的本地数据表。
在本发明实施例中，使用的SQL语句为insert into tablename values()语句，通过执行insert into tablename values()语句，即可将所处理后的目标数据插入至对应的本地数据表。若存在大量的目标数据，也可以通过insert into tablenamevalues()语句即可将目标数据表中的目标数据全量的插入至本地数据表中。
由以上可见，本发明实施例通过确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；根据所获取的表结构在本地数据库中创建相对应的本地数据表；调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；检测所述目标数据中是否存在空值数据；若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；使用预设的数据转换规则对已标记的目标数据进行转换处理；使用SQL语句将处理后的目标数据插入至对应的本地数据表。本发明提供一种数据处理方法，能够提高数据的传输效率，并对空值数据进行转换处理，改善用户的使用体验。
请参阅图6，对应上述一种数据处理方法，本发明实施例还提出一种数据处理装置，该装置100包括：第一确定单元101、创建单元102、调用单元103、检测单元104、标记单元105、转换单元106、插入单元107。
其中，第一确定单元101，用于确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；
创建单元102，用于根据所获取的表结构在本地数据库中创建相对应的本地数据表；
调用单元103，用于调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；
检测单元104，用于检测所述目标数据中是否存在空值数据；
标记单元105，用于若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；
转换单元106，用于使用预设的数据转换规则对已标记的目标数据进行转换处理；
插入单元107，用于使用SQL语句将处理后的目标数据插入至对应的本地数据表。
由以上可见，本发明实施例通过确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；根据所获取的表结构在本地数据库中创建相对应的本地数据表；调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；检测所述目标数据中是否存在空值数据；若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；使用预设的数据转换规则对已标记的目标数据进行转换处理；使用SQL语句将处理后的目标数据插入至对应的本地数据表。本发明提供一种数据处理方法，能够提高数据的传输效率，并对空值数据进行转换处理，改善用户的使用体验。
请参阅图7，所述第一确定单元101，包括：
接收单元101a，用于接收用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名、目标数据库密码及目标数据库表名；
第一确定子单元101b，用于根据用户录入的目标数据库表名确定目标数据库中所存储的目标数据表；
解析单元101c，用于解析所述目标数据表并获取所述目标数据表的表结构。
请参阅图8，所述创建单元102，包括：
创建子单元102a，用于根据所获取的表结构，使用CREATE TABLE语句在本地数据库中创建相对应的本地数据表。
请参阅图9，所述检测单元103，包括：
查找单元103a，用于遍历所述目标数据，并判断在所述目标数据中是否查找到空值关键字；
检测子单元103b，用于若在所述目标数据中查找到空值关键字，确定检测到所述目标数据中存在空值数据。
请参阅图10，所述标记单元105，包括：
第二确定单元105a，若检测到所述目标数据中存在空值数据，确定所述空值数据在所述目标数据中的位置；
替换单元105b，用于根据所述空值数据在所述目标数据中的位置，使用指定数据对所述空值数据进行替换，以完成对所述空值数据的标记。
请参阅图11，所述插入单元107，包括：
插入子单元107a，用于使用INSERT INTO语句将处理后的目标数据插入至对应的本地数据表。
上述数据处理装置与上述数据处理方法一一对应，其具体的原理和过程与上述实施例所述方法相同，不再赘述。
上述数据处理装置可以实现为一种计算机程序的形式，计算机程序可以在如图12所示的计算机设备上运行。
图12为本发明一种计算机设备的结构组成示意图。该设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式装置等具有通信功能和语音输入功能的电子装置。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。参照图12，该计算机设备500包括通过系统总线501连接的处理器502、非易失性存储介质503、内存储器504和网络接口505。其中，该计算机设备500的非易失性存储介质503可存储操作系统5031和计算机程序5032，该计算机程序5032被执行时，可使得处理器502执行一种数据处理方法。该计算机设备500的处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序被处理器执行时，可使得处理器502执行一种数据处理方法。计算机设备500的网络接口505用于进行网络通信。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502执行所述计算机程序时实现如下操作：
确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；
根据所获取的表结构在本地数据库中创建相对应的本地数据表；
调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；
检测所述目标数据中是否存在空值数据；
若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；
使用预设的数据转换规则对已标记的目标数据进行转换处理；
使用SQL语句将处理后的目标数据插入至对应的本地数据表。
在一个实施例中，所述确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构，包括：
接收用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名、目标数据库密码及目标数据库表名；
根据用户录入的目标数据库表名确定目标数据库中所存储的目标数据表；
解析所述目标数据表并获取所述目标数据表的表结构。
在一个实施例中，所述根据所获取的表结构在本地数据库中创建相对应的本地数据表，包括：
根据所获取的表结构，使用CREATE TABLE语句在本地数据库中创建相对应的本地数据表。
在一个实施例中，所述检测所述目标数据中是否存在空值数据，包括：
遍历所述目标数据，并判断在所述目标数据中是否查找到空值关键字；
若在所述目标数据中查找到空值关键字，确定检测到所述目标数据中存在空值数据。
在一个实施例中，所述若检测到所述目标数据中存在空值数据，对所述空值数据进行标记，包括：
若检测到所述目标数据中存在空值数据，确定所述空值数据在所述目标数据中的位置；
根据所述空值数据在所述目标数据中的位置，使用指定数据对所述空值数据进行替换，以完成对所述空值数据的标记。
在一个实施例中，所述使用SQL语句将处理后的目标数据插入至对应的本地数据表，包括：
使用INSERT INTO语句将处理后的目标数据插入至对应的本地数据表。
本领域技术人员可以理解，图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图12所示实施例一致，在此不再赘述。
本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现以下步骤：
确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构；
根据所获取的表结构在本地数据库中创建相对应的本地数据表；
调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；
检测所述目标数据中是否存在空值数据；
若检测到所述目标数据中存在空值数据，对所述空值数据进行标记；
使用预设的数据转换规则对已标记的目标数据进行转换处理；
使用SQL语句将处理后的目标数据插入至对应的本地数据表。
在一个实施例中，所述确定目标数据库中所存储的目标数据表，并获取所述目标数据表的表结构，包括：
接收用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名、目标数据库密码及目标数据库表名；
根据用户录入的目标数据库表名确定目标数据库中所存储的目标数据表；
解析所述目标数据表并获取所述目标数据表的表结构。
在一个实施例中，所述根据所获取的表结构在本地数据库中创建相对应的本地数据表，包括：
根据所获取的表结构，使用CREATE TABLE语句在本地数据库中创建相对应的本地数据表。
在一个实施例中，所述检测所述目标数据中是否存在空值数据，包括：
遍历所述目标数据，并判断在所述目标数据中是否查找到空值关键字；
若在所述目标数据中查找到空值关键字，确定检测到所述目标数据中存在空值数据。
在一个实施例中，所述若检测到所述目标数据中存在空值数据，对所述空值数据进行标记，包括：
若检测到所述目标数据中存在空值数据，确定所述空值数据在所述目标数据中的位置；
根据所述空值数据在所述目标数据中的位置，使用指定数据对所述空值数据进行替换，以完成对所述空值数据的标记。
在一个实施例中，所述使用SQL语句将处理后的目标数据插入至对应的本地数据表，包括：
使用INSERT INTO语句将处理后的目标数据插入至对应的本地数据表。
本发明前述的存储介质包括：磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等各种可以存储程序代码的介质。
本发明所有实施例中的单元可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application SpecificIntegratedCircuit，专用集成电路)来实现。
本发明实施例数据处理方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例数据处理装置中的单元可以根据实际需要进行合并、划分和删减。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种数据处理方法，其特征在于，所述方法包括：
接收用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名、目标数据库密码及目标数据库表名；
根据用户录入的目标数据库表名确定目标数据库中所存储的目标数据表；
根据用户的输入参数生成SQL语句，通过解析所述SQL语句获取所述目标数据表的表结构，其中，表结构包括目标数据表的表名、表列信息、表主键信息；
根据所获取的表结构，使用CREATE TABLE语句在本地数据库中创建相对应的本地数据表；
调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；
遍历所述目标数据，判断在所遍历的目标数据中是否查找到存在空值关键字为null的数据，以判断在所述目标数据中是否查找到空值关键字；
若在所述目标数据中查找到空值关键字，确定检测到所述目标数据中存在空值数据；
若检测到所述目标数据中存在空值数据，确定所述空值数据在所述目标数据中的位置；
根据所述空值数据在所述目标数据中的位置，使用指定数据对所述空值数据进行替换，以完成对所述空值数据的标记；
使用预设的数据转换规则对已标记的目标数据进行转换处理；
使用所述SQL语句将处理后的目标数据插入至对应的本地数据表。
2.如权利要求1所述的方法，其特征在于，所述使用所述SQL语句将处理后的目标数据插入至对应的本地数据表，包括：
使用INSERT INTO语句将处理后的目标数据插入至对应的本地数据表。
3.一种数据处理装置，其特征在于，所述装置包括：
接收单元，用于接收用户录入的目标数据库服务器的IP地址、目标数据库端口号、目标数据库用户名、目标数据库密码及目标数据库表名；
第一确定子单元，用于根据用户录入的目标数据库表名确定目标数据库中所存储的目标数据表；
解析单元，用于根据用户的输入参数生成SQL语句，通过解析所述SQL语句获取所述目标数据表的表结构，其中，表结构包括目标数据表的表名、表列信息、表主键信息；
创建子单元，用于根据所获取的表结构，使用CREATE TABLE语句在本地数据库中创建相对应的本地数据表；
调用单元，用于调用所述目标数据库中的预设数据接口，并根据所述预设数据接口从所述目标数据库中获取与目标数据表相对应的目标数据；
查找单元，用于遍历所述目标数据，判断在所遍历的目标数据中是否查找到存在空值关键字为null的数据，以判断在所述目标数据中是否查找到空值关键字；
检测子单元，用于若在所述目标数据中查找到空值关键字，确定检测到所述目标数据中存在空值数据
第二确定单元，用于若检测到所述目标数据中存在空值数据，确定所述空值数据在所述目标数据中的位置；
替换单元，用于根据所述空值数据在所述目标数据中的位置，使用指定数据对所述空值数据进行替换，以完成对所述空值数据的标记；
转换单元，用于使用预设的数据转换规则对已标记的目标数据进行转换处理；
插入单元，用于使用所述SQL语句将处理后的目标数据插入至对应的本地数据表。
4.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-2任一项所述的数据处理方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如权利要求1-2任一项所述的数据处理方法。
CN201910433941.7A 2019-05-23 2019-05-23 数据处理方法、装置、计算机设备以及存储介质 Active CN110297825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910433941.7A CN110297825B (zh) 2019-05-23 2019-05-23 数据处理方法、装置、计算机设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910433941.7A CN110297825B (zh) 2019-05-23 2019-05-23 数据处理方法、装置、计算机设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110297825A CN110297825A (zh) 2019-10-01
CN110297825B true CN110297825B (zh) 2024-06-11

Family

ID=68027086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910433941.7A Active CN110297825B (zh) 2019-05-23 2019-05-23 数据处理方法、装置、计算机设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110297825B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704936A (zh) * 2004-05-31 2005-12-07 深圳宇龙计算机通信科技（深圳）有限公司 一种数据库间的数据转换或同步方法
CN103440273A (zh) * 2013-08-06 2013-12-11 北京航空航天大学 一种数据跨平台迁移方法及装置
CN107766353A (zh) * 2016-08-17 2018-03-06 阿里巴巴集团控股有限公司 一种数据库统计信息迁移的方法和设备
WO2018153210A1 (zh) * 2017-02-22 2018-08-30 中兴通讯股份有限公司 一种自动创建索引的方法、装置及数据库系统
CN108536819A (zh) * 2018-04-08 2018-09-14 上海达梦数据库有限公司 整型列与字符串比较的方法、装置、服务器及存储介质
CN109766333A (zh) * 2018-12-10 2019-05-17 中科恒运股份有限公司 数据空值处理方法、装置及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704936A (zh) * 2004-05-31 2005-12-07 深圳宇龙计算机通信科技（深圳）有限公司 一种数据库间的数据转换或同步方法
CN103440273A (zh) * 2013-08-06 2013-12-11 北京航空航天大学 一种数据跨平台迁移方法及装置
CN107766353A (zh) * 2016-08-17 2018-03-06 阿里巴巴集团控股有限公司 一种数据库统计信息迁移的方法和设备
WO2018153210A1 (zh) * 2017-02-22 2018-08-30 中兴通讯股份有限公司 一种自动创建索引的方法、装置及数据库系统
CN108536819A (zh) * 2018-04-08 2018-09-14 上海达梦数据库有限公司 整型列与字符串比较的方法、装置、服务器及存储介质
CN109766333A (zh) * 2018-12-10 2019-05-17 中科恒运股份有限公司 数据空值处理方法、装置及终端设备

Also Published As

Publication number Publication date
CN110297825A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
US20180032499A1 (en) Automatically Generating Spelling Suggestions and Corrections Based on User Context
RU2698423C2 (ru) Заполнение записей контактов пользователя
CN108415998B (zh) 应用依赖关系更新方法、终端、设备及存储介质
US9009031B2 (en) Analyzing a category of a candidate phrase to update from a server if a phrase category is not in a phrase database
CN111435406A (zh) 一种纠正数据库语句拼写错误的方法和装置
EP3107012A1 (en) Modifying search results based on context characteristics
CN105608113A (zh) 判断文本中poi数据的方法及装置
CN111666417B (zh) 生成同义词的方法、装置、电子设备以及可读存储介质
US20240104105A1 (en) Search query modification database
CN106156262A (zh) 一种搜索信息处理方法及系统
CN108491502B (zh) 一种新闻追踪的方法、终端、服务器及存储介质
CN105786858A (zh) 信息搜索系统及方法
CN113590756A (zh) 信息序列生成方法、装置、终端设备和计算机可读介质
CN116719843A (zh) 数据库系统的查询方法、存储介质及设备
CN105988992B (zh) 图标推送方法及装置
CN110297825B (zh) 数据处理方法、装置、计算机设备以及存储介质
CN106202423A (zh) 一种文件排序方法和设备
US9563675B2 (en) Identifying search matches and altered search results
CN108363707B (zh) 用于生成网页的方法和装置
KR102308521B1 (ko) 정보 업데이트 방법 및 장치
CN114020769A (zh) 一种数据血缘分析方法、装置和存储介质
CN113779362A (zh) 数据搜索方法及装置
CN113157722A (zh) 一种数据处理方法、装置、服务器、系统及存储介质
WO2019119285A1 (en) Method for inserting a web address in a message on a terminal
CN111831130A (zh) 输入内容的推荐方法、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant