CN106021517A - 网络数据导入方法、装置 - Google Patents

网络数据导入方法、装置 Download PDF

Info

Publication number
CN106021517A
CN106021517A CN201610348932.4A CN201610348932A CN106021517A CN 106021517 A CN106021517 A CN 106021517A CN 201610348932 A CN201610348932 A CN 201610348932A CN 106021517 A CN106021517 A CN 106021517A
Authority
CN
China
Prior art keywords
data
network data
transformational rule
rule
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610348932.4A
Other languages
English (en)
Inventor
杨凯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Information Technology Beijing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Information Technology Beijing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610348932.4A priority Critical patent/CN106021517A/zh
Publication of CN106021517A publication Critical patent/CN106021517A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种网络数据导入方法、装置,其通过预先存储保证接收端正确导入数据的转换规则,并从存储的转换规则中查找与接收到的网络数据对应的预设转换规则,根据查找到的预设转换规则对该网络数据进行转换,得到与接收端的数据录入格式相匹配的目标网络数据,上述数据转换过程可以由独立于接收端和提供端的一中间件执行,从而在接收端需要添加一个新的提供端时,只需在所述中间件中进行修改,添加相应的转换规则即可,而不需要对相关的接收端和提供端本身的对外接口进行修改,因此可以避免对接收端和提供端的其他业务造成影响,提高提供端及接收端的数据安全性。另,本申请不需要公开接收端的数据录入格式,故可以提高接收端的数据安全性。

Description

网络数据导入方法、装置
技术领域
本发明涉及互联网技术领域,特别是涉及网络数据导入方法、装置。
背景技术
互联网与用户日常生活息息相关,用户浏览网站网页或使用网站提供的各类应用产品,都会产生表示用户与该网站之间互动过程的网络数据。该网络数据通常存储于相应的网络数据库中,由于数据量巨大,同一网站的不同应用产品对应的网络数据也分别存储在不同的数据库中,故为提高网站的内容丰富度,往往需要将其他相关网络数据库中的网络数据导入本网络数据库。实际应用中,不同数据库中数据存储格式不同。例如,昵称为“zhang”的用户数据在网络数据库A中的存储格式为“name=zhang”,即以“name”表示用户昵称,而在网络数据库B中则以“n”表示用户昵称,以“name”表示用户真实姓名,故在将该用户数据由A导入B时,需要进行数据转换,即将“name=zhang”转换为“n=zhang”,才能存储到B中。下文以将网络数据由网络数据库A(提供端)导入网络数据库B(接收端)为例,对现有技术中实现网络数据库数据导入的两种常用方法进行阐述。
第一种方法是在接收端进行数据转换,即提供端A通过其输出接口直接输出其存储的网络数据,接收端B预先根据A的输出接口对应的数据输出格式制定数据转换规则,并在接收到A输出的网络数据后,根据该数据转换规则将其转换为符合B要求的数据写入格式,再将转换后的网络数据写入(存储至)B。基于这一方法,每当接收端所需数据的提供端增加或更改时,都需要在接收端修改或添加相应的数据转换规则,以正确并及时接收到来自不同提供端的网络数据;且由于提供端的输出接口不稳定,一旦其发生变化,则会影响网络数据的正确导入,并仍需要接收端及时修改相应的数据转换规则;可见,这一数据导入方法安全性低,接收端工作量大。
第二种方法是在提供端进行数据转换,即由提供端A根据接收端B录入接口对应的数据录入格式制定数据转换规则,并根据该数据转换规则将自己存储的网络数据转换为符合B要求的格式,再将转换后的网络数据输出,接收端B的录入接口接收到A输出的网络数据后直接将其写入B。基于这一方法,为使得提供端可以正确转换并输出符合接收端要求的网络数据,需要对外公开该接收端录入接口对应的数据录入格式,即相当于接收端的数据写入权限完全对外公开,极有可能导致病毒文件等脏数据被写入接收端;可见,本方法同样存在数据安全性低的问题。
因此,亟需一种可以安全准确地将网络数据由提供端数据库导入接收端数据库的方法。
发明内容
为了解决上述技术问题,本申请公开了一种网络数据导入方法、装置。
第一方面,本申请提供了一种网络数据导入方法,所述方法包括:
接收各个提供端输出的网络数据;
查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则;
当查找到与所述网络数据对应的预设转换规则时,根据所述预设转换规则将所述网络数据转换为与接收端的数据录入格式相匹配的目标网络数据;
将所述目标网络数据写入所述接收端。
结合第一方面,在第一方面第一种可行的实施方式中,查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则,包括:
从所述网络数据中提取对应的提供端标识;
查找与所述提供端标识对应的转换规则标识;
当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
结合第一方面,在第一方面第二种可行的实施方式中,查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则,包括:
分析所述网络数据,得到所述网络数据的数据属性,并确定所述数据属性对应的属性标识;
查找与所述属性标识对应的转换规则标识;
当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
结合第一方面,在第一方面第三种可行的实施方式中,查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则,包括:
从所述网络数据中提取数据导入请求标识;其中,所述数据导入请求标识为所述接收端发送至提供端的数据导入请求对应的标识,所述数据导入请求用于触发相应的提供端输出网络数据;
查找与所述数据导入请求标识对应的转换规则标识;
当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
结合第一方面,或者第一方面第一种可行的实施方式,或者第一方面第二种可行的实施方式,或者第一方面第三种可行的实施方式,在第一方面第四种可行的实施方式中,所述方法还包括:
当查找不到与所述网络数据对应的预设转换规则时,确定所述网络数据对应的数据输出格式;
根据所述数据输出格式和所述接收端的数据录入格式,生成新增转换规则;
根据所述新增转换规则将所述网络数据转换为所述目标网络数据。
结合第一方面,或者第一方面第一种可行的实施方式,或者第一方面第二种可行的实施方式,或者第一方面第三种可行的实施方式,在第一方面第五种可行的实施方式中,所述方法还包括:
检测是否存在新增提供端;
当检测到存在所述新增提供端时,获取所述新增提供端对应的数据输出格式;
根据所述数据输出格式和所述接收端的数据录入格式,生成与所述新增提供端对应的新增转换规则;
将所述新增转换规则存储至所述预设规则存储单元。
第二方面,本申请提供了一种网络数据导入装置,所述装置包括:
数据接收单元,用于接收各个提供端输出的网络数据;
规则查找单元,用于查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则;
第一数据转换单元,用于在查找到与所述网络数据对应的预设转换规则时,根据所述预设转换规则将所述网络数据转换为与接收端的数据录入格式相匹配的目标网络数据;
数据写入单元,用于将所述目标网络数据写入所述接收端。
结合第二方面,在第二方面第一种可行的实施方式中,所述规则查找单元,包括:
第一获取单元,用于从所述网络数据中提取对应的提供端标识;
第二查找单元,用于查找与所述提供端标识对应的转换规则标识,并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
结合第二方面,在第二方面第二种可行的实施方式中,所述规则查找单元,包括:
第二获取单元,用于分析所述网络数据,得到所述网络数据的数据属性,并确定所述数据属性对应的属性标识;
第二查找单元,用于查找与所述属性标识对应的转换规则标识并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
结合第二方面,在第二方面第三种可行的实施方式中,所述规则查找单元,包括:
第三获取单元,用于从所述网络数据中提取数据导入请求标识;其中,所述数据导入请求标识为所述接收端发送至提供端的数据导入请求对应的标识,所述数据导入请求用于触发相应的提供端输出网络数据;
第三查找单元,用于查找与所述数据导入请求标识对应的转换规则标识,并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
结合第二方面,或者第二方面第一种可行的实施方式,或者第二方面第二种可行的实施方式,或者第二方面第三种可行的实施方式,在第二方面第四种可行的实施方式中,所述装置还包括:
第一规则生成单元,用于在所述规则查找单元查找不到与所述网络数据对应的预设转换规则时,确定所述网络数据对应的数据输出格式,并根据所述数据输出格式和所述接收端的数据录入格式生成新增转换规则;
第二数据转换单元,用于根据所述新增转换规则将所述网络数据转换为所述目标网络数据。
结合第二方面,或者第二方面第一种可行的实施方式,或者第二方面第二种可行的实施方式,或者第二方面第三种可行的实施方式,在第二方面第五种可行的实施方式中,所述装置还包括:
提供端检测单元,用于检测是否存在新增提供端;
第二规则生成单元,用于在检测到所述新增提供端时,获取所述新增提供端对应的数据输出格式,根据所述数据输出格式和所述接收端的数据录入格式,生成与所述新增提供端对应的新增转换规则,并将所述新增转换规则存储至所述预设规则存储单元。
由以上技术方案可知,本申请实施例通过预先存储保证接收端正确导入数据的转换规则,并从存储的转换规则中查找与接收到的网络数据对应的预设转换规则,根据查找到的预设转换规则对该网络数据进行转换,得到与接收端的数据录入格式相匹配的目标网络数据,上述数据转换过程可以由独立于接收端和提供端的一中间件执行,从而在接收端需要添加一个新的提供端时,只需在所述中间件中进行修改,添加相应的转换规则即可,而不需要对相关的接收端和提供端本身的对外接口进行修改,因此可以避免对接收端和提供端的其他业务造成影响,提高提供端及接收端的数据安全性。同时,由于上述数据转换过程可以由接收端私有的中间件执行完成,不需要将接收端的数据录入格式对外公开,故可以避免外界利用该数据录入格式向接收端写入脏数据,提高接收端数据的安全性,保证数据导入服务的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的网络数据导入方法的流程图;
图2为本申请一个实施例提供的网络数据导入方法的信号流图;
图3为本申请另一个实施例提供的网络数据导入方法的流程图;
图4为本申请又一个实施例提供的网络数据导入方法的流程图;
图5为本申请一个实施例提供的网络数据导入装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
首先对本申请提供的网络数据导入方法的实施例进行说明。图1为本申请一个实施例提供的网络数据导入方法流程图;参照图1,该方法包括如下步骤。
S11、接收各个提供端输出的网络数据。
S12、查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则。
S13、当查找到与所述网络数据对应的预设转换规则时,根据所述预设转换规则将所述网络数据转换为与接收端的数据录入格式相匹配的目标网络数据。
S14、将所述目标网络数据写入所述接收端。
本申请实施例中,预先为接收端配置一预设规则存储单元,并将接收端可能用到的转换规则存储于所述预设规则存储单元中,这些转换规则均以该接收端的数据录入格式为转换目标。有鉴于此,无论接收到来自哪个提供端的网络数据,只要预设规则存储单元中存在对应的预设转换规则,即可将该网络数据转换为与接收端的数据录入格式相匹配的目标数据,从而可以通过接收端的录入接口将目标数据写入接收端,实现将网络数据导入接收端。
例如,提供端A1输出的网络数据可以为{a=1,b=2,c=3},提供端A2输出的网络数据可以为{α=4,β=5,γ=6}。根据接收端B的数据录入格式,接收端B中的属性m与A1中的属性a相同,B中的属性n与A1中的属性b相同,故为将A1的网络数据导入B,可以制定一种转换规则T1为:将属性a的数值赋值给属性m,并将属性b的数值赋值给属性n,得到得到包含属性m、n及其取值的目标数据[1],从而可以通过B的录入接口将目标数据[1]直接写入B中。根据B数据录入格式,B中的属性p为A2中属性α和β的组合,故为将A2的网络数据导入B,可以制定另一种转换规则T2为:将属性α和β的取值进行组合后赋值给属性p,得到包含属性p及其取值的目标数据[2],从而可以通过B的录入接口将目标数据[2]直接写入B中。
基于本申请实施例,数据转换过程可以通过为相应接收端私有但独立于接收端的中间件执行完成;其中,该中间件包括上述预设规则存储单元及上述方法执行单元,如图2所示的信号流图(图2以提供端1和提供端2为例,示意性表明可以通过本方法同时接收任意提供端输出的网络数据,图2中所示方法步骤与图1相同,可以相互参照理解,此处不再对图2进行详细阐述)。
即,每个接收端配置一个私有的中间件,该中间件独立控制,用于实现将来自各个接收端的网络数据转换为符合该接收端的数据录入规则的目标网络数据,从而不需要对外公开该接收端的数据录入格式,保证接收端的数据安全性;相应的,每个提供端只需配置一个输出接口,无论哪个接收端向其请求数据,都不需要考虑数据转换问题,直接通过该输出接口输出自身存储的网络数据,并由接收端对应的中间件进行数据转换;每个接收端只需配置一个录入接口,无论需要接收哪个提供端的网络数据,都可以通过该接收端对应的中间件进行数据转换,得到与该录入接口匹配的目标网络数据。具体的,当某个网络数据库有从另一个(或几个)网络数据库中导入网络数据的需求时,作为接收端的网络数据库可以向各个作为提供端的网络数据库发送数据导入请求,每个提供端在接收到该数据导入请求后,通过自己的输出接口直接输出网络数据,接收端对应的中间件接收来自各个提供端的网络数据,查找相应的预设转换规则并进行数据转换,最终将转换得到的目标网络数据通过接收端的录入接口写入接收端。
另外,除了网络数据的实时转换之外,各项转换规则的生成、修改都可以通过该中间件完成,不需要在接收端或提供端修改接口或者接收/输出逻辑,使得网络数据导入更灵活、安全。
可选的,上述中间件具体可以为中间处理程序等软件形式,也可以为存储有中间处理程序的中间处理芯片等硬件形式。
由以上技术方案可知,本申请实施例通过预先存储保证接收端正确导入数据的转换规则,并从存储的转换规则中查找与接收到的网络数据对应的预设转换规则,根据查找到的预设转换规则对该网络数据进行转换,得到与接收端的数据录入格式相匹配的目标网络数据,上述数据转换过程可以由独立于接收端和提供端的一中间件执行,从而在接收端需要添加一个新的提供端时,只需在所述中间件中进行修改,添加相应的转换规则即可,而不需要对相关的接收端和提供端本身的接口进行修改,因此可以避免对接收端和提供端的其他业务造成影响,提高提供端及接收端的数据安全性。同时,由于上述数据转换过程可以由接收端私有的中间件执行完成,不需要将接收端的数据录入格式对外公开,故可以避免外界利用该数据录入格式向接收端写入脏数据,故本实施例可以提高接收端数据的安全性,保证数据导入服务的稳定性。
在本申请一个可行的实施例中,步骤S12的查找与网络数据对应的预设转换规则可以包括以下步骤:
S1211、从所述网络数据中提取对应的提供端标识;
S1212、查找与所述提供端标识对应的转换规则标识;
S1213、当查找到所述转换规则标识时,确定所述预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
具体的,由于每个提供端对应的数据输出格式是确定的,故通过提供端标识唯一确定该网络数据对应的提供端后,也就唯一确定了该网络数据的输出格式,进而将其转换至目标网络数据的转换规则也可以唯一确定,即每个提供端可以唯一对应一种转换规则,每个提供端标识唯一对应一种转换规则标识。因此,提供端可以将唯一表征该自己身份的提供端标识通过一特殊字段的形式添加至该提供端输出的每项网络数据中;从而在步骤S1211中,中间件可以直接识别所述网络数据中的该特殊字段,并从中提取得到输出该网络数据的提供端对应的提供端标识;在步骤S1212中,中间件可以根据提供端标识和转换规则标识之间的预设对应关系进行查找,如果查找到该提供端标识对应的转换规则标识,则可以确定预设规则存储单元中存储有与网络数据对应的预设转换规则,且该预设转换规则即该转换规则标识对应的转换规则。
例如,根据上文实施例,在制定标识为T1的转换规则时,可以同时设定其对应的提供端标识为A1,在制定标识为T2的转换规则时,同时设定其对应的提供端标识为A2;从而,在确定中间件当前接收到的网络数据的提供端标识为A1时,可以根据预设的对应关系查找得到与A1对应的转换规则标识为T1,从而确定当前所需的预设转换规则即为T1对应的转换规则。
在本申请另一个可行的实施例中,步骤S12的查找与网络数据对应的预设转换规则,可以包括以下步骤:
S1221、分析所述网络数据,得到所述网络数据的数据属性,并确定所述数据属性对应的属性标识;
S1222、查找与所述属性标识对应的转换规则标识;
S1223、当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
由于不同网络数据库之间的数据转换一般是基于数据属性的转换,例如将提供端网络数据中多个属性对应的属性值拼接得到接收端所需的目标属性的属性值,或者,直接将提供端网络数据中某个属性的属性值赋值个接收端所需的目标属性等。因此,本申请实施例通过分析网络数据的数据属性来确定其对应的预设转换规则;其中,为便于区分不同网络数据中的不同属性,本实施例为每种数据属性分配唯一的属性标识,根据一个属性标识,或者多个属性标识的组合,查找对应的转换规则标识。
例如,根据上文实施例,标识为T1的转换规则对应的原始网络数据的属性标识包括a、b等,标识为T2的转换规则对应的属性标识包括α和β等;从而,在确定中间件接收到的网络数据所包含的属性标识包括a或b时,可以查找确定该网络数据对应的预设转换规则为T1对应的转换规则,在确定中间件接收到的网络数据所包含的属性标识包括α和β时,可以查找确定该网络数据对应的预设转换规则为T2对应的转换规则。
在本申请又一个可行的实施例中,步骤S12的查找与网络数据对应的预设转换规则可以包括以下步骤:
S1231、从所述网络数据中提取数据导入请求标识;
S1232、查找与所述数据导入请求标识对应的转换规则标识;
S1233、当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
其中,所述数据导入请求标识为所述接收端发送至提供端的数据导入请求对应的标识,所述数据导入请求用于触发相应的提供端输出网络数据。即,当接收端有数据导入需求时,可以根据所需数据的提供端生成数据导入请求,该数据导入请求中包括请求标识、提供端网络地址等信息。例如,根据上文实施例,假设接收端需要导入提供端A1中的网络数据,则后续转换步骤必然需要采用转换规则T1,故可以配置与T1对应的另一标识Q1作为数据导入请求标识(或者直接将T1作为数据导入请求标识)并记入数据导入请求,提供端A1在接收到该数据导入请求后,读取该请求所需的网络数据,并将该网络数据与接收到的数据导入请求标识一并输出,从而中间件在接收到该网络数据后,可以从中提取数据导入请求标识Q1,进而根据Q1确定预设转换规则为标识T1对应的转换规则。
上述实施例分别介绍了三种查找当前接收到的网络数据对应的预设转换规则的方法,实际应用中可以采用其中任意一种,或多种方法结合(多种方法得到的查找结果互相对比验证,保证所确定的预设转换规则的准确性)。除上述三种查找方法外,在本申请实施例所述的理论启示下提出的其他查找方法,也属于本申请保护范围。
实际应用中,预设规则存储单元中很难预先保存所有情况下所需的转换规则,故当与接收端合作的提供端增加时,即接收端所需数据需要由新的提供端输出时,需要相应的添加新的转换规则。在本申请一个可行的实施例中,可以在接收网络数据的同时,根据实际情况实时添加所需的转换规则,如图3所示,经过步骤S12所述的查找过程,如果查找到所述预设转换规则,则执行步骤S13;反之,如果查找不到与所述网络数据对应的预设转换规则,说明预设规则存储单元中未存储该预设转换规则,需要临时添加,则可以依次执行下述步骤:
S15、确定所述网络数据对应的数据输出格式,并根据所述数据输出格式和所述接收端的数据录入格式,生成新增转换规则;
S16、根据所述新增转换规则将所述网络数据转换为所述目标网络数据,并继续执行步骤S14。
可见,本实施例在查找不到与当前接收到的网络数据对应的预设转换规则时,中间件实时根据该网络数据的数据输出格式及接收端的数据录入格式,生成与该网络数据对应的新增转换规则,进而根据该新增转换规则对该网络数据进行转换,得到接收端的数据录入接口可以直接录入的目标网络数据。
进一步的,基于上述步骤S15至S16,本实施例所述的网络数据导入方法还可以包括以下步骤:
获取所述预设规则存储单元对应的网络地址;
根据获取到的网络地址将所述新增转换规则写入所述预设规则存储单元。
通过上述步骤将新生成的新增转换规则存入预设规则存储单元,以便在下次接收到来自同一提供端的网络数据时,可以直接从预设规则存储单元中获取并应用该新增转换规则,实现对网络数据的转换,节省重复生成该新增转换规则的时间。
另外,在本申请另一个可行的实施例中,可以在接收网络数据前,预先判断是否需要新增转换规则;如图4所示,在步骤S11之前,可以包括以下步骤:
S17、检查是否存在新增提供端;
S18、当检测到存在所述新增提供端时,获取所述新增提供端对应的数据输出格式;
S19、根据所述数据输出格式和所述接收端的数据录入格式,生成与所述新增提供端对应的新增转换规则,并将所述新增转换规则存储至所述预设规则存储单元,返回步骤S17。
具体的,可以设定每间隔预设时间,中间件则执行一次上述步骤S17至S19,以发现新增提供端,并及时添加新增提供端对应的新增转换规则,保证中间件接收到的每项网络数据,都可以在预设规则存储单元中查找到对应的预设转换规则,保证网络数据及时准确地被转换为接收端所需的目标网络数据。
另外,本申请实施例还提供了一种计算机存储介质,例如可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等;该计算机存储介质中存储有程序,当所述存储介质中的程序由与接收端对应的处理器(中间件)执行时,使得该处理器能够依据上述方法实施例中记载的任一种网络数据导入方法中的部分或全部步骤,实现将来自任意提供端的网络数据导入该接收端。
相应于上述网络数据导入方法,本申请实施例还提供了一种网络数据导入装置;可选的,该网络数据导入装置可以内置于网络数据的接收端,也可以作为接收端的一个独立外设。图5为该装置的一种结构框图。
参照图5,该网络数据导入装置包括:预设规则存储单元100、数据接收单元200、规则查找单元300、第一数据转换单元400和数据写入单元500。
其中,该预设规则存储单元100用于,存储预先设置的与接收端写入规则相匹配的转换规则;
该数据接收单元200用于,接收各个提供端输出的网络数据;
该规则查找单元300用于,查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则;
该第一数据转换单元400用于,在查找到与所述网络数据对应的预设转换规则时,根据所述预设转换规则将所述网络数据转换为与接收端的数据录入格式相匹配的目标网络数据;
该数据写入单元500用于,将所述目标网络数据写入所述接收端。
由以上技术方案可知,本申请实施例通过预先存储保证接收端正确导入数据的转换规则,并从存储的转换规则中查找与接收到的网络数据对应的预设转换规则,根据查找到的预设转换规则对该网络数据进行转换,得到与接收端的数据录入格式相匹配的目标网络数据,上述数据转换过程可以由独立于接收端和提供端的一中间件执行,从而在接收端需要添加一个新的提供端时,只需在所述中间件中进行修改,添加相应的转换规则即可,而不需要对相关的接收端和提供端本身的对外接口进行修改,因此可以避免对接收端和提供端的其他业务造成影响,提高提供端及接收端的数据安全性。同时,由于上述装置可以由接收端私有,不需要将接收端的数据录入格式对外公开,故可以避免外界利用该数据录入格式向接收端写入脏数据,故本实施例可以提高接收端数据的安全性,保证数据导入服务的稳定性。
在本申请一个可行的实施方式中,上述规则查找单元300具体可以包括:
第一获取单元,用于从所述网络数据中提取对应的提供端标识;
第二查找单元,用于查找与所述提供端标识对应的转换规则标识,并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
在本申请另一个可行的实施方式中,上述规则查找单元300具体可以包括:
第二获取单元,用于分析所述网络数据,得到所述网络数据的数据属性,并确定所述数据属性对应的属性标识;
第二查找单元,用于查找与所述属性标识对应的转换规则标识并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
在本申请又一个可行的实施方式中,上述规则查找单元300具体可以包括:
第三获取单元,用于从所述网络数据中提取数据导入请求标识;其中,所述数据导入请求标识为所述接收端发送至提供端的数据导入请求对应的标识,所述数据导入请求用于触发相应的提供端输出网络数据;
第三查找单元,用于查找与所述数据导入请求标识对应的转换规则标识,并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
上述实施例分别介绍了三种查找当前接收到的网络数据对应的预设转换规则的方法,实际应用中可以采用其中任意一种,或多种方法结合。
实际应用中,预设规则存储单元中很难预先保存所有情况下所需的转换规则,故在本申请一个可行的实施方式中,上述装置还可以包括:
第一规则生成单元,用于在规则查找单元300查找不到与所述网络数据对应的预设转换规则时,确定所述网络数据对应的数据输出格式,并根据所述数据输出格式和所述接收端的数据录入格式生成新增转换规则;
第二数据转换单元,用于根据所述新增转换规则将所述网络数据转换为所述目标网络数据。
实际应用中,该第二数据转换单元可以与上述第一数据转换单元400可以合并为一个数据转换单元,在第一规则生成单元生成新增转换规则时,该数据转换单元直接将该新增转换规则作为预设转换规则对网络数据进行转换。
可选的,第一规则生成单元在生成新增转换规则后,可以将该新增转换规则存储于预设规则存储单元中,以便在下次接收到来自同一提供端的网络数据时,可以直接从预设规则存储单元中获取并应用该新增转换规则,实现对网络数据的转换,节省重复生成该新增转换规则的时间。
在本申请一个可行的实施方式中,为避免规则查找单元300在预设规则存储单元100中查找不到与网络数据对应的预设转换规则的情况发生,上述装置还可以包括:
提供端检测单元,用于检测是否存在新增提供端;
第二规则生成单元,用于在检测到所述新增提供端时,获取所述新增提供端对应的数据输出格式,根据所述数据输出格式和所述接收端的数据录入格式,生成与所述新增提供端对应的新增转换规则,并将所述新增转换规则存储至所述预设规则存储单元。
具体的,可以设定提供端检测单元的循环检测周期,使其每间隔预设时间执行一次新增提供端检测动作,以发现新增提供端,并及时触发第二规则生成单元添加新增提供端对应的新增转换规则,保证数据接收单元接收到的每项网络数据,都可以在预设规则存储单元中查找到对应的预设转换规则,保证网络数据及时准确地被转换为接收端所需的目标网络数据。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种网络数据导入方法,其特征在于,包括:
接收各个提供端输出的网络数据;
查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则;
当查找到与所述网络数据对应的预设转换规则时,根据所述预设转换规则将所述网络数据转换为与接收端的数据录入格式相匹配的目标网络数据;
将所述目标网络数据写入所述接收端。
2.根据权利要求1所述的方法,其特征在于,查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则,包括:
从所述网络数据中提取对应的提供端标识;
查找与所述提供端标识对应的转换规则标识;
当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
3.根据权利要求1所述的方法,其特征在于,查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则,包括:
分析所述网络数据,得到所述网络数据的数据属性,并确定所述数据属性对应的属性标识;
查找与所述属性标识对应的转换规则标识;
当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
4.根据权利要求1所述的方法,其特征在于,查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则,包括:
从所述网络数据中提取数据导入请求标识;其中,所述数据导入请求标识为所述接收端发送至提供端的数据导入请求对应的标识,所述数据导入请求用于触发相应的提供端输出网络数据;
查找与所述数据导入请求标识对应的转换规则标识;
当查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
5.根据权利要求1至4任一项所述的方法,其特征在于,还包括:
当查找不到与所述网络数据对应的预设转换规则时,确定所述网络数据对应的数据输出格式;
根据所述数据输出格式和所述接收端的数据录入格式,生成新增转换规则;
根据所述新增转换规则将所述网络数据转换为所述目标网络数据。
6.根据权利要求1至4任一项所述的方法,其特征在于,还包括:
检测是否存在新增提供端;
当检测到存在所述新增提供端时,获取所述新增提供端对应的数据输出格式;
根据所述数据输出格式和所述接收端的数据录入格式,生成与所述新增提供端对应的新增转换规则;
将所述新增转换规则存储至所述预设规则存储单元。
7.一种网络数据导入装置,其特征在于,包括:
数据接收单元,用于接收各个提供端输出的网络数据;
规则查找单元,用于查找预设规则存储单元中是否存在与所述网络数据对应的预设转换规则;
第一数据转换单元,用于在查找到与所述网络数据对应的预设转换规则时,根据所述预设转换规则将所述网络数据转换为与接收端的数据录入格式相匹配的目标网络数据;
数据写入单元,用于将所述目标网络数据写入所述接收端。
8.根据权利要求7所述的装置,其特征在于,所述规则查找单元,包括:
第一获取单元,用于从所述网络数据中提取对应的提供端标识;
第一查找单元,用于查找与所述提供端标识对应的转换规则标识,并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
9.根据权利要求7所述的装置,其特征在于,所述规则查找单元,包括:
第二获取单元,用于分析所述网络数据,得到所述网络数据的数据属性,并确定所述数据属性对应的属性标识;
第二查找单元,用于查找与所述属性标识对应的转换规则标识并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
10.根据权利要求7所述的装置,其特征在于,所述规则查找单元,包括:
第三获取单元,用于从所述网络数据中提取数据导入请求标识;其中,所述数据导入请求标识为所述接收端发送至提供端的数据导入请求对应的标识,所述数据导入请求用于触发相应的提供端输出网络数据;
第三查找单元,用于查找与所述数据导入请求标识对应的转换规则标识,并在查找到所述转换规则标识时,确定预设规则存储单元中与所述转换规则标识对应的转换规则为所述预设转换规则。
11.根据权利要求7至10任一项所述的装置,其特征在于,还包括:
第一规则生成单元,用于在所述规则查找单元查找不到与所述网络数据对应的预设转换规则时,确定所述网络数据对应的数据输出格式,并根据所述数据输出格式和所述接收端的数据录入格式生成新增转换规则;
第二数据转换单元,用于根据所述新增转换规则将所述网络数据转换为所述目标网络数据。
12.根据权利要求7至10任一项所述的装置,其特征在于,还包括:
提供端检测单元,用于检测是否存在新增提供端;
第二规则生成单元,用于在检测到所述新增提供端时,获取所述新增提供端对应的数据输出格式,根据所述数据输出格式和所述接收端的数据录入格式,生成与所述新增提供端对应的新增转换规则,并将所述新增转换规则存储至所述预设规则存储单元。
CN201610348932.4A 2016-05-24 2016-05-24 网络数据导入方法、装置 Pending CN106021517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610348932.4A CN106021517A (zh) 2016-05-24 2016-05-24 网络数据导入方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610348932.4A CN106021517A (zh) 2016-05-24 2016-05-24 网络数据导入方法、装置

Publications (1)

Publication Number Publication Date
CN106021517A true CN106021517A (zh) 2016-10-12

Family

ID=57093040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610348932.4A Pending CN106021517A (zh) 2016-05-24 2016-05-24 网络数据导入方法、装置

Country Status (1)

Country Link
CN (1) CN106021517A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144983A (zh) * 2017-06-23 2019-01-04 阿里巴巴集团控股有限公司 一种数据容错的方法及设备
CN110459278A (zh) * 2019-08-01 2019-11-15 医渡云(北京)技术有限公司 结合多研究场景的临床数据处理方法、装置、介质及设备
CN110874379A (zh) * 2019-11-14 2020-03-10 中国民航信息网络股份有限公司 数据流转方法及装置
CN111464515A (zh) * 2020-03-20 2020-07-28 苏州浪潮智能科技有限公司 一种数据转换方法、装置、设备及存储介质
CN111797070A (zh) * 2019-04-08 2020-10-20 杭州晨熹多媒体科技有限公司 票务数据处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1838780A (zh) * 2005-03-21 2006-09-27 华为技术有限公司 实现不同设备间数据转换的方法
CN102567297A (zh) * 2011-12-28 2012-07-11 用友软件股份有限公司 数据转换装置和数据转换方法
CN105205117A (zh) * 2015-09-09 2015-12-30 郑州悉知信息科技股份有限公司 一种数据表迁移方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1838780A (zh) * 2005-03-21 2006-09-27 华为技术有限公司 实现不同设备间数据转换的方法
CN102567297A (zh) * 2011-12-28 2012-07-11 用友软件股份有限公司 数据转换装置和数据转换方法
CN105205117A (zh) * 2015-09-09 2015-12-30 郑州悉知信息科技股份有限公司 一种数据表迁移方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144983A (zh) * 2017-06-23 2019-01-04 阿里巴巴集团控股有限公司 一种数据容错的方法及设备
CN111797070A (zh) * 2019-04-08 2020-10-20 杭州晨熹多媒体科技有限公司 票务数据处理方法及装置
CN110459278A (zh) * 2019-08-01 2019-11-15 医渡云(北京)技术有限公司 结合多研究场景的临床数据处理方法、装置、介质及设备
CN110874379A (zh) * 2019-11-14 2020-03-10 中国民航信息网络股份有限公司 数据流转方法及装置
CN111464515A (zh) * 2020-03-20 2020-07-28 苏州浪潮智能科技有限公司 一种数据转换方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106021517A (zh) 网络数据导入方法、装置
US10237295B2 (en) Automated event ID field analysis on heterogeneous logs
WO2021083239A1 (zh) 一种进行图数据查询的方法、装置、设备及存储介质
US5913214A (en) Data extraction from world wide web pages
US8527945B2 (en) Method and system for integrating multiple scripts
CN102117320A (zh) 一种结构化数据搜索的方法和装置
WO2007041612A2 (en) System and method for responding to a user reference query
CN102750629B (zh) 日程关联方法及装置
CN108108288A (zh) 一种日志数据解析方法、装置及设备
CN106649488B (zh) 多数据源交互接口的调用方法及装置
CN106375528A (zh) 一种手机id确定方法及其异常检测处理方法
CN106209431A (zh) 一种告警关联方法及网管系统
CN107784068A (zh) 数据变化的获取方法、装置、存储介质、处理器及服务端
CN104133870A (zh) 一种网页相似度计算方法及装置
CN110232291A (zh) 智能数据脱敏方法、装置、计算机设备和存储介质
CN104636368A (zh) 数据检索方法、装置及服务器
CN109726295A (zh) 品牌知识图谱显示方法、装置、图服务器及存储介质
CN103020225B (zh) 一种cpu型号识别方法和硬件检测系统
CN108388606A (zh) 一种校验Sql语句中库表字段名的方法以及计算机设备
CN106202440A (zh) 数据处理方法、装置及设备
CN107704599A (zh) 一种实现edr数据快速检索的方法与装置
CN103823834B (zh) 一种哈希连接算子间数据传递的方法及装置
CN101650738A (zh) 卡拉ok歌曲的全向智能检索方法
US20090228435A1 (en) System and method for validating data record
CN108733848B (zh) 一种搜索知识的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161012

WD01 Invention patent application deemed withdrawn after publication