CN110781230B - 一种数据接入方法、装置及设备 - Google Patents
一种数据接入方法、装置及设备 Download PDFInfo
- Publication number
- CN110781230B CN110781230B CN201910863349.0A CN201910863349A CN110781230B CN 110781230 B CN110781230 B CN 110781230B CN 201910863349 A CN201910863349 A CN 201910863349A CN 110781230 B CN110781230 B CN 110781230B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- format
- source data
- format conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 321
- 238000006243 chemical reaction Methods 0.000 claims abstract description 139
- 238000004806 packaging method and process Methods 0.000 claims abstract description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009193 crawling Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/116—Details of conversion of file system types or formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及一种数据接入方法、装置及设备，所述方法包括：获取源数据，确定所述源数据的原始数据格式；基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；将所述目标格式的目标数据作为接入数据进行数据接入；本申请能够快速、便捷地接入数据，能够应对更多的数据接入需求，从而提高数据接入能力并支持全流程数据查询。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据接入方法、装置及设备。
背景技术
数据接入是指将数据提供方提供的数据转换为内部目标格式数据的过程，将源数据转化为目标格式数据之后，便可基于统一的目标格式数据进行相关服务应用的开发。
现有的数据接入方法以爬虫技术为主，对于一种格式的数据或者一种数据接口的接入效果比较好，但是对于不同的数据格式只能够定制化重新开发对应的数据接入方法，例如，对于新的数据格式的源数据，需要从零开始开发与新格式的源数据对应的数据接入方法；另外，由于爬虫技术接入的框架比较单一，且爬虫框架比较固定无法拓展，从而导致数据接入周期长，开发的复杂度高。
发明内容
本申请所要解决的技术问题在于，提供一种数据接入方法、装置及设备，能够快速、便捷地接入数据，能够应对更多的数据接入需求，从而提高数据接入能力并支持全流程数据查询。
为了解决上述技术问题，一方面，本申请提供了一种数据接入方法，所述方法包括：
获取源数据，确定所述源数据的原始数据格式；
基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；
基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；
以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；
获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；
将所述目标格式的目标数据作为接入数据进行数据接入。
另一方面，本申请提供了一种数据接入装置，所述装置包括：
源数据获取模块，用于获取源数据，确定所述源数据的原始数据格式；
转换方法确定模块，用于基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；
数据格式转换模块，用于基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；
打包模块，用于以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；
目标数据包生成模块，用于获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；
数据接入模块，用于将所述目标格式的目标数据作为接入数据进行数据接入。
另一方面，本申请提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的数据接入方法。
另一方面，本申请提供了一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述的数据接入方法。
实施本申请实施例，具有如下有益效果：
本申请预先基于对各种预设数据格式的数据所对应的原格式转换方法进行分析综合，得到格式转换方法集；在获取到源数据时，基于确定的所述源数据的原始数据格式，从所述格式转换方法集中确定与所述原始数据从格式对应的目标格式转换方法；再基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；以预设的数据打包方法对所述目标数据进行打包存储；将所述目标格式的目标数据作为接入数据进行数据接入。本申请为不同数据格式的源数据提供了快速、便捷的数据接入方式，由于不需要为每种数据格式的源数据分别定制数据接入方法，因此缩短了数据的接入周期；能够应对更多的数据接入需求，从而提高了数据接入能力；通过对源数据进行打包存储便于支持全流程的数据查询。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的应用场景示意图；
图2是本申请实施例提供的一种数据接入方法流程图；
图3是本申请实施例提供的一种接口鉴权包生成方法流程图；
图4是本申请实施例提供的一种接口鉴权方法流程图；
图5是本申请实施例提供的一种格式转换方法集的生成方法流程图；
图6是本申请实施例提供的一种目标格式的目标数据转换方法流程图；
图7是本申请实施例提供的原始数据记录转换方法流程图；
图8是本申请实施例提供的一种附加信息获取方法流程图；
图9是本申请实施例提供的数据上传开放平台界面示意图；
图10是本申请实施例提供的数据查询界面示意图；
图11是本申请实施例提供的一种数据接入装置示意图；
图12是本申请实施例提供的格式转换方法集构建模块示意图；
图13是本申请实施例提供的源数据获取模块示意图；
图14是本申请实施例提供的鉴权模块示意图；
图15是本申请实施例提供的目标数据包生成模块示意图；
图16是本申请实施例提供的数据格式转换模块示意图；
图17是本申请实施例提供的数据记录转换模块示意图；
图18是本申请实施例提供的一种设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参见图1，其示出了本申请实施例提供的应用场景示意图，该应用场景包括：至少一个数据提供端110和数据接入端120，所述数据提供端110和所述数据接入端120可通过网络进行数据通信。具体地，所述数据接入端120可对数据提供端110提供的源数据进行数据接入。
所述数据提供端110可以基于浏览器/服务器模式(Browser/Server，B/S)或客户端/服务器模式(Client/Server，C/S)与数据接入端120进行通信。所述数据提供端110可以包括：智能手机、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端、服务器等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中的数据提供端110上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
所述数据接入端120与数据提供端110可以通过有线或者无线建立通信连接，所述数据接入端120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群，其中服务器可以是云端服务器。
现有的数据接入方法一般采用的是爬虫技术，对于不同数据格式的源数据需要定制化地开发数据接入方法，没有针对数据接入的共性进行沉淀和模块化，因此在数据接入周期和开发的复杂度上会存在明显缺陷；而在实施过程中某项数据的丰富和正确需要各种各样来源的数据进行补充合作，但是数据源的数据接入方式各不相同，没有统一的接入方式，只能对于各个来源的数据分别进行接入，使得接入流程复杂且低效；为了适应快速接入的需求，本申请提供了一种数据接入方法，能够对数据提供方的源数据进行快速接入。
具体请参阅图2，其示出了一种数据接入方法，其执行主体可以是上述图1中的数据接入端，所述方法包括：
S210.获取源数据，确定所述源数据的原始数据格式。
本实施例中的源数据可以是指在任意场景下所获得的各种类型的数据，通过对源数据的接入，可将其应用在相应的功能实现中；例如，这里的源数据可以是指POI(Point ofInterest，兴趣点)数据，在地理信息系统中，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。
这里获取源数据的方式可以包括以下两种：
第一种是数据接入端直接获取由数据提供方通过数据上传平台上传的源数据，在这种方式下，数据提供方可根据相应的数据录入模板以结构化的形式进行源数据的上传；
第二种是数据接入端获取数据提供方提供的源数据获取接口，可通过这个源数据获取接口拉取所需的源数据。需要说明的是，在进行数据拉取之前，需要进行接口鉴权，当鉴权成功时，数据接入端才可从相关接口中拉取所需的源数据。这里的接口鉴权是指针对数据提供方的数据接口API进行签名计算以及各种权限参数传入，从而达到可以访问数据获取接口的目的。
现有的接口鉴权方法是对不同的数据接口设置不同的鉴权方法，本申请中针对不同接口的鉴权策略进行总结精炼成一个统一的鉴权包，使得各种鉴权的功能可以通过调用接口实现，避免重复开发；具体地请参见图3，其示出了本实施例提供的接口鉴权包生成方法，所述方法包括：
S310.对于不同的源数据获取接口，分别确定与每个源数据获取接口对应的接口鉴权方法。
S320.综合各接口鉴权方法，得到接口鉴权包。
基于上述得到的接口鉴权包，本实施例提出了一种接口鉴权方法，请参阅图4，所述方法包括：
S410.从所述接口鉴权包中调用与当前源数据获取接口对应的目标接口鉴权方法。
对于每个源数据获取接口，已经提前预设了相关的接口鉴权方法，在数据接入端可根据当前源数据获取接口的标识，从接口鉴权包调用出与其对应的接口鉴权方法。
S420.通过所述目标接口鉴权方法对预设权限参数进行处理，得到已处理参数。
在数据接入端可将这里的预设权限参数组合成字符串的形式，并采用目标接口鉴权方法中的加密方法对其进行加密，得到加密后的加密值。
S430.将所述已处理参数传入当前源数据获取接口，得到还原参数。
经过加密之后的加密值会被传入到当前源数据获取接口，当前源数据获取接口会采用目标接口鉴权方法中的解密算法对加密值进行解密，得到一个解密结果。
S440.当所述预设权限参数与所述还原参数匹配一致时，判定对当前源数据获取接口鉴权成功。
将解密结果和字符串形式的权限参数进行比较，当两者一致时，则说明对当前源数据获取接口鉴权成功，数据接入端可通过该源数据获取接口拉取所需的源数据。
上述的接口鉴权方法可基于通用的AES、DES的鉴权签名计算，支持各种MD5的鉴权和编码方式。
在从源数据获取接口拉取源数据时，本申请实施例采用Scrapy定制化爬虫框架，该框架支持大数据量的数据快速高并发的抓取，减少接入耗时，Scrapy的相关参数可以进行配置，例如并发数以及爬虫的节点数。其中，Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
S220.基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的。
所述格式转换方法集中包括与各种数据格式的数据所对应的格式转换方法，即每一种数据格式的数据对应一种数据格式转换方法，根据当前源数据的原始数据格式，可以确定出相应的数据格式转换方法。通过所述格式转换方法集中的各种格式转换方法，可以将不同数据格式的源数据转换为相同格式的数据。
对于格式转换方法集的具体生成方法可参见图5，所述方法包括：
S510.对每种原格式转换方法进行分解，得到至少一个子方法。
对于采用代码实现某一特定功能的方法，其中可能包括为了实现该功能的多个子模块，这多个子模块可看成是实现该功能的多个子方法；即对于实现格式转换方法的代码，其中会包括为了实现最终的格式转换所必须的子方法，通过执行各子方法，最终可实现格式转换的目的。因此，这里首先对每种原格式转换方法进行分解，得到每种原始格式转换方法中的至少一个子方法。
S520.基于对各原格式转换方法的分解结果，得到由多个子方法构建的子方法集合。
S530.判断所述子方法集合中是否包括具有相同内容的子方法。
S540.当判断结果为是时，将具有相同内容的子方法划分为一组，得到至少一个分组，其中，每个分组中包括至少两个具有相同内容的子方法。
例如，现有4种原格式转换方法，经过分解得到的子方法分别是(ABC)、(ACDE)、(BCF)以及(DFG)，从而得到的子方法集合为：
{A，B，C，A，C，D，E，B，C，F，D，F，G}
上述子方法集合中包括2个子方法A，2个子方法B，3个子方法C，2个子方法D，2个子方法F，1个子方法E，1个子方法G，因此得到5个分组。
S550.保留每个分组中的一个子方法，将各分组中的子方法确定为公共方法，为各公共方法提供访问接口。
将上述的子方法A，B，C，D和F确定为公共方法，这5个子方法会被存储在一个可进行公共访问的区域，并为这5个子方法提供访问的访问接口。
S560.对于包含所述公共方法的原格式转换方法，在所述原格式转换方法中将所述公共方法替换为相应公共方法的访问接口，得到预设格式转换方法。
基于上述的举例，可将第一种原格式转换方法中的子方法ABC分别替换为与ABC对应的访问接口，从而得到第一种原格式转换方法对应的预设格式转换方法，即在预设格式转换方法中，只需要其他必要的代码描述，而对于涉及到子方法ABC的代码实现，可通过对应的访问接口直接进行调用而不需要在该预设格式转换方法写出。以此类推，得到上述其他3种原始格式转换方法的替换，得到相应的预设格式转换方法。
S570.基于与各预设格式的数据所对应的预设格式转换方法，构建所述格式转换方法集。
对各种预设格式转换方法以及公共方法进行集成，生成格式转换方法集；当然这其中可能存在某些原始格式转换方法，其子方法并没有被替换，则直接将原格式转换方法确定为预设格式转换方法。
S580.当判断结果为否时，基于与各种预设数据格式的数据所对应的原格式转换方法，构建所述格式转换方法集。
对于步骤S530的判断结果为否时，即各原格式转换方法之间均不存在相同的子方法，直接基于与各种预设数据格式的数据所对应的原格式转换方法，构建所述格式转换方法集。
对于上述与原始数据格式对应的目标格式转换方法，具体可以为基于数据字段的格式转换方法，在本申请实施例中对于每项数据均提供了标准的信息字段，对于地图上的一个POI点，与其对应的基础标准字段包括：名称、地址、坐标、电话等，每个字段下均有相应的数据与其对应。
而对于不同数据提供方提供的数据，其对应的数据字段信息可能与基础标准字段不一致，例如，对于某一个数据提供方，其提供的数据是Excel的形式并且数据的字段信息可能包括：商户名称、地址信息、地址坐标、联系方式等，需要将Excel中数据项的字段信息与基础标准字段进行匹配，得到相应的语义相似度，这里语义相似度可通过相关的语义相似度匹配算法进行处理，从而得到的匹配结果是：名称与商户名称相匹配，地址与地址信息相匹配，坐标与地址坐标相匹配，电话与联系方式相匹配；再将相应字段下的数据抽取出来放入相应的基础标准字段下，从而完成了对源数据的格式转换。
由此可见，对于Excel形式的数据进行格式转换，其中至少包括了：从Excel中获取数据项的源字段信息，将源字段信息与基础标准字段进行匹配，从Excel文件中抽取数据等子步骤；同样地，对于XML形式的数据进行格式转换时，其中至少包括了从XML中获取数据项的源字段信息，将源字段信息与基础标准字段进行匹配，从XML文件中抽取数据等子步骤；其中，对于从不同形式的数据文件中获取源字段信息，其对应的遍历方法或者获取方法可能不同；另外，本申请实施例中，将源字段信息与基础标准字段进行匹配，以及从文件中抽取数据可采用相同的方法，对应于图5所述的格式转换方法集的获取方法，可将源字段信息与基础标准字段匹配方法，以及从文件中抽取数据的方法看成是公共方法，只需要存储一份相关的运行程序，在具体使用时调用相关的接口即可。
S230.基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据。
具体的格式转换方法请参阅图6，其示出了一种目标格式的目标数据转换方法，在转换过程中是对数据进行逐条处理的，所述方法包括：
S610.遍历所述源数据中的各条原始数据记录。
获取的源数据中包括至少一条原始数据记录，在进行数据格式转换时，需要遍历每条原始数据记录。
S620.基于所述目标格式转换方法，将每条原始数据记录转换为所述目标格式的数据记录。
采用目标格式转换方法，对源数据中的每条原始数据记录进行转换，得到目标格式的数据记录。
本实施例中，所述目标格式的数据记录具体可以是以键值形式进行存储的数据记录，即需要将原始数据记录转换为以键值形式进行存储的数据记录，具体的原始数据记录转换方法可参见图7，所述方法包括：
S710.提取每条原始数据记录中的预设字段信息，以及所述预设字段信息对应的所述原始数据格式的数据信息。
S720.基于所述预设字段信息以及相应的所述原始数据格式的数据信息，将所述原始数据记录转换为以键值格式进行存储的数据记录。
本实施例中，可将各数据格式的源数据转换为json之后进行操作存储，json作为一种十分便捷的key value的存储结构，方便数据的存储、取用、流转。
例如，当前获取到的源数据的数据格式为excel，该源数据文件中的每一行可看成是一条原始数据记录，假设每一条数据包括姓名和地址两个预设字段信息，遍历其中的每一条原始数据记录，则其中一条原始数据记录信息如表1所示：
表1原始数据记录
对于表1中的记录，将其转换为以键值形式进行存储的数据记录为：
“Name”：“×××”，“Address”：“江苏省苏州市××”
将每条原始数据记录转换为上述的键值存储结构的数据记录，进行存储。
S630.综合各条所述目标格式的数据记录，得到所述目标格式的目标数据。
对源数据中的各条原始数据记录进行转换，得到多条原始数据记录对应的键值格式存储记录，从而将源数据转换成了键值存储形式的数据。
S240.以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包。
对于转换格式之后得到的目标格式的目标数据，需要进行存储，这里的具体存储方式是对每一项数据进行分别存储。
基于本实施例上述的格式转换方法，在对数据提供方提供的数据进行格式转换时，除了获取与基础标准字段对应的数据以外，对于同一个POI，不同的数据提供方会提供不同的附加字段及对应的数据，附加字段可以包括：团购信息字段、优惠字段以及详情字段等。对于同一数据提供方，这些附加字段以及相应的数据会和基础标准字段以及相应的数据一起被打包存储。
S250.获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包。
这里的附加信息包括与当前目标格式的目标数据对应的源数据的来源信息、所述源数据的数据标识、版本信息，以及获取所述源数据时的时间戳等等。为每个源数据包添加相应的附加信息，这样每个数据包就会有相应的标识信息。
将所述目标数据包存储到数据库中，并且可进行HDFS(Hadoop Distributed FileSystem，分布式文件系统)归档；由于每个数据包均有相应的标识信息，基于一项或者几项标识信息，便可在数据库中查找到相应的数据包。
采用统一的数据打包格式将不同格式的源数据进行打包，并封装相应的接入时间和版本信息，保证源数据本身的时序性，同时支持全流程数据可查询。
S260.将所述目标格式的目标数据作为接入数据进行数据接入。
将对源数据进行转换之后得到的键值存储形式的数据作为接入数据进行数据接入。
请参见图8，其示出了一种附加信息获取方法，所述方法包括：
S810.获取所述源数据的来源信息、所述源数据的数据标识以及版本信息。
源数据的来源信息具体可以是用来表征数据来源的信息，对于不同的数据提供方所提供的源数据，其对应的来源信息不同；源数据的数据标识具体可以是用于标识不同批次或者不同类别的数据的信息；对于某个数据提供方提供的源数据，在原来提供的源数据上可能会有一些更改或者更新，此时之前提供的源数据与当前更新之后的源数据可以是看成是两个不同版本的源数据，从而具有不同的版本信息。
S820.确定获取所述源数据时的时间戳。
这里确定的时间戳可以是数据接入端在获取到所述源数据时所获取的当前时间戳。
下面以一具体示例来说明本申请的具体实施过程。
本申请为相关数据提供方提供产品数据上传开放平台，可以通过平台接入的方式进行快速的数据编辑接入，打通数据接入与产品直接的鸿沟；同时数据提供方只要在开放平台申请相关的开发密钥key，便可通过API的方式进行定制化数据的上传。为数据提供方提供的数据上传开放平台界面示意图可参阅图9，从图中可以看出，分别通过登录、验证以及申请开发密钥，便可实现相应的产品数据接入。在经过身份验证以及申请密钥之后，基于数据交换平台，数据提供方可将数据按照预设的数据模板进行数据的上传。基于上述的数据上传开放平台获取到源数据，定义好具体的字段的内容，通过内部接入平台与数据上传开放平台打通，从而支持数据的快速上传；这里的内部接入平台可支持数据提供方直接通过数据上传开放平台访问接口进行数据的上传。
上述的对数据提供方提供的源数据进行打包存储，以便于全流程查询，可通过一项或者多项与待查询数据包所附加的信息进行数据包查询，以查询POI数据为例，具体数据查询界面示意图可参见图10，在数据提供方选项框中选择待查询的数据提供方，在相应的数据标识框中输入待查询数据的数据标识，点击查询便可得到如图10所示的数据查询结果，从该查询结果中可以得知该源数据包的详情信息，其中会包括商户名称、地址、分类名称、数据来源、经纬度、插入时间、更新时间、地图详情、点评详情、区域编码以及分类码等各项信息。本申请实施例中，对于地图上的一个点，可通过不同数据方提供的数据来进行确定，即汇集各方的接入数据对同一个点的信息进行补充与更新。
本申请预先基于对各种预设数据格式的数据所对应的原格式转换方法进行分析综合，得到格式转换方法集；在获取到源数据时，基于确定的所述源数据的原始数据格式，从所述格式转换方法集中确定与所述原始数据从格式对应的目标格式转换方法；再基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；将所述目标格式的目标数据作为接入数据进行数据接入。本申请解决了对于不同数据来源的源数据的接入问题，为不同数据格式的源数据提供了快速、便捷的数据接入方式，由于不需要为每种数据格式的源数据分别定制数据接入方法，因此缩短了数据的接入周期；能够应对更多的数据接入需求，从而提高了数据接入能力，使得接入高效稳定；另外提供了便捷的接入方式和接入数据查看方法，使得接入数据全流程可查。
本实施例还提供了一种数据接入装置，请参阅图11，所述装置包括：
源数据获取模块1110，用于获取源数据，确定所述源数据的原始数据格式；
转换方法确定模块1120，用于基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；
数据格式转换模块1130，用于基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；
打包模块1140，用于以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；
目标数据包生成模块1150，用于获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；
数据接入模块1160，用于将所述目标格式的目标数据作为接入数据进行数据接入。
请参阅图12，所述装置还包括格式转换方法集构建模块1200，所述格式转换方法集构建模块1200包括：
分解模块1210，用于对每种原格式转换方法进行分解，得到至少一个子方法；
子方法集合构建模块1220，用于基于对各原格式转换方法的分解结果，得到由多个子方法构建的子方法集合；
第一判断模块1230，用于判断所述子方法集合中是否包括具有相同内容的子方法；
分组模块1240，用于当判断结果为是时，将具有相同内容的子方法划分为一组，得到至少一个分组，其中，每个分组中包括至少两个具有相同内容的子方法；
公共方法确定模块1250，用于保留每个分组中的一个子方法，将各分组中的子方法确定为公共方法，为各公共方法提供访问接口；
替换模块1260，用于对于包含所述公共方法的原格式转换方法，在所述原格式转换方法中将所述公共方法替换为相应公共方法的访问接口，得到预设格式转换方法；
第一构建模块1270，用于基于与各预设格式的数据所对应的预设格式转换方法，构建所述格式转换方法集。
请参见图13，所述源数据获取模块1110包括：
第一获取模块1310，用于获取数据提供方上传的所述源数据；
第二获取模块1320，用于获取数据提供方提供的源数据获取接口；基于所述源数据获取接口拉取所述源数据。
请参见图14，所述装置还包括鉴权模块1400，所述鉴权模块1400包括：
鉴权方法调用模块1410，用于从所述接口鉴权包中调用与当前源数据获取接口对应的目标接口鉴权方法；
权限参数处理模块1420，用于通过所述目标接口鉴权方法对预设权限参数进行处理，得到已处理参数；
还原模块1430，用于将所述已处理参数传入当前源数据获取接口，得到还原参数；
鉴权判定模块1440，用于当所述预设权限参数与所述还原参数匹配一致时，判定对当前源数据获取接口鉴权成功。
所述附加信息包括所述源数据的来源信息、所述源数据的数据标识、版本信息，以及获取所述源数据时的时间戳，相应地，请参见图15，所述目标数据包生成模块1150包括：
附加信息获取模块1510，用于获取所述源数据的来源信息、所述源数据的数据标识以及版本信息；
时间戳确定模块1520，用于确定获取所述源数据时的时间戳。
请参见图16，所述数据格式转换模块1130包括：
遍历模块1610，用于遍历所述源数据中的各条原始数据记录；
数据记录转换模块1620，用于基于所述目标格式转换方法，将每条原始数据记录转换为所述目标格式的数据记录；
综合模块1630，用于综合各条所述目标格式的数据记录，得到所述目标格式的目标数据。
请参见图17，所述数据记录转换模块1620包括：
字段信息提取模块1710，用于提取每条原始数据记录中的预设字段信息，以及所述预设字段信息对应的所述原始数据格式的数据信息；
键值格式转换模块1720，用于基于所述预设字段信息以及相应的所述原始数据格式的数据信息，将所述原始数据记录转换为以键值格式进行存储的数据记录。
上述实施例中提供的装置可执行本申请任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的方法。
本实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如本实施例上述任一方法。
本实施例还提供了一种设备，其结构图请参见图18，该设备1800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1822(例如，一个或一个以上处理器)和存储器1832，一个或一个以上存储应用程序1842或数据1844的存储介质1830(例如一个或一个以上海量存储设备)。其中，存储器1832和存储介质1830可以是短暂存储或持久存储。存储在存储介质1830的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对设备中的一系列指令操作。更进一步地，中央处理器1822可以设置为与存储介质1830通信，在设备1800上执行存储介质1830中的一系列指令操作。设备1800还可以包括一个或一个以上电源1826，一个或一个以上有线或无线网络接口1850，一个或一个以上输入输出接口1858，和/或，一个或一个以上操作系统1841，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。本实施例上述的任一方法均可基于图18所示的设备进行实施。
本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本申请的范围。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种数据接入方法，其特征在于，包括：
获取源数据，确定所述源数据的原始数据格式；
基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；
基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；
以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；
获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；
将所述目标格式的目标数据作为接入数据进行数据接入；
所述格式转换方法集的构建方法包括：
对每种原格式转换方法进行分解，得到至少一个子方法；
基于对各原格式转换方法的分解结果，得到由多个子方法构建的子方法集合；
判断所述子方法集合中是否包括具有相同内容的子方法；
当判断结果为是时，将具有相同内容的子方法划分为一组，得到至少一个分组，其中，每个分组中包括至少两个具有相同内容的子方法；
保留每个分组中的一个子方法，将各分组中的子方法确定为公共方法，为各公共方法提供访问接口；
对于包含所述公共方法的原格式转换方法，在所述原格式转换方法中将所述公共方法替换为相应公共方法的访问接口，得到预设格式转换方法；
基于与各预设格式的数据所对应的预设格式转换方法，构建所述格式转换方法集。
2.根据权利要求1所述的一种数据接入方法，其特征在于，所述获取源数据包括：
获取数据提供方上传的所述源数据；
或，
获取数据提供方提供的源数据获取接口；
基于所述源数据获取接口拉取所述源数据。
3.根据权利要求2所述的一种数据接入方法，其特征在于，所述方法还包括：
对于不同的源数据获取接口，分别确定与每个源数据获取接口对应的接口鉴权方法；
综合各接口鉴权方法，得到接口鉴权包；
所述基于所述源数据获取接口拉取所述源数据之前还包括：
从所述接口鉴权包中调用与当前源数据获取接口对应的目标接口鉴权方法；
通过所述目标接口鉴权方法对预设权限参数进行处理，得到已处理参数；
将所述已处理参数传入当前源数据获取接口，得到还原参数；
当所述预设权限参数与所述还原参数匹配一致时，判定对当前源数据获取接口鉴权成功。
4.根据权利要求3所述的一种数据接入方法，其特征在于，所述附加信息包括所述源数据的来源信息、所述源数据的数据标识、版本信息，以及获取所述源数据时的时间戳；
相应地，所述获取所述源数据的附加信息包括：
获取所述源数据的来源信息、所述源数据的数据标识以及版本信息；
确定获取所述源数据时的时间戳。
5.根据权利要求1所述的一种数据接入方法，其特征在于，所述源数据中包括至少一条原始数据记录；
相应地，所述基于所述目标格式转换方法，将所述原始数据格式的源数据转换为目标格式的目标数据包括：
遍历所述源数据中的各条原始数据记录；
基于所述目标格式转换方法，将每条原始数据记录转换为所述目标格式的数据记录；
综合各条所述目标格式的数据记录，得到所述目标格式的目标数据。
6.根据权利要求5所述的一种数据接入方法，其特征在于，所述目标格式的数据记录为以键值形式进行存储的数据记录；
相应地，所述基于所述目标格式转换方法，将每条原始数据记录转换为所述目标格式的数据记录包括：
提取每条原始数据记录中的预设字段信息，以及所述预设字段信息对应的所述原始数据格式的数据信息；
基于所述预设字段信息以及相应的所述原始数据格式的数据信息，将所述原始数据记录转换为以键值格式进行存储的数据记录。
7.一种数据接入装置，其特征在于，包括：
源数据获取模块，用于获取源数据，确定所述源数据的原始数据格式；
转换方法确定模块，用于基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；
数据格式转换模块，用于基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；
打包模块，用于以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；
目标数据包生成模块，用于获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；
数据接入模块，用于将所述目标格式的目标数据作为接入数据进行数据接入；
格式转换方法集构建模块，所述格式转换方法集构建模块包括：
分解模块，用于对每种原格式转换方法进行分解，得到至少一个子方法；
子方法集合构建模块，用于基于对各原格式转换方法的分解结果，得到由多个子方法构建的子方法集合；
第一判断模块，用于判断所述子方法集合中是否包括具有相同内容的子方法；
分组模块，用于当判断结果为是时，将具有相同内容的子方法划分为一组，得到至少一个分组，其中，每个分组中包括至少两个具有相同内容的子方法；
公共方法确定模块，用于保留每个分组中的一个子方法，将各分组中的子方法确定为公共方法，为各公共方法提供访问接口；
替换模块，用于对于包含所述公共方法的原格式转换方法，在所述原格式转换方法中将所述公共方法替换为相应公共方法的访问接口，得到预设格式转换方法；
第一构建模块，用于基于与各预设格式的数据所对应的预设格式转换方法，构建所述格式转换方法集。
8.根据权利要求7所述的装置，其特征在于，所述源数据获取模块包括：
第一获取模块，用于获取数据提供方上传的所述源数据；
第二获取模块，用于获取数据提供方提供的源数据获取接口；基于所述源数据获取接口拉取所述源数据。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括鉴权模块，所述鉴权模块包括：
鉴权方法调用模块，用于从接口鉴权包中调用与当前源数据获取接口对应的目标接口鉴权方法；
权限参数处理模块，用于通过所述目标接口鉴权方法对预设权限参数进行处理，得到已处理参数；
还原模块，用于将所述已处理参数传入当前源数据获取接口，得到还原参数；
鉴权判定模块，用于当所述预设权限参数与所述还原参数匹配一致时，判定对当前源数据获取接口鉴权成功。
10.根据权利要求9所述的装置，其特征在于，所述附加信息包括所述源数据的来源信息、所述源数据的数据标识、版本信息，以及获取所述源数据时的时间戳，所述目标数据包生成模块包括：
附加信息获取模块，用于获取所述源数据的来源信息、所述源数据的数据标识以及版本信息；
时间戳确定模块，用于确定获取所述源数据时的时间戳。
11.根据权利要求7所述的装置，其特征在于，所述源数据中包括至少一条原始数据记录；所述数据格式转换模块包括：
遍历模块，用于遍历所述源数据中的各条原始数据记录；
数据记录转换模块，用于基于所述目标格式转换方法，将每条原始数据记录转换为所述目标格式的数据记录；
综合模块，用于综合各条所述目标格式的数据记录，得到所述目标格式的目标数据。
12.根据权利要求11所述的装置，其特征在于，所述数据记录转换模块包括：
字段信息提取模块，用于提取每条原始数据记录中的预设字段信息，以及所述预设字段信息对应的所述原始数据格式的数据信息；
键值格式转换模块，用于基于所述预设字段信息以及相应的所述原始数据格式的数据信息，将所述原始数据记录转换为以键值格式进行存储的数据记录。
13.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述的数据接入方法。
14.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1至6任一项所述的数据接入方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910863349.0A CN110781230B (zh) | 2019-09-12 | 2019-09-12 | 一种数据接入方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910863349.0A CN110781230B (zh) | 2019-09-12 | 2019-09-12 | 一种数据接入方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110781230A CN110781230A (zh) | 2020-02-11 |
| CN110781230B true CN110781230B (zh) | 2024-04-12 |
Family
ID=69383413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910863349.0A Active CN110781230B (zh) | 2019-09-12 | 2019-09-12 | 一种数据接入方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781230B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970267B (zh) * | 2020-08-13 | 2022-08-30 | 国网电子商务有限公司 | 一种数据协议转换方法、装置、电子设备及存储介质 |
| CN112965962A (zh) * | 2021-02-03 | 2021-06-15 | 北京中煤时代科技发展有限公司 | 一种行业网站数据转换方法、装置及行业网站 |
| CN112860777B (zh) * | 2021-03-22 | 2024-03-15 | 深圳市腾讯信息技术有限公司 | 数据处理方法、装置及设备 |
| CN113094312A (zh) * | 2021-04-02 | 2021-07-09 | 上海先基半导体科技有限公司 | 设备的数据处理方法、装置以及处理器 |
| CN113312881B (zh) * | 2021-05-06 | 2024-04-05 | 上海移远通信技术股份有限公司 | 频段信息转换方法及装置、电子设备和计算机存储介质 |
| CN113326681A (zh) * | 2021-05-25 | 2021-08-31 | 上海微盟企业发展有限公司 | 一种数据处理方法、装置、设备及计算机可读存储介质 |
| CN114328698B (zh) * | 2022-03-07 | 2022-05-24 | 宜科(天津)电子有限公司 | 一种数据转换系统 |
| CN114840597B (zh) * | 2022-07-04 | 2023-03-14 | 杭州安恒信息技术股份有限公司 | 一种组件参数格式转换方法、装置、设备及存储介质 |
| CN116644031B (zh) * | 2023-07-27 | 2023-10-13 | 北京联创高科信息技术有限公司 | 不同格式的煤矿水害数据统一标准化的方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996589B1 (en) * | 2002-01-16 | 2006-02-07 | Convergys Cmg Utah, Inc. | System and method for database conversion |
| CN101562730A (zh) * | 2009-05-31 | 2009-10-21 | 南京中兴特种软件有限责任公司 | 一种用于无线视频路由的多通信协议转换方法 |
| CN101739452A (zh) * | 2009-12-17 | 2010-06-16 | 中国电力科学研究院 | 一种数据交换接口及其实现方法 |
| CN103716836A (zh) * | 2012-10-09 | 2014-04-09 | 上海博路信息技术有限公司 | 一种共享手机定位能力的方法 |
| CN105278373A (zh) * | 2015-10-16 | 2016-01-27 | 中国南方电网有限责任公司电网技术研究中心 | 一种变电站综合信息处理系统的实现方法 |
| WO2016111697A1 (en) * | 2015-01-09 | 2016-07-14 | Landmark Graphics Corporation | Apparatus and methods of data synchronization |
| WO2017092311A1 (zh) * | 2015-12-01 | 2017-06-08 | 乐视控股（北京）有限公司 | 视频数据的获取方法、装置及系统 |
| CN107295039A (zh) * | 2016-03-31 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 数据接入处理方法和装置 |
| CN110019595A (zh) * | 2017-09-29 | 2019-07-16 | 中国电力科学研究院 | 一种多源气象数据集成方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030191719A1 (en) * | 1995-02-13 | 2003-10-09 | Intertrust Technologies Corp. | Systems and methods for secure transaction management and electronic rights protection |
| WO2012047906A2 (en) * | 2010-10-04 | 2012-04-12 | Sempras Software, Inc. | Methods and apparatus for integrated management of structured data from various sources and having various formats |
-
2019
- 2019-09-12 CN CN201910863349.0A patent/CN110781230B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996589B1 (en) * | 2002-01-16 | 2006-02-07 | Convergys Cmg Utah, Inc. | System and method for database conversion |
| CN101562730A (zh) * | 2009-05-31 | 2009-10-21 | 南京中兴特种软件有限责任公司 | 一种用于无线视频路由的多通信协议转换方法 |
| CN101739452A (zh) * | 2009-12-17 | 2010-06-16 | 中国电力科学研究院 | 一种数据交换接口及其实现方法 |
| CN103716836A (zh) * | 2012-10-09 | 2014-04-09 | 上海博路信息技术有限公司 | 一种共享手机定位能力的方法 |
| WO2016111697A1 (en) * | 2015-01-09 | 2016-07-14 | Landmark Graphics Corporation | Apparatus and methods of data synchronization |
| CN105278373A (zh) * | 2015-10-16 | 2016-01-27 | 中国南方电网有限责任公司电网技术研究中心 | 一种变电站综合信息处理系统的实现方法 |
| WO2017092311A1 (zh) * | 2015-12-01 | 2017-06-08 | 乐视控股（北京）有限公司 | 视频数据的获取方法、装置及系统 |
| CN107295039A (zh) * | 2016-03-31 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 数据接入处理方法和装置 |
| CN110019595A (zh) * | 2017-09-29 | 2019-07-16 | 中国电力科学研究院 | 一种多源气象数据集成方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| FlexiDC:A Flexible Platform for Database Conversion;Wael. M. S. Yafooz 等;2018 International Conference on Smart Computing and Electronic Enterprise (ICSCEE);1-7 * |
| 实例分析基于异构数据源的XML数据转换方法;秦燕;周湘贞;;西南师范大学学报(自然科学版)(第03期);77-82 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110781230A (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781230B (zh) | 一种数据接入方法、装置及设备 | |
| US20240020421A1 (en) | Distributed application architectures using blockchain and distributed file systems | |
| CN109614823B (zh) | 一种数据的处理方法、装置及设备 | |
| US10089384B2 (en) | Machine learning-derived universal connector | |
| CN108090351B (zh) | 用于处理请求消息的方法和装置 | |
| US9197613B2 (en) | Document processing method and system | |
| CN112685433B (zh) | 元数据更新方法、装置、电子设备及计算机可读存储介质 | |
| CN104866985B (zh) | 快递单号识别方法、装置及系统 | |
| CN109639819B (zh) | 文件传输方法、客户端、服务器及系统 | |
| CN110321544B (zh) | 用于生成信息的方法和装置 | |
| CN109522328A (zh) | 一种数据处理方法及其装置、介质、终端 | |
| CN111026788A (zh) | 一种混合云中基于同态加密的多关键词密文排序检索方法 | |
| CN111899741A (zh) | 音频关键词加密方法、装置、存储介质及电子装置 | |
| CN110895587B (zh) | 用于确定目标用户的方法和装置 | |
| CN117171108B (zh) | 一种虚拟模型映射方法和系统 | |
| CN110895548A (zh) | 用于处理信息的方法和装置 | |
| CN116910820A (zh) | 数据报表处理方法、装置、计算机设备以及存储介质 | |
| CN115659375A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN112416875B (zh) | 日志管理方法、装置、计算机设备及存储介质 | |
| CN115203674A (zh) | 一种应用程序自动登录方法、系统、装置及存储介质 | |
| CN113836169A (zh) | 一种基于Clickhouse的数据处理方法、设备及介质 | |
| CN110740046B (zh) | 分析服务契约的方法和装置 | |
| CN111611056A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN113676840B (zh) | 数据处理方法、装置、电子设备、存储介质和程序产品 | |
| CN113449321B (zh) | 一种密文检索方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021616 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |