CN113297217B - 一种数据传输方法、装置及系统 - Google Patents
一种数据传输方法、装置及系统 Download PDFInfo
- Publication number
- CN113297217B CN113297217B CN202110551560.6A CN202110551560A CN113297217B CN 113297217 B CN113297217 B CN 113297217B CN 202110551560 A CN202110551560 A CN 202110551560A CN 113297217 B CN113297217 B CN 113297217B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- identification code
- unique identification
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 230000009471 action Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种数据传输方法、装置及系统，通过在第三方数据平台中对目标数据生成唯一识别码，数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据，直接在数据储存库中调用该所需数据而无需重复下载，避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为，解决数据中台在进行数据交互中重复工作而引起其数据交互效率低下的缺陷问题，提高了数据中台与第三方数据平台之间的数据传输速率，更适应现阶段大数据时段的发展需求。
Description
技术领域
本发明涉及数据传输技术领域，尤其涉及一种数据传输方法、装置及系统。
背景技术
数据中台是在政企数字化转型过程中，对各业务单元业务与数据的沉淀，构建包括数据技术、数据治理、数据运营等数据建设、管理、使用体系，实现数据赋能；其是新型信息化应用框架体系中的核心。
在实际应用中，工作人员需要利用数据中台与第三方数据平台进行数据交互。例如，在第三方数据平台中下载不同对象的行为数据，用于在数据中台进行不同对象的标签生成。但是由于需要下载的数据是海量的，同时，不同对象所需的行为数据中往往存在相同数据；相当于数据中台在进行重复工作，导致了数据交互效率低下，不适应现阶段大数据时段的发展需求。
因此，目前市面上亟需一种数据传输方法，能够避免数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为，解决数据中台在进行数据交互中重复工作而引起其数据交互效率低下的缺陷问题。
发明内容
本发明提供了一种数据传输方法，可以提高数据中台与第三方数据平台之间的数据传输速率，以适应现阶段大数据时段的发展需求。
为了解决上述技术问题，本发明实施例提供了一种数据传输方法，应用于数据中台，所述数据中台与多个第三方数据平台进行数据交互，所述数据传输方法至少包括：
接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台；
将所述数据获取指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据获取指令提取第一目标数据，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台；
接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码；
如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据。
作为优选方案，所述数据传输方法还包括：
如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据下发指令，将所述第一目标数据发送至数据中台；
接收由所述第三方数据平台发送的第一目标数据并将所述第一目标数据作为所需数据；同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
作为优选方案，所述根据所述触发指令确定目标地址并生成数据获取指令的步骤中，包括：
设置指令表头和指令尾部，将所述指令表头、目标地址和指令尾部依次封装，生成数据获取指令；其中，所述指令表头含有用于指示执行提取动作的程序编码。
相应地，本发明另一实施例还提供了一种数据传输装置，应用于数据中台，所述数据中台与多个第三方数据平台进行通信连接，所述数据传输装置至少包括：
触发指令模块，用于接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台；
数据获取模块，用于将所述数据获取指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据获取指令提取第一目标数据，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台；
数据查找模块，用于接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码；
数据提取模块，用于如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据。
作为优选方案，所述数据传输装置还包括：
下发指令模块，用于如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据下发指令，将所述第一目标数据发送至数据中台；
数据储存模块，用于接收由所述第三方数据平台发送的第一目标数据并将所述第一目标数据作为所需数据；同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
作为优选方案，所述触发指令模块用于根据所述触发指令确定目标地址并生成数据获取指令的步骤中，包括：设置指令表头和指令尾部，将所述指令表头、目标地址和指令尾部依次封装，生成数据获取指令；其中，所述指令表头含有用于指示执行提取动作的程序编码。
本发明另一实施例还提供了一种数据传输方法，应用于第三方数据平台，所述第三方数据平台与数据中台进行数据交互，所述数据传输方法至少包括：
接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据；
根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码；
将所述第一目标数据所对应的唯一标识码发送至所述数据中台，以使所述数据中台响应于所述唯一标识码，在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台。
作为优选方案，所述数据传输方法还包括：
接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台；以使所述数据中台将所述第一目标数据作为所需数据，同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
作为优选方案，所述根据所述数据获取指令提取第一目标数据的步骤中，包括：
对所述数据获取指令进行拆分，得到指令表头、目标地址和指令尾部；
根据所述指令表头确定提取动作，并对所述目标地址中的数据进行提取，得到第一目标数据。
相应地，本发明另一实施例还提供了一种数据传输装置，应用于第三方数据平台，所述第三方数据平台与数据中台进行通信连接，所述数据传输装置至少包括：
数据接收模块，用于接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据；
标识生成模块，用于根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码；
数据下发模块，用于将所述第一目标数据所对应的唯一标识码发送至所述数据中台，以使所述数据中台响应于所述唯一标识码，在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台。
作为优选方案，所述数据传输装置还包括：
目标数据模块，用于接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台；以使所述数据中台将所述第一目标数据作为所需数据，同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
作为优选方案，所述数据接收模块用于根据所述数据获取指令提取第一目标数据的步骤中，包括：对所述数据获取指令进行拆分，得到指令表头、目标地址和指令尾部；根据所述指令表头确定提取动作，并对所述目标地址中的数据进行提取，得到第一目标数据。
本发明另一实施例还提供了一种数据传输系统，包括：数据中台与多个第三方数据平台；所述数据中台分别与多个第三方数据平台进行通信连接；
所述数据中台用于：接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台并将所述数据获取指令发送至所述第三方数据平台；
所述第三方数据平台用于：接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据；
所述第三方数据平台用于：根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台；
所述数据中台用于：接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据。
作为优选方案，所述数据传输系统还包括：
所述数据中台还用于：如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台；
所述第三方数据平台还用于：接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台；
所述数据中台还用于：接收由所述第三方数据平台发送的第一目标数据并将所述第一目标数据作为所需数据；同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
作为优选方案，所述数据中台用于根据所述触发指令确定目标地址并生成数据获取指令的步骤中，包括：设置指令表头和指令尾部，将所述指令表头、目标地址和指令尾部依次封装，生成数据获取指令；其中，所述指令表头含有用于指示执行提取动作的程序编码；所述第三方数据平台用于根据所述数据获取指令提取第一目标数据的步骤中，包括：对所述数据获取指令进行拆分，得到指令表头、目标地址和指令尾部；根据所述指令表头确定提取动作，并对所述目标地址中的数据进行提取，得到第一目标数据。
相比于现有技术，本发明实施例具有如下有益效果：
本发明技术方案通过在第三方数据平台中对目标数据生成唯一识别码，数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据，直接在数据储存库中调用该所需数据而无需重复下载，避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为，解决数据中台在进行数据交互中重复工作而引起其数据交互效率低下的缺陷问题，提高了数据中台与第三方数据平台之间的数据传输速率，更适应现阶段大数据时段的发展需求。
附图说明
图1：为本发明实施例一提供的一种数据传输方法的步骤流程图；
图2：为本发明实施例二提供的一种数据传输装置的结构示意图；
图3：为本发明实施例三提供的一种数据传输方法的步骤流程图；
图4：为本发明实施例四提供的一种数据传输装置的结构示意图；
图5：为本发明实施例五提供的一种数据传输系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种数据传输方法的步骤流程图。本实施例的一种数据传输方法应用于数据中台，所述数据中台与多个第三方数据平台进行数据交互，所述数据传输方法至少包括步骤101至步骤104，各个步骤具体如下：
步骤101，接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台。
在本实施例的第一方面，所述根据所述触发指令确定目标地址并生成数据获取指令的步骤中，包括：设置指令表头和指令尾部，将所述指令表头、目标地址和指令尾部依次封装，生成数据获取指令；其中，所述指令表头含有用于指示执行提取动作的程序编码。
具体地，所述触发指令可以是工作人员在数据中台中操作点击的动作指令，也可以是在数据中台中新建的任务流。在本实施例一中，工作人员利用数据中台进行数据采集，通过鼠标点击所需的目标数据，该目标数据所关联的地址信息被提取，并根据指令表头、目标地址和指令尾部，封装成数据获取指令。只要第三方数据平台识别到该数据获取指令，即可在该第三方数据平台中提取相应的目标数据。
步骤102，将所述数据获取指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据获取指令提取第一目标数据，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台。
具体地，数据中台将生成的数据获取指令发送至第三方数据平台后，第三方数据平台对该数据获取指令进行拆分，对指令中目标地址的数据进行提取，然后根据指令表头的类型对该提取数据进行唯一识别码转换，生成该提取数据所对应的唯一识别码。
步骤103，接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码。
具体地，第三方数据平台将唯一标识码发给数据中台后，数据中台首先在其内部的数据储存库中搜索一下有没有该唯一识别码所对应的第二目标数据。
步骤104，如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据。
具体地，如果存在，则说明所需数据在之前就已经被下载过，为了提高数据传输速率，无需再次重新下载，白白占用宽带数据；只需要直接在数据储存库中提取相应的数据即可。
在本实施例的另一种改进方案中，所述数据传输方法还包括步骤105和步骤106，具体如下：
步骤105，如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据下发指令，将所述第一目标数据发送至数据中台。
具体地，如果在数据储存库中搜索不到该唯一识别码及其对应的目标数据，则证明本次所需数据在之前是没有被下载过的，需要在第三方数据平台中下载获取。此时，数据中台将再次向第三方数据平台发送指令，令第三方数据平台对该所需数据进行下载。
步骤106，接收由所述第三方数据平台发送的第一目标数据并将所述第一目标数据作为所需数据；同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
具体地，数据中台在接收到由第三方数据平台发送的目标数据后，可以对该数据确定为所需数据进行使用，同时，为了提高下一次数据中台对该数据下载的需要，数据中台会将该所需数据及其对应的唯一识别码关联储存在数据储存库中，以便下次使用。
本发明技术方案通过在第三方数据平台中对目标数据生成唯一识别码，数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据，直接在数据储存库中调用该所需数据而无需重复下载，避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为，解决数据中台在进行数据交互中重复工作而引起其数据交互效率低下的缺陷问题，提高了数据中台与第三方数据平台之间的数据传输速率，更适应现阶段大数据时段的发展需求。
实施例二
相应地，请参照图2，为本发明另一实施例提供的一种数据传输装置的结构示意图。本实施例的一种数据传输装置应用于数据中台，所述数据中台与多个第三方数据平台进行通信连接，所述数据传输装置至少包括：触发指令模块、数据获取模块、数据查找模块和数据提取模块；其中：
触发指令模块，用于接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台。
在本实施例的第一个方面中，所述触发指令模块用于根据所述触发指令确定目标地址并生成数据获取指令的步骤中，包括：设置指令表头和指令尾部，将所述指令表头、目标地址和指令尾部依次封装，生成数据获取指令；其中，所述指令表头含有用于指示执行提取动作的程序编码。
数据获取模块，用于将所述数据获取指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据获取指令提取第一目标数据，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台。
数据查找模块，用于接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码。
数据提取模块，用于如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据。
在本实施例另一种改进方案中，所述数据传输装置还包括：
下发指令模块，用于如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据下发指令，将所述第一目标数据发送至数据中台；
数据储存模块，用于接收由所述第三方数据平台发送的第一目标数据并将所述第一目标数据作为所需数据；同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
实施例三
请参照图3，为本发明另一实施例提供的一种数据传输方法的步骤流程图。本实施例的一种数据传输方法应用于第三方数据平台，所述第三方数据平台与数据中台进行数据交互，所述数据传输方法至少包括步骤201至步骤203，各个步骤具体如下：
步骤201，接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据。
在本实施例的第一个方面中，所述根据所述数据获取指令提取第一目标数据的步骤中，包括：对所述数据获取指令进行拆分，得到指令表头、目标地址和指令尾部；根据所述指令表头确定提取动作，并对所述目标地址中的数据进行提取，得到第一目标数据。
具体地，工作人员利用数据中台进行数据采集，通过鼠标点击所需的目标数据，该目标数据所关联的地址信息被提取，并根据指令表头、目标地址和指令尾部，封装成数据获取指令。只要第三方数据平台识别到该数据获取指令，即可在该第三方数据平台中提取相应的目标数据。
数据中台将生成的数据获取指令发送至第三方数据平台后，第三方数据平台对该数据获取指令进行拆分，对指令中目标地址的数据进行提取，得到了第一目标数据。
步骤202，根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码。
具体地，根据指令表头的类型对该提取数据进行唯一识别码转换，生成该提取数据所对应的唯一识别码，该唯一识别码的生成过程可以由第一目标数据的地址信息、数据属性和数据内容为基础数据，通过编码转换算法换算成唯一识别码。该转换的过程可以参照本领域相关算法转换策略，具体的转换过程属于本领域惯用手段，在本方案中不过多赘述。
步骤203，将所述第一目标数据所对应的唯一标识码发送至所述数据中台，以使所述数据中台响应于所述唯一标识码，在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台。
具体地，第三方数据平台将唯一标识码发给数据中台后，数据中台首先在其内部的数据储存库中搜索一下有没有该唯一识别码所对应的第二目标数据。如果存在，则说明所需数据在之前就已经被下载过，为了提高数据传输速率，无需再次重新下载，白白占用宽带数据；只需要直接在数据储存库中提取相应的数据即可。如果在数据储存库中搜索不到该唯一识别码及其对应的目标数据，则证明本次所需数据在之前是没有被下载过的，需要在第三方数据平台中下载获取。此时，数据中台将再次向第三方数据平台发送指令，令第三方数据平台对该所需数据进行下载。
在本实施例的另一种改进方案中，所述数据传输方法还包括步骤204：接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台；以使所述数据中台将所述第一目标数据作为所需数据，同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
具体地，数据中台在接收到由第三方数据平台发送的目标数据后，可以对该数据确定为所需数据进行使用，同时，为了提高下一次数据中台对该数据下载的需要，数据中台会将该所需数据及其对应的唯一识别码关联储存在数据储存库中，以便下次使用。
本发明技术方案通过在第三方数据平台中对目标数据生成唯一识别码，数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据，直接在数据储存库中调用该所需数据而无需重复下载，避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为，解决数据中台在进行数据交互中重复工作而引起其数据交互效率低下的缺陷问题，提高了数据中台与第三方数据平台之间的数据传输速率，更适应现阶段大数据时段的发展需求。
实施例四
相应地，请参照图4，为本发明另一实施例提供的一种数据传输装置的结构示意图，本实施例的一种数据传输装置应用于第三方数据平台，所述第三方数据平台与数据中台进行通信连接，所述数据传输装置至少包括：数据接收模块、标识生成模块和数据下发模块，其中：
数据接收模块，用于接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据。
在本实施例的第一个方面中，所述数据接收模块用于根据所述数据获取指令提取第一目标数据的步骤中，包括：对所述数据获取指令进行拆分，得到指令表头、目标地址和指令尾部；根据所述指令表头确定提取动作，并对所述目标地址中的数据进行提取，得到第一目标数据。
标识生成模块，用于根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码。
数据下发模块，用于将所述第一目标数据所对应的唯一标识码发送至所述数据中台，以使所述数据中台响应于所述唯一标识码，在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台。
在本实施例的另一种改进方案中，所述数据传输装置还包括：目标数据模块，用于接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台；以使所述数据中台将所述第一目标数据作为所需数据，同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
实施例五
请参照图5，为本发明另一实施例提供的一种数据传输系统的结构示意图，包括：数据中台与多个第三方数据平台；所述数据中台分别与多个第三方数据平台进行通信连接。
所述数据中台用于：接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台并将所述数据获取指令发送至所述第三方数据平台。
在本实施例的第一方面中，所述数据中台用于根据所述触发指令确定目标地址并生成数据获取指令的步骤中，包括：设置指令表头和指令尾部，将所述指令表头、目标地址和指令尾部依次封装，生成数据获取指令；其中，所述指令表头含有用于指示执行提取动作的程序编码。
所述第三方数据平台用于：接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据。
在本实施例的第一方面中，所述第三方数据平台用于根据所述数据获取指令提取第一目标数据的步骤中，包括：对所述数据获取指令进行拆分，得到指令表头、目标地址和指令尾部；根据所述指令表头确定提取动作，并对所述目标地址中的数据进行提取，得到第一目标数据。
所述第三方数据平台用于：根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台。
所述数据中台用于：接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据。
在本实施例的另一种改进方案中，所述数据传输系统还包括：
所述数据中台还用于：如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台。
所述第三方数据平台还用于：接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台。
本发明技术方案通过在第三方数据平台中对目标数据生成唯一识别码，数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据，直接在数据储存库中调用该所需数据而无需重复下载，避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为，解决数据中台在进行数据交互中重复工作而引起其数据交互效率低下的缺陷问题，提高了数据中台与第三方数据平台之间的数据传输速率，更适应现阶段大数据时段的发展需求。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种数据传输方法，其特征在于，应用于数据中台，所述数据中台与多个第三方数据平台进行数据交互，所述数据传输方法至少包括：
接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台；
将所述数据获取指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据获取指令提取第一目标数据，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台；
接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码；
如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；
如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据下发指令，将所述第一目标数据发送至数据中台；
接收由所述第三方数据平台发送的第一目标数据并将所述第一目标数据作为所需数据；同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
2.如权利要求1所述的数据传输方法，其特征在于，所述根据所述触发指令确定目标地址并生成数据获取指令的步骤中，包括：
设置指令表头和指令尾部，将所述指令表头、目标地址和指令尾部依次封装，生成数据获取指令；其中，所述指令表头含有用于指示执行提取动作的程序编码。
3.一种数据传输装置，其特征在于，应用于数据中台，所述数据中台与多个第三方数据平台进行通信连接，所述数据传输装置至少包括：
触发指令模块，用于接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台；
数据获取模块，用于将所述数据获取指令发送至所述第三方数据平台，以使所述第三方数据平台响应于所述数据获取指令提取第一目标数据，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台；
数据查找模块，用于接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码；
数据提取模块，用于如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据。
4.一种数据传输方法，其特征在于，应用于第三方数据平台，所述第三方数据平台与数据中台进行数据交互，所述数据传输方法至少包括：
接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据；
根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码；
将所述第一目标数据所对应的唯一标识码发送至所述数据中台，以使所述数据中台响应于所述唯一标识码，在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台；
接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台；以使所述数据中台将所述第一目标数据作为所需数据，同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
5.如权利要求4所述的数据传输方法，其特征在于，所述根据所述数据获取指令提取第一目标数据的步骤中，包括：
对所述数据获取指令进行拆分，得到指令表头、目标地址和指令尾部；
根据所述指令表头确定提取动作，并对所述目标地址中的数据进行提取，得到第一目标数据。
6.一种数据传输装置，其特征在于，应用于第三方数据平台，所述第三方数据平台与数据中台进行通信连接，所述数据传输装置至少包括：
数据接收模块，用于接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据；
标识生成模块，用于根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码；
数据下发模块，用于将所述第一目标数据所对应的唯一标识码发送至所述数据中台，以使所述数据中台响应于所述唯一标识码，在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台。
7.一种数据传输系统，其特征在于，包括：数据中台与多个第三方数据平台；所述数据中台分别与多个第三方数据平台进行通信连接；
所述数据中台用于：接收触发指令，根据所述触发指令确定目标地址并生成数据获取指令，同时，确定所述目标地址所对应的第三方数据平台并将所述数据获取指令发送至所述第三方数据平台；
所述第三方数据平台用于：接收由所述数据中台发送的数据获取指令，并根据所述数据获取指令提取第一目标数据；
所述第三方数据平台用于：根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码，并将所述第一目标数据所对应的唯一标识码发送至所述数据中台；
所述数据中台用于：接收由所述第三方数据平台发送的唯一标识码，并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据；其中，所述数据储存库储存有历史的所需数据及其对应的唯一标识码；如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据，则提取所述第二目标数据作为所需数据；
所述数据中台还用于：如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据，则生成数据下发指令，并将所述数据下发指令发送至所述第三方数据平台；
所述第三方数据平台还用于：接收由所述数据中台发送的数据下发指令，并根据所述数据下发指令将所述第一目标数据发送至所述数据中台；
所述数据中台还用于：接收由所述第三方数据平台发送的第一目标数据并将所述第一目标数据作为所需数据；同时，将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110551560.6A CN113297217B (zh) | 2021-05-20 | 2021-05-20 | 一种数据传输方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110551560.6A CN113297217B (zh) | 2021-05-20 | 2021-05-20 | 一种数据传输方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113297217A CN113297217A (zh) | 2021-08-24 |
| CN113297217B true CN113297217B (zh) | 2021-12-17 |
Family
ID=77323056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110551560.6A Active CN113297217B (zh) | 2021-05-20 | 2021-05-20 | 一种数据传输方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113297217B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457215A (zh) * | 2019-07-31 | 2019-11-15 | 上海赫千电子科技有限公司 | 一种跨平台的mcu调试方法 |
| CN112015816A (zh) * | 2020-08-27 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 数据同步方法、装置、介质及电子设备 |
| US10897450B2 (en) * | 2016-05-18 | 2021-01-19 | Fujitsu Limited | Communication method and communication apparatus |
| CN112434307A (zh) * | 2020-06-21 | 2021-03-02 | 石高建 | 结合大数据和物联网的数据处理方法及云计算服务器中心 |
| CN112463843A (zh) * | 2020-11-27 | 2021-03-09 | 国家电网有限公司大数据中心 | 基于区块链和数据资源目录的电网数据共享方法及系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593376B (zh) * | 2012-08-17 | 2017-09-15 | 阿里巴巴集团控股有限公司 | 一种采集用户行为数据的方法及装置 |
| US10609175B2 (en) * | 2015-12-31 | 2020-03-31 | Hughes Newtwork Systems, LLC | Apparatus and method for broadcast/multicast content delivery and opportunistic caching in a broadband communications network |
| CN106375455B (zh) * | 2016-09-06 | 2019-11-15 | 金蝶软件（中国）有限公司 | 一种数据传输方法及装置 |
| WO2018195972A1 (zh) * | 2017-04-28 | 2018-11-01 | 深圳市大疆创新科技有限公司 | 一种数据处理方法、装置及系统 |
| CN110442811A (zh) * | 2019-08-14 | 2019-11-12 | 广州虎牙科技有限公司 | 一种页面的处理方法、装置、计算机设备和存储介质 |
| CN112446035A (zh) * | 2019-09-05 | 2021-03-05 | 阿里健康科技(中国)有限公司 | 数据管理方法及装置 |
| CN113032490B (zh) * | 2019-12-05 | 2022-07-12 | 腾讯科技（深圳）有限公司 | 一种合约数据处理方法、相关设备及介质 |
| CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理系统 |
| CN111581292B (zh) * | 2020-05-18 | 2023-12-15 | 中国工业互联网研究院 | 一种工业互联网数据资产确权和交易方法及平台 |
| CN112187908A (zh) * | 2020-09-23 | 2021-01-05 | 易小博(武汉)科技有限公司 | 一种数据处理方法、系统和接口服务平台 |
| CN112612812A (zh) * | 2020-12-25 | 2021-04-06 | 航天信息股份有限公司 | 一种多系统数据的处理方法及装置 |
-
2021
- 2021-05-20 CN CN202110551560.6A patent/CN113297217B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10897450B2 (en) * | 2016-05-18 | 2021-01-19 | Fujitsu Limited | Communication method and communication apparatus |
| CN110457215A (zh) * | 2019-07-31 | 2019-11-15 | 上海赫千电子科技有限公司 | 一种跨平台的mcu调试方法 |
| CN112434307A (zh) * | 2020-06-21 | 2021-03-02 | 石高建 | 结合大数据和物联网的数据处理方法及云计算服务器中心 |
| CN112015816A (zh) * | 2020-08-27 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 数据同步方法、装置、介质及电子设备 |
| CN112463843A (zh) * | 2020-11-27 | 2021-03-09 | 国家电网有限公司大数据中心 | 基于区块链和数据资源目录的电网数据共享方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Cache Less for More: Exploiting Cooperative Video Caching and Delivery in D2D Communications;Dapeng Wu 等;《IEEE Transactions on Multimedia》;20181210;第21卷(第7期);1788-1798 * |
| 物联网管理平台后端开发研究;万鹏 等;《大众科技》;20200920;第22卷(第9期);4-7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113297217A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665233A (zh) | 数据库数据处理方法、装置、计算机设备和存储介质 | |
| CN107908680A (zh) | 微信公众号的管理方法、电子装置及计算机可读存储介质 | |
| CN105224396A (zh) | 一种业务数据处理方法和装置 | |
| CN105718307B (zh) | 进程管理方法及进程管理装置 | |
| CN101887410A (zh) | 文件转换装置、文件转换方法以及文件转换程序 | |
| CN105405442A (zh) | 语音的识别方法、装置和设备 | |
| CN112764874B (zh) | 一种基于cmdb配置管理系统的虚拟机服务器信息采集方法 | |
| CN113918437B (zh) | 用户行为数据分析方法、装置、计算机设备和存储介质 | |
| CN115329170A (zh) | 网页抓取方法、装置、设备以及存储介质 | |
| CN113297218B (zh) | 一种多系统数据交互方法、装置及系统 | |
| CN113297217B (zh) | 一种数据传输方法、装置及系统 | |
| CN103944957A (zh) | 一种工业监控系统所用的离线数据采集方法及其采集系统 | |
| CN112612802A (zh) | 一种实时数据中台的处理方法、装置及平台 | |
| CN111381935A (zh) | 一种基于dsl配置表达式的功能实现方法及系统 | |
| CN107784588A (zh) | 保险用户信息合并方法和装置 | |
| CN102053571A (zh) | 信息采集终端的数据采集方法 | |
| CN111626662B (zh) | 一种仓库网络监控信息的提取方法 | |
| CN112612841A (zh) | 一种知识抽取构建方法、装置、设备及存储介质 | |
| CN112561264A (zh) | 企业内容的服务方法、服务系统和存储介质 | |
| CN110597854A (zh) | 基于fe工业互联网的数据分类方法及相关产品 | |
| CN112887425B (zh) | 核电试验中的试验协助通信方法、装置和计算机设备 | |
| CN111339112B (zh) | 一种基于建筑信息模型的建材信息化管控方法及系统 | |
| CN118798563A (zh) | 分布式存储的运维业务处理方法及装置、存储介质、设备 | |
| CN107133712A (zh) | 手持式智能配电台区资产管理设备、管理系统及使用方法 | |
| CN117331673A (zh) | 基于多模态数据的智能秘书系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 510000 room 1502, No. 18, siyouyima Road, Yuexiu District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Guangdian Information Technology Co.,Ltd. Address before: 510000 room 1502, No. 18, siyouyima Road, Yuexiu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU GOOD IDEA INFORMATION TECHNOLOGY Co.,Ltd. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A data transmission method, device and system Effective date of registration: 20220609 Granted publication date: 20211217 Pledgee: Development Zone sub branch of Bank of Guangzhou Co.,Ltd. Pledgor: Guangzhou Guangdian Information Technology Co.,Ltd. Registration number: Y2022980007416 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231011 Granted publication date: 20211217 Pledgee: Development Zone sub branch of Bank of Guangzhou Co.,Ltd. Pledgor: Guangzhou Guangdian Information Technology Co.,Ltd. Registration number: Y2022980007416 |