CN113505166A - 多类型数据接入方法及装置、电子设备和可读存储介质 - Google Patents

多类型数据接入方法及装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113505166A
CN113505166A CN202110787823.3A CN202110787823A CN113505166A CN 113505166 A CN113505166 A CN 113505166A CN 202110787823 A CN202110787823 A CN 202110787823A CN 113505166 A CN113505166 A CN 113505166A
Authority
CN
China
Prior art keywords
data
static
dynamic
import interface
dynamic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110787823.3A
Other languages
English (en)
Inventor
杨学红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202110787823.3A priority Critical patent/CN113505166A/zh
Publication of CN113505166A publication Critical patent/CN113505166A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种多类型数据接入方法及装置、电子设备和可读存储介质，该方法包括：将静态数据从静态数据源导入到静态数据导入接口，并且将动态数据从动态数据源导入到动态数据导入接口；静态数据导入接口将静态数据传输至数据处理系统，并且动态数据导入接口将动态数据传输至数据处理系统；在数据处理系统对静态数据和动态数据进行融合处理；对融合后的数据进行标准化处理以获得标准化数据；以及将标准化数据导入到一站式数据处理平台。该装置包括：数据源，其包括静态数据源和动态数据源；数据通用导入接口，其包括静态数据导入接口和动态数据导入接口；以及数据处理系统，其包括一站式数据处理平台。

Description

多类型数据接入方法及装置、电子设备和可读存储介质
技术领域
本申请涉及数据采集和传输领域，尤其涉及一种多类型数据接入方法及装置、一种电子设备以及一种计算机可读存储介质。
背景技术
随着工业互联网的越发成熟和应用，不同的设备间的数据接口不同是阻碍设备采集数据的一大难题。现有技术中无法实现对不同设备间实现数据的自动采集转化，并且无法实现使当前的物联网接入设备广泛地支持传感器的互联互通、即插即用，联合接入能力十分有限。
发明内容
有鉴于此，本申请涉及一种多类型数据接入方法及装置，通过研究通用传感器接入管理平台，多类型百万级传感器接入以及对自定义和自动化执行海量物联网设备之间的联动规则的支持来解决上述技术问题。
跨平台通用传感器接入管理平台主要是通过数据处理系统对不同的数据源数据进行处理，针对当前的物联网接入设备不能广泛地支持传感器的互联互通、即插即用，联合接入能力十分有限，物联网应用类标准与应用脱节，且缺乏态势联合感知和异常状态自适应联动的能力；开发通用软硬件接口、安全可信、广连接快速适配应用的轻量级通用可信接入管理平台，实现传感设备联合感知、精准调度决策自执行、异常状态联动自适应等功能。
本申请针对系统间数据协同需求，在数据采集与导入中遇到的数据类型多样、导入方法不统一、系统间对接困难等难题，对静态数据与动态数据、结构化数据与非结构化数据等多种类型的数据设计通用导入接口，实现海量异构数据接入标准化。
根据本申请的一个方面提供了一种多类型数据接入方法，该方法包括：
将静态数据从静态数据源导入到静态数据导入接口，并且将动态数据从动态数据源导入到动态数据导入接口；
静态数据导入接口将静态数据传输至数据处理系统，并且动态数据导入接口将动态数据传输至数据处理系统；
在数据处理系统对静态数据和动态数据进行融合处理；
对融合后的数据进行标准化处理以获得标准化数据；以及
将标准化数据导入到一站式数据处理平台。
根据本申请的另一个方面，提供了一种多类型数据接入装置，包括：
数据源，其包括静态数据源和动态数据源；
数据通用导入接口，其包括静态数据导入接口和动态数据导入接口；以及
数据处理系统，其包括一站式数据处理平台，
其中，静态数据从静态数据源被导入到静态数据导入接口，并且动态数据从动态数据源被导入到动态数据导入接口。
根据本申请的第三方面，提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据所述的多类型数据接入方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的多类型数据接入方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
为有效解决不同数据源接口不同的痛点和难点，构建了数据设计通用导入接口。通过从各种不同类型设备汇聚过来的各种感知数据，构建出不同的细分应用场景下的业务数据模型和服务，通过自动感知，自动匹配不同的业务数据模型进行快速的应用和部署。实现数据资源有效分类、业务服务高度协同。自动感知指的是不同的数据标准化模板，通过将数据转化为标准化的形式，不用的业务模型可以通过标准化的模板读取使用相关使用，而不需要再次对数据进行处理。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为根据本申请的实施例的多类型数据接入方法的流程示意图；以及
图2示出了根据本申请的实施例的多类型数据接入装置的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；并且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
其中，在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
根据本申请的一个方面提供了一种多类型数据接入方法，如图1所示，该方法包括如下步骤S101至步骤S105。
在步骤S101中，将静态数据从静态数据源导入到静态数据导入接口，并且将动态数据从动态数据源导入到动态数据导入接口。
在步骤S102中，静态数据导入接口将静态数据传输至数据处理系统，并且动态数据导入接口将动态数据传输至数据处理系统。
在步骤S103中，在数据处理系统对静态数据和动态数据进行融合处理。
在步骤S104中，对融合后的数据进行标准化处理以获得标准化数据。
在步骤S105中，将标准化数据导入到一站式数据处理平台。
根据本申请的一些实施例，该方法通过FTP接口将静态数据从静态数据源传输至静态数据导入接口，并且通过代理接口将动态数据从动态数据源传输至动态数据导入接口。
根据本申请的一些实施例，静态数据包括结构化静态数据和非结构化静态数据，而动态数据包括结构化动态数据和非结构化动态数据。
根据本申请的另一个方面提供了一种多类型数据接入装置100。如图2所示，该装置100包括：
数据源200，其包括静态数据源201和动态数据源202；
数据通用导入接口，其包括静态数据导入接口203和动态数据导入接口204；以及
数据处理系统205，其包括一站式数据处理平台，
其中，静态数据从静态数据源201被导入到静态数据导入接口203，并且动态数据从动态数据源202被导入到动态数据导入接口204。
数据通用导入接口包括静态数据导入接口203和动态数据导入接口204。不同的数据源，需要特殊的接口来处理。静态数据导入接口203包括设备接口1，设备接口1是用来处理静态数据。动态数据导入接口204包括设备接口2，设备接口2是用来处理动态数据。
根据本申请的一些实施例，静态数据通过FTP接口从静态数据源传输至静态数据导入接口，而动态数据通过代理接口从动态数据源传输至动态数据导入接口。
静态数据源201提供静态数据。静态数据可以采用FTP的形式上传。动态数据源202提供动态数据。动态数据是通过代理进行传输，这里，代理指动态数据传输的服务器。代理1和2是动态数据传输的管道。数据导入即通过FTP和代理的方式将底层接收到的数据传送到数据通用导入接口，并进而传输至数据处理系统。
根据本申请的一些实施例，静态数据包括结构化静态数据和非结构化静态数据，而动态数据包括结构化动态数据和非结构化动态数据。
根据本申请的一些实施例，数据处理系统从静态数据导入接口和动态数据导入接口分别接收静态数据和动态数据，并对静态数据和动态数据进行融合处理。
静态数据和动态数据导入分别通过FTP和代理的方式将底层接收到的数据传送到数据处理系统。由于不用的数据源格式不同、形式多样，因此需要通过融合处理的方式将具有相似结构的数据源进行归类。
根据本申请的一些实施例，数据处理系统对融合后的数据进行标准化处理，并导入到一站式数据处理平台。
标准化处理过程对分类后的数据进行标准化建模，并将最终建模后的数据交给一站式数据处理平台，上层应用通过调用一站式数据处理平台中的数据，实现对工业互联网场景下多源异构数据的提取和使用。数据融合处理即对数据进行归类，标准化即对归类后的数据进行建模，
本申请为有效解决不同数据源接口不同的痛点和难点，构建了数据设计通用导入接口。通过从各种不同类型设备汇聚过来的各种感知数据，构建出不同的细分应用场景下的业务数据模型和服务，通过自动感知，自动匹配不同的业务数据模型进行快速的应用和部署。实现数据资源有效分类、业务服务高度协同。自动感知指的是不同的数据标准化模板，通过将数据转化为标准化的形式，不用的业务模型可以通过标准化的模板读取使用相关使用，而不需要再次对数据进行处理。
本申请通过对多种数据导入及融合，开发一站式数据处理平台，通过数据导入处理，可实现海量异构数据标准化的接入。
基于相同的技术构思，本申请实施例相应还提供一种电子设备，电子设备包括存储器和处理器，存储器中存储有计算机程序，当处理器运行存储器存储的计算机程序时，处理器执行基于切片技术的媒体内容存储策略方法。
基于相同的技术构思，本申请实施例相应还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，处理器执行基于切片技术的媒体内容存储策略方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种多类型数据接入方法，其特征在于，包括：
将静态数据从静态数据源导入到静态数据导入接口，并且将动态数据从动态数据源导入到动态数据导入接口；
所述静态数据导入接口将所述静态数据传输至数据处理系统，并且所述动态数据导入接口将所述动态数据传输至所述数据处理系统；
在所述数据处理系统对所述静态数据和所述动态数据进行融合处理；
对融合后的数据进行标准化处理以获得标准化数据；以及
将所述标准化数据导入到一站式数据处理平台。
2.根据权利要求1所述的方法，其特征在于，
通过FTP接口将所述静态数据从所述静态数据源传输至所述静态数据导入接口，并且通过代理接口将所述动态数据从所述动态数据源传输至所述动态数据导入接口。
3.根据权利要求1所述的方法，其特征在于，
所述静态数据包括结构化静态数据和非结构化静态数据，而所述动态数据包括结构化动态数据和非结构化动态数据。
4.一种多类型数据接入装置，包括：
数据源，其包括静态数据源和动态数据源；
数据通用导入接口，其包括静态数据导入接口和动态数据导入接口；以及
数据处理系统，其包括一站式数据处理平台，
其中，静态数据从所述静态数据源被导入到所述静态数据导入接口，并且动态数据从所述动态数据源被导入到所述动态数据导入接口。
5.根据权利要求4所述的装置，其特征在于，
所述静态数据通过FTP接口从所述静态数据源传输至所述静态数据导入接口，而所述动态数据通过代理接口从所述动态数据源传输至所述动态数据导入接口。
6.根据权利要求4所述的装置，其特征在于，
所述静态数据包括结构化静态数据和非结构化静态数据，而所述动态数据包括结构化动态数据和非结构化动态数据。
7.根据权利要求4所述的装置，其特征在于，
所述数据处理系统从所述静态数据导入接口和所述动态数据导入接口分别接收所述静态数据和所述动态数据，并对所述静态数据和所述动态数据进行融合处理。
8.根据权利要求7所述的装置，其特征在于，
所述数据处理系统对融合后的数据进行标准化处理，并导入到所述一站式数据处理平台。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1至3中任一项所述的多类型数据接入方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，所述处理器执行根据权利要求1至3中任一项所述的多类型数据接入方法。
CN202110787823.3A 2021-07-13 2021-07-13 多类型数据接入方法及装置、电子设备和可读存储介质 Withdrawn CN113505166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110787823.3A CN113505166A (zh) 2021-07-13 2021-07-13 多类型数据接入方法及装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110787823.3A CN113505166A (zh) 2021-07-13 2021-07-13 多类型数据接入方法及装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN113505166A true CN113505166A (zh) 2021-10-15

Family

ID=78012835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110787823.3A Withdrawn CN113505166A (zh) 2021-07-13 2021-07-13 多类型数据接入方法及装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113505166A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379426A (zh) * 2012-04-16 2013-10-30 上海博路信息技术有限公司 一种基于移动动态数据引擎的服务系统
CN103491110A (zh) * 2012-06-11 2014-01-01 上海博路信息技术有限公司 一种基于移动动态数据引擎的信息系统
CN106886530A (zh) * 2015-12-16 2017-06-23 天脉聚源（北京）科技有限公司 一种动态数据分别编辑更新方法及系统
CN107633075A (zh) * 2017-09-22 2018-01-26 吉林大学 一种多源异构数据融合平台及融合方法
CN111245831A (zh) * 2020-01-10 2020-06-05 北京力控华康科技有限公司 Ftp数据传输方法及装置、服务端和客户端的信息交互系统
CN111506688A (zh) * 2020-04-09 2020-08-07 中国铁道科学研究院集团有限公司电子计算技术研究所 一种铁路客运车站多源数据可视化集成展示方法
CN111858726A (zh) * 2020-06-04 2020-10-30 石化盈科信息技术有限责任公司 数据适配器数据处理方法、装置、计算机设备和存储介质
CN112199363A (zh) * 2020-10-15 2021-01-08 南京数溪智能科技有限公司 一种农业多源异构数据的融合存储方法与系统
CN112949080A (zh) * 2021-03-22 2021-06-11 中铁信(北京)网络技术研究院有限公司 一种基于动态驱动的城市轨道交通车站仿真系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379426A (zh) * 2012-04-16 2013-10-30 上海博路信息技术有限公司 一种基于移动动态数据引擎的服务系统
CN103491110A (zh) * 2012-06-11 2014-01-01 上海博路信息技术有限公司 一种基于移动动态数据引擎的信息系统
CN106886530A (zh) * 2015-12-16 2017-06-23 天脉聚源（北京）科技有限公司 一种动态数据分别编辑更新方法及系统
CN107633075A (zh) * 2017-09-22 2018-01-26 吉林大学 一种多源异构数据融合平台及融合方法
CN111245831A (zh) * 2020-01-10 2020-06-05 北京力控华康科技有限公司 Ftp数据传输方法及装置、服务端和客户端的信息交互系统
CN111506688A (zh) * 2020-04-09 2020-08-07 中国铁道科学研究院集团有限公司电子计算技术研究所 一种铁路客运车站多源数据可视化集成展示方法
CN111858726A (zh) * 2020-06-04 2020-10-30 石化盈科信息技术有限责任公司 数据适配器数据处理方法、装置、计算机设备和存储介质
CN112199363A (zh) * 2020-10-15 2021-01-08 南京数溪智能科技有限公司 一种农业多源异构数据的融合存储方法与系统
CN112949080A (zh) * 2021-03-22 2021-06-11 中铁信(北京)网络技术研究院有限公司 一种基于动态驱动的城市轨道交通车站仿真系统及方法

Similar Documents

Publication Publication Date Title
CN110213068B (zh) 一种消息中间件的监控方法及相关设备
CN111083168A (zh) 可配置的物联网平台网关的数据传输方法、装置和网关
CN112965879A (zh) 数据处理方法、装置、电子设备及可读存储介质
CN112905323B (zh) 数据处理方法、装置、电子设备及存储介质
CN109348434B (zh) 一种场景信息的发送方法、发送装置及终端设备
CN114676205A (zh) 事件信息的处理方法及装置
CN103678423A (zh) 数据文件导入系统、装置及方法
CN109726988A (zh) 一种流程引擎调用方法、装置、电子设备和可读存储介质
CN103593172A (zh) 面向统一结构化数据的应用程序的开发系统、方法及装置
CN113505166A (zh) 多类型数据接入方法及装置、电子设备和可读存储介质
CN110135190B (zh) 数据管理方法、服务器及计算机存储介质
CN114285774A (zh) 流量录制方法、装置、电子设备及存储介质
CN115620877A (zh) 一种医疗数据上传云平台的方法、系统、设备及存储介质
CN112818139A (zh) 应用于安防监控的边缘计算数据管理方法、装置和设备
CN108805741B (zh) 一种电能质量数据的融合方法、装置及系统
CN112055058A (zh) 数据的存储方法、装置及计算机可读存储介质
CN113158842A (zh) 一种识别方法、系统、设备及介质
CN111124365A (zh) Rpa需求收集的方法和装置
CN113079055A (zh) 一种agv运行数据的动态采集方法和装置
CN209488621U (zh) 用于数据存储卡设备的数据采集装置及其数据采集系统
CN114827197B (zh) 基于物联网的服务通信方法、装置、设备及介质
CN111641948B (zh) 边缘计算接入时的注册方法及边缘计算节点装置
CN111163088B (zh) 消息处理方法、系统、装置及电子设备
CN115277362A (zh) 故障诊断方法、装置、电子设备和计算机可读介质
CN112311833B (zh) 数据更新方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211015

WW01 Invention patent application withdrawn after publication