CN107943817A - 一种针对结构化与非结构化数据的服务封装工具及方法 - Google Patents

一种针对结构化与非结构化数据的服务封装工具及方法 Download PDF

Info

Publication number
CN107943817A
CN107943817A CN201710933410.5A CN201710933410A CN107943817A CN 107943817 A CN107943817 A CN 107943817A CN 201710933410 A CN201710933410 A CN 201710933410A CN 107943817 A CN107943817 A CN 107943817A
Authority
CN
China
Prior art keywords
data
service
database
unstructured
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710933410.5A
Other languages
English (en)
Inventor
童号
孙亭
李毅
丁杰
龚少麟
叶云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN201710933410.5A priority Critical patent/CN107943817A/zh
Publication of CN107943817A publication Critical patent/CN107943817A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种针对结构化与非结构化数据的服务封装工具及方法。本发明提供的数据服务化封装工具及方法能够方便地针对各种类型的数据信息进行服务化封装：对于结构化的数据，用户可以通过对数据模型的配置来获得所感兴趣的数据信息；对于非结构化数据，用户同样能够将文件服务化并且基于服务端对文件进行管理操作。简而言之，本发明以一种通用便捷的方式提供了针对各类型数据的服务化封装管理操作。

Description

一种针对结构化与非结构化数据的服务封装工具及方法
技术领域
本发明涉及数据封装技术，具体涉及一种针对结构化与非结构化数据的服务封装工具及方法。
背景技术
随着信息技术的不断发展，人类已逐渐步入云计算及大数据时代，而伴随着海量数据而来的就是各种不同格式、不同类型的数据的处理问题，我们通常将数据分为结构化及非结构化两种，而在数据处理过程中，结构化数据往往仅占一小部分，据权威统计，一家企业产生的数据当中有85％是非结构化数据，而只有15％是结构化数据——而在过往的数十年当中，IT产业在数据处理方面的进展主要都是在结构化数据方面，而例如EMAIL、视频及音频文件以及PPT、照片、文档等大量非结构化数据经常是游离于企业的决策环境之外的。
显然，企业需要提高自己的信息管理水平，很重要的一点就是将非结构化数据的管理提升到与结构化数据相同的高度。调查显示，大部分企业认为信息是分散、孤立的，将这些信息有效地连接在一起非常困难，很难依据这些信息做出有效决策。
一般而言，针对结构化或者非结构化数据的服务封装，需要用户针对数据手动实现相应程序代码来完成定制化的开发，从而实现将数据以Json等格式或文件流的方式封装成数据服务。这一传统开发过程显得相对繁琐，在针对大量的数据库服务封装操作时尤为明显，很大程度上限制了数据服务化的效率。为了解决上述问题，需要设计一种通用的面向各种数据类型的封装工具，旨在方便快捷地完成数据的服务化封装过程。
发明内容
针对现有技术存在的缺陷，本发明提供了一种针对结构化与非结构化数据的服务封装方法及封装工具，旨在规范数据封装的过程，并提高数据封装的效率。
为实现上述目的，本发明提供了一种针对结构化与非结构化数据的服务封装方法，包括：
判断目标数据为结构化数据还是非结构化数据；
对于结构化数据，连接对应的数据源，配置数据模型并为数据模型生成thrift服务接口开发包地址和访问接口地址，完成数据封装；
对于非结构化数据，将其上传至服务器端，并生成非结构化数据的服务地址，完成数据封装。
其中，连接对应的数据源包括：
通过用户配置的数据库参数建立数据库连接，当连接通过后，生成相应的数据源并保存。
数据库参数包括：
数据库类型、数据库名、数据库IP地址、数据库端口号、用户名、密码中的一种或多种。
其中，数据库为Oracle、MySQL、达梦中的一种，建立数据库连接为JDBC连接。
配置数据模型包括：
给予用户数据操作权限；
根据用户指令，对目标数据的表格或视图进行操作，提取所需的字段并进行相关配置；
生成相应的数据模型。
对已创建的数据模型允许通过cpp.h框架代码和java接口进行压缩包下载。
所述结构化数据包括：能以JSON格式或二维表结构表示的数据；所述非结构化数据包括：各种格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息中的一种或多种。
生成非结构化数据的服务地址包括：将非结构化数据上传后在服务器端的路径地址作为非结构化数据的服务地址。
针对文件服务器端的内存、CPU、外存、文件数、文件读写速度各项指标进行监控，并通过Web页面展现。
另外，本发明还提供了一种针对结构化与非结构化数据的服务封装工具，所述工具包括：
判断模块，用于判断目标数据为结构化数据还是非结构化数据；
结构化数据封装模块，用于完成结构化数据的封装；
非结构化数据封装模块，用于完成非结构化数据封装。
其中，结构化数据封装模块包括：
连接单元，用于实现结构化数据对应数据源的连接；
模型配置单元，用于根据用户需求配置数据模型；
结构化数据地址生成单元，用于为数据模型生成开发包地址和访问接口地址。
非结构化数据封装模块包括：
上传单元，用于将非结构化数据上传至服务器端；
非结构化数据地址生成单元，用于生成非结构化数据的服务地址，完成数据封装。
连接单元还用于：通过用户配置的数据库参数建立数据库连接，当连接通过后，生成相应的数据源并保存。
模型配置单元包括：
权限管理子单元，给予用户数据操作权限；
配置子单元，根据用户指令，对目标数据的表格或视图进行操作，提取所需的字段并进行相关配置；
数据模型生成子单元，生成相应的数据模型。
非结构化数据地址生成单元包括：将非结构化数据上传后在服务器端的路径地址作为非结构化数据的服务地址。
该工具还包括：
监控单元，针对文件服务器端的内存、CPU、外存、文件数、文件读写速度各项指标进行监控
展现单元，将监控指标通过Web页面展现。
本发明提供的数据服务化封装工具及方法能够方便地针对各种类型的数据信息进行服务化封装：对于结构化的数据，用户可以通过对数据模型的配置来获得所感兴趣的数据信息；对于非结构化数据，用户同样能够将文件服务化并且基于服务端对文件进行管理操作。简而言之，本发明以一种通用便捷的方式提供了针对各类型数据的服务化封装管理操作。
附图说明
附图，其被包括以提供本发明的进一步理解而且被并入并构成本说明书的一部分，所述附图示出本发明的实施例并且连同说明书用来解释本发明的原理，在附图中：
图1是示出本发明实施例中的数据封装流程图；
图2示出本发明实施例中的数据源建立连接的使用界面示意图；
图3为本发明实施例中的数据模型的配置管理使用界面示意图；
图4为本发明实施例中的数据模型中的字段配置界面示意图；
图5为本发明实施例中的文件数据服务化操作的界面示意图；
图6为本发明实施例中的非结构数据的数据封装界面示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
现在将详细参考本发明的实施例，这些实施例的示例在附图中示出。元件的后缀“模块”和“单元”在此用于方便描述，并且因此可以可交换地被使用，而且没有任何可区别的意义或功能。
虽然构成本发明的实施例的所有元件或单元被描述为结合到单个元件中或被操作为单个元件或单元，但是本发明不一定局限于此种实施例。根据实施例，在本发明的目的和范围内所有的元件可以选择性地结合到一个或多个元件并且被操作为一个或多个元件。
针对如何将各种类型的数据信息封装成服务的问题，本发明提出的针对结构化与非结构化数据的服务封装工具及方法，能够将结构化数据(针对各种类型的数据库如Oracle、MySQL、达梦等中存储的结构化数据)与非结构化数据(包括各种格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等)，通过服务封装的方式最终形成数据服务，并且生成数据服务的访问地址。我们可以将结构化与非结构化数据服务封装的这一过程，最终凝练形成Web版的工具。
图1是本发明实施例中的数据封装流程图。
用户获取目标数据后，首先对目标数据的类型进行判断，按照数据类型的不同划分为结构化数据及非结构化数据；
在一个实施例中，基于如下规则来划分数据类型：能以JSON格式或二维表结构表示的数据；所述非结构化数据包括：各种格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息中的一种或多种。
在一个实施例中，对于既包括JSON格式或二维表结构的数据，也包括图片、办公文档等非结构化数据的数据包，将其视为半结构化数据，按照与非结构化数据相同的处理流程处理。
图2示出本发明实施例中的数据源建立连接的使用界面示意图；
对于结构化数据，其封装主要包括如下过程：数据源的建立连接、数据模型的配置、数据服务封装地址的生成。
工具通过用户配置的数据库各项参数(主要包括数据库类型、数据库名、数据库IP地址、数据库端口号、用户名、密码等)建立数据库连接，一旦配置连接通过，则可以生成相应的数据源连接并保存。该过程主要通过所需的数据库连接参数建立与数据库之间的JDBC连接，从而能够获得对该数据库的各类操作权限，为后续操作过程提供基础。
图3为数据模型的配置管理使用界面示意图。在上述数据源建立连接成功后，用户可以取得对该数据源中各数据信息的操作权限。通过针对数据源中用户/数据库下某数据表格或视图，提取所需的字段并且进行相关配置，可以生成相应的数据模型。此外，该工具还提供了对已创建的数据模型的C++客户端对应.cpp、.h框架代码和java接口压缩包下载的功能，用户可以针对该数据模型进行后续的开发，从而实现了对C++和Java访问的支持。
通过上述数据模型配置管理过程，可以形成模型，最终生成数据模型生成的开发包地址和访问接口地址，可以发送给用户。
非结构化数据的封装主要为文件管理系统，包括了文件数据的服务化操作和文件数据状态的监控。
图5为文件数据服务化操作的示意图。对于非结构化类数据文件，通过将其上传至服务器端，将该文件在服务器端的路径地址作为非结构化数据的服务地址，完成非结构化数据的服务封装过程。此外，该工具还提供对服务器端数据文件的新增文件夹、下载、删除文件等管理操作。
在一个实施例中，还可以包括监控单元及展现单元，可以针对文件服务器端的内存、CPU、外存、文件数、文件读写速度等各项指标进行监控，在Web端页面展现了当前文件服务化的各项指标性能等。
本发明提供的针对结构化与非结构化数据服务的封装方法及工具，能够针对各种类型的数据文件进行统一的服务化封装，以实现各类数据的服务化共享，与现有技术相比，提供了一种对于结构化和非结构化数据的服务化封装处理流程和方式，以及相应的数据模型配置及文件管理方式，又提供了一种高效便捷的数据服务化封装工具，支持各种类型的数据或文件，因此具有很高的可实施性。
尽管已经示出并描述了本发明实施例的特殊实施例，然而在不背离本发明实施例的示例性实施例及其更宽广方面的前提下，本领域技术人员显然可以基于此处的教学做出变化和修改。因此，所附的权利要求意在将所有这类不背离本发明实施例的示例性实施例的真实精神和范围的变化和更改包含在其范围之内。

Claims (20)

1.一种针对结构化与非结构化数据的服务封装方法，包括：
判断目标数据为结构化数据还是非结构化数据；
对于结构化数据，连接对应的数据源，配置数据模型并为数据模型生成thrift服务接口开发包地址和访问接口地址，完成数据封装；
对于非结构化数据，将其上传至服务器端，并生成非结构化数据的服务地址，完成数据封装。
2.根据权利要求1所述的服务封装方法，其特征在于，所述对于结构化数据，连接对应的数据源包括：
通过用户配置的数据库参数建立数据库连接，当连接通过后，生成相应的数据源并保存。
3.根据权利要求2所述的服务封装方法，其特征在于，所述数据库参数包括：
数据库类型、数据库名、数据库IP地址、数据库端口号、用户名、密码中的一种或多种。
4.根据权利要求3所述的服务封装方法，其特征在于，所述数据库为Oracle、MySQL、达梦中的一种，所述建立数据库连接为JDBC连接。
5.根据权利要求1所述的服务封装方法，其特征在于，所述配置数据模型包括：
给予用户数据操作权限；
根据用户指令，对目标数据的表格或视图进行操作，提取所需的字段并进行相关配置；
生成相应的数据模型。
6.根据权利要求1所述的服务封装方法，其特征在于，所述方法包括：对已创建的数据模型允许通过生成thrift服务接口的cpp.h框架代码和java代码接口进行压缩包下载。
7.根据权利要求1所述的服务封装方法，其特征在于，所述结构化数据包括：能以JSON格式或二维表结构表示的数据；所述非结构化数据包括：各种格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息中的一种或多种。
8.根据权利要求1所述的服务封装方法，其特征在于，所述生成非结构化数据的服务地址包括：将非结构化数据上传后在服务器端的路径地址作为非结构化数据的服务地址。
9.根据权利要求1所述的服务封装方法，其特征在于，所述方法还包括：针对文件服务器端的内存、CPU、外存、文件数、文件读写速度各项指标进行监控，并通过Web页面展现。
10.一种针对结构化与非结构化数据的服务封装工具，所述工具包括：
判断模块，用于判断目标数据为结构化数据还是非结构化数据；
结构化数据封装模块，用于完成结构化数据的封装；
非结构化数据封装模块，用于完成非结构化数据封装。
11.根据权利要求10所述的服务封装工具，其特征在于，所述结构化数据封装模块包括：
连接单元，用于实现结构化数据对应数据源的连接；
模型配置单元，用于根据用户需求配置数据模型；
结构化数据地址生成单元，用于为数据模型生成thrift服务接口开发包地址和访问接口地址。
12.根据权利要求10所述的服务封装工具，其特征在于，所述非结构化数据封装模块包括：
上传单元，用于将非结构化数据上传至服务器端；
非结构化数据地址生成单元，用于生成非结构化数据的服务地址，完成数据封装。
13.根据权利要求11所述的服务封装工具，其特征在于，所述连接单元还用于：通过用户配置的数据库参数建立数据库连接，当连接通过后，生成相应的数据源并保存。
14.根据权利要求13所述的服务封装工具，其特征在于，所述数据库参数包括：
数据库类型、数据库名、数据库IP地址、数据库端口号、用户名、密码中的一种或多种。
15.根据权利要求13所述的服务封装工具，其特征在于，所述数据库为Oracle、MySQL、达梦中的一种，所述建立数据库连接为JDBC连接。
16.根据权利要求11所述的服务封装工具，其特征在于，所述模型配置单元包括：
权限管理子单元，给予用户数据操作权限；
配置子单元，根据用户指令，对目标数据的表格或视图进行操作，提取所需的字段并进行相关配置；
数据模型生成子单元，生成相应的数据模型。
17.根据权利要求16所述的服务封装工具，其特征在于，对已创建的数据模型允许通过生成thrift服务接口的cpp.h框架代码和java代码接口进行压缩包下载。
18.根据权利要求10所述的服务封装工具，其特征在于，所述结构化数据包括：能以JSON格式或二维表结构表示的数据；所述非结构化数据包括：各种格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息中的一种或多种。
19.根据权利要求12所述的服务封装工具，其特征在于，所述非结构化数据地址生成单元包括：将非结构化数据上传后在服务器端的路径地址作为非结构化数据的服务地址。
20.根据权利要求10所述的服务封装工具，其特征在于，所述工具还包括：
监控单元，针对文件服务器端的内存、CPU、外存、文件数、文件读写速度各项指标进行监控
展现单元，将监控指标通过Web页面展现。
CN201710933410.5A 2017-10-09 2017-10-09 一种针对结构化与非结构化数据的服务封装工具及方法 Pending CN107943817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710933410.5A CN107943817A (zh) 2017-10-09 2017-10-09 一种针对结构化与非结构化数据的服务封装工具及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710933410.5A CN107943817A (zh) 2017-10-09 2017-10-09 一种针对结构化与非结构化数据的服务封装工具及方法

Publications (1)

Publication Number Publication Date
CN107943817A true CN107943817A (zh) 2018-04-20

Family

ID=61936088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710933410.5A Pending CN107943817A (zh) 2017-10-09 2017-10-09 一种针对结构化与非结构化数据的服务封装工具及方法

Country Status (1)

Country Link
CN (1) CN107943817A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059120A (zh) * 2019-01-24 2019-07-26 中国电子科技集团公司电子科学研究院 异构数据的web集成方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190548A1 (en) * 2003-03-24 2004-09-30 Corrigent Systems Ltd. Efficient transport of TDM services over packet networks
CN103581272A (zh) * 2012-08-08 2014-02-12 腾讯科技（深圳）有限公司 文件传输的方法及设备
US20150058627A1 (en) * 2013-08-21 2015-02-26 Medtronic, Inc. Data driven schema for patient data exchange system
CN105426442A (zh) * 2015-11-06 2016-03-23 努比亚技术有限公司 一种基于分布式数据库消息数据管理方法及系统
CN106649455A (zh) * 2016-09-24 2017-05-10 孙燕群 一种大数据开发的标准化系统归类、命令集系统
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190548A1 (en) * 2003-03-24 2004-09-30 Corrigent Systems Ltd. Efficient transport of TDM services over packet networks
CN103581272A (zh) * 2012-08-08 2014-02-12 腾讯科技（深圳）有限公司 文件传输的方法及设备
US20150058627A1 (en) * 2013-08-21 2015-02-26 Medtronic, Inc. Data driven schema for patient data exchange system
CN105426442A (zh) * 2015-11-06 2016-03-23 努比亚技术有限公司 一种基于分布式数据库消息数据管理方法及系统
CN106649455A (zh) * 2016-09-24 2017-05-10 孙燕群 一种大数据开发的标准化系统归类、命令集系统
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁梦娇: "面向主题的数据库中间件应用平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059120A (zh) * 2019-01-24 2019-07-26 中国电子科技集团公司电子科学研究院 异构数据的web集成方法及装置

Similar Documents

Publication Publication Date Title
US10698625B2 (en) Data pipeline architecture for analytics processing stack
US11645471B1 (en) Determining a relationship recommendation for a natural language request
CN104885083B (zh) 信息存储和检索的基于图形的系统和方法
CN111290763B (zh) 事件流处理集群管理器
CN104410720B (zh) 一种基于web图形的实时监控平台系统及其方法
US10007532B1 (en) Data infrastructure for cross-platform cross-device API inter-connectivity
Jeong et al. A scalable cloud-based cyberinfrastructure platform for bridge monitoring
US9846730B2 (en) Interacting with resources exchanged using open data protocol
US9535966B1 (en) Techniques for aggregating data from multiple sources
JP7220753B2 (ja) ラベル付けツールの生成方法と装置、ラベル付け方法と装置、電子デバイス、記憶媒体及びプログラム
CN106161178B (zh) 一种接入即时通信网络的方法和设备
Jeong et al. An IoT platform for civil infrastructure monitoring
US20150161235A1 (en) Database content publisher
CN103246963B (zh) 基于物联网的员工培训系统
CN107451103B (zh) 模板显示和修改方法及设备
CN111177618A (zh) 网站搭建方法、装置、设备及计算机可读存储介质
CN111581920A (zh) 文档转换方法、装置、设备及计算机存储介质
CN104301401A (zh) 一种基于快速服务封装的移动应用平台
KR20170073693A (ko) 유사 그룹 요소 추출
US20140214867A1 (en) Framework for Generating Programs to Process Beacons
US8775555B2 (en) Rest interface interaction with expectation management
CN103092982A (zh) 基于多视图业务模型的信息服务系统
CN107943817A (zh) 一种针对结构化与非结构化数据的服务封装工具及方法
CN108984156A (zh) 一种基于模板的免代码开发的软件自动生成方法及系统
US20160043913A1 (en) Monitoring social media for specific issues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420