CN108989427B - 一种基于多源信息聚合的公共服务系统及其构建方法 - Google Patents
一种基于多源信息聚合的公共服务系统及其构建方法 Download PDFInfo
- Publication number
- CN108989427B CN108989427B CN201810795450.2A CN201810795450A CN108989427B CN 108989427 B CN108989427 B CN 108989427B CN 201810795450 A CN201810795450 A CN 201810795450A CN 108989427 B CN108989427 B CN 108989427B
- Authority
- CN
- China
- Prior art keywords
- interface
- data
- session
- information
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Computer And Data Communications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明通过对多源异构系统的结构进行接口分析、接口采集、接口数据封装、提供多源数据聚合服务，多聚合数据进行展示，构建一个基于多源信息聚合的公共服务系统，系统可以提供多数据源的一键注册，复杂流程简洁化，低成本聚合第三方服务，快速集成，提高服务分类及检索的效率，并且提供网络动态代理机制，高效地保证服务的快速响应，很好的解决了数据孤岛、信息孤岛、数据碎片化的问题。
Description
技术领域
本发明属于数据采集领域，尤其涉及一种基于多源信息聚合的公共服务系统及其构建方法。
背景技术
大数据时代，普遍存在着系统间的数据孤岛、信息孤岛、数据碎片化的问题。各个系统之间的连通需要原软件厂商的配合，或者通过软件数据库进行直接读取，费时费力，且需要配合因素较多。而且目前普遍软件与数据是结合在一起的，数据无法单独的进行应用。
目前，系统之间的对接具体问题为：系统不支持接口；数据对接工作量大、接口开发成本高、厂家已经不再进行技术支持、协调配合厂家麻烦，如进行数据库对接，需要猜测数据库表结构，分析数据库表结构的工作量大，且复杂。
发明内容
本发明提供的基于多源信息聚合的公共服务系统可以无需软件厂商接口，直接对多源异构数据进行直接采集。数据采集速度快，能够实现毫秒级数据采集，在完成对源系统数据采集后，直接在目标系统中进行实时展示。
本发明提供的一种基于多源信息聚合的公共服务系统，具体包括：
接口分析模块，对源系统以及目标系统进行分析，获取需要从源系统以及目标系统进行数据处理的接口；利用数据包获取工具获取与源系统进行通信的包数据，按照数据包传输协议，分析接口服务的具体网络请求信息；
接口采集模块，通过利用接口分析得到接口的具体网络请求信息制作服务模板，以客户端的方式触发接口采集引擎产生会话。
接口数据封装模块，针对不同的网络会话，在服务模板中对会话产生的数据进行清洗并抽取，以提供可用的，有价值的数据信息，从而减少网络流量的开销
服务提供模块，将从接口数据封装模块中得到数据在公共服务系统中进行展示。
优选的，所述具体网络请求信息包括：请求方式、通信地址URL、网络请求参数、请求返回数据信息。
优选的，所述以客户端的方式触发接口采集引擎产生会话具体通过模拟浏览器对服务原网站发送网络请求，产生对该接口的会话；
优选的，在产生会话的过程中，接口采集引擎需要保持各种服务模板的会话信息，并对每个会话进行集中管理，以免会话的数据错乱；
优选的，所述会话信息为cookie信息；
另外，本发明提供的一种基于多源信息聚合的公共服务系统构建方法，具体包括以下步骤：
S1、系统接口分析，对源系统以及目标系统进行分析，获取需要从源系统以及目标系统进行数据处理的接口；利用数据包获取工具获取与源系统进行通信的包数据，按照数据包传输协议，分析接口服务的具体网络请求信息；
S2、接口信息采集，通过利用接口分析得到接口的具体网络请求信息制作服务模板，以客户端的方式触发接口采集引擎，产生会话；
S3、接口数据封装，针对不同的网络会话，在服务模板中对会话产生的数据进行清洗并抽取，以提供可用的，有价值的数据信息，从而减少网络流量的开销；
S4、服务提供模块：将从接口数据封装模块中得到数据在公共服务系统中进行展示。
优选的，所述具体网络请求信息包括：请求方式、通信地址URL、网络请求参数、请求返回数据信息。
优选的，所述以客户端的方式触发接口采集引擎产生会话具体通过模拟浏览器对服务原网站发送网络请求，产生对该接口的会话；
优选的，在产生会话的过程中，接口采集引擎需要保持各种服务模板的会话信息，并对每个会话进行集中管理，以免会话的数据错乱；
优选的，所述会话信息为cookie信息；
本发明提供的一种基于多源信息聚合的公共服务系统，可以提供多数据源的一键注册，复杂流程简洁化，低成本聚合第三方服务，快速集成，提高服务分类及检索的效率，并且提供网络动态代理机制，高效地保证服务的快速响应。
附图说明
图1为本发明提供的一种基于多源信息聚合的公共服务系统示意图。
图2为本发明提供的一种基于多源信息聚合的公共服务系统构建方法的流程图。
具体实施方式
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可以找说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和有点能够更明显易懂，以下为本发明的具体实施方式。
实施例一
本发明提供的一种基于多源信息聚合的公共服务系统，具体包括：
接口分析模块，对源系统以及目标系统进行分析，获取需要从源系统以及目标系统进行数据处理的接口；利用数据包获取工具获取与源系统进行通信的包数据，按照数据包传输协议，分析接口服务的网络请求信息，如请求方式、通信地址URL、网络请求参数、请求返回数据信息。
在本申请的公共服务系统需要对地方非税系统中“非税系统被罚没单位或者个人的数据”以及“非税系统提交开具罚没通知”的数据，因此，需要获取“非税系统被罚没单位或者个人的数据”以及“非税系统提交开具罚没通知”的接口的网络请求信息，通过对调用上述接口进行数据通信的数据包，得到上述接口的具体网络请求信息，如、网络请求参数内容。
对于“非税系统被罚没单位或者个人的数据”接口：
请求方式：POST
API地址：http：localhost：8086/api/publicService
请求参数：
| 参数名 | 类型 | 是否必填 | 参数值 | 参数描述 |
| sessionId | String | 是 | 前端传入用户sessionId | session的id值 |
| serviceId | String | 是 | gdNoTaxSystem | service的id值 |
| taskId | String | 是 | 1 | task的id值 |
调用示例：
{
″sessionId″：″567″，
″serviceId″：″gdNoTaxSystem″，
″taskId″：″1″
}
返回示例：
{
“data”：[]：
}
对于“非税系统提交开具罚没通知接口”接口：
请求方式：POST
API地址：http：localhost：8086/api/publicService
请求参数：
调用示例：
{
″sessionId″：″567″，
″serviceId″：″gdNoTaxSystem″，
″taskId″：″2″，
″Payerid″：″33723″，
″cino″：″103050199112″，
″quantity″：″1.00000″，
″price″：″0.10000″，
″additionalamount″：″″，
″receivableamt″：″″，
″payername″：″测试″，
″remark″：″″，
″penaltybookno″：″″，
″penaltyreason″：″″，
″additionalreason″：″″，
″overduedateCN″：″″，
″cutoffDateCN″：″″
}
返回结果示例：
{
“data”：[]；
}
对于其他源系统，如果需要获取系统服务器返回用户标识信息，则需要利用登录接口获取相关的用户表示信息。
接口采集模块，通过利用接口分析得到接口的具体网络请求信息、网络请求参数内容制作服务模板，以客户端的方式触发接口采集引擎，具体可以通过模拟浏览器对服务原网站发送网络请求，产生会话。在此过程中，接口采集引擎需要保持各种服务模板的会话(如：cookie信息)，并对每个会话进行集中管理，以免会话的数据错乱。
在本申请的公共服务系统，服务模板具体采用的是XML模板，具体格式如下：
接口数据封装模块，针对不同的网络会话，在服务模板中对会话产生的数据进行清洗并抽取，以提供可用的，有价值的数据信息，从而减少网络流量的开销。
服务提供模块：将从接口数据封装模块中得到数据在公共服务系统中进行展示。
实施例二
图2为本发明提供的一种基于多源信息聚合的公共服务系统构建方法，具体包括以下步骤：
S1、系统接口分析，对源系统以及目标系统进行分析，获取需要从源系统以及目标系统进行数据处理的接口；利用数据包获取工具获取与源系统进行通信的包数据，按照数据包传输协议，分析接口服务的具体网络请求信息，如请求方式、通信地址URL、网络请求参数、请求返回数据信息；
S2、接口信息采集，通过利用接口分析得到接口的具体网络请求信息、网络请求参数内容制作服务模板，以客户端的方式触发接口采集引擎，具体可以通过模拟浏览器对服务原网站发送网络数据包，产生会话。在此过程中，接口采集引擎需要保持各种服务模板的会话(如：cookie信息)，并对每个会话进行集中管理：
S3、接口数据封装，针对不同的网络会话，在服务模板中对会话产生的数据进行清洗并抽取，以提供可用的，有价值的数据信息，从而减少网络流量的开销；
S4、将从接口数据封装模块中得到数据在公共服务系统中进行展示。
本发明提供的一种基于多源信息聚合的公共服务系统，在解决系统间的数据孤岛、信息孤岛、数据碎片化的问题时，具有以下优点：
1、数据读取速度快，可实现毫秒级读取；
2、可以对结构化数据和非结构化数据进行读取和传输；
3、可兼容win平台上各行业、各类型的服务与数据采集；
4、无需软件厂商配合；
5、不影响源系统的正常运行；
6、不破坏源系统的数据体系；
7、数据安全性高，只读取合法数据。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多源信息聚合的公共服务系统，具体包括：
接口分析模块，对源系统以及目标系统进行分析，获取需要从源系统以及目标系统进行数据处理的接口；利用数据包获取工具获取与源系统进行通信的包数据，按照数据包传输协议，分析接口服务的具体网络请求信息；
接口采集模块，通过利用接口分析得到接口的具体网络请求信息制作服务模板，以客户端的方式触发接口采集引擎产生会话；
接口数据封装模块，针对不同的网络会话，在服务模板中对会话产生的数据进行清洗并抽取，以提供可用的，有价值的数据信息，从而减少网络流量的开销；
服务提供模块，将从接口数据封装模块中得到的数据在公共服务系统中进行展示；
其中，所述以客户端的方式触发接口采集引擎产生会话具体通过模拟浏览器对服务原网站发送网络请求，产生对该接口的会话。
2.根据权利要求1所述的一种基于多源信息聚合的公共服务系统，其特征在于：所述具体网络请求信息包括：请求方式、通信地址URL、网络请求参数、请求返回数据信息。
3.根据权利要求1所述的一种基于多源信息聚合的公共服务系统，其特征在于：在产生会话的过程中，接口采集引擎需要保持各种服务模板的会话信息，并对每个会话进行集中管理，以免会话的数据错乱。
4.根据权利要求3所述的一种基于多源信息聚合的公共服务系统，其特征在于：所述会话信息为cookie信息。
5.一种基于多源信息聚合的公共服务系统构建方法，具体包括以下步骤：
S1、系统接口分析，对源系统以及目标系统进行分析，获取需要从源系统以及目标系统进行数据处理的接口；利用数据包获取工具获取与源系统进行通信的包数据，按照数据包传输协议，分析接口服务的具体网络请求信息；
S2、接口信息采集，通过利用接口分析得到接口的具体网络请求信息制作服务模板，以客户端的方式触发接口采集引擎，产生会话；
S3、接口数据封装，针对不同的网络会话，在服务模板中对会话产生的数据进行清洗并抽取，以提供可用的，有价值的数据信息，从而减少网络流量的开销；
S4、服务提供，将从接口数据封装模块中得到的数据在公共服务系统中进行展示；
其中，所述以客户端的方式触发接口采集引擎产生会话具体通过模拟浏览器对服务原网站发送网络请求，产生对该接口的会话。
6.根据权利要求5所述的一种基于多源信息聚合的公共服务系统构建方法，其特征在于：所述具体网络请求信息包括：请求方式、通信地址URL、网络请求参数、请求返回数据信息。
7.根据权利要求5所述的一种基于多源信息聚合的公共服务系统构建方法，其特征在于：在产生会话的过程中，接口采集引擎需要保持各种服务模板的会话信息，并对每个会话进行集中管理，以免会话的数据错乱。
8.根据权利要求7所述的一种基于多源信息聚合的公共服务系统构建方法，其特征在于：所述会话信息为cookie信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810795450.2A CN108989427B (zh) | 2018-07-20 | 2018-07-20 | 一种基于多源信息聚合的公共服务系统及其构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810795450.2A CN108989427B (zh) | 2018-07-20 | 2018-07-20 | 一种基于多源信息聚合的公共服务系统及其构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108989427A CN108989427A (zh) | 2018-12-11 |
| CN108989427B true CN108989427B (zh) | 2019-07-16 |
Family
ID=64549808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810795450.2A Active CN108989427B (zh) | 2018-07-20 | 2018-07-20 | 一种基于多源信息聚合的公共服务系统及其构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108989427B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134429A (zh) * | 2019-04-02 | 2019-08-16 | 惠州学院 | 网络信息浏览方法、装置、设备、存储介质以及系统 |
| CN110266555B (zh) * | 2019-05-09 | 2020-06-02 | 重庆八戒电子商务有限公司 | 用于分析网站服务请求的方法 |
| CN113282654B (zh) * | 2021-05-22 | 2022-07-22 | 钟月珠 | 一种基于非网络穿透的系统融合的系统 |
| CN114090856B (zh) * | 2022-01-21 | 2022-05-13 | 浙江工企信息技术股份有限公司 | 基于工业操作系统的工业app选配与聚合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220285A (zh) * | 2013-04-10 | 2013-07-24 | 中国科学技术大学苏州研究院 | 泛在业务环境下基于RESTful接口的接入系统 |
| CN107181701A (zh) * | 2017-05-18 | 2017-09-19 | 腾讯科技（深圳）有限公司 | 公共网关接口数据的收集方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090089320A1 (en) * | 2007-09-28 | 2009-04-02 | Dov Tendler | Capturing application state information for simulation in managed environments |
| CN101714930B (zh) * | 2009-12-30 | 2012-05-23 | 北京云快线软件服务有限公司 | 一种实现网络监控的方法及系统 |
| CN103139234B (zh) * | 2011-11-23 | 2016-01-20 | 中国移动通信集团公司 | 一种数据服务封装的装置及方法 |
| CN103269327A (zh) * | 2013-01-07 | 2013-08-28 | 广西电网公司 | 一种基于代理机制的通用文件数据服务的实现方法 |
| CN105975598A (zh) * | 2016-05-10 | 2016-09-28 | 国网浙江省电力公司丽水供电公司 | 基于条件检索的模拟操作方式获取数据的事件预警方法 |
| CN106294706A (zh) * | 2016-08-08 | 2017-01-04 | 苏州云杉世纪网络科技有限公司 | 基于dfi的云平台用户业务统计分析系统及方法 |
-
2018
- 2018-07-20 CN CN201810795450.2A patent/CN108989427B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220285A (zh) * | 2013-04-10 | 2013-07-24 | 中国科学技术大学苏州研究院 | 泛在业务环境下基于RESTful接口的接入系统 |
| CN107181701A (zh) * | 2017-05-18 | 2017-09-19 | 腾讯科技（深圳）有限公司 | 公共网关接口数据的收集方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108989427A (zh) | 2018-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108989427B (zh) | 一种基于多源信息聚合的公共服务系统及其构建方法 | |
| US7725944B2 (en) | Matching session records of network users with corresponding transaction data | |
| CN102917003B (zh) | 监视移动互联网活动的方法和装置 | |
| CN104378282B (zh) | 消息发送方法、消息转发方法、装置及系统 | |
| US8688074B2 (en) | Service classification of web traffic | |
| US20100082360A1 (en) | Age-Targeted Online Marketing Using Inferred Age Range Information | |
| US20100281008A1 (en) | Universal Tracking Agent System and Method | |
| CN105719096A (zh) | 一种环卫企业运营管理门户系统 | |
| JP2002163562A (ja) | 情報配信サーバー装置 | |
| CN105657003A (zh) | 一种信息处理方法和服务器 | |
| CN111176963B (zh) | 一种服务评价信息的处理方法及装置 | |
| CN106127535A (zh) | 基于移动终端的广告推送系统及方法 | |
| CN113806110B (zh) | 基于事件驱动的消息处理方法、装置、设备及存储介质 | |
| CN107169364A (zh) | 一种数据保全方法及相关系统 | |
| CN107067321A (zh) | 提前还款业务的数据保全方法、服务器、客户端和系统 | |
| CN110417795A (zh) | 收款信息订阅方法、装置及收款系统 | |
| US8886800B2 (en) | System and method for traffic analysis | |
| US20100082359A1 (en) | Multi-Granular Age Range Products For Use in Online Marketing | |
| CN113553260B (zh) | 测试方法、测试装置、设备和介质 | |
| TWI294087B (en) | Systems and methods for file transfer management | |
| CN115951923B (zh) | 订阅事件管理方法、显示系统、设备和存储介质 | |
| CN115278557B (zh) | 一种基于区块链的rcs-5g富媒体消息推送管理系统 | |
| US20100174826A1 (en) | Information gathering system and method | |
| CN115426299A (zh) | 无特征数据标识方法、装置、计算机设备及存储介质 | |
| CN107590202A (zh) | 一种企业平台快速应用的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100083 Quantum Ginza 601, No. 26 Zhichun Road, Haidian District, Beijing Applicant after: Beijing Puyun Mdt InfoTech Ltd Applicant after: Cape Cloud Information Technology Co., Ltd. Address before: 100083 Quantum Ginza 601, No. 26 Zhichun Road, Haidian District, Beijing Applicant before: Beijing Puyun Mdt InfoTech Ltd Applicant before: Guangdong Puyun information Polytron Technologies Inc |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |