CN104572818B - 基于http协议的无损式多系统数据集成的方法 - Google Patents
基于http协议的无损式多系统数据集成的方法 Download PDFInfo
- Publication number
- CN104572818B CN104572818B CN201410719950.XA CN201410719950A CN104572818B CN 104572818 B CN104572818 B CN 104572818B CN 201410719950 A CN201410719950 A CN 201410719950A CN 104572818 B CN104572818 B CN 104572818B
- Authority
- CN
- China
- Prior art keywords
- data
- business
- access system
- response
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000010354 integration Effects 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/41—User authentication where a single sign-on provides access to a plurality of computers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Information Transfer Between Computers (AREA)
Abstract
基于HTTP协议的无损式多系统数据集成的方法，涉及信息操作技术领域，其特征在于：包括观察被接入系统的业务规则、确定被接入系统的登录方法、确定业务数据的抽取点、确定业务数据的解析方法、确定数据抽取频率、将数据本地化。本发明方法合理、操作方便、管理便捷。
Description
技术领域：
本发明涉及信息操作技术领域，具体涉及基于HTTP协议的无损式多系统数据集成的方法。
背景技术：
在互联网发展的初期，各行业重点在于搭建各种应用，在信息技术的辅助下实现一定程度的智能化，受技术条件、业务需求的限制对宏观的资源整合考虑有欠缺。伴随着HTML前期对图形的支持并不完善，于是出现了多业务系统并行、BS/CS模式并行的软件应用格局。应用的分散越来越成为制约行业信息化发展的瓶颈，带来了效率低下、整合难度大的问题，出现了以单点登录为代表的业务整合技术。
单点登录能在一定程度上解决多系统整合的问题，单整合更多的是停留在系统间简单跳转的层次，在用户层并没有解决杂乱无章的使用体验，在技术层也没有解决数据整合的关键。
基于HTTP协议的无损式多系统数据集成的方法是对单点登录整合方式的一种改进，在单点登录的基础上解决了数据本身的整合汇总，然后在数据的基础上进行业务应用的整合、创新。
发明内容：
本发明所要解决的技术问题在于克服现有的技术缺陷提供一种方法合理、操作方便、管理便捷的基于HTTP协议的无损式多系统数据集成的方法。
本发明所要解决的技术问题采用以下的技术方案来实现：
基于HTTP协议的无损式多系统数据集成的方法，其特征在于：包括以下步骤，
步骤一、观察被接入系统的业务规则：
通过诸如FIDDLER软件，在浏览、使用被接入业务系统的时候观察其请求、响应规则，包括登录规则、一般业务规则等，重点在于了解被接入系统发送请求的规律，响应文本的数据结构等。此步骤作为系统整合的基础；
步骤二、确定被接入系统的登录方法：
根据被接入系统登录功能的请求、响应的观察结果确定接入时的登录方式，各个信息系统登录方式各不相同，针对不同的业务系统的实际情况确定其合适的登录方式；
步骤三、确定业务数据的抽取点：
根据被接入系统的请求、响应的观察结果确定获取业务数据的抽取点，相同的业务数据在一个信息系统中往往有多个功能模块体现，根据实际的业务需要，根据数据丰富性、适用性选择最合适的一处作为数据抽取点；
步骤四、确定业务数据的解析方法：
根据被接入系统的响应文本的观察结果确定响应文本的解析方式，当响应文本为JSON字符串时使用JSON方式解析，当响应文本为HTML文本时，编写正则表达式去除HTML格式语言来获取业务数据等，根据具体的响应文本的呈现方式选择合理的解析方式；
步骤五、确定数据抽取频率：
根据被接入系统的业务数据更新频率确定数据的抽取频率，高频率的数据可以设定在1-5分钟内抽取一次，基础性的变化很少的数据可以设定1-2个月的更新频率。数据的抽取频率应保持平稳，已保证系统的性能；
步骤六、将数据本地化：
获取被接入系统的响应后，通过文本解析的方式获取业务数据，如JSON文本解读、HTML文本解读等方式，然后将收集到的业务数据存储到本地的数据库中，作为后续业务应用的基础。
所述被接入系统的业务规则适用于HTTP通讯协议：
现有的信息化系统绝大部分都是基于HTTP协议通讯的，HTTP通讯协议是互联网的基础。基于BS架构的信息系统都是基于HTTP协议的，浏览器就是HTTP协议的客户端；基于CS架构的信息系统，除工业设备中的个别设备控制面板外，绝大部分是基于HTTP协议通讯的，区别在于这类信息化系统没有使用浏览器作为客户端；
所述被接入系统的登录方法是通过使用用户名密码登录被接入系统：
在接入需要整合的信息化系统时，使用该系统提供的用户名、密码登录，以我们日常使用它的方式使用，被接入的系统不能区别接入者是操作人员还是程序。区别在于，日常我们使用的时候是通过浏览器、CS客户端手动使用系统提供的业务模块，在接入的时候是通过程序自动完成原来通过手工来完成的工作，收集信息作为数据整合、业务应用的基础；
本方法通过被接入系统提供的登录入口，按照系统自身的要求发送用户名、密码等信息进行登录操作，完成后获取用户的唯一标识码SESSIONID，然后据此和服务器完成身份的识别，即可进行合法的客户端、服务器通信；
所述数据本地化的业务层整合是：
信息系统的整合是业务层级的，非原始数据层的。即本方法将充分利用被接入系统的业务处理能力，获取其业务处理结果，而不需要对业务处理自身进行重复的软件开发，而是对业务结果自身进行二次应用，实现更贴合实际需要的业务模块。
本发明的有益效果为：本发明能够保护原有投资，充分利用已有的信息化系统的业务处理能力；业务应用的二次开发，使应用更贴合实际工作需要；适应性好，整合时不需要被整合系统的任何支持，降低了系统整合的难度。
具体实施方式：
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。
基于HTTP协议的无损式多系统数据集成的方法，其特征在于：包括以下步骤，
步骤一、观察被接入系统的业务规则：
通过诸如FIDDLER软件，在浏览、使用被接入业务系统的时候观察其请求、响应规则，包括登录规则、一般业务规则等。重点在于了解被接入系统发送请求的规律，响应文本的数据结构等。此步骤作为系统整合的基础；
步骤二、确定被接入系统的登录方法：
根据被接入系统登录功能的请求、响应的观察结果确定接入时的登录方式。各个信息系统登录方式各不相同，针对不同的业务系统的实际情况确定其合适的登录方式；
步骤三、确定业务数据的抽取点：
根据被接入系统的请求、响应的观察结果确定获取业务数据的抽取点，相同的业务数据在一个信息系统中往往有多个功能模块体现。根据实际的业务需要，根据数据丰富性、适用性选择最合适的一处作为数据抽取点；
步骤四、确定业务数据的解析方法：
根据被接入系统的响应文本的观察结果确定响应文本的解析方式。当响应文本为JSON字符串时使用JSON方式解析，当响应文本为HTML文本时，编写正则表达式去除HTML格式语言来获取业务数据等，根据具体的响应文本的呈现方式选择合理的解析方式；
步骤五、确定数据抽取频率：
根据被接入系统的业务数据更新频率确定数据的抽取频率，高频率的数据可以设定在1-5分钟内抽取一次，基础性的变化很少的数据可以设定1-2个月的更新频率。数据的抽取频率应保持平稳，已保证系统的性能；
步骤六、将数据本地化：
获取被接入系统的响应后，通过文本解析的方式获取业务数据，如JSON文本解读、HTML文本解读等方式。然后将收集到的业务数据存储到本地的数据库中，作为后续业务应用的基础。
所述被接入系统的业务规则适用于HTTP通讯协议：
现有的信息化系统绝大部分都是基于HTTP协议通讯的，HTTP通讯协议是互联网的基础。基于BS架构的信息系统都是基于HTTP协议的，浏览器就是HTTP协议的客户端；基于CS架构的信息系统，除工业设备中的个别设备控制面板外，绝大部分是基于HTTP协议通讯的，区别在于这类信息化系统没有使用浏览器作为客户端；
所述被接入系统的登录方法是通过使用用户名密码登录被接入系统：
在接入需要整合的信息化系统时，使用该系统提供的用户名、密码登录，以我们日常使用它的方式使用，被接入的系统不能区别接入者是操作人员还是程序。区别在于，日常我们使用的时候是通过浏览器、CS客户端手动使用系统提供的业务模块，在接入的时候是通过程序自动完成原来通过手工来完成的工作，收集信息作为数据整合、业务应用的基础；
本方法通过被接入系统提供的登录入口，按照系统自身的要求发送用户名、密码等信息进行登录操作，完成后获取用户的唯一标识码SESSIONID，然后据此和服务器完成身份的识别，即可进行合法的客户端、服务器通信；
所述数据本地化的业务层整合是：
信息系统的整合是业务层级的，非原始数据层的。即本方法将充分利用被接入系统的业务处理能力，获取其业务处理结果，而不需要对业务处理自身进行重复的软件开发，而是对业务结果自身进行二次应用，实现更贴合实际需要的业务模块。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (1)
1.基于HTTP协议的无损式多系统数据集成的方法，其特征在于：包括以下步骤，
步骤一、确定被接入系统的业务规则：
通过FIDDLER软件，在浏览、使用被接入业务系统的时候确定其请求、响应规则，包括登录规则、一般业务规则，确定被接入系统发送请求的规律，响应文本的数据结构，此步骤作为系统整合的基础；
步骤二、确定被接入系统的登录方法：
根据被接入系统登录功能的请求、响应的结果确定接入时的登录方式，各个信息系统登录方式各不相同，针对不同的业务系统的实际情况确定其合适的登录方式；
步骤三、确定业务数据的抽取点：
根据被接入系统的请求、响应的结果确定获取业务数据的抽取点，相同的业务数据在一个信息系统中往往有多个功能模块体现，根据实际的业务需要，根据数据丰富性、适用性确定最合适的一处作为数据抽取点；
步骤四、确定业务数据的解析方法：
根据被接入系统的响应文本的结果确定响应文本的解析方式，当响应文本为JSON字符串时使用JSON方式解析，当响应文本为HTML文本时，编写正则表达式去除HTML格式语言来获取业务数据，根据具体的响应文本的呈现方式确定合理的解析方式；
步骤五、确定数据抽取频率：
根据被接入系统的业务数据更新频率确定数据的抽取频率，高频率的数据可以设定在1-5分钟内抽取一次，基础性的变化很少的数据可以设定1-2个月的更新频率，数据的抽取频率应保持平稳，以保证系统的性能；
步骤六、将数据本地化：
获取被接入系统的响应后，通过文本解析的方式获取业务数据，JSON文本解读、HTML文本解读方式，然后将收集到的业务数据存储到本地的数据库中，作为后续业务应用的基础；
所述被接入系统的业务规则适用于HTTP通讯协议：
本方法通过被接入系统提供的登录入口，按照系统自身的要求发送用户名、密码信息进行登录操作，完成后获取用户的唯一标识码SESSIONID，然后据此和服务器完成身份的识别，即可进行合法的客户端、服务器通信；
所述数据本地化的业务层整合是：
信息系统的整合是业务层级的，非原始数据层的，即本方法将充分利用被接入系统的业务处理能力，获取其业务处理结果，而不需要对业务处理自身进行重复的软件开发，而是对业务结果自身进行二次应用，实现更贴合实际需要的业务模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410719950.XA CN104572818B (zh) | 2014-12-01 | 2014-12-01 | 基于http协议的无损式多系统数据集成的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410719950.XA CN104572818B (zh) | 2014-12-01 | 2014-12-01 | 基于http协议的无损式多系统数据集成的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104572818A CN104572818A (zh) | 2015-04-29 |
| CN104572818B true CN104572818B (zh) | 2019-06-18 |
Family
ID=53088880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410719950.XA Active CN104572818B (zh) | 2014-12-01 | 2014-12-01 | 基于http协议的无损式多系统数据集成的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104572818B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005011034A1 (de) * | 2005-03-08 | 2006-09-14 | Tenovis Gmbh & Co. Kg | Verfahren und Vorrichtung zum Betrieb einer CTI-Einrichtung |
| CN1921484A (zh) * | 2006-09-14 | 2007-02-28 | 南京中兴软创软件有限公司 | 一种基于浏览器的客户端/服务器架构 |
| CN101212792A (zh) * | 2006-12-27 | 2008-07-02 | 中国移动通信集团公司 | 融合类业务的计费信息处理方法 |
| CN101388897A (zh) * | 2007-09-12 | 2009-03-18 | 福建富士通信息软件有限公司 | 企业门户页面整合系统 |
| CN102480510A (zh) * | 2010-11-30 | 2012-05-30 | 汉王科技股份有限公司 | C/s和b/s混合架构的实现方法和装置 |
| CN103177327A (zh) * | 2012-10-18 | 2013-06-26 | 海宁市供电局 | 一种基于b/s与c/s架构的低压电力作业综合管理系统 |
| CN103488730A (zh) * | 2013-09-17 | 2014-01-01 | 佛山市明睿达科技有限公司 | 网站业务系统数据上传导出方法、以及实现其方法的系统 |
| CN103929477A (zh) * | 2014-03-31 | 2014-07-16 | 国网山东省电力公司 | 基于Http协议的系统间无耦合集成模拟方法及系统 |
-
2014
- 2014-12-01 CN CN201410719950.XA patent/CN104572818B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005011034A1 (de) * | 2005-03-08 | 2006-09-14 | Tenovis Gmbh & Co. Kg | Verfahren und Vorrichtung zum Betrieb einer CTI-Einrichtung |
| CN1921484A (zh) * | 2006-09-14 | 2007-02-28 | 南京中兴软创软件有限公司 | 一种基于浏览器的客户端/服务器架构 |
| CN101212792A (zh) * | 2006-12-27 | 2008-07-02 | 中国移动通信集团公司 | 融合类业务的计费信息处理方法 |
| CN101388897A (zh) * | 2007-09-12 | 2009-03-18 | 福建富士通信息软件有限公司 | 企业门户页面整合系统 |
| CN102480510A (zh) * | 2010-11-30 | 2012-05-30 | 汉王科技股份有限公司 | C/s和b/s混合架构的实现方法和装置 |
| CN103177327A (zh) * | 2012-10-18 | 2013-06-26 | 海宁市供电局 | 一种基于b/s与c/s架构的低压电力作业综合管理系统 |
| CN103488730A (zh) * | 2013-09-17 | 2014-01-01 | 佛山市明睿达科技有限公司 | 网站业务系统数据上传导出方法、以及实现其方法的系统 |
| CN103929477A (zh) * | 2014-03-31 | 2014-07-16 | 国网山东省电力公司 | 基于Http协议的系统间无耦合集成模拟方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 单点登录技术在系统整合中的应用;夏彬;《云南化工》;20120430(第2期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104572818A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Miraz et al. | Internet of nano-things, things and everything: future growth trends | |
| US10025880B2 (en) | Methods for integrating semantic search, query, and analysis and devices thereof | |
| Lee | What roles should the government play in fostering the advancement of the Internet of Things? | |
| CN107885777A (zh) | 一种基于协作式爬虫的抓取网页数据的控制方法及系统 | |
| CN103425741A (zh) | 一种信息展示方法和装置 | |
| CN105610819B (zh) | 提供服务器信息的查询服务的方法和装置 | |
| WO2014015015A3 (en) | System, apparatus and method for activity guidance and monitoring | |
| Jofre et al. | Cybersecurity and privacy risk assessment of point-of-care systems in healthcare—a use case approach | |
| Nielsen et al. | Reuse of data for personal and proactive service: An opportunity not yet utilised | |
| CN103399968B (zh) | 一种微博信息采集方法及系统 | |
| US20150302089A1 (en) | Recovery of Information from Commercial Web Portals | |
| CN104572818B (zh) | 基于http协议的无损式多系统数据集成的方法 | |
| CN109542867A (zh) | 分布式数据采集方法及装置 | |
| CN112732693A (zh) | 智能化物联网数据采集方法、装置、设备及存储介质 | |
| Coats et al. | Leveraging the cloud for electronic health record access | |
| CN103970777A (zh) | 对表格数据进行批量操作的方法和装置 | |
| CN104866533B (zh) | 一种用于半封闭数据环境下的数据搜索的方法和装置 | |
| Jha et al. | A framework for addressing data privacy issues in e-governance projects | |
| Marshall | Standards, regulation & quality in digital investigations: The state we are in | |
| Van Biljon et al. | Research on mobile cloud computing in teaching and learning: A conceptual framework | |
| CN106453247B (zh) | 用户数据隔离方法、操作方法及各自对应的装置 | |
| Behura et al. | A complete model for IOT application | |
| Sarikhani et al. | Studying the managers’ viewpoint of East Azerbaijan provinces in 2012 and branches about relief operation of Red Crescent society | |
| KR101950074B1 (ko) | 복수의 오픈 api로부터 통합적인 데이터 수집방법 | |
| Ofoeda et al. | Institutional Effects on API Development and Integration in Developing Countries: Evidence from Ghana |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |