CN104572818B - 基于http协议的无损式多系统数据集成的方法 - Google Patents

基于http协议的无损式多系统数据集成的方法 Download PDF

Info

Publication number
CN104572818B
CN104572818B CN201410719950.XA CN201410719950A CN104572818B CN 104572818 B CN104572818 B CN 104572818B CN 201410719950 A CN201410719950 A CN 201410719950A CN 104572818 B CN104572818 B CN 104572818B
Authority
CN
China
Prior art keywords
data
business
access system
response
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410719950.XA
Other languages
English (en)
Other versions
CN104572818A (zh
Inventor
何麟
邢应春
胡昊
陈森林
吴春洋
陈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Bengbu Power Supply Co of State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Bengbu Power Supply Co of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Bengbu Power Supply Co of State Grid Anhui Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410719950.XA priority Critical patent/CN104572818B/zh
Publication of CN104572818A publication Critical patent/CN104572818A/zh
Application granted granted Critical
Publication of CN104572818B publication Critical patent/CN104572818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/41User authentication where a single sign-on provides access to a plurality of computers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

基于HTTP协议的无损式多系统数据集成的方法,涉及信息操作技术领域,其特征在于:包括观察被接入系统的业务规则、确定被接入系统的登录方法、确定业务数据的抽取点、确定业务数据的解析方法、确定数据抽取频率、将数据本地化。本发明方法合理、操作方便、管理便捷。

Description

基于HTTP协议的无损式多系统数据集成的方法
技术领域:
本发明涉及信息操作技术领域,具体涉及基于HTTP协议的无损式多系统数据集成的方法。
背景技术:
在互联网发展的初期,各行业重点在于搭建各种应用,在信息技术的辅助下实现一定程度的智能化,受技术条件、业务需求的限制对宏观的资源整合考虑有欠缺。伴随着HTML前期对图形的支持并不完善,于是出现了多业务系统并行、BS/CS模式并行的软件应用格局。应用的分散越来越成为制约行业信息化发展的瓶颈,带来了效率低下、整合难度大的问题,出现了以单点登录为代表的业务整合技术。
单点登录能在一定程度上解决多系统整合的问题,单整合更多的是停留在系统间简单跳转的层次,在用户层并没有解决杂乱无章的使用体验,在技术层也没有解决数据整合的关键。
基于HTTP协议的无损式多系统数据集成的方法是对单点登录整合方式的一种改进,在单点登录的基础上解决了数据本身的整合汇总,然后在数据的基础上进行业务应用的整合、创新。
发明内容:
本发明所要解决的技术问题在于克服现有的技术缺陷提供一种方法合理、操作方便、管理便捷的基于HTTP协议的无损式多系统数据集成的方法。
本发明所要解决的技术问题采用以下的技术方案来实现:
基于HTTP协议的无损式多系统数据集成的方法,其特征在于:包括以下步骤,
步骤一、观察被接入系统的业务规则:
通过诸如FIDDLER软件,在浏览、使用被接入业务系统的时候观察其请求、响应规则,包括登录规则、一般业务规则等,重点在于了解被接入系统发送请求的规律,响应文本的数据结构等。此步骤作为系统整合的基础;
步骤二、确定被接入系统的登录方法:
根据被接入系统登录功能的请求、响应的观察结果确定接入时的登录方式,各个信息系统登录方式各不相同,针对不同的业务系统的实际情况确定其合适的登录方式;
步骤三、确定业务数据的抽取点:
根据被接入系统的请求、响应的观察结果确定获取业务数据的抽取点,相同的业务数据在一个信息系统中往往有多个功能模块体现,根据实际的业务需要,根据数据丰富性、适用性选择最合适的一处作为数据抽取点;
步骤四、确定业务数据的解析方法:
根据被接入系统的响应文本的观察结果确定响应文本的解析方式,当响应文本为JSON字符串时使用JSON方式解析,当响应文本为HTML文本时,编写正则表达式去除HTML格式语言来获取业务数据等,根据具体的响应文本的呈现方式选择合理的解析方式;
步骤五、确定数据抽取频率:
根据被接入系统的业务数据更新频率确定数据的抽取频率,高频率的数据可以设定在1-5分钟内抽取一次,基础性的变化很少的数据可以设定1-2个月的更新频率。数据的抽取频率应保持平稳,已保证系统的性能;
步骤六、将数据本地化:
获取被接入系统的响应后,通过文本解析的方式获取业务数据,如JSON文本解读、HTML文本解读等方式,然后将收集到的业务数据存储到本地的数据库中,作为后续业务应用的基础。
所述被接入系统的业务规则适用于HTTP通讯协议:
现有的信息化系统绝大部分都是基于HTTP协议通讯的,HTTP通讯协议是互联网的基础。基于BS架构的信息系统都是基于HTTP协议的,浏览器就是HTTP协议的客户端;基于CS架构的信息系统,除工业设备中的个别设备控制面板外,绝大部分是基于HTTP协议通讯的,区别在于这类信息化系统没有使用浏览器作为客户端;
所述被接入系统的登录方法是通过使用用户名密码登录被接入系统:
在接入需要整合的信息化系统时,使用该系统提供的用户名、密码登录,以我们日常使用它的方式使用,被接入的系统不能区别接入者是操作人员还是程序。区别在于,日常我们使用的时候是通过浏览器、CS客户端手动使用系统提供的业务模块,在接入的时候是通过程序自动完成原来通过手工来完成的工作,收集信息作为数据整合、业务应用的基础;
本方法通过被接入系统提供的登录入口,按照系统自身的要求发送用户名、密码等信息进行登录操作,完成后获取用户的唯一标识码SESSIONID,然后据此和服务器完成身份的识别,即可进行合法的客户端、服务器通信;
所述数据本地化的业务层整合是:
信息系统的整合是业务层级的,非原始数据层的。即本方法将充分利用被接入系统的业务处理能力,获取其业务处理结果,而不需要对业务处理自身进行重复的软件开发,而是对业务结果自身进行二次应用,实现更贴合实际需要的业务模块。
本发明的有益效果为:本发明能够保护原有投资,充分利用已有的信息化系统的业务处理能力;业务应用的二次开发,使应用更贴合实际工作需要;适应性好,整合时不需要被整合系统的任何支持,降低了系统整合的难度。
具体实施方式:
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面进一步阐述本发明。
基于HTTP协议的无损式多系统数据集成的方法,其特征在于:包括以下步骤,
步骤一、观察被接入系统的业务规则:
通过诸如FIDDLER软件,在浏览、使用被接入业务系统的时候观察其请求、响应规则,包括登录规则、一般业务规则等。重点在于了解被接入系统发送请求的规律,响应文本的数据结构等。此步骤作为系统整合的基础;
步骤二、确定被接入系统的登录方法:
根据被接入系统登录功能的请求、响应的观察结果确定接入时的登录方式。各个信息系统登录方式各不相同,针对不同的业务系统的实际情况确定其合适的登录方式;
步骤三、确定业务数据的抽取点:
根据被接入系统的请求、响应的观察结果确定获取业务数据的抽取点,相同的业务数据在一个信息系统中往往有多个功能模块体现。根据实际的业务需要,根据数据丰富性、适用性选择最合适的一处作为数据抽取点;
步骤四、确定业务数据的解析方法:
根据被接入系统的响应文本的观察结果确定响应文本的解析方式。当响应文本为JSON字符串时使用JSON方式解析,当响应文本为HTML文本时,编写正则表达式去除HTML格式语言来获取业务数据等,根据具体的响应文本的呈现方式选择合理的解析方式;
步骤五、确定数据抽取频率:
根据被接入系统的业务数据更新频率确定数据的抽取频率,高频率的数据可以设定在1-5分钟内抽取一次,基础性的变化很少的数据可以设定1-2个月的更新频率。数据的抽取频率应保持平稳,已保证系统的性能;
步骤六、将数据本地化:
获取被接入系统的响应后,通过文本解析的方式获取业务数据,如JSON文本解读、HTML文本解读等方式。然后将收集到的业务数据存储到本地的数据库中,作为后续业务应用的基础。
所述被接入系统的业务规则适用于HTTP通讯协议:
现有的信息化系统绝大部分都是基于HTTP协议通讯的,HTTP通讯协议是互联网的基础。基于BS架构的信息系统都是基于HTTP协议的,浏览器就是HTTP协议的客户端;基于CS架构的信息系统,除工业设备中的个别设备控制面板外,绝大部分是基于HTTP协议通讯的,区别在于这类信息化系统没有使用浏览器作为客户端;
所述被接入系统的登录方法是通过使用用户名密码登录被接入系统:
在接入需要整合的信息化系统时,使用该系统提供的用户名、密码登录,以我们日常使用它的方式使用,被接入的系统不能区别接入者是操作人员还是程序。区别在于,日常我们使用的时候是通过浏览器、CS客户端手动使用系统提供的业务模块,在接入的时候是通过程序自动完成原来通过手工来完成的工作,收集信息作为数据整合、业务应用的基础;
本方法通过被接入系统提供的登录入口,按照系统自身的要求发送用户名、密码等信息进行登录操作,完成后获取用户的唯一标识码SESSIONID,然后据此和服务器完成身份的识别,即可进行合法的客户端、服务器通信;
所述数据本地化的业务层整合是:
信息系统的整合是业务层级的,非原始数据层的。即本方法将充分利用被接入系统的业务处理能力,获取其业务处理结果,而不需要对业务处理自身进行重复的软件开发,而是对业务结果自身进行二次应用,实现更贴合实际需要的业务模块。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.基于HTTP协议的无损式多系统数据集成的方法,其特征在于:包括以下步骤,
步骤一、确定被接入系统的业务规则:
通过FIDDLER软件,在浏览、使用被接入业务系统的时候确定其请求、响应规则,包括登录规则、一般业务规则,确定被接入系统发送请求的规律,响应文本的数据结构,此步骤作为系统整合的基础;
步骤二、确定被接入系统的登录方法:
根据被接入系统登录功能的请求、响应的结果确定接入时的登录方式,各个信息系统登录方式各不相同,针对不同的业务系统的实际情况确定其合适的登录方式;
步骤三、确定业务数据的抽取点:
根据被接入系统的请求、响应的结果确定获取业务数据的抽取点,相同的业务数据在一个信息系统中往往有多个功能模块体现,根据实际的业务需要,根据数据丰富性、适用性确定最合适的一处作为数据抽取点;
步骤四、确定业务数据的解析方法:
根据被接入系统的响应文本的结果确定响应文本的解析方式,当响应文本为JSON字符串时使用JSON方式解析,当响应文本为HTML文本时,编写正则表达式去除HTML格式语言来获取业务数据,根据具体的响应文本的呈现方式确定合理的解析方式;
步骤五、确定数据抽取频率:
根据被接入系统的业务数据更新频率确定数据的抽取频率,高频率的数据可以设定在1-5分钟内抽取一次,基础性的变化很少的数据可以设定1-2个月的更新频率,数据的抽取频率应保持平稳,以保证系统的性能;
步骤六、将数据本地化:
获取被接入系统的响应后,通过文本解析的方式获取业务数据,JSON文本解读、HTML文本解读方式,然后将收集到的业务数据存储到本地的数据库中,作为后续业务应用的基础;
所述被接入系统的业务规则适用于HTTP通讯协议:
本方法通过被接入系统提供的登录入口,按照系统自身的要求发送用户名、密码信息进行登录操作,完成后获取用户的唯一标识码SESSIONID,然后据此和服务器完成身份的识别,即可进行合法的客户端、服务器通信;
所述数据本地化的业务层整合是:
信息系统的整合是业务层级的,非原始数据层的,即本方法将充分利用被接入系统的业务处理能力,获取其业务处理结果,而不需要对业务处理自身进行重复的软件开发,而是对业务结果自身进行二次应用,实现更贴合实际需要的业务模块。
CN201410719950.XA 2014-12-01 2014-12-01 基于http协议的无损式多系统数据集成的方法 Active CN104572818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410719950.XA CN104572818B (zh) 2014-12-01 2014-12-01 基于http协议的无损式多系统数据集成的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410719950.XA CN104572818B (zh) 2014-12-01 2014-12-01 基于http协议的无损式多系统数据集成的方法

Publications (2)

Publication Number Publication Date
CN104572818A CN104572818A (zh) 2015-04-29
CN104572818B true CN104572818B (zh) 2019-06-18

Family

ID=53088880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410719950.XA Active CN104572818B (zh) 2014-12-01 2014-12-01 基于http协议的无损式多系统数据集成的方法

Country Status (1)

Country Link
CN (1) CN104572818B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005011034A1 (de) * 2005-03-08 2006-09-14 Tenovis Gmbh & Co. Kg Verfahren und Vorrichtung zum Betrieb einer CTI-Einrichtung
CN1921484A (zh) * 2006-09-14 2007-02-28 南京中兴软创软件有限公司 一种基于浏览器的客户端/服务器架构
CN101212792A (zh) * 2006-12-27 2008-07-02 中国移动通信集团公司 融合类业务的计费信息处理方法
CN101388897A (zh) * 2007-09-12 2009-03-18 福建富士通信息软件有限公司 企业门户页面整合系统
CN102480510A (zh) * 2010-11-30 2012-05-30 汉王科技股份有限公司 C/s和b/s混合架构的实现方法和装置
CN103177327A (zh) * 2012-10-18 2013-06-26 海宁市供电局 一种基于b/s与c/s架构的低压电力作业综合管理系统
CN103488730A (zh) * 2013-09-17 2014-01-01 佛山市明睿达科技有限公司 网站业务系统数据上传导出方法、以及实现其方法的系统
CN103929477A (zh) * 2014-03-31 2014-07-16 国网山东省电力公司 基于Http协议的系统间无耦合集成模拟方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005011034A1 (de) * 2005-03-08 2006-09-14 Tenovis Gmbh & Co. Kg Verfahren und Vorrichtung zum Betrieb einer CTI-Einrichtung
CN1921484A (zh) * 2006-09-14 2007-02-28 南京中兴软创软件有限公司 一种基于浏览器的客户端/服务器架构
CN101212792A (zh) * 2006-12-27 2008-07-02 中国移动通信集团公司 融合类业务的计费信息处理方法
CN101388897A (zh) * 2007-09-12 2009-03-18 福建富士通信息软件有限公司 企业门户页面整合系统
CN102480510A (zh) * 2010-11-30 2012-05-30 汉王科技股份有限公司 C/s和b/s混合架构的实现方法和装置
CN103177327A (zh) * 2012-10-18 2013-06-26 海宁市供电局 一种基于b/s与c/s架构的低压电力作业综合管理系统
CN103488730A (zh) * 2013-09-17 2014-01-01 佛山市明睿达科技有限公司 网站业务系统数据上传导出方法、以及实现其方法的系统
CN103929477A (zh) * 2014-03-31 2014-07-16 国网山东省电力公司 基于Http协议的系统间无耦合集成模拟方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单点登录技术在系统整合中的应用;夏彬;《云南化工》;20120430(第2期);全文

Also Published As

Publication number Publication date
CN104572818A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
Miraz et al. Internet of nano-things, things and everything: future growth trends
US10025880B2 (en) Methods for integrating semantic search, query, and analysis and devices thereof
Lee What roles should the government play in fostering the advancement of the Internet of Things?
CN107885777A (zh) 一种基于协作式爬虫的抓取网页数据的控制方法及系统
CN103425741A (zh) 一种信息展示方法和装置
CN105610819B (zh) 提供服务器信息的查询服务的方法和装置
WO2014015015A3 (en) System, apparatus and method for activity guidance and monitoring
Jofre et al. Cybersecurity and privacy risk assessment of point-of-care systems in healthcare—a use case approach
Nielsen et al. Reuse of data for personal and proactive service: An opportunity not yet utilised
CN103399968B (zh) 一种微博信息采集方法及系统
US20150302089A1 (en) Recovery of Information from Commercial Web Portals
CN104572818B (zh) 基于http协议的无损式多系统数据集成的方法
CN109542867A (zh) 分布式数据采集方法及装置
CN112732693A (zh) 智能化物联网数据采集方法、装置、设备及存储介质
Coats et al. Leveraging the cloud for electronic health record access
CN103970777A (zh) 对表格数据进行批量操作的方法和装置
CN104866533B (zh) 一种用于半封闭数据环境下的数据搜索的方法和装置
Jha et al. A framework for addressing data privacy issues in e-governance projects
Marshall Standards, regulation & quality in digital investigations: The state we are in
Van Biljon et al. Research on mobile cloud computing in teaching and learning: A conceptual framework
CN106453247B (zh) 用户数据隔离方法、操作方法及各自对应的装置
Behura et al. A complete model for IOT application
Sarikhani et al. Studying the managers’ viewpoint of East Azerbaijan provinces in 2012 and branches about relief operation of Red Crescent society
KR101950074B1 (ko) 복수의 오픈 api로부터 통합적인 데이터 수집방법
Ofoeda et al. Institutional Effects on API Development and Integration in Developing Countries: Evidence from Ghana

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant