CN107453953B - 一种基于httpclient的数据更新系统及方法 - Google Patents

一种基于httpclient的数据更新系统及方法 Download PDF

Info

Publication number
CN107453953B
CN107453953B CN201710766191.6A CN201710766191A CN107453953B CN 107453953 B CN107453953 B CN 107453953B CN 201710766191 A CN201710766191 A CN 201710766191A CN 107453953 B CN107453953 B CN 107453953B
Authority
CN
China
Prior art keywords
data
module
server
information
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710766191.6A
Other languages
English (en)
Other versions
CN107453953A (zh
Inventor
胡旭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qichacha Technology Co ltd
Original Assignee
Suzhou Longdong Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=60494323&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN107453953(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Suzhou Longdong Network Technology Co ltd filed Critical Suzhou Longdong Network Technology Co ltd
Priority to CN201710766191.6A priority Critical patent/CN107453953B/zh
Publication of CN107453953A publication Critical patent/CN107453953A/zh
Application granted granted Critical
Publication of CN107453953B publication Critical patent/CN107453953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于httpclient的数据更新系统及方法，包括客户端、服务端以及FTP服务器，所述客户端设置有配置模块、服务模块以及本地数据库，所述服务端设置有身份认证模块、数据处理模块以及云数据库，所述配置模块用于配置连接信息以及对服务端和本地数据库执行连通性测试；所述服务模块用于向服务端请求服务、从FTP服务器下载数据以及对本地数据库执行数据同步；所述身份认证模块用于响应客户端连通性测试、执行身份验证以及响应客户端身份认证请求。通过上述方式，本发明提供一种基于httpclient的数据更新系统及方法，快速实现自动化数据更新，更新过程安全稳定高效，极大提高客户端与服务器的数据同步效率。

Description

一种基于httpclient的数据更新系统及方法
技术领域
本发明涉及一种基于httpclient的数据更新系统及方法。
背景技术
现有基于httpclient的数据更新通常采用客户端与服务器直接通讯连接实时处理数据，给服务器造成较大运行压力，导致服务器性能下降、稳定性降低，甚至造成宕机等严重故障。
发明内容
本发明主要解决的技术问题是提供一种基于httpclient的数据更新系统及方法，快速实现自动化数据更新，更新过程安全稳定高效，极大提高客户端与服务器的数据同步效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于httpclient的数据更新系统及方法，包括客户端、服务端以及FTP服务器，所述客户端设置有配置模块、服务模块以及本地数据库，所述服务端设置有身份认证模块、数据处理模块以及云数据库，所述配置模块用于配置连接信息以及对服务端和本地数据库执行连通性测试；所述服务模块用于向服务端请求服务、从FTP服务器下载数据以及对本地数据库执行数据同步；所述身份认证模块用于响应客户端连通性测试、执行身份验证以及响应客户端身份认证请求；所述数据处理模块用于响应客户端数据服务请求以及定期从FTP服务器执行数据同步。
一种基于httpclient的数据更新系统的更新数据方法，该方法包括：
S1，连通性测试，
所述配置模块向身份认证模块发送身份信息，获取返回值来判断连通性及身份信息正确性，
所述配置模块向本地数据库发送数据库连接信息，获取返回值来判断连通性及数据库连接信息正确性；
S2，请求服务，
所述服务模块向身份认证模块认证身份信息，通过认证后，所述数据处理模块从云数据库提取数据表框架信息，并连同数据下载信息返回至服务模块；
S3，校验数据表框架，
所述服务模块将数据表框架信息与本地数据库数据表做健全校验；
S4，下载，
所述服务模块根据数据下载信息连接FTP服务器下载数据包；
S5，同步数据，所述服务模块解析数据包，写入本地数据库。
在本发明一个较佳实施例中，所述数据处理模块还用于定期从云数据库提取需要同步的更新数据，写入服务端本地数据包。
在本发明一个较佳实施例中，所述数据处理模块还用于定期将服务端本地数据包上传至FTP服务器。
在本发明一个较佳实施例中，所述客户端还设置有异常处理模块，所述异常处理模块用于实时将客户端异常出错信息反馈到服务端并停止更新。
本发明的有益效果是：本发明提供的一种基于httpclient的数据更新系统及方法，快速实现自动化数据更新，更新过程安全稳定高效，极大提高客户端与服务器的数据同步效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1是本发明一种基于httpclient的数据更新系统的一较佳实施例的结构图；
图2是本发明一种基于httpclient的数据更新系统的更新数据方法的一较佳实施例的流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1-2所示，本发明实施例包括：
一种基于httpclient的数据更新系统及方法，包括客户端、服务端以及FTP服务器，所述客户端设置有配置模块、服务模块以及本地数据库，所述服务端设置有身份认证模块、数据处理模块以及云数据库，所述配置模块用于配置连接信息以及对服务端和本地数据库执行连通性测试；所述服务模块用于向服务端请求服务、从FTP服务器下载数据以及对本地数据库执行数据同步；所述身份认证模块用于响应客户端连通性测试、执行身份验证以及响应客户端身份认证请求；所述数据处理模块用于响应客户端数据服务请求以及定期从FTP服务器执行数据同步。
一种基于httpclient的数据更新系统的更新数据方法，该方法包括：
S1，连通性测试，
所述配置模块向身份认证模块发送身份信息，获取返回值来判断连通性及身份信息正确性，
所述配置模块向本地数据库发送数据库连接信息，获取返回值来判断连通性及数据库连接信息正确性；
S2，请求服务，
所述服务模块向身份认证模块认证身份信息，通过认证后，所述数据处理模块从云数据库提取数据表框架信息，并连同数据下载信息返回至服务模块；
S3，校验数据表框架，
所述服务模块将数据表框架信息与本地数据库数据表做健全校验；
S4，下载，
所述服务模块根据数据下载信息连接FTP服务器下载数据包；
S5，同步数据，所述服务模块解析数据包，写入本地数据库。
进一步的，所述数据处理模块还用于定期从云数据库提取需要同步的更新数据，写入服务端本地数据包。
进一步的，所述数据处理模块还用于定期将服务端本地数据包上传至FTP服务器。
进一步的，所述客户端向服务端发起请求身份认证完成后开始下载数据包、解压数据、自动解析数据实现更新。更新程序可手动停止中断。数据以数据包形式传输，客户端要实现对数据包的自动解析。服务端要对客户端程序的每次访问进行身份认证，认证信息保存在缓存中，这样服务端出现宕机或者需要停止程序重新发包的情况，客户端不需要重新启动。
进一步的，所述客户端设置有异常处理模块，所述异常处理模块用于实时将客户端异常出错信息反馈到服务端，并以邮件的形式通知到相关负责人。反馈完毕后，客户端程序停止本次更新，进入等待下次更新状态。
进一步的，所述客户端包含有可视化系统配置界面、数据更新统计界面、更新程序启动和关闭功能。所述客户端通过界面启动程序后程序即可实现自动向服务端发起请求，通过服务端、客户端信息交互，确定是否有需要下载的数据。客户端确定要下载的数据，自动下载数据包、自动解析，通过数据批处理多表并发、自动解析等技术，高效率实现数据入库，从而完成数据更新。
综上所述，本发明提供了一种基于httpclient的数据更新系统及方法，快速实现自动化数据更新，更新过程安全稳定高效，极大提高客户端与服务器的数据同步效率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于httpclient的数据更新系统，其特征在于，包括客户端、服务端以及FTP服务器，所述客户端设置有配置模块、服务模块以及本地数据库，所述服务端设置有身份认证模块、数据处理模块以及云数据库，所述配置模块用于配置连接信息以及对服务端和本地数据库执行连通性测试；所述配置模块向所述身份认证模块发送身份信息，获取返回值来判断连通性及所述身份信息正确性；所述客户端通过界面，启动程序后程序自动向所述服务端发起请求；所述服务模块用于向所述身份认证模块认证身份信息，通过认证后，所述数据处理模块从所述云数据库提取数据表框架信息，并连同数据下载信息返回至所述服务模块；所述服务模块将所述数据表框架信息与本地数据库数据表做健全校验；所述服务模块根据所述数据下载信息连接所述FTP服务器下载数据包；所述服务模块还用于对本地数据库执行数据同步；所述身份认证模块用于响应客户端连通性测试、执行身份验证以及响应客户端身份认证请求；所述数据处理模块用于响应客户端数据服务请求以及定期从FTP服务器执行数据同步。
2.根据权利要求1所述的基于httpclient的数据更新系统的更新数据方法，其特征在于，该方法包括：
S1，连通性测试，
所述配置模块向身份认证模块发送身份信息，获取返回值来判断连通性及身份信息正确性，
所述配置模块向本地数据库发送数据库连接信息，获取返回值来判断连通性及数据库连接信息正确性；
S2，请求服务，
所述服务模块向身份认证模块认证身份信息，通过认证后，所述数据处理模块从云数据库提取数据表框架信息，并连同数据下载信息返回至服务模块；
S3，校验数据表框架，
所述服务模块将数据表框架信息与本地数据库数据表做健全校验；
S4，下载，
所述服务模块根据数据下载信息连接FTP服务器下载数据包；
S5，同步数据，所述服务模块解析数据包，写入本地数据库。
3.根据权利要求1所述的基于httpclient的数据更新系统，其特征在于，所述数据处理模块还用于定期从云数据库提取需要同步的更新数据，写入服务端本地数据包。
4.根据权利要求3所述的基于httpclient的数据更新系统，其特征在于，所述数据处理模块还用于定期将服务端本地数据包上传至FTP服务器。
5.根据权利要求1所述的基于httpclient的数据更新系统，其特征在于，所述客户端还设置有异常处理模块，所述异常处理模块用于实时将客户端异常出错信息反馈到服务端并停止更新。
CN201710766191.6A 2017-08-30 2017-08-30 一种基于httpclient的数据更新系统及方法 Active CN107453953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710766191.6A CN107453953B (zh) 2017-08-30 2017-08-30 一种基于httpclient的数据更新系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710766191.6A CN107453953B (zh) 2017-08-30 2017-08-30 一种基于httpclient的数据更新系统及方法

Publications (2)

Publication Number Publication Date
CN107453953A CN107453953A (zh) 2017-12-08
CN107453953B true CN107453953B (zh) 2020-09-15

Family

ID=60494323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710766191.6A Active CN107453953B (zh) 2017-08-30 2017-08-30 一种基于httpclient的数据更新系统及方法

Country Status (1)

Country Link
CN (1) CN107453953B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981784A (zh) * 2019-04-01 2019-07-05 山东浪潮云信息技术有限公司 一种云服务监控系统数据访问方法
CN112395359B (zh) * 2020-11-30 2023-03-31 武汉烽火众智数字技术有限责任公司 一种基于数据库数据同步来实现http代理的方法和系统
CN112565019B (zh) * 2020-12-04 2022-07-15 浪潮电子信息产业股份有限公司 一种检测数据库连通性的方法、系统及电子设备
CN114070843A (zh) * 2021-10-29 2022-02-18 盐城金堤科技有限公司 一种数据更新方法、客户端、服务端和ftp服务器
CN113779000B (zh) * 2021-11-15 2022-02-08 北京金堤科技有限公司 数据库更新方法和系统、以及存储介质和电子设备
CN113821525B (zh) * 2021-11-24 2022-02-25 北京金堤科技有限公司 数据更新系统和方法、以及存储介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302806A (zh) * 2016-09-13 2017-01-04 腾讯科技（深圳）有限公司 一种数据同步方法、系统、同步获取方法及相关装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1690961A (zh) * 2004-04-30 2005-11-02 鸿富锦精密工业（深圳）有限公司 客户端程序自动更新系统及方法
CN102355497A (zh) * 2011-09-28 2012-02-15 中国铁道科学研究院电子计算技术研究所 数据同步方法
CN103457905B (zh) * 2012-05-28 2015-09-09 腾讯科技（深圳）有限公司 数据同步方法、系统及设备
CN103414787B (zh) * 2013-08-28 2016-09-21 北京爱工场文化发展有限公司 一种基于云服务的内容公播系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302806A (zh) * 2016-09-13 2017-01-04 腾讯科技（深圳）有限公司 一种数据同步方法、系统、同步获取方法及相关装置

Also Published As

Publication number Publication date
CN107453953A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107453953B (zh) 一种基于httpclient的数据更新系统及方法
US11068449B2 (en) Data migration method, apparatus, and storage medium
CN110347746B (zh) 一种异构数据库同步数据一致性校验方法及装置
CN105099739B (zh) 一种基于插件式软件部署方法、装置及应用服务器
WO2020248375A1 (zh) 数据库间数据同步方法、系统、计算机设备及存储介质
CN110650164B (zh) 文件的上传方法、装置、终端以及计算机存储介质
WO2016082696A1 (zh) 一种ua识别方法、装置
CN104954482A (zh) 管理配置的系统及方法
CN111737227B (zh) 数据修改方法及系统
CN112416964A (zh) 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质
CN106339273A (zh) 一种应用程序修复方法、终端及服务器
CN103986738A (zh) 一种多终端间的同步方法及系统
CN111552712A (zh) 报表数据提取方法、装置及计算机设备
CN112953983A (zh) Sftp传输方法及装置
CN113312064A (zh) 物理机的安装配置方法、装置以及计算机可读介质
WO2018000918A1 (zh) 一种基于网络的机顶盒测试方法及系统
WO2022033079A1 (zh) 一种皮基站配置方法、装置、存储介质和电子装置
CN104104701A (zh) 在线服务的配置更新的方法和系统
CN104618474B (zh) 设备信息保存方法以及装置
CN104134176A (zh) 一种数据同步系统及方法
CN104915291B (zh) 终端重启验证方法和系统
CN103607715B (zh) 一种频点配置的方法及装置
US20180183904A1 (en) Raman spectroscopic device and communication method thereof
CN105282204B (zh) Tr069协议方法处理方法、装置及网关设备
CN112181674B (zh) 一种基于RabbitMQ的分布式事务处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 503, 5th floor, C1 Building, 88 Dongchang Road, Suzhou Industrial Park, Jiangsu Province, 215000

Patentee after: Qicha Technology Co.,Ltd.

Address before: Moon Bay Road Suzhou City, Jiangsu province 215000 Industrial Park No. 10 Hui Lake building A-901

Patentee before: SUZHOU LANGDONG NET TEC Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 8 Huizhi Street, Suzhou Industrial Park, Suzhou Area, China (Jiangsu) Pilot Free Trade Zone, Suzhou City, Jiangsu Province, 215000

Patentee after: Qichacha Technology Co.,Ltd.

Address before: Room 503, 5th floor, C1 Building, 88 Dongchang Road, Suzhou Industrial Park, Jiangsu Province, 215000

Patentee before: Qicha Technology Co.,Ltd.

CP03 Change of name, title or address