CN101834873B - 一种商业数据库的数据传输方法 - Google Patents
一种商业数据库的数据传输方法 Download PDFInfo
- Publication number
- CN101834873B CN101834873B CN2010101776384A CN201010177638A CN101834873B CN 101834873 B CN101834873 B CN 101834873B CN 2010101776384 A CN2010101776384 A CN 2010101776384A CN 201010177638 A CN201010177638 A CN 201010177638A CN 101834873 B CN101834873 B CN 101834873B
- Authority
- CN
- China
- Prior art keywords
- data
- recipient
- file server
- intermediate file
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013500 data storage Methods 0.000 claims abstract description 4
- 230000009467 reduction Effects 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 10
- 239000003999 initiator Substances 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract 1
- 230000007246 mechanism Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007774 longterm Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种商业数据库的数据传输方法，其包括至少一个中间文件服务器，数据存储方之间通过中间文件服务器交换数据，其数据传输步骤如下：接收方的数据统计信息包含数据发送申请文件中，将数据发送申请文件发送到中间文件服务器；发送方接收到中间文件服务器转发的数据发送申请文件后，分析申请文件中的数据统计信息，对比双方数据是否一致，发送方将数据包发送到FTP；接收方从FTP上获取新的数据包并写入数据库。本发明解决了由于用户的非常规操作、软件本身缺陷，或其它不可预知的原因导致传输双方数据不一致。由于传输双方的其中一方数据库损坏、或是恢复到了当前时间点之前的备份，从而导致传输操作不能继续进行。
Description
技术领域
本发明涉及书记商业软件中数据库的数据传输方法，尤其涉及一种应用于零售行业大型连锁商业软件中的数据传输方法，以解决目标企业(如各种类型的连锁专卖店、连锁超市)中多个处于不同地域的机构之间的数据交换、数据灾难恢复问题。
背景技术
零售行业内的连锁企业通常存在有一个总部和多个门店，它们各自拥有自己应用软件和数据库，这些门店相对于总部来讲通常都是跨地域的，如何在总部和门店，以及各个门店之间准确及时的交换数据，这是这类型企业的现实需求，目前常见的数据交换方式有以下几种(在下文中，连锁总部和门店统称为机构)：
1.数据库直连
1)描述
多个机构之间的数据库系统直接互联进行数据交换。
2)缺点
2.中间件技术
1)描述
在多个机构之间布署专用应用服务器，在该服务器上运行专用的中间件程序，该程序同时连接各机构的数据库进行数据交换。
2)缺点
3.邮件交换
1)描述
在多个机构之间布署专用的邮件服务器，各机构通过发送和接受固定格式的电子邮件来交换数据。
2)缺点
不能解决数据库损坏的问题。
4.文件交换
1)描述
在多个机构之外布署专用的文件服务器，各机构通过在服务器上存储固定格式的文件来交换数据。
2)缺点
发明内容
本发明要解决的技术问题是提供一种商业数据库的数据传输方法，本发明是基于数据交换方式(文件交换)，通过在第三方中间文件服务器上以串行方式交换固定格式的数据文件，并定时校验、自动恢复传输双方不一致的数据。本发明重点解决同类软件的传输技术中以下常见且难以解决的问题：
1)由于用户的非常规操作、软件本身缺陷，或其它不可预知的原因导致传输双方数据不一致。
2)由于传输双方的其中一方数据库损坏、或是恢复到了当前时间点之前的备份，从而导致传输操作不能继续进行。
本发明为解决上述技术问题所采用的技术方案为：
一种商业数据库的数据传输方法，其包括至少两个数据存储方，至少一个中间文件服务器，所述数据存储方之间通过所述中间文件服务器交换数据，其中一个数据存储方需要进行数据更新时，发起方为接收方，另一方的数据存储方为数据发送方，其数据传输步骤如下：
A.接收方检查己方数据库是否处于还原或初始化状态，
接收方处于还原或初始化状态时，启动自动恢复流程，
接收方不处于还原或初始化状态时，继续以下步骤；
B.接收方生成己方最近一段约定时间内的数据统计信息；
C.接收方生成数据发送申请文件，所述数据统计信息包含在所述数据发送申请文件中，再将数据发送申请文件发送到中间文件服务器；
D.发送方接收到中间文件服务器转发的数据发送申请文件后，分析申请文件中的数据统计信息，对比双方数据是否一致，
双方数据一致时，启动数据重发流程，
双方数据不一致时，继续以下步骤；
E.发送方在本次发送的数据包内容中加入己方变更过的数据，生成新的数据包；
F.发送方将新生成的数据包发送到FTP；
G.接收方从FTP上获取新的数据包；
H.接收方分解新数据包的内容并写入数据库。
所述中间文件服务器为FTP服务器。
所述中间文件服务器与数据存储方之间的数据传输以串行方式进行。
所述A步骤的自动恢复流程包括以下步骤：
A1.接收方生成向数据传输目的方的还原数据发送申请文件，发送到中间文件服务器；
A2.目的方接收到中间文件服务器转发的数据发送申请文件后，生成数据还原数据包，将生成的数据包发送到FTP；
A3.接收方从FTP上获取数据包并写入数据库；
所述数据传输目的方为总部数据库服务器。
所述数据的起源方为POS终端。
附图说明
图1为现有技术商业数据库的数据传输方法组成示意图；
图2为现有技术商业数据库的数据传输方法流程图。
具体实施方式
下面根据附图和实施例对本发明作进一步详细说明：
如图所示，一种商业数据库的数据传输方法，其包括至少两个数据存储方，至少一个中间文件服务器，所述数据存储方之间通过所述中间文件服务器交换数据，其中一个数据存储方需要进行数据更新时，发起方为接收方，另一方的数据存储方为数据发送方，其数据传输步骤如下：
A.接收方检查己方数据库是否处于还原或初始化状态，
接收方处于还原或初始化状态时，启动自动恢复流程，
接收方不处于还原或初始化状态时，继续以下步骤；
B.接收方生成己方最近一段约定时间内的数据统计信息；
C.接收方生成数据发送申请文件，所述数据统计信息包含在所述数据发送申请文件中，再将数据发送申请文件发送到中间文件服务器；
D.发送方接收到中间文件服务器转发的数据发送申请文件后，分析申请文件中的数据统计信息，对比双方数据是否一致，
双方数据一致时，启动数据重发流程，
双方数据不一致时，继续以下步骤；
E.发送方在本次发送的数据包内容中加入己方变更过的数据，生成新的数据包；
F.发送方将新生成的数据包发送到FTP；
G.接收方从FTP上获取新的数据包；
H.接收方分解新数据包的内容并写入数据库。
所述中间文件服务器为FTP服务器。
所述中间文件服务器与数据存储方之间的数据传输以串行方式进行。
所述A步骤的自动恢复流程包括以下步骤：
A1.接收方生成向数据传输目的方的还原数据发送申请文件，发送到中间文件服务器；
A2.目的方接收到中间文件服务器转发的数据发送申请文件后，生成数据还原数据包，将生成的数据包发送到FTP；
A3.接收方从FTP上获取数据包并写入数据库；
A4.接收方生成向数据的起源方的还原数据发送申请文件，发送到中间文件服务器；
A5.起源方接收到中间文件服务器转发的数据发送申请文件后，生成数据还原数据包，将生成的数据包发送到FTP；
A6.接收方从FTP上获取数据包并写入数据库。
所述数据传输目的方为总部数据库服务器。
所述数据的起源方为POS终端。
本实施例有以下特征：
1.接收方由请求驱动，发出方按串行发送：
数据交换过程中，发出方的驱动模式可有两种：主动和被动。主动发送是指数据发出方主动将己方变更过的数据发送给接收方，接收方被动接受；被动发送是指由接收方发出申请，发出方根据该申请发送己方变更过的数据。
发出方发送数据包的行为模式也有两种：并行和串行。并行是指不必等当前的数据包处理完毕，即开始并行处理下一个数据包；串行是指必须等待当前数据包处理完毕，才开始处理下一个数据包。
经过在众多客户现场的长期实践，本发明最终确认：由数据接收方主动向发出方提出申请，发出方根据接收方的请求以串行方式发送数据包的模式是最优模式。因为在被动串行模式下，发出方的动作是由接收方的请求驱动，且当接收方未处理完上一个数据包时，发出方不会发出新的数据包。这样当接收方发生错误时，这些错误能附加在申请信息中及时有效传达到发出方，并由发出方进行适当的处理(例如重新发送上个数据包等修正性行为)；而在主动或并行模式下，发出方无法及时获知接收方发生的错误，这样发出的数据有可能是无效的，因为接收方可能还处于上一次的错误中无法恢复。
2.可自动校验并修正传输双方数据的一致性：
在数据交换过程中，总会存在一些不可预知的原因(例如病毒修改了电脑的系统时间导致业务单据的时间不对，或是人为修改了数据库中的数据等)，导致传输双方的数据不一致，这些数据不一致的情况比较隐蔽，且当它们被发现时通常已导致了更严重的后果。
经过在众多客户现场的长期实践，本发明最终确认：相对于查找和修补这些不可预知的漏洞而言，由传输程序主动对传输双方的数据进行校对并自动修正差异是更有效的解决方案。因为理论上软件不可能模拟和遍历用户的所有行为，也就是说传输双方的数据差异必定会产生，本发明通过强化数据接收方发出的申请，在申请信息中附带己方在最近一个时间段内(该时间段的范围可以根据具体用户动态调整)的数据统计信息，发出方在收到申请后根据该统计信息对比双方数据的一致性，如果发现有差异则通过重新发送这些有差异的数据来修正对方的错误。
3.数据库灾难自动恢复：
对零售行业连锁商业软件系统而言，用来保存客户业务数据的数据库系统是一个非常重要的部分，而且基于零售业的行业特性，连锁体系内的各个门店在成本和技术上基本不具备实时备份的能力，也不具备确保数据库不损坏的能力，因此客户的数据库一旦出现损坏，通常只有两种选择：重新初始化数据库，或是恢复到以前的某个备份然后由软件供应商人工提供数据恢复的服务。前者通常意味着不可恢复的数据丢失，而后者则意味着连锁企业和软件供应商需要支付额外的维护成本(人工恢复数据是一项耗时且难以确保正确性的操作)。
经过在众多客户现场的长期实践，本发明最终确认：由传输程序本身自动判断客户数据库的状态，一旦确认客户的数据库经过还原或初始化操作，则启动数据恢复流程，该项操作的原理是向数据传输的目的方(对于连锁门店来讲，目的方通常是指连锁总部)和销售数据的起源方(通常是指POS终端)发出申请，前者会根据申请将以前接收到数据反向发送回来，后者会再次将所有销售数据重新上传到数据库中，传输程序结合这两方的数据，并根据软件系统本身的业务逻辑进行处理，最终达到完全恢复客户数据的目标。
本领域技术人员不脱离本发明的实质和精神，可以有多种变形方案实现本发明，以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效结构变化，均包含于本发明的权利范围之内。
Claims (6)
1.一种商业数据库的数据传输方法，其特征在于：其包括至少两个数据存储方，至少一个中间文件服务器，所述数据存储方之间通过所述中间文件服务器交换数据，其中一个数据存储方需要进行数据更新时，发起方为接收方，另一方的数据存储方为数据发送方，其数据传输步骤如下：
A.接收方检查己方数据库是否处于还原或初始化状态，
接收方处于还原或初始化状态时，启动自动恢复流程，
接收方不处于还原或初始化状态时，继续以下步骤；
B.接收方生成己方最近一段约定时间内的数据统计信息；
C.接收方生成数据发送申请文件，所述数据统计信息包含在所述数据发送申请文件中，再将数据发送申请文件发送到中间文件服务器；
D.发送方接收到中间文件服务器转发的数据发送申请文件后，分析申请文件中的数据统计信息，对比双方数据是否一致，
双方数据一致时，直接跳到下一步继续后面的步骤；
双方数据不一致时，发送方会分析申请文件中的统计信息，并与本地数据库中的数据进行对比，将两者之间的差异数据放到新的数据包中，作为本次将要发送的数据内容之一，同时继续以下步骤；
E.发送方在本次发送的数据包内容中加入己方变更过的数据，生成新的数据包；
F.发送方将新生成的数据包发送到FTP；
G.接收方从FTP上获取新的数据包；
H.接收方分解新数据包的内容并写入数据库。
2.根据权利要求1所述的一种商业数据库的数据传输方法，其特征在于：所述中间文件服务器为FTP服务器。
3.根据权利要求1所述的一种商业数据库的数据传输方法，其特征在于：所述中间文件服务器与数据存储方之间的数据传输以串行方式进行。
4.根据权利要求1所述的一种商业数据库的数据传输方法，其特征在于：所述A步骤的自动恢复流程包括以下步骤：
A1.接收方生成向数据传输目的方的还原数据发送申请文件，发送到中间文件服务器；
A2.目的方接收到中间文件服务器转发的数据发送申请文件后，生成数据还原数据包，将生成的数据包发送到FTP；
A3.接收方从FTP上获取数据包并写入数据库。
5.根据权利要求4所述的一种商业数据库的数据传输方法，其特征在于：所述数据传输目的方为总部数据库服务器。
6.根据权利要求4所述的一种商业数据库的数据传输方法，其特征在于：所述数据的起源方为POS终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101776384A CN101834873B (zh) | 2010-05-19 | 2010-05-19 | 一种商业数据库的数据传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101776384A CN101834873B (zh) | 2010-05-19 | 2010-05-19 | 一种商业数据库的数据传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101834873A CN101834873A (zh) | 2010-09-15 |
| CN101834873B true CN101834873B (zh) | 2012-12-05 |
Family
ID=42718802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010101776384A Active CN101834873B (zh) | 2010-05-19 | 2010-05-19 | 一种商业数据库的数据传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101834873B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528677A (zh) * | 2016-10-31 | 2017-03-22 | 努比亚技术有限公司 | 一种数据对比的方法和装置 |
| CN106484908A (zh) * | 2016-10-31 | 2017-03-08 | 成都轻松益家电子商务有限公司 | 一种基于中间件的多系统数据一致性比对方法 |
| CN108063958B (zh) * | 2016-11-08 | 2020-10-13 | 北京国双科技有限公司 | 网络电视用户数据修正方法、装置、存储介质及处理器 |
| CN108063977B (zh) * | 2016-11-08 | 2020-08-21 | 北京国双科技有限公司 | 用户数统计方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1694427A (zh) * | 2005-04-11 | 2005-11-09 | 深圳市天路软件开发有限公司 | 异地数据同步的传输方法及系统 |
| CN101094026A (zh) * | 2006-06-19 | 2007-12-26 | 上海全成通信技术有限公司 | 大量数据同步、传输和入数据库的方法 |
| US7672442B2 (en) * | 2003-04-28 | 2010-03-02 | Industrial Technology Research Institute | Signal relay device, method thereof, and system using the same |
-
2010
- 2010-05-19 CN CN2010101776384A patent/CN101834873B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7672442B2 (en) * | 2003-04-28 | 2010-03-02 | Industrial Technology Research Institute | Signal relay device, method thereof, and system using the same |
| CN1694427A (zh) * | 2005-04-11 | 2005-11-09 | 深圳市天路软件开发有限公司 | 异地数据同步的传输方法及系统 |
| CN101094026A (zh) * | 2006-06-19 | 2007-12-26 | 上海全成通信技术有限公司 | 大量数据同步、传输和入数据库的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101834873A (zh) | 2010-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110351363A (zh) | 数据备份方法、设备及计算机可读存储介质 | |
| US20180097779A1 (en) | Method and system for providing a transaction forwarding service in blockchain implementations | |
| CN113347164B (zh) | 基于区块链的分布式共识系统及方法、设备、存储介质 | |
| CN105824842A (zh) | 分布式事务处理方法及其系统 | |
| CN110741573B (zh) | 在区块链网络中选择性使用网络编码传播交易的方法和系统 | |
| CN109859043B (zh) | 一种交易清算方法和交易清算系统 | |
| EP3235187B1 (en) | An interface, method and computer program product for controlling the transfer of electronic messages | |
| CN102404383B (zh) | 在分布式基础设施中执行本地计算的方法 | |
| CN101834873B (zh) | 一种商业数据库的数据传输方法 | |
| EP4220514A1 (en) | A device, system, method and computer program product for processing electronic transaction requests | |
| EP4220513A1 (en) | A device, system, method and computer program product for processing electronic transaction requests | |
| CN106033562A (zh) | 事务处理方法、事务参与节点及事务协调节点 | |
| US11086902B2 (en) | Method and system for implementing a redo repeater | |
| CN110096511B (zh) | 基于私有链的数据一致性验证方法、装置、设备及介质 | |
| US11914482B2 (en) | System and method for robust, efficient, adaptive streaming replication application protocol with dancing recovery for high-volume distributed live subscriber datasets | |
| US20100332371A1 (en) | 24 hours global low latency computerized exchange system | |
| CN110033280B (zh) | 支付防抖方法及装置 | |
| CN111813868B (zh) | 数据同步方法及装置 | |
| US11250420B2 (en) | Transferring data using a smart reconciliation system | |
| CN110910106B (zh) | 一种现金管理报文处理方法及系统 | |
| WO2016074572A1 (zh) | 业务数据处理方法、装置及系统 | |
| CN110942300B (zh) | 转账证明提交方法、设备和存储介质 | |
| CN103136614A (zh) | 处理故障报修信息的方法和系统 | |
| CN114820179A (zh) | 区块链验签方法及相关设备 | |
| CN111382062B (zh) | 房产交易系统和外部机构业务系统的联调测试方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP03 | Change of name, title or address |
Address after: 202 A building two, 1057 building, No. 518000 Nanhai Road, Shenzhen, Guangdong, Nanshan District, China Patentee after: Shenzhen Kemai Technology Co.,Ltd. Address before: 518000, Shenzhen City, Guangdong province Shennan Road No. 6017, sunshine city, 1, 25 Patentee before: SHENZHEN KEMAI TECH. Co.,Ltd. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A data transmission method for commercial database Effective date of registration: 20220601 Granted publication date: 20121205 Pledgee: Shenzhen hi tech investment small loan Co.,Ltd. Pledgor: Shenzhen Kemai Technology Co.,Ltd. Registration number: Y2022980006914 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230901 Granted publication date: 20121205 Pledgee: Shenzhen hi tech investment small loan Co.,Ltd. Pledgor: Shenzhen Kemai Technology Co.,Ltd. Registration number: Y2022980006914 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A data transmission method for commercial databases Granted publication date: 20121205 Pledgee: Shenzhen hi tech investment small loan Co.,Ltd. Pledgor: Shenzhen Kemai Technology Co.,Ltd. Registration number: Y2024980026287 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |