CN116166477A - 一种不同品牌对象存储双活网关系统及方法 - Google Patents
一种不同品牌对象存储双活网关系统及方法 Download PDFInfo
- Publication number
- CN116166477A CN116166477A CN202211515728.9A CN202211515728A CN116166477A CN 116166477 A CN116166477 A CN 116166477A CN 202211515728 A CN202211515728 A CN 202211515728A CN 116166477 A CN116166477 A CN 116166477A
- Authority
- CN
- China
- Prior art keywords
- storage
- main storage
- redis
- minio
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009977 dual effect Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000011084 recovery Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 238000013500 data storage Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及数据存储技术领域，特别涉及一种不同品牌对象存储双活网关系统及方法；包括业务系统，业务系统通过S3协议与对象存储双活网关连接，所述对象存储双活网关分别与主存储和备存储实现数据通讯；对象存储双活网关包括Nginx、minIO、控制程序、rabbitMQ、postgresql以及Redis；其中：Nginx用于将数据写入到minIO中；minIO用于将信息发送给rabbitMQ；RabbitMQ用于推送消息给控制程序；所述控制程序用于判断主存储和备存储是否存活。本发明通过业务系统写入主存储的数据，可以自动同步到备存储中；主存储宕机以后，可以自动切换到备存储使用；主存储恢复正常后，可以通过手动方式，将主存储异常期间的增量数据，从备存储同步到主存储；完成备到主的同步后，可以切换回主存储使用。
Description
技术领域
本发明涉及数据存储技术领域，特别涉及一种不同品牌对象存储双活网关系统及方法。
背景技术
现有的网关架构图如图1所示，包括业务系统通过S3协议与路由器(router)数据通讯，然后通过路由器(router)将数据信息存储在主存储中，当主存储失效或者损坏时，自动转存入到备存储中，这种网关存储容易造成信息的丢失，若主存储损坏无法恢复时，其存储在主存储中的数据就无法恢复，其容易造成不可挽回的损失。
发明内容
本发明要解决的技术问题是提供一种不同品牌对象存储双活网关系统及方法
为了解决上述技术问题，本发明的技术方案为：
一种不同品牌对象存储双活网关系统，包括业务系统，
所述业务系统通过S3协议与对象存储双活网关连接，所述对象存储双活网关分别与主存储和备存储实现数据通讯；
所述业务系统用于将数据写入请求发送到Nginx；
所述对象存储双活网关包括Nginx、minIO、控制程序、rabbitMQ、postgresql以及Redis；其中：
所述Nginx用于将数据写入到minIO中；
所述minIO用于将信息发送给rabbitMQ；
所述RabbitMQ用于推送消息给控制程序；
所述控制程序用于判断主存储和备存储是否存活，若主存储存活，则将minIO中的文件同步到主存储；
若主存储没有存活，则将文件地址记录到postgresql中的主存储异常表，并在redis中标记主存储失效，并发送短信通知管理人员；
若备存储存活，则将minIO中的文件同步到备存储；
若备存储没有存活，则将文件地址记录到postgresql中备存储异常表，并在redis中标记备存储失效，并发送短信通知管理人员。
一种不同品牌对象存储双活网关系统的方法，包括以下步骤：
步骤一、写入PUT请求；
步骤二、读GET请求；
步骤三、数据恢复。
所述写入PUT请求具体包括：
1)业务系统数据写入请求发送到Nginx；
2)Nginx将数据写入minIO；
3)Nginx写入地址到redis，以文件地址为KEY；
4)minIO发送消息给rabbitMQ，消息内容为文件地址及操作类型；
5)RabbitMQ推送消息给控制程序；
6)控制程序判断主存储是否存活，若主存储存活，则将minIO中的文件同步到主存储；
若主存储没有存活，则将文件地址记录到postgresql中的主存储异常表，并在redis中标记主存储失效，并发送短信通知管理人员；
7)控制程序判断备存储是否存活，若备存储存活，则将minIO中的文件同步到备存储；
若备存储没有存活，则将文件地址记录到postgresql中备存储异常表，并在redis中标记备存储失效，并发送短信通知管理人员；
控制程序完成同步后，根据文件地址，删除redis中的地址信息。
所述读GET请求包括：
1)业务系统获取文件的GET请求发送到Nginx；
2)Nginx从redis中读取地址信息；
若redis中有地址信息，Nginx则将GET请求路由到minIO；
若Redis中没有地址信息，nginx则判断主存储是否存活，若存活，则将GET请求路由到主存储，若没有存活，则将GET请求路由到备存储。
所述数据恢复包括：
1)通过控制程序查看postgresql中的主存储异常表，若有数据，则判断数据对应的文件地址是否存在于redis中，若在redis中，说明备存储也失效了，从minIO中同步文件到主存储和备存储中，同步成功后删除redis地址，主存储异常表对应记录、备存储异常表对应记录；
若redis中没有数据，则从备存储中将文件同步到主存储，删除主存储异常表对应数据；
2)通过控制程序查看postgresql中的备存储异常表，若有数据，则判断数据对应的文件地址是否存在于redis中，若在redis中，说则明主存储也失效了，从minIO中同步文件到主存储和备存储中，同步成功后删除redis地址，主存储异常表对应记录、备存储异常表对应记录；
若redis中没有数据，则从主存储中将文件同步到备存储，删除备存储异常表对应数据。
与现有技术相比，本发明的有益效果为：
第一、本发明通过业务系统写入主存储的数据，可以自动同步到备存储中；
第二、主存储宕机以后，可以自动切换到备存储使用；
第三、主存储恢复正常后，可以通过手动方式，将主存储异常期间的增量数据，从备存储同步到主存储；
第四、完成备到主的同步后，可以切换回主存储使用。
附图说明
图1为现有技术中的网关架构图；
图2为本发明的系统架构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
如图2所示，本发明的一种不同品牌对象存储双活网关系统，包括业务系统，
业务系统通过S3协议与对象存储双活网关连接，所述对象存储双活网关分别与主存储和备存储实现数据通讯；
业务系统用于将数据写入请求发送到Nginx；
对象存储双活网关包括Nginx、minIO、控制程序、rabbitMQ、postgresql以及Redis；其中：Nginx用于将数据写入到minIO中；minIO用于将信息发送给rabbitMQ；RabbitMQ用于推送消息给控制程序；控制程序用于判断主存储和备存储是否存活，若主存储存活，则将minIO中的文件同步到主存储；
若主存储没有存活，则将文件地址记录到postgresql中的主存储异常表，并在redis中标记主存储失效，并发送短信通知管理人员；
若备存储存活，则将minIO中的文件同步到备存储；
若备存储没有存活，则将文件地址记录到postgresql中备存储异常表，并在redis中标记备存储失效，并发送短信通知管理人员。
具体的，本发明的系统方法如下：包括：步骤一、写入PUT请求：
1)业务系统数据写入请求发送到nginx；
2)Nginx将数据写入minIO；
3)Nginx写入地址到redis，以文件地址为KEY；
4)minIO发送消息给rabbitMQ，消息内容为文件地址及操作类型(PUT)
5)RabbitMQ推送消息给控制程序；
6)控制程序判断主存储是否存活，如果主存储存活，将minIO中的文件同步到主存储；
如果主存储没有存活，将文件地址记录到postgresql中的主存储异常表，并在redis中标记主存储失效，并发送短信通知管理人员；
7)控制程序判断备存储是否存活，如果备存储存活，将minIO中的文件同步到备存储；
如果备存储没有存活，将文件地址记录到postgresql中备存储异常表，并在redis中标记备存储失效，并发送短信通知管理人员；
8)控制程序完成同步后，根据文件地址，删除redis中的地址信息；
步骤二、读GET请求：
1)业务系统获取文件的GET请求发送到Nginx；
2)Nginx从redis中读取地址信息；
如果redis中有地址信息，Nginx将GET请求路由到minIO；
如果Redis中没有地址信息，Nginx判断主是否存活，如果存活，将GET请求路由到主存储，如果没有存活，将GET请求路由到备存储；
步骤三、数据恢复：
1)通过控制程序查看postgresql中的主存储异常表，如果有数据，判断数据对应的文件地址是否存在于redis中，如果在redis中，说明备存储也失效了，从minIO中同步文件到主存储和备存储中，同步成功后删除redis地址，主存储异常表对应记录、备存储异常表对应记录；
如果redis中没有数据，从备存储中将文件同步到主存储，删除主存储异常表对应数据；
2)通过控制程序查看postgresql中的备存储异常表，如果有数据，判断数据对应的文件地址是否存在于redis中，如果在redis中，说明主存储也失效了，从minIO中同步文件到主存储和备存储中，同步成功后删除redis地址，主存储异常表对应记录、备存储异常表对应记录；
如果redis中没有数据，从主存储中将文件同步到备存储，删除备存储异常表对应数据。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
Claims (5)
1.一种不同品牌对象存储双活网关系统，包括业务系统，其特征在于：
所述业务系统通过S3协议与对象存储双活网关连接，所述对象存储双活网关分别与主存储和备存储实现数据通讯；
所述业务系统用于将数据写入请求发送到Nginx；
所述对象存储双活网关包括Nginx、minIO、控制程序、rabbitMQ、postgresql以及Redis；其中：
所述Nginx用于将数据写入到minIO中；
所述minIO用于将信息发送给rabbitMQ；
所述RabbitMQ用于推送消息给控制程序；
所述控制程序用于判断主存储和备存储是否存活，若主存储存活，则将minIO中的文件同步到主存储；
若主存储没有存活，则将文件地址记录到postgresql中的主存储异常表，并在redis中标记主存储失效，并发送短信通知管理人员；
若备存储存活，则将minIO中的文件同步到备存储；
若备存储没有存活，则将文件地址记录到postgresql中备存储异常表，并在redis中标记备存储失效，并发送短信通知管理人员。
2.一种不同品牌对象存储双活网关系统的方法，其特征在于，包括以下步骤：
步骤一、写入PUT请求；
步骤二、读GET请求；
步骤三、数据恢复。
3.根据权利要求1所述的不同品牌对象存储双活网关系统的方法，其特征在于：所述写入PUT请求具体包括：
1)业务系统数据写入请求发送到Nginx；
2)Nginx将数据写入minIO；
3)Nginx写入地址到redis，以文件地址为KEY；
4)minIO发送消息给rabbitMQ，消息内容为文件地址及操作类型；
5)RabbitMQ推送消息给控制程序；
6)控制程序判断主存储是否存活，若主存储存活，则将minIO中的文件同步到主存储；
若主存储没有存活，则将文件地址记录到postgresql中的主存储异常表，并在redis中标记主存储失效，并发送短信通知管理人员；
7)控制程序判断备存储是否存活，若备存储存活，则将minIO中的文件同步到备存储；
若备存储没有存活，则将文件地址记录到postgresql中备存储异常表，并在redis中标记备存储失效，并发送短信通知管理人员；
控制程序完成同步后，根据文件地址，删除redis中的地址信息。
4.根据权利要求1所述的不同品牌对象存储双活网关系统的方法，其特征在于：所述读GET请求包括：
1)业务系统获取文件的GET请求发送到Nginx；
2)Nginx从redis中读取地址信息；
若redis中有地址信息，Nginx则将GET请求路由到minIO；
若Redis中没有地址信息，nginx则判断主存储是否存活，若存活，则将GET请求路由到主存储，若没有存活，则将GET请求路由到备存储。
5.根据权利要求1所述的不同品牌对象存储双活网关系统的方法，其特征在于：所述数据恢复包括：
1)通过控制程序查看postgresql中的主存储异常表，若有数据，则判断数据对应的文件地址是否存在于redis中，若在redis中，说明备存储也失效了，从minIO中同步文件到主存储和备存储中，同步成功后删除redis地址，主存储异常表对应记录、备存储异常表对应记录；
若redis中没有数据，则从备存储中将文件同步到主存储，删除主存储异常表对应数据；
2)通过控制程序查看postgresql中的备存储异常表，若有数据，则判断数据对应的文件地址是否存在于redis中，若在redis中，说则明主存储也失效了，从minIO中同步文件到主存储和备存储中，同步成功后删除redis地址，主存储异常表对应记录、备存储异常表对应记录；
若redis中没有数据，则从主存储中将文件同步到备存储，删除备存储异常表对应数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515728.9A CN116166477B (zh) | 2022-11-30 | 2022-11-30 | 一种不同品牌对象存储双活网关系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515728.9A CN116166477B (zh) | 2022-11-30 | 2022-11-30 | 一种不同品牌对象存储双活网关系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116166477A true CN116166477A (zh) | 2023-05-26 |
| CN116166477B CN116166477B (zh) | 2024-02-13 |
Family
ID=86419010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211515728.9A Active CN116166477B (zh) | 2022-11-30 | 2022-11-30 | 一种不同品牌对象存储双活网关系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116166477B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956194A (zh) * | 2016-06-18 | 2016-09-21 | 张阳康 | 一种电能网络数据的处理方法 |
| CN107071072A (zh) * | 2017-06-19 | 2017-08-18 | 山东浪潮云服务信息科技有限公司 | 一种处理对象存储高并发请求的分布式网关方法 |
| CN107710164A (zh) * | 2015-03-31 | 2018-02-16 | 伊姆西知识产权控股有限责任公司 | 作为一种服务的灾难恢复 |
| CN109254873A (zh) * | 2018-08-15 | 2019-01-22 | 华为技术有限公司 | 数据备份方法、相关装置及系统 |
| US10365982B1 (en) * | 2017-03-10 | 2019-07-30 | Pure Storage, Inc. | Establishing a synchronous replication relationship between two or more storage systems |
| WO2020186081A1 (en) * | 2019-03-12 | 2020-09-17 | Intel Corporation | Computational data storage systems |
| WO2021093735A1 (zh) * | 2019-11-15 | 2021-05-20 | 北京金山云网络技术有限公司 | 分布式存储系统的数据同步方法、装置、设备及存储介质 |
| US20230205637A1 (en) * | 2020-04-14 | 2023-06-29 | Aishu Technology Corp. | Backup Recovery System and Method for Modern Application |
-
2022
- 2022-11-30 CN CN202211515728.9A patent/CN116166477B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107710164A (zh) * | 2015-03-31 | 2018-02-16 | 伊姆西知识产权控股有限责任公司 | 作为一种服务的灾难恢复 |
| CN105956194A (zh) * | 2016-06-18 | 2016-09-21 | 张阳康 | 一种电能网络数据的处理方法 |
| US10365982B1 (en) * | 2017-03-10 | 2019-07-30 | Pure Storage, Inc. | Establishing a synchronous replication relationship between two or more storage systems |
| CN107071072A (zh) * | 2017-06-19 | 2017-08-18 | 山东浪潮云服务信息科技有限公司 | 一种处理对象存储高并发请求的分布式网关方法 |
| CN109254873A (zh) * | 2018-08-15 | 2019-01-22 | 华为技术有限公司 | 数据备份方法、相关装置及系统 |
| WO2020186081A1 (en) * | 2019-03-12 | 2020-09-17 | Intel Corporation | Computational data storage systems |
| WO2021093735A1 (zh) * | 2019-11-15 | 2021-05-20 | 北京金山云网络技术有限公司 | 分布式存储系统的数据同步方法、装置、设备及存储介质 |
| US20230205637A1 (en) * | 2020-04-14 | 2023-06-29 | Aishu Technology Corp. | Backup Recovery System and Method for Modern Application |
Non-Patent Citations (1)
| Title |
|---|
| 王景艳;刘洋;: "基于铁路主数据中心云化基础设施的灾备关键技术研究", 铁路计算机应用, no. 07 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116166477B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6701455B1 (en) | Remote copy system with data integrity | |
| CN101809558B (zh) | 远程异步数据复制系统和方法 | |
| EP1012716B1 (en) | System and method for maintaining a logically consistent backup using minimal data transfer | |
| EP0672985B1 (en) | Asynchronous remote data duplexing | |
| JP4124348B2 (ja) | 記憶システム | |
| CN102033786B (zh) | 一种对象存储系统中修复副本一致性的方法 | |
| US20010049749A1 (en) | Method and system for storing duplicate data | |
| WO2001077835A1 (fr) | Systeme de sauvegarde/recuperation de donnees | |
| CN103780638A (zh) | 数据同步方法及系统 | |
| CN101714169A (zh) | 一种在多节点上传递数据方法及系统 | |
| WO2021120880A1 (zh) | 数据复制处理方法、装置、容灾系统、设备及存储介质 | |
| WO2021208400A1 (zh) | 现代应用的备份恢复系统及方法 | |
| CN103544081B (zh) | 双元数据服务器的管理方法和装置 | |
| CN116166477B (zh) | 一种不同品牌对象存储双活网关系统及方法 | |
| CN101489074A (zh) | 一种协同录制系统及方法 | |
| JP2006318491A (ja) | 記憶システム | |
| CN103137159B (zh) | 数字硬盘录像机中录像直刻容错的方法及其装置 | |
| WO2022033269A1 (zh) | 数据处理的方法、设备及系统 | |
| JP4249240B2 (ja) | 記憶システム | |
| JP4452494B2 (ja) | 複数リモートストレージでのリモートコピー停止後のデータ同期化方式 | |
| CN113127435A (zh) | 一种主备系统文件智能同步方法及系统 | |
| KR100608394B1 (ko) | 데이터베이스 동기화 인터페이스 장치 및 방법 | |
| JP4721057B2 (ja) | データ管理システム，データ管理方法及びデータ管理用プログラム | |
| JP4921013B2 (ja) | メールサーバのバックアップシステム、メールサーバのバックアップ方法、プログラム及び記録媒体 | |
| JP2004272884A5 (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231227 Address after: No. 2, 18th Floor, Building 3, Group C, International City, No. 99 Qingshan Road, Nanming District, Guiyang City, Guizhou Province, 550002 Applicant after: Guo Dongsheng Applicant after: Yang Ting Address before: Room B202, Auxiliary Building, Standard Workshop, Jinyang Science and Technology Industrial Park, National High-tech Zone, Guiyang National High-tech Industrial Development Zone, Guiyang City, Guizhou Province, 550016 Applicant before: Guizhou Huayi Liansheng Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240308 Address after: Room B202, Standard Factory Auxiliary Building, Jinyang Science and Technology Industrial Park, Guiyang National High tech Industrial Development Zone, Guiyang City, Guizhou Province, 550002 Patentee after: Guizhou Huayi Liansheng Technology Co.,Ltd. Country or region after: China Address before: No. 2, 18th Floor, Building 3, Group C, International City, No. 99 Qingshan Road, Nanming District, Guiyang City, Guizhou Province, 550002 Patentee before: Guo Dongsheng Country or region before: China Patentee before: Yang Ting |