CN109246202A - 一种利用光纤交换机实现存储双活的方法与系统 - Google Patents
一种利用光纤交换机实现存储双活的方法与系统 Download PDFInfo
- Publication number
- CN109246202A CN109246202A CN201810972273.0A CN201810972273A CN109246202A CN 109246202 A CN109246202 A CN 109246202A CN 201810972273 A CN201810972273 A CN 201810972273A CN 109246202 A CN109246202 A CN 109246202A
- Authority
- CN
- China
- Prior art keywords
- optical fiber
- storage
- fiber switch
- data
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0005—Switch and router aspects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种利用光纤交换机实现存储双活的方法与系统，包括：S1、前端服务器将待存储数据写入到光纤交换机缓存中；S2、将光纤交换机缓存数据写入主存储和备份存储的存储缓存；S3、主存储以及备份存储将缓存数据写入磁盘设备。解决了现有存储双活架构的远程复制会降低写IO的IOPS的问题，实现存储在写IO操作能够同时向两台存储进行，提高存储IOPS。另外，在某台存储设备出现故障时，智能光纤交换机负责记录IO中断情况，等存储故障解决后可以通过另外一台存储设备进行数据同步，以保证两台存储设备的数据一致性。
Description
技术领域
本发明涉及存储控制技术领域，特别是一种利用光纤交换机实现存储双活的方法与系统。
背景技术
随着信息化时代的到来，数据呈现出井喷式增长，本地磁盘空间已经远远不够存储大量数据，另外数据的安全性要求越来越高，在时代发展和推动下多存储之间的数据容灾和备份的发展势在必行。对于一个大数据平台来说，都是采用虚拟化技术整合多台服务器的CPU资源、内存资源后端接统一存储。这样即可保证业务系统虚拟机CPU、内存资源的冗余性，而部署于后端的存储当中磁盘资源仍然存在单点故障情况。随着信息化时代的推进，业务连续性的重要性也得到越来越多的关注，而且人们的关注点也不再仅仅集中于前端主机的高可用，而是开始意识到作为数据服务基石——存储层业务连续性的重要性。如果虚拟化平台后端存储出现故障宕机，整个虚拟化平台所有业务都将出现宕机，甚至出现数据丢失。为了解决存储设备的单点故障问题，我们就需要对存储设备进行数据备份。
目前存储数据备份可以通过以下几种方式：
1、通过备份软件将存储数据备份到其他磁盘或者磁带机设备，此种备份方式即可保证绝大部分数据的安全性，一旦出现问题可以保证大部分数据的安全性，此种备份方式的RPO(恢复数据完整性的指标)、RTO(反映业务恢复及时性的指标)都相对较大。
2、通过存储之间的远程复制功能将数据进行备份，此备份可采用同步复制或者异步复制两种方式进行。同步复制Synchronous Replication可以保证两台存储设备数据的实时同步，每一个IO必须写入到两台存储设备之后才能进行下一个IO写入。再出现存储故障时，通过存储切换方式在最短时间内恢复业务，此种备份方式理论上面RPO为零、RTO应该在五分钟之内，另外就是存储之间的异步复制，异步复制Asynchronous Replication在写IO的过程当中首先写入到主存储设备，设置固定时间间隔之后复制到备存储，异步复制不能保证数据的实时同步，异步复制在出现主存储故障的情况时可以通过存储切换进行业务恢复，但是此异步复制理论上RPO不为零，RTO应该也在5分钟之内。
3、另外一种存储容灾方式就是存储双活，存储双活是在存储同步复制的基础上进行，当一台存储设备出现问题是可由另外一台存储设备接管业务，理论上RPO和RTO都为零从而保证业务的实时性。
存储容灾方案除了应用在大型云数据中心之外还应用核心数据库业务等等，这些重要应用数据的安全性和实时性都是至关重要的，通过简单的数据备份方式进行数据保护已经不能满足客户需求，必要情况下需要采用存储双活容灾方案进行数据备份。
目前，实现存储双活的方式是基于存储层面的同步复制方式，此同步方式必须在两台存储都进行写入完成之后才能进行下一个IO操作。现有技术对存储进行IO读写的过程当中必须先通过主存储对被存储进行IO同步写入，在备存储没有写入IO反馈之前主存储不能进行下一个IO读写，从而保证两台存储的数据一致性，但是一次IO写时间相对于单台存储来说都是加倍。对于读IO来说需要从缓存或者磁盘中读数据，只需从单台存储进行读操作，相对单台存储来说读IO时间相当。因此目前的存储双活架构对存储的写IO有影响，将会大大降低写IOPS(Input/Output Operations Per Second，每秒进行读写IO操作的次数)。
发明内容
本发明的目的是提供一种利用光纤交换机实现存储双活的方法与系统，旨在解决现有存储双活架构的远程复制会降低写IO的IOPS的问题，实现存储在写IO操作能够同时向两台存储进行，提高存储IOPS。
为达到上述技术目的，本发明提供了一种利用光纤交换机实现存储双活的方法，包括以下步骤：
S1、前端服务器将待存储数据写入到光纤交换机缓存中；
S2、将光纤交换机缓存数据写入主存储和备份存储的存储缓存；
S3、主存储以及备份存储将缓存数据写入磁盘设备。
优选地，所述步骤S1具体操作为：
S101、前端服务器对存储发出写请求；
S102、光纤交换机反馈数据是否可以写入；
S103、前端服务器写入数据到光纤交换机缓存中；
S104、光纤交换机反馈给前端服务器缓存写入完成。
优选地，所述步骤S2具体操作为：
S201、光纤交换机同时对主存储和备份存储发出写请求；
S202、主存储和备份存储分别反馈数据是否可以写入；
S203、光纤交换机缓存数据分别写入主存储和备份存储中的缓存；
S204、主存储和备份存储分别反馈给光纤交换机缓存写入完成。
优选地，所述方法还包括：
所述光纤交换机对写操作进行仲裁和监控，具体为：
当监测到某台存储设备故障或者IO读写中断时，停止对该存储设备的写操作，等存储恢复正常后，从其他存储设备中进行数据同步。
优选地，所述光纤交换机为高缓存光纤交换机。
本发明还提供了一种利用光纤交换机实现存储双活的系统，所述系统包括：
交换机缓存写入模块，用于前端服务器将待存储数据写入到光纤交换机缓存中；
存储缓存写入模块，用于将光纤交换机缓存数据写入主存储和备份存储的存储缓存；
磁盘写入模块，用于主存储以及备份存储将缓存数据写入磁盘设备。
优选地，所述交换机缓存写入模块包括：
前端写请求单元，用于前端服务器对存储发出写请求；
交换机反馈单元，用于光纤交换机反馈数据是否可以写入；
前端数据写入单元，用于前端服务器写入数据到光纤交换机缓存中；
交换机反馈单元，用于光纤交换机反馈给前端服务器缓存写入完成。
优选地，所述存储缓存写入模块包括：
交换机写请求单元，用于光纤交换机同时对主存储和备份存储发出写请求；
存储反馈单元，用于主存储和备份存储分别反馈数据是否可以写入；
交换机数据写入单元，用于光纤交换机缓存数据分别写入主存储和备份存储中的缓存；
存储反馈单元，用于主存储和备份存储分别反馈给光纤交换机缓存写入完成。
优选地，所述系统还包括：
监控模块，用于光纤交换机对写操作进行仲裁和监控。
优选地，所述光纤交换机为高缓存光纤交换机。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
与现有技术相比，本发明通过使用高缓存智能光纤交换机，此光纤交换机负责对两台存储的IO分发，并且通过算法确认存储IO读写情况，确保两台存储读写IO的完整性。实现存储在写IO操作能够同时向两台存储进行，写完成的反馈操作由第三方光交进行监控和控制，而读IO操作可以根据某段时间的IO访问量进行统计评估从而选择最优路径进行读操作，从而优化写IO时间并且保证两台存储同时都处于工作状态，解决了现有存储双活架构的远程复制会降低写IO的IOPS的问题，实现存储在写IO操作能够同时向两台存储进行，提高存储IOPS。另外，在某台存储设备出现故障时，智能光纤交换机负责记录IO中断情况，等存储故障解决后可以通过另外一台存储设备进行数据同步，以保证两台存储设备的数据一致性。
通过第三方设备高缓存智能光纤交换机设备的仲裁和监控实现对两台存储设备的数据同步，从此淡化两个存储的主备之分，大大缩短写IO时间，同时两台低端存储之间即可进行双活架构容灾方案的部属。
附图说明
图1为本发明实施例中所提供的一种利用光纤交换机实现存储双活的方法流程图；
图2为本发明实施例中所提供的一种利用光纤交换机实现存储双活的系统结构框图。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
下面结合附图对本发明实施例所提供的一种利用光纤交换机实现存储双活的方法与系统进行详细说明。
如图1所示，本发明实施例公开了一种利用光纤交换机实现存储双活的方法，包括以下步骤：
S1、前端服务器将待存储数据写入到光纤交换机缓存中；
S2、将光纤交换机缓存数据写入主存储和备份存储的存储缓存；
S3、主存储以及备份存储将缓存数据写入磁盘设备。
本发明实施例使用高缓存智能光纤交换机，该光纤交换机负责对两台存储，即主存储和备份存储的IO进行分发，并且确认存储IO的读写情况，以确保两台存储读写IO的完整性。如果某台存储出现故障，智能光纤交换机负责记录IO中断情况，等存储故障解决后可以通过另外一台存储设备进行数据同步，以保证两台存储设备的数据一致性。
首先，前端服务器将待存储数据写入到光纤交换机中，其具体操作如下：
S101、前端服务器对存储发出写请求；
S102、光纤交换机反馈数据是否可以写入；
S103、前端服务器写入数据到光纤交换机缓存中；
S104、光纤交换机反馈给前端服务器缓存写入完成。
不同于以往将待存储数据直接存入存储设备中，而是将数据先存入光纤交换机缓存中，利用光纤交换机的路由作用，以实现数据的分别存储。
然后，将光纤交换机缓存数据写入主存储和备份存储的存储缓存，其具体操作如下：
S201、光纤交换机同时对主存储和备份存储发出写请求；
S202、主存储和备份存储分别反馈数据是否可以写入；
S203、光纤交换机缓存数据分别写入主存储和备份存储中的缓存；
S204、主存储和备份存储分别反馈给光纤交换机缓存写入完成。
通过上述操作，将光纤交换机中的缓存数据分别存入主存储和备份存储的缓存中。
最后，主存储以及备份存储将缓存数据写入磁盘设备。
在写操作过程中，光纤交换机还作为仲裁机和监控设备，对写操作进行仲裁和监控。例如监控到某台存储设备故障或者IO读写中断不能正常进行IO读写时，可停止对该存储的写操作，等故障存储恢复正常后从另外的存储设备中及时进行数据同步。在写操作过程中，前端服务器对光线交换机发出写请求到光纤交换机反馈给服务器写操作完成为一个IO的写过程，且即时可进行下个IO写操作。光纤交换机负责将缓存数据刷入存储磁盘中。
而对于读操作，根据某段时间的IO访问量进行统计评估，从而选择最优路径，即IO访问量最少的存储设备，进行读操作。
本发明实施例通过使用高缓存智能光纤交换机，此光纤交换机负责对两台存储的IO分发，并且通过算法确认存储IO读写情况，确保两台存储读写IO的完整性。实现存储在写IO操作能够同时向两台存储进行，写完成的反馈操作由第三方光交进行监控和控制，而读IO操作可以根据某段时间的IO访问量进行统计评估从而选择最优路径进行读操作，从而优化写IO时间并且保证两台存储同时都处于工作状态，解决了现有存储双活架构的远程复制会降低写IO的IOPS的问题，实现存储在写IO操作能够同时向两台存储进行，提高存储IOPS。另外，在某台存储设备出现故障时，智能光纤交换机负责记录IO中断情况，等存储故障解决后可以通过另外一台存储设备进行数据同步，以保证两台存储设备的数据一致性。
通过第三方设备高缓存智能光纤交换机设备的仲裁和监控实现对两台存储设备的数据同步，从此淡化两个存储的主备之分，大大缩短写IO时间，同时两台低端存储之间即可进行双活架构容灾方案的部属。
如图2所示，本发明实施例还公开了一种利用光纤交换机实现存储双活的系统，所述系统包括：
交换机缓存写入模块，用于前端服务器将待存储数据写入到光纤交换机缓存中；所述光纤交换机为高缓存光纤交换机；
存储缓存写入模块，用于将光纤交换机缓存数据写入主存储和备份存储的存储缓存；
磁盘写入模块，用于主存储以及备份存储将缓存数据写入磁盘设备。
所述交换机缓存写入模块包括：
前端写请求单元，用于前端服务器对存储发出写请求；
交换机反馈单元，用于光纤交换机反馈数据是否可以写入；
前端数据写入单元，用于前端服务器写入数据到光纤交换机缓存中；
交换机反馈单元，用于光纤交换机反馈给前端服务器缓存写入完成。
所述存储缓存写入模块包括：
交换机写请求单元，用于光纤交换机同时对主存储和备份存储发出写请求；
存储反馈单元，用于主存储和备份存储分别反馈数据是否可以写入；
交换机数据写入单元，用于光纤交换机缓存数据分别写入主存储和备份存储中的缓存；
存储反馈单元，用于主存储和备份存储分别反馈给光纤交换机缓存写入完成。
所述系统还包括：
监控模块，用于光纤交换机对写操作进行仲裁和监控。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种利用光纤交换机实现存储双活的方法，其特征在于，包括以下步骤：
S1、前端服务器将待存储数据写入到光纤交换机缓存中；
S2、将光纤交换机缓存数据写入主存储和备份存储的存储缓存；
S3、主存储以及备份存储将缓存数据写入磁盘设备。
2.根据权利要求1所述的一种利用光纤交换机实现存储双活的方法，其特征在于，所述步骤S1具体操作为：
S101、前端服务器对存储发出写请求；
S102、光纤交换机反馈数据是否可以写入；
S103、前端服务器写入数据到光纤交换机缓存中；
S104、光纤交换机反馈给前端服务器缓存写入完成。
3.根据权利要求1所述的一种利用光纤交换机实现存储双活的方法，其特征在于，所述步骤S2具体操作为：
S201、光纤交换机同时对主存储和备份存储发出写请求；
S202、主存储和备份存储分别反馈数据是否可以写入；
S203、光纤交换机缓存数据分别写入主存储和备份存储中的缓存；
S204、主存储和备份存储分别反馈给光纤交换机缓存写入完成。
4.根据权利要求1-3任意一项所述的一种利用光纤交换机实现存储双活的方法，其特征在于，所述方法还包括：
所述光纤交换机对写操作进行仲裁和监控，具体为：
当监测到某台存储设备故障或者I O读写中断时，停止对该存储设备的写操作，等存储恢复正常后，从其他存储设备中进行数据同步。
5.根据权利要求1-3任意一项所述的一种利用光纤交换机实现存储双活的方法，其特征在于，所述光纤交换机为高缓存光纤交换机。
6.一种利用光纤交换机实现存储双活的系统，其特征在于，所述系统包括：
交换机缓存写入模块，用于前端服务器将待存储数据写入到光纤交换机缓存中；
存储缓存写入模块，用于将光纤交换机缓存数据写入主存储和备份存储的存储缓存；
磁盘写入模块，用于主存储以及备份存储将缓存数据写入磁盘设备。
7.根据权利要求6所述的一种利用光纤交换机实现存储双活的系统，其特征在于，所述交换机缓存写入模块包括：
前端写请求单元，用于前端服务器对存储发出写请求；
交换机反馈单元，用于光纤交换机反馈数据是否可以写入；
前端数据写入单元，用于前端服务器写入数据到光纤交换机缓存中；
交换机完成反馈单元，用于光纤交换机反馈给前端服务器缓存写入完成。
8.根据权利要求6所述的一种利用光纤交换机实现存储双活的系统，其特征在于，所述存储缓存写入模块包括：
交换机写请求单元，用于光纤交换机同时对主存储和备份存储发出写请求；
存储反馈单元，用于主存储和备份存储分别反馈数据是否可以写入；
交换机数据写入单元，用于光纤交换机缓存数据分别写入主存储和备份存储中的缓存；
存储完成反馈单元，用于主存储和备份存储分别反馈给光纤交换机缓存写入完成。
9.根据权利要求6-8任意一项所述的一种利用光纤交换机实现存储双活的系统，其特征在于，所述系统还包括：
监控模块，用于光纤交换机对写操作进行仲裁和监控。
10.根据权利要求6-8任意一项所述的一种利用光纤交换机实现存储双活的系统，其特征在于，所述光纤交换机为高缓存光纤交换机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810972273.0A CN109246202A (zh) | 2018-08-21 | 2018-08-21 | 一种利用光纤交换机实现存储双活的方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810972273.0A CN109246202A (zh) | 2018-08-21 | 2018-08-21 | 一种利用光纤交换机实现存储双活的方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109246202A true CN109246202A (zh) | 2019-01-18 |
Family
ID=65069049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810972273.0A Pending CN109246202A (zh) | 2018-08-21 | 2018-08-21 | 一种利用光纤交换机实现存储双活的方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109246202A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110011859A (zh) * | 2019-04-15 | 2019-07-12 | 深信服科技股份有限公司 | 一种虚拟机控制方法及集群系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101562761A (zh) * | 2009-05-18 | 2009-10-21 | 杭州华三通信技术有限公司 | 一种光网络中的备份存储方法和系统 |
| CN106502822A (zh) * | 2015-09-08 | 2017-03-15 | 中兴通讯股份有限公司 | 数据读写方法及装置 |
| CN207166536U (zh) * | 2017-09-06 | 2018-03-30 | 浙江联泰信息系统有限公司 | 双活数据中心装置 |
-
2018
- 2018-08-21 CN CN201810972273.0A patent/CN109246202A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101562761A (zh) * | 2009-05-18 | 2009-10-21 | 杭州华三通信技术有限公司 | 一种光网络中的备份存储方法和系统 |
| CN106502822A (zh) * | 2015-09-08 | 2017-03-15 | 中兴通讯股份有限公司 | 数据读写方法及装置 |
| CN107153514A (zh) * | 2015-09-08 | 2017-09-12 | 中兴通讯股份有限公司 | 数据读写方法及装置 |
| CN207166536U (zh) * | 2017-09-06 | 2018-03-30 | 浙江联泰信息系统有限公司 | 双活数据中心装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110011859A (zh) * | 2019-04-15 | 2019-07-12 | 深信服科技股份有限公司 | 一种虚拟机控制方法及集群系统 |
| CN110011859B (zh) * | 2019-04-15 | 2022-04-29 | 深信服科技股份有限公司 | 一种虚拟机控制方法及集群系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102024044B (zh) | 分布式文件系统 | |
| TWI514249B (zh) | 遠端非同步資料卷複製的方法及執行該方法的儲存系統 | |
| CN100489796C (zh) | 用来实现共用磁盘阵列管理功能的方法和系统 | |
| US6658542B2 (en) | Method and system for caching data in a storage system | |
| CN103761058B (zh) | Raid1和raid4混合结构网络存储系统及方法 | |
| CN101755257B (zh) | 管理在不同的网络上将写入从首要存储器拷贝到次要存储器 | |
| CN101291347B (zh) | 一种网络存储系统 | |
| US20090031097A1 (en) | Creating Backups in Storage Systems | |
| US8650471B2 (en) | System and method for look-aside parity based raid | |
| US20140208012A1 (en) | Virtual disk replication using log files | |
| US7882316B2 (en) | Shared data mirroring apparatus, method, and system | |
| US20070271428A1 (en) | Method and apparatus of continuous data backup and access using virtual machines | |
| US20030212869A1 (en) | Method and apparatus for mirroring data stored in a mass storage system | |
| CN102110154B (zh) | 一种集群文件系统中文件冗余存储方法 | |
| JPH07239799A (ja) | 遠隔データ・シャドーイングを提供する方法および遠隔データ二重化システム | |
| CN105302667B (zh) | 基于集群架构的高可靠性数据备份与恢复方法 | |
| JPH08305500A (ja) | 記憶制御装置、それを含むデータ記憶システムおよび二重ペア抑止方法 | |
| CN104994168A (zh) | 分布式存储方法及分布式存储系统 | |
| US20110145532A1 (en) | Storage system and processing efficiency improving method of storage system | |
| CN106331166A (zh) | 一种存储资源的访问方法及装置 | |
| CN102135862B (zh) | 一种磁盘存储系统及其数据访问方法 | |
| CN103186348A (zh) | 存储系统及其数据读写方法 | |
| JP2006268420A (ja) | ディスクアレイ装置、ストレージシステムおよび制御方法 | |
| CN109246202A (zh) | 一种利用光纤交换机实现存储双活的方法与系统 | |
| CN104572374B (zh) | 存储的处理方法、装置和存储设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190118 |
|
| RJ01 | Rejection of invention patent application after publication |