CN101639811B

CN101639811B - 数据写入的方法、控制器和多控制器系统

Info

Publication number: CN101639811B
Application number: CN200910091494A
Authority: CN
Inventors: 叶向荣
Original assignee: Huawei Symantec Technologies Co Ltd
Current assignee: Chengdu Huawei Technology Co Ltd
Priority date: 2009-08-21
Filing date: 2009-08-21
Publication date: 2012-09-05
Anticipated expiration: 2029-08-21
Also published as: CN101639811A

Abstract

本发明实施例公开一种数据写入的方法、控制器和多控制器系统，所述数据写入的方法包括：根据所述第一控制器中待写入数据的大小和目的地址在第二控制器被控制的内存中分配相应的内存空间，所述内存由所述第一控制器通过快速外设部件互连交换非透明桥所控制；将所述待写入数据写入分配的内存空间。本发明实施例减少了双控制器系统或多控制器系统中的控制器在数据传输过程中的交互次数，提高了双控制器系统或多控制器系统中链路的利用率。

Description

数据写入的方法、控制器和多控制器系统

技术领域

本发明实施例涉及通信技术领域，特别涉及一种数据写入的方法、控制器和多控制器系统。

背景技术

通常，双控制器系统应用于对数据完整性及服务连续性要求较高的网络中，例如：存储器局域网络(Storage Area Network；以下简称：SAN)。双控制器系统的作用是，当其中一个控制器作为主控制器提供服务时，使用另一个控制器作为该主控制器的镜像备份控制器。当主控制器发生故障而无法继续提供服务时，该镜像备份控制器接管主控制器的业务，保障数据的完整性和服务的连续性。

因此，需要在双控制器系统的两个控制器之间建立内部通信链路，例如：以太网络卡对连等，用以传输数据，保持两个控制器的同步状态。

现有的双控制器系统采用直接数据存取(Direct Memory Access；以下简称：DMA)引擎，将一个控制器的数据传输到另一个控制器的内存。具体地，以包括控制器1和控制器2的双控制器系统为例，在控制器1向控制器2的内存写数据时，控制器1需要先发送通知写请求，通知控制器2准备内存，控制器2准备好内存以后，向控制器1发送内存准备完毕通知，然后控制器1才能将数据写入控制器2的内存。控制器1从控制器2的内存中读数据的过程与上述写数据的过程类似，也需要经过多次交互才能完成。

现有的多控制器系统，例如包括三个或三个以上控制器的系统，采用DMA引擎在多个控制器的内存之间的数据传输过程与双控制器系统中的数据传输过程类似，同样需要经过多次交互才能完成。

在实现本发明的过程中，发明人发现，现有的双控制器系统或多控制器系统中，控制器内存之间的数据传输过程需要进行多次交互才能完成，链路的利用率较低。

发明内容

本发明实施例提供一种数据写入的方法、控制器和多控制器系统，以减少双控制器系统或多控制器系统中的控制器在数据传输过程中的交互次数，提高链路的利用率。

本发明实施例提供一种数据写入的方法，包括：

根据所述第一控制器中待写入数据的大小和目的地址在第二控制器被控制的内存中分配相应的内存空间，所述内存由所述第一控制器通过快速外设部件互连交换非透明桥所控制；

将所述待写入数据写入分配的内存空间。

本发明实施例还提供一种第一控制器，包括：

控制模块，用于通过快速外设部件互连交换非透明桥控制第二控制器的一段内存；

分配模块，用于根据所述第一控制器中待写入数据的大小和目的地址在所述第二控制器被所述控制模块控制的内存中分配相应的内存空间；

写入模块，用于将所述待写入数据写入所述分配模块分配的内存空间。

本发明实施例还提供一种多控制器系统，包括至少两个上述第一控制器。

通过本发明实施例，第一控制器通过快速外设部件互连交换非透明桥控制第二控制器的一段内存，根据待写入数据的大小和目的地址在第二控制器被控制的内存中分配相应的内存空间，并将待写入数据写入分配的内存空间。从而减少了双控制器系统或多控制器系统中的控制器在数据传输过程中的交互次数，提高了双控制器系统或多控制器系统中链路的利用率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的数据写入的方法的流程图；

图2为本发明实施例二提供的内存物理地址映射的示意图；

图3为本发明实施例三提供的将待写入数据写入分配的内存空间的方法的流程图；

图4为本发明实施例四提供的第一控制器的结构示意图；

图5为本发明实施例五提供的第一控制器的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的数据写入的方法的流程图，如图1所示，包括：

步骤101，第一控制器根据第一控制器中待写入数据的大小和目的地址在第二控制器被控制的内存中分配相应的内存空间，上述内存由第一控制器通过快速外设部件互连交换非透明(Peripheral Component Interconnect Expressswitch Non-Transparency；以下简称：PCIE switch NT)桥所控制。其中，第二控制器为至少两个控制器中除第一控制器之外的一个控制器。

具体地，本实施例的双控制器系统或多控制器系统中，第一控制器可以通过PCIE switch NT桥，直接访问第二控制器的内存，在上电过程中，第一控制器应用内部通信协议与第二控制器进行交互，控制第二控制器的一段内存，使第二控制器本身不再控制这段内存。第一控制器根据第二控制器中待被控制的内存的物理地址，在第一控制器的内存中配置该第一控制器的第一PCIE switch NT桥的物理地址；并在该第一PCIE switch NT桥中，保存第二控制器中待被控制的内存的物理地址与第一PCIE switch NT桥的物理地址的映射关系；例如：可以在第一PCIE switch NT桥的一个寄存器中，保存第二控制器中待被控制的内存的物理地址与第一PCIE switch NT桥的物理地址的映射关系。

具体地，以包括控制器1和控制器2的双控制器系统为例，假定控制器2将0～0X200000000这段内存交由控制器1控制，假设控制器1自身的内存占用的物理地址为0～0X200000000，则控制器1可以在该控制器1的内存中，将该控制器1的第一PCIE switch NT桥的物理地址配置为0X200000000～0X400000000，并在第一PCIE switch NT桥中保存该第一PCIEswitch NT桥的物理地址与控制器2中待被控制的内存的物理地址的映射关系，即保存控制器1中0X200000000～0X400000000这段内存的物理地址与控制器2中0～0X200000000这段内存的物理地址的映射关系。图2为本发明实施例二提供的内存物理地址映射的示意图，如图2所示，控制器1自身的内存占用的物理地址为0～0X200000000，第一PCIE switch NT桥占用的物理地址为0X200000000～0X400000000，即控制器2被控制的内存在控制器1的内存中映射的物理地址为0X200000000～0X400000000。

对于具有三个或三个以上控制器的多控制器系统中，例如：在包括控制1、控制器2和控制器3的多控制器系统中，控制器1可以通过两个PCIE switchNT桥分别对控制器2和控制器3的一段内存进行控制，控制器2和控制器3被控制的内存的物理地址的映射方式与上述双控制器系统中的映射方式相同，在此不再赘述。

步骤102，第一控制器将待写入数据写入分配的内存空间。

图3为本发明实施例三提供的将待写入数据写入分配的内存空间的方法的流程图，如图3所示，该实施例包括：

步骤301，第一控制器根据待写入数据的大小和目的地址，在第一PCIEswitch NT桥的物理地址范围内分配相应的一段物理地址，作为待写入数据的内存空间，并将待写入数据写入该内存空间。

本实施例中，当第一控制器需要将数据写入第二控制器的内存时，第一控制器根据待写入数据的大小和目的地址，在第一PCIE switch NT桥的物理地址范围内分配相应的一段物理地址，作为待写入数据的内存空间，并将待写入数据写入上述内存空间。

步骤302，第一控制器的第一PCIE switch NT桥将上述数据传输至第二控制器的第二PCIE switch NT桥，由第二PCIE switch NT桥将上述数据存储至第二控制器被控制的内存。

举例来说，在上述包含控制1和控制器2的双控制器系统中，控制器1需要将数据写入控制器2的内存时，假设待写入数据的大小为1G，控制器1可以将待写入数据的目的地址设为第一PCIE switch NT桥占用的物理地址范围内的一段物理地址，例如：0X240000000～0X280000000；则控制器1将第一PCIE switch NT桥占用的物理地址中0X240000000～0X280000000这段内存空间分配给待写入数据，然后将待写入数据写入0X240000000～0X280000000这段内存空间。写入完毕之后，第一PCIE switch NT桥可以根据保存的第一PCIE switch NT桥的物理地址与控制器2被控制的内存的物理地址的映射关系，进行地址转换，将写入第一PCIE switch NT桥的数据的目的地址转换为控制器2被控制的内存的物理地址，例如：0X40000000～0X80000000；然后第一PCIE switch NT桥将上述数据传输至控制器2的第二PCIE switch NT桥，第二PCIE switch NT桥可以根据第一PCIE switch NT桥传输的数据的目的地址，通过控制器2的北桥(Root)将上述数据存储至控制器2被控制的内存中。

在待写入数据写入完毕之后，第一控制器可以通知第二控制器对写入的数据进行处理；或者，第二控制器也可以在确定待写入数据写入完毕之后，对写入的数据进行处理，例如：第二控制器可以主动向第一控制器发送查询消息，根据第一控制器的肯定响应确定待写入数据写入完毕，然后再对写入的数据进行处理。其中，第二控制器对写入的数据进行处理具体可以为：第二控制器读取写入的数据，将该写入的数据存储到硬盘或发送至网络中。

上述实施例中，第一控制器通过PCIE switch NT桥控制第二控制器的一段内存，然后根据待写入数据的大小和目的地址在第二控制器被控制的内存中分配相应的内存空间，并将待写入数据写入分配的内存空间，从而减少了双控制器系统或多控制器系统中的控制器在数据传输过程中的交互次数，提高了双控制器系统或多控制器系统中链路的利用率。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图4为本发明实施例四提供的第一控制器的结构示意图，该实施例的第一控制器可以实现如本发明图1所示实施例的流程图。如图4所示，该第一控制器包括：控制模块41、分配模块42和写入模块43。

控制模块41，用于通过PCIE switch NT桥控制第二控制器的一段内存；

具体地，该第二控制器为至少两个控制器中除第一控制器之外的一个控制器；本实施例的双控制器系统或多控制器系统中，控制模块41可以通过PCIE switch NT桥，直接访问第二控制器的内存，在上电过程中，控制模块41应用内部通信协议与第二控制器进行交互，控制第二控制器的一段内存，第二控制器不再控制这段内存。

分配模块42，用于根据第一控制器中待写入数据的大小和目的地址在第二控制器被控制模块41控制的内存中分配相应的内存空间；

由写入模块43，用于将待写入数据写入分配模块42分配的内存空间。

上述控制器中，控制模块41通过PCIE switch NT桥控制第二控制器的一段内存，分配模块42根据待写入数据的大小和目的地址在第二控制器被控制模块41控制的内存中分配相应的内存空间，再由写入模块43将待写入数据写入分配模块42分配的内存空间。从而实现了减少双控制器系统或多控制器系统中的控制器在数据传输过程中的交互次数，提高了双控制器系统或多控制器系统中链路的利用率。

图5为本发明实施例五提供的第一控制器的结构示意图，该实施例的第一控制器可以实现如本发明图1所示实施例的流程图。如图5所示，该控制器包括：控制模块51、分配模块52、写入模块53和通知模块54。

控制模块51，用于通过PCIE switch NT桥控制第二控制器的一段内存；

具体地，该第二控制器为至少两个控制器中除第一控制器之外的一个控制器；本实施例的双控制器系统或多控制器系统中，控制模块51可以通过PCIE switch NT桥，直接访问第二控制器的内存，在上电过程中，控制模块51应用内部通信协议与第二控制器进行交互，控制第二控制器的一段内存，第二控制器不再控制这段内存。

分配模块52，用于根据待写入数据的大小和目的地址在第二控制器被控制模块51控制的内存中分配相应的内存空间；

写入模块53，用于将待写入数据写入分配模块52分配的内存空间。

通知模块54，用于在写入模块53将待写入数据写入完毕之后，通知第二控制器对写入的数据进行处理。其中，第二控制器对写入的数据进行处理具体可以为：第二控制器读取写入的数据，将该写入的数据存储到硬盘或发送至网络中。

其中，控制模块51可以包括：配置子模块511和保存子模块512。具体地，配置子模块511可以根据第二控制器中待被控制的内存的物理地址，在第一控制器的内存中配置第一控制器的第一PCIE switch NT桥的物理地址；保存子模块512可以在第一PCIE switch NT桥中，保存第二控制器中待被控制的内存的物理地址与配置子模块511配置的第一PCIE switch NT桥的物理地址的映射关系。

本实施例中，分配模块52具体用于根据第一控制器中待写入数据的大小和目的地址，在第一PCIE switch NT桥的物理地址范围内分配相应的一段物理地址，作为待写入数据的内存空间；

写入模块53可以包括：数据写入子模块531和传输子模块532。数据写入子模块531可以将待写入数据写入分配模块52分配的内存空间；传输子模块532可以通过第一PCIE switch NT桥将数据写入子模块531写入的数据传输至第二控制器的第二PCIE switch NT桥，由第二PCIE switch NT桥将上述数据存储至第二控制器被控制的内存。

具体地，以包括控制器1和控制器2的双控制器系统为例，假定控制器2将0～0X200000000这段内存交由控制器1控制，假设控制器1自身的内存占用的物理地址为0～0X200000000，则配置子模块511可以在该控制器1的内存中，将该控制器1的第一PCIE switch NT桥的物理地址配置为0X200000000～0X400000000，并由保存子模块512在第一PCIE switch NT桥中保存该第一PCIE switch NT桥的物理地址与控制器2中待被控制的内存的物理地址的映射关系，即保存控制器1中0X200000000～0X400000000这段内存的物理地址与控制器2中0～0X200000000这段内存的物理地址的映射关系。如图2所示，控制器1自身的内存占用的物理地址为0～0X200000000，第一PCIE switch NT桥占用的物理地址为0X200000000～0X400000000，即控制器2被控制的内存在控制器1的内存中映射的物理地址为0X200000000～0X400000000。

当控制器1需要将数据写入控制器2的内存时，假设待写入数据的长度为1G，控制器1可以将待写入数据的目的地址设为第一PCIE switch NT桥占用的物理地址中的一段物理地址，例如：0X240000000～0X280000000，则分配模块52将第一PCIE switch NT桥占用的物理地址范围内的0X240000000～0X280000000这段内存空间分配给待写入数据，然后数据写入子模块531将待写入数据写入分配模块52分配的0X240000000～0X280000000这段内存空间。数据写入子模块531写入完毕之后，传输子模块532可以通过第一PCIE switch NT桥将数据写入子模块531写入的数据传输至控制器2的第二PCIE switch NT桥；具体地，第一PCIE switch NT桥可以根据保存的第一PCIE switch NT桥的物理地址与控制器2被控制的内存的物理地址的映射关系，进行地址转换，将写入第一PCIE switch NT桥的数据的目的地址转换为控制器2被控制的内存的物理地址，例如：0X40000000～0X80000000；然后第一PCIE switch NT桥将上述数据传输至控制器2的第二PCIE switchNT桥，第二PCIE switch NT桥可以根据第一PCIE switch NT桥传输的数据的目的地址，通过控制器2的北桥将上述数据存储至控制器2被控制的内存中。

上述控制器中，控制模块51通过PCIE switch NT桥控制第二控制器的一段内存，然后分配模块52根据待写入数据的大小在第二控制器被控制模块51控制的内存中分配相应的内存空间，再由写入模块53将待写入数据写入分配模块52分配的内存空间，从而实现了减少双控制器系统或多控制器系统中的控制器在数据传输过程中的交互次数，提高了双控制器系统或多控制器系统中链路的利用率。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims

1.一种数据写入的方法，其特征在于，包括：

第一控制器根据所述第一控制器中待写入数据的大小和目的地址，在所述第一控制器的第一快速外设部件互连交换非透明桥的物理地址范围内分配相应的一段物理地址，作为所述待写入数据的内存空间；

将所述待写入数据写入分配的内存空间，所述第一控制器的第一快速外设部件互连交换非透明桥将所述数据传输至第二控制器的第二快速外设部件互连交换非透明桥，由所述第二快速外设部件互连交换非透明桥将所述数据存储至所述第二控制器的被所述第一控制器控制的内存，所述第一控制器通过所述第一快速外设部件互连交换非透明桥控制所述第二控制器的所述内存；

其中，所述第一控制器通过所述第一快速外设部件互连交换非透明桥控制所述第二控制器的所述内存包括：

第一控制器根据所述第二控制器中待被所述第一控制器控制的内存的物理地址，在所述第一控制器的内存中配置所述第一控制器的第一快速外设部件互连交换非透明桥的物理地址；

在所述第一快速外设部件互连交换非透明桥中，保存所述第二控制器中待被所述第一控制器控制的内存的物理地址与所述第一快速外设部件互连交换非透明桥的物理地址的映射关系。

2.根据权利要求1所述的方法，其特征在于，还包括：

第一控制器通知所述第二控制器对写入的数据进行处理。

3.一种第一控制器，其特征在于，包括：

控制模块，用于通过所述第一控制器的第一快速外设部件互连交换非透明桥控制第二控制器的一段内存；

分配模块，用于根据所述第一控制器中待写入数据的大小和目的地址，在所述第一快速外设部件互连交换非透明桥的物理地址范围内分配相应的一段物理地址，作为所述待写入数据的内存空间；

写入模块，包括：数据写入子模块和传输子模块；

所述数据写入子模块，用于将所述待写入数据写入所述分配模块分配的内存空间；

所述传输子模块，用于通过所述第一快速外设部件互连交换非透明桥将所述数据写入子模块写入的数据传输至所述第二控制器的第二快速外设部件互连交换非透明桥，由所述第二快速外设部件互连交换非透明桥将所述数据存储至所述第二控制器的被所述控制模块控制的内存；

其中，所述控制模块包括：配置子模块和保存子模块；

所述配置子模块，用于根据所述第二控制器中待被所述控制模块控制的内存的物理地址，在所述第一控制器的内存中配置所述第一控制器的第一快速外设部件互连交换非透明桥的物理地址；

所述保存子模块，用于在所述第一快速外设部件互连交换非透明桥中，保存所述第二控制器中待被所述控制模块控制的内存的物理地址与所述配置子模块配置的第一快速外设部件互连交换非透明桥的物理地址的映射关系。

4.根据权利要求3所述的第一控制器，其特征在于，还包括：

通知模块，用于通知所述第二控制器对写入的数据进行处理。