CN101184039B - 一种以太网负载均衡的方法 - Google Patents

一种以太网负载均衡的方法 Download PDF

Info

Publication number
CN101184039B
CN101184039B CN2007101785220A CN200710178522A CN101184039B CN 101184039 B CN101184039 B CN 101184039B CN 2007101785220 A CN2007101785220 A CN 2007101785220A CN 200710178522 A CN200710178522 A CN 200710178522A CN 101184039 B CN101184039 B CN 101184039B
Authority
CN
China
Prior art keywords
equalizer
mac
arp
request
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101785220A
Other languages
English (en)
Other versions
CN101184039A (zh
Inventor
韦滔
吴开宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN2007101785220A priority Critical patent/CN101184039B/zh
Publication of CN101184039A publication Critical patent/CN101184039A/zh
Application granted granted Critical
Publication of CN101184039B publication Critical patent/CN101184039B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种网络自适应的以太网负载均衡方法,通过均衡算法选择主机间通讯的响应转发均衡器,在响应转发均衡器上通过检查通过的网络数据,并代替源主机做ARP请求,同时在收到对应的ARP应答后,也代替目的主机做ARP应答,将主机间通讯的网络数据都转发到选定的均衡器处理,从而获得对通过均衡器的网络数据的转发控制。本发明具备对网络的自适应能力,对原有网络拓扑和设备不需要进行改动,并有效实现以太网的负载均衡。

Description

一种以太网负载均衡的方法
技术领域
本发明属于计算机网络技术领域,涉及一种对以太网络流量进行自适应负载均衡的方法。
背景技术
随着互联网的不断发展,网络应用日益丰富,网络数据流量也飞速增长,而网络部署拓扑也越来越复杂,怎样在不改变现有网络环境的条件下,对流量进行有效的负载均衡,是各大网络提供商和运营商都在考虑的问题。一些厂商和团体都提出了自己的方案,但是这些方案或多或少都有对网络环境的有具体要求,只能在特定的网络条件下实施,并针对特定网络应用有效。
以下是一些现有技术的特点和存在的问题:
1.利用VRRP或HSRP实现负载均衡,依靠网络层路由技术来实现网络层的负载均衡,对于网络拓扑依赖性比较大,不支持二层交换网络;
2.利用HUB设备的数据传输广播原理,并通过均衡器实现负载均衡工作,但是由于HUB设备的广播转发导致在以太网中的频繁冲突检测,导致了网络转发效率低下;
3.使用单独的流量分发器来进行负载均衡,例如类似Linux Virtual Server,这样对网络的拓扑提出了特定的要求,而且由于缺乏扩展性,分发器本身需要承受更大的流量和处理压力;
4.利用了交换设备本身的二层负载均衡能力,例如使用Ether Channel技术均衡同一交换机两个以上端口的流量,但是这样就对交换设备的配置提出了具体要求,涉及到需要更改网络配置。
本发明可以避免对网络拓扑的依赖性,做到对网络的自适应,并有效实现以太网的负载均衡。
发明内容
本发明的目的是提供一种网络自适应的以太网负载均衡方法,其即可以独立成为专门的负载均衡器,也可以用于网络安全网关、防火墙、网络内容分析和过滤等网络系统软件中。本发明的主要特点就是,不仅可以对以太网络流量进行负载均衡,而且具备对网络的自适应能力,对原有网络拓扑和设备不需要进行改动。
本发明对于网络是即插即用的,可以在需要进行负载均衡的网络节点上部署两台以上的均衡器,常见部署方式见图1。
本发明是一种自适应的以太网负载均衡的方法,包括以下步骤:
(1)在网络节点设置若干均衡器,初始化均衡器的ARP请求记录队列;
(2)均衡器检查接收到的网络数据,分别对ARP请求、ARP响应以及其它类型数据包进行相应处理;
(3)均衡器听到ARP请求时,根据均衡器算法f,选择响应请求的均衡器;
(4)被选择上响应请求的均衡器,处理请求主机的ARP请求,将请求信息放入ARP请求记录队列,并使用均衡器自身两个端口的MAC分别转发ARP请求;
(5)目的主机接受ARP响应请求,并做出ARP应答;
(6)均衡器收到相应的ARP应答,建立网络通讯双方的IP-MAC对应表,并分别使用接收端口标记请求MAC和应答MAC的网络区域;
(7)当请求和响应MAC的网络区域不同时,均衡器使用与请求主机处于同一子网端口的MAC,替代目的主机的MAC,作为ARP应答响应请求主机;同时使用与目的主机处于同一子网端口的MAC,替代请求主机的MAC,作为ARP应答响应目的主机;
(8)删除ARP请求记录队列中对目的主机的ARP请求记录;
(9)此时,网络间通讯的数据都会转发到被选择上响应请求的均衡器处理,均衡器根据接收到数据中目的主机的IP地址,从IP-MAC对应表中获得目的主机的MAC,转发数据到最终的目的主机,实现负载均衡。
在本发明中,对于已经在均衡器中建立起IP-MAC对应关系的主机间通讯,直接使用(9)中描述机制转发网络通讯数据包到真正的目的主机。
本发明的均衡器选择只在ARP请求时进行,在经过确定后,IP-MAC对应关系建立以后的数据通讯不需要另外进行均衡器选择,减轻了均衡器处理压力。
本发明以跟踪ARP请求并在均衡器中建立主机的IP-MAC表为基础,对于未在均衡器中建立起IP-MAC对应表的非ARP请求或应答的数据通讯,均衡器以透明桥接的方式处理。
本发明的优点和积极效果如下:
1.即插即用:整个过程对于网络中主机是透明的,对网络拓扑没有任何改动和依赖。
2.可扩展:能够根据需要动态添加均衡器数量,可以支持到8台以上均衡器同时工作,使效率达到最佳。
3.可移植:本发明方法即可以独立成为专门的负载均衡器,也可以很方便移植到网络安全网关、防火墙、网络内容分析和过滤等网络系统软件中。
本发明适用于802.1q交换环境。
附图说明
图1本发明的负载均衡拓扑示意图
图2本发明的负载均衡交互流程图
图3本发明IP-MAC对应信息说明
图4本发明的系统逻辑流程图,其中,图中括号内的内容对应图2中的MSG消息
具体实施方式
以上内容在下面的具体实施部分中将进行详细的描述。参照本发明的图1和图2详细描述具体实施方法。
1.网络拓扑说明
参照图1,网络拓扑配置如下:
以下主机和网关的IP和MAC地址都为假设地址,具体设置由实际情况决定。
网关A:IP为10.0.0.1,MAC为0:0:0:0:0:1;
网关B:IP为10.0.0.2,MAC为0:0:0:0:0:2;
网关C:IP为10.0.0.3,MAC为0:0:0:0:0:3;
主机X:IP为10.0.0.11,MAC为0:0:0:0:0:11;
主机Y:IP为10.0.0.12,MAC为0:0:0:0:0:12;
主机Z:IP为10.0.0.13,MAC为0:0:0:0:0:13;
均衡器0:IP为10.0.0.20,端口0A的MAC为0:0:0:0:0:80,端口0X的MAC为0:0:0:0:0:90,0A和0X在均衡器中是桥接端口,10.0.0.20为桥上IP地址。
均衡器1:IP为10.0.0.21,端口1A的MAC为0:0:0:0:0:81,端口1X的MAC为0:0:0:0:0:91,1A和1X在均衡器中是桥接端口,10.0.0.21为桥上IP地址。
端口A,B,C,0A,1A同处一个物理广播域的交换子网L0中。
端口X,Y,Z,0X,1X同处一个物理广播域的交换子网L1中。
2.均衡器标识ID的选定
均衡器标识ID可以通过手动配置或自动协商选定。在本例中,使用手动配置指定IP为10.0.0.20的均衡器0标识ID为0,IP为10.0.0.21的均衡器1标识ID为1。
自动协商方式使用内部协议,定期同步各均衡器的最小MAC地址,按照MAC地址的大小确定均衡器标识ID,MAC最小的为0,依次加一递增。在本例子中,最小MAC地址为0:0:0:0:0:80的均衡器0标识ID为0,最小MAC地址为0:0:0:0:0:81的均衡器1标识ID为1。
均衡器标识ID的确定是在系统初始化时进行的。系统默认情况下是手动设定均衡器标识ID。
3.负载均衡处理过程(如图2所示,以主机X上的数据传输到网关A为例)
本发明需要根据均衡器中的IP-MAC对应表转发数据,对于未在均衡器IP-MAC对应表中建立起对应关系的非ARP请求或应答的数据通讯,均衡器以透明桥接的方式处理。均衡器通过跟踪主机的ARP请求来建立IP-MAC对应表,并接管以后的数据通讯。
参照处理流程图,当主机X(IP为10.0.0.11,MAC为0:0:0:0:0:11)有通信数据传送到网关A(IP为10.0.0.1,MAC为0:0:0:0:0:1)时,主机X首先会发起一个arp请求MSG_1如下:
MSG_1:0:0:0:0:0:11>Broadcast,ethertype ARP(0x0806),length 60:arp who-has 10.0.0.1 tell 10.0.0.11
这是一个广播请求,由于均衡器0的端口0X和均衡器1的端口1X在同一广播域交换子网L1,所以均衡器0和1都会接收到这个ARP请求。均衡器听到这个请求之后,根据一个预设算法f进行选择响应均衡器。
本发明的预设算法如下:
(src ip+dst ip)mod(均衡器总数)
对通讯数据中的请求地址和目的地址之和做均衡器总数的求余运算,获得选择的均衡器标识ID。对于MSG_1而言,选择值为:(10.0.0.11+10.0.0.1)mod 2=0。这样从主机X到网关A的数据通讯选择了标识ID为0的均衡器0(IP为10.0.0.20)。
接下来在均衡器0上的处理,按照以下步骤进行:
1)若在均衡器0中还没有10.0.0.11的IP-MAC对应表项,则建立10.0.0.11和0:0:0:0:0:11的IP-MAC对应表项,并将此MAC标记为接收端口0X,表示其处于的子网L1的广播域。
2)如果均衡器0上还未建立起10.0.0.1的IP-MAC对应表项,则没有10.0.0.1的MAC,就使用自己的IP从端口0A(MAC为0:0:0:0:0:80)和0X(MAC为0:0:0:0:0:90)转发此ARP请求广播报文到对应的子网L0和L1:
MS_2:0:0:0:0:0:80>Broadcast,ethertype ARP(0x0806),length60:arp who-has 10.0.0.1 tell 10.0.0.20
MSG_3:0:0:0:0:0:90>Broadcast,ethertype ARP(0x0806),length60:arp who-has 10.0.0.1 tell 10.0.0.20
在此例子中,因为网关A不在均衡器0的0X端口一侧的子网中,对于MSG_3不会有响应回复,实际上网关A(10.0.0.1)会接收到ARP请求MSG_2,然后网关A会应答MSG_2,如下:
MSG_4:0:0:0:0:0:1>0:0:0:0:0:80,ethertype ARP(0x0806),length42:arp reply 10.0.0.1 is-at 0:0:0:0:0:1
从而均衡器0上会有10.0.0.1和0:0:0:0:0:1的IP-MAC对应表项,并将此MAC标记为接收端口0A,表示其处于的子网L0的广播域。
3)如果均衡器发现响应的目的MAC和请求MAC标记相同,处于同一子网(网络区域),则在均衡器中删除ARP请求记录队列中相应记录信息后,不做任何处理;
4)如果均衡器发现响应的目的MAC和请求MAC处于不同子网(网络区域),则进行代理ARP响应处理。在本例中,请求MAC标记为0X,在子网L1中,目的MAC标记为0A,在子网L0中,所以需要进行ARP响应处理:
首先,均衡器0用端口0X(MAC地址为0:0:0:0:0:90)的MAC来响应MSG_1:
MSG_5:0:0:0:0:0:90>0:0:0:0:0:11,ethertypeARP(0x0806),length42:arp reply 10.0.0.1 is-at 0:0:0:0:0:90
同时,均衡器0通知网关A,主机X在端口0A(MAC地址为0:0:0:0:0:80):
MSG_6:0:0:0:0:0:80>0:0:0:0:0:1,ethertype ARP(0x0806),length42:arp reply 10.0.0.11 is-at 0:0:0:0:0:80
最后在均衡器中删除ARP请求记录队列中相应记录信息。
这样,主机X和网关A之间的所有后继通信,都会在均衡器0上进行,以ARP代理方式进行X和A之间包的转发。
MSG_7:0:0:0:0:0:11>0:0:0:0:0:90,ethertype IPv4(0x0800),length 170:10.0.0.11.4068>10.0.0.1.ssh:...
MSG_8:0:0:0:0:0:80>0:0:0:0:0:1,ethertype IPv4(0x0800),length 170:10.0.0.11.4068>10.0.0.1.ssh:...
均衡器0接收主机X的数据MSG_7,然后根据目的IP地址10.0.0.1在IP-MAC对应表中查询真正的目的MAC地址0:0:0:0:0:1,转发数据MSG_8到网关A;
MSG_9:0:0:0:0:0:1>0:0:0:0:0:80,ethertype IPv4(0x0800),length 170:10.0.0.1.ssh>10.0.0.11.4068:...
MSG_10:0:0:0:0:0:90>0:0:0:0:0:11,ethertype IPv4(0x0800),length 170:10.0.0.1.ssh>10.0.0.11.4068:...
网关A将返回的数据MSG_9发送给均衡器0,均衡器再次通过查询目的IP地址10.0.0.11在IP-MAC对应表中的真正目的MAC地址0:0:0:0:0:11,转发数据MSG_10到主机X。
此时主机X、网关A中各自的ARP表和均衡器0的IP-MAC对应信息见图3(a)。
类似的,基于均衡算法的分配,主机Y和网关A之间的所有通信,都会在均衡器1上进行,从而实现了二层分流。
注意在当前策略下,在主机X的ARP表中,网关A(10.0.0.1)的MAC地址为0:0:0:0:0:90(端口0X),而在主机Y的ARP表中,网关A(10.0.0.1)的MAC地址为0:0:0:0:0:91(端口1X)。主机Y和网关A通讯时的情况见图3(b)。
对于多IP的主机的通讯情况,本发明也不会有任何影响,因为主机上目的主机的ARP表是由均衡器唯一决定的。
对于在主机上进行了ARP静态绑定的情况,主机不会进行ARP请求,并且通讯中目的MAC地址也不是均衡器,在这种情况下,均衡器按照透明桥方式处理。
4.系统工作流程说明(如图4所示)
(1)系统初始化时,首先根据手动设定或自动协商设置均衡器标识ID,然后为均衡器中的IP-MAC对应表分配内存,系统根据内存情况决定IP-MAC对应条目个数,一般取内存大小的1/256,但不小余4096条。初始化ARP请求队列,用来保存监听到的ARP请求信息。
(2)系统进入ARP跟踪状态,对于接收到的数据包,如果不是ARP请求或应答,就看是否是到均衡器的目的MAC,如果不是,则按照透明桥处理。
如果不是ARP请求或应答,但是到均衡器的目的MAC,就通过目的IP地址在IP-MAC对应表中查找是否有对应的目的,如果没有的话,就根据目的IP看是否是到均衡器的本地连接,如果是则上传本地处理,否则就不做任何处理。
如果有目的IP地址的对应MAC地址的话,就转发数据到真正的目的主机。
(3)对于ARP请求,根据均衡器算法,选择响应的均衡器,对于没选上的均衡器,就不做任何处理。
对于被选择上的均衡器,首先建立或更新请求主机的IP-MAC对应表,使用接收端口标记其网络区域。并保存对目的主机的ARP请求状态记录到ARP请求队列,同时使用自己的MAC代替请求主机转发ARP请求。
(4)如果是ARP应答,如果此时在均衡器ARP请求队列中找不到对目的IP的ARP请求状态记录,或目的MAC不是均衡器MAC,则有可能是ARP欺骗,不做处理。
反之,如果在均衡器的ARP请求队列中有对目的主机的ARP请求的状态记录,同时目的MAC是均衡器MAC时,就在均衡器中建立或更新目的主机的IP-MAC对应表,并使用接收端口标记其网络区域。
然后均衡器检查请求MAC是否和响应MAC在同一网络区域标记,只有在不同子网时,才以均衡器的MAC代替目的主机MAC,向请求主机发送ARP应答;同时也以和目的主机同一子网端口的MAC代替请求主机MAC,向目的主机发起ARP应答。最后删除ARP请求队列中对目的主机的ARP请求状态记录。
若请求MAC和响应MAC在同一网络区域标记,则只需要删除ARP请求队列中对目的主机的ARP请求状态记录。
5.关于均衡策略算法
预设算法可以是任意函数f,只需要满足
(1)参数可交换,即f(x,y)=f(y,x)。此条件保证任两台机器间的双向流量都通过同一个均衡器。
(2)其值域在[0,k)之间,当函数f获得的结构越2均匀时,均衡器分流的能力越强。所以实际情况下,k取均衡器的总数时获得的分流能力最优。
如第二节所描述,本发明缺省使用根据请求IP和目的IP对均衡器总数求余的算法。
在无VLAN的情况下,在均衡器群两侧如果各有m和n台设备,那么负载均衡的最大分流能力为m*n。在802.1q下分流能力为各VLAN子网分流能力之和。
如果均衡器两侧都只有一台机器,那么分流能力为1,即不能进行分流。但只要有一侧设备多于一台,那么本方法就能够较好的分流。

Claims (5)

1.一种以太网负载均衡的方法,包括以下步骤:
1)在网络节点设置若干均衡器,初始化均衡器的ARP请求记录队列;
2)均衡器检查接收到的网络数据,并处理网络数据,其步骤为:
(a)均衡器听到ARP请求时,根据均衡器算法f,选择响应请求的均衡器;
(b)被选择上响应请求的均衡器,处理请求主机的ARP请求,将请求信息放入ARP请求记录队列,并使用均衡器自身两个端口的MAC分别转发ARP请求;
(c)目的主机接受ARP请求,并做出ARP应答;
(d)均衡器收到相应的ARP应答,建立网络通讯双方的IP-MAC对应表,并分别使用自身两个端口标记请求MAC和应答MAC的网络区域;
(e)当请求和应答MAC的网络区域不同时,均衡器使用与请求主机处于同一子网端口的MAC,替代目的主机的MAC,作为ARP应答响应请求主机;同时使用与目的主机处于同一子网端口的MAC,替代请求主机的MAC,作为ARP应答响应目的主机;
(f)删除ARP请求记录队列中对目的主机的ARP请求记录;
3)此时,网络间通讯的数据都会转发到被选择上响应请求的均衡器处理,均衡器根据接收到数据中目的主机的IP地址,从IP-MAC对应表中获得目的主机的MAC,转发数据到最终的目的主机,实现负载均衡。
2.如权利要求1所述的一种方法,其特征在于步骤1)中的均衡器上设置有标识ID,通过手动配置或自动协商选定。
3.如权利要求1所述的一种方法,其特征在于步骤2)中的均衡器算法f满足以下条件:
(1)参数可交换,即f(x,y)=f(y,x);
(2)其值域在[0,k)之间,k为均衡器的总数。
4.如权利要求1所述的一种方法,其特征在于步骤2)中所述的对请求主机的ARP请求的处理方法为:
a若在均衡器中没有请求主机IP的IP-MAC对应表项,则建立请求主机的IP-MAC对应表项;
b若均衡器没有目的主机IP的IP-MAC对应表项,则以均衡器的MAC代替请
求主机转发ARP请求。
5.如权利要求1所述的一种方法,其特征在于所述步骤2)中做出的ARP应答中,在均衡器ARP请求队列中找不到对目的IP的ARP请求状态记录,或目的MAC不是均衡器MAC,则识别是ARP欺骗,不做处理。
CN2007101785220A 2007-11-30 2007-11-30 一种以太网负载均衡的方法 Expired - Fee Related CN101184039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101785220A CN101184039B (zh) 2007-11-30 2007-11-30 一种以太网负载均衡的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101785220A CN101184039B (zh) 2007-11-30 2007-11-30 一种以太网负载均衡的方法

Publications (2)

Publication Number Publication Date
CN101184039A CN101184039A (zh) 2008-05-21
CN101184039B true CN101184039B (zh) 2010-06-09

Family

ID=39449128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101785220A Expired - Fee Related CN101184039B (zh) 2007-11-30 2007-11-30 一种以太网负载均衡的方法

Country Status (1)

Country Link
CN (1) CN101184039B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101409669B (zh) * 2008-09-09 2011-03-30 上海第二工业大学 基于硬件的四层负载均衡交换机及其交换方法
CN102143046B (zh) * 2010-08-25 2015-03-11 华为技术有限公司 负载均衡的方法、设备和系统
CN103259740B (zh) * 2013-04-27 2017-03-15 杭州华三通信技术有限公司 一种负载均衡处理方法及装置
CN105357674B (zh) * 2015-10-26 2023-05-16 青岛海尔智能家电科技有限公司 一种数据分流方法、装置和系统
CN107547394A (zh) * 2017-08-14 2018-01-05 新华三信息安全技术有限公司 一种负载均衡设备多活部署方法和装置
CN114020466B (zh) * 2021-11-08 2022-07-19 江苏安超云软件有限公司 双活负载均衡的方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809021A (zh) * 2005-01-17 2006-07-26 华为技术有限公司 以太网链路聚合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809021A (zh) * 2005-01-17 2006-07-26 华为技术有限公司 以太网链路聚合方法

Also Published As

Publication number Publication date
CN101184039A (zh) 2008-05-21

Similar Documents

Publication Publication Date Title
CN104935516B (zh) 基于软件定义网络的通信系统及方法
US9385949B2 (en) Routing controlled by subnet managers
CN104396192B (zh) 不对称网络地址封装
CN102291320B (zh) Mac地址学习方法和边缘设备
EP2600573B1 (en) Method for transmitting addresses correspondence relationship in second-layer protocol using link status routing
CN102859973B (zh) 一种地址解析的方法,装置和系统
CN104052666B (zh) 实现主机路由可达的方法和装置
CN101184039B (zh) 一种以太网负载均衡的方法
CN104243270A (zh) 一种建立隧道的方法和装置
CN104618243B (zh) 路由方法、装置及系统、网关调度方法及装置
JPH1141272A (ja) Lanインターネット接続
JP2003046547A (ja) パケット転送方法およびパケット送受信装置
CN103139075B (zh) 一种报文传输方法和设备
CN104065582A (zh) 一种报文传输方法和网关设备
CN112350943A (zh) 基于组的策略多播转发
CN110086707B (zh) 一种基于双协议栈的网关系统
CN102447703B (zh) 一种热备份方法和系统、cgn设备
CN104378302B (zh) 地址对应关系发送方法和路由桥设备
EP1532773B1 (en) A filter for traffic separation
CN104079463B (zh) 以太网虚拟化互联evi组网中网关接入方法和装置
CN106487677A (zh) 运营商边缘设备及数据转发方法
CN107659446A (zh) 一种waf迁移方法和装置
CN104468305B (zh) 实现三层虚拟专用网方法和设备
US20130022048A1 (en) Method and network node for use in link level communication in a data communications network
CN102891764B (zh) 一种路由网桥维护信息的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Wei Tao

Inventor after: Wu Kaiyu

Inventor before: Wei Tao

Inventor before: Wu Kaiyu

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100609

Termination date: 20141130

EXPY Termination of patent right or utility model