CN102833146A - 一种网络去重的方法和设备 - Google Patents
一种网络去重的方法和设备 Download PDFInfo
- Publication number
- CN102833146A CN102833146A CN2011101643071A CN201110164307A CN102833146A CN 102833146 A CN102833146 A CN 102833146A CN 2011101643071 A CN2011101643071 A CN 2011101643071A CN 201110164307 A CN201110164307 A CN 201110164307A CN 102833146 A CN102833146 A CN 102833146A
- Authority
- CN
- China
- Prior art keywords
- grouping
- interface
- outgoing interface
- heavy
- incoming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种网络去重的方法和设备。所述方法包括：从入接口接收分组；根据所述分组的目的地址获取出接口；根据所述出接口对所述分组去重；将所述去重后的分组从所述入接口交换到所述出接口。采用本发明实施例提供的技术方案，可以解决现有技术无法实现网络设备内部和接口线卡的流量去重，网络设备的缓存利用率低的问题。
Description
技术领域
本发明涉及网络通信领域，尤其涉及一种网络去重的方法和设备。
背景技术
在网络链路上传送的数据分组中存在大量的重复内容，重复内容的传送不仅占用链路带宽资源，还降低了网络传输效率。通常网络去重(duplicate removal)技术是在链路的两端部署去重功能，即在上游网络设备的出接口和下游网络设备的入接口对应部署去重功能。这样，对于点到多点模式传输网络流量的场景，需要在上游网络设备的多个出接口部署去重功能，上游网络设备的缓存利用率低。同时，由于去重只针对链路，无法实现上游网络设备内部交换的流量去重。此外，当网络部署调整时，例如增加一个下游网络设备，上游网络设备也需要调整相应出接口的配置，配置和操作较复杂。
发明内容
本发明实施例提供了一种网络去重的方法，装置和系统，以解决现有技术无法实现网络设备内部和接口线卡的流量去重，网络设备的缓存利用率低的问题。
为解决上述技术问题，本发明实施例提供了一种网络去重的方法，包括：
从入接口接收分组；
根据所述分组的目的地址获取出接口；
根据所述出接口对所述分组去重；
将所述去重后的分组从所述入接口交换到所述出接口。
本发明实施例提供了一种网络去重的设备，包括入接口线卡，去重模块，交换矩阵和出接口线卡；其中：
所述入接口线卡，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口。
所述去重模块，用于根据所述出接口对所述分组去重；
所述交换矩阵，用于将所述去重后的分组从所述入接口线卡交换到所述出接口线卡；
所述出接口线卡，用于从所述出接口转发所述去重后的分组。
采用本发明实施例提供的技术方案，通过在网络设备的上行接口部署去重功能，分组在上行接口进行去重处理，统一缓存，不仅提升了缓存利用率，还减少了网络设备的接口线卡和内部交换矩阵的流量。
附图说明
图1是本发明实施例提供的一种网络去重的方法流程图；
图2是本发明实施例提供的一种网络去重的设备硬件框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。
本发明实施例提供了一种网络去重的方法，装置和系统。所述方法包括：从入接口接收分组；根据所述分组的目的地址获取出接口；根据所述出接口对所述分组去重；将所述去重后的分组从所述入接口交换到所述出接口。采用本发明实施例提供的技术方案，可以解决现有技术无法实现网络设备内部和接口卡的流量去重，网络设备的缓存利用率低的问题。
参见图1，是本发明实施例提供的一种网络去重的方法流程图，所述方法包括：
101：从入接口接收分组。
网络设备从入接口接收分组，例如网际协议IP分组、以太网帧等。
102：根据所述分组的目的地址获取出接口。
所述网络设备可以根据所述分组的目的地址查询转发表，例如路由表或MAC(Media Access Control，媒体访问控制)表，获取所述目的地址对应的出接口。
所述网络设备可以保存所述分组和所述出接口，例如，可以将所述分组和所述出接口保存在分组库中。
所述分组库可以由缓存实现。所述缓存可以是入接口线卡的缓存。
103：根据所述出接口对所述分组去重。
所述网络设备在入接口上根据所述出接口对所述分组去重。
所述网络设备可以采用通用的方式，例如内容指纹技术，对所述分组去重，得到去重后的分组。
例如，所述网络设备可以根据所述分组和指纹算法，例如拉宾Rabin算法，得到所述分组的内容指纹，对所述分组去重。
所述网络设备可以在入接口部署去重模块，用于根据出接口对所述分组去重。
所述去重模块可以集成在所述入接口线卡上。
所述去重模块可以是功能实体，也可以由硬件实现。
所述网络设备可以保存内容指纹信息库，包括出接口，内容指纹和分组指针的对应关系。所述分组指针是分组在分组库中指针。
所述内容指纹信息库还可以包括分组标识，所述分组标识可以是根据分组和哈希算法，例如SHA(Secure Hash Algorithm，安全哈希算法)、MD5(Message-Digest Algorithm 5，信息摘要算法5)等，得到的标识。
所述网络设备还可以保存分组标识库，包括分组标识和分组指针的对应关系。
所述去重模块可以根据所述出接口和所述内容指纹查询内容指纹信息库，获取出接口和内容指纹相同的已有分组，对所述分组去重。
所述去重模块还可以包括多个子模块，各子模块和各个出接口分别对应。对于发往不同出接口的分组，所述去重模块可以将分组发送到不同的子模块，对所述分组去重。
所述网络设备在入接口线卡统一缓存分组、内容指纹等信息所需要的缓存大小，相对于在每个出接口线卡上分别缓存分组、内容指纹等信息需要的缓存大小，存在一定的收敛比，提高了缓存利用率。
举例来说，所述网络设备根据所述分组和Rabin算法，得到所述分组的内容指纹；然后根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系。
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组。根据所述已有分组和所述分组，得到所述分组和所述已有分组的重复内容；然后，获取重复内容信息，所述重复内容信息包括所述已有分组的分组标识，重复内容在所述已有分组中的起始偏移量和终止偏移量。
最后，用所述重复内容信息替换所述分组中的重复内容，得到去重后的分组。
104：将所述去重后的分组从所述入接口交换到所述出接口。
所述网络设备通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
所述网络设备通过所述出接口转发所述去重后的分组。
参见图2，是本发明实施例提供的一种网络去重的设备硬件框图，所述设备包括入接口线卡201，去重模块202，交换矩阵203和出接口线卡204。
所述入接口线卡201，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口。
所述入接口线卡201可以保存所述分组和所述出接口，例如，可以将所述分组和所述出接口保存在分组库中，所述分组库可以由入接口线卡的缓存实现。
所述去重模块202，用于根据所述出接口对所述分组去重。
所述去重模块202可以集成在所述入接口线卡201上，还可以是独立的硬件。
所述去重模块202可以采用通用的方式去重，例如内容指纹技术，对所述分组去重，得到去重后的分组。
例如，所述去重模块202可以根据所述分组和指纹算法，得到所述分组的内容指纹，对所述分组去重。
所述入接口线卡201可以保存内容指纹信息库，包括出接口，内容指纹和分组指针的对应关系。所述分组指针是分组在分组库中指针。
所述内容指纹信息库还可以包括分组标识，所述分组标识可以是根据分组和哈希算法，例如SHA(Secure Hash Algorithm，安全哈希算法)、MD5(Message-Digest Algorithm 5，信息摘要算法5)等，得到的标识。
所述入接口线卡201还可以保存分组标识库，包括分组标识和分组指针的对应关系。
所述去重模块202可以根据所述出接口和所述内容指纹查询内容指纹信息库，获取出接口和内容指纹相同的已有分组，对所述分组去重。
所述去重模块202还可以包括多个子模块，各子模块和各个出接口分别对应。所述去重模块202还可以将发往不同出接口的数据分组，发送到不同的子模块，以对所述分组去重。
所述设备在入接口线卡统一缓存分组、内容指纹等信息所需要的缓存大小，相对于在每个出接口线卡上分别缓存分组、内容指纹等信息需要的缓存大小，存在一定的收敛比，提高了缓存利用率。
举例来说，所述去重模块202根据所述分组和Rabin算法，得到所述分组的内容指纹；然后根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系。
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组。根据所述已有分组和所述分组，得到所述分组和所述已有分组的重复内容；然后，获取重复内容信息，所述重复内容信息包括所述已有分组的分组标识，重复内容在所述已有分组中的起始偏移量和终止偏移量。
最后，用所述重复内容信息替换所述分组中的重复内容，得到去重后的分组。
所述交换矩阵203，用于将所述去重后的分组从所述入接口线卡201交换到所述出接口线卡204；
所述出接口线卡204，用于从所述出接口转发所述去重后的分组。
采用本发明实施例提供的技术方案，通过在网络设备的入接口部署去重功能，分组在入接口进行去重处理，统一缓存，不仅提升了缓存利用率，同时由于网络设备内部缓存和交换的是去重的数据分组，实现了网络设备内部和接口线卡的流量去重。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质可以是ROM/RAM，磁盘或光盘等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种网络去重的方法，其特征在于，包括：
从入接口接收分组；
根据所述分组的目的地址获取出接口；
根据所述出接口对所述分组去重；
将所述去重后的分组从所述入接口交换到所述出接口。
2.根据权利要求1所述的方法，其特征在于，所述根据分组的目的地址获取出接口，具体包括：
根据所述分组的目的地址查询转发表，获取所述目的地址对应的出接口。
3.根据权利要求1所述的方法，其特征在于，所述根据所述出接口对所述分组去重，具体包括：
在所述入接口上根据所述出接口对所述分组去重。
4.根据权利要求1所述的方法，其特征在于，所述将所述去重的分组从所述入接口交换到所述出接口，具体包括：
通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述出接口对所述分组去重，具体包括：
根据所述出接口，采用内容指纹技术对所述分组去重。
6.一种网络去重的设备，其特征在于，包括入接口线卡，去重模块，交换矩阵和出接口线卡；其中：
所述入接口线卡，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口。
所述去重模块，用于根据所述出接口对所述分组去重；
所述交换矩阵，用于将所述去重后的分组从所述入接口线卡交换到所述出接口线卡；
所述出接口线卡，用于从所述出接口转发所述去重后的分组。
7.根据权利要求6所述的设备，其特征在于，所述入接口线卡具体用于：
根据所述分组的目的地址查询转发表，获取所述目的地址对应的出接口。
8.根据权利要求6所述的设备，其特征在于，所述去重模块集成在所述入接口线卡上。
9.根据权利要求6所述的设备，其特征在于，所述去重模块还包括多个子模块，各个子模块和各个出接口分别对应。
10.根据权利要求6所述的设备，其特征在于，所述去重模块具体用于根据所述出接口采用内容指纹技术对所述分组去重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110164307.1A CN102833146B (zh) | 2011-06-17 | 2011-06-17 | 一种网络去重的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110164307.1A CN102833146B (zh) | 2011-06-17 | 2011-06-17 | 一种网络去重的方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102833146A true CN102833146A (zh) | 2012-12-19 |
| CN102833146B CN102833146B (zh) | 2015-07-22 |
Family
ID=47336122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110164307.1A Expired - Fee Related CN102833146B (zh) | 2011-06-17 | 2011-06-17 | 一种网络去重的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102833146B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608627A (zh) * | 2016-02-01 | 2016-05-25 | 广东欧珀移动通信有限公司 | 基于社交网络平台的信息更新方法及装置 |
| CN108923967A (zh) * | 2018-06-27 | 2018-11-30 | 平安科技（深圳）有限公司 | 一种去重流量记录方法、装置、服务器及存储介质 |
| CN109039947A (zh) * | 2018-09-21 | 2018-12-18 | 广州西麦科技股份有限公司 | 网络包去重方法、装置、网络分流设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547363A (zh) * | 2003-12-12 | 2004-11-17 | 港湾网络有限公司 | 组播跨板转发的控制方法 |
| CN1933451A (zh) * | 2006-10-26 | 2007-03-21 | 杭州华为三康技术有限公司 | 板间通信方法及接口板 |
| CN201515383U (zh) * | 2009-09-03 | 2010-06-23 | 上海帕科网络科技有限公司 | 广域数据服务装置 |
-
2011
- 2011-06-17 CN CN201110164307.1A patent/CN102833146B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547363A (zh) * | 2003-12-12 | 2004-11-17 | 港湾网络有限公司 | 组播跨板转发的控制方法 |
| CN1933451A (zh) * | 2006-10-26 | 2007-03-21 | 杭州华为三康技术有限公司 | 板间通信方法及接口板 |
| CN201515383U (zh) * | 2009-09-03 | 2010-06-23 | 上海帕科网络科技有限公司 | 广域数据服务装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608627A (zh) * | 2016-02-01 | 2016-05-25 | 广东欧珀移动通信有限公司 | 基于社交网络平台的信息更新方法及装置 |
| CN108923967A (zh) * | 2018-06-27 | 2018-11-30 | 平安科技（深圳）有限公司 | 一种去重流量记录方法、装置、服务器及存储介质 |
| CN109039947A (zh) * | 2018-09-21 | 2018-12-18 | 广州西麦科技股份有限公司 | 网络包去重方法、装置、网络分流设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102833146B (zh) | 2015-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101645880B (zh) | 基于线路捆绑的数据帧转发方法和装置 | |
| CN101170512B (zh) | 报文业务处理方法 | |
| CN100438498C (zh) | 以太网设备堆叠方法及其系统 | |
| CN103634224B (zh) | 网络中数据传输的方法和系统 | |
| EP2208322B1 (en) | A grid router | |
| US8902888B2 (en) | Two-stage port-channel resolution in a multistage fabric switch | |
| CN100583801C (zh) | 一种动态建立组播虚拟局域网域的方法、系统及交换设备 | |
| JP2020074553A5 (zh) | ||
| CN102970242B (zh) | 一种实现负载均衡的方法 | |
| CN102404229A (zh) | 负载均衡系统、装置及方法 | |
| RU2007111857A (ru) | Кольцевая сеть, устройство связи и способ оперативного управления, используемый для кольцевой сети и устройства связи | |
| CN103314552B (zh) | 使用非统一接收器的基于组的组播方法 | |
| CN105591974A (zh) | 报文处理方法、装置及系统 | |
| US20130003748A1 (en) | Relay apparatus and relay control method | |
| US11050655B2 (en) | Route information distribution through cloud controller | |
| CN102932262A (zh) | 网络处理器镜像实现方法及网络处理器 | |
| CN107579925A (zh) | 报文转发方法及装置 | |
| CN102833146A (zh) | 一种网络去重的方法和设备 | |
| CN102857547B (zh) | 分布式缓存的方法及设备 | |
| CN102497430B (zh) | 一种分流设备实现系统和方法 | |
| CN209805866U (zh) | 一种会话保持系统 | |
| CN102136986B (zh) | 一种负载分担方法和交换设备 | |
| CN101945342A (zh) | 用户端设备及其无线组播转单播业务的实现方法 | |
| CN102201949A (zh) | 一种测试网络设备转发性能的系统及方法 | |
| CN102255816A (zh) | 负载分担方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150722 Termination date: 20180617 |