CN102833146B - 一种网络去重的方法和设备 - Google Patents

一种网络去重的方法和设备 Download PDF

Info

Publication number
CN102833146B
CN102833146B CN201110164307.1A CN201110164307A CN102833146B CN 102833146 B CN102833146 B CN 102833146B CN 201110164307 A CN201110164307 A CN 201110164307A CN 102833146 B CN102833146 B CN 102833146B
Authority
CN
China
Prior art keywords
content
group
interface
outgoing interface
existing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110164307.1A
Other languages
English (en)
Other versions
CN102833146A (zh
Inventor
许用梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201110164307.1A priority Critical patent/CN102833146B/zh
Publication of CN102833146A publication Critical patent/CN102833146A/zh
Application granted granted Critical
Publication of CN102833146B publication Critical patent/CN102833146B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种网络去重的方法和设备。所述方法包括：从入接口接收分组；根据所述分组的目的地址获取出接口；根据所述出接口对所述分组去重；将所述去重后的分组从所述入接口交换到所述出接口。采用本发明实施例提供的技术方案，可以解决现有技术无法实现网络设备内部和接口线卡的流量去重，网络设备的缓存利用率低的问题。

Description

一种网络去重的方法和设备
技术领域
本发明涉及网络通信领域，尤其涉及一种网络去重的方法和设备。
背景技术
在网络链路上传送的数据分组中存在大量的重复内容，重复内容的传送不仅占用链路带宽资源，还降低了网络传输效率。通常网络去重(duplicate removal)技术是在链路的两端部署去重功能，即在上游网络设备的出接口和下游网络设备的入接口对应部署去重功能。这样，对于点到多点模式传输网络流量的场景，需要在上游网络设备的多个出接口部署去重功能，上游网络设备的缓存利用率低。同时，由于去重只针对链路，无法实现上游网络设备内部交换的流量去重。此外，当网络部署调整时，例如增加一个下游网络设备，上游网络设备也需要调整相应出接口的配置，配置和操作较复杂。
发明内容
本发明实施例提供了一种网络去重的方法，装置和系统，以解决现有技术无法实现网络设备内部和接口线卡的流量去重，网络设备的缓存利用率低的问题。
为解决上述技术问题，本发明实施例提供了一种网络去重的方法，包括：
从入接口接收分组；
根据所述分组的目的地址获取出接口；
在所述入接口上，根据所述分组和指纹算法，得到所述分组的内容指纹；
根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；
用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；
通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
本发明实施例提供了一种网络去重的设备，包括入接口线卡，去重模块，交换矩阵和出接口线卡；其中：
所述入接口线卡，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口；
所述去重模块，用于根据所述分组和指纹算法，得到所述分组的内容指纹；根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；
所述交换矩阵，用于将所述去重后的分组从所述入接口线卡交换到所述出接口线卡；
所述出接口线卡，用于从所述出接口转发所述去重后的分组。
采用本发明实施例提供的技术方案，通过在网络设备的上行接口部署去重功能，分组在上行接口进行去重处理，统一缓存，不仅提升了缓存利用率，还减少了网络设备的接口线卡和内部交换矩阵的流量。
附图说明
图1是本发明实施例提供的一种网络去重的方法流程图；
图2是本发明实施例提供的一种网络去重的设备硬件框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。
本发明实施例提供了一种网络去重的方法，装置和系统。所述方法包括：从入接口接收分组；根据所述分组的目的地址获取出接口；根据所述出接口对所述分组去重；将所述去重后的分组从所述入接口交换到所述出接口。采用本发明实施例提供的技术方案，可以解决现有技术无法实现网络设备内部和接口卡的流量去重，网络设备的缓存利用率低的问题。
参见图1，是本发明实施例提供的一种网络去重的方法流程图，所述方法包括：
101：从入接口接收分组。
网络设备从入接口接收分组，例如网际协议IP分组、以太网帧等。
102：根据所述分组的目的地址获取出接口。
所述网络设备可以根据所述分组的目的地址查询转发表，例如路由表或MAC(Media Access Control，媒体访问控制)表，获取所述目的地址对应的出接口。
所述网络设备可以保存所述分组和所述出接口，例如，可以将所述分组和所述出接口保存在分组库中。
所述分组库可以由缓存实现。所述缓存可以是入接口线卡的缓存。
103：根据所述出接口对所述分组去重。
所述网络设备在入接口上根据所述出接口对所述分组去重。
所述网络设备可以采用通用的方式，例如内容指纹技术，对所述分组去重，得到去重后的分组。
例如，所述网络设备可以根据所述分组和指纹算法，例如拉宾Rabin算法，得到所述分组的内容指纹，对所述分组去重。
所述网络设备可以在入接口部署去重模块，用于根据出接口对所述分组去重。
所述去重模块可以集成在所述入接口线卡上。
所述去重模块可以是功能实体，也可以由硬件实现。
所述网络设备可以保存内容指纹信息库，包括出接口，内容指纹和分组指针的对应关系。所述分组指针是分组在分组库中指针。
所述内容指纹信息库还可以包括分组标识，所述分组标识可以是根据分组和哈希算法，例如SHA(Secure Hash Algorithm，安全哈希算法)、MD5(Message-Digest Algorithm 5，信息摘要算法5)等，得到的标识。
所述网络设备还可以保存分组标识库，包括分组标识和分组指针的对应关系。
所述去重模块可以根据所述出接口和所述内容指纹查询内容指纹信息库，获取出接口和内容指纹相同的已有分组，对所述分组去重。
所述去重模块还可以包括多个子模块，各子模块和各个出接口分别对应。对于发往不同出接口的分组，所述去重模块可以将分组发送到不同的子模块，对所述分组去重。
所述网络设备在入接口线卡统一缓存分组、内容指纹等信息所需要的缓存大小，相对于在每个出接口线卡上分别缓存分组、内容指纹等信息需要的缓存大小，存在一定的收敛比，提高了缓存利用率。
举例来说，所述网络设备根据所述分组和Rabin算法，得到所述分组的内容指纹；然后根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系。
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组。根据所述已有分组和所述分组，得到所述分组和所述已有分组的重复内容；然后，获取重复内容信息，所述重复内容信息包括所述已有分组的分组标识，重复内容在所述已有分组中的起始偏移量和终止偏移量。
最后，用所述重复内容信息替换所述分组中的重复内容，得到去重后的分组。
104：将所述去重后的分组从所述入接口交换到所述出接口。
所述网络设备通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
所述网络设备通过所述出接口转发所述去重后的分组。
参见图2，是本发明实施例提供的一种网络去重的设备硬件框图，所述设备包括入接口线卡201，去重模块202，交换矩阵203和出接口线卡204。
所述入接口线卡201，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口。
所述入接口线卡201可以保存所述分组和所述出接口，例如，可以将所述分组和所述出接口保存在分组库中，所述分组库可以由入接口线卡的缓存实现。
所述去重模块202，用于根据所述出接口对所述分组去重。
所述去重模块202可以集成在所述入接口线卡201上，还可以是独立的硬件。
所述去重模块202可以采用通用的方式去重，例如内容指纹技术，对所述分组去重，得到去重后的分组。
例如，所述去重模块202可以根据所述分组和指纹算法，得到所述分组的内容指纹，对所述分组去重。
所述入接口线卡201可以保存内容指纹信息库，包括出接口，内容指纹和分组指针的对应关系。所述分组指针是分组在分组库中指针。
所述内容指纹信息库还可以包括分组标识，所述分组标识可以是根据分组和哈希算法，例如SHA(Secure Hash Algorithm，安全哈希算法)、MD5(Message-Digest Algorithm 5，信息摘要算法5)等，得到的标识。
所述入接口线卡201还可以保存分组标识库，包括分组标识和分组指针的对应关系。
所述去重模块202可以根据所述出接口和所述内容指纹查询内容指纹信息库，获取出接口和内容指纹相同的已有分组，对所述分组去重。
所述去重模块202还可以包括多个子模块，各子模块和各个出接口分别对应。所述去重模块202还可以将发往不同出接口的数据分组，发送到不同的子模块，以对所述分组去重。
所述设备在入接口线卡统一缓存分组、内容指纹等信息所需要的缓存大小，相对于在每个出接口线卡上分别缓存分组、内容指纹等信息需要的缓存大小，存在一定的收敛比，提高了缓存利用率。
举例来说，所述去重模块202根据所述分组和Rabin算法，得到所述分组的内容指纹；然后根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系。
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组。根据所述已有分组和所述分组，得到所述分组和所述已有分组的重复内容；然后，获取重复内容信息，所述重复内容信息包括所述已有分组的分组标识，重复内容在所述已有分组中的起始偏移量和终止偏移量。
最后，用所述重复内容信息替换所述分组中的重复内容，得到去重后的分组。
所述交换矩阵203，用于将所述去重后的分组从所述入接口线卡201交换到所述出接口线卡204；
所述出接口线卡204，用于从所述出接口转发所述去重后的分组。
采用本发明实施例提供的技术方案，通过在网络设备的入接口部署去重功能，分组在入接口进行去重处理，统一缓存，不仅提升了缓存利用率，同时由于网络设备内部缓存和交换的是去重的数据分组，实现了网络设备内部和接口线卡的流量去重。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质可以是ROM/RAM，磁盘或光盘等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种网络去重的方法，其特征在于，包括：
从入接口接收分组；
根据所述分组的目的地址获取出接口；
在所述入接口上，根据所述分组和指纹算法，得到所述分组的内容指纹；
根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；
用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；
通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
2.根据权利要求1所述的方法，其特征在于，所述根据分组的目的地址获取出接口，具体包括：
根据所述分组的目的地址查询转发表，获取所述目的地址对应的出接口，所述转发表包括媒体访问控制MAC表或路由表。
3.一种网络去重的设备，其特征在于，包括入接口线卡，去重模块，交换矩阵和出接口线卡；其中：
所述入接口线卡，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口；
所述去重模块，用于根据所述分组和指纹算法，得到所述分组的内容指纹；根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；所述交换矩阵，用于将所述去重后的分组从所述入接口线卡交换到所述出接口线卡；
所述出接口线卡，用于从所述出接口转发所述去重后的分组。
4.根据权利要求3所述的设备，其特征在于，所述入接口线卡具体用于：
根据所述分组的目的地址查询转发表，获取所述目的地址对应的出接口，所述转发表包括媒体访问控制MAC表或路由表。
5.根据权利要求3所述的设备，其特征在于，所述去重模块集成在所述入接口线卡上。
6.根据权利要求3所述的设备，其特征在于，所述去重模块还包括多个子模块，各个子模块和各个出接口分别对应。
CN201110164307.1A 2011-06-17 2011-06-17 一种网络去重的方法和设备 Expired - Fee Related CN102833146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110164307.1A CN102833146B (zh) 2011-06-17 2011-06-17 一种网络去重的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110164307.1A CN102833146B (zh) 2011-06-17 2011-06-17 一种网络去重的方法和设备

Publications (2)

Publication Number Publication Date
CN102833146A CN102833146A (zh) 2012-12-19
CN102833146B true CN102833146B (zh) 2015-07-22

Family

ID=47336122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110164307.1A Expired - Fee Related CN102833146B (zh) 2011-06-17 2011-06-17 一种网络去重的方法和设备

Country Status (1)

Country Link
CN (1) CN102833146B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608627A (zh) * 2016-02-01 2016-05-25 广东欧珀移动通信有限公司 基于社交网络平台的信息更新方法及装置
CN108923967B (zh) * 2018-06-27 2021-07-02 平安科技（深圳）有限公司 一种去重流量记录方法、装置、服务器及存储介质
CN109039947B (zh) * 2018-09-21 2022-07-05 广州西麦科技股份有限公司 网络包去重方法、装置、网络分流设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547363A (zh) * 2003-12-12 2004-11-17 港湾网络有限公司 组播跨板转发的控制方法
CN1933451A (zh) * 2006-10-26 2007-03-21 杭州华为三康技术有限公司 板间通信方法及接口板
CN201515383U (zh) * 2009-09-03 2010-06-23 上海帕科网络科技有限公司 广域数据服务装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547363A (zh) * 2003-12-12 2004-11-17 港湾网络有限公司 组播跨板转发的控制方法
CN1933451A (zh) * 2006-10-26 2007-03-21 杭州华为三康技术有限公司 板间通信方法及接口板
CN201515383U (zh) * 2009-09-03 2010-06-23 上海帕科网络科技有限公司 广域数据服务装置

Also Published As

Publication number Publication date
CN102833146A (zh) 2012-12-19

Similar Documents

Publication Publication Date Title
US10445380B2 (en) System and method for direct storage access in a content-centric network
CN103812770B (zh) 云业务报文重定向的方法、系统和云网关
CN108462646B (zh) 一种报文处理方法及装置
US8169910B1 (en) Network traffic analysis using a flow table
CN105684382A (zh) 报文的控制方法、交换机及控制器
US12231334B2 (en) Ultra reliable segment routing
US12244576B2 (en) Methods to strengthen cyber-security and privacy in a deterministic internet of things
US20120157088A1 (en) Method and apparatus for correlating end to end measurements through control plane monitoring of wireless traffic
CN102761479B (zh) 链路选择方法和装置
CN102624611B (zh) 报文分流方法、装置、处理器和网络设备
US9391896B2 (en) System and method for packet forwarding using a conjunctive normal form strategy in a content-centric network
CN104753925A (zh) 一种对文件进行加解密的网关系统和方法
US9652372B2 (en) Method and apparatus for improving non-uniform memory access
WO2023236858A1 (zh) 流表规则的管理方法、流量管理方法、系统及存储介质
CN107566267A (zh) 一种基于聚合链路的报文转发方法和装置
CN102833146B (zh) 一种网络去重的方法和设备
WO2013181984A1 (zh) 一种报文复制方法及装置
CN102255816B (zh) 负载分担方法及装置
US8750146B2 (en) Method and apparatus for applying uniform hashing to wireless traffic
CN103327129A (zh) 针对多wan口网关设备的域名解析方法
US8611343B2 (en) Method and apparatus for providing a two-layer architecture for processing wireless traffic
CN107070797B (zh) 一种报文转发的方法及系统
CN102904804A (zh) 路由转发信息添加方法、报文转发方法及装置、网络设备
CN115515253B (zh) 单o-ru与双o-du的通信连接方法及系统
CN109450814A (zh) 分片报文的转发方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150722

Termination date: 20180617