CN102833146B - 一种网络去重的方法和设备 - Google Patents

一种网络去重的方法和设备 Download PDF

Info

Publication number
CN102833146B
CN102833146B CN201110164307.1A CN201110164307A CN102833146B CN 102833146 B CN102833146 B CN 102833146B CN 201110164307 A CN201110164307 A CN 201110164307A CN 102833146 B CN102833146 B CN 102833146B
Authority
CN
China
Prior art keywords
grouping
video content
fingerprints
user supplied
outgoing interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110164307.1A
Other languages
English (en)
Other versions
CN102833146A (zh
Inventor
许用梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201110164307.1A priority Critical patent/CN102833146B/zh
Publication of CN102833146A publication Critical patent/CN102833146A/zh
Application granted granted Critical
Publication of CN102833146B publication Critical patent/CN102833146B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种网络去重的方法和设备。所述方法包括：从入接口接收分组；根据所述分组的目的地址获取出接口；根据所述出接口对所述分组去重；将所述去重后的分组从所述入接口交换到所述出接口。采用本发明实施例提供的技术方案，可以解决现有技术无法实现网络设备内部和接口线卡的流量去重，网络设备的缓存利用率低的问题。

Description

一种网络去重的方法和设备
技术领域
本发明涉及网络通信领域，尤其涉及一种网络去重的方法和设备。
背景技术
在网络链路上传送的数据分组中存在大量的重复内容，重复内容的传送不仅占用链路带宽资源，还降低了网络传输效率。通常网络去重(duplicate removal)技术是在链路的两端部署去重功能，即在上游网络设备的出接口和下游网络设备的入接口对应部署去重功能。这样，对于点到多点模式传输网络流量的场景，需要在上游网络设备的多个出接口部署去重功能，上游网络设备的缓存利用率低。同时，由于去重只针对链路，无法实现上游网络设备内部交换的流量去重。此外，当网络部署调整时，例如增加一个下游网络设备，上游网络设备也需要调整相应出接口的配置，配置和操作较复杂。
发明内容
本发明实施例提供了一种网络去重的方法，装置和系统，以解决现有技术无法实现网络设备内部和接口线卡的流量去重，网络设备的缓存利用率低的问题。
为解决上述技术问题，本发明实施例提供了一种网络去重的方法，包括：
从入接口接收分组；
根据所述分组的目的地址获取出接口；
在所述入接口上，根据所述分组和指纹算法，得到所述分组的内容指纹；
根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；
用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；
通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
本发明实施例提供了一种网络去重的设备，包括入接口线卡，去重模块，交换矩阵和出接口线卡；其中：
所述入接口线卡，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口；
所述去重模块，用于根据所述分组和指纹算法，得到所述分组的内容指纹；根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；
所述交换矩阵，用于将所述去重后的分组从所述入接口线卡交换到所述出接口线卡；
所述出接口线卡，用于从所述出接口转发所述去重后的分组。
采用本发明实施例提供的技术方案，通过在网络设备的上行接口部署去重功能，分组在上行接口进行去重处理，统一缓存，不仅提升了缓存利用率，还减少了网络设备的接口线卡和内部交换矩阵的流量。
附图说明
图1是本发明实施例提供的一种网络去重的方法流程图；
图2是本发明实施例提供的一种网络去重的设备硬件框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。
本发明实施例提供了一种网络去重的方法，装置和系统。所述方法包括：从入接口接收分组；根据所述分组的目的地址获取出接口；根据所述出接口对所述分组去重；将所述去重后的分组从所述入接口交换到所述出接口。采用本发明实施例提供的技术方案，可以解决现有技术无法实现网络设备内部和接口卡的流量去重，网络设备的缓存利用率低的问题。
参见图1，是本发明实施例提供的一种网络去重的方法流程图，所述方法包括：
101：从入接口接收分组。
网络设备从入接口接收分组，例如网际协议IP分组、以太网帧等。
102：根据所述分组的目的地址获取出接口。
所述网络设备可以根据所述分组的目的地址查询转发表，例如路由表或MAC(Media Access Control，媒体访问控制)表，获取所述目的地址对应的出接口。
所述网络设备可以保存所述分组和所述出接口，例如，可以将所述分组和所述出接口保存在分组库中。
所述分组库可以由缓存实现。所述缓存可以是入接口线卡的缓存。
103：根据所述出接口对所述分组去重。
所述网络设备在入接口上根据所述出接口对所述分组去重。
所述网络设备可以采用通用的方式，例如内容指纹技术，对所述分组去重，得到去重后的分组。
例如，所述网络设备可以根据所述分组和指纹算法，例如拉宾Rabin算法，得到所述分组的内容指纹，对所述分组去重。
所述网络设备可以在入接口部署去重模块，用于根据出接口对所述分组去重。
所述去重模块可以集成在所述入接口线卡上。
所述去重模块可以是功能实体，也可以由硬件实现。
所述网络设备可以保存内容指纹信息库，包括出接口，内容指纹和分组指针的对应关系。所述分组指针是分组在分组库中指针。
所述内容指纹信息库还可以包括分组标识，所述分组标识可以是根据分组和哈希算法，例如SHA(Secure Hash Algorithm，安全哈希算法)、MD5(Message-Digest Algorithm 5，信息摘要算法5)等，得到的标识。
所述网络设备还可以保存分组标识库，包括分组标识和分组指针的对应关系。
所述去重模块可以根据所述出接口和所述内容指纹查询内容指纹信息库，获取出接口和内容指纹相同的已有分组，对所述分组去重。
所述去重模块还可以包括多个子模块，各子模块和各个出接口分别对应。对于发往不同出接口的分组，所述去重模块可以将分组发送到不同的子模块，对所述分组去重。
所述网络设备在入接口线卡统一缓存分组、内容指纹等信息所需要的缓存大小，相对于在每个出接口线卡上分别缓存分组、内容指纹等信息需要的缓存大小，存在一定的收敛比，提高了缓存利用率。
举例来说，所述网络设备根据所述分组和Rabin算法，得到所述分组的内容指纹；然后根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系。
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组。根据所述已有分组和所述分组，得到所述分组和所述已有分组的重复内容；然后，获取重复内容信息，所述重复内容信息包括所述已有分组的分组标识，重复内容在所述已有分组中的起始偏移量和终止偏移量。
最后，用所述重复内容信息替换所述分组中的重复内容，得到去重后的分组。
104：将所述去重后的分组从所述入接口交换到所述出接口。
所述网络设备通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
所述网络设备通过所述出接口转发所述去重后的分组。
参见图2，是本发明实施例提供的一种网络去重的设备硬件框图，所述设备包括入接口线卡201，去重模块202，交换矩阵203和出接口线卡204。
所述入接口线卡201，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口。
所述入接口线卡201可以保存所述分组和所述出接口，例如，可以将所述分组和所述出接口保存在分组库中，所述分组库可以由入接口线卡的缓存实现。
所述去重模块202，用于根据所述出接口对所述分组去重。
所述去重模块202可以集成在所述入接口线卡201上，还可以是独立的硬件。
所述去重模块202可以采用通用的方式去重，例如内容指纹技术，对所述分组去重，得到去重后的分组。
例如，所述去重模块202可以根据所述分组和指纹算法，得到所述分组的内容指纹，对所述分组去重。
所述入接口线卡201可以保存内容指纹信息库，包括出接口，内容指纹和分组指针的对应关系。所述分组指针是分组在分组库中指针。
所述内容指纹信息库还可以包括分组标识，所述分组标识可以是根据分组和哈希算法，例如SHA(Secure Hash Algorithm，安全哈希算法)、MD5(Message-Digest Algorithm 5，信息摘要算法5)等，得到的标识。
所述入接口线卡201还可以保存分组标识库，包括分组标识和分组指针的对应关系。
所述去重模块202可以根据所述出接口和所述内容指纹查询内容指纹信息库，获取出接口和内容指纹相同的已有分组，对所述分组去重。
所述去重模块202还可以包括多个子模块，各子模块和各个出接口分别对应。所述去重模块202还可以将发往不同出接口的数据分组，发送到不同的子模块，以对所述分组去重。
所述设备在入接口线卡统一缓存分组、内容指纹等信息所需要的缓存大小，相对于在每个出接口线卡上分别缓存分组、内容指纹等信息需要的缓存大小，存在一定的收敛比，提高了缓存利用率。
举例来说，所述去重模块202根据所述分组和Rabin算法，得到所述分组的内容指纹；然后根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系。
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组。根据所述已有分组和所述分组，得到所述分组和所述已有分组的重复内容；然后，获取重复内容信息，所述重复内容信息包括所述已有分组的分组标识，重复内容在所述已有分组中的起始偏移量和终止偏移量。
最后，用所述重复内容信息替换所述分组中的重复内容，得到去重后的分组。
所述交换矩阵203，用于将所述去重后的分组从所述入接口线卡201交换到所述出接口线卡204；
所述出接口线卡204，用于从所述出接口转发所述去重后的分组。
采用本发明实施例提供的技术方案，通过在网络设备的入接口部署去重功能，分组在入接口进行去重处理，统一缓存，不仅提升了缓存利用率，同时由于网络设备内部缓存和交换的是去重的数据分组，实现了网络设备内部和接口线卡的流量去重。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质可以是ROM/RAM，磁盘或光盘等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种网络去重的方法，其特征在于，包括：
从入接口接收分组；
根据所述分组的目的地址获取出接口；
在所述入接口上，根据所述分组和指纹算法，得到所述分组的内容指纹；
根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；
当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；
用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；
通过内部交换矩阵将所述去重后的分组从所述入接口交换到所述出接口。
2.根据权利要求1所述的方法，其特征在于，所述根据分组的目的地址获取出接口，具体包括：
根据所述分组的目的地址查询转发表，获取所述目的地址对应的出接口，所述转发表包括媒体访问控制MAC表或路由表。
3.一种网络去重的设备，其特征在于，包括入接口线卡，去重模块，交换矩阵和出接口线卡；其中：
所述入接口线卡，用于从入接口接收分组；还用于根据所述分组的目的地址获取出接口；
所述去重模块，用于根据所述分组和指纹算法，得到所述分组的内容指纹；根据所述出接口和所述内容指纹，查询内容指纹信息库，所述内容指纹信息库包括出接口，内容指纹和分组指针的对应关系；当所述出接口和所述内容指纹与内容指纹信息库中一条已有内容指纹信息中的出接口和内容指纹相同时，获取所述已有内容指纹信息中的分组指针对应的已有分组；根据所述已有分组和所述分组，得到所述分组与所述已有分组的重复内容，获取重复内容信息；所述重复内容信息包括所述已有分组的分组标识，所述重复内容在所述已有分组中的起始偏移量和终止偏移量；用所述重复内容信息替换所述分组中的所述重复内容，得到去重后的分组；所述交换矩阵，用于将所述去重后的分组从所述入接口线卡交换到所述出接口线卡；
所述出接口线卡，用于从所述出接口转发所述去重后的分组。
4.根据权利要求3所述的设备，其特征在于，所述入接口线卡具体用于：
根据所述分组的目的地址查询转发表，获取所述目的地址对应的出接口，所述转发表包括媒体访问控制MAC表或路由表。
5.根据权利要求3所述的设备，其特征在于，所述去重模块集成在所述入接口线卡上。
6.根据权利要求3所述的设备，其特征在于，所述去重模块还包括多个子模块，各个子模块和各个出接口分别对应。
CN201110164307.1A 2011-06-17 2011-06-17 一种网络去重的方法和设备 Expired - Fee Related CN102833146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110164307.1A CN102833146B (zh) 2011-06-17 2011-06-17 一种网络去重的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110164307.1A CN102833146B (zh) 2011-06-17 2011-06-17 一种网络去重的方法和设备

Publications (2)

Publication Number Publication Date
CN102833146A CN102833146A (zh) 2012-12-19
CN102833146B true CN102833146B (zh) 2015-07-22

Family

ID=47336122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110164307.1A Expired - Fee Related CN102833146B (zh) 2011-06-17 2011-06-17 一种网络去重的方法和设备

Country Status (1)

Country Link
CN (1) CN102833146B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608627A (zh) * 2016-02-01 2016-05-25 广东欧珀移动通信有限公司 基于社交网络平台的信息更新方法及装置
CN108923967B (zh) * 2018-06-27 2021-07-02 平安科技（深圳）有限公司 一种去重流量记录方法、装置、服务器及存储介质
CN109039947B (zh) * 2018-09-21 2022-07-05 广州西麦科技股份有限公司 网络包去重方法、装置、网络分流设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547363A (zh) * 2003-12-12 2004-11-17 港湾网络有限公司 组播跨板转发的控制方法
CN1933451A (zh) * 2006-10-26 2007-03-21 杭州华为三康技术有限公司 板间通信方法及接口板
CN201515383U (zh) * 2009-09-03 2010-06-23 上海帕科网络科技有限公司 广域数据服务装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547363A (zh) * 2003-12-12 2004-11-17 港湾网络有限公司 组播跨板转发的控制方法
CN1933451A (zh) * 2006-10-26 2007-03-21 杭州华为三康技术有限公司 板间通信方法及接口板
CN201515383U (zh) * 2009-09-03 2010-06-23 上海帕科网络科技有限公司 广域数据服务装置

Also Published As

Publication number Publication date
CN102833146A (zh) 2012-12-19

Similar Documents

Publication Publication Date Title
CN101645880B (zh) 基于线路捆绑的数据帧转发方法和装置
CN100531102C (zh) 路由表调整方法、路由查询方法和装置及路由表存储装置
US7801161B2 (en) Gigabit passive optical network (GPON) residential gateway
CN102413046B (zh) 借助虚拟路由器冗余协议备份组转发流量的方法及设备
EP2108224B1 (en) Multipath virtual router redundancy
CN100583801C (zh) 一种动态建立组播虚拟局域网域的方法、系统及交换设备
US9774932B2 (en) Method and apparatus for data packet switching, access switch and switching system
US20150254347A1 (en) System and method for direct storage access in a content-centric network
CN101170512B (zh) 报文业务处理方法
EP2208322B1 (en) A grid router
US8817799B2 (en) Network processor for supporting residential gateway applications
WO2018210169A1 (zh) 数据传输方法、装置、设备及系统
RU2517305C2 (ru) Центр обмена мультимедийными сообщениями и способ кэширования передаваемых им на мобильный телефон новостей
CN103314552B (zh) 使用非统一接收器的基于组的组播方法
KR20150007623A (ko) 패킷 전달 시스템에서의 보호 절체 방법 및 장치
CN102833146B (zh) 一种网络去重的方法和设备
CN101873186A (zh) 同步传输通道之间传输延时偏差补偿的方法、站点和系统
US8565234B1 (en) Multicast queueing in a switch
US20060123136A1 (en) Data transfer device
CN101605090A (zh) 无源光网络中动态主机配置协议二层中间代理的实现方法
CN100502365C (zh) 板间通信方法
CN106941450B (zh) 一种路由同步方法、设备及通信系统
CN107342949B (zh) 一种实现tdm与分组业务动态复用传输的装置、方法
CN102045259B (zh) 分组交换设备以及管理用户业务的方法
CN117014501A (zh) 基于可编程交换机的无状态SRv6服务链代理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150722

Termination date: 20180617