CN101252595B - 基于广播、ftp的双模式传输方法 - Google Patents

基于广播、ftp的双模式传输方法 Download PDF

Info

Publication number
CN101252595B
CN101252595B CN2008100351055A CN200810035105A CN101252595B CN 101252595 B CN101252595 B CN 101252595B CN 2008100351055 A CN2008100351055 A CN 2008100351055A CN 200810035105 A CN200810035105 A CN 200810035105A CN 101252595 B CN101252595 B CN 101252595B
Authority
CN
China
Prior art keywords
file
files
blocks
download
ftp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008100351055A
Other languages
English (en)
Other versions
CN101252595A (zh
Inventor
刘显斌
顾沛峰
陈雷鸣
杨璿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI MEDIA & ENTERTAINMENT TECHNOLOGY GROUP
Original Assignee
EMERGING MEDIA Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMERGING MEDIA Co Ltd filed Critical EMERGING MEDIA Co Ltd
Priority to CN2008100351055A priority Critical patent/CN101252595B/zh
Publication of CN101252595A publication Critical patent/CN101252595A/zh
Application granted granted Critical
Publication of CN101252595B publication Critical patent/CN101252595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于广播、FTP的双模式传输方法，是以主下载模式为广播，以TS流中获取的文件块为主，在从TS流中获取的文件块出错、遗失时使用FTP重新下载该文件块，进行补点操作。本发明的优点是提高了下载的效率，不必等到下一个文件轮放周期才能获取到该文件块，使其在各种环境下都能达到较好的传输效果。

Description

基于广播、FTP的双模式传输方法
技术领域
本发明涉及一种数字电视领域传输流(Transport Stream，简称为TS流)的文件传输方法，特别涉及一种以TS流传输文件为主，以FTP协议为辅的文件传输方法。
背景技术
现代社会是一个信息爆炸的社会，归功于互联网的普及，人们可以迅速地获得各种信息，有信息就存在信息的传输，电台电视台的音视频广播、互联网上的文件传输等等都属于信息的传输。信息的传输存在多种方式，比如文件传输，在互联网上就存在基于客户端/服务器模式的FTP传输方式，在电台电视台的音视频广播TS流中存在基于DSM-CC协议的广播式文件传输方式。这两种传输方式各有所长，适用于不同的传输环境。
TS流中基于DSM-CC协议的文件传输方式特别适合于广播方式的文件传输，该协议将文件分成小块，按照固定的顺序一遍又一遍的发送出去，这个过程称为文件轮放。多个终端可以从同一路TS流中获取到自己需要的文件，但是当终端遗漏了某个文件块时，则必须等待一个文件轮放周期才能再次收到该文件块。
FTP传输方式适合于较少数量的客户端到同一个文件下载服务器上下载文件。该协议允许客户端从文件的任意位置开始下载，某处下载出错时可以要求服务器重新传送，灵活性高，但是服务器需要响应、维护每个客户端的连接，当客户端数量较多时，每个客户端分配到的带宽会减少，过多的客户端数量甚至会造成服务器的崩溃、死机。
发明内容
本发明的技术问题是要提供一种以广播方式为主，FTP补点为辅助，两种传输方式取长补短，使其在各种环境下都能达到较好的传输效果的基于广播、FTP的双模式传输方法。
为了解决以上的技术问题，本发明提供了一种基于广播、FTP的双模式传输方法，该传输方法是以基于DSM-CC协议的广播模式为主，以FTP补点下载模式为辅。
一个文件分成若干文件块，每个文件都有两种模式的下载源，既可以从广播模式的DSM-CC数据流中获取文件块，也可以使用FTP方式从互联网上获取。在以DSM-CC协议为主要下载方式的机顶盒中，主下载模式为广播，以TS流中获取的文件块为主，在从TS流中获取的文件块出错、遗失时使用FTP重新下载该文件块，进行补点操作，这样就不必等到下一个文件轮放周期才能获取到该文件块了。
该传输方法的步骤是：
1)DSM-CC文件下载服务器和FTP文件下载服务器对同一文件名进行预处理，得到相同的文件标识，即文件名加上CRC32值；
2)DSM-CC文件下载服务器划分文件块，将该文件的信息编码生成相应的DSM-CC表格；
3)TS流文件轮放；
4)客户端从TS流中解码出各个文件的信息，创建对应的文件，开始接收文件块，进行文件下载；
5)判断文件是否遗漏；是，转第8)步；
6)否，验证文件的CRC32值；不相等，删除文件，重新下载；
7)相等，下载成功，还原文件名，即删除CRC32值；
8)将遗漏的文件名标识发给FTP文件下载服务器，提出补点下载的请求；
9)计算出遗漏文件块的偏移量offset，请求下载；
10)下载文件块，达到规定的文件块大小BlockSize时，停止下载；
11)将文件块发送给客户端，完成补点下载。
各个下载源都遵循相同的文件标识协议，使得客户端的两种下载模式都可以正确的识别文件，因此使用文件名及文件的CRC32值共同作为文件的标识。首先比较文件名，如果文件名不同，则判定两个文件不同；如果文件名相同，则比较两个文件的CRC32值，相同则判定是同一个文件，不同则判定为不同的文件。由于FTP协议仅使用文件名作为文件标识，为了减少查询CRC32值时的额外开销，特将下载源的文件进行预处理，所有文件的文件名后增加一对中括号，中括号内添加该文件的CRC32值，如一个文件原名为test.mp3，其CRC32值为0x01234567，则经过预处理后的文件名为test.mp3[01234567]。经过预处理，仅使用文件名加上CRC32值就作为文件的标识了。文件下载完毕后，需要计算该文件的CRC32值，看是否与文件名中的CRC32值相等。如果相等，则文件正确，下载成功；如果不相等，则文件下载出错，删除该文件，重新下载。下载成功后，可以删除文件名中的CRC32值，还原出原文件名。该文件标识协议需要服务器维护相同的文件的文件名在不同的下载源上的不变性，以及预处理时的正确性。
所述的DSM-CC文件下载服务器划分文件块，将该文件的信息编码生成相应的DSM-CC表格，该方法是：
1)DSM-CC协议将每个文件块定义为一个Block，同一传输通道中所有文件块Block的长度相同，该值称为文件块大小(BlockSize)，取值范围为1字节～4066字节；
2)根据文件的大小和文件块大小(BlockSize)，计算出该文件的块数(BlockNum)；
3)将该文件的信息编码生成相应的DSM-CC表格，该DSM-CC表格中携带有该文件名、文件大小、文件块大小(BlockSize)、块数(BlockNum)，还有BlockIndex字段用于描述该表格携带的Block序号。
DSM-CC协议将每个文件块定义为一个Block，同一个传输通道中所有Block的长度必须相同，该值称为文件块大小(BlockSize)，(文件结尾处的那个Block可以例外，因为文件长度通常不能被BlockSize整除)，取值范围为1字节到4066字节，通常取最大值，这样TS传输通道的有效负载率才能达到最高。根据文件的大小和BlockSize可以计算出该文件的块数(BlockNum)。DSM-CC协议在TS流中的表现形式是DSM-CC表格。DSM-CC表格中携带有文件名、文件大小、BlockSize、BlockNum这些文件描述信息，此外还有BlockIndex字段用于描述该表格携带的Block的序号，使用表格的表格长度(SectionLength)字段可以计算出该表格携带的Block的长度(文件结尾处的Block的长度可能会小于BlockSize)，用于定位其在整个文件中的位置。
TS流下载模块对每个文件都维护一张表格，记录其各个Block的下载情况，如果客户端在TS流下载过程中没有出现丢包等现象，则表格中下载完毕的文件块将会是连续排列的；如果在下载过程中出现丢包，遗漏了某些文件块没有下载，则表格中连续排列的下载完毕的文件块中会出现一些没有下载完毕的文件块。当出现第一个遗漏的文件块时，TS流下载模块即可对FTP下载模块发出请求，进行补点下载。当补点完一个遗漏的文件块后，如果后续还有遗漏的块的话，继续进行补点。
所述的计算遗漏文件块的偏移量offset，该方法是：
1)先获取需要补点Block的BlockIndex字段；
2)偏移量offset＝BlockIndex×BlockSize(BlockIndex从0开始)，FTP协议即可定位需要下载的文件块位置及长度。
FTP协议使用偏移量作为文件下载起始位置的标识。偏移量即下载位置距离文件第一个字节的字节数，当使用FTP对TS流下载的文件进行补点操作时，首先获取需要补点的Block的BlockIndex，然后计算该Block的偏移量。计算公式如下：
偏移量＝BlockIndex×BlockSize(BlockIndex从0开始)
需要下载的文件块长度即为BlockSize(最后一个文件块需视情况另行计算)，由此FTP协议即可定位需要下载的文件块位置及长度了。
本发明的优越功效在于：
1)本发明以广播方式为主，FTP补点为辅助，取长补短，提高了下载的效率；
2)本发明的传输方法使其在各种环境下都能达到较好的传输效果。
附图说明
图1为本发明的传输流程图。
具体实施方式
请参阅附图所示，对本发明作进一步的描述。
如图1所示，本发明提供了一种基于广播、FTP的双模式传输方法，现以机顶盒以接收功能为主的设备为例，DSM-CC文件下载服务器和FTP文件下载服务器都使用文件名及文件的CRC32值作为文件标识，在文件下载前，对所有文件的文件名进行预处理，所有文件的文件名后增加一对中括号，中括号内添加该文件的CRC32值。
DSM-CC文件下载服务器使用4066作为BlockSize的预设值对各个文件来划分Block，然后将各个文件的文件名、文件长度、文件块大小(BlockSize)、文件块数(BlockNum)、文件块序号(BlockIndex)的描述信息编码到对应的DSM-CC表格中，通过TS流发送出去。
机顶盒接收终端从作为主下载模式的TS流中解码出各个文件的描述信息，然后创建对应的文件，开始接收文件块，进行文件下载。当发现遗漏了某些文件块没有下载到时，则将该文件的文件名及CRC32值、BlockSize、遗漏文件块的BlockIndex发送给FTP下载模块，请求补点下载。
FTP下载模块在收到补点请求后，根据BlockSize和BlockIndex计算出要补点的文件块的偏移量offset，然后向FTP文件下载服务器发送下载请求，从对应文件的offset处开始下载。当下载的数据量达到BlockSize后，即获得了需要补点的文件块。此时停止下载，并将该文件块发给TS流下载模块，完成补点。
当一个文件所有的文件块都下载完毕后，计算该文件的CRC32值，看是否与文件名中的CRC32值相等。如果相等，则文件正确，下载成功，删除文件名中的CRC32值，还原出原文件名；如果不相等，则文件下载出错，删除该文件，重新下载。

Claims (3)

1.一种基于广播、FTP的双模式传输方法，其特征在于：
该传输方法是以基于DSM-CC协议的广播模式为主，以FTP补点下载模式为辅，该传输方法的步骤是：
1)DSM-CC文件下载服务器和FTP文件下载服务器对同一文件名进行预处理，得到相同的文件标识，即文件名加上CRC32值；
2)DSM-CC文件下载服务器划分文件块，将该文件的信息编码生成相应的DSM-CC表格；
3)TS流文件轮放；
4)客户端从TS流中解码出各个文件的信息，创建对应的文件，开始接收文件块，进行文件下载；
5)判断文件是否遗漏；
存在遗漏，执行以下的步骤：
①将遗漏的文件名标识发给FTP文件下载服务器，提出补点下载的请求；
②计算出遗漏文件块的偏移量offset，请求下载；
③下载文件块，达到规定的文件块大小BlockSize时，停止下载；
④将文件块发送给客户端，完成补点下载；
6)不存在遗漏，下载完毕，验证文件的CRC32值；不相等，删除文件，重新下载；
7)相等，下载成功，还原文件名，即删除CRC32值。
2.根据权利要求1所述的一种基于广播、FTP的双模式传输方法，其特征在于：
所述DSM-CC文件下载服务器划分文件块，将该文件的信息编码生成相应的DSM-CC表格的方法是：
1)DSM-CC协议将每个文件块定义为一个Block，同一传输通道中所有文件块Block的长度相同，该值称为文件块大小，取值范围为1字节～4066字节；
2)根据文件的大小和文件块大小，计算出该文件的块数；
3)将该文件的信息编码生成相应的DSM-CC表格，该DSM-CC表格中携带有该文件名、文件大小、文件块大小、块数，还有BlockIndex字段用于描述该表格携带的Block序号。
3.根据权利要求2所述的一种基于广播、FTP的双模式传输方法，其特征在于：
所述计算遗漏文件块的偏移量offset的方法是：
1)先获取需要补点Block的BlockIndex字段；
2)偏移量offset＝BlockIndex×文件块大小，BlockIndex从0开始，FTP协议即可定位需要下载的文件块位置及长度。
CN2008100351055A 2008-03-25 2008-03-25 基于广播、ftp的双模式传输方法 Active CN101252595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100351055A CN101252595B (zh) 2008-03-25 2008-03-25 基于广播、ftp的双模式传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100351055A CN101252595B (zh) 2008-03-25 2008-03-25 基于广播、ftp的双模式传输方法

Publications (2)

Publication Number Publication Date
CN101252595A CN101252595A (zh) 2008-08-27
CN101252595B true CN101252595B (zh) 2010-11-10

Family

ID=39955778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100351055A Active CN101252595B (zh) 2008-03-25 2008-03-25 基于广播、ftp的双模式传输方法

Country Status (1)

Country Link
CN (1) CN101252595B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3018413B1 (fr) * 2014-03-07 2016-03-18 Peugeot Citroen Automobiles Sa Procede et systeme pour le telechargement accelere de donnees

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1107600A1 (en) * 1999-12-07 2001-06-13 Sony Service Center (Europe) N.V. Method and system for optimising a data carousel
CN1389062A (zh) * 2000-06-30 2003-01-01 皇家菲利浦电子有限公司 对象转盘的有效录制
CN1466382A (zh) * 2002-07-04 2004-01-07 上海高清数字技术创新中心 基于数据转盘的目录文件系统的传输方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1107600A1 (en) * 1999-12-07 2001-06-13 Sony Service Center (Europe) N.V. Method and system for optimising a data carousel
CN1389062A (zh) * 2000-06-30 2003-01-01 皇家菲利浦电子有限公司 对象转盘的有效录制
CN1466382A (zh) * 2002-07-04 2004-01-07 上海高清数字技术创新中心 基于数据转盘的目录文件系统的传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CN 1389062 A,全文.
CN 1466382 A,全文.

Also Published As

Publication number Publication date
CN101252595A (zh) 2008-08-27

Similar Documents

Publication Publication Date Title
KR101274422B1 (ko) 미디어 컨테이너 파일 관리
EP2175687A1 (en) System and method for updating difference of electronic service guide
CN107124668B (zh) 流式传输装置及方法、流式传输服务系统及记录介质
KR101569942B1 (ko) 네트워크에서 소프트웨어 다운로드하기 위한 방법 및 장치
CN101651719B (zh) 通信系统、均衡服务器及数据验证方法
AU2003246328A1 (en) Digital signatures for digital television applications
CN101848188A (zh) 对数据块校验信息进行更新的方法和装置
CN103347092A (zh) 一种识别缓存文件的方法及装置
CN101472050A (zh) 一种软件升级方法、系统、数字电视接收终端及服务器
CN101510898A (zh) 一种数据下载和上传的实现方法、网络节点及通信系统
CN105191293A (zh) 广告下载验证
CN112839003A (zh) 数据校验方法及系统
CN101330510A (zh) 下发目录树数据的方法、系统和服务器，以及一种客户端
CN111694502B (zh) 区块链数据存储方法、装置、设备及存储介质
CN101252595B (zh) 基于广播、ftp的双模式传输方法
CN101902613A (zh) Iptv系统中信息同步方法及系统、机顶盒和服务器
CN105580386A (zh) 接收设备、广播设备、服务器设备以及接收方法
CN107613016B (zh) 文件批量下载方法、客户端、分发服务器及系统
CN103118045A (zh) 一种离线下载的方法及系统
CN103118049A (zh) 一种通过网络缓存下载文件的方法和系统
CN111695098A (zh) 多分布式集群访问方法及装置
CN109996096B (zh) 区域epg管理系统、分发系统及分发方法
CN109471723B (zh) 一种用于对任务的处理结果进行验证的方法及系统
CN110895583B (zh) 数据资源获取的方法、装置和系统
CN1949761B (zh) 一种数据同步方法及其差分编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SHANGHAI XINXING MEDIA INFORMATION COMMUNICATION C

Free format text: FORMER OWNER: SHANGHAI WENGUANG TECHNOLOGY DEVELOPMENT CO., LTD.

Effective date: 20100903

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 200041 3/F, NO.15, LANE 647, WEIHAI ROAD, SHANGHAI TO: 200072 BUILDING 13, NO.757, GUANGZHONG WEST ROAD, SHANGHAI

TA01 Transfer of patent application right

Effective date of registration: 20100903

Address after: Shanghai City, No. 757 West Guangzhong road 200072 13 floor

Applicant after: EMERGING MEDIA Co.,Ltd.

Address before: 200041 building 15, No. 647, Weihai Road, Shanghai, 3

Applicant before: Shanghai Wenguang Technology Development Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHANGHAI MEDIA + ENTERTAINMENT TECHNOLOGY (GROUP)

Free format text: FORMER OWNER: SHANGHAI XINXING MEDIA INFORMATION COMMUNICATION CO., LTD.

Effective date: 20110316

Owner name: SHANGHAI XINXING MEDIA INFORMATION COMMUNICATION C

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 200072 BUILDING 13, NO. 757, GUANGZHONG WEST ROAD, SHANGHAI TO: 200072 BUILDING 16, NO. 757, GUANGZHONG WEST ROAD, SHANGHAI

TR01 Transfer of patent right

Effective date of registration: 20110316

Address after: Shanghai City, No. 757 West Guangzhong road 200072 16 floor

Co-patentee after: EMERGING MEDIA Co.,Ltd.

Patentee after: SHANGHAI MEDIA & ENTERTAINMENT TECHNOLOGY Group

Address before: Shanghai City, No. 757 West Guangzhong road 200072 13 floor

Patentee before: EMERGING MEDIA Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230616

Address after: Room 1601, 757 Guangzhong West Road, Jing'an District, Shanghai 200072

Patentee after: SHANGHAI MEDIA & ENTERTAINMENT TECHNOLOGY Group

Address before: 16 / F, 757 Guangzhong West Road, Shanghai 200072

Patentee before: SHANGHAI MEDIA & ENTERTAINMENT TECHNOLOGY Group

Patentee before: EMERGING MEDIA Co.,Ltd.