CN103942216A - 一种基于稀疏解析的索引信息存储、查询方法及存储系统 - Google Patents

一种基于稀疏解析的索引信息存储、查询方法及存储系统 Download PDF

Info

Publication number
CN103942216A
CN103942216A CN201310022000.7A CN201310022000A CN103942216A CN 103942216 A CN103942216 A CN 103942216A CN 201310022000 A CN201310022000 A CN 201310022000A CN 103942216 A CN103942216 A CN 103942216A
Authority
CN
China
Prior art keywords
index information
index
information
frame
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310022000.7A
Other languages
English (en)
Other versions
CN103942216B (zh
Inventor
倪宏
李军
李明哲
陈君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hiliway Digital Systems Co ltd
Institute of Acoustics CAS
Original Assignee
Beijing Hiliway Digital Systems Co ltd
Institute of Acoustics CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hiliway Digital Systems Co ltd, Institute of Acoustics CAS filed Critical Beijing Hiliway Digital Systems Co ltd
Priority to CN201310022000.7A priority Critical patent/CN103942216B/zh
Publication of CN103942216A publication Critical patent/CN103942216A/zh
Application granted granted Critical
Publication of CN103942216B publication Critical patent/CN103942216B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于稀疏解析的索引信息存储、查询方法及存储系统，所述存储方法包含：步骤101）用于将获得的索引内容进行快速稀疏化解析；步骤102）用于将快速稀疏化解析后的索引信息存储在设定的存储结构中，所述的设定的存储结构为：存放多个不同倍速子文件的索引参数，且与同一个倍速播放相关的所有帧描述信息为连续存放；其中，所述稀疏化解析得到的索引信息就是存储结构中的索引参数。所述步骤101）进一步包含：步骤101-1）根据Index内容的结构规范，首先获得索引头信息，所述索引头信息中包含该索引内容的总长度、描述信息、各子文件信息和帧索引信息；步骤101-2）根据各子文件播放倍速的比值进行帧索引信息的采样抽取，并解析抽取部分的帧索引信息。

Description

一种基于稀疏解析的索引信息存储、查询方法及存储系统
技术领域
本发明涉及流媒体服务器系统中索引信息存储结构设计、索引信息稀疏化解析、快速查询及缓存技术，具体本发明提供一种基于稀疏解析的索引信息存储、查询方法及存储系统。
背景技术
作为舆论传播的重要阵地，我国的广播电视快速发展。在未来国家信息化基础建设中，广播电视网络具有举足轻重的地位和作用，我们国家提出了加快发展NGB（Next Generation Broadcasting Network）的发展计划。NGB业务多以流媒体形式展开，流媒体服务是其核心技术之一。流媒体系统中索引信息的快速处理、查询和缓存直接影响流媒体服务系统的性能。为了提高流媒体服务系统的整体性能，需要解决索引信息的快速解析、查找和缓存。
由于流媒体服务系统内存空间有限，很难将所有内容的索引信息都直接缓存在内存中。此时，可考虑将解析后的索引信息在内存中的映像直接写入磁盘进行缓存，当有用户点播时再快速读取出来，从而提高系统性能。从磁盘中读写索引信息相对于直接访问内存中的索引信息，磁盘I/O操作比较耗时。要达到上述目的，就要求解析后内存中的索引信息尽量小，内存空间连续。新奥特（北京）视频技术有限公司申请的《一种支持TS流媒体文件帧精确定位的索引方法及系统》专利中公开了一种实现TS流媒体文件直接帧精确定位的索引方法，根据TS流媒体文件中的视音频数据流的基本信息生成索引文件的基本结构。这种方法只适用于直接从单个流媒体中生成索引信息，并不支持多个倍速子文件情况下索引信息的构建、查询及缓存。
发明内容
本发明的目的在于，为提高流媒体服务系统的性能，提出一种索引信息高效存储结构，同时提出一种索引内容稀疏化解析、快速查询和缓存方法。
为实现上述目的，本发明提供了一种基于稀疏解析的索引信息存储方法，所述方法包含：
步骤101）用于将获得的索引内容进行快速稀疏化解析；
步骤102）用于将快速稀疏化解析后的索引信息存储在设定的存储结构中，所述的设定的存储结构为：存放多个不同倍速子文件的索引参数，且与同一个倍速播放相关的所有帧描述信息为连续存放；其中，所述稀疏化解析得到的索引信息就是存储结构中的索引参数。
上述步骤101）进一步包含：
步骤101-1）根据Index内容的结构规范，首先获得索引头信息，所述索引头信息中包含该索引内容的总长度、描述信息、各子文件信息和帧索引信息；
步骤101-2）根据各子文件播放倍速的比值进行帧索引信息的采样抽取，并解析抽取部分的帧索引信息。
上述步骤102）之后还包含如下步骤：
使用内存中索引信息结构指针以及索引信息大小，将所述索引信息写入磁盘中进行缓存。
当需要从磁盘中恢复索引信息映像时，首先从磁盘中读出已缓存的索引信息到内存中，所述索引信息结构中包含其自身的结构信息，因此流媒体服务系统可直接用来查询。
基于上述存储方法中定义的存储方式本发明还提供了一种播放倍速切换查询方法，所述查询方法包含如下步骤：
步骤201）根据索引信息结构中的索引信息，设切换前播放内容的倍速m1、跳变时播放到的I帧序号p以及跳变后内容的倍速m2、跳变后开始播放的I帧序号为q，根据式q=(m2/m1)*p计算切换后的I帧序号；
步骤202）根据计算得到的I帧序号从索引信息结构中查询到该I帧在m2倍速子文件中的字节偏移，流媒体系统再从该字节偏移位置开始进行流化，完成播放内容的倍速切换。
基于上述方法，本发明还提供了一种基于稀疏解析的索引信息存储系统，所述系统包含：
稀疏化处理模块，用于将获得的索引内容进行快速稀疏化解析；
存储驱动模块，用于将快速稀疏化解析后的索引信息存储在设定的存储模块中；
所述的存储模块的存储结构为：存放多个不同倍速子文件的索引参数，且与同一个倍速播放相关的所有帧描述信息为连续存放。
上述稀疏化处理模块进一步包含：
索引头信息获取子模块，用于根据Index内容的结构规范，首先获得索引头信息，所述索引头信息中包含该索引内容的总长度、各子文件信息和帧索引信息；
采样抽取子模块，用于根据各子文件播放倍速的比值进行帧索引信息的采样抽取，并解析抽取部分的帧索引信息得到每个子文件的基本信息，所述基本信息包含该子文件中的I帧、P帧和B帧的数量。
上述系统还包含：
缓存驱动模块，用于使用内存中索引信息结构指针以及索引信息大小，将所述索引信息写入磁盘中进行缓存。
当需要从磁盘中恢复索引信息映像时，首先从磁盘中读出已缓存的索引信息到内存中，所述索引信息结构中包含其自身的结构信息，因此流媒体服务系统可直接用来查询。
本发明的优点在于，本发明提出的索引信息存储结构所占用内存连续，连续的内存空间对应该索引信息的内存映像可快速写入磁盘。同时采取稀疏化解析方法，减小了索引信息占用的内存空间，采用帧存储序号的关联关系的快速查询可大减少索引信息的查询时间。另外，由于索引信息存储结构中除了存储索引信息外还包含该结构本身的结构信息，因此流媒体服务系统可快速地读取缓存在磁盘中的索引信息映像到内存直接使用。
附图说明
图1为本发明的索引内容稀疏化解析示意图；
图2为本发明的解析流程图；
图3为本发明的索引信息查询示意图；
图4为本发明的索引内容缓存和恢复示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细的说明。
本发明提供一种流媒体系统中索引信息管理方法：索引信息采用同倍速连续存储结构，其内存映像可直接磁盘存储；对视频的原始索引信息进行稀疏化处理，减少信息空间大小；基于帧存储序号的关联关系，进行不同倍速播放切换的定位；
上述索引信息的存储结构为：包含多个不同倍速子文件的索引参数，与同一个倍速播放相关的所有帧描述信息为连续存放。
上述方案包括但不仅限于对I、B、P帧索引信息按照各不同子文件的倍速比值进行采样抽取。
上述方案基于切换前播放内容的倍速值m1、已播放到的I帧序号p以及切换后内容的倍速值m2，根据公式q=(m2/m1)*p计算切换后的I帧序号q，再根据该I帧序号从索引信息结构中查询到对应I帧的字节偏移。
综上所述，本发明提出一种索引信息高效存储结构，该结构包含多个不同倍速子文件的索引参数，与同一个倍速播放相关的所有帧描述信息为连续存放。
本发明提出一种索引内容稀疏化解析：在完成索引头信息和VOD资产信息的解析后，根据已经解析得到的子文件数量依次解析得到每个子文件的基本信息，每个子文件基本信息中都包括该子文件中I帧、P帧、B帧的数量。在解析索引信息时，由于随着点播内容码率及内容时间的增加，其I帧数量越来越大，如果全部存储原始索引内容中的I帧、P帧和B帧索引信息，将导致索引信息结构占用过大的内存空间。因此，本发明方法采取稀疏化的方法，可根据各子文件播放倍速的比值进行帧索引信息的采样抽取。解析抽取部分帧索引信息，保证索引信息可用性的同时减小其占用的内存空间。
基于帧存储序号的关联关系，索引信息结构快速查询方法，包含：流媒体服务系统中最常见的查询为内容播放倍速切换查询，即在不同的倍速文件之间进行切换前后的I帧字节偏移查询。根据索引信息结构中的索引信息，设切换前播放内容的倍速m1、跳变时播放到的I帧序号p以及跳变后内容的倍速m2、跳变后开始播放的I帧序号为q，根据式q=(m2/m1)*p可计算切换后的I帧序号，再根据I帧序号可从索引信息结构中查询到该I帧在m2倍速子文件中的字节偏移。流媒体系统再从该字节偏移位置开始进行流化，完成播放内容的倍速切换。
本发明提出一种index索引信息的快速缓存与映像恢复方法，包含：流媒体服务系统中，根据点播内容时长及内容码率的不同，索引内容大小不同，它们之间成正比例关系。根据统计，一个播放时长为62分钟、码率为7.5Mbps的点播内容，其I帧数量为3700个，index索引内容大小为3.5M字节，解析完后的索引信息占用的内存空间为512K字节左右，如果考虑不存储B帧和P帧的索引信息，则解析后的索引信息占用空间为100K字节左右。同时，索引信息在内存中占用空间连续，使用内存中索引信息结构指针以及索引信息大小，可将其快速地写入磁盘中，达到缓存的目的。
当需要从磁盘中恢复索引信息映像时，首先从磁盘中读出已缓存的索引信息到内存中，由于该信息结构中包含其自身的结构信息，因此流媒体服务系统可直接用来查询。
本发明首先提出一种高效的索引信息存储结构。在获得索引内容后进行快速稀疏化解析，并将得到的索引信息存储在该结构中，提供快速查询；同时可以将该结构的内存映像快速地缓存到硬件设备中，并可以快速地从硬件设备映射到内存映像，以达到索引信息缓存的目的。
本发明提出一种索引内容稀疏化解析和快速查询方法，根据各子文件播放倍速的比值进行帧索引信息的采样，抽取部分帧索引信息解析，保证索引信息可用性的同时减小其占用的内存空间。图1为本发明的一种稀疏化方法实施例，针对1、±2、±4、±8、±16、±32倍速（其中正倍速表示快进文件，负的倍速表示快退文件）的播放子文件，其在索引内容中的帧索引按照1:2:4:8:16:32的比例解析抽取。其它合适的稀疏化方法也同样适用。
如图2为本发明的索引内容解析模块的具体实施框图，根据Index内容的结构规范，首先获得索引头信息，头信息中包含该索引内容的总长度、各子文件信息、帧索引信息及其他可用信息；根据已经解析得到的子文件数量依次解析得到每个子文件的基本信息，每个子文件基本信息中都包括该子文件中I帧、P帧、B帧的数量。在解析索引信息时，由于随着点播内容码率及内容时间的增加，其I帧数量越来越大，如果全部存储原始索引内容中的I帧、P帧和B帧索引信息，将导致索引信息结构占用过大的内存空间。因此，在解析索引信息过程中采取稀疏化的方法减小其大小。
如图3为索引信息查询方法，主要包括NPT时间查询、子文件信息查询、帧字节偏移查询等。对于播放内容的切换查询，即在不同的倍速文件之间进行切换前后的I帧字节偏移查询，根据索引信息结构中的索引信息，设切换前播放内容的倍速m1、
跳变时播放到的I帧序号p以及跳变后内容的倍速m2、跳变后开始播放的I帧序号为q，根据式q=(m2/m1)*p可计算切换后的I帧序号，再根据I帧序号可从索引信息结构中查询到该I帧在m2倍速子文件中的字节偏移。流媒体系统再从该字节偏移位置开始进行流化，完成播放内容的倍速切换。
如图4为索引信息快速缓存与恢复方法。主要包括索引信息结构的分配和释放，以及快速缓存与恢复。由于同倍速子文件的帧索引信息连续存放，因此可直接索引信息的内存映像直接写入磁盘达到缓存的目的。在流媒体系统需要该索引信息时直接从磁盘读入内存就可直接进行查询。
总之，本发明提供了一种流媒体系统中索引信息管理方法，所述方法包含：设计一种内存占用连续的index信息存储数据结构，一种index内容稀疏化解析和快速查询的方法。从index内容解析得到最终的index索引信息，将索引信息存储在该数据结构中，可进行快速查询、内存映像快速缓存与恢复，从而提高流媒体服务系统性能。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于稀疏解析的索引信息存储方法，所述方法包含：
步骤101）用于将获得的索引内容进行快速稀疏化解析；
步骤102）用于将快速稀疏化解析后的索引信息存储在设定的存储结构中，所述的设定的存储结构为：存放多个不同倍速子文件的索引参数，且与同一个倍速播放相关的所有帧描述信息为连续存放；其中，所述稀疏化解析得到的索引信息为存储结构中存储的索引参数。
2.根据权利要求1所述的基于稀疏解析的索引信息存储方法，其特征在于，所述步骤101）进一步包含：
步骤101-1）根据Index内容的结构规范，首先获得索引头信息，所述索引头信息中包含该索引内容的总长度、描述信息、各子文件信息和帧索引信息；
步骤101-2）根据各子文件播放倍速的比值进行帧索引信息的采样抽取，并解析抽取部分的帧索引信息。
3.根据权利要求1所述的基于稀疏解析的索引信息存储方法，其特征在于，所述步骤102）之后还包含如下步骤：
使用内存中索引信息结构指针以及索引信息大小，将所述索引信息写入磁盘中进行缓存。
4.根据权利要求3所述的基于稀疏解析的索引信息存储方法，其特征在于，当需要从磁盘中恢复索引信息映像时，首先从磁盘中读出已缓存的索引信息到内存中，所述索引信息结构中包含其自身的结构信息。
5.一种播放倍速切换查询方法，该方法基于权利要求1的索引信息存储方法存储的索引信息进行查询，所述查询方法包含如下步骤：
步骤201）根据索引信息结构中的索引信息，设切换前播放内容的倍速m1、跳变时播放到的I帧序号p以及跳变后内容的倍速m2、跳变后开始播放的I帧序号为q，根据式q=(m2/m1)*p计算切换后的I帧序号；
步骤202）根据计算得到的I帧序号从索引信息结构中查询到该I帧在m2倍速子文件中的字节偏移，流媒体系统再从该字节偏移位置开始进行流化，完成播放内容的倍速切换。
6.一种基于稀疏解析的索引信息存储系统，所述系统包含：
稀疏化处理模块，用于将获得的索引内容进行快速稀疏化解析；
存储驱动模块，用于将快速稀疏化解析后的索引信息存储在设定的存储模块中；
所述的存储模块的存储结构为：存放多个不同倍速子文件的索引参数，且与同一个倍速播放相关的所有帧描述信息为连续存放。
7.根据权利要求6所述的基于稀疏解析的索引信息存储系统，其特征在于，所述稀疏化处理模块进一步包含：
索引头信息获取子模块，用于根据Index内容的结构规范，首先获得索引头信息，所述索引头信息中包含该索引内容的总长度、各子文件信息和帧索引信息；
采样抽取子模块，用于根据各子文件播放倍速的比值进行帧索引信息的采样抽取，并解析抽取部分的帧索引信息得到每个子文件的基本信息，所述基本信息包含该子文件中的I帧、P帧和B帧的数量。
8.根据权利要求6所述的基于稀疏解析的索引信息存储系统，其特征在于，所述系统还包含：
缓存驱动模块，用于使用内存中索引信息结构指针以及索引信息大小，将所述索引信息写入磁盘中进行缓存。
9.根据权利要求8所述的基于稀疏解析的索引信息存储系统，其特征在于，当需要从磁盘中恢复索引信息映像时，首先从磁盘中读出已缓存的索引信息到内存中，所述索引信息结构中包含其自身的结构信息，因此流媒体服务系统可直接用来查询。
CN201310022000.7A 2013-01-21 2013-01-21 一种基于稀疏解析的索引信息存储、查询方法及存储系统 Expired - Fee Related CN103942216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310022000.7A CN103942216B (zh) 2013-01-21 2013-01-21 一种基于稀疏解析的索引信息存储、查询方法及存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310022000.7A CN103942216B (zh) 2013-01-21 2013-01-21 一种基于稀疏解析的索引信息存储、查询方法及存储系统

Publications (2)

Publication Number Publication Date
CN103942216A true CN103942216A (zh) 2014-07-23
CN103942216B CN103942216B (zh) 2017-12-29

Family

ID=51189886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310022000.7A Expired - Fee Related CN103942216B (zh) 2013-01-21 2013-01-21 一种基于稀疏解析的索引信息存储、查询方法及存储系统

Country Status (1)

Country Link
CN (1) CN103942216B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018323A (zh) * 2007-02-08 2007-08-15 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
CN102025956A (zh) * 2009-09-23 2011-04-20 华为技术有限公司 网络流媒体快进快退播放的处理方法、装置和系统
CN102231826A (zh) * 2011-03-14 2011-11-02 新奥特（北京）视频技术有限公司 一种支持ts流媒体文件帧精确定位的索引方法及系统
CN102487458A (zh) * 2010-12-02 2012-06-06 中兴通讯股份有限公司 Ts文件的播放处理方法及装置
CN102761524A (zh) * 2011-04-27 2012-10-31 中兴通讯股份有限公司 一种流媒体存储、播放方法及相应系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018323A (zh) * 2007-02-08 2007-08-15 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
CN102025956A (zh) * 2009-09-23 2011-04-20 华为技术有限公司 网络流媒体快进快退播放的处理方法、装置和系统
CN102487458A (zh) * 2010-12-02 2012-06-06 中兴通讯股份有限公司 Ts文件的播放处理方法及装置
CN102231826A (zh) * 2011-03-14 2011-11-02 新奥特（北京）视频技术有限公司 一种支持ts流媒体文件帧精确定位的索引方法及系统
CN102761524A (zh) * 2011-04-27 2012-10-31 中兴通讯股份有限公司 一种流媒体存储、播放方法及相应系统

Also Published As

Publication number Publication date
CN103942216B (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
US8886896B2 (en) Storage format for media streams
JP5666477B2 (ja) ビデオストリーミングのシームレスな巻戻しおよび再生のためのサーバー側サポート
WO2019134470A1 (zh) 视频直播方法及装置
CN104572952B (zh) 直播多媒体文件的识别方法及装置
US20110191447A1 (en) Content distribution system
WO2018076998A1 (zh) 一种回放视频文件的生成方法和装置
JP2000513177A (ja) 対象物をベースとするオーディオ・ビジュアル情報を処理するためのシステムおよび方法
WO2009070936A1 (fr) Procédé de publication et de mémorisation de contenu pour un système de distribution multimédia de télévision personnel interactif
CN108881942B (zh) 一种基于分布式对象存储的超融合常态录播系统
US20170123713A1 (en) Device and process for data storage and read/write efficiency
CN102438004B (zh) 获取媒体文件的元数据信息的方法、系统及多媒体播放器
CN103299600A (zh) 用于传输直播媒体内容的装置和方法
CN102968422A (zh) 流数据存储控制系统及其方法
CN104581406A (zh) 一种网络视频录像与回放系统和方法
WO2012146098A1 (zh) 一种流媒体存储、播放方法及相应系统
CN102497542A (zh) 一种视频定位回放系统及方法
CN103369351A (zh) 一种流媒体快进快退的处理方法、视频服务器及系统
CN102387347A (zh) 基于ip-san直存技术的视频存储及即时回放系统
CN109168020A (zh) 基于直播的视频处理方法、装置、计算设备和存储介质
CN102510519A (zh) 流媒体数据的处理方法、播放方法以及装置
CN110784741A (zh) 媒体数据的时移响应方法及装置
CN102204266B (zh) 线性提示视频流
CN109802992B (zh) 一种资源变化日志读写的方法和装置
CN107659626B (zh) 面向临时元数据的分离存储方法
CN103761194B (zh) 一种内存管理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171229

Termination date: 20210121