CN105959720A - 一种视频流数据处理方法 - Google Patents

一种视频流数据处理方法 Download PDF

Info

Publication number
CN105959720A
CN105959720A CN201610277458.0A CN201610277458A CN105959720A CN 105959720 A CN105959720 A CN 105959720A CN 201610277458 A CN201610277458 A CN 201610277458A CN 105959720 A CN105959720 A CN 105959720A
Authority
CN
China
Prior art keywords
data
data block
block file
video stream
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610277458.0A
Other languages
English (en)
Other versions
CN105959720B (zh
Inventor
向敏明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jike Intelligent Technology Co ltd
Original Assignee
Dongguan Huarui Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Huarui Electronic Technology Co Ltd filed Critical Dongguan Huarui Electronic Technology Co Ltd
Priority to CN201610277458.0A priority Critical patent/CN105959720B/zh
Publication of CN105959720A publication Critical patent/CN105959720A/zh
Application granted granted Critical
Publication of CN105959720B publication Critical patent/CN105959720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频流数据处理方法。本发明实施例方法包括：采集视频流数据，并进行压缩编码得到编码视频流；对所述编码视频流建立关联索引信息；对所述编码视频流进行格式转换得到第一目标视频流，所述第一目标视频流的数据格式为所述分布式文件系统支持的格式；在所述分布式文件系统中分配至少两个数据块文件；将每个数据块文件至少划分为第一部分和第二部分；将所述第一目标视频流数据优先存储于各数据块文件的第一部分，当第一部分存储满后，则继续存储至第二部分。

Description

一种视频流数据处理方法
技术领域
本发明涉及数据处理领域，尤其涉及一种视频流数据处理方法。
背景技术
随着信息化时代的到来，数据采集已成为一种非常常见的手段，尤其是视频流数据的采集，但是视频流数据的采集量越来越大，受到计算机资源瓶颈的限制，难以针对海量视频流数据进行采集和提取。
发明内容
本发明实施例提供了一种视频流数据的录像与回放方法及装置，能够通过分布式文件系统进行数据的采集和提取。
本发明实施例方法包括：采集视频流数据，并进行压缩编码得到编码视频流；
对所述编码视频流建立关联索引信息；
对所述编码视频流进行格式转换得到第一目标视频流，所述第一目标视频流的数据格式为所述分布式文件系统支持的格式；
在所述分布式文件系统中分配至少两个数据块文件；
将每个数据块文件至少划分为第一部分和第二部分；
将所述第一目标视频流数据优先存储于各数据块文件的第一部分，当第一部分存储满后，则继续存储至第二部分。
从以上技术方案可以看出，本发明实施例具有以下优点：本发明实施例利用了分布式文件系统的特性，能够实现大量数据的离线与实时处理。
附图说明
图1为本发明实施例方法流程示意图；
图2为本发明实施例分布式文件系统结构图；
图3为本发明实施例多路视频流数据并行处理框架结构图。
具体实施方式
本发明实施例提供了一种视频流数据的录像与回放方法及装置，能够实现大量数据的离线与实时处理。
为便于理解，首先介绍一下分布式文件系统：
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。
文件系统最初设计时，仅仅是为局域网内的本地数据服务的。而分布式文件系统将服务范围扩展到了整个网络。不仅改变了数据的存储和管理方式，也拥有了本地文件系统所无法具备的数据备份、数据安全等优点。判断一个分布式文件系统是否优秀，取决于以下三个因素：
1数据的存储方式，例如有1000万个数据文件，可以在一个节点存储全部数据文件，在其他N个节点上每个节点存储1000/N万个数据文件作为备份；或者平均分配到N个节点上存储，每个节点上存储1000/N万个数据文件。无论采取何种存储方式，目的都是为了保证数据的存储安全和方便获取。
2数据的读取速率，包括响应用户读取数据文件的请求、定位数据文件所在的节点、读取实际硬盘中数据文件的时间、不同节点间的数据传输时间以及一部分处理器的处理时间等。各种因素决定了分布式文件系统的用户体验。即分布式文件系统中数据的读取速率不能与本地文件系统中数据的读取速率相差太大，否则在本地文件系统中打开一个文件需要2秒，而在分布式文件系统中各种因素的影响下用时超过10秒，就会严重影响用户的使用体验。
3数据的安全机制，由于数据分散在各个节点中，必须要采取冗余、备份、镜像等方式保证节点出现故障的情况下，能够进行数据的恢复，确保数据安全。
请参阅图1，本发明实施例中视频流数据处理方法的一个实施例包括：
101、采集视频流数据，并进行压缩编码得到编码视频流；
102、对所述编码视频流建立关联索引信息；
本实施例中，可以在并行处理框架下进行视频流数据的采集和压缩编码，并行处理框架包括流式并行处理框架strom、轻量级的高性能异步处理框架Disruptor或针对海量多路高并发的视频流数据并行处理框架(VideoStreaming Storm，VSS)。
需要说明的是，在本发明的一些实施例中，VSS中自定义了视频流数据并行处理拓扑结构，用于将多路视频帧数据发送给分布式文件系统，并行处理拓扑结构可参见下文中介绍的图3。
需要说明的是，在本发明的一些实施例中，关联索引信息包含视频帧时间点和视频帧位置的索引，在实际应用中，关联索引信息可以通过写属性文件或者写入一个容器中实现，并通过分布式文件系统保存。
可以理解的是，在并行处理框架下，视频流数据可以为一路视频流数据，也可以为多路视频流数据。
103、对所述编码视频流进行格式转换得到第一目标视频流，所述第一目标视频流的数据格式为所述分布式文件系统支持的格式；
104、在所述分布式文件系统中分配至少两个数据块文件；
105、将每个数据块文件至少划分为第一部分和第二部分；
106、将所述第一目标视频流数据优先存储于各数据块文件的第一部分，当第一部分存储满后，则继续存储至第二部分。
本实施例中，将所述第一目标视频流数据优先存储于各数据块文件的第一部分，当第一部分存储满后，则继续存储至第二部分之后，还包括：
接收终端发送的视频回放请求，所述视频回放请求中携带有播放标识；
根据所述播放标识以及所述关联索引信息确定对应的目标视频流数据；
将所述目标视频流数据发送给所述终端。
该终端包括流媒体服务器以及客户端播放器，流媒体服务器读取视频流数据，并发送给客户端播放器，客户端播放器对视频流数据进行播放。
本实施例中，由于分布式文件系统能实现海量数据的离线与实时处理，但分布式文件系统不支持视频流数据的数据格式，所以本发明将视频流数据的数据格式转换为分布式文件系统支持的数据格式，由此本发明利用分布式文件系统存储视频流数据，实现了海量视频流数据的录像及回放。
需要说明的是，分布式文件系统默认的多个数据格式不支持视频流数据的数据格式，但分布式文件系统提供了自定义数据格式的接口，所以为了能够通过分布式文件系统中的多个数据块文件依次存储压缩编码后的视频流数据，本发明需要对视频流数据的数据格式进行转换，使得转换后的数据格式为分布式文件系统支持的数据格式。
可以理解的是，上述数据块文件的个数是和视频帧数据的占用空间相关的，在实际应用中，数据块文件的存储空间一般为64M。
本实施例中，在将第一目标视频流数据存储于各数据块文件时，需要考虑存储的优先级顺序，具体可以有如下几种方案：
一、根据容量来划分数据块文件：
对于每一个数据块文件，按照该数据块文件的容量，从该数据块文件的起始位置选取30％的空间作为第一部分，并选取剩余70％的空间作为第二部分。
本方案中，由于视频流数据是优先级较低的数据，且数据量很大，所以优先存储在前30％的空间，使得每个数据块文件尽量不会被完全存满，以方便其他类型的文件的存入。
二、根据历史读写次数来划分数据块文件：
对于每一个数据块文件，获取该数据块文件每个最小存储单元的历史读写次数；
将历史读写次数高于预置数值的存储单元作为第一部分，将历史读写次数低于或等于预置数值的存储单元作为第二部分。
本方案中，由于视频流数据是优先级较低的数据，且数据量很大，视频流数据优先存储在历史读写次数较高(即较旧)的空间，以使得历史读写次数较低(即较新)的空间可以存入其他类型的文件。
三、根据读写速度来划分数据块文件：
对于每一个数据块文件，获取该数据块文件每个最小存储单元的读写速度；
将读写速度低于预置数值的存储单元作为第一部分，将读写速度高于或等于预置数值的存储单元作为第二部分。
本方案中，由于视频流数据是优先级较低的数据，且数据量很大，视频流数据优先存储在读写速度较低(即较次)的空间，以使得读写速度较高(即较优)的空间可以存入其他类型的文件。
四、根据历史读写次数以及读写速度来划分数据块文件：
对于每一个数据块文件，获取该数据块文件每个最小存储单元的历史读写次数以及读写速度；
将所述历史读写次数的倒数乘以第一权值得到第一参考值，并将所述读写速度乘以第二权值得到第二参考值；
将所述第一参考值与第二参考值之和作为所述存储单元的综合参考值；
将综合参考值低于预置数值的存储单元作为第一部分，将综合参考值高于或等于预置数值的存储单元作为第二部分。
本方案中，由于视频流数据是优先级较低的数据，且数据量很大，视频流数据优先存储在历史读写次数较高(即较旧)，且读写速度较低(即较次)的空间，以使得历史读写次数较低(即较新)，且读写速度较高(即较优)的空间可以存入其他类型的文件。
需要说明的是，在实际应用中，分布式文件系统结构图可以如图2所示，图2中，视频流数据以数据块为单位存储于虚拟磁盘中，以二进制文件的形式存在，分布式文件系统由主节点和若干分支节点组成，主节点处理接收数据块文件的访问请求，管理数据块文件的元数据信息，元数据信息主要记录存储数据块文件的索引信息。当有访问请求时，读取数据块文件的元数据信息，进而读取数据块文件在分布式文件系统中的绝对路径。
在本发明的一些实施例中，若视频流包含多路视频流数据，多路视频流数据被封装成多路视频帧数据，多路视频帧数据的数据格式经过序列化组件转换后的数据格式为分布式文件系统支持的数据格式，则封装视频流数据，之后包括：
通过并行处理框架中预置的并行处理拓扑结构将多路视频帧数据发送至分布式文件系统；并行处理拓扑结构可参见图3右半部分。
需要说明的是，在实际应用中，海量多路高并发的视频流数据并行处理框架VSS结构图可以如图3所示，图3中，多路视频流数据经环形异步缓冲区缓存，在经过自定义的封装组件封装为一个个消息组元，不间断的发送消息组元到消息队列，保证视频流数据的连续性，并且每个组元会分发一个唯一标识(Identity，ID)，用于记录当前视频流数据的信息，写入组件实现视频流数据的压缩编码写入分布式文件系统中，同时对于视频流数据中的每一个视频帧数据，会将视频帧时间点和视频帧位置信息写入索引。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种视频流数据处理方法，其特征在于，包括：
采集视频流数据，并进行压缩编码得到编码视频流；
对所述编码视频流建立关联索引信息；
对所述编码视频流进行格式转换得到第一目标视频流，所述第一目标视频流的数据格式为所述分布式文件系统支持的格式；
在所述分布式文件系统中分配至少两个数据块文件；
将每个数据块文件至少划分为第一部分和第二部分；
将所述第一目标视频流数据优先存储于各数据块文件的第一部分，当第一部分存储满后，则继续存储至第二部分。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一目标视频流数据优先存储于各数据块文件的第一部分，当第一部分存储满后，则继续存储至第二部分之后，还包括：
接收终端发送的视频回放请求，所述视频回放请求中携带有播放标识；
根据所述播放标识以及所述关联索引信息确定对应的目标视频流数据；
将所述目标视频流数据发送给所述终端。
3.根据权利要求2所述的方法，其特征在于，所述将每个数据块文件至少划分为第一部分和第二部分包括：
对于每一个数据块文件，按照该数据块文件的容量，从该数据块文件的起始位置选取30％的空间作为第一部分，并选取剩余70％的空间作为第二部分。
4.根据权利要求2所述的方法，其特征在于，所述将每个数据块文件至少划分为第一部分和第二部分包括：
对于每一个数据块文件，获取该数据块文件每个最小存储单元的历史读写次数；
将历史读写次数高于预置数值的存储单元作为第一部分，将历史读写次数低于或等于预置数值的存储单元作为第二部分。
5.根据权利要求2所述的方法，其特征在于，所述将每个数据块文件至少划分为第一部分和第二部分包括：
对于每一个数据块文件，获取该数据块文件每个最小存储单元的读写速度；
将读写速度低于预置数值的存储单元作为第一部分，将读写速度高于或等于预置数值的存储单元作为第二部分。
6.根据权利要求2所述的方法，其特征在于，所述将每个数据块文件至少划分为第一部分和第二部分包括：
对于每一个数据块文件，获取该数据块文件每个最小存储单元的历史读写次数以及读写速度；
将所述历史读写次数的倒数乘以第一权值得到第一参考值，并将所述读写速度乘以第二权值得到第二参考值；
将所述第一参考值与第二参考值之和作为所述存储单元的综合参考值；
将综合参考值低于预置数值的存储单元作为第一部分，将综合参考值高于或等于预置数值的存储单元作为第二部分。
CN201610277458.0A 2016-04-28 2016-04-28 一种视频流数据处理方法 Active CN105959720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610277458.0A CN105959720B (zh) 2016-04-28 2016-04-28 一种视频流数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610277458.0A CN105959720B (zh) 2016-04-28 2016-04-28 一种视频流数据处理方法

Publications (2)

Publication Number Publication Date
CN105959720A true CN105959720A (zh) 2016-09-21
CN105959720B CN105959720B (zh) 2018-08-31

Family

ID=56916187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610277458.0A Active CN105959720B (zh) 2016-04-28 2016-04-28 一种视频流数据处理方法

Country Status (1)

Country Link
CN (1) CN105959720B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073642A (zh) * 2016-11-18 2018-05-25 阿里巴巴集团控股有限公司 数据写入和读取的方法、装置及系统、数据交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220165A (ja) * 2009-03-19 2010-09-30 Seiko Epson Corp 画像データ供給装置、画像データ制御装置及び画像表示システム
CN102576293A (zh) * 2009-09-08 2012-07-11 国际商业机器公司 固态存储设备和分层存储系统中的数据管理
CN103092766A (zh) * 2012-12-28 2013-05-08 北京时代民芯科技有限公司 一种用于nand flash的均衡损耗实现方法
CN103597444A (zh) * 2011-06-09 2014-02-19 微软公司 按照使用来管理基于闪存的存储上的数据放置
CN105357504A (zh) * 2015-12-17 2016-02-24 深圳市科漫达智能管理科技有限公司 一种视频流数据的录像与回放方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220165A (ja) * 2009-03-19 2010-09-30 Seiko Epson Corp 画像データ供給装置、画像データ制御装置及び画像表示システム
CN102576293A (zh) * 2009-09-08 2012-07-11 国际商业机器公司 固态存储设备和分层存储系统中的数据管理
CN103597444A (zh) * 2011-06-09 2014-02-19 微软公司 按照使用来管理基于闪存的存储上的数据放置
CN103092766A (zh) * 2012-12-28 2013-05-08 北京时代民芯科技有限公司 一种用于nand flash的均衡损耗实现方法
CN105357504A (zh) * 2015-12-17 2016-02-24 深圳市科漫达智能管理科技有限公司 一种视频流数据的录像与回放方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073642A (zh) * 2016-11-18 2018-05-25 阿里巴巴集团控股有限公司 数据写入和读取的方法、装置及系统、数据交互系统

Also Published As

Publication number Publication date
CN105959720B (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
US9740560B2 (en) Failure resilient distributed replicated data storage system
CN103763383B (zh) 一体化云存储系统及其存储方法
US8843447B2 (en) Resilient distributed replicated data storage system
US9817715B2 (en) Resiliency fragment tiering
US7236992B2 (en) Storage system
CN106446159B (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN108881942B (zh) 一种基于分布式对象存储的超融合常态录播系统
CN103118133A (zh) 基于文件访问频次的混合云存储方法
CN104737512B (zh) 用于在混合网络中传送和接收多媒体数据的装置和方法
CN104679665A (zh) 一种实现分布式文件系统块存储的方法及系统
CN104581406A (zh) 一种网络视频录像与回放系统和方法
US20140317056A1 (en) Method of distributing and storing file-based data
CN109412755B (zh) 一种多媒体数据处理方法、装置及存储介质
US20130138736A1 (en) Multimedia file sharing method and system thereof
CN105100716A (zh) 一种用于网络视频监控的安全存储单元及其系统
CN103763368A (zh) 一种跨数据中心的数据同步方法
US10346074B2 (en) Method of compressing parity data upon writing
CN116483287B (zh) 一种互联网用户的数据安全存储方法及系统
CN105959720A (zh) 一种视频流数据处理方法
CN111198784B (zh) 一种数据存储的方法及装置
US9070403B2 (en) Processing of scalable compressed video data formats for nonlinear video editing systems
CN109040640A (zh) 一种分布式视频存储回放系统
CN104869056A (zh) 一种基于关系-数据分离的机构-人员数据同步方法
CN104811647A (zh) 面向视频流数据的分布式存储系统磁盘双分区写入方法
CN102157175B (zh) 一种音视频数据的数字化转储方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1233401

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yang Xiaojun

Inventor after: Xiang Minming

Inventor before: Xiang Minming

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200316

Address after: 518000 801, building 5 uff03 8, Chuangwei innovation Valley, Tangtou No.1 Road, Shiyan street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN JIKE INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 523073, room 35, No. three, Lane 403, Dongguan, Xiping, Guangdong

Patentee before: DONGGUAN HUARUI ELECTRONIC TECHNOLOGY Co.,Ltd.

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1233401

Country of ref document: HK