CN111083408B - 一种视频存储业务的处理方法、系统及设备 - Google Patents
一种视频存储业务的处理方法、系统及设备 Download PDFInfo
- Publication number
- CN111083408B CN111083408B CN201911330133.4A CN201911330133A CN111083408B CN 111083408 B CN111083408 B CN 111083408B CN 201911330133 A CN201911330133 A CN 201911330133A CN 111083408 B CN111083408 B CN 111083408B
- Authority
- CN
- China
- Prior art keywords
- processing
- video
- storage
- resources
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 238000013467 fragmentation Methods 0.000 claims abstract description 6
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 6
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 238000013475 authorization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提出的一种视频存储业务的处理方法、系统及设备，包括：配置资源处理客户端与存储端的应用设置；配置Ffmpeg、转换客户端程序并与资源处理客户端接口连接；采用Rabbitmq通信、时间轮询的方式建立客户端与存储端的通信，并获取分布式存储集群的资源；根据返回的信息采用集群的处理资源进行视频资源的分片，转码，拼接操作；处理完成后，输出视频流到外接设备。本发明能够自动使用分布式集群存储进行视频的码数转化，并利用循环等待算法使用分布式存储的计算资源并配合外部资源，增加转码并行处理，降低转码的延时。
Description
技术领域
本发明涉及存视频储技术领域，更具体的说是涉及一种视频存储业务的处理方法、系统及设备。
背景技术
随着不断增长的数据存储需求，使得企业更加迫切地需要保证他们的业务信息和记录被准确而有效地存档。而视频领域是最重要的存储方向，而日益增长的存储的数据，带来了交换与传输的困难，比如不同的视频格式。这就造成了很大的不便的资源浪费。所以如何在存储的同时进行码数的实时转换是很多企业对一些重要的业务数据长期安全存储的需求。
在开发工作中，需要对文件的读取，进行判断，判断视频流的底层的存储模式，处于何种冗余模式、校验还是副本状态，根据底层的数据流进行IO的读取然后进行格式的转换。而原始做法大多是利用单台服务器单线程进行解析转换。而后发展成大规模服务器集群进行多并发IO转换，但是仍然存在资源浪费和难以为继的复杂操作。
发明内容
针对以上问题，本发明的目的在于提供一种视频存储业务的处理方法、系统及设备，能够自动使用分布式集群存储进行视频的码数转化，并利用循环等待算法使用分布式存储的计算资源并配合外部资源，增加转码并行处理，降低转码的延时。
本发明为实现上述目的，通过以下技术方案实现：一种视频存储业务的处理方法，包括如下步骤：
S1：配置预设的开源组件、转换客户端程序并与资源处理客户端接口连接，所述预设的开源组件用于记录、转换数字音频、视频，并将其转化为流；
S2：采用预设的通信开源组件，以时间轮询的方式建立客户端与存储端的通信，并获取分布式存储集群的资源；
S3：根据按照时间节点循环处理集群反馈的信息，采用集群的处理资源进行视频资源的分片，转码，拼接操作；
S4：处理完成后，输出视频流到外接设备。
其中，所述预设的开源组件为FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。所述预设的通信开源组件采用RabbitMQ，RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件。
进一步，所述步骤S1之前还包括：配置资源处理客户端与存储端的ssh-agent授权信息。
进一步，在所述步骤S3中，视频资源的分片采用底层osd对象的帧分片预读取技术，通过检索到的信息位置根据matedate信息校验信息，matedate信息即原数据信息。
进一步，在所述步骤S3中，视频资源的转码采用服务器与存储计算结合的方式配额CPU与GPU的联合转码。本步骤具体采用两种解码处理方式，优先采用GPU解码的方式，GPU处理速度块，是人工智能，机器学习的要求，同时也是处理视频，图像信息的主要要求。采用cpu和GPU的联合辅助，即相当于CPU进行有效的队列控制，GPU是处理队列。
进一步，在所述步骤S3中，视频资源转码完成后，将转码后的信息以预设压缩比的格式输出。
进一步，在所述步骤S3中，采用预设的纠删校验的桢错误检测与恢复算法进行拼接操作。
进一步，所述外接设备采用显示媒体或外接存储设备。
相应的，本发明还公开了一种视频存储业务的处理系统，包括：
配置单元，用于配置资源处理客户端与存储端的应用设置连接单元，用于配置Ffmpeg、转换客户端程序并与资源处理客户端接口连接；资源获取单元，用于采用Rabbitmq通信、时间轮询的方式建立客户端与存储端的通信，并获取分布式存储集群的资源；
处理单元，用于根据返回的信息采用集群的处理资源进行视频资源的分片，转码，拼接操作；
输出单元，用于处理完成后，输出视频流到外接设备。
相应的，本发明还公开了一种视频存储业务的处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任一项所述视频存储业务的处理方法步骤。
对比现有技术，本发明有益效果在于：本发明提供了一种视频存储业务的处理方法、系统及设备，通过配置前端处理流程并获取分布式存储的资源，利用了分布式存储底层的计算资源，达到前后端IO流程的输出使用。本发明基于分布式存储一体化，存储与转化二合一的模式，既满足了视频存储的多样性的需求也满足了转码的需求，并达到资源利用最大化。能够根据存储集群本身进行有效的cpu的分配使用，并且有效的采用存储集群的大并发、大并行的模式，有效降低转码的延时，以满足更灵活的转码优化。
通过本发明，能够自动使用分布式集群存储进行视频的码数转化，并利用循环等待算法使用分布式存储的计算资源并配合外部资源，增加转码并行处理，降低转码的延时。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1是本发明的方法流程图。
附图2是本发明的系统结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做出说明。
如图1所示的一种视频存储业务的处理方法，包括如下步骤：
S1：配置资源处理客户端与存储端的应用设置。具体为配置资源处理客户端与存储端的ssh-agent授权信息。
S2：配置Ffmpeg、转换客户端程序并与资源处理客户端接口连接。
S3：采用Rabbitmq通信、时间轮询的方式建立客户端与存储端的通信，并获取分布式存储集群的资源。
S4：根据返回的信息采用集群的处理资源进行视频资源的分片，转码，拼接操作。
其中，视频资源的分片采用底层osd对象的桢分片预读取技术，通过检索到的信息位置根据matedate信息校验信息。
视频资源的转码采用服务器与存储计算结合的方式配额CPU与GPU的联合转码。转码完成后，将转码后的信息以预设压缩比的格式输出。并采用预设的纠删校验的桢错误检测与恢复算法进行拼接操作。
5：处理完成后，输出视频流到外接设备。所述外接设备采用显示媒体或外接存储设备。
相应的，如图2所示，本发明还公开了一种视频存储业务的处理系统，包括：
配置单元，用于配置资源处理客户端与存储端的应用设置连接单元，用于配置Ffmpeg、转换客户端程序并与资源处理客户端接口连接；资源获取单元，用于采用Rabbitmq通信、时间轮询的方式建立客户端与存储端的通信，并获取分布式存储集群的资源；
处理单元，用于根据返回的信息采用集群的处理资源进行视频资源的分片，转码，拼接操作；
输出单元，用于处理完成后，输出视频流到外接设备。
相应的，本发明还公开了一种视频存储业务的处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任一项所述视频存储业务的处理方法步骤。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
Claims (7)
1.一种视频存储业务的处理方法，其特征在于，包括如下步骤：
S1：配置预设的开源组件、转换客户端程序并与资源处理客户端接口连接，所述预设的开源组件用于记录、转换数字音频、视频，并将其转化为流；
S2：采用预设的通信开源组件，以时间轮询的方式建立客户端与存储端的通信，并获取分布式存储集群的资源；
S3：根据按照时间节点循环处理集群反馈的信息，采用集群的处理资源进行视频资源的分片，转码，拼接操作；其中，视频资源的转码采用服务器与存储计算结合的方式配额CPU与GPU的联合转码；拼接操作采用预设的纠删校验的桢错误检测与恢复算法进行拼接操作；
S4：处理完成后，输出视频流到外接设备。
2.根据权利要求1所述的视频存储业务的处理方法，其特征在于，所述步骤S1之前还包括：配置资源处理客户端与存储端的ssh-agent授权信息。
3.根据权利要求1所述的视频存储业务的处理方法，其特征在于，在所述步骤S3中，视频资源的分片采用底层osd对象的帧分片预读取技术，通过检索到的信息位置根据matedate信息校验信息。
4.根据权利要求1所述的视频存储业务的处理方法，其特征在于，在所述步骤S3中，视频资源转码完成后，将转码后的信息以预设压缩比的格式输出。
5.根据权利要求1所述的视频存储业务的处理方法，其特征在于，所述外接设备采用显示媒体或外接存储设备。
6.一种视频存储业务的处理系统，其特征在于，包括：
配置单元，用于配置资源处理客户端与存储端的应用设置；
连接单元，用于配置Ffmpeg、转换客户端程序并与资源处理客户端接口连接；
资源获取单元，用于采用Rabbitmq通信、时间轮询的方式建立客户端与存储端的通信，并获取分布式存储集群的资源；
处理单元，用于根据返回的信息采用集群的处理资源进行视频资源的分片，转码，拼接操作；还用于根据服务器与存储计算结合的方式配额CPU与GPU的联合转码；还用于采用预设的纠删校验的桢错误检测与恢复算法进行拼接操作；
输出单元，用于处理完成后，输出视频流到外接设备。
7.一种视频存储业务的处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述视频存储业务的处理方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911330133.4A CN111083408B (zh) | 2019-12-20 | 2019-12-20 | 一种视频存储业务的处理方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911330133.4A CN111083408B (zh) | 2019-12-20 | 2019-12-20 | 一种视频存储业务的处理方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111083408A CN111083408A (zh) | 2020-04-28 |
| CN111083408B true CN111083408B (zh) | 2022-08-05 |
Family
ID=70316456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911330133.4A Active CN111083408B (zh) | 2019-12-20 | 2019-12-20 | 一种视频存储业务的处理方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111083408B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111654674B (zh) * | 2020-06-04 | 2021-10-22 | 上海鸢安智能科技有限公司 | 基于单个ffmpeg进程并行处理多个视频源的方法、软件系统、终端 |
| CN112379768B (zh) * | 2020-11-12 | 2021-05-18 | 北京中电兴发科技有限公司 | 一种应用于嵌入式云存储系统的降功耗方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103200204A (zh) * | 2012-01-04 | 2013-07-10 | 中兴通讯股份有限公司 | 基于云存储的分布式转码系统及其方法 |
| CN103838779B (zh) * | 2012-11-27 | 2019-02-05 | 深圳市腾讯计算机系统有限公司 | 复用空闲计算资源的云转码方法及系统、分布式文件装置 |
| CN103297807A (zh) * | 2013-06-21 | 2013-09-11 | 哈尔滨工业大学深圳研究生院 | 一种基于hadoop平台的提高视频转码效率的方法 |
| KR20160028249A (ko) * | 2014-09-03 | 2016-03-11 | 주식회사 케이티 | 가상화 기반 실시간 분산 트랜스코딩 시스템 및 방법 |
| CN105407413B (zh) * | 2014-09-11 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种分布式视频转码方法及相关设备、系统 |
| CN104539978B (zh) * | 2014-12-19 | 2018-01-16 | 南京工业大学 | 一种云环境下的视频转码系统方法 |
| CN105828105B (zh) * | 2015-12-10 | 2019-02-22 | 广东亿迅科技有限公司 | 一种基于分布式环境的视频转码系统及视频转码方法 |
-
2019
- 2019-12-20 CN CN201911330133.4A patent/CN111083408B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111083408A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108989885B (zh) | 视频文件转码系统、分割方法、转码方法及装置 | |
| CN102855133B (zh) | 一种计算机处理单元交互式系统 | |
| CN111083408B (zh) | 一种视频存储业务的处理方法、系统及设备 | |
| CN102413150A (zh) | 服务器、虚拟桌面控制方法以及虚拟桌面控制系统 | |
| CN104159150A (zh) | 云终端、云服务器、媒体数据流播放系统及方法 | |
| US20180063481A1 (en) | Human interface device (hid) based control of video data conversion at docking station | |
| CN102857531B (zh) | 一种基于云计算的远程交互式系统 | |
| CN102857533B (zh) | 一种基于云计算的远程交互式系统 | |
| US20230283813A1 (en) | Centralized streaming video composition | |
| CN109451317A (zh) | 一种基于fpga的图像压缩系统及方法 | |
| CN104053015A (zh) | 一种传输媒体数据的方法及虚拟桌面服务器 | |
| CN110807111A (zh) | 三维图形的处理方法及装置、存储介质、电子设备 | |
| CN102656860B (zh) | 多粒度流处理 | |
| CN102857535B (zh) | 一种计算机处理单元、计算机网关、交互式系统 | |
| CN102857534B (zh) | 一种基于云计算的远程交互方法 | |
| EP4052141A1 (en) | System and method for constructing filter graph-based media processing pipelines in a browser | |
| CA2627064C (en) | Multiplexing video using a dsp | |
| CN114760309A (zh) | 基于云端服务的终端的业务交互方法、装置、设备和介质 | |
| US20100076944A1 (en) | Multiprocessor systems for processing multimedia data and methods thereof | |
| CN113259690A (zh) | 一种跨网系的音视频实时在线协同系统及方法 | |
| CN110941490A (zh) | 一种基于云计算的医学图像处理的方法 | |
| CN113259621A (zh) | 一种云会议分步录制方法及系统 | |
| CN105657540A (zh) | 一种适配安卓系统的视频解码方法及其装置 | |
| KR20190101579A (ko) | 초고해상도 다채널 영상처리를 위한 재구성 가능한 영상 시스템 | |
| CN102857532B (zh) | 一种基于云计算节点的远程交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |