CN104935951B - 一种基于分布式的视频转码方法 - Google Patents

一种基于分布式的视频转码方法 Download PDF

Info

Publication number
CN104935951B
CN104935951B CN201510367471.0A CN201510367471A CN104935951B CN 104935951 B CN104935951 B CN 104935951B CN 201510367471 A CN201510367471 A CN 201510367471A CN 104935951 B CN104935951 B CN 104935951B
Authority
CN
China
Prior art keywords
video
transcoding
piecemeal
key
value pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510367471.0A
Other languages
English (en)
Other versions
CN104935951A (zh
Inventor
董乐
张宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510367471.0A priority Critical patent/CN104935951B/zh
Publication of CN104935951A publication Critical patent/CN104935951A/zh
Application granted granted Critical
Publication of CN104935951B publication Critical patent/CN104935951B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于分布式的大规模视频转码系统，属于大数据与视频处理技术领域。本发明方法在大数据处理平台Hadoop上采用分布式的方法最终实现大规模的视频转码，该方法利用HDFS文件系统对大规模视频数据进行储存，利用MapReduce编程模型进行分布式处理，借助多媒体库Xuggler实现对视频的处理。本发明利用分布式文件系统的扩展性和稳定性特点实现对大规模视频数据的储存与转码，解决传统集中式储存对硬件要求高、维护困难、不易扩展等缺点，动态地适应日益增长的大规模视频数据的储存和转码需求。

Description

一种基于分布式的视频转码方法
技术领域
本发明属于大数据与视频处理技术领域，涉及分布式平台上的海量视频的转码处理，尤其涉及一种基于分布式的大规模视频转码方法。
背景技术
由于互联网及手机网络的不断发展，涌现出越来越多的媒体传播的平台，加之手机普遍都具备摄像功能，便携式的摄像机的使用也变得很普遍，视频的制作和发布变得非常简单，人们每天都会制作出大量的视频数据并分享到互联网上，同时低功率的摄像传感器网络及视频监控网络也得到了大量应用，使得每天新产生的视频数据出于持续增长的状态。由于网络的异构性和终端播放设备的多样性，往往需要将视频文件进行格式转换，以满足不同的应用需求，转换内容包括改变视频的编码格式、分辨率、比特率等属性。视频转换工作十分消耗计算资源，CPU占用率很高，在进行格式转换任务时，其他的任务很难得到处理，因此有必要将视频转码作业从单机系统中脱离出来进行处理。传统的视频转码是集中式的，在处理大量的视频数据的时候有很大的局限性，其计算能力很难随着数据量变大而线性增长。分布式计算技术的发展为解决这个问题提供了可能。
发明内容
本发明要解决大规模视频的转码问题，针对视频转码的效率，提出一种基于分布式的大规模视频转码方法，实现在大数据处理平台Hadoop的基础上，完成分布式的大规模视频转码过程。
为了实现上述目的本发明采用以下技术方案：
一种基于分布式的视频转码方法，其流程如图1所示，具体包括以下步骤：
步骤1.上传视频文件：将需要转码的大量源视频数据上传至Hadoop平台的HDFS文件系统上；
步骤2.对已上传至HDFS的源视频数据进行预处理：通过Hadoop平台提供的InputFormat接口，将每个源视频文件解析成一个相应的键值对<key,value>，其中，key为视频文件名，value为转码参数信息，其包括视频的保存位置、源视频格式信息及转码的目标视频格式信息；
步骤3.将源视频文件进行分割：在Hadoop平台上启动第一MapReduce任务作业，利用Xuggler多媒体处理库对每一个源视频进行分割，其中Map函数的输入为通过步骤2预处理得到的键值对<key,value>，通过读取每个键值对包含的视频信息，对相应的视频数据进行分割操作；该MapReduce作业输出通过分割而得的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；分割得到的视频分块可进行单独的转码操作；
步骤4.对步骤3经分割得到的视频分块按目标视频格式进行转码：在Hadoop平台上启动第二MapReduce作业，利用Xuggler多媒体处理库对每一个视频分块进行转码，其中，该作业的Map函数的输入为处理步骤3得到视频分块的键值对信息，得到转码后的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；完成转码后，第二MapReduce作业的Reduce函数通过读取本步骤所得的键值对信息，将同属于一个源视频文件的转码后的视频分块按时间位置顺序进行组合获得相应的转码后目标视频，由此完成源视频到目标视频的转码过程。
进一步的，步骤3的视频分割过程中，视频分块的大小与Hadoop平台上HDFS的分块大小相同，这样在进行转码任务时，一个Map任务只需从一个节点上读取数据，转码任务执行时，更可能达到数据本地化，减少文件传输过程。
本发明的有益效果是：
本发明在传统视频转码的基础上提出了一种采用大数据处理的方式进行视频转码的方法，具有以下优点：
(1)本发明利用分布式文件系统的扩展性和稳定性特点实现对大规模视频数据的储存，解决传统集中式储存对硬件要求高、维护困难、不易扩展等缺点，动态地适应日益增长的大规模视频数据的储存需求；
(2)通过分布式系统的实时调度，各个工作节点以非常高的效率协同工作，且能够适应动态的运行环境，达到降低整个视频转码时间的目的；单机系统转码对单机的硬件配置要求较高，而分布式转码系统仅需用普通的电脑搭建集群即可，且对整个视频的转换速度会更快；
(3)利用分治的思想，将文件分成合适大小的分块，通过对各个分块的并行转码，提高对整个文件的转码效率；系统在文件处理的过程中若出现问题，只需要重新调度执行出错的分块，而不必重新处理整个文件，进而缩短了出错时重复处理的时间；
(4)Hadoop通常用处理文本文件这类的结构化数据，用它来对视频文件这种非结构化的数据进行处理，不但扩展了Hadoop平台的应用范围，也为大规模视频数据的其他处理如视频检索、跟踪等应用提供一个可参考的方式。
附图说明
图1为本发明方法提供的视频转码方法流程图；
图2为本发明实施例实验系统的网络拓扑结构示意图；
图3为本发明实施例转码前视频的播放效果；
图4为本发明实施例转码后视频的播放效果。
具体实施方式
为了使得本发明的目的、技术方案和有益效果更加清楚明白，以下结合具体案例，并参照附图，对本发明进行进一步详细的说明。
本发明是用于大规模视频转码的，该方法在大数据处理平台Hadoop上采用分布式的方法最终实现大规模的视频转码，系统利用HDFS文件系统对大规模视频数据进行储存，利用MapReduce编程模型进行分布式处理，借助多媒体库Xuggler实现对视频的处理。本发明对视频的分布式转码主要经历三个过程：首先用一个map函数完成对源视频文件分块，分块完成后对每一个分块用一个map函数进行转码，最后在reduce阶段将转码后的分块按顺序合并成完整的视频文件，其中所有的视频处理都是在HDFS上进行的。
一种基于分布式的视频转码方法，其流程如图1所示，具体包括以下步骤：
步骤1.上传视频文件：将需要转码的大量源视频数据上传至Hadoop平台的HDFS文件系统上；
步骤2.对已上传至HDFS的源视频数据进行预处理：通过Hadoop平台提供的InputFormat接口，将每个源视频文件解析成一个相应的键值对<key,value>，其中，key为视频文件名，value为转码参数信息，其包括视频的保存位置、源视频格式信息及转码的目标视频格式信息；
在Hadoop系统中，对MapReduce作业的输入处理是通过实现InputFormat接口实现的，利用实现的类将输入解析成为键值对，此接口包含getsplits()和createRecordReader()这2个方法；其中getsplits()用于得到计算文件的分片，因为在Hadoop中，一个Mapper对应处理一个分片，每个map函数的输入都是键值对，通过createRecordReader()返回一个实现RecordReader接口的对象，对每个split循环调用对象的next()方法按照开发者自定义规则进行处理，将每个split解析成键值对；对于视频格式的文件，通过实际需要来定制当前的InputFormat接口；
步骤3.将源视频文件进行分割：在Hadoop平台上启动第一MapReduce任务作业，利用Xuggler多媒体处理库对每一个源视频进行分割，其中Map函数的输入为通过步骤2预处理得到的键值对<key,value>，通过读取每个键值对包含的视频信息，对相应的视频数据进行分割操作；该MapReduce作业输出通过分割而得的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；分割得到的视频分块可进行单独的转码操作；
在分块过程中，系统为每个分块按照原视频播放顺序从1开始分配一个ID，以便在reduce函数能按照正确的顺序对分块进行合并；视频分块大小的确定：如果视频分块太大，则不能很好地利用系统的并行性，如果分块过小，视频分块个数就会增多，相应的需要启动更多的Map任务进行转码，消耗在启动Map任务上的总时间就越长；本发明从数据本地化的角度出发，简单地将视频分块大小设定为HDFS的分块大小，这样在进行转码任务时，一个Map任务只需从一个节点上读取数据，转码任务执行时，更可能达到数据本地化，减少文件传输过程；
由于视频每一帧的尺寸通常不一样，造成具有相同时长的视频分块，其大小也会有差异，为了控制分块儿大小，本发明采取的策略是：分割时设定的时间间隔＝视频总时长×80％×HDFS配置的block大小/视频文件大小，其中80％是一个经验值，这样设定的目的是尽量使一个视频分块保存在一个block之内，以降低map任务跨节点读取数据执行的概率，实现任务的本地化；
步骤4.对步骤3经分割得到的视频分块按目标视频格式进行转码：在Hadoop平台上启动第二MapReduce作业，利用Xuggler多媒体处理库对每一个视频分块进行转码，其中该作业的Map函数的输入为处理步骤3得到视频分块的键值对信息，得到转码后的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；完成转码后，第二MapReduce作业的Reduce函数通过读取本步骤所得的键值对信息，将同属于一个源视频文件的转码后的视频分块按时间位置顺序进行组合获得相应的转码后目标视频，由此完成源视频到目标视频的转码过程。
在对视频分块的Map函数执行完成后，只需再启动一个MapReduce作业即可完成对分块视频的转码和合并，其中Map函数执行转码任务，Reduce函数则负责将转码后的视频分块合并；将在对视频分块时产生的描述作业文件作为这个MapReduce作业的输入，同样利用TransInputFormat将文件解析成<Text,TransJob>类型的键值对，这里得到的key值是视频ID，value值则包含了转码参数配置，由value值可得到描述目标视频文件的VideoAttribute对象，VideoAttribute对象包含的视频转码的参数有视频编码格式，帧率，分辨率等；
Map函数根据上述信息，调用VideoProcess类的TransCode方法完成对视频的分块的转码；转码完成后，将转码后的视频分块的ID以及其在HDFS上保存的位置分别作为key/value值，作为Map阶段的输出；经过MapReduce的Shuffle阶段之后，被传送到系统分配的Reduce节点，作为Reduce函数的输入；为了将所有的视频分块信息汇集到一处，在Job的配置阶段，通过调用setNumReduceTasks方法将Reduce的节点个数设置为1，这样就能在一个节点上将所有的视频分块进行合并；本具体实施方式采取的策略如下：
1)对于已完成的Map作业的输出，首先判断键值对信息中包含的视频ID，如果是视频的第一部分，则开始读取分块数据，准备合并；否则将Map的输出保存在Cache中，同时开启一个线程将与键值对关联的视频分块下载到Reduce节点的本地文件系统，按视频的播放顺序等待合并，以缩短整个视频分块数据的传输时间；
2)如果被合并的分块不是源视频的最后一个分块，则在数据读取完毕后，在Cache中查找下一个分块，若查找失败则休眠暂停查找即Sleep，隔一段时间后继续查找；查找成功代表下一个分块转码完成，则读取分块数据继续进行合并；在规定时间内未获得下一个分块的信息，则认定任务失败；
3)如果被合并的分块是视频的最后一个分块，则写入视频文件头信息，并完成余下的清理过程；
最后，视频的分块、转码、合并是一个整体的过程，需要启动两个MapReduce作业。
一旦分块完成，就应当立即执行后面的转码和合并。通常运行在Hadoop的任务包含多个子作业，根据作业之间的关系可将任务分为迭代式、组合式、链式等。迭代式MapReduce是一个循环的过程，下一个MapReduce的输入利用的是上一个MapReduce的输出，中间结果在任务完成后进行清理。组合式MapReduce的多个子任务之间既相互联系，又相互独立，如有job1,job2,job3这3个子任务，其中job1和job2可并行执行，而job3要在job1和job2都完成之后才执行。本发明的转码作业则属于链式MapReduce，将视频分块的转码和合并作为核心作业，增加一个辅助的视频分块Map过程，形成一个链式的转码作业，以缩短作业的处理时间并减少I/O操作的次数，提高作业的执行效率。
下面结合附图和实施例对本发明作进一步描述。
实施例
为了验证本发明的效果，本实施例制作了6个不同类型的数据集，这些数据集由大小为200M的小视频文件组成，分别在功能和性能两个方面对系统进行了测试，以证明该系统对视频转码的效果。
本实施例的集体实验拓扑图如图2所示，各个节点及Web服务器之间均通过交换机通信，测试实验软硬件环境如下：
硬件环境：
电脑类型：台式机，
CPU：Pentium双核E5300 2.6GHz，
内存：4GB DDR-2 800MHz，
硬盘：320GB SATA-2，
网卡：100Mbps以太网卡；
软件环境：
操作系统：Ubuntu12.04，
Java：Java 1.7.0_45，
Hadoop：Hadoop 1.0.4，
Xuggler：Xuggler5.2。
针对分布式转码系统转码功能测试，在数据集中选择一个视频文件，命名为test.avi作为源视频文件，源视频的参数以及目标视频的配置参数如表1所示。通过浏览器提交该视频文件，并按照表中内容进行配置后，提交转码任务。经测试，系统成功完成了对test.avi文件的转码。转码前、后的视频文件利用播放器播放的效果分别如图3、4所示，转码后视频的分辨率得到明显改变。结果表明，将视频转码的过程移植到Hadoop平台上进行分布式处理的方案是可行的。其次，针对分布式转码系统转码性能测试，主要是验证了集群节点个数对转码性能的影响，实验的目的是测量在不同的集群规模下(如1、2、4、6个节点)系统总转码时间和加速比，加速比是用来评估转码作业的并行性对系统转码性能的影响。它的定义是：在1个节点上的转码时间/在个数为N的节点上的转码时间(N为具体的节点个数)。对Hadoop平台的配置均采用默认设置。
表1 源视频文件及目标视频文件的参数
变量 源视频文件 转码后视频文件
编解码器 XviD MPEG-4
视频格式 AVI MP4
大小 200M 60M
时长 198s 198s
分辨率 1280×720 320×240
帧率 29.97fps 29.97fps
表2列出了在不同节点个数下，不同的数据集在系统转码的总时间。表3显示了在不同节点个数集群下转码时间的加速比。从表2的结果可以看出，本分布式转码系在对非常大尺寸的视频文件进行转码时，时间性能上达到了很好的效果。例如，在6个节点的集群上，Hadoop采取默认配置的情况下，系统只需花费3个小时的时间就可以完成对一个50GB的视频数据集的格式转换。由于试验条件的限制集群的最大规模为6个节点，但是可以预测的是，如果继续增大节点个数，系统总的视频转码时间可以进一步降低。从表3加速比的结果中，可以观察到的是：分布式转码系统在其并行性和分布式特性方面优异的性能相比1，2，4，8GB的数据集，10和50GB的数据集在系统中进行转码时，具有更大的加速比，这意味着本锋芒在处理大尺寸的数据集时表现出良好的性能。
表2 不同节点个数下系统转码总时间(s)
表3 不同节点个数下转码时间的加速比

Claims (2)

1.一种基于分布式的视频转码方法，具体包括以下步骤：
步骤1.将需要转码的源视频数据上传至Hadoop平台的HDFS文件系统上；
步骤2.对已上传至HDFS的源视频数据进行预处理：通过Hadoop平台提供的InputFormat接口，将每个源视频文件解析成一个相应的键值对<key,value>，其中，key为视频文件名，value为转码参数信息，其包括视频的保存位置、源视频格式信息及转码的目标视频格式信息；
步骤3.将源视频文件进行分割：在Hadoop平台上启动第一MapReduce任务作业，利用Xuggler多媒体处理库对每一个源视频进行分割，其中Map函数的输入为通过步骤2预处理得到的键值对<key,value>，通过读取每个键值对包含的视频信息，对相应的视频数据进行分割操作；该MapReduce作业输出通过分割而得的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；分割得到的视频分块可进行单独的转码操作；
步骤4.对步骤3经分割得到的视频分块按目标视频格式进行转码：在Hadoop平台上启动第二MapReduce作业，利用Xuggler多媒体处理库对每一个视频分块进行转码，其中该作业的Map函数的输入为处理步骤3得到视频分块的键值对信息，得到转码后的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；完成转码后，第二MapReduce作业的Reduce函数通过读取本步骤所得的键值对信息，将同属于一个源视频文件的转码后的视频分块按时间位置顺序进行组合获得相应的转码后目标视频，由此完成源视频到目标视频的转码过程。
2.根据权利要求1所述的基于分布式的视频转码方法，其特征在于，在步骤3的视频分割过程中，视频分块的大小与Hadoop平台上HDFS的分块大小相同。
CN201510367471.0A 2015-06-29 2015-06-29 一种基于分布式的视频转码方法 Expired - Fee Related CN104935951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510367471.0A CN104935951B (zh) 2015-06-29 2015-06-29 一种基于分布式的视频转码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510367471.0A CN104935951B (zh) 2015-06-29 2015-06-29 一种基于分布式的视频转码方法

Publications (2)

Publication Number Publication Date
CN104935951A CN104935951A (zh) 2015-09-23
CN104935951B true CN104935951B (zh) 2018-08-21

Family

ID=54122864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510367471.0A Expired - Fee Related CN104935951B (zh) 2015-06-29 2015-06-29 一种基于分布式的视频转码方法

Country Status (1)

Country Link
CN (1) CN104935951B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354254A (zh) * 2015-10-21 2016-02-24 杭州施强网络科技有限公司 一种利用节点服务器进行文档文件格式转换的方法
CN106961561A (zh) * 2016-01-11 2017-07-18 深圳数拓科技有限公司 一种用于广告屏的视频分割方法
CN105791888A (zh) * 2016-03-09 2016-07-20 浪潮软件股份有限公司 一种视频分析的方法及装置
CN106101710A (zh) * 2016-08-26 2016-11-09 珠海迈科智能科技股份有限公司 一种分布式视频转码方法及装置
CN110213616B (zh) * 2018-05-15 2021-12-28 腾讯科技（深圳）有限公司 视频提供方法、获取方法、装置及设备
CN109769142B (zh) * 2019-01-28 2021-02-09 深圳市睿智物联科技有限公司 一种城市媒体墙灯光秀的视频切割方法及系统
CN112953944A (zh) * 2021-02-23 2021-06-11 北京华宇信息技术有限公司 基于MapReduce的影音转码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182891A1 (en) * 2011-01-19 2012-07-19 Youngseok Lee Packet analysis system and method using hadoop based parallel computation
CN103501321A (zh) * 2013-09-23 2014-01-08 浙江工业大学 远程多媒体网络传输平台
CN104539978A (zh) * 2014-12-19 2015-04-22 南京工业大学 一种云环境下的视频转码系统方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182891A1 (en) * 2011-01-19 2012-07-19 Youngseok Lee Packet analysis system and method using hadoop based parallel computation
CN103501321A (zh) * 2013-09-23 2014-01-08 浙江工业大学 远程多媒体网络传输平台
CN104539978A (zh) * 2014-12-19 2015-04-22 南京工业大学 一种云环境下的视频转码系统方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MapReduce 编程模型在云海量视频转码中的研究;张浩;《中国优秀硕士学位论文全文数据库信息科技辑》;20130215;第2013年卷(第02期);第22页第5行-第42页第10行，图4-4-图4-16 *
基于Hadoop的视频转码系统设计与实现;郭奕希;《中国优秀硕士学位论文全文数据库信息科技辑》;20120715;第2012年卷(第07期);全文 *

Also Published As

Publication number Publication date
CN104935951A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN104935951B (zh) 一种基于分布式的视频转码方法
CN107004012B (zh) 图形操作
CN110908788B (zh) 基于Spark Streaming的数据处理方法、装置、计算机设备及存储介质
CN106980669B (zh) 一种数据的存储、获取方法及装置
CN105468735A (zh) 基于移动互联网海量信息的流式预处理系统及其方法
US20180365254A1 (en) Method and apparatus for processing information flow data
CN103237037B (zh) 基于云计算架构的媒体格式转换方法和系统
CN106991011A (zh) 一种针对大数据任务处理的基于cpu多线程与gpu多粒度并行及协同优化的方法
CN110221901A (zh) 容器资源创建方法、装置、设备及计算机可读存储介质
KR20210036226A (ko) 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법
CN103235811B (zh) 一种数据存储方法及装置
CN112236760B (zh) 一种图数据的更新方法、系统、计算机可读存储介质及设备
CN112087487B (zh) 模型训练任务的调度方法、装置、电子设备及存储介质
CN112115113B (zh) 数据存储系统、方法、装置、设备以及存储介质
CN105677763A (zh) 一种基于Hadoop的图像质量评估系统
CN106780149A (zh) 一种基于定时任务调度的设备实时监测系统
CN103699656A (zh) 一种基于GPU的面向海量多媒体数据的MapReduce平台
CN104951509A (zh) 一种大数据在线交互式查询方法及系统
CN105095425A (zh) 一种数据库的跨库结转方法及装置
CN105488134A (zh) 大数据处理方法及大数据处理装置
CN113342631B (zh) 分发管理优化方法、装置和电子设备
CN114416868B (zh) 一种数据同步方法、装置、设备及存储介质
CN102158533A (zh) 基于QoS的分布式web服务选择方法
US10635672B2 (en) Method and system for merging data
CN113760242B (zh) 一种数据处理方法、装置、服务器和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180821