CN201536405U - 一种集群式图像运算系统 - Google Patents

一种集群式图像运算系统 Download PDF

Info

Publication number
CN201536405U
CN201536405U CN 200920110680 CN200920110680U CN201536405U CN 201536405 U CN201536405 U CN 201536405U CN 200920110680 CN200920110680 CN 200920110680 CN 200920110680 U CN200920110680 U CN 200920110680U CN 201536405 U CN201536405 U CN 201536405U
Authority
CN
China
Prior art keywords
compression
server
data
source data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN 200920110680
Other languages
English (en)
Inventor
王忠平
肖立群
耿克明
张晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Star Technology Development (Beijing) Co., Ltd.
Original Assignee
BEIJING CE OPEN SOURCE SOFTWARE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING CE OPEN SOURCE SOFTWARE Co Ltd filed Critical BEIJING CE OPEN SOURCE SOFTWARE Co Ltd
Priority to CN 200920110680 priority Critical patent/CN201536405U/zh
Application granted granted Critical
Publication of CN201536405U publication Critical patent/CN201536405U/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

数字电影领域内一种集群式图像运算系统。 由于胶片电影的原始素材转换为数字格式后视频数据的数据量巨大，目前通常一部2小时的电影一台计算机采用通常方式压缩要占用48小时进行压缩制作，为了大幅提高压缩时间，因此公开一种基于多个数据源服务器JPEG 2000的集群式图像运算系统。把数字化以后的电影视频数据分段部署到多个源数据服务器上，把源数据服务器和压缩客户端部署到同一台计算机硬件上组成压缩客户端和源数据服务器，设立一台控制服务器，负责控制数字电影制作的各个阶段的执行过程。

Description

一种集群式图像运算系统
所属技术领域
本实用新型涉及了数字电影领域内一种集群式图像运算系统。
背景技术
由于胶片电影的原始素材转换为数字格式后视频数据的数据量巨大(一般一部放映时长2小时的电影数字化后的视频数据量大约在1.5T-4T)所以在数字电影制作过程中必须对视频数据进行压缩，目前JPEG 2000压缩方法逐渐成为数字电影方面主流的压缩方法，但是JPEG2000算法在处理每一帧图像上的时间较漫长，一般来说处理通常一部2小时的电影一台计算机采用通常方式压缩要占用48小时进行压缩制作，目前在视频压缩的过程中使用多台计算机采用集群的方式并行处理。采用一般的处理流程是，把未压缩的视频图像序列和音频数据部署到一台数据源服务器上，其他压缩客户端分别读取数据源服务器上的视频序列进行压缩，然后把压缩后的数据存放到目标服务器上，在全部视频数据压缩和音频数据处理完成后，再进行数字电影的后续制作过程。但是这种方法存在一个问题，源数据服务器由于硬盘读写速度和网络带宽的限制在多个压缩客户端同时从源数据服务器读取数据时，源数据服务器的传输带宽成为系统的瓶颈，制约了系统的并发程度和和整个系统的压缩效率；并且在一定的条件下不可能在提高源数据服务器的硬件配置来大幅提高源数据服务器的传输带宽。因此我们公开一种基于多个数据源服务器JPEG 2000的集群式图像运算系统来解决上述问题。
发明内容
本实用新型的目的就是解决了源数据服务器的传输瓶颈问题，大幅缩短整部影片的压缩时间。
本实用新型解决技术问题所采用的技术方案是：首先，把数字化以后的电影视频数据分段部署到多个源数据服务器上。考虑到硬件成本和大容量硬盘已经成为主流等客观情况，可以把源数据服务器和压缩客户端部署到同一台计算机硬件上组成压缩客户端和源数据服务器模块。设立一台控制服务器，负责控制数字电影制作的各个阶段的执行过程。考虑到硬件成本和系统部署的方便，可以把控制服务器和目标服务器部署到同一台计算机硬件上组成为控制服务器&目标服务器模块。控制服务器按照预先定义好的规则检测各个源数据服务器上视频数据的完整性。根据分发策略控制程序，控制服务器控制各个压缩客户端分别从哪一个源数据服务器上读取原始的视频数据。各压缩客户端并行执行JPEG2000压缩算法，把相应的原始视频图像序列压缩成JPEG 2000视频图像序列。压缩后的JPEG 2000视频图像序列通过高速网络传输到目标服务器上，供数字电影的后续制作过程使用。
本实用新型的有益效果是：可以使播放时间与压缩时间的比值大于1，也就是说处理通常一部2小时的电影压缩时间可以缩短到与播放时间相同及压缩时间也为2小时。
附图说明
图1为系统结构图。
图中：
101为高速网络。
102为控制服务器&目标服务器模块。
103为压缩客户端和源数据服务器模块。
104为压缩客户端模块。
具体实施方式
原始的胶片素材数字后，数字格式的影片视频数据分段分别部署到多台源数据服务器上，为了保证数据的读取速度和数据的稳定；数据存储采用RAID5存储架构。考虑到硬件成本和大容量硬盘已经成为主流等客观情况。可以把源数据服务器和压缩客户端部署到同一台计算机硬件上。考虑JPEG2000算法的压缩速度、硬盘读取文件的速度和高速网络的传输速度。压缩客户端和源数据服务器的个数比值应在1-3。
初始化控制服务器和各客户端、控制服务器建立连接，读取各客户的配置信息；同时控制服务器获取各个源数据服务器的信息，为压缩过程做好准备。对部属到各个源数据服务器上视频数据进行完整性检查，包括视频帧是否缺失，每一帧视频数据是否正确，是否存在重复帧等情况。
控制服务器根据分发策略控制程序控制各个压缩客户端分别从不同源数据服务器上读取视频数据。分发策略控制程序采用流水线式设计，在整个的视频压缩过程中保证读取数据和向客户端发送数据同时进行，从而提高系统的效率。
压缩客户端把从源数据服务器读取的视频数据放入高速缓存，然后使用JPEG2000压缩算法对视频数据进行压缩。客户端同样采用流水线式设计，保证接收数据，数据压缩和把压缩后的数据发送到目标服务器上的任务能同时运行，从而提高系统的效率。
客户端把压缩后的JPEG2000视频数据发送到目标数据服务器上，目标数据服务器，目标数据服务器对压缩后数据进行正确性检查。然后把压缩后的数据按指定格式存储，供数字电影的后续制作过程使用。最后分发策略控制程序检测压缩是否完成。

Claims (3)

1.一种集群式图像运算系统，其特征是：包括控制服务器&目标服务器、压缩客户端和源数据服务器、压缩客户端。
2.根据权利要求1所述的系统，其特征是：把数字化以后的电影视频数据分段部署到多个源数据服务器上。
3.根据权利要求1所述的系统，其特征是：把源数据服务器和压缩客户端部署到同一台计算机硬件上组成压缩客户端和源数据服务器。
CN 200920110680 2009-08-10 2009-08-10 一种集群式图像运算系统 Expired - Lifetime CN201536405U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200920110680 CN201536405U (zh) 2009-08-10 2009-08-10 一种集群式图像运算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200920110680 CN201536405U (zh) 2009-08-10 2009-08-10 一种集群式图像运算系统

Publications (1)

Publication Number Publication Date
CN201536405U true CN201536405U (zh) 2010-07-28

Family

ID=42536179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200920110680 Expired - Lifetime CN201536405U (zh) 2009-08-10 2009-08-10 一种集群式图像运算系统

Country Status (1)

Country Link
CN (1) CN201536405U (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974087A (zh) * 2013-09-09 2014-08-06 福州瑞芯微电子有限公司 视频图像文件压缩系统、客户端及方法
CN113630408A (zh) * 2021-08-03 2021-11-09 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及服务器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974087A (zh) * 2013-09-09 2014-08-06 福州瑞芯微电子有限公司 视频图像文件压缩系统、客户端及方法
CN113630408A (zh) * 2021-08-03 2021-11-09 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及服务器
CN113630408B (zh) * 2021-08-03 2023-06-16 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及服务器

Similar Documents

Publication Publication Date Title
CN101977218B (zh) 一种互联网播放文件转码方法和系统
CN1577330A (zh) 媒体基础媒体处理器
CN108881942B (zh) 一种基于分布式对象存储的超融合常态录播系统
US9152603B1 (en) System and method for increasing application compute client data I/O bandwidth performance from data file systems and/or data object storage systems by hosting/bundling all of the data file system storage servers and/or data object storage system servers in the same common global shared memory compute system as the application compute clients
CN1731827A (zh) 录像装置、摄录一体装置和音视频编辑系统
CN103279521A (zh) 一种基于Hadoop的视频大数据分布式解码方法
CN102243615B (zh) 一种支持音视频帧存储的内存缓冲管理方法
CN109451317A (zh) 一种基于fpga的图像压缩系统及方法
CN107450856A (zh) 存储数据的写入方法、读取方法以及相应的装置、终端
CN104125461A (zh) 一种大尺寸的图像压缩处理系统及方法
CN110347342A (zh) 一种基于磁盘队列实现Kafka集群同步的方法及系统
CN201536405U (zh) 一种集群式图像运算系统
CN104811646B (zh) 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法
CN102681790B (zh) 一种数据转储设备和通过其进行数据转储的方法及系统
WO2024021470A1 (zh) 一种跨区域的数据调度方法、装置、设备及存储介质
KR20110055011A (ko) 초고화질 영상을 위한 실시간 입출력 모듈 시스템
US10802914B2 (en) Method of using common storage of parity data for unique copy recording
CN111083408B (zh) 一种视频存储业务的处理方法、系统及设备
Liu et al. An Optimization Method of Large-Scale Video Stream Concurrent Transmission for Edge Computing
CN105610823A (zh) 一种基于任务向量的流媒体处理方法及其处理系统架构
CN102572518B (zh) 基于vlc的视频图像分析平台及方法
CN101945271A (zh) 图像压缩系统及压缩方法
CN111524077B (zh) 影像资料的修复方法及系统
US10579265B2 (en) Cloud-synchronized local storage management
JP2015075931A (ja) 映像記録装置及び映像記録方法

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: DADI ORISTAR TECHNOLOGY DEVELOPMENT (BEIJING) CO.,

Free format text: FORMER OWNER: BEIJING CE OPEN SOURCE INFORMATION TECHNOLOGY CO., LTD.

Effective date: 20110720

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100000 ROOM 301, TOWER C, NO. 18, WEST RING ROAD SOUTH, BEIJING ECONOMIC AND TECHNOLOGICAL DEVELOPMENT ZONE, BEIJING TO: 100176 ROOM 404, BUILDING 2, AREA A, NO. 1, DISHENG NORTH STREET, BEIJING ECONOMIC AND TECHNOLOGICAL DEVELOPMENT ZONE, BEIJING

TR01 Transfer of patent right

Effective date of registration: 20110720

Address after: 404, room 2, building 1, A District, 100176 North Sheng Bei street, Beijing economic and Technological Development Zone, Beijing, China

Patentee after: Oristar Technology Development (Beijing)Co., Ltd.

Address before: 301, room 100000, block C, 18 West South Road, Beijing economic and Technological Development Zone, Beijing, China

Patentee before: Beijing CE Open Source Software Co., Ltd.

DD01 Delivery of document by public notice

Addressee: Li Sha

Document name: Notification of Passing Examination on Formalities

C56 Change in the name or address of the patentee

Owner name: DIGITAL DATA ORISTAR TECHNOLOGY DEVELOPMENT (BEIJI

Free format text: FORMER NAME: DADI ORISTAR TECHNOLOGY DEVELOPMENT (BEIJING) CO., LTD.

CP03 Change of name, title or address

Address after: 100176, 1 floor, B District, No. 1 West Sheng Road, Beijing economic and Technological Development Zone, Beijing,, China, room 1

Patentee after: Digital Star Technology Development (Beijing) Co., Ltd.

Address before: 404, room 2, building 1, A District, 100176 North Sheng Bei street, Beijing economic and Technological Development Zone, Beijing, China

Patentee before: Oristar Technology Development (Beijing)Co., Ltd.

CX01 Expiry of patent term

Granted publication date: 20100728

CX01 Expiry of patent term