CN113382281A - 一种基于jbof的视频数据处理方法和装置 - Google Patents

一种基于jbof的视频数据处理方法和装置 Download PDF

Info

Publication number
CN113382281A
CN113382281A CN202110525250.7A CN202110525250A CN113382281A CN 113382281 A CN113382281 A CN 113382281A CN 202110525250 A CN202110525250 A CN 202110525250A CN 113382281 A CN113382281 A CN 113382281A
Authority
CN
China
Prior art keywords
video
jbof
video data
request
ssd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110525250.7A
Other languages
English (en)
Inventor
唐先芝
谷卫青
郝晨
王剑立
高明杨
吴浚
潘文洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoyun Technology Xi'an Co ltd
Original Assignee
Yaoyun Technology Xi'an Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoyun Technology Xi'an Co ltd filed Critical Yaoyun Technology Xi'an Co ltd
Priority to CN202110525250.7A priority Critical patent/CN113382281A/zh
Publication of CN113382281A publication Critical patent/CN113382281A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/2312—Data placement on disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种基于JBOF的视频数据处理方法和装置，属于数据存储领域，其特征在于：写入视频数据时，固态硬盘簇JBOF将获取的视频数据同时以多种编码格式和分辨率的形式存储于目标固态硬盘SSD中；读取视频数据时，固态硬盘簇JBOF根据视频浏览请求指令所包括的浏览器需求类型发送请求的视频格式和分辨率的视频数据。将视频编码放在JBOF端，计算存储一体化，计算压力由客户端服务器端分散到各JBOF中，减轻客户端服务器计算压力，从而可服务更多客户的请求，提高响应速度。JBOF将视频同时编码多种常规格式，存储到JBOF中不同的固态存储盘SSD中。多种格式并行存储，当其中一个存储固态硬盘出现问题时，有其他格式的视频文件作为备份，提高安全性。

Description

一种基于JBOF的视频数据处理方法和装置
技术领域
本发明属于数据存储领域，尤其涉及一种基于JBOF的视频数据处理方法和装置。
背景技术
目前的数据服务器存储架构主要有客户端服务器和固态硬盘集（Just a Bunchof Flash SSD，JBOF) 构成。JBOF一般不提供数据的处理，而是由上层的客户端服务器来处理。
具体到视频存储领域，客户端服务器对用户侧上传的视频进行一种特定的编码并存储在JBOF的SSD上。客户端服务器在接收到用户的视频浏览请求后，读出JBOF中的视频并送给用户侧，由用户侧浏览器完成与浏览器匹配的视频解码及格式转换工作。然而，随着客户对视频的访问量的不断增大，客户端服务器需要同时处理多个视频用户上传视频请求及对视频进行编码等计算，对客户端服务器的计算单元能力要求越来越强。
另外，不同的用户因为浏览器以及网速的不同，浏览视频时对视频格式要求不同，需要客户浏览器端对读到的视频进行格式转换，造成延迟较大。并且存储的视频格式通常只有一种分辨率的格式，一般会存储分辨率较高的文件格式，文件比较大。视频浏览时，所有的客户端浏览器都要从存储盘读取上述所说的较大文件，对带宽的占用也比较高。带宽资源被占用过高会导致视频浏览过程中出现卡顿现象；视频到了客户浏览器端，需要客户端根据浏览器的类型进行视频格式转换，会有延时，造成较差的客户体验。
现有技术的缺点有：所有客户端上传的视频在客户服务器端编码完成，网络用户越来越多，视频上传量越来越大，对客户端服务器的计算能力要求越来越强，客户端服务器的计算能力已经越来越成为视频上传的瓶颈。不同的视频获取用户对视频格式要求不同，需要客户浏览器端进行格式转换，造成延迟较大的问题。视频上传时，通常采用分辨率较高的编码方法对视频进行编码存储。每个客户端在读取视频时，只能从JBOF存储中读取高分辨率的编码格式的视频，占用的系统带宽资源高。
发明内容
本发明旨在解决上述问题，提供一种基于JBOF的多种视频编码方案的分布式计算存储，同时满足不同客户不同带宽的低延迟及流畅浏览视频体验的视频数据处理方法及装置。
第一方面，本发明提供一种基于JBOF的视频数据处理方法，在写入视频数据时，固态硬盘簇JBOF将获取的视频数据同时以多种编码格式和分辨率的形式存储于目标固态硬盘SSD中；读取视频数据时，固态硬盘簇JBOF根据视频浏览请求指令所包括的浏览器需求类型发送请求的视频格式和分辨率的视频数据。
优选地，本发明所述基于JBOF的视频数据处理方法，所述写入视频数据时：固态硬盘簇JBOF获取客户端服务器的写请求指令后开始进行数据传输；所述客户端服务器的写请求指令包括上传视频请求，及需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；
JBOF按照收到的视频数据及视频编码格式和分辨率请求，对视频数据同时进行一种或多种格式的编码；
完成编码后，将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中。
优选地，本发明所述基于JBOF的视频数据处理方法，所述读取视频数据时，固态硬盘簇JBOF获取客户端服务器的读请求指令；所述客户端服务器的读请求指令包括视频浏览请求、及根据视频浏览器需求的类型发送请求的视频格式和分辨率文件；
JBOF根据视频浏览器需求的类型发送读请求到对应格式和分辨率的视频所属的指定固态硬盘SSD；
然后从指定固态硬盘SSD读取视频数据传递给客户端服务器。
优选地，本发明所述基于JBOF的视频数据处理方法，所述JBOF包括有若干个视频编码单元；每个所述视频编码单元支持不同格式、不同分辨率的视频数据编码。
优选地，本发明所述基于JBOF的视频数据处理方法，所述JBOF和客户端服务器均包含命令提交队列（SQ）和命令完成队列（CQ）。
优选地，本发明所述基于JBOF的视频数据处理方法，所述JBOF与客户端服务器之间通过NVMoF协议完成数据传递的请求及数据本身的传递。
优选地，本发明所述基于JBOF的视频数据处理方法，所述将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中，将分辨率和码率较高的视频数据优先存储在响应速度快且接口带宽较高的固态硬盘SSD中；将分辨率和码率较低的视频数据则放在接口速度及带宽有限的固态硬盘SSD中。
第二方面，本发明提供一种基于JBOF的视频数据处理装置，包括固态硬盘簇JBOF和客户端服务器；所述固态硬盘簇JBOF设置有视频管理模块和若干个视频编码单元；
所述视频编码单元用于按照收到的视频数据及视频编码格式和分辨率请求，对视频数据同时进行一种或多种格式和分辨率的编码；
所述视频管理模块用于获取客户端服务器的写请求指令；将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中；所述客户端服务器的写请求指令包括上传视频请求，及需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；及用于获取客户端服务器的读请求指令；从指定固态硬盘SSD读取视频数据传递给客户端服务器；所述客户端服务器的读请求指令包括视频浏览请求、及根据视频浏览器需求的类型发送请求的视频格式和分辨率；
所述客户端服务器用于获取上传视频请求，并根据上传视频请求确定需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；及用于获取视频浏览请求，并根据视频浏览请求确定视频浏览器需求的类型发送请求的视频格式和分辨率，确定对应格式和分辨率的指定固态硬盘SSD。
优选地，本发明所述基于JBOF的视频数据处理装置，所述客户端服务器设置有存储管理系统；所述存储管理系统用于获取上传视频请求，并根据上传视频请求确定需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；
及用于获取视频浏览请求，并根据视频浏览请求确定视频浏览器需求的类型发送请求的视频格式和分辨率，确定对应格式和分辨率的指定固态硬盘SSD。
第三方面，本发明提供一种存储系统，包括存储装置；所述存储装置内设置有存储系统；所述存储装置包括前述第二方面所述的视频数据处理装置；所述存储系统可以运行包括前述第一方面所述的视频数据处理方法。
第四方面，提供一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中的视频数据处理方法。
第五方面，提供一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中的视频数据处理方法。
本发明所述基于JBOF的视频数据处理方法和装置的技术优点在于：将视频编码放在JBOF端，计算存储一体化，计算压力由客户端服务器端分散到各JBOF中，减轻客户端服务器计算压力，从而可服务更多客户的请求，提高响应速度。
JBOF将视频同时编码多种常规格式，存储到JBOF中不同的固态存储盘SSD中。多种格式并行存储，当其中一个存储固态硬盘出现问题时，有其他格式的视频文件作为备份，提高安全性。
不同客户端的网速不同，视频浏览器对视频的格式和分辨率要求不同，客户端服务器可以根据客户端浏览器的实际需求，直接从存放满足需求的视频格式和分辨率的固态存储盘中读取视频，不用经过视频格式转换等环节，减少视频浏览的时延以及流畅度的问题。
附图说明
图1为本发明所述基于JBOF的视频数据处理装置架构示意图；
图2为本发明所述基于JBOF的视频数据处理方法上传视频流程示意图；
图3为本发明所述基于JBOF的视频数据处理方法读取视频流程示意图。
具体实施方式
下面结合附图及实施例对本发明所述基于JBOF的视频数据处理方法和装置进行详细说明。
本公开实施例以基于NVMoF 的100G Ethernet 网络存储系统进行介绍。如图1所示本公开实施例所述基于JBOF的视频数据处理装置存储系统包括客户端服务器和JBOF；客户端服务器与至少一个客户端双向电连接；客户端服务器与JBOF通过RDMA交换机双向电连接。
客户端服务器：接收来自客户端申请视频上传请求，将视频缓存后，客户端服务器的存储管理模块将客户的视频上传请求，以及客户端服务器设置的一种或者多种视频转换格式及分辨率，以及每种视频格式文件需要存储的JBOF 中的目标盘请求信息，转换成IO请求，通过交换机, 发送给JBOF 中的视频存储管理模块。
交换机：用于接收多个客户端服务器的请求，并根据请求的目标盘，将请求传递给对应的JBOF目标盘中。
JBOF：固态硬盘簇，是将多个SSD盘集成在一个板上。
在本公开实施例中JBOF中集成有多个硬件视频编码单元，支持不同格式，不同分辨率的视频数据编码功能。视频编码主要包括H265、H264、VP9、VP8等；视频分辨率主要包括4K、2K、1080P、720P等。
在本公开实施例中JBOF中集成有NVMoF协议卸载功能，与客户服务器端之间的请求和数据通过NVMoF协议来完成。NVMoF中包含命令提交队列（SQ）和命令完成队列（CQ）及数据管理模块等。客户端服务器的数据管理器将从客户端接收的请求转换成NVMoF命令放入命令提交队列。JBOF中的数据管理模块根据收到的命令传输数据。JBOF的NVMoF将数据传输完成后，填写命令完成队列并将命令完成队列内容传递给客户端服务器。
JBOF与客户端服务器之间通过NVMoF协议完成数据传递的请求及数据本身的传递。
视频编码单元按照收到的视频数据及视频编码格式和分辨率请求，对视频数据同时进行一种或多种格式和分辨率的编码。
视频管理模块获取客户端服务器的写请求指令；将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中；所述客户端服务器的写请求指令包括上传视频请求，及需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；及用于获取客户端服务器的读请求指令；从指定固态硬盘SSD读取视频数据传递给客户端服务器；所述客户端服务器的读请求指令包括视频浏览请求、及根据视频浏览器需求的类型发送请求的视频格式和分辨率。
本发明所述基于JBOF的视频数据处理装置，所述客户端服务器设置有存储管理系统；所述存储管理系统用于获取上传视频请求，并根据上传视频请求确定需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD。获取视频浏览请求，并根据视频浏览请求确定视频浏览器需求的类型发送请求的视频格式和分辨率，确定对应格式和分辨率的指定固态硬盘SSD。
在本公开另一实施例基于JBOF的视频数据处理方法中，在写入视频数据时，固态硬盘簇JBOF将获取的视频数据同时以多种编码格式和分辨率的形式存储于目标固态硬盘SSD中；读取视频数据时，固态硬盘簇JBOF根据视频浏览请求指令所包括的浏览器需求类型发送请求的视频格式和分辨率的视频数据。
写入视频数据时：固态硬盘簇JBOF获取客户端服务器的写请求指令后开始进行数据传输；所述客户端服务器的写请求指令包括上传视频请求，及需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；JBOF按照收到的视频数据及视频编码格式和分辨率请求，对视频数据同时进行一种或多种格式的编码；完成编码后，将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中。
如图2所示，在本公开实施例中客户端视频上传的具体的流程如下：
201，客户端向客户端服务器发送视频上传请求。
202，客户端服务器确定需要JBOF存放的视频编码一种或者多种格式 以及所属的视频处理请求用于访问所述JBOF中的目标固态硬盘SSD； 然后将客户写请求附加上信息转换成NVMoF命令写入命令队列.视频的数据接收缓存在服务器的缓存器后，通知客户端，视频上传完成。
203，JBOF的NVMeoF协议处理器从客户服务器端取得命令队列，启动RDMA开始数据的传输。传输完成则返回完成状态到客户端服务器的完成队列中（CQ）。
204，对于接收到的视频数据，按照指令的要求，进行一种或者同时多种格式以及分辨率的编码。
205，所述的JBOF视频编码单元在完成编码后，将编码后的数据放入指定的SSD存储盘中。分辨率和码率较高的视频优先存储在响应速度快并且带宽较高的SSD中，以满足高速传输需求的远端匹配。分辨率和码率较低的视频则可以选择放在带宽有限的SSD中。
上述的视频上传过程，比较耗时的视频编码分散到JBOF中，计算存储一体化。极大的降低了客户端服务器的计算压力。对客户端而言，响应的速度更快，体验更好。
读取视频数据时，固态硬盘簇JBOF获取客户端服务器的读请求指令；所述客户端服务器的读请求指令包括视频浏览请求、及根据视频浏览器需求的类型发送请求的视频格式和分辨率；JBOF根据视频浏览器需求的类型发送请求的视频格式和分辨率确定对应格式和分辨率的指定固态硬盘SSD；然后从指定固态硬盘SSD读取视频数据传递给客户端服务器。
如图3所示，在本公开实施例中客户端视频浏览具体的流程如下：
301，客户发送视频浏览请求给客户端服务器,客户端服务器根据客户端的浏览器类型以及网速，计算匹配合适的视频格式和分辨率。对于带宽高，解码能力强的客户端，可以提供高质量高分辨率的视频格式，而对于带宽一般，解码能力有限的客户，则提供视频压缩率高，低分辨率的视频文件。
302，客户端服务器将请求的视频的格式和分辨率等信息转换成NVMoF命令写入命令队列
303，固态硬盘簇JBOF获取客户端服务器的指令，从指定的SSD存储盘读取视频数据并启动RDMA将数据传递给客户端服务器
304，客户服务器将读取视频数据返回给客户端。
上述读过程，客户端得到的视频数据是客户浏览器匹配的格式，故不需要在客户端进行格式转换等，使得播放更流畅，提高用户体验。
上述读过程，客户端请求的是客户端浏览器需要的格式，如果客户端需要的视频格式分辨率低，则从JBOF中取得的视频格式本身数据量也小，避免了占用太多的带宽。
需说明的是，上述的视频编码等计算单元可以硬件完成，也可以有JBOF中的CPU软件来完成。
还需说明的是，上述的处理机制只是以基于NVMoF的Ethernet网络为例来讲述过程。但该方法和装置同样适用于其他的网络及结构。比如基于NVMe的PCIE总线的网络结构，或者基于SAS cable的网络结构等。
本公开另一具体实施例所述存储系统，包括存储装置；所述存储装置内设置有存储系统；所述存储装置包括前述第二方面所述的视频数据处理装置；视频数据处理装置包括固态硬盘簇JBOF和客户端服务器；所述固态硬盘簇JBOF设置有视频管理模块和若干个视频编码单元。视频编码单元按照收到的视频数据及视频编码格式和分辨率请求，对视频数据同时进行一种或多种格式和分辨率的编码。
视频管理模块用于获取客户端服务器的写请求指令；将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中；所述客户端服务器的写请求指令包括上传视频请求，及需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；及用于获取客户端服务器的读请求指令；从指定固态硬盘SSD读取视频数据传递给客户端服务器；所述客户端服务器的读请求指令包括视频浏览请求、及根据视频浏览器需求的类型发送请求的视频格式和分辨率。
客户端服务器获取上传视频请求，并根据上传视频请求确定需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；及用于获取视频浏览请求，并根据视频浏览请求确定视频浏览器需求的类型发送请求的视频格式和分辨率，确定对应格式和分辨率的指定固态硬盘SSD；所述存储系统可以运行包括前述第一方面所述的视频数据处理方法，在写入视频数据时，固态硬盘簇JBOF将获取的视频数据同时以多种编码格式和分辨率的形式存储于目标固态硬盘SSD中；读取视频数据时，固态硬盘簇JBOF根据视频浏览请求指令所包括的浏览器需求类型发送请求的视频格式和分辨率的视频数据。
本公开另一具体实施例所述计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中的视频数据处理方法，在写入视频数据时，固态硬盘簇JBOF将获取的视频数据同时以多种编码格式和分辨率的形式存储于目标固态硬盘SSD中；读取视频数据时，固态硬盘簇JBOF根据视频浏览请求指令所包括的浏览器需求类型发送请求的视频格式和分辨率的视频数据。
本公开另一具体实施例计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使计算机执行上述第一方面中的视频数据处理方法，在写入视频数据时，固态硬盘簇JBOF将获取的视频数据同时以多种编码格式和分辨率的形式存储于目标固态硬盘SSD中；读取视频数据时，固态硬盘簇JBOF根据视频浏览请求指令所包括的浏览器需求类型发送请求的视频格式和分辨率的视频数据。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(DVD))或者半导体介质(例如，固态硬盘(SSD))等。
计算机存储代码所形成软件可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于JBOF的视频数据处理方法，其特征在于：写入视频数据时，固态硬盘簇JBOF将获取的视频数据同时以多种编码格式和分辨率的形式存储于目标固态硬盘SSD中；读取视频数据时，固态硬盘簇JBOF根据视频浏览请求指令所包括的浏览器需求类型发送请求的视频格式和分辨率的视频数据。
2.根据权利要求1所述基于JBOF的视频数据处理方法，所述写入视频数据时，其特征在于：
固态硬盘簇JBOF获取客户端服务器的写请求指令后开始进行数据传输；所述客户端服务器的写请求指令包括上传视频请求，及需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；
JBOF按照收到的视频数据及视频编码格式和分辨率请求，对视频数据同时进行一种或多种格式的编码；
完成编码后，将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中。
3.根据权利要求1所述基于JBOF的视频数据处理方法，所述读取视频数据时，其特征在于：
固态硬盘簇JBOF获取客户端服务器的读请求指令；所述客户端服务器的读请求指令包括视频浏览请求、及根据视频浏览器需求的类型发送请求的视频格式和分辨率；
JBOF根据视频浏览器需求的类型发送读请求到对应格式和分辨率的视频所属的指定固态硬盘SSD；
然后从指定固态硬盘SSD读取视频数据传递给客户端服务器。
4.根据权利要求1或2或3所述基于JBOF的视频数据处理方法，其特征在于：所述JBOF包括有若干个视频编码单元；每个所述视频编码单元支持不同格式、不同分辨率的视频数据编码。
5.根据权利要求4所述基于JBOF的视频数据处理方法，其特征在于：所述JBOF和客户端服务器均包含命令提交队列和命令完成队列。
6. 根据权利要求5所述基于JBOF的视频数据处理方法，其特征在于： 所述JBOF与客户端服务器之间通过NVMoF协议完成数据传递的请求及数据本身的传递。
7.根据权利要求2所述基于JBOF的视频数据处理方法，所述将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中，其特征在于：将分辨率和码率较高的视频数据优先存储在响应速度快且接口带宽较高的固态硬盘SSD中；将分辨率和码率较低的视频数据则放在接口速度及带宽有限的固态硬盘SSD中。
8.一种基于JBOF的视频数据处理装置，包括固态硬盘簇JBOF和客户端服务器；其特征在于：所述固态硬盘簇JBOF设置有视频管理模块和若干个视频编码单元；
所述视频编码单元用于按照收到的视频数据及视频编码格式和分辨率请求，对视频数据同时进行一种或多种格式和分辨率的编码；
所述视频管理模块用于获取客户端服务器的写请求指令；将编码后的不同格式和分辨率的视频数据发送到所属目标固态硬盘SSD中；所述客户端服务器的写请求指令包括上传视频请求，及需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；
及用于获取客户端服务器的读请求指令；从指定固态硬盘SSD读取视频数据传递给客户端服务器；所述客户端服务器的读请求指令包括视频浏览请求、及根据视频浏览器需求的类型发送请求的视频格式和分辨率；
所述客户端服务器用于获取上传视频请求，并根据上传视频请求确定需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；
及用于获取视频浏览请求，并根据视频浏览请求确定视频浏览器需求的类型发送请求的视频格式和分辨率，确定对应格式和分辨率的指定固态硬盘SSD。
9.根据权利要求8所述基于JBOF的视频数据处理装置，其特征在于：所述客户端服务器设置有存储管理系统；所述存储管理系统用于获取上传视频请求，并根据上传视频请求确定需要JBOF存放的一种或多种视频编码格式和分辨率，及所属用于访问所述JBOF中的目标固态硬盘SSD；
及用于获取视频浏览请求，并根据视频浏览请求确定视频浏览器需求的类型发送请求的视频格式和分辨率，确定对应格式和分辨率的指定固态硬盘SSD。
10.一种存储系统，包括存储装置；所述存储装置内设置有存储系统；其特征在于：所述存储装置包括权利要求8-9任一项所述的装置；所述存储系统可以运行包括权利要求1-7任一项所述的方法。
CN202110525250.7A 2021-05-14 2021-05-14 一种基于jbof的视频数据处理方法和装置 Withdrawn CN113382281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110525250.7A CN113382281A (zh) 2021-05-14 2021-05-14 一种基于jbof的视频数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110525250.7A CN113382281A (zh) 2021-05-14 2021-05-14 一种基于jbof的视频数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN113382281A true CN113382281A (zh) 2021-09-10

Family

ID=77570979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110525250.7A Withdrawn CN113382281A (zh) 2021-05-14 2021-05-14 一种基于jbof的视频数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN113382281A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802138A (zh) * 2011-05-25 2012-11-28 腾讯科技（深圳）有限公司 一种视频文件的处理方法和系统、视频代理系统
CN103780905A (zh) * 2012-10-18 2014-05-07 深圳市朗驰欣创科技有限公司 一种高速视频编码装置
CN103997656A (zh) * 2014-06-12 2014-08-20 北京奇艺世纪科技有限公司 高清视频文件处理方法及装置
CN105992017A (zh) * 2015-02-05 2016-10-05 天脉聚源（北京）科技有限公司 一种音视频文件播放方法和系统
CN107728936A (zh) * 2017-09-05 2018-02-23 华为技术有限公司 用于传输数据处理请求的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802138A (zh) * 2011-05-25 2012-11-28 腾讯科技（深圳）有限公司 一种视频文件的处理方法和系统、视频代理系统
CN103780905A (zh) * 2012-10-18 2014-05-07 深圳市朗驰欣创科技有限公司 一种高速视频编码装置
CN103997656A (zh) * 2014-06-12 2014-08-20 北京奇艺世纪科技有限公司 高清视频文件处理方法及装置
CN105992017A (zh) * 2015-02-05 2016-10-05 天脉聚源（北京）科技有限公司 一种音视频文件播放方法和系统
CN107728936A (zh) * 2017-09-05 2018-02-23 华为技术有限公司 用于传输数据处理请求的方法和装置
US20200201578A1 (en) * 2017-09-05 2020-06-25 Huawei Technologies Co., Ltd. Method and Apparatus for Transmitting Data Processing Request

Similar Documents

Publication Publication Date Title
US10642777B2 (en) System and method for maximizing bandwidth of PCI express peer-to-peer (P2P) connection
US8279893B2 (en) System and method for communicating data utilizing multiple types of data connections
CN109194647A (zh) 数据传输方法、装置、电子设备及存储介质
US9544370B2 (en) Data transferring apparatus, data transmission system and data transmitting method
US8788726B2 (en) Data transmission system, storage medium and data transmission program
US10448062B2 (en) Pre-fetching media content to reduce peak loads
CN105007329B (zh) 一种基于PCIe的网络共享存储系统及其存储方法
CN114201421B (zh) 一种数据流处理方法、存储控制节点及可读存储介质
EP3565257B1 (en) Storage device and server including the storage device
JP2018007228A (ja) クラウドストリーミングサービス提供方法及びそのための装置
US20140289308A1 (en) Streaming distribution system, streaming distribution method
US9332277B2 (en) Transform space difference compression
CN111726657A (zh) 直播视频的播放处理方法、装置及服务器
CN104053015A (zh) 一种传输媒体数据的方法及虚拟桌面服务器
CN109992564A (zh) 文件存储系统及方法
EP2552075B1 (en) Systems and methods of distributed file storage
CN112616024A (zh) Usb摄像头数据获取方法、装置、电子设备和存储介质
CN111404842B (zh) 数据传输方法、装置及计算机存储介质
CN113382281A (zh) 一种基于jbof的视频数据处理方法和装置
EP4037331A1 (en) Method and apparatus for processing video
US20230195372A1 (en) Systems, methods, and devices for content distribution using storage device with network interface
CN109936750B (zh) 通信系统、微控制器及其应用的视频转码方法及系统
Chen et al. Design and Analysis of an Efficient Buffer Scheduling Scheme for VOD System
US20140310758A1 (en) Video on demand service method using solid state drive
CN117981326A (zh) 用于基于云的视频处理的虚拟和索引装配

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210910

WW01 Invention patent application withdrawn after publication