CN106658153A - 一种数据处理方法及设备 - Google Patents

一种数据处理方法及设备 Download PDF

Info

Publication number
CN106658153A
CN106658153A CN201510733958.6A CN201510733958A CN106658153A CN 106658153 A CN106658153 A CN 106658153A CN 201510733958 A CN201510733958 A CN 201510733958A CN 106658153 A CN106658153 A CN 106658153A
Authority
CN
China
Prior art keywords
data
file
frame
data file
cache directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510733958.6A
Other languages
English (en)
Other versions
CN106658153B (zh
Inventor
王颖琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201510733958.6A priority Critical patent/CN106658153B/zh
Publication of CN106658153A publication Critical patent/CN106658153A/zh
Application granted granted Critical
Publication of CN106658153B publication Critical patent/CN106658153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种数据处理方法和设备,所述方法包括:接收数据文件的创建请求;响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;根据所述归类结果创建对应所述数据文件的缓存目录文件;对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。

Description

一种数据处理方法及设备
技术领域
本发明涉及电子技术,尤其涉及一种数据处理方法及设备。
背景技术
对于远程编辑视频而言,目前通用的缓存方法是首先通过远程请求分片文件到本地,所述分片文件为视音频合一的文件;然后本地通过缓存写的方式将该文件保存在本地磁盘,当下次需要读取该文件时,首先从本地文件查找,若有该文件,就从本地文件读取解码视音频并播放。
以苹果的HTTP流媒体直播(HTTP Live Streaming)协议为例,M3U8文件存放不同的分片文件,每一个分片文件相当于一个传送流(Transport Stream,TS)。TS流的特点是没有索引,不适合编辑的随机访问;在浏览视频时需要从头解析到尾,音频重复读取,不能多个IO设备协同工作,碎片文件太多,不利于缓存管理。再以微软的平滑流(Smooth Streaming)协议为例,扩展名为ISM的文件存放不同码率的信息,ISMC存放时间分片信息,ISMV存放具体的媒体信息,由于ISMC为单独的一个索引文件,扩展了协议的复杂性,只能用于传输和播放,不适合编辑;因视音频合一,在浏览视频时音频重复读取,不能多个IO设备协同工作。
发明内容
有鉴于此,本发明实施例为解决现有技术中存在的问题而提供一种数据处理方法及设备。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种数据处理方法,所述方法包括:
接收数据文件的创建请求;
响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;
根据所述归类结果创建对应所述数据文件的缓存目录文件;
对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。
上述方案中,所述特征参数包括数据类型和数据长度;所述数据类型为视频数据或音频数据;
根据所述特征参数对所述数据文件进行归类,得到归类结果,包括:
所述特征参数的数据类型为视频数据,则所得到的归类结果为视频数据类型;所述特征参数的数据类型为音频数据,则所得到的归类结果为音频数据类型。
上述方案中,所述根据所述归类结果创建对应所述数据文件的缓存目录文件,包括:
根据所述数据长度,写入对应所述数据长度倍数的空白字节到缓存,以获得缓存目录文件;
根据所述归类结果为所述缓存目录文件扩展相应数据类型的扩展名。
上述方案中,所述对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件之前,所述方法还包括:
检测所述数据文件;
当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;
保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件。
上述方案中,所述对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件,包括:
检测所述数据文件的当前帧数据;
当所述当前帧数据属于关键帧数据,在内存中创建当前块索引项,写入当前帧数据对应的关键帧号和帧偏移量;
将所述当前块索引项写入所述缓存目录文件的文件头,并将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件;
循环检测所述数据文件,直至所述数据文件结束为止。
上述方案中,所述方法还包括:
当所述当前帧数据不属于关键帧数据,继续检测所述数据文件。
上述方案中,所述帧偏移量包括绝对帧偏移量和相对帧偏移量;
所述绝对帧偏移量为所述关键帧数据的起始偏移、所述相对帧偏移量及与所述关键帧相关的帧的大小之和。
本发明实施例还提供一种数据处理设备,所述数据处理设备包括接收模块、解析模块、归类模块、创建模块和分片处理模块;
所述接收模块,用于接收数据文件的创建请求;
所述解析模块,用于响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
所述归类模块,用于根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;
所述创建模块,用于根据所述归类结果创建对应所述数据文件的缓存目录文件;
所述分片处理模块,用于对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。
上述方案中,所述特征参数包括数据类型和数据长度;所述数据类型为视频数据或音频数据;
所述归类模块根据所述特征参数对所述数据文件进行归类,得到归类结果,包括:所述特征参数的数据类型为视频数据,则所得到的归类结果为视频数据类型;所述特征参数的数据类型为音频数据,则所得到的归类结果为音频数据类型。
上述方案中,所述创建模块包括第一写入单元和扩展单元;
所述第一写入单元,用于根据所述数据长度,写入对应所述数据长度倍数的空白字节到缓存,以获得缓存目录文件;
所述扩展单元,用于根据所述归类结果为所述缓存目录文件扩展相应数据类型的扩展名。
上述方案中,所述数据处理设备还包括检测模块、构建模块和存储模块;
所述检测模块,用于检测所述数据文件;
所述构建模块,用于当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;
所述存储模块,用于保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件。
上述方案中,所述分片处理模块包括检测单元、创建单元和第二写入单元;
所述检测单元,用于检测所述数据文件的当前帧数据;还用于循环检测所述数据文件,直至所述数据文件结束为止。
所述创建单元,用于当所述当前帧数据属于关键帧数据,在内存中创建当前块索引项,写入当前帧数据对应的关键帧号和帧偏移量;
所述第二写入单元,用于将所述当前块索引项写入所述缓存目录文件的文件头,并将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件。
上述方案中,所述检测单元,还用于当所述当前帧数据不属于关键帧数据,继续检测所述数据文件。
上述方案中,所述帧偏移量包括绝对帧偏移量和相对帧偏移量;
所述绝对帧偏移量为所述关键帧数据的起始偏移、所述相对帧偏移量及与所述关键帧相关的帧的大小之和。
本发明实施例中,接收并响应数据文件的创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;再根据所述特征参数对所述数据文件进行归类,得到包括视频数据类型或音频数据类型的归类结果;进一步根据所述归类结果创建对应所述数据文件的缓存目录文件;再对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。如此,通过本发明实施例数据处理方法,得以实现对音视频合一文件的分布式存放,有效避免非线性编辑软件对IO设备的冗余访问,提高IO设备的使用效率,以实现分布式读取数据文件的快速响应。
附图说明
图1为本发明实施例一数据处理方法的实现流程示意图;
图2为本发明实施例根据所述归类结果创建对应所述数据文件的缓存目录文件的实现流程示意图;
图3为本发明实施例二数据处理方法的实现流程示意图;
图4为本发明实施例三数据处理方法的实现流程示意图;
图5为本发明实施例对应于所述数据文件的二级索引存储结构图;
图6为本发明实施例数据处理设备的组成结构示意图;
图7为本发明实施例数据处理方法的具体实现流程示意图一;
图8为本发明实施例数据处理方法的具体实现流程示意图二;
图9为本发明实施例分离文件分布式存储的具体实现流程示意图;
图10为本发明实施例数据处理设备作为硬件实体的一个示例图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
方法实施例一:
图1为本发明实施例一数据处理方法的实现流程示意图,如图1所示,所述方法包括:
步骤S101:接收数据文件的创建请求;
这里,所述数据文件可以是视频数据文件或音频数据文件。其中,所述视频数据文件为包括图片或动画在内的数据文件,如MP4格式的数据文件;所述音频数据文件为仅包括声音的数据文件,如MP3格式的数据文件。当终端或服务器接收到视频数据文件的创建请求时,将执行从音视频合一的文件中分离视频数据文件,并按照视频关键帧进行分片存储;当终端或服务器接收到音频数据文件的创建请求时,将执行从音视频合一的文件中分离音频文件,并按照音频关键帧进行分片存储;如此,以实现对音视频合一文件的分布式存放。
步骤S102:响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
其中,所述与所述数据文件相关的特征参数通常包括数据类型和数据长度;所述数据类型可以为视频数据或音频数据。
步骤S103:根据所述特征参数对所述数据文件进行归类,得到归类结果;
其中,所述归类结果包括视频数据类型或音频数据类型。
这里,当所述特征参数的数据类型为视频数据时,根据所述特征参数对所述数据文件进行归类,所得到的归类结果为视频数据类型;当所述特征参数的数据类型为音频数据时,根据所述特征参数对所述数据文件进行归类,所得到的归类结果为音频数据类型。
步骤S104:根据所述归类结果创建对应所述数据文件的缓存目录文件;
具体地,如图2所示,根据所述归类结果创建对应所述数据文件的缓存目录文件,包括:
步骤S1041:根据所述数据长度,写入对应所述数据长度倍数的空白字节到缓存,以获得缓存目录文件;
步骤S1042:根据所述归类结果为所述缓存目录文件扩展相应数据类型的扩展名。
具体地,由于所述归类结果包括视频数据类型或音频数据类型,故根据所述归类结果为所述缓存目录文件扩展相应数据类型的扩展名可以包括:根据所述视频数据类型为所述缓存目录文件扩展视频类型的扩展名,如.vdo,或根据所述音频数据类型为所述缓存目录文件扩展音频类型的扩展名,如.ado。
步骤S105:对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。
其中,所述关键帧包括视频关键帧和音频关键帧。具体地,如果根据所述特征参数对所述数据文件进行归类所得到的归类结果为视频数据类型,则对所述数据文件进行视频关键帧分片处理,并将得到的分片依次按照时间先后顺序存储至所述缓存目录文件;如果根据所述特征参数对所述数据文件进行归类所得到的归类结果为音频数据类型,则对所述数据文件进行音频关键帧分配处理,并将得到的分片依次按照时间先后顺序存储至所述缓存目录文件。
采用本发明实施例的技术方案,接收并响应数据文件的创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;再根据所述特征参数对所述数据文件进行归类,得到包括视频数据类型或音频数据类型的归类结果;进一步根据所述归类结果创建对应所述数据文件的缓存目录文件;再对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。如此,得以实现对音视频合一文件的分布式存放,有效避免非线性编辑软件对IO设备的冗余访问,提高IO设备的使用效率,以实现分布式读取数据文件的快速响应。
方法实施例二:
图3为本发明实施例二数据处理方法的实现流程示意图,如图3所示,所述方法包括:
步骤S301:接收数据文件的创建请求;
步骤S302:响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
步骤S303:根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;
步骤S304:根据所述归类结果创建对应所述数据文件的缓存目录文件;
步骤S305:检测所述数据文件;
具体地,在从内存中存储的视音频合一的文件中读取所述数据文件的过程中,对所述数据文件进行检测,以确定所述数据文件是否读取完成,即确定所述数据文件是否已结束。
步骤S306:当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;
步骤S307:保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件;
这里,通过本发明实施例步骤S306~S307,能够将所述数据文件按照时间先后顺序通过每一帧数据对应的帧索引数据缓存至所述缓存目录文件,以实现对数据文件的一级缓存,为后续本发明实施例三的二级关键帧分片缓存奠定了基础。
步骤S308:对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。
需要说明的是,本发明实施例二所述步骤S301~S304和步骤S308的具体实现过程与本发明实施例一所述步骤S101~S105相类似,为节省篇幅,这里不再赘述。
如此,采用本发明实施例二的技术方案,在实现对音视频合一文件的分布式存放,有效避免非线性编辑软件对IO设备的冗余访问,提高IO设备的使用效率,以实现分布式读取数据文件的快速响应的基础上,通过检测所述数据文件,当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件,以实现对数据文件的一级缓存,为后续的二级关键帧分片缓存奠定了基础。
方法实施例三:
图4为本发明实施例三数据处理方法的实现流程示意图,如图4所示,所述方法包括:
步骤S401:接收数据文件的创建请求;
步骤S402:响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
步骤S403:根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;
步骤S404:根据所述归类结果创建对应所述数据文件的缓存目录文件;
需要说明的是,本发明实施例三所述步骤S401~S404的具体实现过程与本发明实施例一所述步骤S101~S104相类似,为节省篇幅,这里不再赘述。
步骤S405:检测所述数据文件;
步骤S406:当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;
步骤S407:保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件;
需要说明的是,本发明实施例三所述步骤S405~S407的具体实现过程与本发明实施例二所述步骤S305~S307相类似,为节省篇幅,这里不再赘述。
步骤S408:检测所述数据文件的当前帧数据;
具体地,在保存所述当前数据及对应的帧索引数据至所述缓存目录文件,以完成对所述数据文件的一级缓存之后,进一步对所述数据文件的当前帧数据进行检测,以确定所述当前帧数据是否属于关键帧数据。当然,如果所述数据文件为视频数据文件,则通过检测来确定所述当前帧数据是否属于视频关键帧数据,如果所述数据帧文件为音频数据文件,则通过检测来确定所述当前帧数据是否属于音频关键帧数据。
这里,当经检测确定所述数据文件的当前帧数据属于关键帧数据时,继续执行后续步骤S409;当经检测确定所述当前帧数据不属于关键帧数据时,继续返回步骤S405重新检测所述数据文件,以确定所述数据文件是否结束。
步骤S409:当所述当前帧数据属于关键帧数据,在内存中创建当前块chunk索引项,写入当前帧数据对应的关键帧号和帧偏移量;
这里,所述帧偏移量包括绝对帧偏移量和相对帧偏移量;所述绝对帧偏移量为所述关键帧数据的起始偏移、所述相对帧偏移量及与所述关键帧相关的帧的大小之和,即绝对帧偏移量frame offset=关键帧数据的起始偏移chunk offset+相对帧偏移量frame index size+与所述关键帧相关的帧的大小(key frame tocurrent frame size)。
步骤S410:将所述当前块索引项写入所述缓存目录文件的文件头,并将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件;
步骤S411:循环检测所述数据文件,直至所述数据文件结束为止。
如此,采用本发明实施例三的技术方案,在本发明实施例二实现对数据文件的一级缓存的基础上,通过检测所述数据文件的当前帧数据;当所述当前帧数据属于关键帧数据,在内存中创建当前块索引项,写入当前帧数据对应的关键帧号和帧偏移量;将所述当前块索引项写入所述缓存目录文件的文件头,并将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件;循环检测所述数据文件,直至所述数据文件结束为止,进一步得到对应于所述数据文件的如图5所示的二级索引存储结构图。如此,得以实现对所述数据文件的二级关键帧分片缓存,进一步有效避免非线性编辑软件对IO设备的冗余访问,提高IO设备的使用效率,以实现分布式读取数据文件的快速响应。
设备实施例:
图6为本发明实施例数据处理设备的组成结构示意图,所述数据处理设备可以为服务器,也可以为终端;如图6所示,所述数据处理设备包括接收模块601、解析模块602、归类模块603、创建模块604和分片处理模块605;
所述接收模块601,用于接收数据文件的创建请求;
所述解析模块602,用于响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
其中,所述特征参数包括数据类型和数据长度;所述数据类型为视频数据或音频数据。
所述归类模块603,用于根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;
这里,所述归类模块603根据所述特征参数对所述数据文件进行归类,得到归类结果,包括:所述特征参数的数据类型为视频数据,则所得到的归类结果为视频数据类型;所述特征参数的数据类型为音频数据,则所得到的归类结果为音频数据类型。
所述创建模块604,用于根据所述归类结果创建对应所述数据文件的缓存目录文件;
所述分片处理模块605,用于对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。
在一实施例中,如图6所示,所述创建模块604包括第一写入单元6041和扩展单元6042;
所述第一写入单元6041,用于根据所述数据长度,写入对应所述数据长度倍数的空白字节到缓存,以获得缓存目录文件;
所述扩展单元6042,用于根据所述归类结果为所述缓存目录文件扩展相应数据类型的扩展名。
在一实施例中,如图6所示,所述数据处理设备还包括检测模块606、构建模块607和存储模块608;
所述检测模块606,用于检测所述数据文件;
所述构建模块607,用于当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;
所述存储模块608,用于保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件。
在一实施例中,所述分片处理模块605包括检测单元6051、创建单元6052和第二写入单元6053;
所述检测单元6051,用于检测所述数据文件的当前帧数据;还用于循环检测所述数据文件,直至所述数据文件结束为止。
这里,所述检测单元6051,还可以用于当所述当前帧数据不属于关键帧数据,继续检测所述数据文件。
所述创建单元6052,用于当所述检测单元6051检测有所述当前帧数据属于关键帧数据,在内存中创建当前块索引项,写入当前帧数据对应的关键帧号和帧偏移量;
所述第二写入单元6053,用于将所述当前块索引项写入所述缓存目录文件的文件头,并将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件。
其中,所述帧偏移量包括绝对帧偏移量和相对帧偏移量;
所述绝对帧偏移量为所述关键帧数据的起始偏移、所述相对帧偏移量及与所述关键帧相关的帧的大小之和。
这里需要指出的是:以上数据处理设备实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本发明数据处理设备实施例中未披露的技术细节,本领域的技术人员请参照本发明方法实施例的描述而理解,为节约篇幅,这里不再赘述。
具体应用场景一:
图7为本发明实施例数据处理方法的具体实现流程示意图一,其中,所述数据文件为视频数据文件,如图7所示,所述方法包括:
步骤S701:接收创建视频数据文件请求;
步骤S702:得到原数据文件的视频长度,写入视频长度倍数空白字节到缓存目录文件;
步骤S703:判断视频数据文件是否结束,如果结束,转到S711;
步骤S704:如果未结束,解析所述视频数据文件的当前帧数据;
步骤S705:构建所述当前帧数据对应的帧索引数据并进行缓存;
步骤S706:检测当前帧数据是否属于视频关键帧,如果不属于,转到S703;
步骤S707:当所述当前帧数据属于视频关键帧数据,在内存中创建当前块索引chunk项,写入当前帧数据对应的关键帧号和帧偏移量;
步骤S708:将所述当前块索引项写入所述缓存目录文件的文件头;
步骤S709:将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件;
步骤S710:如果文件结束,结束流程,否则转到S703。
如此,通过如图7所示的数据处理方法,能够实现对音视频合一文件的分布式存放,有效避免非线性编辑软件对IO设备的冗余访问,提高IO设备的使用效率,以实现分布式读取数据文件的快速响应。
具体应用场景二:
图8为本发明实施例数据处理方法的具体实现流程示意图二,其中,所述数据文件为音频数据文件,如图8所示,所述方法包括:
步骤S801:接收创建音频数据文件请求;
步骤S802:得到原数据文件的音频长度,写入音频长度倍数空白字节到缓存目录文件;
步骤S803:判断音频数据文件是否结束,如果结束,转到S811;
步骤S804:如果未结束,解析所述音频数据文件的当前帧数据;
步骤S805:构建所述当前帧数据对应的帧索引数据并进行缓存;
步骤S806:检测当前帧数据是否属于音频关键帧,如果不属于,转到S803;
步骤S807:当所述当前帧数据属于音频关键帧数据,在内存中创建当前块索引chunk项,写入当前帧数据对应的关键帧号和帧偏移量;
步骤S808:将所述当前块索引项写入所述缓存目录文件的文件头;
步骤S809:将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件;
步骤S810:如果文件结束,结束流程,否则转到S803。
如此,通过如图8所示的数据处理方法,能够实现对音视频合一文件的分布式存放,有效避免非线性编辑软件对IO设备的冗余访问,提高IO设备的使用效率,以实现分布式读取数据文件的快速响应。
需要补充说明的是,如图9所示,所述具体应用场景一分离文件分布式存储的步骤S701~S702和具体应用场景二分离文件分布式存储的步骤S801~S802的具体实现流程如下:
步骤S901:接受打开或创建数据文件请求;
步骤S902:计算所述数据文件对应文件名的哈希hash值;
步骤S903:根据hash值映射对应的磁盘;
步骤S904:打开对应磁盘的缓存目录,如果不存在则创建它;
步骤S905:判断所述数据文件是否是视频数据;
步骤S906:如果是视频数据,加扩展名.vdo,如果是音频数据,加扩展名.ado;
步骤S907:在缓存目录文件中创建数据文件;
步骤S908:返回所述数据文件的句柄值。
这里,需要补充说明的是,上述实施例中所涉及的数据处理设备可以为PC这种电子设备,还可以为如PAD,平板电脑,手提电脑这种便携电子设备、还可以为如手机这种智能移动终端,不限于这里的描述;所述数据处理设备至少包括用于存储数据的数据库和用于数据处理的处理器,或者包括设置于所述数据处理设备内的存储介质或独立设置的存储介质。
其中,对于用于数据处理的处理器而言,在执行处理时,可以采用微处理器、中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,DigitalSingnal Processor)或可编程逻辑阵列(FPGA,Field-Programmable Gate Array)实现;对于存储介质来说,包含操作指令,该操作指令可以为计算机可执行代码,通过所述操作指令来实现上述本发明实施例信息处理方法流程中的各个步骤。
所述数据处理设备S10作为硬件实体的一个示例如图10所示。所述装置包括处理器1001、存储介质1002以及至少一个外部通信接口1003;所述处理器1001、存储介质1002以及外部通信接口1003均通过总线1004连接。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种数据处理方法,其特征在于,所述方法包括:
接收数据文件的创建请求;
响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;
根据所述归类结果创建对应所述数据文件的缓存目录文件;
对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。
2.根据权利要求1所述的方法,其特征在于,所述特征参数包括数据类型和数据长度;所述数据类型为视频数据或音频数据;
根据所述特征参数对所述数据文件进行归类,得到归类结果,包括:
所述特征参数的数据类型为视频数据,则所得到的归类结果为视频数据类型;所述特征参数的数据类型为音频数据,则所得到的归类结果为音频数据类型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述归类结果创建对应所述数据文件的缓存目录文件,包括:
根据所述数据长度,写入对应所述数据长度倍数的空白字节到缓存,以获得缓存目录文件;
根据所述归类结果为所述缓存目录文件扩展相应数据类型的扩展名。
4.根据权利要求1所述的方法,其特征在于,所述对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件之前,所述方法还包括:
检测所述数据文件;
当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;
保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件。
5.根据权利要求4所述的方法,其特征在于,所述对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件,包括:
检测所述数据文件的当前帧数据;
当所述当前帧数据属于关键帧数据,在内存中创建当前块索引项,写入当前帧数据对应的关键帧号和帧偏移量;
将所述当前块索引项写入所述缓存目录文件的文件头,并将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件;
循环检测所述数据文件,直至所述数据文件结束为止。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当所述当前帧数据不属于关键帧数据,继续检测所述数据文件。
7.根据权利要求5所述的方法,其特征在于,所述帧偏移量包括绝对帧偏移量和相对帧偏移量;
所述绝对帧偏移量为所述关键帧数据的起始偏移、所述相对帧偏移量及与所述关键帧相关的帧的大小之和。
8.一种数据处理设备,所述数据处理设备包括接收模块、解析模块、归类模块、创建模块和分片处理模块;
所述接收模块,用于接收数据文件的创建请求;
所述解析模块,用于响应所述创建请求,解析所述数据文件,获得与所述数据文件相关的特征参数;
所述归类模块,用于根据所述特征参数对所述数据文件进行归类,得到归类结果;所述归类结果包括视频数据类型或音频数据类型;
所述创建模块,用于根据所述归类结果创建对应所述数据文件的缓存目录文件;
所述分片处理模块,用于对所述数据文件进行关键帧分片处理后存储至所述缓存目录文件。
9.根据权利要求8所述的数据处理设备,其特征在于,所述特征参数包括数据类型和数据长度;所述数据类型为视频数据或音频数据;
所述归类模块根据所述特征参数对所述数据文件进行归类,得到归类结果,包括:所述特征参数的数据类型为视频数据,则所得到的归类结果为视频数据类型;所述特征参数的数据类型为音频数据,则所得到的归类结果为音频数据类型。
10.根据权利要求9所述的数据处理设备,其特征在于,所述创建模块包括第一写入单元和扩展单元;
所述第一写入单元,用于根据所述数据长度,写入对应所述数据长度倍数的空白字节到缓存,以获得缓存目录文件;
所述扩展单元,用于根据所述归类结果为所述缓存目录文件扩展相应数据类型的扩展名。
11.根据权利要求8所述的数据处理设备,其特征在于,所述数据处理设备还包括检测模块、构建模块和存储模块;
所述检测模块,用于检测所述数据文件;
所述构建模块,用于当所述数据文件未结束时,解析所述数据文件的当前帧数据,构建所述当前帧数据对应的帧索引数据;
所述存储模块,用于保存所述当前帧数据及对应的帧索引数据至所述缓存目录文件。
12.根据权利要求4所述的数据处理设备,其特征在于,所述分片处理模块包括检测单元、创建单元和第二写入单元;
所述检测单元,用于检测所述数据文件的当前帧数据;还用于循环检测所述数据文件,直至所述数据文件结束为止;
所述创建单元,用于当所述当前帧数据属于关键帧数据,在内存中创建当前块索引项,写入当前帧数据对应的关键帧号和帧偏移量;
所述第二写入单元,用于将所述当前块索引项写入所述缓存目录文件的文件头,并将所述当前帧之前的帧索引数据和帧数据写入所述缓存目录文件。
13.根据权利要求12所述的数据处理设备,其特征在于,
所述检测单元,还用于当所述当前帧数据不属于关键帧数据,继续检测所述数据文件。
14.根据权利要求12所述的数据处理设备,其特征在于,所述帧偏移量包括绝对帧偏移量和相对帧偏移量;
所述绝对帧偏移量为所述关键帧数据的起始偏移、所述相对帧偏移量及与所述关键帧相关的帧的大小之和。
CN201510733958.6A 2015-11-02 2015-11-02 一种数据处理方法及设备 Active CN106658153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510733958.6A CN106658153B (zh) 2015-11-02 2015-11-02 一种数据处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510733958.6A CN106658153B (zh) 2015-11-02 2015-11-02 一种数据处理方法及设备

Publications (2)

Publication Number Publication Date
CN106658153A true CN106658153A (zh) 2017-05-10
CN106658153B CN106658153B (zh) 2019-09-20

Family

ID=58810691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510733958.6A Active CN106658153B (zh) 2015-11-02 2015-11-02 一种数据处理方法及设备

Country Status (1)

Country Link
CN (1) CN106658153B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921417A (zh) * 2018-06-25 2018-11-30 泰康保险集团股份有限公司 数据处理方法和装置
CN108959302A (zh) * 2017-05-19 2018-12-07 北京京东尚科信息技术有限公司 用于数据处理的方法及其设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448094A (zh) * 2007-11-28 2009-06-03 新奥特(北京)视频技术有限公司 一种用于快速导入媒体素材的方法
CN102722543A (zh) * 2012-05-24 2012-10-10 潘勇刚 一种用于文件储存的方法
CN102984600A (zh) * 2012-12-12 2013-03-20 成都索贝数码科技股份有限公司 一种基于互联网http协议的非线性编辑软件按时间分片访问文件的方法
US20130144885A1 (en) * 2011-12-05 2013-06-06 Electronics And Telecommunications Research Institute File search apparatus and method using attribute information
CN103677673A (zh) * 2013-12-23 2014-03-26 Tcl集团股份有限公司 一种文件分类批量上传的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448094A (zh) * 2007-11-28 2009-06-03 新奥特(北京)视频技术有限公司 一种用于快速导入媒体素材的方法
US20130144885A1 (en) * 2011-12-05 2013-06-06 Electronics And Telecommunications Research Institute File search apparatus and method using attribute information
CN102722543A (zh) * 2012-05-24 2012-10-10 潘勇刚 一种用于文件储存的方法
CN102984600A (zh) * 2012-12-12 2013-03-20 成都索贝数码科技股份有限公司 一种基于互联网http协议的非线性编辑软件按时间分片访问文件的方法
CN103677673A (zh) * 2013-12-23 2014-03-26 Tcl集团股份有限公司 一种文件分类批量上传的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959302A (zh) * 2017-05-19 2018-12-07 北京京东尚科信息技术有限公司 用于数据处理的方法及其设备
CN108959302B (zh) * 2017-05-19 2021-06-29 北京京东尚科信息技术有限公司 用于数据处理的方法及其设备
CN108921417A (zh) * 2018-06-25 2018-11-30 泰康保险集团股份有限公司 数据处理方法和装置

Also Published As

Publication number Publication date
CN106658153B (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN106126558B (zh) 一种舆情监控方法及装置
JP5160556B2 (ja) 分散型コンピュータネットワークに基づくログファイル分析方法およびシステム
CN108133008A (zh) 数据库中业务数据的处理方法、装置、设备和存储介质
CN103023693B (zh) 一种行为日志数据管理系统及方法
CN104506647A (zh) 一种数据存储系统及存储和访问方法
CN101540896A (zh) 一种视频业务质量测试方法、装置及系统
CN104077415A (zh) 搜索方法及装置
CN105183873A (zh) 恶意点击行为检测方法及装置
CN112134846B (zh) 一种通信网络信令数据分析方法、系统、装置及介质
CN105447113A (zh) 一种基于大数据的信息分析方法
CN108132868A (zh) 一种数据监控方法、装置、计算设备及存储介质
CN106657163B (zh) 工业控制动态防御方法和系统
CN105335368A (zh) 一种产品聚类方法及装置
CN103986788A (zh) Ott应用的数据抓取方法和装置
CN110719526B (zh) 视频播放方法及装置
CN102959539A (zh) 一种业务交叉时的项目推荐方法及系统
US20130322686A1 (en) Profiling Activity Through Video Surveillance
CN115080275A (zh) 一种基于实时数据模型的孪生服务组件及其方法
CN106658153A (zh) 一种数据处理方法及设备
CN105407005A (zh) 内容分发方法及装置
CN116910820A (zh) 数据报表处理方法、装置、计算机设备以及存储介质
CN103530297A (zh) 一种自动进行网站分析的方法及装置
CN110427557A (zh) 主播推荐方法、装置、电子设备及计算机可读存储介质
CN107436848B (zh) 一种实现用户数据和压缩数据间转换的方法及装置
CN104967696A (zh) 日志发送方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant