CN110446062B - 大数据文件传输的接收处理方法、电子装置及存储介质 - Google Patents

大数据文件传输的接收处理方法、电子装置及存储介质 Download PDF

Info

Publication number
CN110446062B
CN110446062B CN201910651323.XA CN201910651323A CN110446062B CN 110446062 B CN110446062 B CN 110446062B CN 201910651323 A CN201910651323 A CN 201910651323A CN 110446062 B CN110446062 B CN 110446062B
Authority
CN
China
Prior art keywords
video
processing
data
receiving
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910651323.XA
Other languages
English (en)
Other versions
CN110446062A (zh
Inventor
曾燕玲
徐媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910651323.XA priority Critical patent/CN110446062B/zh
Publication of CN110446062A publication Critical patent/CN110446062A/zh
Application granted granted Critical
Publication of CN110446062B publication Critical patent/CN110446062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本申请涉及大数据处理技术领域,尤其涉及一种大数据文件传输的接收处理方法、电子装置及存储介质。其中,所述大数据文件传输的接收处理方法,包括:从已接收到的大数据文件中获取原始视频;根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段;将各个视频片段的背景数据和运动视频数据分别压缩成视频文件;分别将所述视频文件发送至服务器进行接收处理场景内容。本申请提供的方案根据场景内容对接收到的原始视频进行片段分割,将分割后的视频片段中的背景数据和运动视频数据分别进行压缩,并交由对应的服务器进行接收处理,有利于提高接收端接收数据的速率,提高数据处理及数据传输的效率。

Description

大数据文件传输的接收处理方法、电子装置及存储介质
技术领域
本申请涉及大数据处理技术领域,尤其涉及一种大数据文件传输的接收处理方法、电子装置及存储介质。
背景技术
在数据处理过程中,数据传输主要是由发送端将数据文件发送给接收端,接收端接收数据文件并进行相应的数据处理。在大数据传输时,发送端源源不断地将数据发送至接收端,接收端能够容忍的数据延时有限,如果接收端对传送的数据无法及时处理,则数据延时就会越来越多,容易导致系统崩溃。
为了缓解数据的延时情况,可以部署多台服务器同时对大数据文件进行拆分和处理,根据原始文件命名规则分配处理服务器,根据处理服务器的处理能力,将原始文件拆分为小文件,针对拆分后的每个小文件,根据小文件命名规则分配服务器,对拆分后的小文件进行并行处理,提升接收端系统的处理能力,以此缓解数据的延时问题。
但随着互联网发展,视频等流媒体的大量产生,特别是视频文件占传输的大数据文件的比重越来越大,而用户对视频流文件传输速度的要求越来越高,采用上述技术方案,在拆分大数据文件时,如果根据后台服务器处理能力对视频文件进行拆分,虽然能够实现并行处理,但也容易增加后台服务器的数据处理量,降低了系统的处理效率。
发明内容
本申请提供一种大数据文件传输的接收处理方法、电子装置及存储介质,其主要目的在于通过对接收到的原始视频进行片段分割,将分割后的视频片段中的背景数据和运动视频数据分别进行压缩,并交由对应的服务器进行接收处理,以提高数据处理及数据传输的效率。
本申请实施例首先提供了一种大数据文件传输的接收处理方法,包括如下步骤:
从已接收到的大数据文件中获取原始视频;
根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段;
将各个视频片段的背景数据和运动视频数据分别压缩成视频文件;
分别将所述视频文件发送至服务器进行接收处理场景内容。
优选地,所述分别将所述视频文件发送至服务器进行接收处理的步骤,包括:
根据各个视频文件在原始视频中的顺序依次设置排序标记;
根据服务器的处理能力及视频文件的大小将各个带排序标记的视频文件发送至相应的服务器进行接收处理。
可选地,所述根据服务器的处理能力及视频文件的大小将各个带排序标记的视频文件发送至相应的服务器进行接收处理的步骤之前,还包括:
若所述视频文件的数据量超出了服务器的最大处理能力,对数据量超出所述最大处理能力的视频文件进行二次分割。
优选地,所述根据服务器的处理能力及视频文件的大小将各个带排序标记的视频文件发送至相应的服务器进行接收处理的步骤之后,还包括:
接收客户端对所述原始视频的下载请求;
根据所述下载请求从服务器中查找相关的视频文件,根据所述排序标记将所述视频文件按照在原始视频中的顺序依次下发至所述客户端。
可选地,所述分别将所述视频文件发送至服务器进行接收处理的步骤之后,还包括:
在所述服务器接收处理完所有视频文件后,接收处理后的视频文件,根据各个视频文件的排序标记,将视频文件合并成原始视频并进行存储。
优选地,所述根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段的步骤,包括:
获得各视频帧对应的场景内容的重合率,将重合率符合预设阈值范围的视频帧划分到同一视频片段中。
优选地,所述根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段的步骤,包括:
获得各视频帧的像素值,计算连续两帧视频的像素值之差;
若差值大于预设第一阈值,确定所述两帧视频属于不同场景;若差值小于预设第二阈值,确定所述两帧视频属于相同场景;
将属于相同场景的两帧视频划分到同一视频片段中。
优选地,所述将各个视频片段的背景数据和运动视频数据分别压缩成视频文件的步骤,包括:
从视频帧中识别出运动物体的帧图片,记录运动物体帧图片的图像数据和相关信息,所述相关信息包括帧序号及其在帧图片中的位置信息;
将运动物体帧图片根据设定的分辨率大小压缩成视频文件;
根据帧图片获取视频片段的背景图片。
进一步地,本申请实施例还提供了一种电子装置,所述电子装置包括:存储器、处理器,所述存储器中包括大数据文件传输的接收处理程序,所述大数据文件传输的接收处理程序被所述处理器执行时实现如下步骤:
从已接收到的大数据文件中获取原始视频;
根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段;
将各个视频片段的背景数据和运动视频数据分别压缩成视频文件;
分别将所述视频文件发送至服务器进行接收处理。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中包括大数据文件传输的接收处理程序,所述大数据文件传输的接收处理程序被处理器执行时,实现如上所述的大数据文件传输的接收处理方法中的步骤。
与现有技术相比,本申请提供的方案至少具备如下优点:
本申请实施例提出的大数据文件传输的接收处理方法,根据场景内容对接收到的原始视频进行片段分割,将分割后的视频片段中的背景数据和运动视频数据分别进行压缩,并交由对应的服务器进行接收处理。本方案经过该种数据处理,大大降低了视频数据传输及处理的数据量,有利于提高接收端接收数据的速率,提高数据处理及数据传输的效率。
本申请实施例提供的大数据文件传输的接收处理方法,根据服务器的处理能力,将带排序标记的视频文件发送至相应的服务器进行接收处理,能够避免将大数据量的视频文件交由处理能力不够的服务器处理而导致的系统崩溃,而对各视频文件进行排序标记,使得视频文件分散处理后的重新拼接有章可循,保证拼接后的视频文件与原始视频的顺序相同。
附图说明
图1为本申请一种实施例提供的大数据文件传输的接收处理方法的流程图;
图2为本申请一种实施例提供的根据视频文件中的场景内容将视频文件分割成若干视频片段的步骤的流程图;
图3为本申请一种实施例提供的提取视频片段中的背景数据和运动视频数据的过程示意图;
图4为本申请一种实施例提供的分别将所述视频文件发送至服务器进行接收处理的步骤的流程图;
图5为本申请一种实施例提供的大数据文件传输的接收处理方法的应用环境示意图;
图6为图5中大数据文件传输的接收处理程序一种实施例的模块示意图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
场景内容是指在一定的时间、空间内发生的由人物、景物所构成的具体画面,包括背景数据部分和运动视频数据部分的数据,同一场景内容,如同一拍摄角度拍摄的视频片段;背景数据是指同一场景内容的多帧视频帧中数据不发生变化的数据;运动数据是指同一场景内容的多帧视频中相同位置中数据出现变化的数据。
本申请提供了一种大数据文件传输的接收处理方法,根据场景内容对接收到的原始视频进行视频分割,将视频片段中的背景数据和运动视频数据分别进行压缩,并将背景数据压缩后的视频文件及运动视频数据压缩后的视频文件交由服务器进行接收处理。本方案是对视频数据传输之前的预处理,经过该种数据处理,将原视频片段分成背景数据部分及运动视频数据部分,一个场景内容中,多个视频帧的背景数据是相同的,因此可以保存一份背景数据,大大降低了视频数据传输及处理的数据量,有利于提高接收端接收数据的速率,提高数据处理及数据传输的效率。
举例说明,发送方每隔2分钟传送一份大容量的视频文件,如300M,接收方接收到视频文件,对其进行后期逻辑处理,其中逻辑处理可能比较复杂,需要做很多处理操作,比如保存到数据库等,如果对这些视频数据不进行任何处理,服务器处理要在2分钟内对300M数据处理完毕,对服务器的处理能力带来很大挑战,本申请提供的方案是对这份大容量的视频文件进行预处理,降低服务器的数据处理量,如将服务器的数据处理量由300M降低为30M,则大大提升服务器对该视频文件的处理速率。
本申请实施例首先提供了一种大数据文件传输的接收处理方法。参照图1所示,为本申请一种实施例提供的大数据文件传输的接收处理方法的流程图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
一种实施例中,大数据文件传输的接收处理方法包括步骤S110至步骤S140,本方案可以在服务器端执行,具体执行过程如下:
S110,从已接收到的大数据文件中获取原始视频。
发送端发送过来的大数据文件有各种类型,如文本类型、视频类型、语音类型等,本申请优选针对大容量视频文件进行处理,因此,根据文件类型过滤出大数据文件中的视频文件,获取原始视频。
针对其他非视频文件类的大数据文件,可以采用本申请提供的方案进行接收处理,也可以采用其他文件处理方法进行。
S120,根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段。
步骤S120之前,还包括:识别原始视频中的场景内容及运动视频数据。可以利用图像识别技术识别原始视频中的场景内容,进一步,根据原始视频中的场景内容将原始视频分割成若干视频片段,包括:获得各视频帧对应的场景内容的重合率,将重合率符合预设阈值的视频帧划分为一个视频片段。
抽取间隔预设时段的视频帧,对比两帧视频在场景内容上的重合率,若重合率符合预设阈值范围,如设置视频帧在场景内容上的重合率高于60%,则认为该两帧视频为同一场景,将该两帧视频帧划分到同一视频片段中。该预设阈值范围可以根据实际情况制定或者设定一个初始阈值范围,然后根据实际情况进行负反馈,不断调整阈值范围的值,最终制定出同一场景的判定阈值,该种方案制定出的阈值范围,能够准确判断两帧视频是否为同一场景内容,有利于提高视频片段的分割速度。
一种实施例中,采用二分法对原始片段进行视频帧抽样,直至抽取到的两帧视频在场景内容上的重合率符合预设阈值范围,则将该两帧视频帧及视频帧序号在两帧之间的视频都划分到同一视频片段中。该种方案可以将视频帧序号在确定在同一视频帧之间的视频帧的处理,有利于提高视频片段的划分效率,降低系统在视频片段划分中消耗的资源。
一种实施例中,根据视频文件中的场景内容将视频文件分割成若干视频片段的步骤,其流程示意图如图2所示,包括如下子步骤:
S210,获得各视频帧的像素值,计算连续两帧视频的像素值之差;
S220,根据所述像素值之差判断该两帧视频是否处于同一场景;
S230,将属于相同场景的两帧视频划分为同一视频片段。
示例如下:获得相邻两帧视频的像素值,计算该两帧视频的像素值之差,若差值大于第一预设阈值,确定该两帧视频属于不同场景;若差值小于第一预设阈值,确定该两帧图像属于相同场景,若两帧视频属于同一场景,则两帧图像的背景数据是相同的,相同位置像素点的像素值或亮度值均相同,其像素值或亮度值之差为零,若两帧视频不属于同一场景,则两帧图像的背景数据大部分是不相同的,相同位置像素点的像素值或亮度值是不相同的,其像素值或亮度值之差不可能为零。因此,本方案采用计算连续两帧视频的像素值之差,根据差值的大小确定该相邻帧的视频是否属于同一场景。本实施例提供的方案,根据像素值的差值进行场景内容的判断,能够准确判断相邻视频帧是否处于同一场景。
一种实施例中,根据视频文件中的场景内容将视频文件分割成若干视频片段的步骤,包括:监测连续视频帧中的场景内容,检测到所述场景内容发生突变的视频帧,以该图像帧作为下一个视频片段的起始视频帧。
识别视频帧中的场景内容,监测到连续视频帧中第i帧与第(i+1)帧的场景内容不同,则第(i+1)帧视频为其所在视频片段的起始帧。获得与第(i+1)帧视频场景内容不同的第(i+n)帧,则将第(i+1)帧至第(i+n-1)帧划分为一个视频片段。该种方案只需获得场景发生变化的若干帧视频,无需对全部视频帧进行处理,降低划分视频片段的资源消耗。
一种实施例中,根据视频文件中的场景内容将视频文件分割成若干视频片段的步骤之后,还包括:建立用于存储视频片段特征信息的索引表,其中,索引表包括:视频片段的起始位置、结束位置、片段编号和片段时长。视频片段的起始位置和结束位置可以用视频帧编号或者每帧视频上的时间戳来表示。
本实施例提供的索引表有利于接收端接收到视频片段后,按照索引表获得各视频片段的排列顺序,重新将视频片段组合成原视频文件,而非错乱无章的顺序。S130,将各个视频片段的背景数据和运动视频数据分别压缩成视频文件。
步骤S130的将各个视频片段的背景数据和运动视频数据分别压缩成视频文件的步骤之前,还包括:提取各视频片段中的背景数据和运动视频数据,一种实施例中,提取视频片段中的背景数据和运动视频数据的过程示意图如图3所示,该视频帧中为同一场景下的人物运动,图3左上角为t时刻的视频帧,图3左下角为(t+N)时刻的视频帧,对比两视频帧之间的图像,获得t时刻视频帧中人物的边缘轮廓线及(t+N)时刻视频帧中人物的边缘轮廓线,两个时刻对应的人物边缘轮廓线之间的数据为该时段对应的运动视频数据,如图3中虚线框所标示部分,视频帧中的其余部分为t至(t+N)时刻视频片段的背景数据。
提取出视频片段的背景数据和运动视频片段后,将视频片段的背景数据和运动视频数据分别压缩并分开传输,由于每个视频片段的场景内容相同,其背景数据是相同的,可以将背景数据压缩成一张图片,视频片段中只有运动视频数据是不同的,因此可以将运动视频数据压缩成视频文件。采用该种压缩方式能够大大降低视频处理过程中的数据量,有利于提高视频文件的处理效率。
一种实施例中,将各个视频片段的背景数据和运动视频数据分别压缩成视频文件的步骤,包括:
从视频帧中识别出运动物体的帧图片,记录运动物体帧图片的图像数据和相关信息,所述相关信息包括帧序号及其在帧图片中的位置信息;将运动物体帧图片根据设定的分辨率大小压缩成视频文件;根据帧图片获取视频片段的背景图片。
利用解码算法对各视频片段进行解码,获得各视频片段的帧图片,从所述帧图片中识别出运动物体帧图片,并记录运动物体帧图片的图像数据,获得帧序号、运动物体帧图片在传输视频的帧图片中的位置信息。根据设定分辨率大小,将一个视频片段中所有运动物体帧图片放到一起,重新压缩成压缩视频,可以将空间位置上不同的帧图片的运动物体帧图片压缩成视频文件,对帧图片没有空间位置的要求,压缩后可以降低传输的冗余数据。
根据帧图片获取视频片段的背景图片,将不重叠的视频帧进行叠加,获得视频片段的背景图片。
本申请实施例提供的方案将各视频片段压缩为一个运动视频的视频片段及一个背景图片,处理过程中,不用处理视频片段中相同的背景数据,降低了数据冗余度,大大降低了视频数据处理的数据量,有利于提高数据处理的效率。
S140,分别将所述视频文件发送至服务器进行接收处理。
将视频文件发送至服务器进行接收处理,背景数据压缩成的视频文件与运动视频数据压缩成的视频文件可采用统一各服务器进行接收处理,也可以采用不同的服务器进行接收处理,优选地,将多个视频片段分配给不同的服务器进行并行处理,优选根据服务器的处理能力分配视频片段,采用多台服务器并行处理视频文件的方案,能够提高视频数据的处理效率。
一种实施例中,分别将所述视频文件发送至服务器进行接收处理的步骤,其流程示意图如图4所示,包括如下子步骤:
S141,根据各个视频文件在原始视频中的顺序依次设置排序标记;
S142,根据服务器的处理能力及视频文件的大小,将各个带排序标记的视频文件发送至相应的服务器进行接收处理。
将原始视频分割成多个视频片段,将各个视频片段又划分为多个包括背景数据及运动视频数据的视频文件,将视频文件按照其上的时间信息获得其在原始视频中的顺序,根据所述视频文件的顺序设置其排序标记。
服务器的数据处理能力往往是不同的,或者由于各服务器当前已经被占用的资源不同,导致当前对数据的处理能力是不同的,而且由于本申请是根据场景内容进行视频片段的划分,导致视频片段的数据量差别较大,因此,首先获得当前处理数据的服务器的处理能力,根据服务器的处理能力以及视频文件的大小进行视频文件的分配,将数据量较大的视频文件分配给处理能力较大的服务器进行处理。本实施提供的方案,根据服务器的处理能力进行视频文件的分配及处理,避免将大数据量的视频文件交由处理能力不够的服务器处理而导致的系统崩溃,还有利于各视频文件的处理速度。而对各视频文件进行排序标记,使得视频文件分散处理后的重新拼接有章可循,拼接后的视频文件与原始视频的顺序相同。
一种实施例中,在将视频文件发送至相应的服务器进行接收处理的步骤之前,还可以进行如下操作:若视频文件数据量过大,超出了处理服务器中服务器的最大处理容量,对数据量超出所述最大处理能力的视频文件进行二次分割。本实施例提供的方案是首先获得当前处理数据的各服务器的处理能力及个视频文件的大小,若某一视频文件的数据量超出了所有处理器中最大处理能力的服务器的处理范围,则对该视频文件进行二次分割,以使分割后的子视频文件符合服务器的处理能力,在不增加服务器数量的基础上,进行视频文件的有效处理。
一般情况下,服务器对视频文件的处理,除了存储,也会发布出去给客户端进行播放,而且,视频文件进行缓存的时候,实际上都是分段缓存的,也就是作为视频服务器,在接收到客户端的下载请求时,将视频文件发放给客户端。
一种实施例中,步骤S142的根据服务器的处理能力及视频文件的大小,将各个带排序标记的视频文件发送至相应的服务器进行接收处理的步骤之后,还包括:
接收客户端对所述原始视频的下载请求;
根据所述下载请求从服务器中查找相关的视频文件,根据所述排序标记将所述视频文件按照在原始视频中的顺序依次下发至所述客户端。
由于被请求的原始视频在请求之前已经根据场景内容进行分割,因此,本申请实施例提出在下发至客户端时,结合视频文件上的排序标记按照其在原始视频中的顺序依次下发至客户端。本申请实施例提供的方案中事先将原始视频切分割为多个视频片段,在需要下发给客户端时,后续就不用再做一次分割操作,可以直接将拆分后的视频文件进行发布,有利于减少相关数据处理量。
一种实施例中,为了便于后续对完整视频进行操作,在各服务器处理完本台服务器上的视频文件后,接收处理后的视频文件,对处理后的各视频文件按照排序标记进行合并操作,可以选择在设置的合并服务器上进行,也可以根据服务器的处理能力将所有视频文件在一台处理服务器上进行合成及存储。即分别将所述视频文件发送至服务器进行接收处理的步骤之后,还包括:在所述服务器接收处理完所有视频文件后,接收处理后的视频文件,根据各个视频文件的排序标记,将视频文件合并成原始视频并进行存储。
举例阐述本申请实施例提供的方案:服务器1、2、3号分别处理不同排序标号的视频文件,各服务器接收处理完成后,将2号及3号服务器上的视频文件传送给1号服务器,根据接收到的各视频文件上的排序标记,在1号服务器上进行视频文件的合成及存储。本方案在所有服务器接收处理完所有视频文件之后,将各视频片段的背景数据与运动数据融合,经过合并操作获得完整序列的视频数据,该视频数据与原始视频文件一致,有利于后续对该完整视频进行播放等操作。
一种实施中,分别将所述视频文件分配至相应的服务器进行接收处理的步骤之后,还包括:将分割信息存储到索引表上,将压缩的视频文件存储到数据库中,便于后续使用,其中,索引表包括:视频片段的起始位置、结束位置、片段编号和片段时长。视频片段的起始位置和结束位置可以用视频帧编号或者每帧视频上的时间戳来表示。
一种实施例中,服务器接收到上述视频文件以及上一实施例所述的索引表,服务器在处理这些视频段时,可以根据索引表记录的信息执行响应处理操作,例如,要将视频分割处理后再存储到数据库中,后续要处理这个视频文件时,可以依据索引表来读取各个视频片段,重新合并成视频文件,以便对视频文件进行整体操作。
本申请提供一种大数据文件传输的接收处理方法,应用于一种电子装置。参照图5所示,为一实施例提供的大数据文件传输的接收处理方法的应用环境示意图。
在本实施例中,电子装置4可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置4包括:处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中,所述可读存储介质可以是所述电子装置4的内部存储单元,例如该电子装置4的硬盘。在另一些实施例中,所述可读存储介质也可以是所述电子装置4的外部存储器11,例如所述电子装置4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
在本实施例中,所述存储器11的可读存储介质通常用于存储安装于所述电子装置4的大数据文件传输的接收处理程序10等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行大数据文件传输的接收处理程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该电子装置4与其他电子设备之间建立通信连接。
通信总线14用于实现这些组件之间的连接通信。
图5仅示出了具有组件11-14的电子装置4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该电子装置4还可以包括显示器,显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。显示器用于显示在电子装置4中处理的信息以及用于显示可视化的用户界面。
可选地,该电子装置4还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,所述触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,所述触摸传感器可以为单个传感器,也可以为如阵列布置的多个传感器。
此外,该电子装置4的显示器的面积可以与所述触摸传感器的面积相同,也可以不同。可选地,将显示器与所述触摸传感器层叠设置,以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地,该电子装置4还可以包括射频(Radio Frequency,RF)电路,传感器、音频电路等等,在此不再赘述。
在图5所示的装置实施例中,作为一种计算机存储介质的存储器11中可以包括操作系统、以及大数据文件传输的接收处理程序10;处理器12执行存储器11中存储的大数据文件传输的接收处理程序10时实现如下步骤:
从已接收到的大数据文件中获取原始视频;
根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段;
将各个视频片段的背景数据和运动视频数据分别压缩成视频文件;
分别将所述视频文件发送至服务器进行接收处理。
大数据文件传输的接收处理程序10还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器11中,并由处理器12执行,以完成本申请。本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图6所示,为图5中大数据文件传输的接收处理程序10一种实施例的程序模块图。所述大数据文件传输的接收处理程序10可以被分割为:获取模块110、分割模块120、压缩模块130及分配模块140。所述模块110-140所实现的功能或操作步骤均与上文类似,此处不再详述,示例性地,其中:
获取模块110,用于从已接收到的大数据文件中获取原始视频;
分割模块120,用于根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段;
压缩模块130,用于将各个视频片段的背景数据和运动视频数据分别压缩成视频文件;
分配模块140,用于分别将所述视频文件发送至服务器进行接收处理。
此外,本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质中包括大数据文件传输的接收处理程序,所述大数据文件传输的接收处理程序被处理器执行时实现上述任一项技术方案所述的大数据文件传输的接收处理方法的步骤。
本申请之计算机可读存储介质的具体实施方式与上述大数据文件传输的接收处理方法、电子装置的具体实施方式大致相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种大数据文件传输的接收处理方法,其特征在于,包括:
从已接收到的大数据文件中获取原始视频;
根据所述原始视频的场景内容,将所述原始视频分割成多个视频片段;
所述将原始视频分割成多个视频片段的步骤包括:获得各视频帧对应的场景内容的重合率,将重合率符合预设阈值范围的视频帧划分到同一视频片段中;
或者,所述将原始视频分割成多个视频片段的步骤包括:获得各视频帧的像素值,计算连续两帧视频的像素值之差;若差值大于预设第一阈值,确定该两帧视频属于不同场景;若差值小于预设第二阈值,确定该两帧视频属于相同场景;将属于相同场景的两帧视频划分到同一视频片段中;
将各个视频片段的背景数据和运动视频数据分别压缩成视频文件;
所述将各个视频片段的背景数据和运动视频数据分别压缩成视频文件的步骤包括:从视频帧中识别出运动物体的帧图片,记录运动物体帧图片的图像数据和相关信息,所述相关信息包括帧序号及其在帧图片中的位置信息;将运动物体帧图片根据设定的分辨率大小压缩成视频文件;根据帧图片获取视频片段的背景图片;
根据服务器的处理能力及视频文件的大小,分别将所述视频文件发送至相应的服务器进行接收处理。
2.根据权利要求1所述的大数据文件传输的接收处理方法,其特征在于,所述根据服务器的处理能力及视频文件的大小,分别将所述视频文件发送至相应的服务器进行接收处理的步骤,包括:
根据各个视频文件在原始视频中的顺序依次设置排序标记;
根据服务器的处理能力及视频文件的大小将各个带排序标记的视频文件发送服务器进行接收处理。
3.根据权利要求2所述的大数据文件传输的接收处理方法,其特征在于,所述根据服务器的处理能力及视频文件的大小将各个带排序标记的视频文件发送至相应的服务器进行接收处理的步骤之前,还包括:
所述视频文件的数据量超出了服务器的最大处理能力,对该视频文件进行二次分割。
4.根据权利要求2所述的大数据文件传输的接收处理方法,其特征在于,所述分别将所述视频文件发送至相应的服务器进行接收处理的步骤,之后还包括:
接收客户端对所述原始视频的下载请求;
根据所述下载请求从服务器中查找相关的视频文件,根据所述排序标记将所述视频文件按照在原始视频中的顺序依次下发至所述客户端。
5.根据权利要求2所述的大数据文件传输的接收处理方法,其特征在于,所述分别将所述视频文件发送至相应的服务器进行接收处理的步骤,之后还包括:
在所述服务器接收处理完所有视频文件后,根据各个视频文件的排序标记,将视频文件合并成原始视频并进行存储。
6.一种电子装置,其特征在于,该电子装置包括:存储器、处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至5中任一项所述的大数据文件传输的接收处理方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至5中任一项所述的大数据文件传输的接收处理方法的步骤。
CN201910651323.XA 2019-07-18 2019-07-18 大数据文件传输的接收处理方法、电子装置及存储介质 Active CN110446062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910651323.XA CN110446062B (zh) 2019-07-18 2019-07-18 大数据文件传输的接收处理方法、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910651323.XA CN110446062B (zh) 2019-07-18 2019-07-18 大数据文件传输的接收处理方法、电子装置及存储介质

Publications (2)

Publication Number Publication Date
CN110446062A CN110446062A (zh) 2019-11-12
CN110446062B true CN110446062B (zh) 2022-11-25

Family

ID=68430765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910651323.XA Active CN110446062B (zh) 2019-07-18 2019-07-18 大数据文件传输的接收处理方法、电子装置及存储介质

Country Status (1)

Country Link
CN (1) CN110446062B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686811A (zh) * 2020-11-27 2021-04-20 深兰科技(上海)有限公司 视频处理方法、视频处理装置、电子设备和存储介质
CN112883783A (zh) * 2021-01-12 2021-06-01 普联国际有限公司 一种视频浓缩方法、装置、终端设备及存储介质
CN113067989B (zh) * 2021-06-01 2021-09-24 神威超算(北京)科技有限公司 一种数据处理方法和芯片
CN113824735B (zh) * 2021-11-19 2022-03-11 航天宏图信息技术股份有限公司 一种遥感影像加密传输方法与系统
CN114222162B (zh) * 2021-12-07 2024-04-12 浙江大华技术股份有限公司 视频处理方法、装置、计算机设备及存储介质
CN114286199B (zh) * 2021-12-24 2023-08-18 空间视创(重庆)科技股份有限公司 一种基于神经网络模型的短视频片段自动生成方法及系统
CN114615548B (zh) * 2022-03-29 2023-12-26 湖南国科微电子股份有限公司 一种视频数据的处理方法、装置及计算机设备
CN115150371B (zh) * 2022-08-31 2022-12-20 深圳市万佳安物联科技股份有限公司 基于云平台的业务处理方法、系统及储存介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013004161A1 (zh) * 2011-07-01 2013-01-10 华为技术有限公司 一种视频图像的像素分类方法和装置
CN108650460A (zh) * 2018-05-10 2018-10-12 深圳视点创新科技有限公司 服务器、全景视频的存储和传输方法和计算机存储介质
CN109862422A (zh) * 2019-02-28 2019-06-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013004161A1 (zh) * 2011-07-01 2013-01-10 华为技术有限公司 一种视频图像的像素分类方法和装置
CN108650460A (zh) * 2018-05-10 2018-10-12 深圳视点创新科技有限公司 服务器、全景视频的存储和传输方法和计算机存储介质
CN109862422A (zh) * 2019-02-28 2019-06-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN110446062A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110446062B (zh) 大数据文件传输的接收处理方法、电子装置及存储介质
US9961398B2 (en) Method and device for switching video streams
US20190188222A1 (en) Thumbnail-Based Image Sharing Method and Terminal
EP2517470B1 (en) Systems and methods for video-aware screen capture and compression
US8648858B1 (en) Hybrid text and image based encoding
CN106911943B (zh) 一种视频展示方法、装置及存储介质
CN110392306B (zh) 一种数据处理方法以及设备
CN110147469B (zh) 一种数据处理方法、设备及存储介质
US11521025B2 (en) Selective image compression of an image stored on a device based on user preferences
CN111093094A (zh) 视频转码方法、装置、系统及电子设备及可读存储介质
US8620096B2 (en) Virtualization server for presentation virtualization and image data encoding method
CN111263097A (zh) 媒体数据传输方法及相关设备
US20140099041A1 (en) Method and apparatus for encoding cloud display screen by using application programming interface information
US9076207B1 (en) Image processing method, system and electronic device
US9282331B2 (en) Image processing method and electronic device
CN106933702A (zh) 一种智能终端存储空间管理的方法、装置及智能终端
US8543612B2 (en) Mobile terminal
CN112291341A (zh) 文件传输方法、装置和设备
CN109710783B (zh) 一种图片加载方法、装置、存储介质及服务器
CN112637538B (zh) 用于优化视频分析的智能标签方法、系统、介质及终端
CN111143293B (zh) 一种元数据获取方法、装置、设备及计算机可读存储介质
CN113839998A (zh) 图像数据传输方法、装置、设备、存储介质及程序产品
KR101526490B1 (ko) 클라우드 컴퓨팅에서의 효율적 자원관리를 위한 시각 데이터 가공장치 및 그 방법
CN114218411A (zh) 一种通过视频生成图片的系统
CN110457264B (zh) 会议文件处理方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant