CN109640082A - 音视频多媒体数据处理方法及其设备 - Google Patents

音视频多媒体数据处理方法及其设备 Download PDF

Info

Publication number
CN109640082A
CN109640082A CN201811260509.4A CN201811260509A CN109640082A CN 109640082 A CN109640082 A CN 109640082A CN 201811260509 A CN201811260509 A CN 201811260509A CN 109640082 A CN109640082 A CN 109640082A
Authority
CN
China
Prior art keywords
audio
video data
video
compressed
data streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811260509.4A
Other languages
English (en)
Other versions
CN109640082B (zh
Inventor
罗瑜
张莹
冉文方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dingyue Electronics Co.,Ltd.
Original Assignee
Xian Cresun Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Cresun Innovation Technology Co Ltd filed Critical Xian Cresun Innovation Technology Co Ltd
Priority to CN201811260509.4A priority Critical patent/CN109640082B/zh
Publication of CN109640082A publication Critical patent/CN109640082A/zh
Application granted granted Critical
Publication of CN109640082B publication Critical patent/CN109640082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种音视频多媒体数据处理方法及其设备，包括在音视频数据流采集过程中设定预设间隔；根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元；将所述音视频数据单元发送至服务器；根据控制指令将所述服务器接收到的所述音视频数据单元合成对应的音视频数据。本发明通过预设间隔将音视频数据流压缩成多个音视频数据单元，并发送至服务器将多个音视频数据单元合成音视频数据，该方式可以一边采集音视频数据，一边压缩上传音视频数据单元至服务器，缩短了音视频数据的上传时间，提高了上传效率。

Description

音视频多媒体数据处理方法及其设备
技术领域
本发明涉及一种视频多媒体技术领域，特别涉及一种音视频多媒体数据处理方法及其设备。
背景技术
随着科学技术的不断发展，信息技术和计算机互联网分别在极大程度地改变了人们的日常的生活。如今，人们获取信息的主要来源于多媒体信息，而多媒体信息主要以音视频为核心。越来越多的用户使用终端来观看或者上传视频，例如用户可以上传自己录制的音视频，供朋友、家人等观看。
通常情况下用户一般先录制音视频，在录制完之后对录制的音视频进行压缩，在压缩完成之后将压缩后的音视频数据通过网络上传至服务器。该方案将音视频录制上传过程中的录制、压缩、上传等步骤串联执行，因此，执行效率低，耗时较长。
发明内容
因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种音视频多媒体数据处理方法及其设备。
具体地，本发明一个实施例提出的一种音视频多媒体数据处理方法，包括：
在音视频数据流采集过程中设定预设间隔；
根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元；
将所述音视频数据单元发送至服务器；
根据控制指令将所述服务器接收到的所述音视频数据单元合成对应的音视频数据。
在本发明的一个实施例中，根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元，包括：
分别对音视频数据流中的视频数据和音频数据进行压缩；
将压缩后的音频数据和视频数据合成音视频数据单元。
在本发明的一个实施例中，分别对音视频数据流中的视频数据和音频数据进行压缩，包括：
利用H.263或H.264格式将所述音视频数据流中的视频数据进行压缩；
利用AAC、MP3或WMA格式将所述音视频数据流中的音频数据进行压缩。
在本发明的一个实施例中，利用H.263或H.264格式对所述音视频数据流中的视频数据进行压缩，包括：
将所述音视频数据流中的视频数据转换成视频图像帧；
利用自适应分割的帧内预测方式对所述视频图像帧进行预测。
在本发明的一个实施例中，将所述音视频数据单元发送至服务器之前，还包括：
将所述音视频数据单元添加索引标识。
在本发明的另一个实施例提出的一种音视频多媒体数据处理设备，包括：
采集模块，用于在音视频数据流采集过程中设定预设间隔；
编码模块，用于根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元；
发送模块，用于将所述音视频数据单元发送至服务器；
合成模块，用于根据控制指令将所述服务器接收到的所述音视频数据单元合成对应的音视频数据。
在本发明的一个实施例中，所述编码模块具体用于：
分别对音视频数据流中的视频数据和音频数据进行压缩；
将压缩后的音频数据和视频数据合成音视频数据单元。
在本发明的一个实施例中，分别对音视频数据流中的视频数据和音频数据进行压缩，包括：
利用H.263或H.264格式将所述音视频数据流中的视频数据进行压缩；
利用AAC、MP3或WMA格式将所述音视频数据流中的音频数据进行压缩。
在本发明的一个实施例中，利用H.263或H.264格式对所述音视频数据流中的视频数据进行压缩，包括：
将所述音视频数据流中的视频数据转换成视频图像帧；
利用自适应分割的帧内预测方式对所述视频图像帧进行预测。
在本发明的一个实施例中，还包括索引模块，用于将所述音视频数据单元添加索引标识。
基于此，本发明具备如下优点：
本发明在音视频采集上传的过程中，通过预设间隔将音视频数据流压缩成多个音视频数据单元，并发送至服务器将多个音视频数据单元合成音视频数据，该方式可以一边采集音视频数据，一边压缩上传音视频数据单元至服务器，缩短了音视频数据的上传时间，提高了上传效率。
通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
下面将结合附图，对本发明的具体实施方式进行详细的说明。
图1为本发明实施例提供的一种音视频多媒体数据处理方法流程示意图；
图2为本发明实施例提供的一种分割示意图；
图3为本发明实施例提供的一种音视频多媒体数据处理设备示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
实施例一
请参见图1，图1为本发明实施例提供的一种音视频多媒体数据处理方法流程示意图；该方法包括：
步骤1、在音视频数据流采集过程中设定预设间隔；
步骤2、根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元；
步骤3、将所述音视频数据单元发送至服务器；
步骤4、根据控制指令将所述服务器接收到的所述音视频数据单元合成对应的音视频数据。
进一步地，对于步骤2可以包括：
步骤21、分别对音视频数据流中的视频数据和音频数据进行压缩；
步骤22、将压缩后的音频数据和视频数据合成音视频数据单元。
进一步地，对于步骤21可以包括：
步骤211、利用H.263或H.264格式将所述音视频数据流中的视频数据进行压缩；
步骤212、利用AAC、MP3或WMA格式将所述音视频数据流中的音频数据进行压缩。
进一步地，对于步骤211可以包括：
将所述音视频数据流中的视频数据转换成视频图像帧；
利用自适应分割的帧内预测方式对所述视频图像帧进行预测。
进一步地，在步骤3之前，还包括：
将所述音视频数据单元添加索引标识。
实施例二
本实施例在上述实施例的基础上对本发明提供的一种音视频多媒体数据处理方法进行详细描述，该方法包括如下步骤：
步骤1、采集音视频数据，在音视频数据流采集过程中设定预设间隔，每隔预设间隔将采集到的音视频数据流进行压缩编码，压缩成音视频数据单元；
进一步地，可以通过摄像头和麦克风采集音视频数据流，音视频数据单元为独立可播放的音视频数据单元，可以包括可播放音频数据单元和可播放视频数据单元。预设间隔的时长可以根据实际需求设定，比如，可以设置为1s，也即在采集音视频数据流的过程中，每隔1s将采集到的音视频数据流压缩成音视频数据单元。具体地每隔预设间隔将新采集到的音视频数据流压缩成音视频数据单元；例如，开始录制音视频数据流时启动时间单元开始计时，当计时达到1s时，将当前采集到的音视频数据流压缩成音视频数据单元(此时采集到的音视频数据流相对于初始状态为新增的音视频数据流)，当计时达到2s时，将新采集到的音视频数据流压缩成音视频数据单元……以此类推直到将所有采集到的音视频数据流压缩完为止。
进一步地，在一个实施例中将采集到的音视频数据流压缩成音视频数据单元的方式有多种，比如，可以分别对音视频数据流中视频数据和音频数据进行压缩，然后，在将压缩后的音频数据和视频数据合成音视频数据单元。压缩过程即为数据编码过程，可选地，音频编码格式可以采用AAC(AdvancedAudioCoding，高级音频编码)、MP3、WMA等格式，视频编码格式可以采用H.263，H.264等格式。
进一步地，视频数据之所以能被压缩编码，是因为视频图像数据中存在着冗余。压缩编码的目的就是通过去除这些数据冗余来减少表示视频图像数据所需的比特数。视频数据的压缩编码技术主要包括：预测模块、量化模块、码控模块和熵编码模块。其中预测模块作为一个重要的模块，是利用相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测。视频即为连续的图像帧序列，对视频进行压缩编码之前通常先将采集到的视频数据流中的每幅图像帧进行压缩编码。进一步地，为了提高图像帧的压缩编码精度，通常将图像帧分解为多个图像块进行处理，即以图像块为单位进行图像的压缩编码。每个图像块可以为大小相同的块，也可以为大小不同的块，每个图像块中包含多个像素。可选地，本实施例以自适应分割的帧内预测方式对每个图像块进行预测。
为了便于后续音视频数据单元的上传，可以将音视频数据流压缩成音视频数据单元之后，将该音视频数据单元存入队列中，以便后续在传输时刻从队列中提取音视频数据单元上传，保证了音视频数据单元发送的有序性以及防止遗漏音视频数据单元等。
步骤2、将压缩后的音视频数据单元发送至服务器；
具体地，在音视频数据流采集的过程中，将音视频数据单元利用网络发送至服务器；即一边采集音视频数据流一边发送音视频数据单元，缩短了音视频数据上传的时间。
可选地，在将该音视频数据单元放入传输队列的情况下，即从该传输队列提取音视频数据单元，并将提取的音视频数据单元发送至服务器。
为了能够使服务器端可以合成音视频数据单元得到完整的音视频数据，本实施例方法还可以在生成音视频数据单元之后，添加索引标识，例如，对音视频数据单元进行编号等，并将索引标识发送给服务器，以便服务器对音视频数据单元进行合成。具体地，可以根据生成时间的先后为音视频数据单元设置索引标识；例如，先后压缩生成有多个音视频数据单元，可以为其编号1.mp4、2.mp4、3.mp4……其中，第一个压缩生成的音视频数据单元的编号索引为1、第二个压缩生成的音视频数据单元的编号索引为2……依次类推。
步骤3、在音视频数据流采集完成之后，发送控制指令至服务器合成得到对应的音视频数据。
在音视频数据流录制完成之后，可以发送控制指令给网络侧视频服务器，这样视频服务器可以根据控制指令对接收到的音视频数据单元进行合成，得到完整的音视频数据。
其中，控制指令可以指示需要合成的音视频数据和参与合成的音视频数据单元；例如控制指令可以携带参与合成的音视频数据单元的索引标识(比如音视频数据单元的编号索引)，因此服务器可以根据音视频数据的索引标识选取对应的音视频数据单元(由于服务器中存在众多视频的音视频数据单元)，将选取的音视频数据单元进行合成。
本实施例可以在采集音视频数据的过程中将采集到的音视频压缩成音视频数据单元并上传至服务器，即一边采集音视频数据一边将音视频数据分段压缩上传至服务器，无需等待音视频数据采集完成之后压缩上传音视频，相对于现有技术而言，缩短了音视频数据录制上传的时间，提高了音视频数据录制上传的效率，大大减少用户等待时间，给用户的体验是录制完即上传成功，实现零等待。
此外，本实施例将音视频数据压缩成独立的可播放的音视频数据单元，在需要采用流媒体播放方式播放音视频时，无需后台合成，节省了服务器资源；客户端可通过流媒体服务器直接下载音视频数据单元，按顺序播放；提升了录制视频进行流媒体播放的速度，优化了用户体验。
实施例三
本实施例在上述实施例的基础上，对本发明提出的自适应分割的帧内预测方式进行详细描述。该方式包括如下内容：
S1、确定图像块的划分方式，其中，所述划分方式包括水平划分、垂直划分、不划分；参看图2，图2为本发明实施例提供的一种分割示意图。本发明采用自顶向下按顺序划分的方案，块大小为由大到小划分，逐一确定每个图像块的划分方式。
S2、分别计算每种划分方式下图像块比特数；
S3、将所述图像块比特数最小值对应的划分方式作为所述图像块的当前划分方式；
S4、计算所述图像块在所述当前划分方式下的预测残差；
S5、当判断所述当前划分方式为水平划分或垂直划分时，对所述当前划分方式下划分的两块图像块分别执行步骤S1；
S6、当判断所述当前划分方式为不划分时，结束对所述图像块的划分
预测残差为每个像素分别减去图像块中像素最小值，得到该图像块所有像素的预测残差。
本实施例通过当前区域像素值间的相关性进行预测，利用算法对比水平划分、垂直划分、不划分三种情况的压缩数据量，选择对应最优的划分方式进行残差预测，以使初始的图像块和预测的图像块之间的差异最小而提高压缩效率并提高主观图片质量，对于简单纹理图像处理时，预测效果好、处理效率高，且能够降低理论极限熵。
在一个具体实施方式中，所述步骤S2包括：
S201、参看图2，采用水平划分方式，将图像块分为上图像块11和下图像块12，其中所述上图像块11和下图像块12分别包括N个像素；
S202、在所述上图像块像素中，得到所述上图像块像素的最大值和所述上图像块像素的最小值；
S203、计算所述上图像块像素的最大值和所述上图像块像素的最小值的差值，并得到表示所述差值的上图像块最少比特数；
如果需要确定上图像块的预测残差，将该上图像块的N个像素，分别减去上图像块像素的最小值，得到该上图像块的所有像素的预测残差。
S204、在所述下图像块像素中，得到所述下图像块像素的最大值和所述下图像块像素的最小值；
S205、计算所述下图像块像素的最大值和所述下图像块像素的最小值的差值，并得到表示所述差值的下图像块最少比特数；
S206、根据所述上图像块最少比特数、下图像块最少比特数得到水平划分方式下所述图像块比特数为：
SEGud＝N*BIT_MINup+N*BIT_MINdown+2*BITDEPTH，
其中，BIT_MINup为上图像块最少比特数，N*BIT_MINdown为下图像块最少比特数，BITDEPTH为原始像素数据的比特深度。
如果需要确定上图像块的预测残差，将该上图像块的N个像素，分别减去上图像块像素的最小值，得到该上图像块的所有像素的预测残差。
如果水平划分方式为最优方式，则最终输出上下图像块各N个预测残差数据、上下图像块中像素的最小值的原始像素值，以及划分方式。
在一个具体实施方式中，所述步骤S2包括：
S211、采用垂直划分方式，参看图2，将图像块分为左图像块21和右图像块22，其中所述左图像块和右图像块分别包括N个像素；
S212、在所述左图像块像素中，得到所述左图像块像素的最大值和所述左图像块像素的最小值；
S213、计算所述左图像块像素的最大值和所述左图像块像素的最小值的差值，并得到表示所述差值的左图像块最少比特数；
如果需要确定左图像块的预测残差，将该左图像块的N个像素，分别减去左图像块像素的最小值，得到该左图像块的所有像素的预测残差。
S214、在所述右图像块像素中，得到所述右图像块像素的最大值和所述右图像块像素的最小值；
S215、计算所述右图像块像素的最大值和所述右图像块像素的最小值的差值，并得到表示所述差值的右图像块最少比特数；
S216、根据所述左图像块最少比特数、右图像块最少比特数得到垂直划分方式下所述图像块比特数为：
SEGlr＝N*BIT_MINleft+N*BIT_MINright+2*BITDEPTH，
其中，BIT_MINleft为左图像块最少比特数，N*BIT_MINright为右图像块最少比特数，BITDEPTH为原始像素数据的比特深度。
如果需要确定右图像块的预测残差，将该右图像块的N个像素，分别减去右图像块像素的最小值，得到该右图像块的所有像素的预测残差。
如果垂直划分方式为最优方式，则最终输出左右图像块各N个预测残差数据、左右图像块中像素的最小值的原始像素值，以及划分方式。
在一个具体实施方式中，所述步骤S2包括：
S221、采用不划分方式，参看图2，图像块01包括2N个像素；
S222、得到所述图像块像素的最大值和所述图像块像素的最小值；
S223、计算所述图像块像素的最大值和所述图像块像素的最小值的差值，得到表示所述差值的图像块最少比特数；
S224、根据所述图像块最少比特数得到不划分方式下所述图像块比特数为：
SUB-SEG＝2N*BIT_MIN+BITDEPTH，
其中，BIT_MIN为图像块最少比特数，BITDEPTH为原始像素数据的比特深度。
如果需要确定图像块的预测残差，将该图像块的2N个像素，分别减去图像块像素的最小值，得到该图像块的所有像素的预测残差。
如果不划分方式为最优方式，则最终输出图像块2N个预测残差数据、图像块中像素的最小值的原始像素值，以及划分方式。
实施例四
本实施例在上述实施例的基础上，对本发明提出的音视频多媒体数据处理设备进行详细描述，如图3所示，图3为本发明实施例提供的一种音视频多媒体数据处理设备示意图；该设备包括：
采集模块，用于在音视频数据流采集过程中设定预设间隔；
编码模块，用于根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元；
发送模块，用于将所述音视频数据单元发送至服务器；
合成模块，用于根据控制指令将所述服务器接收到的所述音视频数据单元合成对应的音视频数据。
其中，所述编码模块具体用于：分别对音视频数据流中的视频数据和音频数据进行压缩；将压缩后的音频数据和视频数据合成音视频数据单元。
其中，分别对音视频数据流中的视频数据和音频数据进行压缩，包括：
利用H.263或H.264格式将所述音视频数据流中的视频数据进行压缩；
利用AAC、MP3或WMA格式将所述音视频数据流中的音频数据进行压缩。
其中，利用H.263或H.264格式对所述音视频数据流中的视频数据进行压缩，包括：
将所述音视频数据流中的视频数据转换成视频图像帧；
利用自适应分割的帧内预测方式对所述视频图像帧进行预测。
其中，还包括索引模块，用于将所述音视频数据单元添加索引标识。
综上所述，本文中应用了具体个例对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (10)

1.一种音视频多媒体数据处理方法，其特征在于，包括：
在音视频数据流采集过程中设定预设间隔；
根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元；
将所述音视频数据单元发送至服务器；
根据控制指令将所述服务器接收到的所述音视频数据单元合成对应的音视频数据。
2.根据权利要求1所述的方法，其特征在于，根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元，包括：
分别对音视频数据流中的视频数据和音频数据进行压缩；
将压缩后的音频数据和视频数据合成音视频数据单元。
3.根据权利要求2所述的方法，其特征在于，分别对音视频数据流中的视频数据和音频数据进行压缩，包括：
利用H.263或H.264格式将所述音视频数据流中的视频数据进行压缩；
利用AAC、MP3或WMA格式将所述音视频数据流中的音频数据进行压缩。
4.根据权利要求3所述的方法，其特征在于，利用H.263或H.264格式对所述音视频数据流中的视频数据进行压缩，包括：
将所述音视频数据流中的视频数据转换成视频图像帧；
利用自适应分割的帧内预测方式对所述视频图像帧进行预测。
5.根据权利要求1所述的方法，其特征在于，将所述音视频数据单元发送至服务器之前，还包括：
将所述音视频数据单元添加索引标识。
6.一种音视频多媒体数据处理设备，其特征在于，包括：
采集模块，用于在音视频数据流采集过程中设定预设间隔；
编码模块，用于根据所述设定预设间隔将所述音视频数据流压缩编码成音视频数据单元；
发送模块，用于将所述音视频数据单元发送至服务器；
合成模块，用于根据控制指令将所述服务器接收到的所述音视频数据单元合成对应的音视频数据。
7.根据权利要求6所述的设备，其特征在于，所述编码模块具体用于：
分别对音视频数据流中的视频数据和音频数据进行压缩；
将压缩后的音频数据和视频数据合成音视频数据单元。
8.根据权利要求7所述的设备，其特征在于，分别对音视频数据流中的视频数据和音频数据进行压缩，包括：
利用H.263或H.264格式将所述音视频数据流中的视频数据进行压缩；
利用AAC、MP3或WMA格式将所述音视频数据流中的音频数据进行压缩。
9.根据权利要求8所述的设备，其特征在于，利用H.263或H.264格式对所述音视频数据流中的视频数据进行压缩，包括：
将所述音视频数据流中的视频数据转换成视频图像帧；
利用自适应分割的帧内预测方式对所述视频图像帧进行预测。
10.根据权利要求6所述的设备，其特征在于，还包括索引模块，用于将所述音视频数据单元添加索引标识。
CN201811260509.4A 2018-10-26 2018-10-26 音视频多媒体数据处理方法及其设备 Active CN109640082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811260509.4A CN109640082B (zh) 2018-10-26 2018-10-26 音视频多媒体数据处理方法及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811260509.4A CN109640082B (zh) 2018-10-26 2018-10-26 音视频多媒体数据处理方法及其设备

Publications (2)

Publication Number Publication Date
CN109640082A true CN109640082A (zh) 2019-04-16
CN109640082B CN109640082B (zh) 2021-02-12

Family

ID=66066736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811260509.4A Active CN109640082B (zh) 2018-10-26 2018-10-26 音视频多媒体数据处理方法及其设备

Country Status (1)

Country Link
CN (1) CN109640082B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263220A (zh) * 2020-01-15 2020-06-09 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519325A (zh) * 2014-12-29 2015-04-15 重庆邮电大学 一种基于4g网络的无线视频监控系统自适应保障方法
CN105052140A (zh) * 2013-01-30 2015-11-11 英特尔公司 用于下一代视频的模式和参考类型数据的内容自适应熵编码
CN105681715A (zh) * 2016-03-03 2016-06-15 腾讯科技（深圳）有限公司 一种音视频处理方法和装置
CN107431815A (zh) * 2015-03-13 2017-12-01 Lg 电子株式会社 处理视频信号的方法及其设备
CN107979756A (zh) * 2016-09-14 2018-05-01 联发科技股份有限公司 一种视频编码系统所使用的视频编码方法及装置
CN108012119A (zh) * 2017-12-13 2018-05-08 苏州华兴源创电子科技有限公司 一种实时视频的传输方法、传输系统和一种可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105052140A (zh) * 2013-01-30 2015-11-11 英特尔公司 用于下一代视频的模式和参考类型数据的内容自适应熵编码
CN104519325A (zh) * 2014-12-29 2015-04-15 重庆邮电大学 一种基于4g网络的无线视频监控系统自适应保障方法
CN107431815A (zh) * 2015-03-13 2017-12-01 Lg 电子株式会社 处理视频信号的方法及其设备
CN105681715A (zh) * 2016-03-03 2016-06-15 腾讯科技（深圳）有限公司 一种音视频处理方法和装置
CN107979756A (zh) * 2016-09-14 2018-05-01 联发科技股份有限公司 一种视频编码系统所使用的视频编码方法及装置
CN108012119A (zh) * 2017-12-13 2018-05-08 苏州华兴源创电子科技有限公司 一种实时视频的传输方法、传输系统和一种可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263220A (zh) * 2020-01-15 2020-06-09 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN111263220B (zh) * 2020-01-15 2022-03-25 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109640082B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
KR101614632B1 (ko) 미디어 데이터의 네트워크 스트리밍을 위한 세그먼트들의 시그널링 특성들
CN113015021B (zh) 云游戏的实现方法、装置、介质及电子设备
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
CN102598688B (zh) 流式传输经编码视频数据
US8665943B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
US8873871B2 (en) Image processing apparatus and method
US8254707B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning
CN106937126A (zh) 图像处理装置和图像处理方法
CN103650515A (zh) 无线3d流式传输服务器
CN104952470A (zh) 用于数字视频记录器的视频格式
WO2018089096A1 (en) Compressed media with still images selected from a video stream
CN106303661A (zh) 一种直播客户端实现自适应屏幕旋转的方法及系统
CN109640082A (zh) 音视频多媒体数据处理方法及其设备
JP2002044622A (ja) コンテンツ供給装置および方法、記録媒体、信号生成装置および方法、変換装置および方法、並びに再生端末および方法
CN110740316A (zh) 数据编码方法及装置
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
WO2007136930A2 (en) Video/image compression using model plus difference image
CN110891195B (zh) 花屏图像的生成方法、装置、设备和存储介质
JP2007505545A (ja) スケーラブル信号処理方法及び装置
CN102047662B (zh) 编码器
CN101127900A (zh) 利用基本层的图像信号的编码/解码方法及装置
CN114339316A (zh) 一种基于视频直播的视频流编码处理方法
US20060067410A1 (en) Method for encoding and decoding video signals
CN113207040A (zh) 一种视频远程快速回放的数据处理方法、装置及系统
KR101246596B1 (ko) 서비스 영상 전송 시스템, 서버 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210114

Address after: No. 149-143, Huancheng North Road, Shaoxing, Zhejiang, 312000

Applicant after: Zhejiang Dingyue Electronics Co.,Ltd.

Address before: 710065 Xi'an new hi tech Zone, Shaanxi, No. 86 Gaoxin Road, No. second, 1 units, 22 stories, 12202 rooms, 51, B block.

Applicant before: Xi'an Cresun Innovation Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant