CN114915840A - 适用于嵌入式设备的音视频处理方法、装置、设备及介质 - Google Patents
适用于嵌入式设备的音视频处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114915840A CN114915840A CN202210494322.0A CN202210494322A CN114915840A CN 114915840 A CN114915840 A CN 114915840A CN 202210494322 A CN202210494322 A CN 202210494322A CN 114915840 A CN114915840 A CN 114915840A
- Authority
- CN
- China
- Prior art keywords
- audio
- data segment
- video
- processed
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000009499 grossing Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 17
- 239000010410 layer Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 239000002356 single layer Substances 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 description 9
- 230000003321 amplification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明实施例公开了一种适用于嵌入式设备的音视频处理方法、装置、设备及介质，其中方法包括：从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；将所述目标数据段添加到预设的第二环形队列的尾部；若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。从而提高了音视频的质量，提高了音视频的流畅度。
Description
技术领域
本发明涉及音视频技术领域，尤其涉及一种适用于嵌入式设备的音视频处理方法、装置、设备及介质。
背景技术
随着技术的发展，采用嵌入式设备连接电脑或电视进行音视频的录播得到广泛应用，但这种应用方式只能应用于特定场所。为了解决该问题，单纯采用嵌入式设备进行音视频的录播，发明人发现因嵌入式设备的信号接收的连贯性欠佳，而且嵌入式设备的计算资源和存储资源有限，导致嵌入式设备录播的音视频的流畅度不高、质量不高。
发明内容
基于此，有必要针对上述问题，提出了一种适用于嵌入式设备的音视频处理方法、装置、设备及介质。
一种适用于嵌入式设备的音视频处理方法，所述方法包括：
从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
将所述目标数据段添加到预设的第二环形队列的尾部；
若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
一种适用于嵌入式设备的音视频处理装置，所述装置包括：
待处理音视频数据段确定模块，用于从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
降噪后数据段确定模块，用于将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
目标数据段确定模块，用于采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
第二环形队列更新模块，用于将所述目标数据段添加到预设的第二环形队列的尾部；
音视频播放模块，用于若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
音视频存储模块，用于若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
一种嵌入式设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
将所述目标数据段添加到预设的第二环形队列的尾部；
若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
将所述目标数据段添加到预设的第二环形队列的尾部；
若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
本申请的适用于嵌入式设备的音视频处理方法，通过采用第一环形队列缓存音视频数据段，采用第二环形队列缓存目标数据段，基于缓存进行音视频的录播，提高了音视频的流畅度，通过环形队列有利于降低对存储资源的消耗；通过对音视频数据段进行音频降噪处理，实现了对音视频进行分段处理，减少了每次音频降噪处理的数据量，降低每次音频降噪处理对计算资源的消耗，提高了音视频的质量；采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段作为目标数据段，通过基于大于时间戳范围的音视频数据段进行音频降噪处理，从而实现了基于上文内容和当前内容进行音频降噪处理，进一步提高了音视频的质量，而且有利于提高各个目标数据段之间的衔接处的流畅度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中适用于嵌入式设备的音视频处理方法的流程图；
图2为一个实施例中适用于嵌入式设备的音视频处理装置的结构框图；
图3为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提供了一种适用于嵌入式设备的音视频处理方法。该方法既可以应用于嵌入式设备的终端，本实施例以应用于终端举例说明。嵌入式设备包括但不限于：音视频录播机、手机、平板电脑和穿戴设备。
当本申请应用于音视频录播机时，音视频录播机包括：CPU(中央处理器)、存储器、USB(Universal Serial Bus)协议转换模块、HDMI(高清多媒体接口)协议转换模块、视频模数转换模块、音频模数转换模块、CVBS(复合同步视频广播信号或复合视频消隐和同步)输出模块、HDMI输出模块、TF(TransFLash)卡、U盘(universal serial bus)、功放模块、显示屏、电源模块，功放模块包括数模转换单元、功放单元、喇叭和耳机接口；CPU分别与存储器、USB协议转换模块、HDMI协议转换模块、视频模数转换模块、音频模数转换模块、CVBS输出模块、HDMI输出模块、TF卡、U盘、功放模块、显示屏电连接；电源模块用于向音视频录播机的各个部件或模块提供电源；音频模数转换模块接收音频信号和/或麦克风信号，视频模数转换模块接收CVBS信号，HDMI协议转换模块接收HDMI信号，USB协议转换模块接收计算机数据，CVBS输出模块与电视机连接，HDMI输出模块用于与高清电视机连接。
本申请的适用于嵌入式设备的音视频处理方法具体包括如下步骤：
S102：从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
所述第一环形队列，是采用环形队列。从第一环形队列的尾部入数据，第一环形队列的头部取出数据。
具体而言，从预设的第一环形队列的头部获取音视频数据段，将获取的音视频数据段作为待处理音视频数据段。
待处理音视频数据段，是预设时长的数据段。
可以理解的是，所述第一环形队列中的音视频数据段按音视频的时间顺序进行存储。也就是说，第i次从第一环形队列获取的音视频数据段的开始时间晚于第k次从第一环形队列获取的音视频数据段的开始时间，其中，k小于i，i和k都是大于0的整数。从而实现了将所述第一环形队列中的音视频数据段按开始时间进行排序。
S104：将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
具体而言，将所述待处理音视频数据段输入预设的流式降噪模型进行音频降噪处理，将完成音频降噪处理之后的所述待处理音视频数据段作为降噪后数据段。从而提高了降噪后数据段中的音频的质量。也就是说，流式降噪模型可以用于音频降噪处理，也可以用于图像流降噪处理，还可以用于音频降噪处理及图像流降噪处理。
图像流降噪处理，也就是对图像流中的每帧图像进行降噪处理。
流式降噪模型，是适用于计算资源有限的应用场景的流式音频和/或流式图像的降噪处理。
当流式降噪模型用于流式音频降噪处理时，流式降噪模型依次包括：编码器、频域降噪单元、时域降噪单元、解码器。其中，所述编码器用于特征提取。频域降噪单元用于在频域纬度进行降噪。时域降噪单元用于在时域维度进行降噪。解码器用于进行解码。频域降噪单元，是基于多头自注意力机制得到的单元。时域降噪单元是基于长短期记忆人工神经网络得到的单元。
S106：采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
具体而言，从所述降噪后数据段中提取数据段，提取的数据段对应的时间范围与所述待处理音视频数据段对应的时间戳范围相同，将提取的数据段作为目标数据段。
可选的，采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中的尾部提取数据段，将提取的数据段作为目标数据段。从而实现将所述待处理音视频数据段的头部去掉，通过基于大于时间戳范围的音视频数据段进行音频降噪处理，从而实现了基于上文内容和当前内容进行音频降噪处理，进一步提高了音视频的质量，而且有利于提高各个目标数据段之间的衔接处的流畅度。
可选的，采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中的中部提取数据段，将提取的数据段作为目标数据段。从而实现将所述待处理音视频数据段的头部和尾部均去掉，进一步提升各个目标数据段之间的衔接处的流畅度。
S108：将所述目标数据段添加到预设的第二环形队列的尾部；
所述第一环形队列，是采用环形队列。从第一环形队列的尾部入数据，第一环形队列的头部取出数据。
具体而言，将所述目标数据段添加到预设的第二环形队列的尾部，为基于目标数据段的播放和/或存储提供了缓存基础。
可以理解的是，所述第二环形队列中的所述目标数据段按音视频的时间顺序进行存储。从而实现了将所述第二环形队列中的所述目标数据段按开始时间进行排序。
S110：若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
可选的，所述录播配置数据包括：播放。
可选的，所述录播配置数据包括：录制。
可选的，所述录播配置数据包括：播放和录制。
具体而言，若预设的录播配置数据包括播放，意味着需要对进行音视频播放，因此，从所述第二环形队列的头部取出所述目标数据段，根据取出的所述目标数据段进行音视频播放。
可以理解的是，可以按固定时间间隔从所述第二环形队列的头部取出所述目标数据段。
S112：若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
具体而言，若所述录播配置数据包括录制，意味着需要进行音视频存储，因此，从所述第二环形队列的头部取出所述目标数据段，根据取出的所述目标数据段进行音视频存储。
根据所述第二环形队列进行音视频存储，可以存储在本地存储空间，也可以存储在网络存储空间。
当本申请应用于音视频录播机时，音视频录播机把接收的信号(比如，超高清信号)转换成音视频数据段，采用TF卡或者U盘存储音视频，采用显示屏播放音视频，通过HDMI视频接口或视频接口输出给高清电视或其他设备。而且用户可以通过音视频录播机的USB接口对TF卡或者U盘中的音视频进行操作。
本实施例通过采用第一环形队列缓存音视频数据段，采用第二环形队列缓存目标数据段，基于缓存进行音视频的录播，提高了音视频的流畅度，通过环形队列有利于降低对存储资源的消耗；通过对音视频数据段进行音频降噪处理，实现了对音视频进行分段处理，减少了每次音频降噪处理的数据量，降低每次音频降噪处理对计算资源的消耗，提高了音视频的质量；采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段作为目标数据段，通过基于大于时间戳范围的音视频数据段进行音频降噪处理，从而实现了基于上文内容和当前内容进行音频降噪处理，进一步提高了音视频的质量，而且有利于提高各个目标数据段之间的衔接处的流畅度。
在一个实施例中，上述从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段的步骤，包括：
S202：获取音视频信号；
具体而言，可以从信号通道获取音视频信号，也通过无线网络获取音视频信号，还可以通过有线网络获取音视频信号。
音视频信号，是包含音频和/或图像流的信号。
S204：将所述音视频信号存储到本地缓存；
具体而言，将所述音视频信号存储到本地缓存，为基于本地缓存进行信号片段的提取提供了基础。
S206：根据预设的第一间隔时长和所述音视频信号的开始时间，确定每个所述时间戳范围；
第一间隔时长，是大于0的时长。
具体而言，以所述音视频信号的开始时间为第一所述时间戳范围的开始时间，按照第一间隔时长确定第一个所述时间戳范围的结束时间；以第n-1所述时间戳范围的结束时间作为第n所述时间戳范围的开始时间，n是大于1的整数；每个所述时间戳范围对应的时长等于所述第一间隔时长。
S208：将所述第一间隔时长与预设的第一提前比例进行相乘，得到第一提前时长；
具体而言，将所述第一间隔时长与预设的第一提前比例进行相乘，将相乘得到的数据作为第一提前时长。
S210：将所述时间戳范围的开始时间减去所述第一提前时长，作为第一调整开始时间；
具体而言，将所述时间戳范围的开始时间减去所述第一提前时长，将调整后的开始时间作为第一调整开始时间。
S212：将同一个所述时间戳范围对应的所述第一调整开始时间和结束时间之间的时间范围，作为第一时间范围；
具体而言，将同一个所述时间戳范围对应的所述第一调整开始时间和结束时间之间的时间范围，作为第一时间范围。所述第一时间范围与所述时间戳范围一一对应。
S214：根据所述第一时间范围，从所述本地缓存中的所述音视频信号中提取信号片段，作为目标信号片段；
具体而言，从所述本地缓存中的所述音视频信号中提取信号片段，提取的信号片段对应的时间范围位于所述第一时间范围内，将提取的信号片段作为所述目标信号片段。
S216：对所述目标信号片段进行所述音视频数据段转换，并将转换得到的所述音视频数据段添加到所述第一环形队列的尾部；
具体而言，将所述目标信号片段转换成音视频，以作为所述音视频数据段，将转换得到的所述音视频数据段添加到所述第一环形队列的尾部，实现了对音视频数据段的有限缓存和自动排序。
S218：从所述第一环形队列的头部获取所述音视频数据段，作为所述待处理音视频数据段。
具体而言，从预设的第一环形队列的头部获取音视频数据段，将获取的音视频数据段作为待处理音视频数据段。
本实施例通过将同一个所述时间戳范围对应的所述第一调整开始时间和结束时间之间的时间范围，作为第一时间范围，从而使根据所述第一时间范围，从所述本地缓存中的所述音视频信号中提取的信号片段的开头包含了冗余的数据，为通过基于大于时间戳范围的音视频数据段进行音频降噪处理提供了基础，为采用所述待处理音视频数据段对应的时间戳范围从所述降噪后数据段中的尾部提取数据段作为目标数据段提供了基础。
在一个实施例中，上述从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段的步骤，还包括：
S302：获取预设的第一通道发送的第一信号，并对所述第一信号设置设备时间戳，作为第一待处理信号，将所述第一待处理信号存储到本地缓存中；
第一通道，是信号通道。
具体而言，获取预设的第一通道发送的信号，作为第一信号；对所述第一信号设置设备时间戳，将设置了设备时间戳的第一信号作为第一待处理信号；将所述第一待处理信号存储到本地缓存中，为基于本地缓存进行信号处理提供了基础。
S304：获取预设的第二通道发送的第二信号，并对所述第二信号设置所述设备时间戳，作为第二待处理信号，将所述第二待处理信号存储到所述本地缓存中；
第二通道，是信号通道。
可选的，第一通道和第二通道是不同模式的信号通道。比如，第一通道是麦克风的信号通道，第二通道是HDMI信号通道或者CVBS信号通道。
可选的，第一通道和第二通道是相同模式的信号通道。
具体而言，获取预设的第二通道发送的信号，作为第二信号；对所述第二信号设置设备时间戳，将设置了设备时间戳的第二信号作为第二待处理信号；将所述第二待处理信号存储到本地缓存中，为基于本地缓存进行信号处理提供了基础。
S306：将所述第一待处理信号和所述第二待处理信号对应的所述设备时间戳中的最早开始时间作为目标开始时间；
具体而言，所述第一待处理信号和所述第二待处理信号对应的所述设备时间戳中的最早开始时间，是融合后的音视频的开始时间，因此，将所述第一待处理信号和所述第二待处理信号对应的所述设备时间戳中的最早开始时间作为目标开始时间，为划分时间戳范围提供了基础。
S308：根据预设的第二间隔时长和所述目标开始时间，确定所述时间戳范围；
具体而言，以所述目标开始时间为第一个所述时间戳范围的开始时间，按照第二间隔时长确定第一所述时间戳范围的结束时间；以第p-1所述时间戳范围的结束时间作为第p所述时间戳范围的开始时间，p是大于1的整数；每个所述时间戳范围对应的时长等于所述第二间隔时长。
可以理解的是，第一隔时长与第二间隔时长可以相同，也可以不相同。
S310：将所述第二间隔时长与预设的第二提前比例进行相乘，得到第二提前时长；
具体而言，将所述第二间隔时长与预设的第二提前比例进行相乘，将相乘得到的数据作为第二提前时长。
S312：将所述时间戳范围的开始时间减去所述第二提前时长，作为第二调整开始时间；
具体而言，将所述时间戳范围的开始时间减去所述第二提前时长，将调整后的开始时间作为第二调整开始时间。
S314：将同一个所述时间戳范围对应的所述第二调整开始时间和结束时间之间的时间范围，作为第二时间范围；
具体而言，将同一个所述时间戳范围对应的所述第二调整开始时间和结束时间之间的时间范围，作为第二时间范围。所述第二时间范围与所述时间戳范围一一对应。
S316：从所述本地缓存的所述第一待处理信号中获取所述设备时间戳在所述第二时间范围内的信号片段，作为第一信号片段，并从所述本地缓存的所述第二待处理信号中获取所述设备时间戳在所述第二时间范围内的信号片段，作为第二信号片段；
具体而言，从所述本地缓存的所述第一待处理信号中获取所述设备时间戳在所述第二时间范围内的信号片段，将获取的信号片段作为第一信号片段，并从所述本地缓存的所述第二待处理信号中获取所述设备时间戳在所述第二时间范围内的信号片段，将获取的信号片段作为第二信号片段。
可以理解的是，步骤S316中的两个所述第二时间范围是相同的时间范围。
S318：对所述第一信号片段进行模式转换作为第一数据段，并对所述第二信号片段进行模式转换作为第二数据段；
具体而言，采用第一信号对应的模式转换方法，对所述第一信号片段进行格式转换，得到第一数据段；采用第二信号对应的模式转换方法，对所述第二信号片段进行格式转换，得到第二数据段。
也就是说，第一数据段可以是音频、图像流、音视频中的任一种。
也就是说，第二数据段可以是音频、图像流、音视频中的任一种。
S320：将所述第一数据段和所述第二数据段融合成所述音视频数据段，并将融合得到的所述音视频数据段添加到所述第一环形队列的尾部；
具体而言，将所述第一数据段和所述第二数据段融合成一段音视频，将融合得到的音视频作为所述音视频数据段。
S322：从所述第一环形队列的头部获取所述音视频数据段，作为所述待处理音视频数据段。
本实施例通过对所述第一信号设置设备时间戳，对所述第二信号设置所述设备时间戳，基于两个信号的设备时间戳有利于将两个通道的数据进行准确的对齐，提高了音视频的质量；通过将同一个所述时间戳范围对应的所述第二调整开始时间和结束时间之间的时间范围，作为第二时间范围，从而使根据所述第二时间范围，从所述本地缓存中提取的信号片段的开头包含了冗余的数据，为通过基于大于时间戳范围的音视频数据段进行音频降噪处理提供了基础，为采用所述待处理音视频数据段对应的时间戳范围从所述降噪后数据段中的尾部提取数据段作为目标数据段提供了基础。
在一个实施例中，上述将所述第一数据段和所述第二数据段融合成所述音视频数据段的步骤，包括：
S402：采用所述第一数据段对应的单模式降噪模型，对所述第一数据段进行降噪，得到第一降噪数据段；
具体而言，采用所述第一数据段对应的信号模式对应的单模式降噪模型，对所述第一数据段进行降噪，将降噪后的数据作为第一降噪数据段。
S404：采用所述第二数据段对应的单模式降噪模型，对所述第二数据段进行降噪，得到第二降噪数据段；
具体而言，采用所述第二数据段对应的信号模式对应的单模式降噪模型，对所述第二数据段进行降噪，将降噪后的数据作为第二降噪数据段。
S406：对所述第一降噪数据段和所述第二降噪数据段进行融合处理，得到所述音视频数据段。
具体而言，将所述第一降噪数据段的开始时间和所述第二降噪数据段的开始时间进行对齐，然后将对齐后的所述第一降噪数据段和所述第二降噪数据段融合成一段音视频，将融合得到的音视频作为所述音视频数据段。
本实施例采用所述第一数据段对应的单模式降噪模型，对所述第一数据段进行降噪，采用所述第二数据段对应的单模式降噪模型，对所述第二数据段进行降噪，有利于提高音视频的质量，而且第一数据段和第二数据段是较短的数据段，减少了每次降噪处理的数据量，降低每次降噪处理对计算资源的消耗。
在一个实施例中，上述根据所述第二环形队列进行音视频播放的步骤，包括：
S502：从所述第二环形队列的头部提取所述目标数据段，作为待处理数据段；
具体而言，从所述第二环形队列的头部提取所述目标数据段，将提取的所述目标数据段作为待处理数据段。
S504：对所述待处理数据段的头部进行在预设的第一平滑时长内的增强处理，以及对所述待处理数据段的尾部进行在预设的第二平滑时长内的抑制处理，得到待播放数据段；
具体而言，对所述待处理数据段的头部进行在预设的第一平滑时长内的图像增强处理和/或音频增强处理，以及对所述待处理数据段的尾部进行在预设的第二平滑时长内的图像抑制处理和/或音频抑制处理，将完成处理的所述待处理数据段作为待播放数据段。
图像增强处理包括但不限于：图像对比度增强、图像亮度增强。
音频增强处理包括但不限于：音量提高。
图像抑制处理包括但不限于：图像对比度降低、图像亮度降低。
音频抑制处理包括但不限于：音量降低。
可以理解的是，第一平滑时长和第二平滑时长均是数值。第一平滑时长和第二平滑时长可以相同，也可以不同。
第一平滑时长和第二平滑时长之和小于或等于所述待处理数据段的总时长。
S506：对所述待播放数据段进行音视频播放。
具体而言，按预设的播放方式，对所述待播放数据段进行音视频播放。
其中，播放方式是按预设速度进行播放。预设速度的取值范围包括：正常速度、第一预设系数乘以正常速度、第二预设系数乘以正常速度，第一预设系数大于1，第二预设系数小于1。从而可以避免播放不完或者当前待播放数据段播放完了但是下一个待播放数据段还未准备好，提高了音视频的流畅性。
可以理解的是，重复执行步骤S502至步骤S506，即可基于第二环形队列进行多个目标数据段的连续播放。
本实施例对所述待处理数据段的头部进行在预设的第一平滑时长内的增强处理，以及对所述待处理数据段的尾部进行在预设的第二平滑时长内的抑制处理，从而使连续的两个待播放数据段的连接处进行平滑过渡，提高了音视频播放的流畅度；基于第二环形队列进行音视频播放，可以实现准实时的音视频播放。
在一个实施例中，上述根据所述第二环形队列进行音视频存储的步骤，包括：
S602：从所述第二环形队列的头部提取所述目标数据段，作为待分析数据段；
具体而言，从所述第二环形队列的头部提取所述目标数据段，将提取的所述目标数据段作为待分析数据段。
S604：对所述待分析数据段的头部进行在预设的第三平滑时长内的增强处理，并对所述待分析数据段的尾部进行在预设的第四平滑时长内的抑制处理，得到待压缩数据段；
具体而言，对所述待分析数据段的头部进行在预设的第三平滑时长内的图像增强处理和/或音频增强处理，以及对所述待分析数据段的尾部进行在预设的第四平滑时长内的图像抑制处理和/或音频抑制处理，将完成处理的所述待分析数据段作为待压缩数据段。
第三平滑时长与第四平滑时长之和小于或等于所述待处理数据段的总时长。
第三平滑时长与第四平滑时长可以相同，也可以不同。
第一平滑时长、第二平滑时长、第三平滑时长和第四平滑时长可以相同，也可以不同。
S606：将所述待压缩数据段存储到本地缓存中；
S608：对所述本地缓存中的所述待压缩数据段中的各个音频帧生成序列，作为音频辅助初始序列；
音频辅助初始序列包括：时间位置和音频帧标识。音频帧标识可以是音频帧名称、音频帧ID等唯一标识一个音频帧的数据。时间位置，是位于所述待压缩数据段中的播放时间。可以理解的是，音频辅助初始序列中的数据按时间位置进行顺序排序。
具体而言，根据所述本地缓存中的所述待压缩数据段中的各个音频帧各自对应的时间位置及音频帧标识生成序列，将该序列作为音频辅助初始序列。
S610：对所述本地缓存中的所述待压缩数据段中的各个所述音频帧查找连续相同的音频帧，得到同质音频帧序列集，将所述本地缓存中的所述待压缩数据段中的各个所述音频帧中的所述同质音频帧序列集以外的各个所述音频帧，作为单质音频帧集；
具体而言，对所述本地缓存中的所述待压缩数据段中的各个所述音频帧查找连续相同的音频帧，将查找到的每组连续相同的音频帧作为一个同质音频帧序列集。也就是说，同质音频帧序列集中的各个音频帧相同。
将所述本地缓存中的所述待压缩数据段中的各个所述音频帧中的所述同质音频帧序列集以外的各个所述音频帧，从而找到了独立存在的音频帧，将找出的各个音频帧作为单质音频帧集。
可以理解的是，单质音频帧集中的每个音频帧是独立存在的，也就是该音频帧与前一个音频帧不同，并且与后一个音频帧不同。
S612：从每个所述同质音频帧序列集中提取第一个音频帧，得到压缩同质音频帧；
具体而言，从每个所述同质音频帧序列集中提取第一个音频帧，从而查到了需要保留的音频帧，将提取的第一个音频帧作为压缩同质音频帧。
S614：从各个所述同质音频帧序列集中获取任一个所述同质音频帧序列集作为目标同质音频帧序列集；
S616：根据所述目标同质音频帧序列集对应的所述压缩同质音频帧，对所述音频辅助初始序列中的与所述目标同质音频帧序列集对应的数据进行替换；
具体而言，根据目标同质音频帧序列集对应的所述压缩同质音频帧对应的音频帧标识，对所述音频辅助初始序列中的与所述目标同质音频帧序列集对应的各个音频帧标识进行替换。
S618：重复执行所述从各个所述同质音频帧序列集中获取任一个所述同质音频帧序列集作为目标同质音频帧序列集的步骤，直至完成所述同质音频帧序列集的获取，将所述音频辅助初始序列作为音频辅助序列；
具体而言，重复执行所述从各个所述同质音频帧序列集中获取任一个所述同质音频帧序列集作为目标同质音频帧序列集的步骤，也就是重复执行步骤S614至步骤S618，直至完成所述同质音频帧序列集的获取；当完成所述同质音频帧序列集的获取时，意味着已经完成了所述音频辅助初始序列中的与各个所述同质音频帧序列集对应的各个音频帧标识进行替换，此时需要停止重复执行步骤S614至步骤S618，将所述音频辅助初始序列作为音频辅助序列。
S620：对所述本地缓存中的所述待压缩数据段中的各个图像帧生成序列，作为图像辅助初始序列；
图像辅助初始序列包括：时间位置和图像帧标识。图像帧标识可以是图像帧名称、图像帧ID等唯一标识一个图像帧的数据。可以理解的是，图像辅助初始序列中的数据按时间位置进行顺序排序。
图像帧，就是一帧图像。
具体而言，根据所述本地缓存中的所述待压缩数据段中的各个图像帧各自对应的时间位置及图像帧标识生成序列，将该序列作为图像辅助初始序列。
S622：对所述本地缓存中的所述待压缩数据段中的各个所述图像帧查找连续相同的所述图像帧，得到同质图像帧序列集，将所述本地缓存中的所述待压缩数据段中的各个所述图像帧中的所述同质图像帧序列集以外的各个所述图像帧，作为单质图像帧集；
具体而言，对所述本地缓存中的所述待压缩数据段中的各个所述图像帧查找连续相同的图像帧，将查找到的每组连续相同的图像帧作为一个同质图像帧序列集。也就是说，同质图像帧序列集中的各个图像帧相同。
将所述本地缓存中的所述待压缩数据段中的各个所述图像帧中的所述同质图像帧序列集以外的各个所述图像帧，从而找到了独立存在的图像帧，将找出的各个图像帧作为单质图像帧集。
也就是说，单质图像帧集中的每个图像帧是独立存在的，也就是该图像帧与前一个图像帧不同，并且与后一个图像帧不同。
S624：从每个所述同质图像帧序列集中提取第一个图像帧，得到压缩同质图像帧；
具体而言，从每个所述同质图像帧序列集中提取第一个图像帧，从而查到了需要保留的图像帧，将提取的第一个图像帧作为压缩同质图像帧。
S626：从各个所述同质图像帧序列集中获取任一个所述同质图像帧序列集作为目标同质图像帧序列集；
S628：根据所述目标同质图像帧序列集对应的所述压缩同质图像帧，对所述图像辅助初始序列中的与所述目标同质图像帧序列集对应的数据进行替换；
具体而言，根据目标同质图像帧序列集对应的所述压缩同质图像帧对应的图像帧标识，对所述图像辅助初始序列中的与所述目标同质图像帧序列集对应的各个图像帧标识进行替换。
S630：重复执行所述从各个所述同质图像帧序列集中获取任一个所述同质图像帧序列集作为目标同质图像帧序列集的步骤，直至完成所述从各个所述同质图像帧序列集的获取，将所述图像辅助初始序列作为图像辅助序列；
具体而言，重复执行所述从各个所述同质图像帧序列集中获取任一个所述同质图像帧序列集作为目标同质图像帧序列集的步骤，也就是重复执行步骤S626至步骤S630，直至完成所述从各个所述同质图像帧序列集的获取；当完成所述从各个所述同质图像帧序列集的获取时，意味着已经完成了所述图像辅助初始序列中的与各个所述同质图像帧序列集对应的各个图像帧标识进行替换，此时需要停止重复执行步骤S626至步骤S630，将所述图像辅助初始序列作为图像辅助序列。
S632：将各个所述压缩同质音频帧、所述单质音频帧集、所述音频辅助序列、各个所述压缩同质图像帧、所述单质图像帧集和所述图像辅助序列存储在预设的存储地址对应的存储空间。
具体而言，将各个所述压缩同质音频帧、所述单质音频帧集、所述音频辅助序列、各个所述压缩同质图像帧、所述单质图像帧集和所述图像辅助序列存储在预设的存储地址对应的存储空间，从而实现了连续相同的音频帧只保留第一个音频帧，连续相同的图像帧只保留第一个图像帧。
本实施例实现了连续相同的音频帧只保留第一个音频帧，连续相同的图像帧只保留第一个图像帧，减少了对存储资源的消耗；通过音频辅助序列和图像辅助序列进行准确音视频准确还原，实现了在减少对存储资源的消耗的情况下，不影响音视频的还原质量。
在一个实施例中，上述将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段的步骤，包括：
S702：从所述待处理音视频数据段中的音频提取频谱图，得到待处理频谱图；
具体而言，对所述待处理音视频数据段中的音频进行短时傅立叶变换，得到初始频谱图，然后去掉初始频谱图的直流分量，形成待处理频谱图。直流分量对频谱的重构影响不大，将去掉直流分量的初始频谱图作为待处理频谱图，减少了对计算资源的消耗，并且不会降低降噪效果。
S704：将所述待处理频谱图输入所述流式降噪模型的编码器进行特征提取，得到所述编码器的每个编码层对应的单层特征；
编码器包括至少3个编码层。编码器中的所有编码层线性连接。
S706：将所述编码器的最后一个所述编码层对应的所述单层特征输入所述流式降噪模型的频域降噪单元进行频域降噪，得到第一降噪后特征；
具体而言，将所述编码器的最后一个所述编码层对应的所述单层特征输入所述流式降噪模型的频域降噪单元，通过频域降噪单元的多头自注意力机制进行频域维度的降噪，将频域降噪得到的特征作为第一降噪后特征。
S708：将所述编码器的最后一个所述编码层对应的所述单层特征与所述第一降噪后特征进行融合，得到第一融合特征；
具体而言，将所述编码器的最后一个所述编码层对应的所述单层特征与所述第一降噪后特征进行拼接，从而实现了残差连接，将拼接得到的特征作为第一融合特征。
S710：将所述第一融合特征输入所述流式降噪模型的时域降噪单元进行时域降噪，得到第二降噪后特征；
具体而言，将所述第一融合特征输入所述流式降噪模型的时域降噪单元，通过时域降噪单元在时域维度进行降噪，将时域降噪得到的特征作为第二降噪后特征。
S712：将所述第一融合特征和所述第二降噪后特征进行融合，得到第二融合特征；
具体而言，将所述第一融合特征和所述第二降噪后特征进行拼接，从而实现了残差连接，将拼接得到的特征作为第二融合特征。
S714：将所述第二融合特征和各个所述单层特征输入所述流式降噪模型的解码器进行解码，得到目标频谱图；
解码器中包括多个解码层。解码器中的解码层的数量与所述编码器的所述编码层的数量相同。
具体而言，将第m-1个所述解码层的输出特征和第n+1-m个所述单层特征进行向量连接，得到第m个待解码特征，将第m个待解码特征作为第m个所述解码层的输入特征，其中，m是大于0的整数，并且m小于或等于n，n是编码器中编码层的数量；当m等于1时，将所述第二融合特征作为第m-1个所述解码层的输出特征。
S716：根据所述目标频谱图进行音视频重建，得到降噪后音频段；
具体而言，对所述目标频谱图进行掩码增强与抑制，对掩码增强与抑制之后的频谱图进行短时傅立叶逆变换，得到时域数据；采用Overlapadd方法，对所述时域数据进行语音信号重建，将重建得到的语音作为降噪后音频段。
Overlapadd，又写为Overlap-add，重叠相加。
掩码增强与抑制，也就是采用CRM Mask(CRM掩码)方式作为降噪的过滤函数，以实现在频谱图中对想要的语音对应的数据进行增强和对不想要的语音对应的数据进行抑制。
S718：采用所述降噪后数据段，对所述待处理音视频数据段中的音频进行替换处理，得到所述降噪后数据段。
具体而言，采用所述降噪后数据段，对所述待处理音视频数据段中的音频进行替换处理，将完成替换的所述待处理音视频数据段作为所述降噪后数据段。
本实施例通过采用编码器用于特征提取、频域降噪单元在频域纬度进行降噪、时域降噪单元在时域维度进行降噪、解码器解码，实现了对音频进行降噪，提高了音视频的质量。
如图2所示，一种适用于嵌入式设备的音视频处理装置，所述装置包括：
待处理音视频数据段确定模块802，用于从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
降噪后数据段确定模块804，用于将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
目标数据段确定模块806，用于采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
第二环形队列更新模块808，用于将所述目标数据段添加到预设的第二环形队列的尾部；
音视频播放模块810，用于若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
音视频存储模块812，用于若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
本实施例通过采用第一环形队列缓存音视频数据段，采用第二环形队列缓存目标数据段，基于缓存进行音视频的录播，提高了音视频的流畅度，通过环形队列有利于降低对存储资源的消耗；通过对音视频数据段进行音频降噪处理，实现了对音视频进行分段处理，减少了每次音频降噪处理的数据量，降低每次音频降噪处理对计算资源的消耗，提高了音视频的质量；采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段作为目标数据段，通过基于大于时间戳范围的音视频数据段进行音频降噪处理，从而实现了基于上文内容和当前内容进行音频降噪处理，进一步提高了音视频的质量，而且有利于提高各个目标数据段之间的衔接处的流畅度。
图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现适用于嵌入式设备的音视频处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行适用于嵌入式设备的音视频处理方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
将所述目标数据段添加到预设的第二环形队列的尾部；
若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
本实施例通过采用第一环形队列缓存音视频数据段，采用第二环形队列缓存目标数据段，基于缓存进行音视频的录播，提高了音视频的流畅度，通过环形队列有利于降低对存储资源的消耗；通过对音视频数据段进行音频降噪处理，实现了对音视频进行分段处理，减少了每次音频降噪处理的数据量，降低每次音频降噪处理对计算资源的消耗，提高了音视频的质量；采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段作为目标数据段，通过基于大于时间戳范围的音视频数据段进行音频降噪处理，从而实现了基于上文内容和当前内容进行音频降噪处理，进一步提高了音视频的质量，而且有利于提高各个目标数据段之间的衔接处的流畅度。
在一个实施例中，提出了一种嵌入式设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
将所述目标数据段添加到预设的第二环形队列的尾部；
若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
本实施例通过采用第一环形队列缓存音视频数据段，采用第二环形队列缓存目标数据段，基于缓存进行音视频的录播，提高了音视频的流畅度，通过环形队列有利于降低对存储资源的消耗；通过对音视频数据段进行音频降噪处理，实现了对音视频进行分段处理，减少了每次音频降噪处理的数据量，降低每次音频降噪处理对计算资源的消耗，提高了音视频的质量；采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段作为目标数据段，通过基于大于时间戳范围的音视频数据段进行音频降噪处理，从而实现了基于上文内容和当前内容进行音频降噪处理，进一步提高了音视频的质量，而且有利于提高各个目标数据段之间的衔接处的流畅度。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
将所述目标数据段添加到预设的第二环形队列的尾部；
若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
本实施例通过采用第一环形队列缓存音视频数据段，采用第二环形队列缓存目标数据段，基于缓存进行音视频的录播，提高了音视频的流畅度，通过环形队列有利于降低对存储资源的消耗；通过对音视频数据段进行音频降噪处理，实现了对音视频进行分段处理，减少了每次音频降噪处理的数据量，降低每次音频降噪处理对计算资源的消耗，提高了音视频的质量；采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段作为目标数据段，通过基于大于时间戳范围的音视频数据段进行音频降噪处理，从而实现了基于上文内容和当前内容进行音频降噪处理，进一步提高了音视频的质量，而且有利于提高各个目标数据段之间的衔接处的流畅度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。请输入具体实施内容部分。
Claims (10)
1.一种适用于嵌入式设备的音视频处理方法，所述方法包括：
从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
将所述目标数据段添加到预设的第二环形队列的尾部；
若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
2.根据权利要求1所述的适用于嵌入式设备的音视频处理方法，其特征在于，所述从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段的步骤，包括：
获取音视频信号；
将所述音视频信号存储到本地缓存；
根据预设的第一间隔时长和所述音视频信号的开始时间，确定每个所述时间戳范围；
将所述第一间隔时长与预设的第一提前比例进行相乘，得到第一提前时长；
将所述时间戳范围的开始时间减去所述第一提前时长，作为第一调整开始时间；
将同一个所述时间戳范围对应的所述第一调整开始时间和结束时间之间的时间范围，作为第一时间范围；
根据所述第一时间范围，从所述本地缓存中的所述音视频信号中提取信号片段，作为目标信号片段；
对所述目标信号片段进行所述音视频数据段转换，并将转换得到的所述音视频数据段添加到所述第一环形队列的尾部；
从所述第一环形队列的头部获取所述音视频数据段，作为所述待处理音视频数据段。
3.根据权利要求1所述的适用于嵌入式设备的音视频处理方法，其特征在于，所述从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段的步骤，还包括：
获取预设的第一通道发送的第一信号，并对所述第一信号设置设备时间戳，作为第一待处理信号，将所述第一待处理信号存储到本地缓存中；
获取预设的第二通道发送的第二信号，并对所述第二信号设置所述设备时间戳，作为第二待处理信号，将所述第二待处理信号存储到所述本地缓存中；
将所述第一待处理信号和所述第二待处理信号对应的所述设备时间戳中的最早开始时间作为目标开始时间；
根据预设的第二间隔时长和所述目标开始时间，确定所述时间戳范围；
将所述第二间隔时长与预设的第二提前比例进行相乘，得到第二提前时长；
将所述时间戳范围的开始时间减去所述第二提前时长，作为第二调整开始时间；
将同一个所述时间戳范围对应的所述第二调整开始时间和结束时间之间的时间范围，作为第二时间范围；
从所述本地缓存的所述第一待处理信号中获取所述设备时间戳在所述第二时间范围内的信号片段，作为第一信号片段，并从所述本地缓存的所述第二待处理信号中获取所述设备时间戳在所述第二时间范围内的信号片段，作为第二信号片段；
对所述第一信号片段进行模式转换作为第一数据段，并对所述第二信号片段进行模式转换作为第二数据段；
将所述第一数据段和所述第二数据段融合成所述音视频数据段，并将融合得到的所述音视频数据段添加到所述第一环形队列的尾部；
从所述第一环形队列的头部获取所述音视频数据段，作为所述待处理音视频数据段。
4.根据权利要求3所述的适用于嵌入式设备的音视频处理方法，其特征在于，所述将所述第一数据段和所述第二数据段融合成所述音视频数据段的步骤，包括：
采用所述第一数据段对应的单模式降噪模型，对所述第一数据段进行降噪，得到第一降噪数据段；
采用所述第二数据段对应的单模式降噪模型，对所述第二数据段进行降噪，得到第二降噪数据段；
对所述第一降噪数据段和所述第二降噪数据段进行融合处理，得到所述音视频数据段。
5.根据权利要求1所述的适用于嵌入式设备的音视频处理方法，其特征在于，所述根据所述第二环形队列进行音视频播放的步骤，包括：
从所述第二环形队列的头部提取所述目标数据段，作为待处理数据段；
对所述待处理数据段的头部进行在预设的第一平滑时长内的增强处理，以及对所述待处理数据段的尾部进行在预设的第二平滑时长内的抑制处理，得到待播放数据段；
对所述待播放数据段进行音视频播放。
6.根据权利要求1所述的适用于嵌入式设备的音视频处理方法，其特征在于，所述根据所述第二环形队列进行音视频存储的步骤，包括：
从所述第二环形队列的头部提取所述目标数据段，作为待分析数据段；
对所述待分析数据段的头部进行在预设的第三平滑时长内的增强处理，并对所述待分析数据段的尾部进行在预设的第四平滑时长内的抑制处理，得到待压缩数据段；
将所述待压缩数据段存储到本地缓存中；
对所述本地缓存中的所述待压缩数据段中的各个音频帧生成序列，作为音频辅助初始序列；
对所述本地缓存中的所述待压缩数据段中的各个所述音频帧查找连续相同的音频帧，得到同质音频帧序列集，将所述本地缓存中的所述待压缩数据段中的各个所述音频帧中的所述同质音频帧序列集以外的各个所述音频帧，作为单质音频帧集；
从每个所述同质音频帧序列集中提取第一个音频帧，得到压缩同质音频帧；
从各个所述同质音频帧序列集中获取任一个所述同质音频帧序列集作为目标同质音频帧序列集；
根据所述目标同质音频帧序列集对应的所述压缩同质音频帧，对所述音频辅助初始序列中的与所述目标同质音频帧序列集对应的数据进行替换；
重复执行所述从各个所述同质音频帧序列集中获取任一个所述同质音频帧序列集作为目标同质音频帧序列集的步骤，直至完成所述同质音频帧序列集的获取，将所述音频辅助初始序列作为音频辅助序列；
对所述本地缓存中的所述待压缩数据段中的各个图像帧生成序列，作为图像辅助初始序列；
对所述本地缓存中的所述待压缩数据段中的各个所述图像帧查找连续相同的所述图像帧，得到同质图像帧序列集，将所述本地缓存中的所述待压缩数据段中的各个所述图像帧中的所述同质图像帧序列集以外的各个所述图像帧，作为单质图像帧集；
从每个所述同质图像帧序列集中提取第一个图像帧，得到压缩同质图像帧；
从各个所述同质图像帧序列集中获取任一个所述同质图像帧序列集作为目标同质图像帧序列集；
根据所述目标同质图像帧序列集对应的所述压缩同质图像帧，对所述图像辅助初始序列中的与所述目标同质图像帧序列集对应的数据进行替换；
重复执行所述从各个所述同质图像帧序列集中获取任一个所述同质图像帧序列集作为目标同质图像帧序列集的步骤，直至完成所述从各个所述同质图像帧序列集的获取，将所述图像辅助初始序列作为图像辅助序列；
将各个所述压缩同质音频帧、所述单质音频帧集、所述音频辅助序列、各个所述压缩同质图像帧、所述单质图像帧集和所述图像辅助序列存储在预设的存储地址对应的存储空间。
7.根据权利要求1所述的适用于嵌入式设备的音视频处理方法，其特征在于，所述将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段的步骤，包括：
从所述待处理音视频数据段中的音频提取频谱图，得到待处理频谱图；
将所述待处理频谱图输入所述流式降噪模型的编码器进行特征提取，得到所述编码器的每个编码层对应的单层特征；
将所述编码器的最后一个所述编码层对应的所述单层特征输入所述流式降噪模型的频域降噪单元进行频域降噪，得到第一降噪后特征；
将所述编码器的最后一个所述编码层对应的所述单层特征与所述第一降噪后特征进行融合，得到第一融合特征；
将所述第一融合特征输入所述流式降噪模型的时域降噪单元进行时域降噪，得到第二降噪后特征；
将所述第一融合特征和所述第二降噪后特征进行融合，得到第二融合特征；
将所述第二融合特征和各个所述单层特征输入所述流式降噪模型的解码器进行解码，得到目标频谱图；
根据所述目标频谱图进行音视频重建，得到降噪后音频段；
采用所述降噪后数据段，对所述待处理音视频数据段中的音频进行替换处理，得到所述降噪后数据段。
8.一种适用于嵌入式设备的音视频处理装置，其特征在于，所述装置包括：
待处理音视频数据段确定模块，用于从预设的第一环形队列获取音视频数据段，作为待处理音视频数据段；
降噪后数据段确定模块，用于将所述待处理音视频数据段输入预设的流式降噪模型进行降噪处理，得到降噪后数据段；
目标数据段确定模块，用于采用所述待处理音视频数据段对应的时间戳范围，从所述降噪后数据段中提取数据段，得到目标数据段；
第二环形队列更新模块，用于将所述目标数据段添加到预设的第二环形队列的尾部；
音视频播放模块，用于若预设的录播配置数据包括播放，则根据所述第二环形队列进行音视频播放；
音视频存储模块，用于若所述录播配置数据包括录制，则根据所述第二环形队列进行音视频存储。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种嵌入式设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210494322.0A CN114915840B (zh) | 2022-05-07 | 适用于嵌入式设备的音视频处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210494322.0A CN114915840B (zh) | 2022-05-07 | 适用于嵌入式设备的音视频处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114915840A true CN114915840A (zh) | 2022-08-16 |
| CN114915840B CN114915840B (zh) | 2024-10-29 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320575A (zh) * | 2023-05-18 | 2023-06-23 | 江苏弦外音智造科技有限公司 | 一种音视频的音频处理控制系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0618728A2 (en) * | 1993-02-26 | 1994-10-05 | Sony Corporation | Synchronization of audio/video information |
| CN102547482A (zh) * | 2011-12-30 | 2012-07-04 | 北京锐安科技有限公司 | 一种多路ip音视频流同步播放方法 |
| CN105245976A (zh) * | 2015-09-30 | 2016-01-13 | 合一网络技术(北京)有限公司 | 音频和视频同步播放的方法及系统 |
| CN110519627A (zh) * | 2018-05-21 | 2019-11-29 | 视联动力信息技术股份有限公司 | 一种音频数据的同步方法和装置 |
| US20200014969A1 (en) * | 2016-09-14 | 2020-01-09 | Dts, Inc. | User interface for multimode synchronous rendering of headphone audio and video |
| CN111526466A (zh) * | 2020-04-30 | 2020-08-11 | 成都千立网络科技有限公司 | 一种扩声系统实时音频信号处理方法 |
| CN113034401A (zh) * | 2021-04-08 | 2021-06-25 | 中国科学技术大学 | 视频去噪方法及装置、存储介质及电子设备 |
| CN114067826A (zh) * | 2022-01-18 | 2022-02-18 | 深圳市友杰智新科技有限公司 | 语音降噪方法、装置、设备及存储介质 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0618728A2 (en) * | 1993-02-26 | 1994-10-05 | Sony Corporation | Synchronization of audio/video information |
| CN102547482A (zh) * | 2011-12-30 | 2012-07-04 | 北京锐安科技有限公司 | 一种多路ip音视频流同步播放方法 |
| CN105245976A (zh) * | 2015-09-30 | 2016-01-13 | 合一网络技术(北京)有限公司 | 音频和视频同步播放的方法及系统 |
| US20200014969A1 (en) * | 2016-09-14 | 2020-01-09 | Dts, Inc. | User interface for multimode synchronous rendering of headphone audio and video |
| CN110519627A (zh) * | 2018-05-21 | 2019-11-29 | 视联动力信息技术股份有限公司 | 一种音频数据的同步方法和装置 |
| CN111526466A (zh) * | 2020-04-30 | 2020-08-11 | 成都千立网络科技有限公司 | 一种扩声系统实时音频信号处理方法 |
| CN113034401A (zh) * | 2021-04-08 | 2021-06-25 | 中国科学技术大学 | 视频去噪方法及装置、存储介质及电子设备 |
| CN114067826A (zh) * | 2022-01-18 | 2022-02-18 | 深圳市友杰智新科技有限公司 | 语音降噪方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320575A (zh) * | 2023-05-18 | 2023-06-23 | 江苏弦外音智造科技有限公司 | 一种音视频的音频处理控制系统 |
| CN116320575B (zh) * | 2023-05-18 | 2023-09-05 | 江苏弦外音智造科技有限公司 | 一种音视频的音频处理控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10546599B1 (en) | Systems and methods for identifying a mute/sound sample-set attribute | |
| EP0840528A2 (en) | An apparatus for a synchronized playback of audio-video signals | |
| CN106937121A (zh) | 图像解码和编码方法、解码和编码装置、解码器及编码器 | |
| US8457954B2 (en) | Sound quality control apparatus and sound quality control method | |
| CN110933485A (zh) | 一种视频字幕生成方法、系统、装置和存储介质 | |
| EP3693961B1 (en) | Encoding device and method, decoding device and method, and program | |
| CN107371053B (zh) | 音频视频流对比分析方法及装置 | |
| TW200419438A (en) | Transmission device, transmission method, regeneration device, regeneration method, program and recording media | |
| CN109040818B (zh) | 直播时的音视频同步方法、存储介质、电子设备及系统 | |
| CN113596549B (zh) | 基于不同参考时钟的音视频同步方法、装置和计算机设备 | |
| CN114566172A (zh) | 音频数据处理方法、装置、存储介质及电子设备 | |
| CN109218849B (zh) | 一种直播数据的处理方法、装置、设备和存储介质 | |
| CN114915840B (zh) | 适用于嵌入式设备的音视频处理方法、装置、设备及介质 | |
| CN114915840A (zh) | 适用于嵌入式设备的音视频处理方法、装置、设备及介质 | |
| CN110809169B (zh) | 互联网评论信息定向屏蔽系统及方法 | |
| JP5696552B2 (ja) | 再生装置、再生方法およびプログラム | |
| US10553230B2 (en) | Decoding apparatus, decoding method, and program | |
| CN112738564B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| EP1484747A1 (en) | Audio level control for compressed audio signals | |
| CN111741376B (zh) | 一种多媒体文件拼接音视频唇音同步的方法 | |
| CN113055706B (zh) | 视频合成方法、装置、电子设备和存储介质 | |
| WO2009110227A1 (ja) | 記録装置、再生装置および方法 | |
| CN114979783A (zh) | 一种音视频播放方法、装置和电子设备 | |
| JPWO2006075457A1 (ja) | 記録装置 | |
| CN111601157B (zh) | 一种音频输出方法及显示设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |