CN116437116A - 一种音视频调度方法及系统 - Google Patents
一种音视频调度方法及系统 Download PDFInfo
- Publication number
- CN116437116A CN116437116A CN202310249976.1A CN202310249976A CN116437116A CN 116437116 A CN116437116 A CN 116437116A CN 202310249976 A CN202310249976 A CN 202310249976A CN 116437116 A CN116437116 A CN 116437116A
- Authority
- CN
- China
- Prior art keywords
- sub
- reference image
- audio
- video
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000007906 compression Methods 0.000 claims abstract description 57
- 230000006835 compression Effects 0.000 claims abstract description 55
- 238000004891 communication Methods 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 239000006185 dispersion Substances 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
- H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/38—Flow control; Congestion control by adapting coding or compression rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种音视频调度方法及系统，方法包括与终端建立数据通讯关系；收集终端采集的视频流和音频流并在时间长度上对视频流和音频流进行分割；对音频流段进行压缩处理；对视频流段中的图像进行灰度处理，得到基准图像并对基准图像进行区域划分，得到多个子基准图像；对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积；对子基准图像单元进行压缩以及将经过压缩处理的视频流段和音频流段发送至终端。本申请公开的音视频调度方法及系统，通过对音频与视频进行压缩算法优化的处理方式来兼顾压缩率和压缩体积，能够在约束条件不变的情况下提高音频与视频的传输效率，用以满足即时通讯的使用需求。
Description
技术领域
本申请涉及数据处理技术领域，尤其是涉及一种音视频调度方法及系统。
背景技术
音视频调度系统由调度中心、通信网络及各种终端组成，可以为用户提供多种异构网络用户的接入能力，可以提供视音频指挥调度、监控、视音频记录的作用，还能够进行下达各种调度信息、对事发现场进行视频监控并实时记录现场视频信息和为系统中各种信息的传输提供支撑。
在即时通讯场景中，音视频调度系统中的数据流为视频流和音频流，音频流经过数字采集后，能够得到很好的压缩率，但是对于视频流而言，需要在压缩率和传输速度之间进行取舍。
压缩率过高会导致画质损失，同时还需要花费更多的处理时间，可能无法满足即时通讯的使用要求；压缩率过低则需要更多的带宽，数据传输成本会上升。普通场景下使用，可以通过提高硬件处理效率和使用大带宽甚至专用网络的方式满足即时通讯要求。但是在网络覆盖有限地区和硬件条件制约等条件下，则需要通过优化算法的方式来满足即时通讯的要求。
发明内容
本申请提供一种音视频调度方法及系统，通过对音频与视频进行压缩算法优化的处理方式来兼顾压缩率和压缩体积，能够在约束条件不变的情况下提高音频与视频的传输效率，用以满足即时通讯的使用需求。
本申请的上述目的是通过以下技术方案得以实现的：
第一方面，本申请提供了一种音视频调度方法，包括：
响应于获取到的连接指令，与连接指令指向的接听终端建立数据通讯关系；
将采集到的视频流和音频流并在时间长度上对视频流和音频流进行分割，得到视频流段和音频流段并添加队列标记，每一对对应的视频流段和音频流段的长度相同并且具有相同的起止截点；
对音频流段进行压缩处理；
对视频流段中的图像进行灰度处理，得到基准图像并对基准图像进行区域划分，得到多个子基准图像，区域划分过程中使用色差绘制划分线；
对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积；
统计每一个子基准图像单元中的灰度值数量；
根据灰度值离散度对子基准图像进行压缩，灰度值数量小于设定数量时，对子基准图像单元采用无损压缩算法，灰度值数量大于等于设定数量时，对子基准图像单元采用有损压缩算法；以及
将经过压缩处理的视频流段和音频流段发送至连接指令指向的接听终端。
在第一方面的一种可能的实现方式中，子基准图像的面积小于设定忽略面积时，将归属于该子基准图像的划分线进行舍弃处理。
在第一方面的一种可能的实现方式中，子基准图像的边缘长度小于设定忽略边缘长度时，将归属于该子基准图像的划分线进行舍弃处理。
在第一方面的一种可能的实现方式中，当一个子基准图像位于另一个子基准图像的覆盖区域内时，将这两个子基准图像进行拆分处理。
在第一方面的一种可能的实现方式中，子基准图像的边缘由多条顺序收尾相连的线段组成，每一条线段的长度均大于设定线段长度。
在第一方面的一种可能的实现方式中，每一条线段均为水平线段或者竖直线段。
在第一方面的一种可能的实现方式中，根据信道质量对音频流进行压缩，信道质量较好时使用数字采集编码方式压缩，信道质量较差时使用转文字编码方式压缩。
第二方面，本申请提供了一种音视频调度装置，包括：
通讯单元，用于响应于获取到的连接指令，与连接指令指向的接听终端建立数据通讯关系；
队列处理单元，用于将采集到的视频流和音频流并在时间长度上对视频流和音频流进行分割，得到视频流段和音频流段并添加队列标记，每一对对应的视频流段和音频流段的长度相同并且具有相同的起止截点；
音频处理单元，用于将音频流转为文字后压缩；
第一处理单元，用于对视频流段中的图像进行灰度处理，得到基准图像并对基准图像进行区域划分，得到多个子基准图像，区域划分过程中使用色差绘制划分线；
第二处理单元，用于对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积；
第三处理单元，用于统计每一个子基准图像单元中的灰度值数量；
第四处理单元，用于根据灰度值离散度对子基准图像进行压缩，灰度值数量小于设定数量时，对子基准图像单元采用无损压缩算法，灰度值数量大于等于设定数量时，对子基准图像单元采用有损压缩算法；以及
发送单元，用于将经过压缩处理的视频流段和音频流段发送至连接指令指向的接听终端。
第三方面，本申请提供了一种音视频调度系统，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如第一方面及第一方面任意可能的实现方式中所述的方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质包括：
程序，当所述程序被处理器运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
第五方面，本申请提供了一种计算机程序产品，包括程序指令，当所述程序指令被计算设备运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
第六方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于实现上述各方面中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，或者处理器和该存储器也可以耦合在同一个设备上。
附图说明
图1是本申请提供的一种音视频调度方法的步骤流程示意框图。
图2是本申请提供的一种对视频流段和音频流段的划分示意图。
图3是本申请提供的一种对基准图像进行区域划分的示意图。
图4是本申请提供的一种对子基准图像的边缘进行整理的示意图。
图5是本申请提供的另一种对子基准图像的边缘进行整理的示意图。
图6是本申请提供的一种对子基准图像进行划分的示意图。。
具体实施方式
以下结合附图，对本申请中的技术方案作进一步详细说明。
请参阅图1，为本申请公开的一种音视频调度方法，方法包括以下步骤：
S101，响应于获取到的连接指令，与连接指令指向的接听终端建立数据通讯关系；
S102，将采集到的视频流和音频流并在时间长度上对视频流和音频流进行分割，得到视频流段和音频流段并添加队列标记，每一对对应的视频流段和音频流段的长度相同并且具有相同的起止截点；
S103，对音频流段进行压缩处理；
S104，对视频流段中的图像进行灰度处理，得到基准图像并对基准图像进行区域划分，得到多个子基准图像，区域划分过程中使用色差绘制划分线；
S105，对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积；
S106，统计每一个子基准图像单元中的灰度值数量；
S107，根据灰度值离散度对子基准图像进行压缩，灰度值数量小于设定数量时，对子基准图像单元采用无损压缩算法，灰度值数量大于等于设定数量时，对子基准图像单元采用有损压缩算法；以及
S108，将经过压缩处理的视频流段和音频流段发送至连接指令指向的接听终端。
本申请应用于终端设备中，此处为了描述方便，将进行数据处理的终端设备称为使用终端，与使用终端进行数据通讯的终端设备称为接听终端，当然，当数据通讯方向发生改变时，使用终端和接听终端也会相应的进行身份互换，区别在于不再需要根据连接指令建立数据通讯关系。
在步骤S101中，使用者会向使用终端下发一个指令，该指令指向一个确定的接听终端，收到该指令后，使用终端通过网络(公网或者私网)与接听终端联系并建立数据通讯关系。
在一些可能的实现方式中，指令下发的方式有拨号、触控选择和按压固定按键等方式。
数据通讯关系成功建立后，使用终端开始通过图像单元采集视频流和音频单元采集音频流，图像单元和音频单元是使用终端的一部分，此处可以参考智能手机等电子设备。
对于图像视频流和音频流，本申请中采用分别处理的方式。在处理之前，首先在时间长度上对视频流和音频流进行分割，分割的目的是方便对视频流和音频流进行处理。应理解，视频流和音频流是连续产生的，使用分割可以使视频流段和音频流段能够随着时间的流逝产生，并且视频流段和音频流段是独立的，可以单独对其进行处理，处理后的视频流段和音频流段发送至接听终端后进行解压缩与合成。
请参阅图2，从使用网络发送数据的角度考虑，视频流段和音频流段可以看作是一个一个的独立的数据包，使用网络发送小体积的数据包，可以得到更快的传输速度，在数据包体积合适的前提下，即时通讯中的滞后时间可以得到有效控制。
得到视频流段和音频流段后还需要添加队列标记，并且每一对对应的视频流段和音频流段的长度相同并且具有相同的起止截点，这样在接听终端处，视频流段和音频流段是一一对应的，一方面接听终端能够同时输出画面和声音另一方面可以通过互相验证的方式发现缺失，然后对缺失的视频流段或者音频流段就行纠正处理。
在步骤S103中，会对音频流段进行压缩处理，压缩处理的目的是降低音频流段的体积。应理解，音频压缩技术指的是对原始数字音频信号流运用适当的数字信号处理技术，在不损失有用信息量，或所引入损失可忽略的条件下，降低(压缩)其码率，也称为压缩编码，相应的逆变换过程称为解压缩或解码。相关的处理技术有自适应差分PCM(ADPCM)和线性预测编码(LPC)等。
当然，在信道质量有限的情况下，也可以使用转文字编码方式进行压缩，具体的方式就是将使用者的声音转为文字进行发送，这种发送方式能够得到很高的压缩率，但是信息量损失也比较大，仅限在通话等场景中使用，因为在这些场景中环境声音可以进行忽略处理。
在信道质量出现波动的情况下，可以根据信道质量的好坏在数字采集编码方式压缩和转文字编码方式进行压缩之间进行切换。对于接听终端而言，就需要采集使用数字采集编码方式处理的声音中的声音特征参数来调整模拟声音，使得在播放经过转文字编码方式处理音频流段时，能够得到类似于或者说趋近于播放使用数字采集编码方式处理的声音。
对于视频流段的处理，在步骤S104至步骤S107中进行，具体如下：
在步骤S104中会对视频流段中的图像进行灰度处理，所谓灰度，就是图像没有色彩。原本的彩色图像是有RGB三种颜色组成的(也就是每个像素点由三个值)，现在给图像灰度化，每个像素点只有一个值(0-255)表示颜色的深度。
灰度处理的目的是降低数据的计算量，例如对于彩色图像，可以使用三通道(红、绿、蓝)的方式进行预处理，这里每一个通道都可以看作是对图像的一次灰度处理，三通道处理的方式需要将图像进行通道分离，这会增加处理步骤和数据处理量，拖慢视频流段中的图像的处理速度。
请参阅图3，视频流段中的图像经过灰度处理后得到基准图像，然后对基准图像进行区域划分，区域划分的目的是针对于不同的区域使用不同的处理方式。此处需要说明，对于图像的压缩处理，会将其由时域转换到频域上，然后滤除掉人眼无法接收到的颜色，因为人眼最终感受到的颜色其实是可见光(以红色为例，红色光的波长约625—740nm频率约480—405THz)，对于人眼不可感知的可见光，在图像压缩过程中可以直接删除，用以得到更小的压缩体积和更快的数据传输速度。
当时如果直接对整幅图像使用上述处理方式，会存在数据处理量过大的问题，原因是图像上的不同区域中包含的可见光与不可见光的含量不同，当一个区域中包含有微量的不可见光时，可以采用不删除不可见光的方式进行处理；当一个区域中的大部分光均为不可见光时，可以对其直接进行压缩处理而不是用筛选和删除。这样就能够在压缩速度和压缩率上得到一个较为均衡的处理方案，在损失一定量压缩体积的前提下得到更快的数据处理速度。
基于上述陈述，本申请中需要对基准图像并对基准图像进行区域划分，得到多个子基准图像，区域划分过程中使用色差绘制划分线，色差实质上表示子基准图像的边界，基准图像中包括多个子基准图像。
也就是说，使用划分线可以将基准图像分为多个部分，每一个部分是一个子基准图像。得到子基准图像后，还需要进行筛选处理，具体的筛选方式有以下两种：
第一种，子基准图像的面积小于设定忽略面积时，将归属于该子基准图像的划分线进行舍弃处理。
第二种，子基准图像的边缘长度小于设定忽略边缘长度时，将归属于该子基准图像的划分线进行舍弃处理。
对子基准图像筛选的目的是降低子基准图像的数量，因为部分小体积的子基准图像对于数据处理过程的影响十分小，将其划分出来进行单独处理，会导致数据处理量的增加，相反将其就近划入到相邻的子基准图像内，能够得到更好的数据处理结果。
另外，当一个子基准图像位于另一个子基准图像的覆盖区域内时，将这两个子基准图像进行拆分处理，拆分处理的目的是为了方便后续选择合适的处理方式。
请参阅图4，对于子基准图像的边缘，在本申请中也使用了相应的优化方式，对于子基准图像的边缘，将其修正为由多条顺序收尾相连的线段组成，每一条线段的长度均大于设定线段长度。相比于曲线等不规则线段，使用线段能够使子基准图像的边缘更加规整。
请参阅图5，在一些可能的实现方式中，每一条线段均为水平线段或者竖直线段，因为属于一条水平线段或者竖直线段上的点的坐标由一个固定坐标和一个变化坐标组成，相比于斜线段需要使用两个变化坐标进行表达，使用水平线段和竖直线段能够在一定程度上降低数据处理量，可以加快图像的处理速度。
得到子基准图像后，执行步骤S105。
请参阅图6，在步骤S105中，对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积，划分子基准图像单元的目的有两个，一个是为了对进行数据统计(灰度值数量)，另一个是为了进行并行处理，不同的子基准图像单元可以发送至不同的处理通道，能够加快子基准图像单元的处理速度。
判断方式在步骤S106中，统计每一个子基准图像单元中的灰度值数量。
处理方式在S107中，根据灰度值离散度对子基准图像进行压缩，灰度值数量小于设定数量时，对子基准图像单元采用无损压缩算法，灰度值数量大于等于设定数量时，对子基准图像单元采用有损压缩算法。
对于灰度值的数量选择，采用数值加数量的处理方式，每一个子基准图像单元中的每一个像素单元均具有与灰度值，根据灰度值统计像素单元的数量，就可对灰度值的数量进行选择，例如一个灰度值对应的像素单元是小于五个，就对其进行舍弃处理，反之则保留，这样可以降低灰度值数量，提高数据的集中度。
举例说明，一个子基准图像单元中的灰度值数量多，说明该区域内存在多种光，或者说该区域中包含有较多的信息，对于这种子基准图像单元，需要使用有损压缩算法进行处理，主要目的是压缩数据体积。
对于子基准图像单元的统计完成后，根据占比大小选择使用有损压缩算法还是无损压缩算法，也就是对于归属于一个子基准图像的子基准图像单元，使用一种压缩算法进行处理。
当然，在选择压缩算法时，还需要根据子基准图像单元的数量确定，当其中一个的数量占比小于设定数量占比时，对于归属于一个子基准图像的子基准图像单元，使用一种压缩算法进行处理；当其中一个的数量占比大于等于设定数量占比时，则根据位置关系进行区域划分，然后对一个区域使用同一种压缩算法进行处理。
当然，在进行区域划分的过程中会存在零散的子基准图像单元，需要将其归入到就近的一个区域中并使用区域所使用的压缩算法进行处理。
如果一个子基准图像单元中的灰度值数量少，说明该区域内存在少量光，或者说该区域中包含有较少的信息，对于这种子基准图像单元，需要使用无损压缩算法进行处理，主要目的是提高数据处理速度。上述两种方式的结合，能够在数据处理速度和数据处理量之间得到一个二者兼顾的处理方式。
最后执行S108，该步骤中将经过压缩处理的视频流段和音频流段发送至连接指令指向的接听终端。
整体而言，本申请提供的音视频调度方法，使用了音频与视频分开处理的方式进行处理，音频处理过程中，会根据信道质量来选择使用数字采集编码方式压缩还是转文字编码方式进行处理，用以将有限的信道容量让出来传递视频；在视频压缩过程中，会根据图像中各个区域包含的信息量来选择合适的压缩方式，对于包含信息大的区域，选择有损压缩方式，用以得到更好的压缩比，对于包含信息量小的区域，采用无损压缩的方式进行处理，用以得到更快的数据处理速度。两种压缩方式的结合能够兼顾数据处理速度和压缩比。
本申请还提供了一种音视频调度装置，包括：
通讯单元，用于响应于获取到的连接指令，与连接指令指向的接听终端建立数据通讯关系；
队列处理单元，用于将采集到的视频流和音频流并在时间长度上对视频流和音频流进行分割，得到视频流段和音频流段并添加队列标记，每一对对应的视频流段和音频流段的长度相同并且具有相同的起止截点；
音频处理单元，用于将音频流转为文字后压缩；
第一处理单元，用于对视频流段中的图像进行灰度处理，得到基准图像并对基准图像进行区域划分，得到多个子基准图像，区域划分过程中使用色差绘制划分线；
第二处理单元，用于对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积；
第三处理单元，用于统计每一个子基准图像单元中的灰度值数量；
第四处理单元，用于根据灰度值离散度对子基准图像进行压缩，灰度值数量小于设定数量时，对子基准图像单元采用无损压缩算法，灰度值数量大于等于设定数量时，对子基准图像单元采用有损压缩算法；以及
发送单元，用于将经过压缩处理的视频流段和音频流段发送至连接指令指向的接听终端。
进一步地，子基准图像的面积小于设定忽略面积时，将归属于该子基准图像的划分线进行舍弃处理。
进一步地，子基准图像的边缘长度小于设定忽略边缘长度时，将归属于该子基准图像的划分线进行舍弃处理。
进一步地，当一个子基准图像位于另一个子基准图像的覆盖区域内时，将这两个子基准图像进行拆分处理。
进一步地，子基准图像的边缘由多条顺序收尾相连的线段组成，每一条线段的长度均大于设定线段长度。
进一步地，每一条线段均为水平线段或者竖直线段。
进一步地，根据信道质量对音频流进行压缩，信道质量较好时使用数字采集编码方式压缩，信道质量较差时使用转文字编码方式压缩。
在一个例子中，以上任一装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specificintegratedcircuit，ASIC)，或，一个或多个数字信号处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)，或这些集成电路形式中至少两种的组合。
再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
在本申请中可能出现的对各种消息/信息/设备/网元/系统/装置/动作/操作/流程/概念等各类客体进行了赋名，可以理解的是，这些具体的名称并不构成对相关客体的限定，所赋名称可随着场景，语境或者使用习惯等因素而变更，对本申请中技术术语的技术含义的理解，应主要从其在技术方案中所体现/执行的功能和技术效果来确定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
还应理解，在本申请的各个实施例中，第一、第二等只是为了表示多个对象是不同的。例如第一时间窗和第二时间窗只是为了表示出不同的时间窗。而不应该对时间窗的本身产生任何影响，上述的第一、第二等不应该对本申请的实施例造成任何限制。
还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被执行时，以使得该音视频调度系统执行对应于上述方法的音视频调度系统的操作。
本申请还提供了一种音视频调度系统，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如上述内容中所述的方法。
本申请还提供了一种芯片系统，该芯片系统包括处理器，用于实现上述内容中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。
在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，以支持该芯片系统实现上述实施例中的各种功能。或者，该处理器和该存储器也可以耦合在同一个设备上。
可选地，该计算机指令被存储在存储器中。
可选地，该存储器为该芯片内的存储单元，如寄存器、缓存等，该存储器还可以是该终端内的位于该芯片外部的存储单元，如ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM等。
可以理解，本申请中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
非易失性存储器可以是ROM、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。
易失性存储器可以是RAM，其用作外部高速缓存。RAM有多种不同的类型，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器。
本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种音视频调度方法，其特征在于，包括：
响应于获取到的连接指令，与连接指令指向的接听终端建立数据通讯关系；
将采集到的视频流和音频流并在时间长度上对视频流和音频流进行分割，得到视频流段和音频流段并添加队列标记，每一对对应的视频流段和音频流段的长度相同并且具有相同的起止截点；
对音频流段进行压缩处理；
对视频流段中的图像进行灰度处理，得到基准图像并对基准图像进行区域划分，得到多个子基准图像，区域划分过程中使用色差绘制划分线；
对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积；
统计每一个子基准图像单元中的灰度值数量；
根据灰度值离散度对子基准图像进行压缩，灰度值数量小于设定数量时，对子基准图像单元采用无损压缩算法，灰度值数量大于等于设定数量时，对子基准图像单元采用有损压缩算法；以及
将经过压缩处理的视频流段和音频流段发送至连接指令指向的接听终端。
2.根据权利要求1所述的音视频调度方法，其特征在于，子基准图像的面积小于设定忽略面积时，将归属于该子基准图像的划分线进行舍弃处理。
3.根据权利要求1所述的音视频调度方法，其特征在于，子基准图像的边缘长度小于设定忽略边缘长度时，将归属于该子基准图像的划分线进行舍弃处理。
4.根据权利要求1至3中任意一项所述的音视频调度方法，其特征在于，当一个子基准图像位于另一个子基准图像的覆盖区域内时，将这两个子基准图像进行拆分处理。
5.根据权利要求4所述的音视频调度方法，其特征在于，子基准图像的边缘由多条顺序收尾相连的线段组成，每一条线段的长度均大于设定线段长度。
6.根据权利要求5所述的音视频调度方法，其特征在于，每一条线段均为水平线段或者竖直线段。
7.根据权利要求1所述的音视频调度方法，其特征在于，根据信道质量对音频流进行压缩，信道质量较好时使用数字采集编码方式压缩，信道质量较差时使用转文字编码方式压缩。
8.一种音视频调度装置，其特征在于，包括：
通讯单元，用于响应于获取到的连接指令，与连接指令指向的接听终端建立数据通讯关系；
队列处理单元，用于将采集到的视频流和音频流并在时间长度上对视频流和音频流进行分割，得到视频流段和音频流段并添加队列标记，每一对对应的视频流段和音频流段的长度相同并且具有相同的起止截点；
音频处理单元，用于将音频流转为文字后压缩；
第一处理单元，用于对视频流段中的图像进行灰度处理，得到基准图像并对基准图像进行区域划分，得到多个子基准图像，区域划分过程中使用色差绘制划分线；
第二处理单元，用于对子基准图像进行网格划分，得到多个子基准图像单元，子基准图像单元的面积小于等于设定单位面积；
第三处理单元，用于统计每一个子基准图像单元中的灰度值数量；
第四处理单元，用于根据灰度值离散度对子基准图像进行压缩，灰度值数量小于设定数量时，对子基准图像单元采用无损压缩算法，灰度值数量大于等于设定数量时，对子基准图像单元采用有损压缩算法；以及
发送单元，用于将经过压缩处理的视频流段和音频流段发送至连接指令指向的接听终端。
9.一种音视频调度系统，其特征在于，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：
程序，当所述程序被处理器运行时，如权利要求1至7中任意一项所述的方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310249976.1A CN116437116B (zh) | 2023-03-03 | 2023-03-03 | 一种音视频调度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310249976.1A CN116437116B (zh) | 2023-03-03 | 2023-03-03 | 一种音视频调度方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116437116A true CN116437116A (zh) | 2023-07-14 |
| CN116437116B CN116437116B (zh) | 2024-01-30 |
Family
ID=87078741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310249976.1A Active CN116437116B (zh) | 2023-03-03 | 2023-03-03 | 一种音视频调度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116437116B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118233491A (zh) * | 2024-05-23 | 2024-06-21 | 深圳市宏辉智通科技有限公司 | 一种基于广播对讲的指挥调度方法和系统 |
| CN118397522A (zh) * | 2024-07-01 | 2024-07-26 | 武汉天业数智信息技术有限公司 | 基于实时分析的决策分析方法、装置、系统与存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011066577A (ja) * | 2009-09-16 | 2011-03-31 | Fujitsu Broad Solution & Consulting Inc | 画像処理プログラム、表示システム、画像処理装置および画像処理方法 |
| CN102611823A (zh) * | 2012-01-13 | 2012-07-25 | 百度在线网络技术（北京）有限公司 | 一种基于图片内容选择压缩算法的方法和设备 |
| CN102710920A (zh) * | 2012-05-22 | 2012-10-03 | 上海鱼游网络科技有限公司 | 一种通信终端通话方法、通信终端及通信系统 |
| CN103002288A (zh) * | 2012-12-28 | 2013-03-27 | 北京视博云科技有限公司 | 一种视频图像的编解码方法及装置 |
| CN103327322A (zh) * | 2013-04-26 | 2013-09-25 | 深信服网络科技（深圳）有限公司 | 图像传输方法及装置 |
| WO2014079036A1 (zh) * | 2012-11-23 | 2014-05-30 | 华为技术有限公司 | 图像压缩方法及图像处理装置 |
| CN103886623A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 一种图像压缩方法、设备及系统 |
| CN106101830A (zh) * | 2016-07-08 | 2016-11-09 | 中霆云计算科技（上海）有限公司 | 一种基于区域检测和应用检测相结合的视频流检测方法 |
| CN113542692A (zh) * | 2021-07-19 | 2021-10-22 | 临沂边锋自动化设备有限公司 | 一种基于监控视频的人脸识别系统及方法 |
| CN114648989A (zh) * | 2020-12-21 | 2022-06-21 | Oppo广东移动通信有限公司 | 在电子设备中实施的语音信息处理方法、装置及存储介质 |
-
2023
- 2023-03-03 CN CN202310249976.1A patent/CN116437116B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011066577A (ja) * | 2009-09-16 | 2011-03-31 | Fujitsu Broad Solution & Consulting Inc | 画像処理プログラム、表示システム、画像処理装置および画像処理方法 |
| CN102611823A (zh) * | 2012-01-13 | 2012-07-25 | 百度在线网络技术（北京）有限公司 | 一种基于图片内容选择压缩算法的方法和设备 |
| CN102710920A (zh) * | 2012-05-22 | 2012-10-03 | 上海鱼游网络科技有限公司 | 一种通信终端通话方法、通信终端及通信系统 |
| WO2014079036A1 (zh) * | 2012-11-23 | 2014-05-30 | 华为技术有限公司 | 图像压缩方法及图像处理装置 |
| CN103886623A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 一种图像压缩方法、设备及系统 |
| CN103002288A (zh) * | 2012-12-28 | 2013-03-27 | 北京视博云科技有限公司 | 一种视频图像的编解码方法及装置 |
| CN103327322A (zh) * | 2013-04-26 | 2013-09-25 | 深信服网络科技（深圳）有限公司 | 图像传输方法及装置 |
| CN106101830A (zh) * | 2016-07-08 | 2016-11-09 | 中霆云计算科技（上海）有限公司 | 一种基于区域检测和应用检测相结合的视频流检测方法 |
| CN114648989A (zh) * | 2020-12-21 | 2022-06-21 | Oppo广东移动通信有限公司 | 在电子设备中实施的语音信息处理方法、装置及存储介质 |
| CN113542692A (zh) * | 2021-07-19 | 2021-10-22 | 临沂边锋自动化设备有限公司 | 一种基于监控视频的人脸识别系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118233491A (zh) * | 2024-05-23 | 2024-06-21 | 深圳市宏辉智通科技有限公司 | 一种基于广播对讲的指挥调度方法和系统 |
| CN118397522A (zh) * | 2024-07-01 | 2024-07-26 | 武汉天业数智信息技术有限公司 | 基于实时分析的决策分析方法、装置、系统与存储介质 |
| CN118397522B (zh) * | 2024-07-01 | 2024-08-23 | 武汉天业数智信息技术有限公司 | 基于实时分析的决策分析方法、装置、系统与存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116437116B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116437116B (zh) | 一种音视频调度方法及系统 | |
| CN105472477B (zh) | 一种数据传输方法、装置及设备 | |
| CN106899861B (zh) | 一种图片文件处理方法及其设备、系统 | |
| CN101365125B (zh) | 多路视频通信方法与系统 | |
| JP2003152547A (ja) | 動画像を圧縮する方法 | |
| CN102447956A (zh) | 手机视频分享的方法及系统 | |
| US12062379B2 (en) | Audio coding of tonal components with a spectrum reservation flag | |
| CN113301342B (zh) | 视频编码方法、网络直播方法、装置和终端设备 | |
| CN112995730A (zh) | 音画同步调整方法、装置、电子设备及介质 | |
| CN115552518B (zh) | 一种信号编解码方法、装置、用户设备、网络侧设备及存储介质 | |
| CN109151503B (zh) | 一种图片文件处理方法及其设备 | |
| US11699212B2 (en) | Method of controlling encoding of display data | |
| CN109102816B (zh) | 编码控制方法、装置以及电子设备 | |
| CN114531564A (zh) | 处理方法及电子设备 | |
| CN117062034A (zh) | 蓝牙数据的传输方法、装置、设备及存储介质 | |
| US20230040515A1 (en) | Audio signal coding method and apparatus | |
| US11900950B2 (en) | Bit allocation method and apparatus for audio signal | |
| EP4152318A1 (en) | Audio encoding method and audio encoding device | |
| CN107438181B (zh) | 一种音视频处理方法和装置 | |
| CN115334349A (zh) | 音频处理方法、装置、电子设备及存储介质 | |
| US20080120114A1 (en) | Method, Apparatus and Computer Program Product for Performing Stereo Adaptation for Audio Editing | |
| US12100408B2 (en) | Audio coding with tonal component screening in bandwidth extension | |
| WO2023123497A1 (en) | Collaborative video processing mechanism and methods of operating the same | |
| CN109168008B (zh) | 一种基于云分布式海量交通视频信息处理方法 | |
| US20240137579A1 (en) | Encoding Control Method and Apparatus, and Decoding Control Method and Apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |