CN104349205A - 音视频处理方法及系统 - Google Patents
音视频处理方法及系统 Download PDFInfo
- Publication number
- CN104349205A CN104349205A CN201410652398.7A CN201410652398A CN104349205A CN 104349205 A CN104349205 A CN 104349205A CN 201410652398 A CN201410652398 A CN 201410652398A CN 104349205 A CN104349205 A CN 104349205A
- Authority
- CN
- China
- Prior art keywords
- data
- video
- audio frequency
- audio
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000005236 sound signal Effects 0.000 claims abstract description 9
- 238000012546 transfer Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000012856 packing Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical group C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003032 molecular docking Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101150053299 Mark1 gene Proteins 0.000 description 1
- 101150116075 Mark2 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
- H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种音视频处理方法及系统，该系统包括依次连接的音视频转换模块、音视频混合模块、音视频交叉模块、输出模块和/或远程传输模块；音视频转换模块将输入的视频信号转换为预设格式、预设分辨率的视频数据，输入的音频信号转换为音频数据，将视频数据和音频数据输出到音视频混合模块；音视频混合模块在视频数据行消隐区内插入音频数据得到音视频数据，将音视频数据转化为串行化数据并输出到音视频交叉模块；音视频交叉模块对串行化数据进行交叉；输出模块将交叉后的数据进行输出，或者远程传输模块将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。本发明解决了各设备不兼容的问题，并降低了成本，节省了带宽。
Description
技术领域
本发明涉及大屏幕显示技术领域，特别是涉及一种音视频处理方法及系统。
背景技术
大屏幕显示是指图形或图像在大屏幕上的显示，屏幕面积一般在一平方米以上。大屏幕显示的种类很多，如激光扫描大屏幕显示，油膜光阀机电子显示装置，面板发光型大视野显示，矩阵型具有模块结构的大屏幕显示，以及由数以万计的单个发光器件(如光源管、小型荧光灯和白炽灯等)组成的、面积可达几百平方米的直观式超大屏幕显示等。
目前在大屏幕显示市场，因为技术门槛高、投入资金大，视频显示和音频播放基本上是分离开来的。在视频处理类设备里边，各种格式转换设备参差不齐，有时为了满足用户的某一特定需求，需要采购多种视频类设备，成本高，集成系统复杂。在音视频统一调度方面，现场调度和远程调度均存在上百种设备厂商，无统一标准。而且音视频处理集成设备与厂家各调度设备之间兼容性不好，导致音视频播放效果差强人意。
发明内容
基于此，有必要针对上述问题，提供一种成本低、设备兼容性好的音视频处理方法及系统。
一种音视频处理系统，包括依次连接的音视频转换模块、音视频混合模块、音视频交叉模块、输出模块和/或远程传输模块；
所述音视频转换模块将输入的视频信号转换为预设格式、预设分辨率的视频数据，输入的音频信号转换为音频数据，将视频数据和音频数据输出到所述音视频混合模块；所述音视频混合模块在所述视频数据行消隐区内插入所述音频数据得到音视频数据，将所述音视频数据转化为串行化数据并输出到所述音视频交叉模块；所述音视频交叉模块对所述串行化数据进行交叉；所述输出模块将交叉后的数据进行输出，或者所述远程传输模块将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
一种音视频处理方法，包括步骤：
将输入的视频信号转换为预设格式、预设分辨率的视频数据，将输入的音频信号转换为音频数据；
将所述音频数据插入所述视频数据行消隐区内，得到音视频数据，将所述音视频数据转化为串行化数据；
将所述串行化数据进行交叉，将交叉后的数据进行输出，或者将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
本发明音视频处理方法及系统，与现有技术相互比较时，具备以下优点：
1、本发明可以把目前市面上常用视频格式，如VIDEO、VGA、DVI、DP、SDI、HDMI、IP等转换成统一格式，将各输入视频信号的分辨率统一为同一分辨率，通过统一音视频传输格式，解决了音视频处理集成设备和厂家各调度设备不兼容的问题，实现了较好的音视频播放效果，并降低了成本；
2、本发明可以在视频数据行消隐区内插入音频数据，无需占有格外带宽即可传输音频数据，节省了带宽；
3、本发明可以将交叉后的数据直接进行输出，实现现场调度；也可以将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出，实现远程调度功能。
附图说明
图1为本发明系统实施例的结构示意图；
图2为本发明在视频帧行消隐区插入音频数据示意图；
图3为本发明音视频混合模块实施例的结构示意图；
图4为本发明音视频交叉模块实施例的结构示意图；
图5为本发明远程传输模块实施例的结构示意图；
图6为本发明方法实施例的流程示意图；
图7为本发明在视频帧行消隐区内插入音频数据步骤的流程示意图。
具体实施方式
下面结合附图对本发明音视频处理系统的具体实施方式做详细描述。
如图1所示，一种音视频处理系统，包括依次连接的音视频转换模块100、音视频混合模块200、音视频交叉模块300、输出模块400和/或远程传输模块500；
所述音视频转换模块100将输入的视频信号转换为预设格式、预设分辨率的视频数据，输入的音频信号转换为音频数据，将视频数据和音频数据输出到所述音视频混合模块200；所述音视频混合模块200在所述视频数据行消隐区内插入所述音频数据得到音视频数据，将所述音视频数据转化为串行化数据并输出到所述音视频交叉模块300；所述音视频交叉模块300对所述串行化数据进行交叉；所述输出模块400将交叉后的数据进行输出，或者所述远程传输模块500将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
输入的音视频信号一般分为2类，一类是如SDI(Serial Digital Interface，数字串行接口)类的信号，信号本身就集成了音视频，另外一类是如DVI(DigitalVisual Interface，数字视频接口)信号，音视频是分开传输的。对于第一类信号，例如DP(Display Port，显示端口)信号、HDMI(High Definition MultimediaInterface，高清晰度多媒体接口)信号、SDI(Serial Digital Interface，数字串行接口)信号和IP(Internet Protocol，网络之间互连的协议)信号等，可以采用现有的功能模块进行音视频分离与解码。解码出来后的音频信号采用I2S(Inter—ICSound，集成电路内置音频总线)的方式输入到音视频转换模块100，解码出来的视频信号采用数字并行方式输入到音视频转换模块100。对于第二类信号，可以采用现有解码模块对视频信号进行解码；音频信号是单独从音频线缆传输过来，可以通过现有的AD(模数)转换芯片对信号进行采样，例如统一使用48k(千赫兹)采样频率、采用TI的ADAU1979进行AD采样。
由于前端信号源的差异，音视频转换模块100需要对上述两类信号解码出来的视频信号进行缩放处理，例如将视频信号分辨率统一转换为1080p(Progressive scan，逐行扫描)。不同的解码芯片输出的数字信号也会有区别，例如有些为YCbCr 4:4:4，或者YCbCr4:2:0，或者是RGB(Red Green Blue，红绿蓝)格式的，音视频转换模块100还需要对视频信号进行格式化，都统一处理成预设格式，例如RGB格式，方便后续传输处理。
在音频数据量统计公式中，每秒数据量(bit)＝采样频率×采样位数×声道数，以44.1KHZ(千赫兹)的采样率、立体声、16位的数字音频为例，每秒的数据量＝44.1k×16×2＝1411.2kb(千字节)，大约是1.4Mbps(兆比特每秒)。而视频的数据量是非常巨大的，我们以1080p60HZ，色深24bit的视频数据为例，每秒的数据量＝1920*1080*24*60＝2.78Gbps。把每秒的音频数据和视频数据对比，1.4Mbps/2.78Gbps＝0.0005036，每秒的音频数据大概是视频数据的万分之5左右。从上面的数据分析可以知道，一般情况下每秒钟的音频数据对比视频数据来说基本可以忽略不计。
CVT(清晰视频)标准行同步宽度最少都有32pixels(像素)，每行时间最大21.1us(微秒)，VESA(Video Electronics Standards Association，视频电子标准协会)标准里面规定的行同步宽度都会大于32pixels。每一毫秒可传输1000/21.1*54≈2430Byte(数据包有效数据的长度为54Byte)，其它分辨率格式可利用的带宽会更高。48kHz的音频数据量：48*1000*24*2/8＝576000*2＝288000Byte/s，每毫秒的数据量：576Byte*2＝288Byte，该数据量远小于2430Byte，可见在视频行间插入音频数据时可行的。音视频混合模块200将音频数据插入到视频数据的行消隐期内，能解决高速serdes(串行器/解串器)通道带宽限制的问题，又能达到一种很好的音视频同步的效果。
如图2所示，为在视频数据行消隐区插入音频数据的示意图。Clk为像素时钟，VS为场同步信号，HS为行同步信号，de为有效显示数据选通信号。HS＝0圈出的区域为行消隐区，音视频混合模块200即将音频数据插入该消隐区。而音频数据涉及到采样率、声道模式、具体是哪一路的音频等音频参数，因此需要预先设定音频数据的传输协议包。定义的预设传输协议包包括音频包头和音频包体，各部分包含内容如下：
Package Mark1[15:0]表示数据包标示位，具体值为0xD55D；PackageMark2[15:0]表示数据包标示位，具体值为0x5DD5。Audio Bit Rate[15:12]表示音频的位率，0011＝48KHz，其他暂时不定义，有应用时再定义。Audio Mode[9:8]表示声道模式，00＝立体声Stereo；01＝Joint Stereo(联合立体声)；10＝双声道；11＝单声道。双声道时左右声道的数据按顺序排列发送，D0、D1、D2、D3、D4、D5，偶数个是左声道的数据，奇数个是右声道的数据。Audio ExMode[11:10]表示扩展声道模式，暂时保留。Package Series[7:4]表示发送数据包计数器。Package Type[3:0]表示数据包类型，4'h1＝24bit音频数据，4'h2＝16bit音频数据，其它暂时保留。Card Addr[15:12]表示板卡号，指示这个数据包属于哪一块板卡的数据。Channel Addr[11:8]表示通道号，指示这个数据包属于哪一个通道的数据。Package Length[11:8]表示数据包长度(单位Byte)。音频包体用于存放音频数据。根据行同步的宽度，每个音频数据包的大小定义在28*16bit＝56Byte＝8Byte+48Byte。
音视频转换模块100将视频数据和音频数据传输到音视频混合模块200，如图3所示，音视频混合模块200可以包括：
数据写入单元210，用于将当前接收的音频数据并行化并写入缓存，所述音频数据的音频参数写入寄存器；
数据处理单元220，用于在当前接收的视频数据到达行消隐区时，将从缓存中读取的音频数据和从寄存器中读取的相应的音频参数按照预设传输协议包进行打包，将打包的数据插入所述行消隐区，得到带有音频数据的混合数据，这样既不会占用多余的数据带宽；在当前接收的视频数据到达行有效区时，通过数据处理得到有效的混合数据。
音视频混合模块200得到音视频数据后，为方便传输，将该音视频数据进行串行化处理，然后将串行化数据通过高速的serdes对传入到音视频交叉模块300，音视频交叉模块300对串行化数据进行交叉。如图4所示，所述音视频交叉模块300可以包括CPU(Central Processing Unit，中央处理器)系统310，分别与所述CPU系统310相连的交叉单元320、系统时钟单元330、串口驱动通信单元340、以太网通信单元350，分别与所述系统时钟单元330相连的时钟驱动单元360、同步驱动单元370，用于给所述音视频交叉模块300各单元提供电源的电源单元380。
图4中每一个INPUT由一对serdes组成，每对serdes信号包含了一路视频数据和相对应的音频数据。交叉单元320可以采用现有技术中已有的交叉模块实现。图4实例的交叉单元320可以实现72路serdes的交叉，在该交叉单元320内部进行48路的交叉，同时还预留16路INPUT和OUTPUT作为扩展系统或者对外输出使用。系统时钟单元330主要实现系统时钟的热备份互锁，同时经时钟驱动单元360后送到各单板；行同步、场同步等信号的产生，并接收外同步信号，同时经同步驱动单元370后送到各单板。以太网通信单元350主要完成系统控制板与其它各单板的以太网通信控制及与网管接口的以太网通信控制等。串口驱动通信单元340输出一路串口通信控制，用来进行底层调试。CPU系统310主要完成整个音视频交叉模块300的配置、控制、告警上报等。电源单元380主要用于给所述音视频交叉模块300各单元提供电源，保证各单元正常工作。
音视频交叉模块300得到的交叉数据可以直接通过输出模块400进行输出，从而按照用户的需求现场调度音视频输出数据；也可以通过远程传输模块500将交叉后的数据IP化，通过现有网络传输到接收端进行显示与播放，实现音视频输出数据的远程调度。音视频数据到达接收端时，需要将其拆分。首先将串行化混合音视频帧进行解串，去除传输过程中的控制包等数据，获得一帧完整的音视频混合帧。然后读取相关数据，判断其是否在行消隐区，若在行消隐区，则可以获取音频数据包，并按照音频传输包协议获取音频数据，通过对音频数据处理后可以输出；如果在行有效区，则读取视频数据，并填充行消隐区数据，然后对视频数据进行帧缓存、去隔行和缩放等处理，最后将视频数据输出。
如图5所示，所述远程传输模块500可以包括格式转换单元510、CPU系统单元520。所述格式转换单元510将交叉后的数据，如图5中所示INPUT端口8路X8高速串行信号，进行解串、缩放、合成，得到RGB格式信号，如8路RGB 24格式信号，将RGB格式信号输出到CPU系统单元520。所述CPU系统单元520将所述RGB格式信号编码为预设格式的码流，如标准H.264BP(Basic Profile，低档)/MP(Main Profile，中档)/HP(High Profile，高档)码流，通过其以太网接口将编码后的数据进行输出，实现数据远程传输和调控。所述CPU系统单元520还用于将所述RGB格式信号编码为TMDS(过渡调制差分信号)信号和VGA(Video Graphics Array，视频图形阵列)信号，将所述TMDS信号和VGA信号通过其DVI(Digital Visual Interface，数字视频接口)，如DVI-I接口，直接输出到显示设备进行信号预览。
如图5所示，所述远程传输模块500还可以包括分别与所述格式转换单元510、CPU系统单元520相连的时钟单元530，用于给所述远程传输模块500各单元提供电源的供电电源单元540。时钟单元530和供电电源单元540分别提供整个远程传输模块500必须的电压和时钟。X8高速串行信号OUTPUT端口可以实现高速信号回传，方便实现系统扩展。DVI解码模块主要将TMDS信号进行解码，解码后的TMDS信号送入格式转换单元510和CPU系统单元520，也可以实现网络传输。
如果在现场或异地需要上百路甚至是上千路的音视频进行同时显示播放，通过交叉单元320预留的输入输出端口或远程传输模块500，可以实现系统的本地扩展或异地扩展。本地扩展实现方法为：所述音视频处理系统通过所述交叉单元320预留的输入输出端口，将交叉后的数据传输到新的所述音视频处理系统，实现两个系统或多个系统的本地对接。例如利用图4中交叉单元320预留的16路INPUT和OUTPUT端口，将高速串行信号通过高速线缆传输到另外一个同样的系统，实现两个系统的高速信号对接；若是多套系统的本地对接，则需要一个72*72或者144*144的交叉单元320作为高速信号的中转站，把各个系统连接起来，完成多个系统之间的扩展输出。异地扩展实现的方法为：所述远程传输模块500将编码后的数据通过其高速串行信号输出端口，即X8高速串行信号OUTPUT端口，将音视频信号网络化后，进行输出，输出的数据通过交换机传输到与所述音视频处理系统不同局域网的新的所述音视频处理系统，实现异地系统的扩展。
本发明系统各个模块之前具体强耦合关系，各个模块可单独成一个系统，亦可以通过用户需要进行组成构成整个音视频系统。本发明通过将音频数据插入视频数据行消隐区，节省了带宽；通过音视频传输格式的统一，解决了系统集成设备与厂家调度设备不兼容的问题，并降低了成本；通过本地和异地系统扩展，实现了上千路的音视频数据转换传输和处理。
基于同一发明构思，本发明还提供一种音视频处理方法，下面结合附图对本发明方法的具体实施方式做详细描述。
如图6所示，一种音视频处理方法，包括步骤：
S610、将输入的视频信号转换为预设格式、预设分辨率的视频数据，将输入的音频信号转换为音频数据；例如将视频信号分辨率统一转化为1080p，格式统一转换为RGB格式；
S620、将所述音频数据插入所述视频数据行消隐区内，得到音视频数据，将所述音视频数据转化为串行化数据；
S630、将所述串行化数据进行交叉，将交叉后的数据进行输出，或者将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
一般情况下每秒钟的音频数据对比视频数据来说基本可以忽略不计，所以可以将音频数据插入视频数据一起传输，从而减少带宽。如图7所示，步骤S620中将所述音频数据插入所述视频数据行消隐区内包括：
S621、将当前接收的音频数据并行化并写入缓存，所述音频数据的音频参数写入寄存器，进入步骤S622；
S622、判断当前接收的视频数据是否到达行消隐区，若是，进入步骤S624，否则进入步骤S623；
S623、通过数据处理得到有效的混合数据；
S624、将从缓存中读取的音频数据和从寄存器中读取的相应的音频参数按照预设传输协议包进行打包，将打包的数据插入所述行消隐区，得到带有音频数据的混合数据。
所述预设传输协议包包括音频包头和音频包体，所述音频包头包含：数据包标示位、音频的位率、扩展声道模式、声道模式、数据包计数器、数据包类型、板卡号、通道号、数据包长度。音频包体用于存储音频数据。预设传输协议包具体形式与上述系统相同，在此不予赘述。
为了方便传输，需要将音视频数据进行串行化处理，得到的串行化数据进行交叉后直接输出，实现了现场的任意调度，或者经过格式转化和编码，然后通过网络输出到接收端，实现音视频数据的远程传输和调度。音视频数据到达接收端时，需要将其拆分。首先将串行化混合音视频帧进行解串，去除传输过程中的控制包等数据，获得一帧完整的音视频混合帧。然后读取相关数据，判断其是否在行消隐区，若在行消隐区，则可以获取音频数据包，并按照音频传输包协议获取音频数据，通过对音频数据处理后可以输出；如果在行有效区，则读取视频数据，并填充行消隐区数据，然后对视频数据进行帧缓存、去隔行和缩放等处理，最后将视频数据输出。
本发明方法统一了音视频传输格式，解决了音视频处理设备与调度设备不兼容的问题，提高了音视频播放效果，节省了成本；将音频数据插入视频数据一起传输，减少了传输带宽。
本发明方法其它技术特征与本发明系统相同，在此不予赘述。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种音视频处理系统，其特征在于，包括依次连接的音视频转换模块、音视频混合模块、音视频交叉模块、输出模块和/或远程传输模块；
所述音视频转换模块将输入的视频信号转换为预设格式、预设分辨率的视频数据，输入的音频信号转换为音频数据，将视频数据和音频数据输出到所述音视频混合模块；所述音视频混合模块在所述视频数据行消隐区内插入所述音频数据得到音视频数据，将所述音视频数据转化为串行化数据并输出到所述音视频交叉模块；所述音视频交叉模块对所述串行化数据进行交叉；所述输出模块将交叉后的数据进行输出，或者所述远程传输模块将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
2.根据权利要求1所述的音视频处理系统，其特征在于，所述音视频混合模块包括：
数据写入单元，用于将当前接收的音频数据并行化并写入缓存，所述音频数据的音频参数写入寄存器；
数据处理单元，用于在当前接收的视频数据到达行消隐区时，将从缓存中读取的音频数据和从寄存器中读取的相应的音频参数按照预设传输协议包进行打包，将打包的数据插入所述行消隐区，得到带有音频数据的混合数据；在当前接收的视频数据到达行有效区时，通过数据处理得到有效的混合数据。
3.根据权利要求2所述的音视频处理系统，其特征在于，所述预设传输协议包包括音频包头和音频包体，所述音频包头包含：数据包标示位、音频的位率、扩展声道模式、声道模式、数据包计数器、数据包类型、板卡号、通道号、数据包长度。
4.根据权利要求1所述的音视频处理系统，其特征在于，所述音视频交叉模块包括CPU系统，分别与所述CPU系统相连的交叉单元、系统时钟单元、串口驱动通信单元、以太网通信单元，分别与所述系统时钟单元相连的时钟驱动单元、同步驱动单元，用于给所述音视频交叉模块各单元提供电源的电源单元。
5.根据权利要求1所述的音视频处理系统，其特征在于，所述远程传输模块包括格式转换单元、CPU系统单元，所述格式转换单元将交叉后的数据进行解串、缩放、合成，得到RGB格式信号，将RGB格式信号输出到CPU系统单元；所述CPU系统单元将所述RGB格式信号编码为预设格式的码流，通过其以太网接口将编码后的数据进行输出；所述CPU系统单元还用于将所述RGB格式信号编码为TMDS信号和VGA信号，将所述TMDS信号和VGA信号通过其DVI接口输出到显示设备进行信号预览。
6.根据权利要求5所述的音视频处理系统，其特征在于，所述远程传输模块还包括分别与所述格式转换单元、CPU系统单元相连的时钟单元，用于给所述远程传输模块各单元提供电源的供电电源单元。
7.根据权利要求4所述的音视频处理系统，其特征在于，所述音视频处理系统通过所述交叉单元预留的输入输出端口，将交叉后的数据传输到新的所述音视频处理系统；所述远程传输模块将编码后的数据通过其高速串行信号输出端口进行输出，输出的数据通过交换机传输到与所述音视频处理系统不同局域网的新的所述音视频处理系统。
8.一种音视频处理方法，其特征在于，包括步骤：
将输入的视频信号转换为预设格式、预设分辨率的视频数据，将输入的音频信号转换为音频数据；
将所述音频数据插入所述视频数据行消隐区内，得到音视频数据，将所述音视频数据转化为串行化数据；
将所述串行化数据进行交叉，将交叉后的数据进行输出，或者将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
9.根据权利要求8所述的音视频处理方法，其特征在于，将所述音频数据插入所述视频数据行消隐区内的步骤包括：
将当前接收的音频数据并行化并写入缓存，所述音频数据的音频参数写入寄存器；
判断当前接收的视频数据是否到达行消隐区，若是，则将从缓存中读取的音频数据和从寄存器中读取的相应的音频参数按照预设传输协议包进行打包，将打包的数据插入所述行消隐区，得到带有音频数据的混合数据；否则，通过数据处理得到有效的混合数据。
10.根据权利要求9所述的音视频处理方法，其特征在于，所述预设传输协议包包括音频包头和音频包体，所述音频包头包含：数据包标示位、音频的位率、扩展声道模式、声道模式、数据包计数器、数据包类型、板卡号、通道号、数据包长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410652398.7A CN104349205B (zh) | 2014-11-17 | 2014-11-17 | 音视频处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410652398.7A CN104349205B (zh) | 2014-11-17 | 2014-11-17 | 音视频处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104349205A true CN104349205A (zh) | 2015-02-11 |
| CN104349205B CN104349205B (zh) | 2018-05-22 |
Family
ID=52503875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410652398.7A Expired - Fee Related CN104349205B (zh) | 2014-11-17 | 2014-11-17 | 音视频处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104349205B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111836004A (zh) * | 2019-04-18 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 一种音频数据传输方法、装置、系统及设备 |
| CN113518259A (zh) * | 2021-05-25 | 2021-10-19 | 龙迅半导体（合肥）股份有限公司 | 一种数据处理方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201608820U (zh) * | 2009-12-25 | 2010-10-13 | 康佳集团股份有限公司 | 用于大型led显示屏的音视频控制系统 |
| CN201623792U (zh) * | 2009-12-25 | 2010-11-03 | 康佳集团股份有限公司 | 一种led显示屏音视频控制装置及led显示屏 |
| CN102082951A (zh) * | 2010-12-08 | 2011-06-01 | 广东威创视讯科技股份有限公司 | 一种图像信号的传输方法、装置以及格式化方法、装置 |
| CN102223512A (zh) * | 2011-06-22 | 2011-10-19 | 上海博康智能网络科技有限公司 | 一种支持多格式音视频信号与串口数据转换的系统及方法 |
| CN102811351A (zh) * | 2012-08-29 | 2012-12-05 | 武汉微创光电股份有限公司 | 一种多业务数据传输方法及装置 |
| CN103167260A (zh) * | 2012-11-15 | 2013-06-19 | 浙江大华技术股份有限公司 | 音频数据的发送、接收方法及装置 |
| WO2014082498A1 (zh) * | 2012-11-28 | 2014-06-05 | 中兴通讯股份有限公司 | 音视频信号处理设备、播放设备、系统及方法 |
-
2014
- 2014-11-17 CN CN201410652398.7A patent/CN104349205B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201608820U (zh) * | 2009-12-25 | 2010-10-13 | 康佳集团股份有限公司 | 用于大型led显示屏的音视频控制系统 |
| CN201623792U (zh) * | 2009-12-25 | 2010-11-03 | 康佳集团股份有限公司 | 一种led显示屏音视频控制装置及led显示屏 |
| CN102082951A (zh) * | 2010-12-08 | 2011-06-01 | 广东威创视讯科技股份有限公司 | 一种图像信号的传输方法、装置以及格式化方法、装置 |
| CN102223512A (zh) * | 2011-06-22 | 2011-10-19 | 上海博康智能网络科技有限公司 | 一种支持多格式音视频信号与串口数据转换的系统及方法 |
| CN102811351A (zh) * | 2012-08-29 | 2012-12-05 | 武汉微创光电股份有限公司 | 一种多业务数据传输方法及装置 |
| CN103167260A (zh) * | 2012-11-15 | 2013-06-19 | 浙江大华技术股份有限公司 | 音频数据的发送、接收方法及装置 |
| WO2014082498A1 (zh) * | 2012-11-28 | 2014-06-05 | 中兴通讯股份有限公司 | 音视频信号处理设备、播放设备、系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111836004A (zh) * | 2019-04-18 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 一种音频数据传输方法、装置、系统及设备 |
| CN113518259A (zh) * | 2021-05-25 | 2021-10-19 | 龙迅半导体（合肥）股份有限公司 | 一种数据处理方法及装置 |
| US11722728B2 (en) | 2021-05-25 | 2023-08-08 | Lontium Semiconductor Corporation | Data processing method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104349205B (zh) | 2018-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9930400B2 (en) | Display device, program information display method in display device, receiving device, and signal transmission method in receiving device | |
| CN103903568B (zh) | Led显示屏控制卡 | |
| US8090030B2 (en) | Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface | |
| US9204085B2 (en) | Display apparatus, video signal transmission method for display apparatus, transmitting apparatus, and transmission method of video signal | |
| CN1905655B (zh) | 通过标准视频电缆提供音频 | |
| US20020049879A1 (en) | Cable and connection with integrated DVI and IEEE 1394 capabilities | |
| CN201608820U (zh) | 用于大型led显示屏的音视频控制系统 | |
| CN102254513B (zh) | 一种led显示屏多功能控制系统 | |
| US8804853B2 (en) | Signal extender system and signal extender thereof | |
| CN102497515B (zh) | 一种单路输入多路输出式hdmi分配器装置 | |
| CN102223512B (zh) | 一种支持多格式音视频信号与串口数据转换的系统及方法 | |
| US20140267902A1 (en) | Transmission device and reception device for baseband video data, and transmission/reception system | |
| CN101102487A (zh) | 基于vga和hdmi两种显示模式的视频传输系统及方法 | |
| US20170311030A1 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
| CN104796654A (zh) | 基于fpga实现8lane、16lane mipi信号的方法和装置 | |
| CN104349205A (zh) | 音视频处理方法及系统 | |
| CN107707829A (zh) | 一种基于fpga实现多接口智能sdi视频转换盒的方法 | |
| CN105304001B (zh) | 一种基于serdes的信号扩展盒 | |
| CN105141905A (zh) | 一种拼接墙系统及其实现方法 | |
| TW201444372A (zh) | 用於傳達具有非壓縮視頻的邊帶資料的方法、設備及系統 | |
| CN203313333U (zh) | 兼容多种数据连接接口的数字电视接收机 | |
| CN210225630U (zh) | 音视频传输装置、视频处理装置和多媒体播放装置 | |
| CN101202868B (zh) | 用于多媒体接口的影音数据同步方法及其相关装置 | |
| TW202143707A (zh) | 影音介面之控制訊號傳輸電路及控制訊號接收電路 | |
| KR20150085725A (ko) | 링크 신호 동기화 회로 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180522 Termination date: 20211117 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |