CN102104582A - 一种多路实时多媒体流共享通道的传输控制协议与方法 - Google Patents

Abstract

本发明公开了一种利用同一高速数字通道同时传输多路实时多媒体数据流的通信控制协议与方法。现有的传输通道，例如复合视频(CVBS)、S-Video、SDI、VGA、DVI等信号线，均采用在行同步和场同步控制下逐点扫描传送图像的方法，而本发明则是在发送端将实时图像和实时语音回放时所需要的模式控制参数，例如点频、行同步、场同步、语音采样频率等信息采集出来，并封装成控制信息包，图像数据和语音数据也分别封装成图像数据包和语音数据包，并在这三种数据包上加上媒体流标识码后由同一数字通道发给接收端，接收端就可根据这三种数据包按原模式或新指定的模式恢复出多路实时媒体流出来，从而实现同一数字传输通道内同时传送多路实时图像或实时语音。

Description

一种多路实时多媒体流共享通道的传输控制协议与方法

技术领域

本发明涉及一种数字传输控制协议，特别涉及一种利用同一高速数字通道同时传输多路实时多媒体数据流的传输控制协议与方法。

背景技术

实时多媒体流是指电视视频图像，计算机实时显示图像，实时音频等多媒体信号。

传输通道是指实时多媒体信号的传送通道，实时视频图像常见的传输通道有复合视频(CVBS)、S-Video、YPbPr、HDMI、SD-SDI、HD-SDI等信号的连接电缆，计算机实时图像的传输通道主要有VGA、DVI、DisplayPort等信号线。这些传输通道的基本工作原理是将图像流按帧在场同步和行同步信号的控制下逐点由发送端通过相应的连接电缆输送到接收端，如图1中(102)所示。

实时图像发送端是指摄像头，DVD播放机，计算机的显示卡等图像源设备，如图1中(101)所示；实时图像接收端是指监视器，电视机，显示器，图像采集卡等图像接收设备，如图1中(103)所示。

上述几种图像的传输方式有几个个基本的共同点：一是一根传送电缆只能传输一路实时图像流；二是单向传输，即只能由发送端传输到接收端；三是实时图像的发送模式均为通过行同步(H)和场同步(V)信号控制下逐点扫描发送图像。

现有的实时图像流，例如电视视频图像和计算机显示卡的输出图像，都是按场同步发送和显示的，每秒扫描刷新若干幅图像，每一幅图像称为一帧图像或一个图像帧，这些连续的图像帧利用人眼的视觉暂留现象产生连续活动影像，通常在每秒24帧以上，例如计算机实时显示输出一般是每秒刷新60帧，72帧或85帧，等等。计算机显示输出的图像通常是一次刷新一幅完整的图像，称之为逐行扫描。而电视视频图像通常是采用隔行扫描的方式，即将一帧图像分两次扫描完成，第一次只扫描图像中的奇数行，称为奇数场；第二次只扫描偶数行，称为偶数场，例如PAL制电视信号就是每秒刷新50场，传送25帧图像。

图2中所示的是一个扫描场的示意图及其相关控制参数。图2中(201)表示行同步脉冲信号，每当行脉冲的上升沿，扫描线开始由左向右按固定的速率逐点扫描图像，扫描图像点的速率称之为点频，如图3中(301)所示，扫描线扫描完一行图像后会在行同步(H)信号的控制下自动回到图像的左边起始点开始下一行扫描线的扫描，每当扫描完最后一条扫描线后会在场同步(V)信号的控制下自动回到图像的左上角第一条扫描线的起始位置，图2中(202)表示场同步(V)信号。

图3中所示的是与一条扫描线相关的信号的时序图。图2中(301)是图像行中像素点扫描的时钟信号，即点频(CLK)。图3中(302)、(303)、(304)分别表示红(R)、绿(G)、蓝(B)三种图像像素的色彩信号。图3中(305)表示图像色彩数据有效的信号，当数据有效(DE)信号为高电平时表示红(R)、绿(G)、蓝(B)三个数据线上的数据是有效的图像数据，否则为无效的数据。图3中(306)表示行同步(H)信号，行同步(H)信号是一个固定频率的脉冲信号，行同步信号的每两个连续的上升沿之间的宽度表示一条扫描线的宽度，如图3中所示的(311)。由于早期的图像显示采用的是阴极射线管(CRT)，电子束在扫描完一行后回到下一行的起点需要一定的时间，在此期间需要关闭电子束，不显示图像，因此称为行消隐期，即图3中所示的(308)。由于扫描线的尾部亦不能正常显示图像，这一段扫描线不能传送有效图像，如图3中(310)，称之为行尾无图像宽度。由图3可以看出，一条扫描线只有在数据有效(DE)信号为高的时候才能传输有效的图像数据，即图3中(309)所示。

图4中所示的为一个场同步周期期间行同步(H)与场同步(V)等信号的时序关系图。图4中(401)、(402)和(403)分别为红色(R)、绿色(G)和蓝色(B)三种色彩数据信号，(404)表示行同步(H)信号，(405)表示场同步(V)信号。每一场的开始有若干不能传送有效图像数据的扫描线，称之为场消隐期，即图4中的(407)。每一场的尾部若干行亦不能传送有效图像数据，称之为场尾无效行数，即图4中的(409)。在一个完整的场扫描期间(410)，能够传送有效图像的扫描行为有效扫描行数，即图4中的(408)。

计算机显示输出图像一般采用红绿蓝(RGB)三色描述一个像素点的色彩与亮度，而电视视频图像一般采用亮度(Y)、红色色差(Cr)和蓝色色差(Cb)来描述图像的像素。对于计算机显示输出一般每个像素均传送R、G和B三个值。而电视视频图像为了压缩带宽，通常每两个像素仅传送两个Y信号，一个Cr和一个Cb信号，这种模式称为4:2:2；如果每个像素均发送Y、Cb和Cr这三个值，则称为4:4:4模式。扫描图像中传送的这些色彩分量一般采用6位、8位、10位、12位和16位等几种二进制数值表示。

上述所描述的是实时图像的传输方式，没有包含语音的传输方式，例如复合视频信号(CVBS)、VGA、DVI等传输通道只能传输实时图像。相对于图像数据，语音数据的数据量较小，可以插入到实时图像的行消隐和场消隐期间，利用这些不传输有效图像数据的空间来传送语音数据，例如SDI通道和HDMI通道就是利用行与场的消隐期来传送语音数据的。

发明内容

实时图像流的工作原理核心是单位时间内在行同步和场同步等信号的控制下刷新若干幅图像，其传输模式的特征可以通过表1内的15个参数描述出来。

表1实时图像传输模式控制参数

序号	参数名称	说明
			1	点频	此数据项标识实时图像扫描像素的频率，在一个确定图像模式下是一个固定频率脉冲信号。
2	行频	此项数据表示实时图像的扫描线的扫描频率，点频是行频的整数倍，该倍数为扫描线上的像素点个数。
			3	场频	此数据项代表实时图像每秒刷新图像的场次。
4	是否隔行扫描	标识出实时图像是否为隔行扫描。
			5	行脉冲高位宽度	行脉冲为高时点频的脉冲个数。

6	场脉冲高位宽度	场脉冲为高时扫描行的个数。
			7	扫描线长度	一条扫描线中像素点的个数。
8	扫描线行数	一个扫描场中扫描线的条数。
			9	有效图像行宽度	扫描线中有效图像的像素个数。
10	有效图像行数	一场扫描中具有有效图像的扫描线的条数。
			11	有效图像起始列号	有效图像左上角第一个有效像素点的距离扫描起始点的像素个数。
12	有效图像起始行号	第一条扫描线到第一条包含有效图像的扫描线之间的扫描线条数。
			13	色彩格式	像素点采用RGB还是YCbCr描述颜色。
14	色彩位数	色彩分量：R、G、B、Y、Cb、Cr等数据值的二进制位数。
			15	444或422格式	采用4:4:4模式还是4:2:2模式传输色彩数据

描述一个实时语音流的传输模式参数为：语音声道数、语音采样频率、语音编码格式和语音流与实时图像的同步播放方式。这4项语音传输播放控制参数的具体说明见表2。

表2实时语音传输模式控制参数

序号	参数名称	说明
			1	语音声道数	常用语音流为单声道，双声道(立体声)和多声道(环绕立体声)等。
2	语音采样频率	语音采集处理实时的采用频率，回放是也要按这一频率输出数据。
			3	语音编码格式	此数据项表示采样的语音数据的个数及位宽等信息。
4	语音流同步方式	标识出此语音流是否需要与相伴的实时图像同步播放及同步播放的方式。

现有的几种传输模式，一个通道只能传输一路实时图像，而这一实时图像根据图像分辨率，刷新次数等参数的不同所确定的点频，行频，场频等参数是固定不变的，相关参数见图2、图3和图4中的说明。在一条扫描行的行消隐期(308)和行尾无图像宽度(310)，一场的场消隐期(407)和场尾无效行数(409)四个期间内是不能传送图像数据的，因而通道的利用率只有80％左右。

目前有几种通信传输通道可以实现很高的传输速率，例如光纤、同轴电缆、双绞线以及印刷线路板上的差分线对，等等，可以达到几个G或十几个G的位传输速率(1G＝1000,000,000)。例如DVI和HDMI就是采用高速差分线对，一对差分线对的速率可达到1.65Gbps(bps为每秒传输的二进制位率)，HD-SDI是利用75欧姆电缆传输，其速率可达到2.97Gbps。这种高速的传输通道，只要其带宽足够的高，就可以支持多路实时图像流在同一通道内传输。

为实现一个传输通道传输多路实时图像并提高通道利用率，本发明首先是取消了实时图像在行同步和场同步的控制下逐点扫描传输的工作方式，而是采用数据包方式传输，即在传输通道内不再实时传输场同步(H)和行同步(V)等信号，而只是传送一个个数据包。

其次是本发明将传输的数据包分为三类，即图像数据包、语音数据包和控制信息包三种数据包。每一个数据包内均含有一个实时多媒体流标识号的数据项，此项数据区分出不同的实时媒体流，因此，在同一通道内可传输多路实时图像，实时语音等多媒体数据流。

三种数据包的内容与格式分别见表3，表4和表5。这三种数据包的数据项均采用8位宽或8的倍数位宽数据。8位宽数据相当于计算机数据处理时的一个字节(Byte)，这样便于处理和传输。

表3图像数据包

序号	名称	位宽	地址	标识符	用途与说明
						1	多媒体流标识号	8	00h	STN	用于标识实时图像流、实时语音流等多媒体数据流，区分此数据包属于哪一个媒体流。
2	数据包类型号	8	01h	STP	用于标识本数据包的类型，标识出该数据包为图像数据包。
						3	有效图像行号	16	02h	GRN	此图像数据包内的图像数据的有效图像行的行号
4	图像行起始列位置	16	04h	GCN	标识出此图像数据在图像行中的起始位置
						5	图像行数据长度	16	06h	GLN	此数据包内图像行数据的长度
6	CRC	32	08h	CRC	此数据包内头5项数据的校验码，用于保证此前5项数据的正确性。

7

图像数据

0Ch

GDT

需要传送的有效图像数据，其数据格式有控制信息包内的相关数据确定。这些图像数据没有CRC校验码。

图像数据包是用于封装和传输实时扫描图像帧中的一行图像数据或一行中的一段图像数据。由表3可以看出，此数据包的第1项是一个8位的多媒体流标识号，用于标识此数据包内的图像段数据是属于哪一个实时媒体流。第2项是数据包类型号，标识出此数据包为图像数据包。第3、4、5项标识出此图像数据包的图像数据的行列号及数据长度。第6项为32位的CRC数据校验码，用于校验前5项数据的正确性。第7项位图像段的像素数据，该数据的位长及格式由控制信息包的相关数据确定。

表4语音数据包

序号	名称	位宽	地址	标识符	用途与说明
						1	多媒体流标识号	8	00h	STN	用于标识实时图像流、实时语音流等多媒体数据流，区分此数据包属于哪一个媒体流。
2	数据包类型号	8	01h	STP	用于标识本数据包的类型，标识出该数据包为语音数据包。
						3	语音声道号	8	02h	ADN	标识出此语音数据包内的语音数据属于哪一个声道。
4	语音数据长度	16	03h	ALN	此语音数据包内的语音数据长度。
						5	CRC	32	05h	CRC	CRC仅校验此数据包内前4项数据的正确性。
6	语音数据		09h	ADT	需要发送的语音数据，其数据格式有控制信息包内的相关数据项确定。该语音数据没有CRC校验码。

语音数据包用于封装和传送实时语音数据。该数据包的第1、2项分别为多媒体流标识号和数据包类型号。语音数据是按语音的声道号来区分语音流的，即表4中的第3项，立体声至少有2声道的语音，有效环绕立体声具有4路以上的声道。第4项为此数据包内的语音数据长度。第5项为以上4项数据的32位CRC校验码。第6项为语音数据，数据的格式由控制信息包内的相关数据项确定。

表5控制信息包

由前述可知，目前常用的实时图像流，例如电视视频信号和计算机显示输出图像，均可通过表1中的15项参数描述出来，见表1，而且这15项参数对于一个确定的实时图像传输模式来说是固定不变的，因此只需将这15项参数传给图像接收处理器，图像接收处理器就可以根据这些传输复原出实时图像输出流。

描述一个实时语音流的传输播放控制参数有4项，具体见表2。

利用上述15项实时图像描述参数和4项实时语音描述参数就可准确恢复一路实时多媒体数据流。因此，在采集处理实时图像和实时语音时将这19项数据采集出来，发送给接收方，接收方就可根据这些传输恢复出相同的实时图像流和实时语音流。

控制信息包中的数据内容和数据格式如表5中所描述，其第1、2项表示此控制信息包属于哪一个实时媒体流。表5中第3-21项为输入实时图像与语音的控制参数。表4中第22-40项为发送端向接收端指定的实时图像与语音的恢复模式参数，通过这一部分传输可实现图像与语音的模式转换。

表5中第41项为此数据包前40项数据的CRC校验码，用于保证此数据包的正确性。

利用这三种类型是数据包，就可以实现在同一传输通道中传送多路实时多媒体数据流，如图5所示，传输通道上传送的是3种类型的数据包，数据包之间利用空闲信号进行分隔，如图5中(504)所示。图5中(501)、(502)、(503)分别为图像数据包、控制信息包和语音数据包。

这样，多路实时媒体流的传输就变成了数据包的传输。数据包的传输主要有两种方式，即并行数据线方式和串行数据线方式。图6中所示的是采用并行数据线方式传送上述三种数据包的电路连接图，图中(601)为数据包发送芯片，(602)为数据包接收芯片，(602)为并行数据线，数据线的数量可根据需要采用8数据线，16位数据线或32位数据线等等，(604)为时钟信号，(605)为数据有效信号(DE)，当DE为高时表示此时数据线上的数据有效，正在传输一个数据包，当DE为低时表示此时数据线为空闲状态，无数据包传送。图7所示的是并行数据线方式的信号示意图。

由于并行数据线方式采用的数据线数目较多，一般用于同一印刷线路板内芯片之间的连接和数据包传输，但对于印刷线路板之间或机箱之间的连接，一般需要采用串行数据线方式连接。

对于串行数据线方式连接，实际上是图像发送端将并行处理后的数据包再进一步进行编码和并-串转换等处理而得到串行输出，其处理过程如图8所示。接收端则进行反向处理，其过程如图9所示。

由图8可以看出，其输入信号与并行数据线传送方式的传输信号是相同的，见图6。并行数据线上的8位数据首先进入一个8B-10B编码器，即图中(804)所示，将8位的数据变换成10位的数据。变换后的10位编码与8位数据一一对应，这些10位的编码具有两个重要特性，一是具有直流平衡的特性，也就是说经过这些10位编码的数据其“0”与“1”的个数基本相同；二是经8B-10B编码后的数据还有另外一个特征，就是接收端可以直接从数据流中恢复出时钟信号，因而无需另外发送时钟同步信号，具体8B-10B编码表见表6。编码后的10位数据流再经过一个并-串转换器，见图8中(807)，就产生一路串行数据流，此数据流再经过一个线路驱动就可以发送出去。当线路空闲或数据包之间的分隔，一般发送采用8B-10B编码中的K字符，例如K28.5，可选用的K字符表见表7。

根据传输线路介质的不同，应该采用不同的线路驱动电路，例如如果采用同轴电缆，则采用同轴电缆驱动芯片；如果采用光纤，则需要选用光纤驱动器。

表68B-10B编码数据转换表

名称	8位二进制值	10位二进制值	名称	8位二进制值	10位二进制值
						D0.0	00000000	1001110100	D0.4	10000000	1001110010
D1.0	00000001	0111010100	D1.4	10000001	0111010010
						D2.0	00000010	1011010100	D2.4	10000010	1011010010
D3.0	00000011	1100011011	D3.4	10000011	1100011101
						D4.0	00000100	1101010100	D4.4	10000100	1101010010
D5.0	00000101	1010011011	D5.4	10000101	1010011101
						D6.0	00000110	0110011011	D6.4	10000110	0110011101
D7.0	00000111	1110001011	D7.4	10000111	1110001101
						D8.0	00001000	1110010100	D8.4	10001000	1110010010
D9.0	00001001	1001011011	D9.4	10001001	1001011101
						D10.0	00001010	0101011011	D10.4	10001010	0101011101
D11.0	00001011	1101001011	D11.4	10001011	1101001101
						D12.0	00001100	0011011011	D12.4	10001100	0011011101
D13.0	00001101	1011001011	D13.4	10001101	1011001101

D14.0	00001110	0111001011	D14.4	10001110	0111001101
						D15.0	00001111	0101110100	D15.4	10001111	0101110010
D16.0	00010000	0110110100	D16.4	10010000	0110110010
						D17.0	00010001	1000111011	D17.4	10010001	1000111101
D18.0	00010010	0100111011	D18.4	10010010	0100111101
						D19.0	00010011	1100101011	D19.4	10010011	1100101101
D20.0	00010100	0010111011	D20.4	10010100	0010111101
						D21.0	00010101	1010101011	D21.4	10010101	1010101101
D22.0	00010110	0110101011	D22.4	10010110	0110101101
						D23.0	00010111	1110100100	D23.4	10010111	1110100010
D24.0	00011000	1100110100	D24.4	10011000	1100110010
						D25.0	00011001	1001101011	D25.4	10011001	1001101101
D26.0	00011010	0101101011	D26.4	10011010	0101101101
						D27.0	00011011	1101100100	D27.4	10011011	1101100010
D28.0	00011100	0011101011	D28.4	10011100	0011101101
						D29.0	00011101	1011100100	D29.4	10011101	1011100010
D30.0	00011110	0111100100	D30.4	10011110	0111100010
						D31.0	00011111	1010110100	D31.4	10011111	1010110010
D0.1	00100000	1001111001	D0.5	10100000	1001111010
						D1.1	00100001	0111011001	D1.5	10100001	0111011010
D2.1	00100010	1011011001	D2.5	10100010	1011011010
						D3.1	00100011	1100011001	D3.5	10100011	1100011010
D4.1	00100100	1101011001	D4.5	10100100	1101011010
						D5.1	00100101	1010011001	D5.5	10100101	1010011010

D6.1	00100110	0110011001	D6.5	10100110	0110011010
						D7.1	00100111	1110001001	D7.5	10100111	1110001010
D8.1	00101000	1110011001	D8.5	10101000	1110011010
						D9.1	00101001	1001011001	D9.5	10101001	1001011010
D10.1	00101010	0101011001	D10.5	10101010	0101011010
						D11.1	00101011	1101001001	D11.5	10101011	1101001010
D12.1	00101100	0011011001	D12.5	10101100	0011011010
						D13.1	00101101	1011001001	D13.5	10101101	1011001010
D14.1	00101110	0111001001	D14.5	10101110	0111001010
						D15.1	00101111	0101111001	D15.5	10101111	0101111010
D16.1	00110000	0110111001	D16.5	10110000	0110111010
						D17.1	00110001	1000111001	D17.5	10110001	1000111010
D18.1	00110010	0100111001	D18.5	10110010	0100111010
						D19.1	00110011	1100101001	D19.5	10110011	1100101010
D20.1	00110100	0010111001	D20.5	10110100	0010111010
						D21.1	00110101	1010101001	D21.5	10110101	1010101010
D22.1	00110110	0110101001	D22.5	10110110	0110101010
						D23.1	00110111	1110101001	D23.5	10110111	1110101010
D24.1	00111000	1100111001	D24.5	10111000	1100111010
						D25.1	00111001	1001101001	D25.5	10111001	1001101010
D26.1	00111010	0101101001	D26.5	10111010	0101101010
						D27.1	00111011	1101101001	D27.5	10111011	1101101010
D28.1	00111100	0011101001	D28.5	10111100	0011101010
						D29.1	00111101	1011101001	D29.5	10111101	1011101010

D30.1	00111110	0111101001	D30.5	10111110	0111101010
						D31.1	00111111	1010111001	D31.5	10111111	1010111010
D0.2	01000000	1001110101	D0.6	11000000	1001110110
						D1.2	01000001	0111010101	D1.6	11000001	0111010110
D2.2	01000010	1011010101	D2.6	11000010	1011010110
						D3.2	01000011	1100010101	D3.6	11000011	1100010110
D4.2	01000100	1101010101	D4.6	11000100	1101010110
						D5.2	01000101	1010010101	D5.6	11000101	1010010110
D6.2	01000110	0110010101	D6.6	11000110	0110010110
						D7.2	01000111	1110000101	D7.6	11000111	1110000110
D8.2	01001000	1110010101	D8.6	11001000	1110010110
						D9.2	01001001	1001010101	D9.6	11001001	1001010110
D10.2	01001010	0101010101	D10.6	11001010	0101010110
						D11.2	01001011	1101000101	D11.6	11001011	1101000110
D12.2	01001100	0011010101	D12.6	11001100	0011010110
						D13.2	01001101	1011000101	D13.6	11001101	1011000110
D14.2	01001110	0111000101	D14.6	11001110	0111000110
						D15.2	01001111	0101110101	D15.6	11001111	0101110110
D16.2	01010000	0110110101	D16.6	11010000	0110110110
						D17.2	01010001	1000110101	D17.6	11010001	1000110110
D18.2	01010010	0100110101	D18.6	11010010	0100110110
						D19.2	01010011	1100100101	D19.6	11010011	1100100110
D20.2	01010100	0010110101	D20.6	11010100	0010110110
						D21.2	01010101	1010100101	D21.6	11010101	1010100110

D22.2	01010110	0110100101	D22.6	11010110	0110100110
						D23.2	01010111	1110100101	D23.6	11010111	1110100110
D24.2	01011000	1100110101	D24.6	11011000	1100110110
						D25.2	01011001	1001100101	D25.6	11011001	1001100110
D26.2	01011010	0101100101	D26.6	11011010	0101100110
						D27.2	01011011	1101100101	D27.6	11011011	1101100110
D28.2	01011100	0011100101	D28.6	11011100	0011100110
						D29.2	01011101	1011100101	D29.6	11011101	1011100110
D30.2	01011110	0111100101	D30.6	11011110	0111100110
						D31.2	01011111	1010110101	D31.6	11011111	1010110110
D0.3	01100000	1001110011	D0.7	11100000	1001110001
						D1.3	01100001	0111010011	D1.7	11100001	0111010001
D2.3	01100010	1011010011	D2.7	11100010	1011010001
						D3.3	01100011	1100011100	D3.7	11100011	1100011110
D4.3	01100100	1101010011	D4.7	11100100	1101010001
						D5.3	01100101	1010011100	D5.7	11100101	1010011110
D6.3	01100110	0110011100	D6.7	11100110	0110011110
						D7.3	01100111	1110001100	D7.7	11100111	1110001110
D8.3	01101000	1110010011	D8.7	11101000	1110010001
						D9.3	01101001	1001011100	D9.7	11101001	1001011110
D10.3	01101010	0101011100	D10.7	11101010	0101011110
						D11.3	01101011	1101001100	D11.7	11101011	1101001110
D12.3	01101100	0011011100	D12.7	11101100	0011011110
						D13.3	01101101	1011001100	D13.7	11101101	1011001110

D14.3	01101110	0111001100	D14.7	11101110	0111001110
						D15.3	01101111	0101110011	D15.7	11101111	0101110001
D16.3	01110000	0110110011	D16.7	11110000	0110110001
						D17.3	01110001	1000111100	D17.7	11110001	1000110111
D18.3	01110010	0100111100	D18.7	11110010	0100110111
						D19.3	01110011	1100101100	D19.7	11110011	1100101110
D20.3	01110100	0010111100	D20.7	11110100	0010110111
						D21.3	01110101	1010101100	D21.7	11110101	1010101110
D22.3	01110110	0110101100	D22.7	11110110	0110101110
						D23.3	01110111	1110100011	D23.7	11110111	1110100001
D24.3	01111000	1100110011	D24.7	11111000	1100110001
						D25.3	01111001	1001101100	D25.7	11111001	1001101110
D26.3	01111010	0101101100	D26.7	11111010	0101101110
						D27.3	01111011	1101100011	D27.7	11111011	1101100001
D28.3	01111100	0011101100	D28.7	11111100	0011101110
						D29.3	01111101	1011100011	D29.7	11111101	1011100001
D30.3	01111110	0111100011	D30.7	11111110	0111100001
						D31.3	01111111	1010110011	D31.7	11111111	1010110001

表78B-10B编码K字符表

名称	8位二进制值	10位二进制值
			K28.0	00011100	0011110100
K28.1	00111100	0011111001
			K28.2	01011100	0011110101
K28.3	01111100	0011110011
			K28.4	10011100	0011110010
K28.5	10111100	0011111010
			K28.6	11011100	0011110110
K28.7	11111100	0011111000
			K23.7	11110111	1110101000
K27.7	11111011	1101101000
			K29.7	11111101	1011101000
K30.7	11111110	0111101000

图9所示的是串行通道的接收处理部分，这部分的处理正好是与图8处理的相反过程。

图说明

图1说明

图1所示的为实时图像的发送端与接收端之间的连接图，图中：(101)实时图像发送设备；(102)实时图像的传输连接电缆；(103)实时图像接收设备。

图2说明

图2所示的为实时图像的一个扫描场及控制参数，图中：(201)行脉冲信号；(202)场脉冲信号；(203)扫描线的扫描范围；(204)有效图像的扫描区域范围；(205)一个行同步信号的周期宽度；(206)行同步脉冲高位的宽度；(207)扫描起始点与有效图像起始点之间的列宽；(208)一个场同步信号的周期宽度；(209)场同步脉冲高位的宽度；(210)扫描起始点与有效图像起始点之间的行宽；(211)扫描行的宽度；(212)有效图像行的宽度；(213)扫描行数；(214)有效图像行数。

图3说明

图3所示的为一条图像扫描线的时序图，图中：(301)点频时钟信号；(302)图像数据的红色信号；(303)图像数据的绿色信号；(304)图像数据的蓝色信号；(305)数据有效信号；(306)行同步信号；(307)行同步信号的高位宽度；(308)行消隐期宽度；(309)有效图像行宽度；(310)行尾无图像宽度；(311)行同步周期宽度。

图4说明

图4所示的为实时图像的一个扫描场时序图，图中：(401)图像数据的红色信号；(402)图像数据的绿色信号；(403)图像数据的蓝色信号；(404)行同步信号；(405)场同步信号；(406)场同步信号的高位宽度；(407)场消隐期宽度；(408)有效图像行数；(409)场尾无图像行数；(410)场同步周期宽度。

图5说明

图5所示的为多路媒体流共享通道数据包流，图中：(501)图像数据包；(502)控制信息包；(503)语音数据包；(504)线路空闲状态。

图6说明

图6所示的为数据包在并行数据线上传输的连接示意图，图中：(601)数据包发送芯片；(602)并行数据线；(603)数据包接收芯片；(604)数据有效信号；(605)时钟信号。

图7说明

图7所示的为数据包采用并行数据线发送时的时序图，图中：(701)时钟信号；(702)并行数据信号；(703)数据有效信号；(704)数据有效期间；(705)数据无效期间；(706)数据有效期间；(707)数据无效期间；(708)数据有效期间。

图8说明

图8所示的为发送线路处理单元，图中：(801)8位输入数据线信号；(802)数据有效信号；(803)时钟信号；(804)8B-10B编码数据转换逻辑单元；(805)10位输出数据线信号；(806)时钟信号；(807)并行数据转串行数字逻辑单元；(808)串行数据线输出信号；(809)输出驱动电路；(810)输出连接电缆。

图9说明

图9所示的为接收线路处理单元，图中：(901)串行数据输入信号；(902)接收适配电路；(903)串行输入数据线；(904)时钟恢复与串行-并行数据转换处理逻辑；(905)10位数据线；(906)时钟信号；(907)10B-8B编码数据转换处理逻辑；(908)8位数据线；(909)数据有效信号；(910)时钟信号。

图10说明

图10所示的为多路媒体共享传输通道系统结构图，图中：(1001)输入图像与语音采集处理单元；(1002)控制信息发送缓存；(1003)图像数据发送缓存；(1004)语音数据发送缓存；(1005)实时图像输入信号；(1006)语音输入信号；(1007)一路多媒体流输入处理模块；(1008)数据包发送控制总线；(1009)线路发送处理单元；(1010)线路接收处理单元；(1011)一条共享传输线路；(1012)数据包接收控制总线；(1013)控制信息接收缓存；(1014)图像数据接收缓存；(1015)语音数据接收缓存；(1016)多媒体流输出处理单元；(1017)实时图像输出信号；(1018)语音输出信号；(1019)一路多媒体流输出处理模块。

图11说明

图11所示的为四路图像采集发送板逻辑框图，图中：(1101)视频图像输入信号；(1102)VGA图像输入信号；(1103)DVI图像输入信号；(1104)HDMI图像输入信号；(1105)视频图像采集芯片；(1106)VGA图像采集芯片；(1107)DVI图像接收芯片；(1108)HDMI图像接收芯片；(1109)FPGA数字逻辑处理芯片；(1110)线路驱动芯片；(1111)线路驱动芯片；(1112)串行数据传输线路；(1113)串行数据传输线路。

图12说明

图12所示的为四路图像接收输出板逻辑框图，图中：(1201)串行数据传输线路；(1202)串行数据传输线路；(1203)线路接收处理芯片；(1204)线路接收处理芯片；(1205)FPGA数字逻辑处理芯片；(1206)视频图像输出芯片；(1207)VGA图像D/A转换输出芯片；(1208)DVI图像输出芯片；(1209)HDMI图像输出芯片；(1210)视频图像输出信号；(1211)VGA图像输出信号；(1212)DVI图像输出信号；(1213)HDMI图像输出信号；(1214)FPGA芯片与图像缓存芯片之间的连接线；(1215)图像缓存芯片。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

图10是一个多路实时多媒体流采用若干条共享传输通道的传输方案，其左侧是多路实时图像与实时语音的采集发送端，其右侧是多路实时图像与实时语音的接收输出端。

图10中(1007)所示的虚线框内，是一个实时图像与实时语音的采集处理单元，与每个单元相连的两个信号(1005)和(1006)分别标识实时图像输入信号和实时语音输入信号，处理单元内的(1001)代表实时图像与实时语音的采集与处理逻辑电路，在采集处理逻辑电路(1001)的控制下，将实时图像的控制参数和实时语音的控制参数保存到控制信息缓存(1002)中去，而采集到的图像数据和语音数据分别保存到图像数据缓存(1003)和语音数据缓存(1004)中去。

图10中(1008)为数据包处理与控制总线，在该总线(1008)的控制下，各路实时图像与实时语音采集处理后存放在控制信息缓存(1002)、图像数据缓存(1003)和语音数据缓存(1004)中的数据分别封装成控制信息包、图像数据包和语音数据包，然后依次发送给发送线路处理单元(1009)。

图10中所示的发送线路处理单元(1009)的内部结构如图8所示。

图10中(1011)为共享传输通道，该共享传输通道可以是双绞差分线、同轴电缆或光纤等等，根据不同的应用要求可做不同选择。

图10中(1010)为接收线路处理单元，其内部结构如图9所示。

图10中(1012)为数据包接收处理控制总线，在给控制总线的处理下，接收到的数据包根据多媒体流标识号和数据包类型号的不同，将数据包内的有效数据分别存放到相应的控制信息缓存(1013)、图像数据缓存(1014)和语音数据缓存(1015)中去，这三个缓存中的数据在实时图像与实时语音输出控制芯片(1016)的控制下产生相应的多媒体输出流。

图10中(1019)虚线框内为一路实时图像与实时语音输出处理单元。与之相连的输出信号(1017)和(1018)分别表示实时图像输出信号和实时语音输出信号。

为了增加传输带宽，图10所示的传输方案中采用了多条共享传输通道。传输通道的数量可以根据全部实时多媒体流的带宽来确定。

图11和图12是根据图10的框架原理设计的4路图像输入板和4路图像输出板。此输入输出板采用两路同轴电缆传输数据包，即图11中(1112)和(1113)、图12中(1201)和(1202)表示为同轴电缆。同轴电缆驱动芯片(1110)、(1111)、(1203)和(1204)可选用Maxim公司的电缆驱动芯片MAX3800，该芯片可支持3.125Gbps的速率。两条同轴电缆可支持6.25Gbps的传输速率。

图11中(1109)和图12中(1205)为FPGA处理芯片，FPGA芯片可选用Xilinx公司的Spartan6系列FPGA，该FPGA集成了3.125Gbps的高速I/O线，同时集成了8B-10B编解码器，利用此FPGA可直接实现图8和图9中所示的功能。

图11中(1101)、(1102)、(1103)和(1104)分别为视频图像输入信号、VGA图像输入信号、DVI图像输入信号和HDMI图像输入信号。图11中(1105)、(1106)、(1107)和(1108)分别为视频图像采集芯片、VGA图像采集芯片、DVI图像接收芯片和HDMI图像接收芯片。

图12中(1206)、(1207)、(1208)和(1209)分别为视频图像输出芯片、VGA图像D/A转换输出芯片、DVI图像输出芯片和HDMI图像输出芯片。图12中(1210)、(1211)、(1212)和(1213)分别为视频图像输出信号、VGA图像输出信号、DVI图像输出信号和HDMI图像输出信号。

图12中(1214)为FPGA芯片与图像缓存芯片之间的连接线，而(1215)代表图像缓存芯片，利用这些图像缓存芯片可缓存图像帧，有了图像帧缓存，就可根据需要任意调整输出图像的点频、行频和场频等参数，从而实现输入输出图像格式的任意转换。

Claims (9)

1.一种实时多媒体流传输控制协议，其特征在于：所述传输控制协议是利用图像数据包、语音数据包和控制信息包这三种数据包在同一数字通道内传输多路实时多媒体数据流，接收端利用这三种数据包可播放出与发送端采集到的相同或不同模式的多路实时多媒体流。

2.如权利要求1所述的传输控制协议，其特征在于：所述传输控制协议中的控制信息包中包括由表1和表2中所列出的从发送端采集到的输入实时图像和实时语音的传输模式控制参数，同时也包括为接收端指定的该实时图像和实时语音输出时所需的由表1和表2中所列出的模式控制参数。

表1实时图像传输模式控制参数

  序号   参数名称   说明   1   点频   此数据项标识实时图像扫描像素的频率，在一个确定图像模式下是一个固定频率脉冲信号。   2   行频   此项数据表示实时图像的扫描线的扫描频率，点频是行频的整数倍，该倍数为扫描线上的像素点个数。 3 场频 此数据项代表实时图像每秒刷新图像的场次。   4   是否隔行扫描   标识出实时图像是否为隔行扫描。   5   行脉冲高位宽度   行脉冲为高时点频的脉冲个数。   6   场脉冲高位宽度   场脉冲为高时扫描行的个数。   7   扫描线长度   一条扫描线中像素点的个数。   8   扫描线行数   一个扫描场中扫描线的条数。   9   有效图像行宽度   扫描线中有效图像的像素个数。   10   有效图像行数   一场扫描中具有有效图像的扫描线的条数。   11   有效图像起始列号   有效图像左上角第一个有效像素点的距离扫描起始点的像素个数。   12   有效图像起始行号   第一条扫描线到第一条包含有效图像的扫描线之间的扫描线条数。   13   色彩格式   像素点采用RGB还是YCbCr描述颜色。

  14   色彩位数   色彩分量：R、G、B、Y、Cb、Cr等数据值的二进制位数。   15   444或422格式   采用4:4:4模式还是4:2:2模式传输色彩数据

表2实时语音传输模式控制参数

  序号   参数名称   说明   1   语音声道数   常用语音流为单声道，双声道(立体声)和多声道(环绕立体声)等。   2   语音采样频率   语音采集处理实时的采用频率，回放是也要按这一频率输出数据。   3   语音编码格式   此数据项表示采样的语音数据的个数及位宽等信息。   4   语音流同步方式   标识出此语音流是否需要与相伴的实时图像同步播放及同步播放的方式。

3.如权利要求1所述的传输控制协议，其特征在于：所述传输控制协议中控制信息包中包括了由表1和表2中所列出的发送端输入实时多媒体流模式控制参数，同时也包括了由表1和表2中所列出的为接收端所指定的该实时多媒体流模式控制参数，如果这两套传输模式控制参数相同，则表明输出多媒体流与输入多媒体流相同，即按原模式回放；如果这两套传输模式控制参数不相同，表明输出多媒体流与输入多媒体流的回放模式不同，即进行了播放模式转换。

4.如权利要求1所述的传输控制协议，其特征在于：所述传输控制协议中的图像数据包、语音数据包和控制信息包均包含有一个多媒体流标识号和一个数据包类型号，多媒体流标识号用于标识这三种数据包属于哪一路多媒体流，从而使多路多媒体流可以共享同一传输通道；数据包类型号用于区分这三种数据包的类型。

5.如权利要求1所述的传输控制协议，其特征在于：所述传输控制协议中的图像数据包包含有效图像行号、图像行起始列位置、图像行数据长度和图像数据四个数据项，其中前三个描述图像数据包中所传输图像数据在图像帧中的位置和长度，第四项为图像数据本身，图像数据为一个或部分连续的图像行，图像数据的格式等属性由控制信息包中的相关参数指定。

6.如权利要求1所述的传输控制协议，其特征在于：所述传输控制协议中的语音数据包包含有语音声道号、语音数据长度和语音数据三个数据项，一个语音数据包仅传输某一声道的一段连续语音数据，语音数据的格式等属性由控制信息包中的相关参数指定。

7.如权利要求1所述的传输控制协议，其特征在于：所述传输控制协议中的数据包可以通过并行数据线方式传输，例如8位数据线、16位数据线或32位数据线、等等；亦可将数据包中数据进行并-串转换及线路编码后以串行数据线方式传输。

8.如权利要求1所述的传输控制协议，其特征在于：使用所述传输控制协议的传输通道可以以单条通道方式使用，也可以以多条通道方式使用。

9.如权利要求1所述的传输控制协议，其特征在于：使用所述传输控制协议的传输通道可以采用多种传输介质来实现，例如印刷线路板上的线路、双绞线、同轴电缆、光纤或者无线连接通道、等等。

Images