CN101166278B - 网络交互环境下视频、音频、控制同步的方法 - Google Patents

Abstract

网络交互环境下视频、音频、控制同步的方法。在网络视频交互状态下双方计算机通过声卡的输入或输出端分别与各自的控制板连接，由控制板内按键、开关量输入控制电路、模拟转换电路接收通过按键输入或由模拟、开关量传感器产生控制对方的信息，经控制板处理转换成DTMF控制代码，通过模拟开关插入音频的R声道或L声道中与USB摄象头获得的视频信号一起同步转换成流媒体即控制代码插入流媒体方式，经计算机网络接Interent传输，控制对方与控制板连接的各类继电器、可控硅和各类模拟量执行元件，或通过红外线输出电路遥控外部设备。本发明可广泛运用在网络游戏、中低速远程控制领域、远程家庭医疗监控、远程交互教学等领域。

Description

网络交互环境下视频、音频、控制同步的方法

技术领域：

本发明涉及一种将控制代码插入流媒体通过计算机网络进行交互控制对方硬件或设备，实现视频、音频与控制同步的基于网络视频交互环境下控制对方硬件或设备的方法。

背景技术：

现有技术大都采用WINDOWS XP提供的单向远程协助功能或其它单向远程控制软件，上述方法对系统外硬件和设备进行控制比较困难，无法实现交互双方视频、音频和硬件控制的同步，其他远程控制方式需要计算机硬件和软件资源；即系统驱动、接口驱动、应用程序等和I/O接口硬件和其它相关硬件，对于一般专业人员安装、调试比较麻烦、开发周期长、系统的通用性差，系统的造价高，普通用户实现和使用比较困难。

发明内容：

本发明的目的是提供一种基于网络视频交互环境下将控制代码插入流媒体的方式，同步控制交互对方硬件或设备，实现视频、音频和控制同步的方法。

上述的目的通过以下的技术方案实现：

一种网络交互环境下视频、音频、控制同步的方法，在网络视频交互状态下双方计算机通过声卡的输入或输出端分别与各自的控制板连接，由控制板内按键、开关量输入控制电路、模拟转换电路接收通过按键输入或由模拟、开关量传感器产生控制对方的信息，经控制板处理转换成DTMF控制代码，通过模拟开关插入音频的R声道或L声道中与USB摄象头获得的视频信号一起同步转换成流媒体即控制代码插入流媒体方式，经计算机网络接INTERNET传输，控制对方与控制板连接的各类继电器、可控硅和各类模拟量执行元件，或通过红外线输出电路遥控外部设备。

这个技术方案有以下有益效果：

1.本发明的技术方案硬件结构简单造价低廉；应用软件开发简单方便、周期短；不占用系统接口资源，无需驱动；同步性优于现有技术。

2.本发明技术一般人员便可安装、调试、使用；通用性强，只需开发简单的应用软件便可方便地在移动领域中的手机、PDA(掌上电脑)中应用；或通过对硬件的一些小改动在有线电话通讯系统的可视电话领域应用。

附图说明：

附图1是本发明控制代码时序图；

附图2是本发明交互双方系统连接示意图；

附图3是本发明各部分结构连接图；

附图4是本发明方法的控制卡1的电路结构示意图；

附图5是发明方法的工作流程图。

附图中各部分说明：

1控制板

1.1单片机系统

1.2控制数据存储

1.3状态显示电路(LED)

1.4红外线输出电路(38k载波的红外线遥控信号驱动、输出电路)

1.5DTMF编译码电路

1.5-1DTMF编译码器

1.5-2DTMF码输出

1.5-3DTMF码输入

1.6DTMF/音频切换电路

1.6-1音频R信号输出(接喇叭)

1.6-2音频R信号输入/DTLM信号输入

1.6-3音频L信号输出(接喇叭)

1.6-4音频L信号输入

1.6-5音频L信号输出

1.6-6话筒R信号输出/DTMF输出

1.6-7话筒R信号输入(接话筒)

1.6-8话筒L信号输入(接话筒)

2输入/输出电路

2.1A/D转换、预处理电路(温度/压力…等模拟量传感器的控制电路)

2.2按键、开关量输入控制电路(连接各类开关、按键、开关量传感器)

2.3开关量隔离、驱动电路(接连各类继电器、可控硅等驱动元件)

2.4D/A隔离、驱动电路(接连各类模拟量执行元件)

3计算机

3.1USB接口

3.2接INTERNET

3.3声卡喇叭R信号输出

3.4声卡喇叭L信号输出

3.5声卡立体声话筒R信号输入

3.6声卡立体声话筒L信号输入

4喇叭或耳机

5立体声话筒

6USB摄像头

本发明的具体实施方式：

实施例1：

网络交互环境下视频、音频、控制同步的方法，(网络视频交互环境是指网络视频聊天、交互式网络课程、网络视频会议等状态)如图1、2、3、4、5所示。交互双方控制板1的控制信号\音频信号R 1.6-6与计算机3声卡的立体声话筒输入R 3.5连接，控制信号通过声卡输出R 3.3(喇叭R声道/或L声道或线路输出R声道/或L声道)；声卡喇叭输出L 3.4进入控制板1的音频R信号输入端1.6-2，在网络视频交互状态下，交互一方计算机3连接的控制板1由输入/输出电路2的A/D转换、预处理电路2.1，通过模拟传感器获取的模拟量信息，和开关量输入控制电路2.2通过按键或开关量传感器获取的开关量信息，通过单片机系统1.1控制下的DTMF编译码电路1.5转换成4位DTMF编码信号，通过DTMF/音频切换电路1.6切换，经话筒R信号输出/DTMF输出1.6-6插入与计算机话筒输入端3.5连接的R(右)声道，同时将话筒R(右)声道话筒R信号输入端1.6-7输出信号切换至L(左)声道(保证在控制信号传输过程中本地声音信号的正常输出)，当这一过程结束，控制板1回到初试状态。这样控制信号与本机的音频信号及USB摄象机获得的视频信号经计算机3处理转换为同步的流媒体信号，通过网络同步传送至交互的另一方，实现视频信号、音频信号、控制信号的同步。由交互另一方计算机3收到通过网络传入的流媒体信号，分离出包含有控制代码的音频信号，通过计算机3声卡喇叭输出R 3.3进入控制板1的音频R声道输入/DTLM信号输入端1.6-2，由单片机系统1.1控制下的DTMF编译码电路1.5译码和单片机系统1.1的处理转换成控制信号，通过与输入/输出电路2连接的开关量隔离、驱动电路2.3接连的各类继电器、可控硅等驱动各类开关量执行元件和D/A隔离、驱动电路2.4接连各类模拟量执行元件或通过红外线输出电路1.4用红外线方式控制具有红外遥控功能的电器设备。同时将音频R信号输出1.6-1信号切换至音频L(左)信号输出端1.6-3，保证在控制信号接收过程中二个喇叭输出音频信号，当这一过程结束，控制板1系统回到初始状态。

实施例2：

网络交互环境下视频、音频、控制同步的方法，如图1、2、3、4、5所示，网络视频交互双方计算机3声卡喇叭的R、L输出端3.3、3.4(或线路输出端)通过连接电缆分别与控制板1的音频R信号输入/DTLM信号输入1.6-2、音频L信号输入1.6-4连接，立体声话筒R声道输入端3.5/L声道输入端3.6分别与控制板1话筒L信号输出1.6-5、话筒R信号输出1.6-6连接，外接喇叭或耳机4的R声道/L声道输入端和外接立体声话筒R声道/L声道输出端分别与控制板1的音频R信号输出端1.6-1、音频L信号输出端1.6-3和话筒R信号输入端1.6-7、话筒L信号输入端1.6-8连接。

网络视频交互环境下控制交互对方硬件和电器设备的控制板有3种状态，即初始状态、主控状态、被控状态。

初始状态，从计算机3声卡喇叭输出端R声道3.3/和输出端L声道3.4输出的音频信号进入控制板1DTMF/音频切换电路1.6的音频R信号输入端1.6-2和音频L信号输入端1.6-4，在单片机系统1.1P1.6端口控制下DTMF/音频切换电路1.6的SW1的状态为：保持音频R信号输出端1.6-1与音频R信号输入1.6-2连接；音频L信号输入端1.6-4与音频L信号输出端1.6-3直接连接；计算机3的R声道/L声道音频信号通过音频R信号输出端1.6-1/音频L信号输出端1.6-3进入外接喇叭或耳机4。立体声话筒5的R声道/L声道输出信号进入DTMF/音频信号切换电路1.6的话筒5的R信号输入端1.6-7/话筒L信号输入端1.6-8，在单片机系统1.1的P1.5控制下DTMF/音频信号切换电路1.6SW2的初始化状态为：保持1.6-5与话筒R信号输入端1.6-7连接，话筒L信号输入端1.6-5与话筒L信号输入端1.6-8直接连接，即立体声话筒5输出的音频信号通过上述连接进入计算机声卡的话筒输入R端3.5/声卡立体声话筒输入L端3.6，既计算机音频系统功能不变。

主控状态，控制板1内单片机系统1.1的P0口(定义为输入端口)及相关电路与输入/输出电路2的模拟量采样和预处理电路2.1连接，该电路与温度/压力…等模拟量传感器连接；连接有按键、开关量传感器的开关量输入控制电路2.2也与单片机系统1.1的P0口及相关电路连接；同时P0口、INTO(注：中断接口)等相关电路与DTMF编译码器1.5-1的D0～D3端及其它相关电路连接。单片机系统1.1初始化后进入等待中断申请和对P0口和相关接口扫描状态，在单片机系统1.1相关电路控制下，DTMF编译码电路1.5交替进入编码和译码状态。在编码状态，从P0口获得来至A/D转换、预处理电路2.1的模拟量信号和按键、开关量输入控制电路2.2的开关量输入信号后，进行处理和A/D转换；调用存储器1.2中预先设定的控制程序，处理结果经过DTMF编译码电路1.5的编码转换成4位DTMF码，通过DTMF编译码电路1.5的DTMF码输出端1.5-2输出。(这里一位DTMF代码构成一位16进制数，其中4位DTMF码的第1位为识别码，即16进制数A-D中一个，第2位是控制地址码即1-F，最多可控制16种设备；第3、4位是控制量码，控制分辨率精度为00-FF。1位指令占100ms时间段，在100ms时间片，DTMF信号持续50ms，间隔50ms为0电平，即1条完整控制指令占用400ms，见图一，如果交互双方仅为开关量控制，控制指令为3位DTMF码，控制量码为1位这样1条完整控制指令占用300ms时间。)在单片机系统1.1的P1.6口控制下，模拟开关1.6的SW2切换与立体声话筒5连接的R声道信号1.6-7至话筒L信号输出端1.6-5，使DTMF信号通过DTMF码输出端1.5-2和话筒R信号输出/DTMF输出端1.6-6直接进入计算机3立体声话筒输入R端3.5，话筒L信号通过话筒L信号输出端1.6-5与话筒L信号输入端1.6-8连接直接进入立体声话筒输入端3.6。这样来自声卡话筒输入L端3.6的音频信号和话筒输入R端3.5的控制信号与USB接口3.1连接的摄像头6获得的视频信号一起，经计算机的处理转换成流媒体信号，通过网络传送给另一方计算机3。当这一过程结束控制板1回到初始状态。

被控状态，计算机3通过网络收到对方的流媒体信号(即视频+音频+控制代码)，经过计算机处理分成视频和音频2个部分，其中音频部分(即音频信号+控制代码)通过计算机3声卡喇叭输出L端3.3/和声卡喇叭输出R端3.4至控制板1的音频R信号输入端1.6-2/音频L信号输入端1.6-4(这时音频信号和控制信号分别占用R声道和L声道)，当DTMF编译码电路1.5为译码状态，DTMF信号通过音频R信号输入端1.6-2进入DTMF码输入端1.5-3，在收到第1位DTMF信号时，DTMF编译码1.5-1的IRQ/CF端产生一个中断申请信号，这个信号被单片机系统1.1的INTO端接收，判断有效后读P0口，确定为识别码后，单片机系统1.1通过P1.5端口控制DTMF/音频信号切换电路1.6中模拟开关的SW1将1.6-4音频L输入切换至音频L信号输出端1.6-3，保证R声道/L声道喇叭输出为音频信号(这时为单声道)。后3位控制码通过音频/DTMF码控制电路1.6-2的SW1直接进入DTMF编码电路1.5的DTMF码输入端1.5-3。上述信号在IRQ/CF端产生3个中断申请信号，单片机系统1.1在接到3个中断申请信号后，从P0口读取这3位信号进行处理；调用控制数据存储器1.2中预先设定的控制程序；产生控制指令；通过单片机系统1.1的P2口(定义为输出控制端口)经隔离、驱动电路2.3驱动与其连接的各类继电器、可控硅等开关量元件；或通过P2口连接的D/A隔离驱动电路2.4驱动各类模拟执行元件；或通过单片机系统的P1.7输出控制基波，经红外线输出电路1.4内的38k载波调制驱动以红外方式遥控具有红外遥控功能的外部电器设备，当这一过程结束系统回到初始状态。

Claims (1)

1.一种网络交互环境下视频、音频、控制同步的方法，其特征是：在网络视频交互状态下双方计算机通过声卡的输入或输出端分别与各自的控制板连接，交互一方计算机连接的控制板由输入/输出电路的A/D转换、预处理电路，通过模拟传感器获取的模拟量信息，和开关量输入控制电路通过按键或开关量传感器获取的开关量信息，通过单片机系统控制下的DTMF编译码电路转换成4位DTMF编码信号，通过DTMF/音频切换电路切换，经话筒信号输出/DTMF输出插入与计算机话筒输入端连接的R声道，同时将话筒R声道话筒R信号输入端输出信号切换至L声道，当这一过程结束，控制板系统回到初始状态；控制信号与音频信号及USB摄象机获得的视频信号经计算机处理转换为同步的流媒体信号，通过网络同步传送至交互的另一方计算机，实现视频信号、音频信号、控制信号的同步，由交互另一方计算机收到通过网络传入的流媒体信号，分离出包含有控制代码的音频信号，通过计算机声卡喇叭输出R进入控制板的音频R声道输入/DTLM信号输入端，由单片机系统控制下的DTMF编译码电路译码和单片机系统的处理转换成控制信号，通过与输入/输出电路连接的开关量隔离、驱动电路接连的继电器、可控硅驱动开关量执行元件和D/A隔离，驱动电路接连模拟量执行元件或通过红外线输出电路用红外线方式控制具有红外遥控功能的电器设备，同时将音频R信号输出信号切换至音频L信号输出端，当这一过程结束，控制板系统回到初始状态。

Images