CN101426121A - 带嵌入式浏览器的pstn话音+ip视频的可视电话机 - Google Patents

Abstract

本发明公开了一种带嵌入式浏览器的PSTN话音+IP视频的可视电话机装置。其音、视频分别由PSTN网络和IP网络传输，具有普通PSTN电话的所有功能以及视频通信、远程监控、多媒体留言、彩信收发、图文/音视频信息播放和网页浏览等功能。其构造特征在于其由PSTN音频通话处理部分和IP多媒体信号处理部分构成，话音单独通过PSTN传送，以数字媒体处理器DM642、键盘/电话事件单片机EM78806和接口控制单片机MC9S12UF32为主控系统。单片机MC9S12UF32通过串口控制键盘/电话事件单片机，通过DM642的HPI接口与DM642交换信息，复杂可编程逻辑器件XC9536提供时序。操作系统为基于DSP BIOS的实时操作系统，嵌入式浏览器和其他应用程序据此开发并运行其上。

Description

带嵌入式浏览器的PSTN话音+IP视频的可视电话机

所属技术领域

本发明涉及一种同时通过PSTN(Public Switched Telephone Network，公用交换电话网)传送话音，通过IP网络传送通话者视频图像的并能收发、播放其他多媒体信息的、带嵌入式浏览器的具有交互式功能的可视电话机。

背景技术

现有的可视电话，一般都是基于IP网络或电话网络PSTN实现，分别称为IP可视电话和PSTN可视电话，前者通过IP网络、后者通过PSTN传送音、视频两种信号，共同特点是音、视频信号两种信号通过一种网络传送；还有一种集IP可视电话和PSTN话音电话于一体的产品，可分别通过IP网络传送音、视频或通过PSTN传送音频，使用IP网络时候能实现可视通话，相当于是IP可视电话和PSTN电话功能的简单相加。IP可视电话利的具体形式是使用专门的可视电话机或是使用安装了可视通话软件的计算机。IP可视电话使用多媒体终端通信协议H.323或SIP，由于IP网络固有的缺陷，其同时传送音频和视频、在可视终端还原时声音和图像时，图像分辨率可以做到较高，但常出现视频图像断续，话音断续、延迟现象，网络带宽越窄越是如此，且呼叫时需要拨打专门的号码。PSTN可视电话基于H.324协议实现，由于电话网带宽的限制，决定了话音和图像都必须采用高压缩比的算法，以低码率进行传输。话音能够做到和普通电话的质量相当，但是图像却不会太好。根据协议的描述，对于176×144像素的分辨率，图像每秒的帧数只能在4-15之间，大约只是普通电视帧数的1/3。实际上，如果要得到比较清晰的图像，每秒就只有4到5帧。同352 x 240像素分辨率的VCD相比，分辨率只有VCD的30％。在视频压缩方面，前沿的技术是H.264，使用该协议压缩视频但若单独利用PSTN或IP网络来同时传送音、视频，实践证明问题依旧：PSTN可视电话图像质量差，IP可视电话话音质量不高。尤其是在可视通话的同时，如果还要求同屏显示图文、视频广告等，在PSTN可视电话上不可能，在IP可视电话上效果也不理想。即是说，用一种网络来进行两种信号的传送，不能做到声音和图像都有好的还原效果，更不能实现在通话期间还传送播放图文、视频信息。现有可视电话由于话音或图像质量、或使用方便性方面的缺点，加之价格贵，所以未能大规模进入家庭。

发明内容

针对现有可视电话存在的上述问题，本发明提供一种同时使用PSTN传送话音、使用Internet传送视频并同步还原的且能接收播放图文、音视频广告，进行音视频监控，多媒体留言，彩信收发和网页浏览等多功能的可视电话机。本发明的创新之处在于，(1)使用“PSTN音频+IP视频”来实现可视通话，即单独使用PSTN传送通话话音，使用IP网络传送视频图像，提高了通信质量。(2)本发明终端之间或终端与位于IP网络的支撑平台之间可以互动，前者如实现彩信收发，音视频监控；后者如广告等多媒体节目的接收播放，嵌入式浏览器访问网页查询信息。(3)本发明终端之间只需拨打PSTN号码即可实现可视通话，且与普通PSTN电话完全兼容。

本发明在可视通话时，话音部分达到PSTN固定电话的话音质量标准，图像指标达到视频CIF(352×288)或VCD(352×240)分辨率，帧频25/30fps(IP带宽为128Kbps时)。本发明在显示通话者视频图像的同时还可同屏以多窗口的方式显示视频广告。本发明在视频压缩编/解码方面使用H.264，通话音频仍采ITU-TG·711标准，8kHz取样，8bit量化，码率64Kbps，音频带宽200Hz～3400Hz，与普通固话完全相同，功能也和普通固话完全兼容。但是本发明把音频和视频分别交由PSTN和IP网络传输，接收时在终端同步还原。分开传输的好处是PSTN话音传输清晰，网络资源可现成利用；而IP网络的带宽主要用来处理视频的传输，则可获得高质量的视频图像。在通话期间，由于通话音频由PSTN传输，IP网络传送用户图像后剩余的IP带宽还可被利用在支撑平台与终端之间同时传送其他图文、视频等多媒体信息，提供增值服务；而在非通话期间，全部IP带宽用于增值服务，传送图文、音视频或网页等多媒体信息。本发明的可视电话终端同时又是一个多媒体信息互动处理终端。

本发明的有益效果是，提高了可视通话质量，增加了互动功能，从而改善了用户体验。除此之外，因为终端要同时接入PSTN和IP网才能实现全部功能，且视频传送和其他附加服务需要IP网络平台支撑，所以固话运营商留住了用户；宽带运营商扩大了接入业务；而支撑平台的运营商可以让机构或商家发布的产品与服务信息，例如广告信息，能够有针对性的精准投放、分类和反馈；用户使用的电话和宽带服务资费不变而享受的服务质量得到提高(增加了可视和互动功能)。这样会形成一个多方共赢的格局，有利于本发明的推广。本发明作为信息接收载体和广告发布终端，因电话用户数的庞大，支撑平台运营商可以以提供新型的互动广告服务为主要的盈利手段，推广策略可以以极低的价格提供给用户使用。

本发明采用的技术方案，结合图1描述如下。

一种可视电话机，包括PSTN音频通话处理部分的PSTN话音电话电路(101)和电话键盘/键盘接口(204-3)；IP多媒体信号处理部分包括模拟信号处理部分(201)，数字信号预处理部分(202)，编、解码部分(203)，接口部分(204)，主控系统部分(205)和网络应用部分(301)，以及视频摄像头和液晶显示屏等，其中PSTN音频通话处理部分(101)与普通PSTN话音电话相同，通话兼容，但是扩展了键盘/键盘接口(204-3)功能。

IP多媒体信号处理部分的模拟信号处理部分(201)则包括音频模拟信号处理部分(201-1)和视频模拟信号处理部分(201-2)，数字信号预处理部分(202)包括音频的预处理(202-1)和视频的预处理(202-2)，编/解码部分(203)包括音频部分(203-1)和视频部分(203-2)，接口部分(204)包括以太网接口(204-1)，SDRAM存储器接口(204-2)，键盘接口(204-3)，Nand FLASH接口(204-4)；网络应用(301)包括图文/音视频播放(301-1)，彩信收发和多媒体留言(301-2)，远程音视频监控(301-3)和浏览器(301-4)程序，网络应用程序和相关数据存储于NandFLASH(204-5)中；主控系统(205)由数字媒体处理器DSP(205-2)(其音频MPEG3编/解码模块(205-0)和视频编/解码模块H264H(205-1)因其重要性单独列出)，键盘/电话控制单片机(205-3)和接口控制单片机(205-4)组成。

信号处理描述。发送时，音、视频模拟信号处理部分(201)采集或接收话音、视频输入信号，处理后送入数字信号预处理部分(202)，接收时处理从数字预处理部分(202)传来的信号并输出模拟的音、视频输出信号；发送时，数字信号预处理部分(202)处理从模拟信号处理部分(202)传来的话音或视频信号，然后送往编/解码部分(203)，接收时，处理从编/解码部分(203)传来的话音、视频信号，然后送往模拟信号处理部分(201)；发送时，编/解码部份(203)对经预处理的音、视频的格式进行变换后成为主控系统(205)能够进行压缩处理的信号，接收时处理主控系统(205)传来的信号；主控系统(205)对音频信号进行MPEAG3编码、对视频信号进行H.264编码并把编码码流送往以太网接口(204-1)，或对从以太网口传来的MPEAG3或H.264码流进行解码处理；对各接口电路进行控制、处理；对键盘/电话事件进行处理；实现网络应用逻辑。

接口功能扩展描述。本发明的IP连接触发，彩信发送，网页浏览，多媒体留言等事件均通过扩展了的键盘/键盘接口发生，信号经过键盘/电话控制单片机(205-4)、接口控制单片机(205-3)和数字媒体处理器DSP(205-2)的处理，从以太网接口(204-1)送出。

结合图2，对本发明可视通话部分的原理说明如下。为描述方便，以下本适用新型有时简称终端，而本发明的Internet网络支撑平台有时简称平台。

本发明的终端A(102030-1)以普通电话拨号方式呼叫本发明的终端B(102030-2)，终端A的呼叫信号经PSTN网络送达终端B，终端B产生来电显示信号，此信号打包处理载上终端B的机身码后通过终端B的以太网接口由ADSLMODEM(2002)(或其他宽带接入形式)送往位于IP网络支撑平台的号码捆绑/视讯接入服务器(3001)；终端A的机身码信号亦通过以太网口经ADSL MODEM(2001)送往号码捆绑/视讯接入服务器，该服务器对终端A和B进行身份验证。验证通过后，信息反馈回终端B，终端B确认连接、摘机并将摘机信号反馈给终端A；终端A收到B的摘机信号，再反馈一个确认信号给终端B；随即视频部分通过号码捆绑/视讯接入服务器进行TCP连接，双方进行视频通信，而音频通信则由PSTN网络进行。

若是非本发明的普通电话终端与本发明终端通信，则因为普通电话终端未在号码捆绑服务器里注册，无论是主叫还是被叫，身份验证均不能通过，这时不会通过IP网络进行视频连接而只通过PSTN进行话音通信。

结合图3，对本发明包括浏览器在内的网络应用说明如下。

网络应用需要平台支撑。平台由业已提到的号码捆绑/视讯接入服务器(300-0)，还有信息推送服务器(300-1)、音视频监控服务器(300-2)、彩信发送/多媒体留言服务器(300-3)、Web服务器(300-4)和资源管理服务器(300-5)等组成，支撑本发明的终端实现相应的功能。

信息推送与图文、音视频播放。信息推送服务器(300-1)则在通话时推送图文/视频信息，在非通话时段推送图文/音、视频信息。推送的信息可以根据对注册的终端用户信息的分类统计，做到精准投放。终端则完成相应的播放，如广告、电影、音乐的播放等。

音视频监控。终端A(102030-1)向音视频监控服务器(300-2)发出监控终端B(102030-2)的请求，音视频监控服务器验证被监控的终端B的监控密码，验证通过后允许监控终端A连接被监控终端B，并发出指令开启被监控终端B的监控功能，终端B拾取并处理的音视频监控信号传送到监控终端A，还原出声音和图像，实现音视频监控。

彩信发送/多媒体留言。彩信发送/多媒体留言服务器(300-3)则支持终端实现彩信收发和多媒体留言功能。

Web服务器(300-4)是终端的嵌入式浏览器浏览网页时默认访问的服务器。

资源管理服务器(300-5)则管理各种资源，包括本发明终端用户信息在内的资源供平台使用，其余资源可供终端查询。

号码捆绑/视讯接入服务器(300-0)的号码捆绑服务器记录了注册的终端电话号码和终端机身码；终端机身码用10位16进制数表示，写入Nand Flash中。终端之间进行视频连接时，机身码送往服务器进行身份验证，而视讯接入服务器提供连接服务。

结合图4和图5，对本发明的嵌入式浏览器的工作原理和过程说明如下。

本发明的嵌入式浏览器软件结构参见图4，软件由浏览器接口模块304-1、通信任务模块304-2、HTML解析模块304-3、HTTP页面显示模块304-4、协议模块304-5和网络通信模块304-6构成。其中浏览器接口模块和页面显示模块中的窗口消息响应部分(虚线边框)运行在上层调用|任务空间，其余模块和页面显示模块的建立窗口部分(实线边框)运行在通信任务模块空间内。

用于启动浏览器的网页浏览接口函数：

int FNBBrowsePage(char*szMainURL，

    TGuiMain *pGuiMain，

    int nPageWidth，

    int nPageHeight)；

参数说明：

    szURL        资源位置及名称

    pGuiMain      GUI平台基类

    nPageWidth   页面窗口宽

    nPageHeight  页面窗口高

返回：

    正常：0

    错误：非0

参照图5，用户在空闲状态(待机状态)304-01按E键，键盘/电话控制单片机发出浏览器应用消息，浏览器收到消息后，根据预设的URL启动HTTP协议通信进程，进入HTTP协议通信状态304-02，浏览器解析符合HTML标准的信息，调用GUI库显示解析结果，进入页面窗口显示状态304-03。浏览器只运行在待机状态，终端若监听到来电，或本地有摘机动作，浏览器将收到键盘/电话控制单片机发出的退出应用消息，浏览器将关闭当前页面窗口，界面进入来电通知或摘机状态304-04。

附图说明

图1为本发明的结构与功能框图

图2为本发明的音、视频流传输示意图

图3为本发明的支撑平台结构框图

图4为本发明的嵌入式浏览器的软件结构框图

图5为本发明的嵌入式浏览器的状态切换框图

图6为本发明的硬件结构框图

图7为本适用新型的软件结构框图

具体实施方式

实施例的硬件结构如图6所示。音频通话处理部分由PSTN话音电话处理电路(101)和键盘(204-3)构成，这部分的功能是实现终端间通话，产生来电显示信号送往键盘/电话事件单片机EM78806(205-4)和接口控制单片机MC9S12UF32(205-3)，该信号经处理后由以太网接口(204-1)送往支撑平台的号码捆绑/视讯接入服务器，用于对呼叫双方终端身份的认证；三是各种网络应用操作均由键盘进行。

其他音频信号的处理由带有模拟I/O功能的立体声编/解码芯片AIC23(20-123-1)完成，它把从话筒或音频监控输入接口(101-2)获取的话音模拟信号处理后通过DSP芯片DM642(205-2)的VPORT口(配置为1个多通道带缓冲音频串行口(McASP))送往其音频MPEG3编/解码单元(205-0)进行音频压缩，或把音频MPEG3编/解码单元(205-0)解压缩送来的音频信号还原为模拟信号输出。完成包括音频实时监控在内的所有音频应用功能。

视频处理部分由视频解码芯片SAA7113(20-123-2A)和视频编码芯片SAA7121(20-123-2B)充当，前者把输入的模拟视频信号A/D转换、解码成VPO数字视频信号送往数字媒体处理器DM642(205-2)的视频编/解码单元(205-1)进行视频压缩，后者把视频编/解码单元(205-1)解压缩送来的数字视频信号经D/A转换、编码成复合视频(CVBS)或分离视频信号(S-Video)输出。DM642(205-2)的3个可配置的视频端口(VPORTO—2)配置为一个视频输入口和两个视频输出口。其中一路视频输出信号送液晶显示驱动器接口(200-1)，驱动LCD(200-2)显示视频，另一路可通过SAA7121(20-123-2B)和AV信号输出接口(200-6)输出到其它显示器如电视机上显示。XC9536逻辑(200-4)配置成二选一，把由摄像头(200-3)输出的通话者视频信号(或视频监控信号)或者从AV信号输入接口输入的经SAA7113处理的视频信号，送入视频输入口。

以太网接口(204-1)把经压缩编码后的音、视频码流或其他控制信号送往IP网络，或者把从IP网络接收这些信号；Nand FLASH(204-4)为存储网络应用程序和相应数据的存储器；SDRAM/SDRAM接口(204-2)为同步动态主内存及其扩展接口。

键盘/电话事件单片机EM78806(205-4)，接口控制单片机MC9S12UF32(205-3)和数字媒体处理器DM642(205-2)以及复杂可编程逻辑器件XC9536(205-5)等构成本实用新型的主控系统，主要功能是实现对键盘/电话事件的处理，音、视频流的压缩编/解码(205-1)、图文/音视频播放(301-1)、远程音视频监控(301-2)、彩信收发/多媒体留言(301-3)和浏览器(301-4)等应用。

主控系统工作流程为，上电后，键盘/电话事件单片机EM78806(205-3)、单片机MC9S12UF32(205-3)工作并读取Nand Flash(204-4)固件，通过HPI写入SDRAM(204-2)中，然后发出指令让数字媒体处理器DM642(204-2)引导并工作。单片机MC9S12UF32(205-3)通过串口控制键盘/电话事件单片机，复杂可编程逻辑器件XC9536(205-5)提供单片机MC9S12UF32与数字媒体处理器DM642之间的时序，二者通过HPI接口交换信息。这样，本发明是两个单片机和一个DSP共3个处理器协同工作。

本发明的软件结构参见图7。其中键盘/电话事件单片机与MC9USF32单片机系统通过串口通信，MC9USF32单片机与DSP HD642通过HD642的HPI通信。GUI(驱动库)引擎实现多窗口显示，使得LED在显示通话者视频图像的同时还可显示图文、视频广告信息等。

本发明的软件操作系统是使用TI公司发行的DSP/BIOS程序包开发的实时操作系统。程序包由DSP/BIOS实时库和API、DSP/BIOS配置工具、DSP/BIOS插件3部分组成。DSP/BIOS的API由十几个模块组成，每个模块由相关的数据结构和函数组成，包括I2C配置、输入输出控制、解码控制等。本发明有选择地利用DSP/BIOS提供的模块资源进行裁减、整合与扩充，构成操作系统内核。系统驱动程序也是以模块化形式提供，向上为操作系统提供API接口便于调用，向下通过系统硬件API函数控制系统硬件，DSP/BIOS配置工具可将驱动模块采用实时加载方式直接编译入内核，并可在C语言里直接调用。包括浏览器和全部网络应用的所有程序均基于此实时操作系统开发和运行。

Claims (7)

1.一种带嵌入式浏览器的PSTN话音+IP视频的可视电话机，包括PSTN音频通话处理部分的PSTN语音电话电路[101]和键盘/键盘接口[204-3]；IP多媒体信号处理部分包括模拟信号处理部分[201]，数字信号预处理部分[202]，编、解码部分[203]，接口部分[204]，主控系统部分[205]和网络应用部分[301]，以及视频摄像头和液晶显示屏等；模拟信号处理部分[201]则包括音频模拟信号处理部分[201-1]和视频模拟信号处理部分[201-2]，数字信号预处理部分[202]包括音频的预处理[202-1]和视频的预处理[202-2]，编/解码部分[203]包括音频部分[203-1]和视频部分[203-2]，接口部分[204]包括以太网接口[204-1]，SDRAM存储器接口[204-2]，键盘接口[204-3]，程序存储NandFLASH/FLASH接口[204-5]；网络应用部分[301]包括图文/音视频播放[301-1]，远程音视频监控[301-2]，彩信收发、多媒体留言[301-3]和浏览器[301-4]，网络应用程序存储于Nand FLASH中；主控系统[205]包括键盘/电话事件单片机EM78806[205-4]，接口控制单片机MC9S12UF32[205-3]和数字媒体处理器DM642[205-2]以及复杂可编程逻辑器件XC9536[205-5]；该可视电话的视频通信连接和多种网络应用通过位于IP网络的平台服务器支撑实现。

2.根据权利要求1所述的可视电话机，其特征在于嵌入了浏览器，按E键触发运行。

3.根据权利要求1所述的可视电话机，其特征在于通话者话音信号单独由PSTN电话线路传送，视频信号由以太网接口[204-1]通过IP网络传送。

4.根据权利要求1所述的可视电话机，其特征在于视频通信连接，图文、音视频广告播放，彩信收发、多媒体留言，网页浏览通过位于IP网络的相应的平台服务器支撑实现。

5.根据权利要求1所述的可视电话机，其特征在于网络应用[301]包括图文/音视频播放[301-1]，远程音视频监控[301-2]，彩信收发、多媒体留言[301-3]和浏览器[301-4]，全部应用程序基于DSP BIOS实时操作系统开发。

6.根据权利要求1所述的可视电话机，其特征在于应用了GUI引擎，可以同时多窗口显示通话者视频图像和视频广告、图文信息。

7.根据权利要求1所述的可视电话机，其特征在于主控系统由键盘/电话事件单片机[205-4]，接口控制单片机[205-3]和数字媒体处理器[205-2]构成，复杂可编程逻辑器件[205-5]提供时序，三处理器协同工作。

Images