CN101374168A - 二网合一的移动多媒体可视电话及其实现方法 - Google Patents

Abstract

本发明公开了一种融合GSM和Internet长处的，可视通话时话音和视频图像同时还原的手机及其实现方法。本发明是用使用GSM传送话音、用Wi－Fi接入IP网络通过IP网络传送通话者视频图像并在终端同步还原，其特征是手机上电后向位于Internet的注册服务器发送心跳包注册手机号码和IP地址等信息，在主叫或被叫时捕获对方手机号码封装为拨号包或振铃包用以查询对方手机IP地址、端口号等，建立视频连接并在通话时传送通话者视频。

Description

二网合一的移动多媒体可视电话及其实现方法

[所属技术领域]

本发明涉及一种利用GSM(Global System For Mobile Communication，移动通信全球系统)和Internet网络长处的，能实现可视通话的手机技术，特别涉及一种利用现有GSM网络和手机的成熟技术实现手机间的话音通信、利用Wi-Fi(wireless fidelity，无线保真)无线接入互联网并通过位于互联网的注册和视频交换服务器建立手机间的P2P连接并实现视频通信的手机技术。

[背景技术]

现在已经较大规模使用的3G技术，包括正在中国开始运营的TD SCDMA网络和手机，技术先进并且复杂，优点是可视通话和其他多媒体服务均能在各自的技术框架内实现，但是一个明显的缺点则是运营的成本高，一个一个的基站需要建立直至覆盖全国，而且可能由于不同国家采用不同的3G标准，在全球范围内的各种业务互联互通要走的路还很漫长。目前，中国只是在8个大城市开始运营TD SCDMA，从测试的情况看，通话话音质量明显不如GSM手机的。而GSM网络全球覆盖，通话话音质量上乘，但是由于网络带宽等因素的制约，不能提供视频通信和承载其他的多媒体增值服务。

[发明内容]

GSM是全球最大的第二代移动通信网络，而Internet早已覆盖全球。本发明的技术能完全利用第2代移动网络的资源传送话音，利用Wi-Fi移动接入Internet传输视频，，能够充分利用Internet网络覆盖面全球的特点，使得本发明无需像3G那样为网络覆盖而巨量布点基站和各级营运中心，这样，实施本发明在每个城市只需尽量增加Wi-Fi访问点，布局Wi-Fi访问点的成本远远低于布局3G基站；而全国只需一、二个运营中心就可实现运营。

本发明的创新之处在于，(1)使用“GSM话音+无线IP视频”来实现移动可视通话，即单独使用GSM传送通话话音，使用IP网络传送视频图像，充分利用了GSM和Internet的成熟网络资源和技术。(2)本发明无需使用新的号码段，只是在原GSM手机中增加视频编、解码和无线Internet访问功能，简化了通信协议。(3)由于无需使用新的号码，留住了已有的GSM手机用户。

本发明的有益效果是，提供了可视通话功能，从而改善了用户体验，延续了GSM网络的使用，并使得其价值继续增值，使得Internet有了新的应用。

本发明采用的技术方案与实现方法。本发明的手机的视频通信需要位于Internet的服务器系统支撑，支撑服务器系统包括视频交换服务器系统、注册服务器系统和数据库服务器等。

本发明的手机和服务器系统与GSM和通过Wi-Fi与IP网络的连接如图1所示。其中本发明的手机技术方案及其实现方法描述如下。

本发明的手机整合GSM话音和IP视频数据处理功能，话音音频数据通过GSM网络传送；通话者视频、控制信令和非话音音频数据通过IP网络传送。参见图2，本发明的手机由三部分电路构成，一是GSM手机电路[1]，二是Wi-Fi模块[2]，三是视频和非通话音频处理电路[3]。第一部分的原理和实现方法与普通GSM手机完全相同，不再赘述。第二部份的作用是进行Internet的无线访问，采用支持无线局域网802.11b/g的芯片实现。第三部分的作用主要有二：一是实现视频通信，二是支持其他多媒体服务。视频通信功能的实现采用摄像头与LCD显示屏进行视频数据采集与显示；通过相关图像算法可以把摄像头采集到的YUV422格式原始视频数据，转换为可得到符合液晶屏显示的RGB565格式视频数据与符合网络传输的H.264格式视频数据流，经过位于IP网络的视频交换服务器的传送到达对方手机解码显示。本部分还可对其他视频、音频信号进行采集、编码、显示，支持其他多媒体服务。

本发明的手机电路第三部分[3]包括模拟信号处理部分[301]，数字信号预处理部分[302]，编、解码部分[303]，接口部分[304]，主控系统部分[305]以及视频摄像头和液晶显示屏等。

模拟信号处理部分[301]则包括音频模拟信号处理部分[301-1]和视频模拟信号处理部分[301-2]，数字信号预处理部分[302]包括音频的预处理[302-1]和视频的预处理[302-2]，编/解码部分[303]包括音频部分[303-1]和视频部分[303-2]，接口部分[304]包括SDIO接口[304-3]，SDRAM存储器接口[304-2]，键盘/键盘接口[304-4]，Nand Flash/Nand Flash接口[304-1]；应用程序和相关数据存储于Nand FLASH[304-1中；主控系统[305]由数字媒体处理器核DSP[305-3]，音频MPEG3编/解码模块[305-1]和视频编/解码模块H264H[305-2]，键盘/电话控制单片机[305-5]和接口控制单片机[305-4]以及视频拨号/振铃处理模块[305-6]组成。

信号处理。发送时，音、视频模拟信号处理部分[301]采集或接收音、视频输入信号，处理后送入数字信号预处理部分[302]，接收时处理从数字预处理部分[302]传来的信号并输出模拟的音、视频输出信号；发送时，数字信号预处理部分[302]处理从模拟信号处理部分[302]传来的话音或视频信号，然后送往编/解码部分[303]，接收时，处理从编/解码部分[303]传来的音、视频信号，然后送往模拟信号处理部分[301]；发送时，编/解码部份[303]对经预处理的音、视频的格式进行变换后成为主控系统[305]能够进行压缩处理的信号，接收时处理主控系统[305]传来的信号；主控系统[305]对音频信号进行MPEAG3编码、对视频信号进行H.264编码并把编码码流送往Wi-Fi模块[2]发往Internet，或对从Wi-Fi模块传来的MPEAG3或H.264码流进行解码处理；对各接口电路进行控制、处理；对键盘/电话事件进行处理。其中视频拨号/振铃处理模块[305-6]用于在本发明的手机拨号或来电振铃时查询对方IP地址，是本发明的手机间建立P2P连接实现视频通话的关键之一。

本发明的手机可视互通流程与功能模块。视频部分互通的流程和主要功能模块参见图3，包括：本发明的手机登录注册、拨打呼叫/来电振铃查询对方IP地址信息、主叫方和被叫方进行网络NAT穿透、视频互通协商、视频采集/编解码显示、视频码流传输、视频互通终止协商。

本发明的手机登录服务器流程。登录过程参见图4。为了对话机本发明的手机的入网进行管理控制，本发明的手机入网时需要向注册服务器登录注册，只有通过注册，才能进行正常的视频通信，否则只能使用GSM进行话音通信。注册的信息包括本发明的手机ID、手机号码、本发明的手机类型、内网IP地址等。本发明的手机发送的注册信息包在通过NAT设备时，映射成的公网IP地址和端口号亦被注册服务器记录。

与登录注册服务器相对应，本发明的手机下线前应向注册服务器发送注销信息，注销过程参见图5，其操作码与登录操作码相反。

拨号呼叫处理流程。该流程和下面的来电振铃处理流程是实现“二网合一”的关键。参见图6，本发明的手机A拨号时，视频拨号处理功能模块捕获所拨出的手机号码，通过Wi-Fi向Internet的视频交换服务器发送拨号信令(拨号信息帧)，通知服务器当前本发明的手机所拨号码，直到收到拨号响应信令(连接信息帧，载有对方网络IP地址、端口号和手机号码信息等)或挂机时停止发送；检测返回的连接信息帧的手机号码是否与所拨手机号码相同，若不相同，则停止视频拨号功能；若相同，则以对方NAT映射的公网IP地址、端口号为目标开始网络NAT穿透。

来电振铃处理流程。参见图7，本发明的手机B收到来电振铃时，视频来电处理功能模块捕获并记录来电号码，通过Wi-Fi向Internet的视频交换服务器发送心跳帧，以确定更新本本发明的手机的网络信息；同时向视频交换服务器发送振铃信令(振铃帧)，直到收到振铃响应帧(连接信息帧，载有对方网络IP地址、端口号和手机号码信息等)或挂机时停止发送振铃帧；检测连接信息帧的手机号码是否与来电号码相同，若不相同，则停止视频功能；若相同，则以对方NAT映射的公网IP地址和端口号为目标开始网络NAT穿透。

本发明的手机间网络NAT穿透功能模块。模块框图参见图8，两台本发明的手机进行视频互通实际上是P2P的会话连接，本发明的网络NAT穿透功能模块使得本发明的手机的UDP报文能穿越各种Cone NAT设备，实现互联网上点到点的网络互通。

视频协商功能。该模块的位置参见图9。视频协商主要是指在确认双方本发明的手机建立了网络互通后，达成视频互通的一个协商过程，以确认双方正式开始进行视频流传输。是启动视频采集、编码、显示、传输前的一个功能模块。

视频采集、编解码、传输、显示功能模块。参见图10，该功能模块集中了视频的采集、编解码、传输、显示等功能。视频采集初始化主要是对COMS摄像头进行初始化，并开始对摄像头数据进行采集、编码等处理；当每帧视频编码完毕后立即送至视频传输子模块，由其负责视频流在互联网上的发送与接收；当接收到完整的视频数据时，即可将视频数据提交给解码功能子模块，由其负责对视频流的解码；视频显示功能主要是将采集到的本地视频图像和接收到的对方的视频显示在液晶屏上。

视频互通终止协商模块。任意一方都有权首先挂机结束通话和视频互通，以主叫方主动挂机结束通话为例，其处理过程参见图11。

[附图说明]

图1为本发明的系统示意图

图2为本发明的手机电路组成框图

图3为本发明的手机视频互通流程和主要功能模块框图

图4为本发明的手机登录注册服务器注册流程图

图5为本发明的手机向注册服务器注销流程图

图6为本发明的手机拨号呼叫时视频处理流程图

图7为本发明的手机来电振铃时视频处理流程图

图8为本发明的手机间网络NAT穿透流程图

图9为视频协商功能框图

图10为视频采集、编解码、传输、显示功能流程图

图11为终止视频互通协商流程图

图12为本发明的手机硬件结构框图

[具体实施方式]

实施例的本发明的手机硬件结构参见图12(a)。其中视频和非通话音频处理部分采用德州仪器的数字媒体处理芯片DM6441和微控制器MSP430为主构成；无线访问Internet部分采用Broadcom公司的BCM4318E单芯片实现，该芯片整合了802.11b/g Baseband，MAC和Radio。参见图12(b)，DM6441是一款包含ARM9、TMS320C64x+DSP内核以及视频/图像协处理器的双内核SoC，该平台是达芬奇技术基于便携式应用而开发的一款芯片。ARM9是ARM公司的32位RISC(精简指令集)处理核，支持JAVA，可支持多种高级的操作系统，例如Linux、WinCE等。C64x+核的DSP是TI的一个高性能DSP内核，可以处理大量的运算，可实现每秒30帧的H.264、MPEG-2、MPEG-4或VC1视频性能，并且可完成较大分辨率的RMVB播放，以及AVS的算法。视频/图像协处理器作为DSP的补充，可以加速和提高算法的性能。

DM6441拥有视频处理子系统，包括视频处理前端和后端，有数字视频接口、CCD/CMOS接口、预览引擎、硬件缩放器、支持多种LCD屏，内部集成视频编码器和4个DAC，支持模拟视频输出。DM6441集成了当前便携式媒体应用需要的主要外设，其中包括多种存储卡的接口(MMC/SD/SDIO/CF/MS/MS Pro)、ATA硬盘驱动接口、USB2.0高速Host和Device，以太网的支持等。

DM6441有多种省电方式。它具备两种电源模式：1.2V全速工作模式(513MHz DSP与256MHz ARM)或1.05V省电工作模式(405MHz DSP与202MHz ARM)。当应用不需要很高处理性能的情况下，就可以使用省电工作模式来减少功耗。DM6441还有时钟门控制功能，在内部的各个功能模块不使用时，也可以关闭其时钟。由于ARM和DSP内核的电源域相互隔离，在不使用DSP时就可以关掉DSP的电源，进一步省电。

通话和非通话音频处理均使用德州仪器的TLV320AIC33芯片。TLV320DAC33是一低功耗立体声音频Codec，立体声耳机放大器和多输入输出的可编程为单端或全差分配置的器件，该器件还包含基于寄存器的扩展的电源控制功能，使用3.3V模拟电源即可实现功耗低至14mW的48KHz立体声回放。

录音通道包括可编程麦克风偏压，数字控制立体声麦克风前置放大器和自动增益控制。模拟输入具有混合/复用功能。回放通道包含混合/多路复用功能，即从立体声DAC与模拟输入到可编程音量控制，再到耳机输出。

TLV320DAC33包含四个高功率输出驱动器和三个全差分输出驱动器。四个高功率驱动器能够驱动各种负载配置，其中包括采用交流耦合电容器的四通道单端16欧耳机，或采用无电容输出配置的立体声16欧耳机。此外，还可采用驱动器驱动BTL配置下的8欧扬声器，每通道功耗为500mW。而三个全差分输出驱动器分别是立体声全差分或单端耳机驱动器/全差分立体声线路输出驱动器/全差分MONO输出驱动器。

立体声音频DAC支持8kHz至96kHz的采样速率，通过在DAC通道中采用可编程数字滤波技术，实现了3D、低音、高音、中音效果，扬声器均衡以及32kHz、44.1kHz与48kHz速率下的去加重效果。

串行控制总线可采用SPI或I2C协议，而串行音频数据总线在多种模式下为可编程，其中包括I2S、左/右对齐、DSP或TDM模式。该器件还提供高度可编程的PLL，以实现高灵活性的时钟生成，并支持各种可用MCLK的所有标准音频速率，频率范围为512kHz至50MHz，其中要特别注意的是最常见的12MHz、13MHz、16MHz、19.2MHz与19.68MHz系统时钟。

TLV320DAC32的工作模拟电源范围为2.7V-3.6V，数字内核电源范围为1.525V-1.95V，且数字I/O电源为1.1V-3.6V。内部LDO稳压器允许该器件在内部生成数字内核逻辑所需的较低电压电源，因而可以在3.3V单电源电压下正常工作。

本实施例操作系统使用嵌入式Linux，音频编/解码算法采用MP3，视频编/解码算法采用H264。使用MSP430超低功耗微控制器处理键盘/电话事件，处理手机拨号号码和来电号码的捕获和拨号帧、振铃帧的封装等。音频串行控制总线采用SPI协议，数据总线采用I2S模式。

Claims (6)

1.一种二网合一的手机及其实现方法，其特征在于使用GSM传送话音、使用IP网络传送通话者视频图像并在终端同步还原，即通过Wi-Fi接入IP网络并通过IP网络实现手机之间的视频通信，其关键的方法是：1)各手机向注册服务器注册自己的手机号码、机身码、终端类型和内网IP地址，2)双方终端在呼叫拨号或来电振铃时发送拨号包振铃包向交换服务器查询对方IP地址，进而进行视频连接。

2.根据权利要求1所述的手机，其特征在于通话者话音信号单独由GSM网络传送，通话者视频图像信号通过终端Wi-Fi模块由IP网络传送。

3.根据权利要求1所述的手机，其特征在于手机接入Internet上电后即向注册服务器发送注册信息，注册自己的手机号码、机身码、终端类型和内网IP地址等。

4.根据权利要求1所述的手机，其特征在于手机在拨号或来电振铃时将捕获对方手机的电话号码，并编码为拨号包或振铃包，通过Wi-Fi送往位于Internet的视频交换服务器查询该电话号码对应的IP地址。

5.根据权利要求1所述的手机，其特征在于上电时、以及每隔一定的时间间隔，向交换服务器发送心跳包。

6.根据权利要求1所述的手机，其特征在于其电路组成由GSM模块、Wi-Fi模块和视频通信处理模块组成。

Images