CN1805534A - 一种显示多个视频画面的手机及其方法 - Google Patents

Abstract

本发明涉及通信终端领域，为了解决在手机视频通信中只能显示远端手机视频的问题，提供了一种显示多个视频画面的手机及其方法，在本地手机与远端手机进行视频通话时进行如下操作，接收来自远端的视频流数据，获得本地手机的视频流数据，把这些视频流数据分别置于不同的视频通道内，通过设置视频通道的参数确定通道显示的顺序，区分屏幕显示的前景与背景，并根据用户的选择把视频数据显示到屏幕上。本发明的有益效果在于，本地手机使用者可以通过简单的操作观看到自己的图像，调整视频角度提高传输视频的质量。

Description

一种显示多个视频画面的手机及其方法

技术领域

本发明涉及通信终端领域，特别涉及能够进行视频通信的移动通信终端领域，具体的讲是一种在手机上显示多个视频画面的方法。

背景技术

近年来，向便携式电话或个人数字助理(PDA)等便携式信息通信终端已经快速普及，其通过移动通信网即可通话又可进行信息交换，特别是便携式电话，已经成为年轻人的一种必不可少的通信工具了。随着通信技术和移动通信终端技术的发展，人与人之间利用移动通信终端不仅能够进行语音和简单文字的通信，并且已经可以实时的进行视频和语音的通信。目前的部分手机内置摄像头和视频捕捉卡，具有视频电话的功能，但是在通话的过程中只能在本地手机屏幕上显示视频通信的对方画面，并不知道自己的视频状态，这些手机预设了Real One Player或Windows Media Player等移动播放器，除了视频电话的功能，还可实现回放自己录制的3gpp视频文件之外，支持RealMedia、Mp3、ACC、MPEG-4等多种多媒体格式文件的播放，还可以通过无线连接实现实时观看流媒体和下载视频文件的功能。例如中国专利01119946.6，发明名称为“便携式电话、远程监视系统、便携式信息终端及其使用方法”的专利，描述了一种便携式电话，包括一可显示活动图像的显示部分；一个通过移动通信网接收所反射的图像信号的图像信号接收部分；一个再现由该接收部分接收到的图像信号，并在显示部分显示该再现图像的图像信号再现部分；一个通过移动通信网发送和接收图像信号的发送/接收部分，一通过由该发送/接收部分接收到的图像信号显示出图像的显示部分，一摄像部分，其执行拍摄，并利用收发部分将通过拍摄所得的图像信号发送出去；先通过摄像部分将周边环境拍摄下来；再通过移动通信网，借助于收发部分将拍摄获得的图像信号发送到与之连接的另一个便携式信息终端上；然后，是如此拍摄到的周边景象显示在另一个便携式信息终端的图像显示部分。以实现通信终端之间互传视频信息。但是这样的设计并不完全合理，因为图像的发送者并不知道本地手机在拍摄自己的视频影像时的效果和质量，也许光线不够造成显示在对方屏幕上的视频影像过暗，可能自己外形上有些不妥等等的情况，很可能使进行视频通信的另一方看到，造成不好的影响。

中国专利01802409.2，发明名称为“产生多窗口视频信号”的专利，描述了一种用于生成合成输出图像信号的电路，这种电路比已知的电路便宜，根据该发明的这种电路的特征在于彩色解码装置包括一种用于将至少两个输入图像信号组合成一个组合的图像信号的组合装置，以及用于将组合的图像信号解码以获得一个单独的已解码图像信号的彩色解码器，组成装置被安排来根据单独的已解码的组合图像信号来产生合成输出图像信号。这样，相对于已知电路至少节省了一个高价的彩色解码器。再根据该发明的电路中，一个彩色解码器执行所有要在该电路中执行的解码操作。但是该发明需要更多的存储器，造价很高，只是应用于电视领域。这种设计新的复杂的电路而实现画中画的功能对于在手机或PDA本来已经要求很小巧的机身内很难实现。

发明内容

为了解决上述问题，本发明提供了一种在手机上显示多个视频画面的方法，解决在PDA或手机终端有限的显示屏幕内显示更多的内容，并且方便用户实时注意本地视频效果和质量的难题。

一种在手机上显示多个视频画面的方法，在本地手机与远端手机进行视频通话时进行如下操作，接收来自远端的视频流数据，获得本地手机的视频流数据，把这些视频流数据分别置于不同的视频通道内，通过设置视频通道的参数确定通道显示的顺序，区分屏幕显示的前景与背景，分别同时进行视频解码，并根据用户的选择把视频数据显示到屏幕上。

所述的设置手机视频信道参数包括：画面显示坐标，分辨率，该视频流显示的优先级，是否显示该通道视频数据的显示开关参数。

所述的视频流显示的优先级是指，视频流在屏幕上显示的顺序，优先级高的视频流经过解码模块的解码将动态图像显示到屏幕的特定位置上，优先级低的视频流经过解码模块的解码后将动态图像同时显示在屏幕上。

所述用户的选择包括：单画面切换，单画面向多画面切换，多画面之间的切换，多画面向单画面切换；

单画面切换：设置当前通道显示开关参数值为关闭，设定为不显示当前通道视频数据，把其它通道的开关参数设置为开通，重新设置画面显示坐标和分辨率，进行解码并显示该通道画面；

单画面向多画面切换：显示当前通道视频数据，由用户设置为多画面显示模式，由手机内部功能模块分别设置多个通道参数，包括设置显示开关参数为开通，优先级参数，即设置前景显示画面与背景显示画面，前景与背景画面的显示坐标和分辨率，进行该多个通道视频数据的解码操作，同时显示该多个通道视频数据；

多画面之间的切换：显示多通道视频数据，由用户选择切换，由手机内部功能模块分别设置多个通道参数，设置该多个通道显示开关参数为开通，设置新的通道优先级，确定新的前景显示画面和背景显示画面，设置通道显示坐标和分辨率，进行该多个通道视频数据的解码操作，同时显示该多个通道视频数据；

多画面向单画面切换：显示多通道视频数据，由用户选择切换成单画面，由手机内部功能模块设置当前显示的多个通道的参数，设置该多通道显示开关参数为关闭，设置欲显示的单画面所对应通道的显示开关参数为开通，将该通道的优先级设置为当前显示画面，设置通道显示坐标和分辨率，显示该通道视频数据。

一种显示多个视频画面的手机，包括通信装置，音频视频输入输出装置，中央处理单元，其特征在于还包括：音频视频处理装置，音频视频编码装置；其中，

所述的通信装置与音频视频处理装置相联接，在中央处理单元的控制下与音频视频处理装置交换数据；

所述的音频视频处理装置与音频视频编码装置相联接，在中央处理单元的控制下与音频视频编码装置交换数据；

所述的音频视频编码装置与音频视频输入输出装置相联接，在中央处理单元的控制下与音频视频输入输出装置交换数据；

在中央处理单元的控制下由通信装置接收远端通信终端的音频视频数据，采集本地手机的音频视频数据，经过音频视频处理装置对远端音频视频数据和本地手机音频视频数据的处理，由音频视频编码装置进行解码与编码，最后输出到本地手机屏幕和耳机。

所述的音频视频处理装置包括：均衡器、正交同相器、去交织器、交织器、信道编码器、信道解码器；所述的均衡器、去交织器和信道解码器串连，用于处理接收到的信号；正交同相器、交织器与信道编码器串连，用于处理发送出去的信号。

本发明的有益效果在于，在能够进行无线视频通信的手机或PDA上不仅能够显示远端视频信息，而且还能够显示本地视频信息，方便使用者观察本地视频效果，调整视频角度提高传输视频的质量。

附图说明

图1是本发明视频通道的示意图；

图2为本发明方法的流程图；

图3是本发明选择显示模式的示意图；

图4a为本发明背景为远端画面前景为本地画面双窗口的示意图；

图4b为本发明背景为远端画面前景为本地画面双窗口的另一示意图；

图4c为本发明背景为本地画面前景为远端画面双窗口的示意图；

图4d为本发明背景为本地画面前景为远端画面双窗口的另一示意图；

图5为本发明单画面切换过程的流程图；

图6为本发明单画面向双画面切换过程的流程图；

图7为本发明双画面之间切换过程的流程图；

图8为本发明双画面向单画面切换过程的流程图；

图9为本发明手机结构图。

具体实施方式

下面，结合附图对于本发明进行如下详细说明。

如图1所示为本发明视频通道示意图，在手机中安装一个能同时对多路视频信号进行解码的解码器，在手机通过网络与远端终端建立无线连接后接收远端的视频信号，置于一个视频通道内，在本例中为通道1，所代表的视频文件为V02.MP4，获得本地手机视频头所采集的视频信号，置于另一个视频通道内，通道0，所代表的视频文件为V01.MP4，这两条通道互不干扰传输各自的视频流数据，一个传输远程视频流，另一个传输本地视频流，进行多线程处理。视频显示时，采用两个窗口，使其中一个用于背景视频流，另一个用于前景视频流。用户可以通过用户界面在前景和背景之间设置和切换，本例采用两个视频通道，可以同时显示从远程接收到的和本地采集的两方面的画面。

图2为本发明方法的流程图，如图所示，首先通信双方建立视频呼叫连接，默认远端单画面为背景画面，由用户根据主菜单选择切换成什么样的画面如图3所示，如果选择了单画面切换方式，则把当前的远端画面切换成为本地摄像头所拍摄的视频内容，该内容就是通过无线网络向远端终端传送的视频内容，如图4a至图4d所示，为远端画面与本地画面在手机显示屏幕上的位置，也可以拆分手机显示屏幕为若干个固定区域，每个视频流显示在固定的子窗口内，该切换过程如图5所示，具体过程为：获取本地视频数据流和远端视频数据流，将本地视频数据流置于通道0，将远端视频数据流置于通道1，默认屏幕显示的图像为远端通道1的视频数据，当用户选择切换画面，更改当前远端视频通道参数值，设定远端视频通道的显示参数为关闭，不显示远端视频通道的数据，把本地手机视频通道显示参数设置为打开，重新设置画面显示坐标和分辨率，显示本地视频通道画面；如果用户选择单/双画面切换方式，则过程如图6所示，具体过程如下：获取本地视频数据流和远端视频数据流，将本地视频数据流置于通道0，将远端视频数据流置于通道1，默认屏幕显示的图像为远端通道1的视频数据，由于用户选择了多画面显示模式，则设置本地和远端视频通道显示参数为打开，再设置优先级参数，即设置前景显示画面与背景显示画面，前景与背景画面的显示坐标和分辨率，远端视频通道的优先级高则先在屏幕上显示动态的远端画面，形成所述的背景画面，再根据用户设置的本地视频通道的坐标参数在屏幕的相应位置特定大小的窗口内显示本地动态视频画面，这时本地画面为前景，这样同时显示多个通道视频数据。如果用户在两窗口画面的情况下要切换该两个窗口，即当前的背景切换为前景，当前的前景切换为背景，过程如图7所示，具体过程如下：当进行了双画面的选择，显示该两个通道视频数据，由用户选择切换，分别设置两个通道参数，设置新的通道优先级，结合上面所述的，将现在以窗口模式显示的本地前景画面所对应通道的优先级设定为高，将现在以背景模式显示的远端画面所对应通道的优先级设定为低，并设置两个通道显示的坐标和分辨率，先在手机屏幕上显示优先级高的本地视频数据，再在屏幕的设定位置开辟一个特定大小的窗口以用来显示作为前景的远端视频画面；如果用户选择双画面向单画面切换，过程如图8所示，具体过程如下：当显示两个通道视频数据时，由用户选择切换成单画面，设置当前显示的两个通道的参数，确定要显示画面所对应的视频通道，将该通道的优先级设置为高，即先显示该通道的画面，设置通道显示坐标和分辨率，设置另一个通道的显示参数为关闭，不显示该通道的视频画面，对允许显示的通道视频数据进行解码操作，显示该通道视频数据。

远程传输来的视频流与摄像头获取本地的视频流分别解码，解码过程在手机硬件中实现。解码视频流被调入不同的视频通道进行操作。一般来说，可以默认视频电话开始为单画面显示，默认为远程画面(这个设置只是一般情况，也可以根据需要设置为默认双画面显示)。设置当前显示视频的通道，然后设置画面显示坐标和分辨率，进行显示。如果要进行画面间的切换，则更改当前通道参数值，重新设置画面显示坐标和分辨率，进行显示。设定在一定的时间里，比如1秒，使得背景消隐前景显示。画面渐变切换的过程，可以通过预先设置的掩模底图(掩模底图规定为黑白两色的二值图形)来完成。在切换中，掩模底图里黑色的部分显示背景中对应位置上的画面，而白色部分则显示前景中对应位置上的画面。将画面渐变切换技术引入手机视频电话的移动播放器，将前后两段画面在切换区内的强度进行调整，使之自然衔接过渡。它产生的效果是：当视频画面进入切换区范围的时候，背景画面即将结束，其强度逐渐减弱；与此同时，前景画面的强度逐渐增强。于是背景画面变得越来越透明直至消失；而前景画面逐渐变得清晰。

在用户进行视频通信时，不仅仅只局限于两个视频流之间的切换和同时显示，当手机接收到多个视频流数据同样是把该多个视频流置于不同的通道内，并且通过设置通道的参数以来选择显示的视频流个数，视频流的优先级和显示的窗口位置、窗口大小，可以根据不同的优先级分层次的显示来自不同视频流的画面，还可以通过不同的切换方式切换画面为背景或前景，这其中的前景和背景是相对的，是相对于视频流的优先级区分的显示层次。

如图9所示为本发明硬件联接图，手机的中央处理器与手机键盘，LCD显示器，SIM卡装置，RAM，闪存(Flash)，数据单元等部分联接，控制这些部分的数据处理和显示；该中央处理器还与信号部分，音视频处理部分，解码部分相联接，其中信号部分包括：天线，天线开关，接收与发射装置，调制与解调装置，还具有协调接收发射装置的频率合成装置，该部分主要用来接收和发射信号；其中音视频处理部分包括：信号均衡装置，信号正交同相装置，加密与解密装置，视频与音频交织装置，视频与音频去交织装置，信道编码与解码装置；其中编码解码部分包括：语音视频解码装置，语音视频编码装置，信号经过解码后送入数/模转换器在手机的屏幕和耳机上播放收到的数据，本地手机摄制的音频视频信号通过数/模转换器把信号传入信道编码，经过音频视频信号交织装置把本地手机的音频与视频信号同步，经过加密装置对要传输的数据进行加密，再经过正交相同，将该信号进行调制经过发射装置通过天线发射。

本发明的有益效果在于，在一个移动通信终端的屏幕上同时显示本地视频画面与远程视频画面，并实现这两种画面的相互切换，可以使使用者得知本地视频画面的状态，是强光还是背光，使进行视频通信的双方都有更好的视频画面。

以上具体实施方式仅用于说明本发明，而非用于限定本发明。

Claims (6)

1.一种在手机上显示多个视频画面的方法，其特征在于，在本地手机与远端手机进行视频通话时进行如下操作，接收来自远端的视频流数据，获得本地手机的视频流数据，把这些视频流数据分别置于不同的视频通道内，通过设置视频通道的参数确定通道显示的顺序，区分屏幕显示的前景与背景，并根据用户的选择把视频数据显示到屏幕上。

2.根据权利要求1所述的一种在手机上显示多个视频画面的方法，其特征在于，所述的设置手机视频信道参数包括：画面显示坐标，分辨率，该视频流显示的优先级，是否显示该通道视频数据的显示开关参数。

3.根据权利要求2所述的一种在手机上显示多个视频画面的方法，其特征在于，所述的视频流显示的优先级是指，视频流在屏幕上显示的顺序，优先级高的视频流将动态图像先显示到屏幕的特定位置上，优先级低的视频流将动态图像后显示屏幕的特定位置上。

4.根据权利要求1所述的一种在手机上显示多个视频画面的方法，其特征在于，所述用户的选择包括：单画面切换，单画面向多画面切换，多画面之间的切换，多画面向单画面切换；

单画面切换：设置当前通道显示开关参数值为关闭，设定为不显示当前通道视频数据，把其它通道的开关参数设置为开通，重新设置画面显示坐标和分辨率，进行解码并显示该通道画面；

单画面向多画面切换：显示当前通道视频数据，由用户设置为多画面显示模式，由手机内部功能模块分别设置多个通道参数，包括设置显示开关参数为开通，优先级参数，即设置前景显示画面与背景显示画面，前景与背景画面的显示坐标和分辨率，同时显示该多个通道视频数据；

多画面之间的切换：显示多通道视频数据，由用户选择切换，由手机内部功能模块分别设置多个通道参数，设置该多个通道显示开关参数为开通，设置新的通道优先级，确定新的前景显示画面和背景显示画面，设置通道显示坐标和分辨率，同时显示该多个通道视频数据；

多画面向单画面切换：显示多通道视频数据，由用户选择切换成单画面，由手机内部功能模块设置当前显示的多个通道的参数，设置该多通道显示开关参数为关闭，设置欲显示的单画面所对应通道的显示开关参数为开通，将该通道的优先级设置为当前显示画面，设置通道显示坐标和分辨率，显示该通道视频数据。

5.一种显示多个视频画面的手机，包括通信装置，音频视频输入输出装置，中央处理单元，其特征在于还包括：音频视频处理装置，音频视频编码装置；其中，

所述的通信装置与音频视频处理装置相联接，在中央处理单元的控制下与音频视频处理装置交换数据；

所述的音频视频处理装置与音频视频编码装置相联接，在中央处理单元的控制下与音频视频编码装置交换数据；

所述的音频视频编码装置与音频视频输入输出装置相联接，在中央处理单元的控制下与音频视频输入输出装置交换数据；

在中央处理单元的控制下由通信装置接收远端通信终端的音频视频数据，采集本地手机的音频视频数据，经过音频视频处理装置对远端音频视频数据和本地手机音频视频数据的处理，由音频视频编码装置进行解码与编码，最后输出到本地手机屏幕和耳机。

6.根据权利要求5所述的一种显示多个视频画面的手机，其特征在于，所述的音频视频处理装置包括：均衡器、正交同相器、去交织器、交织器、信道编码器、信道解码器；所述的均衡器、去交织器和信道解码器串连，用于处理接收到的信号；正交同相器、交织器与信道编码器串连，用于处理发送出去的信号。

Images