CN1832568A - 便携终端的影像和语音信号的同步装置及其方法 - Google Patents

Abstract

一种便携终端的影像和语音信号的同步装置及其方法，其涉及在多媒体便携终端中，反映人的语音信号认知时间，快速地进行唇式同步语音信号和影像信号，从而使多媒体通信更为自然、快捷、顺畅。所述方法包括：在进行多媒体通信的过程中，在发送多媒体信号的情况下，将语音和影像的多媒体信号进行数字调制，并发送包括演算的语音和影像信号的调制时间差值；在接收多媒体信号的情况下，接收语音和影像的多媒体信号并进行数字解调，演算语音和影像信号的解调时间差值，并演算反映接收的调制时间差值和认知时间差值的唇式同步时间差值，以唇式同步时间差值迟延解调的语音信号，输出影像信号和语音信号。

Description

便携终端的影像和语音信号的同步装置及其方法

技术领域

本发明是将从多媒体便携终端接收的影像信号和语音信号更快地进行唇式同步，特别是涉及便携终端的影像和语音信号同步装置及其方法，将人识别的时间差反映到发生在发送方和接收方的数字调制解调时间差，因此缩短语音信号的输出迟延时间，以便能够进行迅速而顺畅的多媒体通信。

背景技术

移动通信用便携终端(MS：MOBILE STATION)在加入后已被登录的系统的相应基站(RAN：RADIO ACCESS NETWORK)形成的服务区域(SERVICE AREA)内自由移动，经过根据移动交换台(MSC：MOBILESWITCHING CENTER)的监视、控制和切换(SWITCHING)而被设定的通信路径，可以在任何时间、任何地方与所希望交流的对象立即进行无线连接、通信，是个人经常直接携带并移动的尖端无线通信设备。

移动通信系统包括第一代(1G)的只利用语音级信号通信，在第二代(2G)发展成为利用文字短消息的数据通信方式，现在的第三代(3GPP)移动通信系统已经发展成为包括语音信号和文字信号以及影像信号的多媒体级通信方式。

为了提高便携终端的移动性和便携性，其被制作成了小型而轻量的便携终端，因此，体积小、构成被限制就导致了类似于程序及存储器等相关资源的处理能力也有限制。

用于上述多媒体通信的影像信号和语音信号要被数字处理，因为影像信号要处理的数据量多，因此比发送语音信号更消耗迟延时间。

在上述移动通信系统中与对方直接连接实时通信的情况下，输入的影像信号和语音信号被处理的同时进行传送，而处理影像信号的情况下，由于需要处理的数据量多，从处理结束到传送的时间要比语音信号消耗的时间多，接收方处理的情况也比语音级信号处理的时间长。

与对方进行多媒体通信的情况下，虽然语音级信号能够及时输出，但由于影像信号输出的慢，因此存在影像信号和语音信号的同步不一致的问题。

而且，开发多媒体通信的语音信号和影像信号一致的唇式同步技术的同时，也有必要开发能够进行迅速而顺畅的通信的技术。

以下参照附图详细说明现有技术的便携终端的影像信号和语音信号同步进行的唇式同步的方式。

图1是一般的移动通信系统的功能构成图，图2是现有技术的便携终端的影像信号和语音信号同步方法的流程图，这两个图都是用以说明现有技术的。

下面参照图1说明一般的移动通信系统，便携终端10在基站(RAN)20形成的服务区域内自由移动，可以在任何时间、任何地方与所希望交流的对象立即进行无线连接、通话。

由于上述基站20形成的服务区域是限定的，因此本发明提供多个基站20以一定的间距连续被设置，将全国形成为移动通信服务区域，上述多个基站20由移动交换台(MSC)30的控制与监视而运行，上述移动交换台30记录保存便携终端10的入网信息、登记位置，并提供通过相应基站20的移动通信服务。

上述便携终端10连接请求的对方加入登录到另外的通信系统时，由于上述移动交换台30控制空中网40连接到相应通信网，所以可以与相应通信网的对方进行无线连接并进行通信。

上述便携终端10可以以包括影像信号和语音信号的多媒体方式进行通信。由于上述影像信号比语音信号的数据量多，因此不仅存在便携终端处理发送的时间差、接收处理的时间差。而且还存在影像信号和语音信号的同步或唇式同步(LIP SYNCHRONOUS)不一致而导致的多媒体通信不自然的问题。

以下参照图2说明现有技术的便携终端的影像信号和语音信号的同步方法。

利用上述便携终端发送多媒体通信信号的情况下(步骤S10)，输入包括影像信号和语音信号的多媒体信号(步骤S20)，将上述输入的信号各自数字调制处理后进行发送(步骤S30)。

用上述便携终端接收对方传送的多媒体信号的情况下(步骤S40)，接收语音信号和影像信号进行数字解调处理(步骤S50)，同步(LIP SYNC.)处理影像信号和语音信号并输出(步骤S60)。

上述多媒体通信中，由于影像信号的数据量多，因此数据处理所需的时间较长，而语音信号的数据量较少，因此数据处理并发送所需的时间较短，发送时要比发送影像信号快。

另外，由于接收方也发生相同的现象，因此存在影像信号和语音信号的同步不一致的问题，由此产生各自输出多媒体通信的语音和影像信号而导致通信不自然的问题。

为解决上述问题，现有技术的做法是，演算在发送方和接收方各自发生的影像信号和语音信号的处理迟延时间，并迟延在接收方中输出的语音信号，因此使得接收输出的影像信号和语音信号达到同步。

但是，通信会随着迟延时间变慢，回复也会慢，用户仍会感觉到迟延时间，因此存在通信无法正常进行或通信时间变长等的问题。

发明内容

本发明的目的在于提供一种便携终端的影像和语音信号同步装置及其方法，在进行多媒体通信的便携终端的接收方中，认知发送方和接收方的影像信号迟延时间反映人的听力误差，因此迅速输出语音级信号缩短通信进行时间的同时，使进行顺畅而自然。

为实现上述目的而提出的本发明由如下特征构成，根据便携终端的控制部与对方进行多媒体通信的情况下，将从输入输出部输入的语音和影像信号在影像处理部和语音处理部进行数字调制，并通过无线部实时发送，控制唇式同步演算部发送演算的调整时间差；从无线部接收对方的多媒体信号的情况下，通过影像处理部和语音处理部各自数字解调，并控制唇式同步演算部演算解调时间差，反映接收的调整时间差值和人的认知时间差，演算唇式同步时间差值，用上述演算的唇式同步时间差值迟延解调的语音信号，并使其与解调的影像信号同步状态地输出到输入输出部。

而且，为实现如上所述的目的而提出的本发明的装置的由如下几个部分构成：无线部，无线发送或接收多媒体通信信号，无线发送影像信号和语音信号的调制时间差值；控制部，与上述无线部连接，数字调制多媒体发送信号一并与时间差值进行输出，解调接收信号，输出反映演算的唇式同步值的多媒体信号；影像处理部，与上述控制部连接，将发送或接收的影像信号进行数字调制或解调并输出；语音处理部，与上述控制部连接，将发送或接收的语音信号数字调制或解调并输出；唇式同步演算部，与上述控制部连接，演算输出影像处理部和语音处理部调制或解调的时间差值，并演算输出唇式同步时间。

而且，为实现如上所述的目的而提出的本发明的方法包括如下步骤：便携终端的控制部为了与对方通信而进行多媒体信号传送的情况下，数字调制语音和影像的多媒体信号，演算语音和影像信号的调制时间差值并进行传送；接收对方的多媒体信号的情况下，接收语音和影像的多媒体信号进行数字解调，演算语音和影像信号的解调时间差值，并演算反映接收的解调时间差值与人的认知时间差值的唇式同步时间差值，用上述演算的唇式同步时间差值迟延解调的语音信号，以影像信号和语音信号的同步状态输出。

而且，为实现如上所述的目的而提出的本发明的方法包括如下步骤：输入步骤，根据便携终端的控制部要与对方通信而进行传送的情况下，输入语音和影像的多媒体信号并各自进行数字调制；演算步骤，在上述步骤中，给对方传送数字调制的多媒体信号，并演算语音和影像信号的调制时间差值进行传输；解调步骤，根据上述控制部的判断，接收对方传送的多媒体信号的情况下，数字解调接收的信号；演算时差步骤，根据上述步骤演算语音和影像信号的解调时间差值，演算反映调制时间差值与人的认知时间差值的唇式同步值；唇式同步步骤，以上述步骤中演算的唇式同步值迟延解调的语音信号，以影像信号和语音信号的同步状态输出。

本发明的有益效果在于，将在多媒体通信时由于影像信号和语音信号的处理时间差而发生的多媒体输出迟延时间，通过反映根据人的认知时间差值的唇式同步时间值，先输出语音信号，而使得实时多媒体通信以最小的迟延迅速进行。此外，使语音信号先输出人的认知时间差值的时间，与影像信号唇式同步输出，因此使多媒体通信自然地进行，并使其在使用上更加便利。

附图说明

图1是一般的移动通信系统的功能构成图；

图2是现有技术的便携终端的影像信号和语音信号同步方法的顺序图；

图3是本发明便携终端的影像和语音信号同步装置功能构成图；

图4是本发明便携终端的影像和语音信号同步方法顺序图。

附图主要部分的符号说明：

100：无线部        110：控制部            120：存储部

130：输入输出部    140：唇式同步演算部    150：语音处理部

160：影像处理部

具体实施方式

以下参照附图详细说明本发明的便携终端的影像和语音信号的同步装置及其方法。

图3是本发明便携终端的影像和语音信号同步装置功能构成图，图4是本发明便携终端的影像和语音信号的同步方法流程图，均为说明本发明而附加的。

参照附图3说明本发明的便携终端的影像和语音信号同步装置，其特征包括：移动通信用便携终端的控制部110与对方进行多媒体(MULTIMEDIA)通信的情况下，将输入输出部130输入的语音和影像信号在影像处理部160和语音处理部150中进行数字调制，通过无线部100实时发送，控制唇式同步演算部140发送演算的调制时间差值；从无线部100接收对方的多媒体信号的情况下，通过影像处理部160和语音处理部150各自进行数字解调，控制唇式同步演算部140演算解调时间差值，反映接收的调制时间差值和人的认知时间差值演算唇式同步(LIP SYNCHRONOUS)时间差值，以上述演算的唇式同步时间差值迟延解调的语音信号与解调的影像信号一同输出到输入输出部。

详细说明如上所述的构成包括：无线部100，控制部110，存储部120，输入输出部130，唇式同步演算部140，语音处理部150，影像处理部160。

无线部100，无线接收或发送多媒体通信信号，无线接收或发送影像信号和语音信号的调制时间差值。

控制部110，与上述无线部连接，数字调制多媒体发送信号并与时差值或时间差值一同输出，解调接收信号并输出反映演算的唇式同步值的多媒体信号。从输入输出部130添加要发送的多媒体信号的情况下，影像信号添加到影像处理部160进行数字调制(MODULATION)，添加到无线部100无线发送给对方，影像信号调制时间信息添加到唇式同步演算部140中。语音信号添加到语音处理部150进行数字调制，添加到无线部100无线发送给对方，语音信号调制时间信息添加到唇式同步演算部140中。控制唇式同步演算部140演算影像信号和语音信号的调制时间差值，添加到上述无线部100传送给对方，如果从上述无线部100无线接收到对方传送的多媒体信号和时间差值，则影像信号添加到影像处理部160进行数字解调，影像信号解调时间信息添加到唇式同步演算部140中；语音信号添加到语音处理部150进行数字解调，语音信号解调时间信息添加到唇式同步演算部140中。控制唇式同步演算部140演算在调制时间差值和解调时间差值中反映人的认知时间差值的唇式同步值，将解调的语音信号迟延相当于上述演算的唇式同步值，控制并监视与影像信号一同输出到输入输出部。

存储部120，与上述控制部110连接，根据相应控制记录保存并输出运用程序和数据。

输入输出部130，与上述控制部110连接，根据相应控制，输入包括影像信号和语音信号的多媒体信号，输出唇式同步的多媒体信号。

唇式同步演算部140，与上述控制部110连接，各演算输出影像处理部160和语音处理部150调制和解调的时间差值，演算输出唇式同步时间。

语音处理部150，与上述控制部110连接，将发送或接收的语音信号进行数字调制或解调并输出，根据控制部110的控制，将输入输出部130添加的语音信号调制成数字信号，与相应调制时间信息一同输出，将无线部100接收添加的语音信号解调成数字信号，与相应解调时间信息一同输出。

影像处理部160，与上述控制部110连接，将发送或接收的影像信号进行数字调制或解调并输出，根据控制部110的控制，将输入输出部130添加的影像信号调制成数字信号，与相应调制时间信息一同输出，将无线部100接收添加的影像信号解调成数字信号，与相应解调时间信息一同输出。

以下参照附图详细说明如上所述构成的本发明的便携终端的影像和语音信号的同步装置。

上述移动通信用便携终端(MS)利用数字方式，包括影像(VIDEO)信号和语音(VOICE或AUDIO)信号的多媒体信号，与对方在移动状态下进行无线通信。

如果向上述便携终端输入根据影像和语音的多媒体信号，则各以数字方式调制(MODULATION)处理并无线传送，以将从对方无线接收的多媒体信号数字处理并解调(DEMODULATION)输出的方式与对方进行无线通信。

上述影像信号比语音信号数字处理的数据量多，因此，在为发送的调制和接收处理的解调步骤各消耗的时间较多。

上述便携终端(MS)与无线连接的对方进行多媒体无线通信的情况下，要实时传送相应语音和影像信号。

上述便携终端向对方发送经过数字处理的多媒体信号的情况下，数据量少的语音级信号无线传送的快，而数据量多的影像级信号需要时间来进行数字处理，因此相应的无线传送速度会慢。

而且，接收方也如此，语音级信号数据量少，因此很快地被处理而输出，影像级信号数据量多，因此处理数据要消耗时间而输出的会慢，由于影像(VIDEO)信号随着发送过程和接收过程中产生的延迟时间而延迟输出，最终输出的多媒体信号的音频信号和影像信号将不会同步(LIP SYNC)输出并导致发生不协调感。

如上所述迟延数据量多的语音信号，在使其与影像信号进行唇式同步的情况下，从发送方发送通信内容到对方确认为止，迟延上述唇式同步的时间，答复上述迟延的通信内容的情况下，通过与上述相同的步骤而迟延，则多媒体通信会进行地很不自然。

而且，人用视觉确认影像信号，用听觉确认认知的时间和语音信号，认知并同步的时间上会有一定的差别。

因此，检测出人的上述认知时间差，并从上述唇式同步延迟时间中减去上述认知时间差，使语音信号按照人的认知时间差进行输出，从而实现更为自然、快捷、顺畅的多媒体通信操作。

上述便携终端(MS)的控制部110被提供工作电源，在活性化控制各功能部件的同时，从存储部读取相应运用程序和应用程序及数据，而成为待机(STANDBY)状态，在上述待机状态下，多媒体通信的对方通过无线部100在无线连接状态下，从上述输入输出部130输入影像信号和语音信号，要与指定的对方发送时，从上述输入输出部130输入的影像信号添加到影像处理部160，语音信号添加到语音处理部150。

上述影像处理部160根据控制部110的控制，将输入的影像信号进行数字调制(MODULATION)并输出，上述语音处理部150也根据控制部110的控制，将输入的语音信号进行数字调制(MODULATION)并输出。

上述控制部110将从影像处理部160和语音处理部150接收的数字调制输入的信号添加到无线部100，与指定的对方实时(REALTIME)进行无线传送的同时，将上述各影像信号和语音信号的数字调制时间信息添加到上述唇式同步演算部140，以演算时间差值(TD-SKEW)，上述控制部110将演算的时间差值(TD-SKEW)添加到无线部100，并无线传送给对方。

如上所述，便携终端发送的多媒体信号经由移动通信基站(RAN)和移动交换台(MSC)系统传送到指定的对方，因此存在根据上述系统发生的迟延时间(TD-NET：TIME DELAY NETWORK)，而影像信号和语音信号几乎同样发生上述系统迟延时间(TD-NET)，因此可以不考虑其迟延时间。

上述便携终端(MS)通过活性化的无线部100无线接收对方传送的多媒体信号和调制时间差值(TD-SKEW)的情况下，分离检索输出上述无线接收的多媒体信号的影像信号添加到影像处理部160，分离检索输出语音信号添加到语音处理部150，分离检索输出的调制时间差值(TD-SKEW)各添加到唇式同步处理部140中。

上述影像处理部160将接收添加的影像信号数字解调(DEMODULATION)并输出，上述语音处理部150将接收添加的语音信号数字解调(DIGITAL DEMODULATION)并输出。

上述控制部110添加各从影像处理部160和语音处理部150解调的影像信号和语音信号，临时记录保存到存储部120分配的区域中，检索输出各自解调(DEMODULATION)上述影像处理部160和语音处理部150所需的时间信息添加到上述唇式同步演算部140，上述唇式同步演算部140根据控制部110的控制演算影像信号和语音信号的解调时间差值(TD-REC)。

上述控制部110从上述存储部120读取人的认知时间差值(TD-NEG)，添加到上述唇式同步演算部140的同时并进行控制，演算反映在调制时间差值(TD-SKEW)和解调时间差值(TD-REC)中的人的认知时间差值(TD-NEG)。

添加如上所述演算的唇式同步时间差值的控制部，读取临时记录保存在上述存储部分配的区域的影像信号和语音信号，将语音信号迟延上述唇式同步时间差值，设定为与影像信号同步的状态，输出到上述输入输出部130，由此可以进行无线通信。

因此，检测出人的认知时间差(TD-NEG)，使语音信号按照人的上述认知时间差进行输出，从而实现更为自然、快捷、顺畅的多媒体通信操作，并存在不会发生异常感的优点。

以下参照附图4说明本发明的便携终端的影像和语音信号的同步方法。

在移动通信用便携终端的控制部110为了与对方进行通信而无线发送多媒体信号时，数字调制(DIGITAL MODULATION)语音和影像的多媒体信号，并包括演算的语音和影像信号的调制时间差值进行无线发送。而在无线接收多方的多媒体信号的情况下，无线接收并数字解调(DIGITALDEMODULATION)语音和影像的多媒体信号，演算语音和影像信号的解调时间差值，演算反映接收的调制时间差值和人的认知时间差值的唇式同步(LIP SYNCHRONOUS)时间差值，以上述演算的唇式同步时间差值迟延解调的语音信号(VOICE SIGNAL)，并以影像信号(VIDEO SIGNAL)和语音信号同步(DELAY)的状态输出。

再次说明如上所述的一系列的步骤：

输入步骤，在便携终端控制部110要与对方通信而进行无线发送的情况下，输入语音(AUDIO)和影像(VIDEO)的多媒体(MULTIMEDIA)信号并各自进行数字调制(DIGITAL MODULATION)。输入步骤包括如下步骤：根据控制部110的判断，判断是要与对方进行通信而发送多媒体信号的步骤(步骤S100)；在上述步骤(步骤S100)中向对方发送多媒体信号时，将多媒体的语音和影像信号各自进行数字调制的步骤(步骤S110)；

演算步骤，在上述输入步骤中，给对方发送数字调制的多媒体信号，演算语音和影像信号的调制时间差值并发送。演算步骤包括如下步骤：将数字调制的语音和影像信号各自实时(REALTIME)发送给对方的步骤(步骤S120)；根据上述步骤(步骤S120)演算语音和影像信号的数字调制时间差值，无线发送给对方的步骤(步骤S130)；

解调步骤，根据上述控制部110的判断，在无线接收对方传送的多媒体信号的情况下，将接收的信号进行数字解调。解调步骤包括如下步骤：根据控制部110，判断是要与对方进行通信而接收多媒体信号和时间差值的步骤(步骤S140)；在上述步骤(步骤S140)中接收多媒体信号的情况下，实时接收语音和影像信号并各自进行数字解调的步骤(步骤S150)；

时差步骤，演算根据上述解调步骤的语音和影像信号的解调时间差值，演算反映调制时间差值和人的认知时间差值的唇式同步时间差值。时差步骤包括如下步骤：演算各自解调(DEMODULATION)多媒体(MULTIMEDIA)的语音(VOICE或AUDIO)和影像(VIDEO)信号所发生的时间差值(步骤S160)；在上述步骤(步骤S160)中演算唇式同步(LIP SYNCHRONOUS)时间差值的步骤(步骤S170)，其中唇式同步时间差值是指反映演算的解调时间差值和接收的调制时间差值和人的认知时间差值；

唇式同步步骤(步骤S180)，在上述时差步骤中以演算的唇式同步时间差值迟延解调的语音信号，并与影像信号以同步状态同时输出。

以下参照附图详细说明如上所述构成的本发明的便携终端的影像和语音信号的同步方法。

以上述移动通信用便携终端(MS)要与指定的对方发送包括影像信号的多媒体信号进行无线通信的情况下(步骤S100)为例，控制部110分析从输入输出部130添加的多媒体信号，将影像信号添加到影像处理部160并进行数字调制(MODULATION)，将语音信号添加到语音处理部150并进行数字调制(MODULATION)(步骤S110)。

上述控制部110，如上所述将经过数字调制的影像信号和语音信号各自添加到无线部100，实时(REALTIME)地与指定的对方进行无线发送(步骤S120)，控制唇式同步演算部140演算语音信号和影像信号的调制时间差值(TD-SKEW)并添加到无线部100，由此与指定的对方进行无线传送(步骤S130)。

上述便携终端(MS)的控制部110监视无线部100，判断为从对方接收包括上述调制时间差值(TD-SKEW)的信号的多媒体信号时(步骤S140)，上述调制时间差值(TD-SKEW)添加到唇式同步演算部140，并分析多媒体信号将影像信号添加到影像处理部160进行数字解调(DEMODULATION)，将语音信号添加到语音处理部150进行数字解调(步骤S150)。

上述步骤的控制部110，监视上述影像处理部160和语音处理部150，并检索输出语音信号和影像信号的解调时间，添加到上述唇式同步演算部140进行演算，由此产生出解调时间差值(TD-REC)(步骤S160)，添加从存储部120读取的人的认知时间差值(TD-NEG)，演算反映上述认知时间差值(TD-NEG)的唇式同步时间差值(TD-AUD)(步骤S170)。

添加上述步骤的唇式同步时间差值(TD-AUD)的控制部110，读取临时记录保存在上述存储部120的分配区域的影像信号和语音信号，将语音信号迟延(DELAY)唇式同步的时间差值，由此设定为与影像信号同步(SYNCHRONOUS)状态，并输出到输入输出部130(步骤S180)。

而且，从对方收到多媒体信号的语音信号按照人的认知时间差进行输出，从而使多媒体通信更为自然、快捷、顺畅。

如上所述构成的本发明的有益效果在于，将在多媒体通信过程中，由于影像信号和语音信号的处理时间差而发生的多媒体输出迟延时间，通过反映根据人的认知时间差值的唇式同步时间值，先输出语音信号，因此使得实时多媒体通信以最小的迟延迅速进行。

此外，使语音信号先输出人的认知时间差值的时间，与影像信号唇式同步输出，因此使多媒体通信自然地进行，并使之在使用上更为便利。

以上参照附图对本发明的有益实施例进行了说明，但本发明并不限定于上述实施例，在不脱离权利要求书中所要求的本发明要旨的前提下，任何在本发明所属领域具有常识的人都可以进行多种变形加以实施。

Claims (12)

1、一种便携终端的影像和语音信号的同步装置，其特征在于，在便携终端与对方进行多媒体通信的情况下，其控制部将输入输出部输入的语音和影像信号在影像处理部和语音处理部中进行数字调制，并通过无线部实时发送，控制唇式同步演算部发送演算的调制时间差值；在从无线部接收对方的多媒体信号的情况下，通过影像处理部和语音处理部各自进行数字解调，并控制唇式同步演算部演算解调时间差值，反映接收的调制时间差值和人的认知时间差值演算唇式同步时间差值，以所述演算的唇式同步时间差值迟延解调的语音信号，使其与解调的影像信号以同步状态输出到输入输出部。

2、一种便携终端的影像和语音信号的同步装置，其特征在于包括：

无线部，无线接收或发送多媒体通信信号，无线接收或发送影像信号和语音信号的调制时间差值；

控制部，与所述无线部连接，数字调制多媒体发送信号并与时差值一同输出，解调接收信号并输出反映演算的唇式同步值的多媒体信号；

影像处理部，与所述控制部连接，将发送或接收的影像信号进行数字调制或解调并输出；

语音处理部，与所述控制部连接，将发送或接收的语音信号进行数字调制或解调并输出；

唇式同步演算部，与所述控制部连接，演算输出影像处理部和语音处理部调制或解调的时间差值，演算输出唇式同步时间。

3、根据权利要求2所述的一种便携终端的影像和语音信号的同步装置，其特征在于还包括：

输入输出部，与所述控制部连接，根据相应控制，输入包括影像信号和语音信号的多媒体信号，输出唇式同步的多媒体信号；

存储部，与所述控制部连接，根据相应控制，记录保存并输出应用程序和数据。

4、根据权利要求2所述的一种便携终端的影像和语音信号的同步装置，其特征在于，所述影像处理部根据控制部的控制，将所述输入输出部添加的影像信号调制成数字信号，与相应调制时间信息一同输出；或将所述无线部接收添加的影像信号解调成数字信号，与相应解调时间信息一同输出。

5、根据权利要求2所述的一种便携终端的影像和语音信号的同步装置，其特征在于，所述语音处理部根据控制部的控制，将所述输入输出部添加的语音信号调制成数字信号，与相应调制时间信息一同输出；或将所述无线部接收添加的语音信号解调成数字信号，与相应解调时间信息一同输出。

6、根据权利要求2所述的一种便携终端的影像和语音信号的同步装置，其特征在于，所述控制部在从输入输出部添加要发送的多媒体信号的情况下，将影像信号添加到影像处理部进行数字调制，并添加到无线部无线发送给对方，而将影像信号调制时间信息添加到唇式同步演算部中；将语音信号添加到语音处理部进行数字调制，并添加到无线部无线发送给对方，而将语音信号调制时间信息添加到唇式同步演算部中；所述控制部控制唇式同步演算部演算影像信号和语音信号的调制时间差值，并添加到所述无线部传送给对方；如果从所述无线部无线接收对方传送的多媒体信号和时间差值，则将影像信号添加到影像处理部进行数字解调，并将影像信号解调时间信息添加到唇式同步演算部中；将语音信号添加到语音处理部进行数字解调，并将语音信号解调时间信息添加到唇式同步演算部中；所述控制部控制唇式同步演算部演算在调制时间差值和解调时间差值中反映人的认知时间差值的唇式同步值，将解调的语音信号迟延相当于所述演算的唇式同步值，控制并监视与影像信号一同输出到输入输出部。

7、一种便携终端的影像和语音信号的同步方法，其特征在于，便携终端的控制部为了与对方进行通信而发送多媒体信号时，数字调制语音和影像的多媒体信号，并一并与演算的语音和影像信号的调制时间差值进行发送；接收多方的多媒体信号的情况下，接收并数字解调语音和影像的多媒体信号，演算语音和影像信号的解调时间差值，演算反映接收的调制时间差值和人的认知时间差值的唇式同步时间差值，以所述演算的唇式同步时间差值迟延解调的语音信号，并以影像信号和语音信号同步的状态输出。

8、一种便携终端的影像和语音信号的同步方法，其特征在于，包括如下几个步骤：

输入步骤，在便携终端的控制部要与对方通信而进行发送的情况下，输入语音和影像的多媒体信号并各自进行数字调制；

演算步骤，在所述输入步骤中给对方发送经过数字调制的多媒体信号，演算语音和影像信号的调制时间差值并发送；

解调步骤，根据所述控制部的判断，在接收对方传送的多媒体信号的情况下，将接收的信号进行数字解调；

时差步骤，演算根据所述解调步骤的语音和影像信号的解调时间差值，演算反映调制时间差值和人的认知时间差值的唇式同步时间差值；

唇式同步步骤，在所述时差步骤中，以演算的唇式同步时间差值迟延解调的语音信号，并与影像信号以同步状态同时输出。

9、根据权利要求8所述一种便携终端的影像和语音信号的同步方法，其特征在于，所述输入步骤包括：

根据所述便携终端的控制部的判断，判断是要与对方进行通信而发送多媒体信号的步骤；

在上述步骤中，向对方发送多媒体信号时，将多媒体的语音和影像信号各自进行数字调制的步骤。

10、根据权利要求8所述一种便携终端的影像和语音信号的同步方法，其特征在于，所述演算步骤包括：

在所述输入步骤中，将经过数字调制的语音和影像信号各自实时发送给对方的步骤；

根据上述步骤演算语音和影像信号的数字调制时间差值，并无线发送给对方的步骤。

11、根据权利要求8所述一种便携终端的影像和语音信号的同步方法，其特征在于，所述解调步骤包括：

根据控制部判断是要与对方进行通信而接收多媒体信号和时间差值的步骤；

在上述步骤中，在接收多媒体信号的情况下，实时接收语音和影像信号并各自进行数字解调的步骤。

12、根据权利要求8所述一种便携终端的影像和语音信号的同步方法，其特征在于，所述时差步骤包括：

演算在所述解调步骤中各自解调的多媒体信号的语音和影像信号所发生的时间差值；

在上述步骤中，演算唇式同步时间差值的步骤，其中唇式同步时间差值是指反映演算的解调时间差值和接收的调制时间差值和人的认知时间差值。

Images