CN104079861A - 一种信息处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种信息处理方法及电子设备，该方法应用于第一电子设备中，包括：获得第一数据；基于第一数据获得P帧图像；P为大于等于1的整数；基于与第二电子设备的数据通道获得第二数据；基于第二数据获得Q帧图像；Q为大于等于1的整数；基于P帧图像和Q帧图像生成由M帧图像构成的视频流，其中M<P+Q。本发明可以根据通讯双方的视频数据，按照一定的处理规则对视频或语音数据进行剪辑后生成视频流，使得经过剪辑和组接后生成的视频流更为紧凑和连贯，观看效果更加理想；并可将生成的该视频流作为通信双方的通讯记录，便于用户在需要时进行查看播放。

Description

一种信息处理方法及电子设备

技术领域

本发明涉及通信技术领域，尤其涉及一种信息处理方法及电子设备。

背景技术

随着通讯技术和互联网技术的快速发展，出现了与邮件、电话、电报等传统通讯方式完全不同的一种网络即时通讯系统，比如SKYPE、MSN和QQ。通过即时通讯系统，即使远隔重洋的人们也可以实现如面对面的实时交谈。传统的邮件和电报以文字为主，电话以语音为主，而现有的即时通讯服务中，用户之间不仅可以通过即时通讯系统进行文字信息的交互，还可以进行语音视频交互、传送文件等多种操作。

本发明的发明人在实现本发明的过程中，发现现有技术至少存在如下技术缺陷：

1）用户在使用即时通讯工具等与其他好友或联系人用户进行视频通讯时，通常无法有效地保存通讯双方的视频数据，无法像文字数据那样保存为通讯日志或记录，在日后需要时方便地进行查看或播放；

2）用户在与其他用户进行数据通讯时，如果其中一方使用视频或语音工具，另一方不便进行视频或语音工具只能使用文字进行通讯时，这种情况下，通讯双方的交流方式很不方便，同时，也不便于保存和查看通讯记录；

3）目前的即时通讯客户端，无法提供通讯双方的视频数据的处理和存储功能，尤其是当通讯双方的通讯数据的数据格式不一致时，无法针对通讯双方各自的数据类型对通讯数据进行相应的处理和存储。

当然，本领域技术人员可以理解的是对于本申请中的一个实施例并不一定具有上述所有特点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

发明内容

本发明所要解决的技术问题是克服现有技术中用户在使用即时通讯系统进行视频、语音或文字通讯时，无法方便地保存相应的视频流的问题。

为了解决上述技术问题，本发明提供了一种信息处理方法，所述方法应用于第一电子设备中，所述方法包括：

获得第一数据；

基于所述第一数据获得P帧图像；P为大于等于1的整数；

基于与第二电子设备的数据通道获得第二数据；

基于所述第二数据获得Q帧图像；Q为大于等于1的整数；

基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，其中M<P+Q。

进一步地，所述第一电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备建立所述数据通道并进行数据通讯；

当所述数据通道断开时，所述电子设备将所述由M帧图像构成的视频流作为所述第一电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备进行数据通讯的记录，以使得所述第一电子设备的用户查看所述记录时播放所述视频流。

进一步地，所述第一数据和所述第二数据中至少一个为视频数据。

进一步地，所述第一电子设备根据所述第一数据和所述第二数据各自的数据类型确定处理规则，所述处理规则用于生成所述由M帧图像构成的视频流。

进一步地，当所述第一数据为视频数据且所述第二数据为视频数据时，所述处理规则为识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

所述基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流包括：

从所述P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数；

将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流。

进一步地，所述第一数据为视频数据且所述第二数据为视频数据时，所述处理规则还包括：当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。

进一步地，所述第一数据为文字数据且所述第二数据为视频数据时，所述处理规则为：获得所述第一数据中的有效文字输入所对应的字符及时间戳，并识别所述视频数据所包含对象是否具有语音输入，将所述有效文字输入所对应的字符以及所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

所述基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流包括：

基于所述有效文字输入所对应的字符获得P帧图像；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，J为小于Q的正整数；

依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。

本发明还提供了一种电子设备，所述电子设备包括：

通讯单元，建立本电子设备与第二设备的数据通道；

数据采集单元，获得第一数据；以及，基于与所述第二电子设备的数据通道获得第二数据；

数据处理单元，基于所述第一数据获得P帧图像，P为大于等于1的整数；基于所述第二数据获得Q帧图像，Q为大于等于1的整数；并基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，其中M<P+Q。

进一步地，所述通讯单元，基于第一ID标识与所述具有第二ID标识的第二电子设备建立所述数据通道并进行数据通讯；并在所述数据通道断开时通知所述数据处理单元；

所述数据处理单元，当接收到所述数据通道断开的通知时，将所述由M帧图像构成的视频流作为本电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备进行数据通讯的记录，以使得所述第一电子设备的用户查看所述记录时播放所述视频流。

进一步地，上述电子设备还包括处理规则存储模块，

所述处理规则存储模块，存储所述第一数据和所述第二数据的不同数据类型所对应的处理规则；

所述数据处理单元，根据所述第一数据和所述第二数据各自的数据类型确定处理规则，依据确定的所述处理规则生成所述由M帧图像构成的视频流。

进一步地，所述处理规则存储模块存储的所述处理规则，包括：

当所述第一数据为视频数据且所述第二数据为视频数据时，识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

当所述第一数据为文字数据且所述第二数据为视频数据时，获得所述第一数据中的有效文字输入所对应的字符及时间戳，并识别所述视频数据所包含对象是否具有语音输入，将所述有效文字输入所对应的字符以及所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像。

进一步地，所述第一数据为视频数据且所述第二数据为视频数据时，所述数据处理单元基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：

从所述P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数；

将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流。

进一步地，所述第一数据为视频数据且所述第二数据为视频数据时，所述数据处理单元基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。

进一步地，所述第一数据为文字数据且所述第二数据为视频数据时，所述数据处理单元基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：

基于所述第一数据中的有效文字输入所对应的字符获得P帧图像；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，J为小于Q的正整数；

依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。

与现有技术相比，上述方案具有如下有益效果：

1，上述其中一个方案中，可以根据通讯双方的视频数据，按照一定的处理规则生成视频流，并可将生成的该视频流作为通信双方的通讯记录，便于用户在需要时进行查看播放；

2，上述其中一个方案中，可以在通信的一方不方便视频语音通信，而对方可以视频语音通信时，基于文字数据中文字输入所对应的字符生成帧图像，并将生成的帧图像与基于视频数据获得的帧图像作为视频流的帧图像，生成视频流；并可将该视频流作为通讯双方的通讯记录进行存储；

3，上述其中一个方案中，可以对视频或语音数据进行剪辑和组接操作，从而使得经过剪辑和组接后生成的视频流更为紧凑和连贯，观看效果更加理想；

4，上述其中一个方案中，电子设备可以提供通讯双方的视频数据的处理和存储功能；进一步地，当通讯双方的通讯数据的数据格式不一致时，还可针对通讯双方各自的数据类型对通讯数据进行相应的处理和存储。

当然，本领域技术人员可以理解的是对于本申请中的一个实施例并不一定具有上述所有特点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一个实施例的信息处理方法的流程示意图；

图2是本发明一个实施例的视频流的帧图像的示意图；

图3是本发明一个实施例的电子设备的组成示意图；

图4是本发明实施例的数据处理单元的内部模块示意图；

图5是本发明另一实施例的数据处理单元的内部模块示意图；

图6是本发明一个实施例的电子设备的组成示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在本发明的以下实施例中，第一电子设备和第二电子设备具体可包括但不限于使用传统网络的个人计算机、智能移动终端、平板式计算机，以及使用移动互联网的智能移动终端、便携式计算机、可视电话等。

以下将结合图1来描述根据本发明一个实施例的信息处理方法。本实施例的信息处理方法可应用于一第一电子设备，该第一电子设备通过与第二电子设备建立的数据通道进行数据通讯，如图1所示，本实施例的信息处理方法的具体步骤描述如下：

在步骤S101中，第一电子设备获得第一数据。

例如第一电子设备通过本地的视频/语音采集模块或者文本采集模块，采集使用第一电子设备的第一用户所对应的第一数据，其中第一数据可以包括视频数据，语音数据，或者文字数据等各种数据类型的数据。

在步骤S102中，第一电子设备基于所述第一数据获得P帧图像，其中P为大于等于1的整数。

例如，所述第一数据为视频数据时，基于所述第一数据获得P帧图像可以是指提取视频数据中包含的所有帧图像，共计P帧图像；

所述第一数据为文字数据时，基于所述第一数据获得P帧图像可以是指每采集到有效文字输入（即发送成功的文字，例如以回车等特殊字符标示的文字输入）时则生成一个与该有效文字输入所对应的帧图像，例如将每次的有效文字输入所对应的字符插入到一个空白帧中，或者设定好的背景帧中，即可得到一个相应的帧图像，同时，还需记录该有效文字输入所对应的时间戳，例如可以记录采集到特殊字符的时刻作为本次有效文字输入的时间戳，并将记录的该时间戳作为得到的帧图像的时间戳。假定第一数据共有P次有效文字输入，则共计得到P帧图像。

所述第一数据为语音数据时，基于所述第一数据获得P帧图像可以是指将语音输入通过语音识别转换为相应的文字输入，并按照上述有效文字输入时的处理方式得到P帧图像；或者，也可以是指，用空白帧或者设定好的一个或多个帧图像作为语音数据对应的帧图像。

在步骤S103中，第一电子设备基于与第二电子设备的数据通道获得第二数据。

第一电子设备可通过本地的数据采集单元，采集使用第二电子设备的第二用户所对应的第二数据，其中第二数据可以是视频数据或语音数据或文字数据等。

例如，所述第二数据为视频数据或语音数据时，所述第一电子设备可基于与第二设备的数据通道获取使用所述第二电子设备的第二用户的视频数据或语音数据并存储到本地；

所述第二数据为文字数据时，所述第一电子设备可基于与第二设备的数据通道获取第二用户输入的文字信息，并可将获取到的第二用户输入的文字信息在第一电子设备的显示单元上显示。

在步骤S104中，第一电子设备基于所述第二数据获得Q帧图像；其中Q为大于等于1的整数。

该步骤与上述步骤S102类似，其具体处理过程可参照上述步骤S102中的描述，此处不再详细赘述。

在步骤S105中，第一电子设备基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，其中M<P+Q。

本发明实施例中，在步骤S105中，第一电子设备根据所述第一数据和所述第二数据各自的数据类型，识别所述第一数据和第二数据是否具有语音/有效文字输入，如果具有语音/有效文字输入，则将具有语音/有效文字输入的帧图像作为所述视频流的帧图像，生成由M帧图像构成的视频流。

以下结合图2所示对生成所述由M帧图像构成的视频流的具体过程进行详细描述。

如图2所示，本发明实施例中，基于以第一时间轴T1为基准的第一数据获得P帧图像；基于以第二时间轴T2为基准的第二数据获得Q帧图像。通常该第一时间轴T1和第二时间轴T2是一致的，例如，待双方数据通道建立完成的一刻起，通讯双方即开始视频数据的采集，故第一数据和第二数据一般是基于相同的时间轴。

由于数据通讯过程中一般为其中一方发送数据时，另一方则进行接收，而很少出现双方都要发送数据的情形，因此，图2中P帧图像和Q帧图像中均会存在不包含语音输入的帧图像。所述的是否包含语音输入可以是指用户是否在说话。

参见图2所示，本发明实施例中，在基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流时，一种实现方式是：

从基于第一数据获得的P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数；

将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序依次组合即得到所述由M帧图像构成的视频流，且M<P+Q。

由于第一时间轴T1和第二时间轴T2是一致的，因此，在生成以第三时间轴T3为基准的所述由M帧图像构成的视频流时，可以按照各帧图像基于时间轴的时间戳的先后顺序，将所述K帧图像和所述J帧图像依次叠加组合，即得到所述由M帧图像构成的视频流。其中，第三时间轴T3是以所述K帧图像和所述J帧图像中时间戳较早的为起始时间点的。

此外，当第一时间轴T1和第二时间轴T2不一致时，可先对基于第一时间轴T1的第一数据和以第二时间轴T2为基准的第二数据进行时间同步后，再进行上述处理，具体时间同步过程本发明不再加以限制。

此外，当所述第一数据为视频数据且所述第二数据为视频数据时，一种特例是所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入，此时的处理规则为：当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。

其中，所述第一电子设备可通过图像识别技术识别用户嘴部的动作、或者识别视频数据中是否具有语音数据，来判断所述视频数据所包含对象（例如，使用第一电子设备的第一用户，或者使用第二电子设备的第二用户）是否具有语音输入，即是否有人在说话。

本发明实施例中，如果第一数据为基于第一时间轴的文字数据，第二数据为基于第二时间轴的视频数据，则，基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，具体可包括：

获得以特殊字符标示的有效文字输入所对应的字符及时间戳，并基于所述有效文字输入所对应的字符获得P帧图像；P为大于等于1的整数；

识别第二数据所包含对象是否具有语音输入，从所述Q帧图像中获得所述第二数据所包含对象具有语音输入的J帧图像；J为小于Q的正整数；

依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。

此外，所述第一数据为语音数据且所述第二数据为视频数据时，具体处理规则可以是将语音输入通过语音识别转换为相应的文字输入，并采用上述有效文字输入时的处理方式；也可以用空白帧或者设定好的一个或多个帧图像作为语音数据对应的帧图像。

此外，在本发明的其他实施例中，所述第一数据和所述第二数据也可以同时为文字数据或者同时为语音数据，其具体处理规则可以参照上述的第一数据为文字数据第二数据为视频数据时对应的处理规则中针对文字数据的处理方式，此处不再详细累述。

在本发明实施例所述的方法中，基于获取到的进行数据通讯的通讯双方的数据，分别获得P帧图像和Q帧图像，并基于此P帧图像和Q帧图像，按照一定的处理规则生成由M帧图像构成的视频流，其中由于数据通讯过程中一般为其中一方发送数据时，另一方则进行接收，而很少出现双方都要发送数据的情形，本发明实施例的方法中，通过识别语音输入将视频数据中没有语音输入的帧图像滤除掉，从而可以形成连续不间断的视频流。

以下将结合图3来描述根据本发明一个实施例的电子设备。如图3所示，本实施例的电子设备，包括通讯单元301、数据采集单元302，数据处理单元303，其中，通讯单元301分别与数据采集单元302及数据处理单元303相连，数据采集单元302与数据处理单元303相连。

通讯单元301，该电子设备通过该通讯单元301与第二电子设备建立数据通道进行数据通讯。

本发明实施例中，该通讯单元301，基于第一ID标识与所述具有第二ID标识的第二电子设备建立所述数据通道并进行数据通讯；并可在所述数据通道断开时通知数据处理单元303。

数据采集单元302，用于获得使用本电子设备的用户的第一数据；以及，基于与所述第二电子设备的数据通道获得使用所述第二电子设备的用户的第二数据。

该数据采集单元302的具体形式可包括但不限于语音采集模块、视频采集模块、文字输入获取模块其中之一或其任意组合。例如，通过该数据采集单元302，可以采集即时通讯系统的用户与好友或者联系人之间的即时通讯数据，该通讯数据的具体形式，可以是字符，也可以是音频或者视频等数据。

数据处理单元303，用于：基于所述第一数据获得P帧图像，P为大于等于1的整数；基于所述第二数据获得Q帧图像，Q为大于等于1的整数；并基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，其中M<P+Q。

本发明一个实施例中，数据处理单元303，当接收到通讯单元301发送的数据通道断开的通知时，将所述由M帧图像构成的视频流作为本电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备进行数据通讯的记录，以使得所述本电子设备的用户查看所述记录时播放所述视频流。

在本发明一个实施例中，数据处理单元303仅用于处理第一数据为视频数据且第二数据为视频数据时的场景，具体处理规则可以采用但不限于如下方式：识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

此时，如图4所示，数据处理单元进一步可包括如下处理模块：

数据分析模块，用于识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像输出给帧图像处理模块。具体地，该数据分析模块从所述P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数。该数据分析模块具体可以通过图像识别技术识别用户嘴部的动作、或者通过语音识别技术识别视频数据中是否具有语音数据，来判断所述视频数据所包含对象（例如，使用第一电子设备的第一用户，或者使用第二电子设备的第二用户）是否具有语音输入，即是否有人在说话。

帧图像处理模块，将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流。

此外，帧图像处理模块还可用于，当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。例如将对应的两帧图像均缩减为对称的左、右或者上、下半帧图像，并将两个半帧图像拼接成一帧图像，或者，还可以分为前后半帧进行拼接。

通过上述实施例的电子设备，可以仅保留具有语音输入的帧图像作为所述视频流的帧图像，从而滤除掉录制的视频数据中的“空白”数据，形成连续不间断的视频流，保证了生成的视频流的连贯性；并可将生成的该视频流作为通信双方的通讯记录，便于用户在需要时进行查看或播放，且通过对视频或语音数据进行剪辑和组接操作，使得经过剪辑和组接后生成的视频流更为紧凑和连贯，观看效果更加理想，且节约了存储空间。

或者，在本发明一个实施例中，数据处理单元303仅用于处理第一数据为文字数据且第二数据为视频数据时的场景，具体处理规则可以采用但不限于如下方式：获得有效文字输入所对应的字符及时间戳，并识别所述视频数据所包含对象是否具有语音输入，将所述有效文字输入所对应的字符以及所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像。

此时，如图5所示，数据处理单元303进一步可包括如下处理模块：

文字输入获取模块，用于获得有效文字输入所对应的字符及时间戳，并输出给帧图像处理模块；

数据分析模块，用于识别视频数据所包含对象是否具有语音输入，并将视频数据所包含对象具有语音输入的帧图像输出给帧图像处理模块；

帧图像处理模块，基于所述有效文字输入所对应的字符获得帧图像，以及数据分析模块输出的帧图像，并依照每帧图像的时间戳的先后顺序将所述帧图像组合生成所述由M帧图像构成的视频流。

本实施例中，假定第一数据为文字数据，第二数据为视频数据，则具体处理过程如下：

文字输入获取模块，在采集到有效文字输入操作时（例如，以回车键结束的文字输入），获得该有效文字输入所对应的字符，同时，还需记录该有效文字输入所对应的时间戳，例如可以记录采集到特殊字符的时刻作为本次有效文字输入的时间戳，输出给帧图像处理模块；

数据分析模块，从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，输出给帧图像处理模块，其中J为小于Q的正整数；

帧图像处理模块，将接收到的所述有效文字输入所对应的字符插入到空白帧，或者插入到以对象所对应的图片或者头像作为背景的帧中，从而生成该有效文字输入所对应的P帧图像，并将接收到的对应的时间戳作为得到的帧图像的时间戳；依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。

其中，数据分析模块具体可以通过图像识别技术识别用户嘴部的动作、或者通过语音识别技术识别视频数据中是否具有语音数据，来判断所述视频数据所包含对象（例如，使用第二电子设备的第二用户）是否具有语音输入，即是否有人在说话。

此外，本发明实施例中，所述数据处理单元303还可用于处理第一数据为语音数据且第二数据为视频数据时的场景，具体处理规则可以是将语音输入通过语音识别转换为相应的文字输入，并采用上述有效文字输入时的处理方式，其中将语音数据转换为相应的文字数据的实现方式有很多种，可采用现有的语音识别转换技术将语音转换为相应的文字输入，本发明对其转换具体过程不加以限制；或者，也可以用空白帧或者设定好的一个或多个帧图像作为语音数据对应的帧图像。

通过上述实施例的电子设备，当通讯双方的通讯数据的数据格式不一致时，可以针对通讯双方各自的数据类型对通讯数据进行相应的处理和存储，例如可以在通信的一方不方便视频语音通信，而对方可以视频语音通信时，基于文字数据中有效文字输入所对应的字符生成帧图像，并将生成的帧图像与基于视频数据获得的帧图像作为视频流的帧图像，生成视频流；并可将该视频流作为通讯双方的通讯记录进行存储，便于用户在需要时进行查看或播放。

如图6所示，本发明一个实施例中的电子设备包括通讯单元601、数据采集单元602，数据处理单元603，和处理规则存储模块604，其中，通讯单元601分别与数据采集单元602及数据处理单元603相连，数据处理单元603分别与数据采集单元602和处理规则存储模块604相连。

通讯单元601，该电子设备通过该通讯单元601与第二电子设备建立数据通道进行数据通讯。

本发明实施例中，该通讯单元601，基于第一ID标识与所述具有第二ID标识的第二电子设备建立所述数据通道并进行数据通讯；并可在所述数据通道断开时通知数据处理单元603。

数据采集单元602，用于获得使用本电子设备的用户的第一数据；以及，基于与所述第二电子设备的数据通道获得使用所述第二电子设备的用户的第二数据。

该数据采集单元602的具体形式可包括但不限于语音采集模块、视频采集模块、文字输入获取模块其中之一或其任意组合。例如，通过该数据采集单元602，可以采集即时通讯系统的用户与好友或者联系人之间的即时通讯数据，该通讯数据的具体形式，可以是字符，也可以是音频或者视频等数据。

数据处理单元603，用于：基于所述第一数据获得P帧图像，P为大于等于1的整数；基于所述第二数据获得Q帧图像，Q为大于等于1的整数；并根据所述第一数据和所述第二数据各自的数据类型确定处理规则，依据确定的所述处理规则，基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，其中M<P+Q。

处理规则存储模块604，用于存储第一数据和第二数据的不同数据类型所对应的处理规则。其中该处理规则存储模块可以是数据处理单元603中的处理模块，也可以是独立的一个处理模块。

其中，处理规则存储模块604存储的所述处理规则，包括：

当所述第一数据为视频数据且所述第二数据为视频数据时，识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

和/或，当所述第一数据为文字数据且所述第二数据为视频数据时，获得有效文字输入所对应的字符及时间戳，并识别所述视频数据所包含对象是否具有语音输入，将所述有效文字输入所对应的字符以及所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像。

进一步地，所述第一数据为视频数据且所述第二数据为视频数据时，所述数据处理单元603依据确定的处理规则，基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：

从所述P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数；

将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流。

此处，数据处理单元603进一步可包括如下处理模块：

数据分析模块，用于识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像输出给帧图像处理模块。具体地，该数据分析模块从所述P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数。该数据分析模块具体可以通过图像识别技术识别用户嘴部的动作、或者通过语音识别技术识别视频数据中是否具有语音数据，来判断所述视频数据所包含对象（例如，使用第一电子设备的第一用户，或者使用第二电子设备的第二用户）是否具有语音输入，即是否有人在说话。

帧图像处理模块，将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流。

此外，帧图像处理模块还可用于，当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。例如将对应的两帧图像均缩减为对称的左、右或者上、下半帧图像，并将两个半帧图像拼接成一帧图像，或者，还可以分为前后半帧进行拼接。

进一步地，所述第一数据为视频数据且所述第二数据为视频数据时，所述数据处理单元603依据确定的处理规则，基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，还包括：当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。

进一步地，所述第一数据为文字数据且所述第二数据为视频数据时，所述数据处理单元603依据确定的处理规则，基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：

基于所述有效文字输入所对应的字符获得P帧图像；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，J为小于Q的正整数；

依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。

此时，所述数据处理单元603进一步可包括如下处理模块：

文字输入获取模块，用于获得有效文字输入所对应的字符及时间戳，并输出给帧图像处理模块；

数据分析模块，用于识别视频数据所包含对象是否具有语音输入，并将视频数据所包含对象具有语音输入的帧图像输出给帧图像处理模块；

帧图像处理模块，基于所述有效文字输入所对应的字符获得帧图像，以及数据分析模块输出的帧图像，并依照每帧图像的时间戳的先后顺序将所述帧图像组合生成所述由M帧图像构成的视频流。

本实施例中，假定第一数据为文字数据，第二数据为视频数据，则具体处理过程如下：

文字输入获取模块，在采集到有效文字输入操作时（例如，以回车键结束的文字输入），获得该有效文字输入所对应的字符，同时，还需记录该有效文字输入所对应的时间戳，例如可以记录采集到特殊字符的时刻作为本次有效文字输入的时间戳，输出给帧图像处理模块；

数据分析模块，从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，输出给帧图像处理模块，其中J为小于Q的正整数；

帧图像处理模块，将接收到的所述有效文字输入所对应的字符插入到空白帧，或者插入到以对象所对应的图片或者头像作为背景的帧中，从而生成该有效文字输入所对应的P帧图像，并将接收到的对应的时间戳作为得到的帧图像的时间戳；依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。

其中，数据分析模块具体可以通过图像识别技术识别用户嘴部的动作、或者通过语音识别技术识别视频数据中是否具有语音数据，来判断所述视频数据所包含对象（例如，使用第二电子设备的第二用户）是否具有语音输入，即是否有人在说话。

此外，本发明实施例中，处理规则存储模块604存储的处理规则还可包括第一数据为语音数据且第二数据为视频数据时的场景，具体处理规则可以是将语音输入通过语音识别转换为相应的文字输入，并采用上述有效文字输入时的处理方式，其中将语音数据转换为相应的文字数据的实现方式有很多种，可采用现有的语音识别转换技术将语音转换为相应的文字输入，本发明对其转换具体过程不加以限制；或者，也可以用空白帧或者设定好的一个或多个帧图像作为语音数据对应的帧图像。

此外，在本发明的其他实施例中，处理规则存储模块604所存储的处理规则还可包括所述第一数据和所述第二数据同时为文字数据或者同时为语音数据时的场景，其具体处理规则可以参照上述的第一数据为文字数据第二数据为视频数据时对应的处理规则中针对文字数据的处理方式，此处不再详细累述。

以下将结合本发明的应用示例对本发明技术方案的实施进行更为详细的描述。

本发明的一个应用示例的信息处理方法可应用于第一电子设备，即时通讯用户A使用作为即时通讯终端的第一电子设备与使用第二电子设备的用户B进行即时通讯，第一电子设备对用户A和用户B的通讯数据进行处理。本应用示例中，假定第一电子设备和第二电子设备均具有视频通话功能，本应用示例的方法具体包括如下主要步骤：

步骤一，具有第一ID标识的用户A与具有第二ID标识的用户B分别通过第一电子设备和第二电子设备建立数据通道并进行即时通讯。

步骤二，用户A进行视频通话时，第一电子设备采集用户A产生的视频或者语音数据作为第一数据；

其中，第一电子设备可基于本地的语音/视频采集单元对用户A的视频或者音频数据进行采集录制，例如当用户A与用户B建立数据通道之后，即开始录制用户A的语音/视频数据。

步骤三，用户B进行视频通话时，第一电子设备采集用户B产生的视频或者语音数据作为第二数据；

其中，第一电子设备可基于与第二电子设备之间的数据通道，接收用户B的视频或者语音数据的数据包。其中用户B的视频或者语音数据可按照一定的协议格式，例如传输控制协议（TCP）、用户数据包协议（UDP）等组装成数据包，通过即时通信服务器或者P2P方式，将数据包传输至第一设备；第一设备接收到的数据包进行解析后存储为第二数据。

步骤四，第一电子设备基于第一数据和第二数据，生成视频流。

该步骤具体包括：

基于第一数据获得P帧图像，并从所述P帧图像中识别出所述第一数据所包含对象具有语音输入（即用户A在讲话时）的K帧图像，其中P为大于等于1的正整数，K为小于P的正整数；

基于第二数据获得Q帧图像，并从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入（即用户B在讲话时）的J帧图像，其中Q为大于等于1的正整数，J为小于Q的正整数；

将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流，其中M<P+Q。

此外，当用户A和用户B同时在讲话时，则可将对应的两帧图像进行合并处理，例如将对应的两帧图像均缩减为对称的左、右或者上、下半帧图像，并将两个半帧图像合并成一帧图像，或者，还可以分为前后半帧进行拼接。

步骤五，第一电子设备将生成的视频流作为所述第一电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备进行数据通讯的记录，并进行存储。

在本应用示例中，视频流的标识信息可以由用户A和用户B的标识信息组合而成，或者也可以根据用户A和用户B的标识信息转换得到，从而唯一标识所存储的数据通讯的记录。

通过本发明的上述应用示例，可以有效的保存即时通讯用户的视频等数据，并可将生成的该视频流作为通信双方的通讯记录，通过将视频流存储到本地，实现了用户视频通话内容的有效保存，便于以后播放查看；并且，通过对视频或语音数据进行剪辑和组接操作，使得生成的视频流更为紧凑和连贯，使用户的观看效果更为理想。

本领域的技术人员应该明白，上述的本申请实施例所提供的装置和/或系统的各组成部分，以及方法中的各步骤，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种信息处理方法，所述方法应用于第一电子设备中，所述方法包括：

获得第一数据；

基于所述第一数据获得P帧图像；P为大于等于1的整数；

基于与第二电子设备的数据通道获得第二数据；

基于所述第二数据获得Q帧图像；Q为大于等于1的整数；

基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，其中M＜P+Q。

2.如权利要求1所述的方法，其中：

所述第一电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备建立所述数据通道并进行数据通讯；

当所述数据通道断开时，所述电子设备将所述由M帧图像构成的视频流作为所述第一电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备进行数据通讯的记录，以使得所述第一电子设备的用户查看所述记录时播放所述视频流。

3.如权利要求1所述的方法，其中：

所述第一数据和所述第二数据中至少一个为视频数据。

4.如权利要求1或2或3所述的方法，其中：

所述第一电子设备根据所述第一数据和所述第二数据各自的数据类型确定处理规则，所述处理规则用于生成所述由M帧图像构成的视频流。

5.如权利要求4所述的方法，其中：

当所述第一数据为视频数据且所述第二数据为视频数据时，所述处理规则为识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

所述基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流包括：

从所述P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数；

将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流。

6.如权利要求5所述的方法，其中：

所述第一数据为视频数据且所述第二数据为视频数据时，所述处理规则还包括：当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。

7.如权利要求4所述的方法，其中：

所述第一数据为文字数据且所述第二数据为视频数据时，所述处理规则为：获得所述第一数据中的有效文字输入所对应的字符及时间戳，并识别所述视频数据所包含对象是否具有语音输入，将所述有效文字输入所对应的字符以及所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

所述基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流包括：

基于所述有效文字输入所对应的字符获得P帧图像；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，J为小于Q的正整数；

依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。

8.一种电子设备，所述电子设备包括：

通讯单元，建立本电子设备与第二设备的数据通道；

数据采集单元，获得第一数据；以及，基于与所述第二电子设备的数据通道获得第二数据；

数据处理单元，基于所述第一数据获得P帧图像，P为大于等于1的整数；基于所述第二数据获得Q帧图像，Q为大于等于1的整数；并基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，其中M＜P+Q。

9.如权利要求8所述的电子设备，其中：

所述通讯单元，基于第一ID标识与所述具有第二ID标识的第二电子设备建立所述数据通道并进行数据通讯；并在所述数据通道断开时通知所述数据处理单元；

所述数据处理单元，当接收到所述数据通道断开的通知时，将所述由M帧图像构成的视频流作为本电子设备基于第一ID标识与所述具有第二ID标识的第二电子设备进行数据通讯的记录，以使得所述第一电子设备的用户查看所述记录时播放所述视频流。

10.如权利要求9所述的电子设备，还包括处理规则存储模块，

所述处理规则存储模块，存储所述第一数据和所述第二数据的不同数据类型所对应的处理规则；

所述数据处理单元，根据所述第一数据和所述第二数据各自的数据类型确定处理规则，依据确定的所述处理规则生成所述由M帧图像构成的视频流。

11.如权利要求10所述的电子设备，其中：

所述处理规则存储模块存储的所述处理规则，包括：

当所述第一数据为视频数据且所述第二数据为视频数据时，识别所述视频数据所包含对象是否具有语音输入，并将所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像；

当所述第一数据为文字数据且所述第二数据为视频数据时，获得所述第一数据中的有效文字输入所对应的字符及时间戳，并识别所述视频数据所包含对象是否具有语音输入，将所述有效文字输入所对应的字符以及所述视频数据所包含对象具有语音输入的帧图像作为所述视频流的帧图像。

12.如权利要求8、9、10或11之任一项所述的电子设备，其中：

所述第一数据为视频数据且所述第二数据为视频数据时，所述数据处理单元基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：

从所述P帧图像中识别出所述第一数据所包含对象具有语音输入的K帧图像，其中K为小于P的正整数；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，其中J为小于Q的正整数；

将所述K帧图像和所述J帧图像依照每帧图像的时间戳的先后顺序组合生成所述由M帧图像构成的视频流。

13.如权利要求12所述的电子设备，其中：

所述第一数据为视频数据且所述第二数据为视频数据时，所述数据处理单元基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：当所述第一数据所包含对象和所述第二数据所包含对象同时具有语音输入时，将对应的两帧图像拼接成一帧图像作为所述视频流的帧图像。

14.如权利要求8、9、10或11之任一项所述的电子设备，其中：

所述第一数据为文字数据且所述第二数据为视频数据时，所述数据处理单元基于所述P帧图像和所述Q帧图像生成由M帧图像构成的视频流，包括：

基于所述第一数据中的有效文字输入所对应的字符获得P帧图像；

从所述Q帧图像中识别出所述第二数据所包含对象具有语音输入的J帧图像，J为小于Q的正整数；

依照每帧图像的时间戳的先后顺序将所述P帧图像和所述J帧图像组合生成所述由M帧图像构成的视频流。