CN102393804A - 即时通信中实现手写交互操作的方法、客户端及系统 - Google Patents

Abstract

本发明提供了一种即时通信中实现手写交互操作的方法、客户端及系统，属于计算机、软件技术领域。该方法包括：采集即时通信用户针对联系人通信进行手写输入的触发操作；将用户与联系人通信的输入状态转变为手写输入状态；针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；对前述采集的手写操作信息进行图像处理或文字识别处理，并将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。利用本发明，通过摄像装置采集用户输入的手写操作信息，针对采集的手写操作信息进行处理后载入到即时通信交互界面中进行发送，使得用户通过手写方式即可与联系人进行交流。

Description

即时通信中实现手写交互操作的方法、客户端及系统

技术领域

本发明属于计算机、软件技术领域。

背景技术

即时通信(如腾讯的QQ、微软的MSN等)、电子邮件等信息交流成为现代社会进行即时沟通和信息传递的重要方式，对这些通讯系统的交流方式或使用方法的改进必然会促进现代通讯技术手段的发展，带来更好的用户体验，增加用户的使用热情，创造更多的市场机遇。

当前的即时通信系统中，除了语音交流和视频交流以外，文字交流是主要的交流方式。文字交流方式主要是通过键盘输入字符编码，然后经过计算机转换为统一的文字样式，这种方式带来了很多便利，具有很多优点。但同时这种信息输入方式也使文字交流受到一定限制，一方面有些用户对键盘输入方法不熟悉，无法进行流畅的文字输入，因此通过现有的键盘输入则难以实现文字交流；另一方面现有计算机转换后的文字为统一的形式，无法满足用户之间进行通信时展示个性手写笔迹的需求。

目前，也可以通过将电子白板连接到计算机，使得用户可以在电子白板上进行手写文字信息，然后传输到计算机。但是，能实现这种功能的电子白板系统则需要另外安装硬件设备及软件驱动，程序较为繁琐，难以满足大众化需求。

发明内容

本发明的目的在于，提供一种即时通信中实现手写交互操作的方法、客户端及系统。利用本发明，通过摄像装置采集用户输入的手写操作信息，针对采集的操作信息进行处理后载入到即时通信交互界面中进行发送，使得用户通过手写方式即可与联系人进行交流。

本发明的技术方案包括：

一种即时通信中实现手写交互操作的方法，包括如下步骤：

步骤1，采集即时通信用户针对联系人通信进行手写输入的触发操作；

步骤2，将用户与联系人通信的输入状态转变为手写输入状态；

步骤3，针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；

步骤4，对前述采集的手写操作信息进行图像处理或文字识别处理，并将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。

优选地，所述步骤4之后还包括：

将载入到即时通信交互界面中的手写信息发送至用户的联系人客户端。

优选地，在用户与联系人通信的即时通信交互界面中设置有进行手写输入的操作入口，通过触发所述操作入口，即产生针对所述联系人的通信进行手写输入的触发操作。

优选地，在即时通信主面板中设置有进行手写输入的操作入口，通过触发所述操作入口，即产生针对用户的所有联系人的通信进行手写输入的触发操作。

优选地，当采集到即时通信用户针对联系人通信进行手写输入的触发操作后，开启用以采集手写操作信息的摄像装置。

优选地，采集用户的手写操作信息的过程为：

启动摄像装置，通过摄像采集用户手写输入的具有笔迹的字符信息；

针对所采集的具有笔迹的字符信息，判断是否包含有标点符号或预设的图形符号，若包含则确定用户输入的字符信息为完整语句信息；

通过摄像装置拍摄前述所确定的完整语句信息，获取包含所述完整语句信息的图像信息。

优选地，针对所述包含完整语句信息的图像信息进行处理的过程包括：

判断所述包含完整语句信息的图像信息是否有倾斜失真现象；

若有，则针对倾斜失真的图像进行矫正处理，使其转变为正向拍摄的图像信息。

优选地，针对所述包含完整语句信息的图像信息进行处理的过程还包括：

判断所述图像信息中完整语句信息对应的字符区域以及字符外区域；

将图像信息中的字符外区域通过剪切去除，只保留字符区域。

优选地，所述采集用户的手写操作信息的过程还可为：

启动摄像装置，通过摄像采集用户手写输入过程的手势信息，获取包括有用户手势信息的多帧图像信息。

优选地，针对包括有用户手势信息的多帧图像信息进行文字识别处理的过程为：

比较摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；

将用户手写输入过程中的所有相邻两帧图像的相对运动矢量首尾连接，获得本次手写输入的平面运动轨迹；

将所述平面运动轨迹转变为该轨迹对应的文字图形。

优选地，针对包括有用户手势信息的多帧图像信息进行文字识别处理的过程还可为：

比较摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；

将用户手写输入过程中的所有相邻两帧图像的相对运动矢量首尾连接，获得本次手写输入的平面运动轨迹；

将获得的平面运动轨迹与字符模型库进行比对，获取相对应的文字信息。

优选地，所述的字符模型库为各种运动轨迹和字符模型具有映射关系的数据库。

优选地，将获得的平面运动轨迹与字符模型库进行比对时，将所述的平面运动轨迹进行放大或缩小，转变成与字符模型相同的尺寸大小。

优选地，针对载入到即时通信交互界面中的手写信息，还包括如下步骤：

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有针对已载入的手写信息进行删除或者撤销的标识信息；

若包括则删除或者撤销已载入的手写信息。

优选地，针对载入到即时通信交互界面中的手写信息进行发送的过程包括：

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有针对已经载入到即时通信交互界面中的手写信息进行发送的标识信息；

若包括则将已载入的手写信息发送至即时通信另一方。

优选地，针对载入到即时通信交互界面中的手写信息进行发送的过程包括：

采集载入到即时通信交互界面中的手写信息对应的时间值；

判断所述时间值是否满足时间阈值；

若满足则将所述手写信息进行发送，否则不发送。

优选地，针对处于焦点窗口的即时通信交互界面进行转换的过程为：

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有针对处于焦点窗口的即时通信交互界面进行转换的标识信息；

若包括则根据用户输入的标识信息转换为对应的即时通信交互界面。

优选地，针对即时通信交互界面进行开启的过程为：

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有开启即时通信交互界面的标识信息；

若包括则根据用户输入的标识信息，开启对应的即时通信交互界面。

本发明还提供另一种即时通信中实现手写交互操作的方法，包括如下步骤：

步骤1，采集即时通信用户针对联系人通信进行手写输入的触发操作；

步骤2，将用户与联系人通信的输入状态转变为手写输入状态，并通过摄像采集用户开启与联系人即时通信交互界面相对应的手写标识信息；

步骤3，根据前述采集的手写标识信息，开启用户与联系人的即时通信交互界面，并设置为焦点窗口；

步骤4，采集用户的手写操作信息，并对采集的信息进行图像处理或文字识别处理，然后将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。

优选地，所述用户开启与联系人即时通信交互界面相对应的手写标识信息为：

即时通信交互界面相对应的联系人标识信息以及开启即时通信交互界面相对应的标识信息，或者预设的图形或字符信息。

优选地，所述联系人标识信息为联系人标识码或者联系人昵称或者用户针对联系人的备注姓名。

本发明还提供一种即时通信中手写交互操作的客户端，该客户端包括：

触发采集模块，用以采集即时通信用户针对联系人通信进行手写输入的触发操作；

状态转换模块，与所述触发采集模块相连，用以将用户与联系人通信的输入状态转变为手写输入状态；

手写信息采集模块，与所述状态转换模块相连，用以针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；

手写信息处理模块，与所述手写信息采集模块相连，用以对所采集的手写操作信息进行图像处理或文字识别处理，并将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。

优选地，该客户端还包括：

手写信息发送模块，与所述手写信息处理模块相连，用以将载入到即时通信交互界面中的手写输入信息发送至用户的联系人客户端。

本发明还提供一种即时通信中手写交互操作的系统，该系统包括客户端和手写信息服务器，

所述客户端包括：

触发采集模块，用以采集即时通信用户针对联系人通信进行手写输入的触发操作；

状态转换模块，与所述触发采集模块相连，用以将用户与联系人通信的输入状态转变为手写输入状态；

手写信息采集模块，与所述状态转换模块相连，用以针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；

信息发送模块，与所述手写信息采集模块相连，用以将采集的手写操作信息发送至服务器；

信息接收模块，用以接收服务器返回的处理后的手写信息，并载入即时通信交互界面中；

所述手写信息服务器包括：

手写信息处理模块，用以对所接收的手写操作信息进行图像处理或文字识别处理；

信息返回模块，与所述手写信息处理模块相连，用以将处理后的手写信息返回至用户客户端，或者直接发送至用户的联系人客户端。

与现有技术相比，本发明具有的优点是：利用本发明，通过摄像装置采集用户在电脑前通过手写输入的具有笔迹的字符信息，或者采集用户手写过程中的手势信息，获取包含有用户手写信息的图像信息，经过图像处理或文字识别处理后，将手写信息载入到即时通信交互界面中，发送至用户的联系人。本发明使得用户在不善于采用键盘输入的情况下，能够使用传统的手写方式方便的与其他联系人进行即时通信交流。

附图说明

图1为本发明第一实施例提供的一种即时通信中实现手写交互操作方法的流程图；

图1-1展示了第一实施例中在即时通信交互界面中触发手写输入的示意图；

图1-2展示了第一实施例中在即时通信主面板中触发手写输入的示意图；

图2为本发明第二实施例提供的一种即时通信中实现手写交互操作方法的流程图；

图3为本发明第三实施例提供的一种即时通信中实现手写交互操作的客户端示意图；

图4为本发明第四实施例提供的一种即时通信中实现手写交互操作的系统示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的实施方案作进一步详细的说明。

参见图1，为本发明第一实施例提供的一种即时通信中实现手写交互操作方法的流程图，具体步骤如下所述。

S11，采集即时通信用户针对联系人通信进行手写输入的触发操作；

本实施例中可在用户与联系人通信的即时通信交互界面中设置进行手写输入的操作入口，通过光标或者快捷键形式触发所述操作入口，则产生针对所述联系人的通信进行手写输入的触发操作。参见图1-1，展示了在即时通信交互界面中触发手写输入的示意图，如图所示，为用户与联系人“denny”的即时通信交互界面110，在该即时通信交互界面110中包括用以触发手写输入的操作入口112，当通过鼠标点击操作入口112，也可设置快捷键形式进行触发，即产生进行手写输入的触发操作，这里只是触发了用户与联系人“denny”通信的手写输入功能，对用户与其他联系人的通信并未产生触发信息。

在当前的即时通信交互界面中，利用Widows系统的钩子函数捕获键盘与鼠标消息；利用Windows系统消息相关的响应函数，得到当前用户鼠标点击的位置数据；利用相关API函数判断鼠标点击位置是否为对应的操作入口，若是则采集到进行手写输入的触发操作。

本实施例中还可在即时通信主面板中设置进行手写输入的操作入口，通过触发所述操作入口，即产生针对用户的所有联系人的通信进行手写输入的触发操作。参见图1-2，展示了在即时通信主面板中触发手写输入的示意图，如图所示，为用户Make登录IM后呈现的即时通信主面板120，在该即时通信主面板120中包括用以触发手写输入的操作入口112，当通过鼠标点击操作入口112时，产生进行手写输入的触发操作，这里所触发的是用户与所有联系人进行通信的手写输入功能，即产生触发后，用户与任何一个联系人进行通信时，都可直接采用手写输入操作。

本实施例中的触发方式还可以设置为，用户只要登录即时通信工具后，即产生手写输入的触发，即用户登录即时通信后即可直接进行手写输入操作。

S12，将用户与联系人通信的输入状态转变为手写输入状态；

当采集到用户针对联系人通信进行手写输入的触发操作后，开启用以采集手写操作信息的摄像装置，将用户与联系人通信的输入状态转变为手写输入状态。

S13，针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；

判断当前的焦点窗口是否为即时通信交互界面窗口，若是，则通过已开启的摄像装置采集用户的手写操作信息。

本实施例中采集用户的手写操作信息的过程为：

通过摄像采集用户手写输入的具有笔迹的字符信息；针对所采集的具有笔迹的字符信息，判断所采集的字符信息是否包含有标点符号或预设的图形符号，若包含则确定用户输入的字符信息为完整语句信息；然后通过摄像装置拍摄前述所确定的完整语句信息，获取包含所述完整语句信息的图像信息。

上述确定完整语句信息的具体过程为：通过系统设置每间隔特定时间，针对所采集的具有笔迹的字符信息进行一次识别判断(例如，可设置为每隔0.1秒进行一次识别判断)，判断的方法是将采集的字符信息和符号库进行比对，所述符号库中包含有标点符号以及预设的图形符号信息，若采集的字符信息中包含有与符号库中一致的标点符号或预设图形符号，则可确定该标点符号或预设图像符号之前的字符信息为完整的语句信息。

例如，用户通过手写输入了“你好，今天上午开会。”，在摄像采集的过程中，当采集到符号“，”时，则说明所输入的“你好”为完整的语句信息；当再次采集到符号“。”时，则说明所输入的“今天上午开会”为完整的语句信息。

当确定了完整的语句信息时，则通过摄像装置的拍摄功能对该完整语句信息进行图像采集，为了使拍摄的图像较为清晰，可以采用高清拍摄功能进行图像采集。

本实施例中采集用户的手写操作信息还可以采用以下方式：

通过摄像采集用户手写输入过程的手势信息，获取包括有用户手势信息的多帧图像信息。

S14，对前述采集的手写操作信息进行图像处理或文字识别处理，并将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中；

针对前述所采集的包含完整语句信息的图像信息进行处理的过程为：判断所述包含完整语句信息的图像信息是否有倾斜失真现象；若有，则针对倾斜失真的图像进行矫正处理，使其转变为正向拍摄的图像信息。

在前述步骤中，通过摄像装置拍摄用户手写的完整语句信息时，可能拍摄角度是斜方向的，对于这种情况下拍摄的语句信息经镜头成像后会产生倾斜失真现象。对倾斜失真的图像进行矫正的方法，可以采用现有文献《空间平面倾斜失真的图像复原方法》中所报道的方法：首先找出失真图像与原始图像的坐标映射关系并以此为依据分别对失真图像的X轴和Y轴方向进行相应的拉伸，然后用灰度插值对因拉伸产生的空隙进行填补得到复原图像。也可采用现有技术中其它针对倾斜失真图像进行矫正的方法。

针对图像进行处理还包括有将图像信息中的冗余部分进行剪切去除。首先判断所述图像信息中完整语句信息所对应的字符区域以及字符外区域；然后将图像信息中的字符外区域通过剪切去除，只保留字符区域。

针对前述步骤获取的包括有用户手势信息的多帧图像信息进行文字识别处理的过程为：比较摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；将用户手写输入过程中的所有相邻两帧图像的相对运动矢量首尾连接，获得本次手写输入的平面运动轨迹；将所述平面运动轨迹转变为该轨迹对应的文字图形。

将平面运动轨迹转变为文字图形时，可以将所述运动轨迹直接映射为对应的文字图形；也可对所述运动轨迹进行放大或缩小转变为预设尺寸后，再映射为对应的文字图形。

针对前述步骤获取的包括有用户手势信息的多帧图像信息进行文字识别处理的过程还可以为：比较摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；将用户手写输入过程中的所有相邻两帧图像的相对运动矢量首尾连接，获得本次手写输入的平面运动轨迹；将获得的平面运动轨迹与字符模型库进行比对，获取相对应的文字信息。

所述的字符模型库中包括有各种字符模型，并且每个字符模型关联保存有对应该字符的运动轨迹。将获得的平面运动轨迹与字符模型库进行比对时，将所述的平面运动轨迹进行放大或缩小，转变成与字符模型相同的尺寸大小，然后再获取对应的文字信息。

针对载入到即时通信交互界面中的手写信息，还包括如下步骤：采集用户的手写操作信息；判断所采集的手写操作信息是否包括有针对已载入的手写信息进行删除或者撤销的标识信息；若包括则删除或者撤销已载入的手写信息。

例如，设置“×”作为撤销的标识信息，设置“在手写的字符信息中间划上横线”作为删除的标识信息。如果采集到包括有“×”的图像信息，则撤销已载入到即时通信交互界面中的手写信息；如果采集到针对某些字符信息划上横线的图像信息，则针对已载入的手写信息删除所述划上横线的字符信息，保留未划横线的字符信息。

针对处于焦点窗口的即时通信交互界面进行转换的过程为：采集用户的手写操作信息；判断所采集的手写操作信息是否包括有针对处于焦点窗口的即时通信交互界面进行转换的标识信息；若包括则根据用户输入的标识信息转换为对应的即时通信交互界面。

例如，用户与联系人A通信后，希望转换为与联系人B进行通信，此时则需要将焦点窗口转换为用户与联系人B对应的即时通信交互界面，因此需要预设置转换为该交互界面所对应的标识信息，该标识信息可以为联系人B的昵称信息以及进行转换的标识信息(例如双击的符号或手势信息)，即用户手写输入“B”再加上双击的符号，则表示将用户与联系人B的即时通信交互界面转换为焦点窗口。另外，对于经常联系的联系人也可以采用简单的符号或图形来进行转换，例如，可通过符号“⊙”来表示将用户与联系人B的即时通信交互界面转换为焦点窗口所对应的标识信息。

若用户与联系人B的即时通信交互界面还没有开启，则也可通过上述标识信息，来表示打开用户与联系人B的即时通信交互界面，例如，用户输入B的备注姓名再进行双击，即打开与联系人B的即时通信交互界面，并可与B开始通信。

S15，将载入到即时通信交互界面中的手写信息发送至用户的联系人客户端。

针对载入到即时通信交互界面中的手写信息进行发送的过程为：采集用户的手写操作信息；判断所采集的手写操作信息是否包括有针对已经载入到即时通信交互界面中的手写信息进行发送的标识信息；若包括则将已载入的手写信息发送至即时通信另一方。

例如设置“√”作为发送的标识信息，当采集到用户的手写操作信息中包括有符号“√”时，则将已载入到即时通信交互界面中的手写信息发送至联系人客户端。

针对载入到即时通信交互界面中的手写信息进行发送的过程还可以为：采集载入到即时通信交互界面中的手写信息对应的时间值；判断所述时间值是否满足时间阈值；若满足则将所述手写信息进行发送，否则不发送。

例如设置时间阈值为3分钟，从手写信息载入到即时通信交互界面的时刻开始计时，当时间达到3分钟时则满足时间阈值，将所述手写信息发送至对方；若未达到3分钟则不满足时间阈值，不进行信息发送。

参见图2，为本发明第二实施例提供的一种即时通信中实现手写交互操作方法的流程图，具体步骤如下所述。

S21，采集即时通信用户针对联系人通信进行手写输入的触发操作；

本实施例中，在即时通信主面板中设置进行手写输入的操作入口，通过触发所述操作入口，即产生用户针对所有联系人通信进行手写输入的触发操作。

本实施例中的触发方式还可以设置为，用户登录即时通信工具即产生手写输入的触发，当用户登录即时通信工具后即进入手写输入的操作状态。

S22，将用户与联系人通信的输入状态转变为手写输入状态，并通过摄像采集用户开启与联系人即时通信交互界面相对应的手写标识信息；

采集到用户针对联系人通信进行手写输入的触发操作后，启动用以采集手写操作信息的摄像装置，此时用户与联系人通信的输入状态转变为手写输入状态。

所述用户开启与联系人即时通信交互界面相对应的手写标识信息为，即时通信交互界面相对应的联系人标识信息以及开启即时通信交互界面相对应的标识信息，或者预设的图形或字符信息。

其中，联系人标识信息为联系人标识码或者联系人昵称或者用户针对联系人的备注姓名。另外，开启即时通信交互界面相对应的标识信息还可以为预设的图形或字符信息，例如可以通过三角形或者其它图形来表示打开与某个联系人交互界面的标识信息。

举例说明，用户欲打开与联系人A的即时通信交互界面，则通过手写输入联系人A所对应的昵称，然后在输入的联系人昵称之后再输入开启即时通信交互界面相对应的标识信息(例如预设的圆点符号等)，当客户端采集到包含这些标识信息的图像后，即通过Windows窗口相关的API函数生成用户与联系人A的即时通信交互界面。

另外，针对于用户经常联系的联系人，也可以预设简单的符号或图形等标识信息，来表示开启与该联系人的即时通信交互界面。

S23，根据前述采集的手写标识信息，开启用户与联系人的即时通信交互界面，并设置为焦点窗口；

客户端针对采集的包含有手写标识信息的图像进行识别，获取到打开即时通信交互界面的指令信息，并获取手写标识信息中的联系人标识信息，根据该联系人标识信息获取该联系人的标识码，根据该标识码利用Windows窗口相关的API函数，生成用户与联系人的即时通信交互界面，同时将该即时通信交互界面设置为焦点窗口，用户通过手写输入信息即可与联系人进行通信。

S24，采集用户的手写操作信息，并对采集的信息进行图像处理或文字识别处理；

通过已开启的摄像装置采集用户的手写操作信息，可以采集用户手写输入的具有笔迹的字符信息，拍摄包含有字符的图像信息；也可采集用户手写输入过程中的手势运动轨迹，根据手势运动轨迹识别出对应的文字信息。

针对所采集的手写操作信息进行图像处理或文字识别处理的具体实施过程和第一实施例中的步骤S14是相同的，此处不再赘述。

S25，将处理后的手写信息载入前述处于焦点窗口的即时通信交互界面中；

利用Windows操作系统中的API底层函数获取处于焦点窗口的即时通信交互界面的句柄，然后发送图片添加信息，直接把处理后的手写信息所对应的图片信息，显示在即时通信交互界面中的信息发送子窗口中。

S26，将载入到即时通信交互界面中的手写信息发送至用户的联系人客户端。

可通过设置时间阈值作为信息发送的条件，当载入到即时通信交互界面中的手写信息满足时间阈值条件时，即把该条信息直接发送至用户的联系人客户端。

也可通过触发形式进行信息的发送。例如可以设置快捷键形式进行信息发送的触发；也可预设手写输入的标识信息作为信息发送的触发形式，客户端采集到包含该标识信息的图像时，则将已载入的手写信息发送至即时通信另一方。

例如设置“√”作为发送的标识信息，当采集到用户的手写操作信息中包括有符号“√”时，则将已载入即时通信交互界面中的手写信息发送至联系人客户端。

参见图3，为本发明第三实施例提供的一种即时通信中实现手写交互操作的客户端示意图，具体包括：

触发采集模块310，用以采集即时通信用户针对联系人通信进行手写输入的触发操作；

状态转换模块320，与所述触发采集模块310相连，用以将用户与联系人通信的输入状态转变为手写输入状态；

手写信息采集模块330，与所述状态转换模块320相连，用以在手写输入状态下采集用户的手写操作信息；

手写信息处理模块340，与所述手写信息采集模块330相连，用以对所采集的手写操作信息进行图像处理或文字识别处理，并将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。

手写信息发送模块350，与所述手写信息处理模块340相连，用以将载入到即时通信交互界面中的手写输入信息发送至用户的联系人客户端。

本实施例所述的客户端中，触发采集模块310采集用户的触发操作指令，当采集到用户针对通信进行手写输入的触发操作时，将触发信息发送至状态转换模块320；状态转换模块320接收到触发信息后，启动用于采集手写信息的摄像装置，将用户与联系人通信的输入状态转变为手写输入状态；在手写输入状态下，手写信息采集模块330通过摄像装置，对用户的手写操作信息进行采集；再由手写信息处理模块340针对所采集的信息进行图像处理或文字识别处理，并将处理后的手写信息载入即时通信交互界面中；最后由手写信息发送模块350将载入到即时通信交互界面中的手写信息发送至用户的联系人客户端。

参见图4，为本发明第四实施例提供的一种即时通信中实现手写交互操作的系统示意图，该系统包括客户端410和手写信息服务器420，

所述客户端410包括：

触发采集模块411，用以采集即时通信用户针对联系人通信进行手写输入的触发操作；

状态转换模块412，与所述触发采集模块411相连，用以将用户与联系人通信的输入状态转变为手写输入状态；

手写信息采集模块413，与所述状态转换模块412相连，用以在手写输入状态下采集用户的手写操作信息；

信息发送模块414，与所述手写信息采集模块413相连，用以将采集的手写操作信息发送至服务器；

信息接收模块415，用以接收服务器返回的处理后的手写信息，并载入即时通信交互界面中。

所述手写信息服务器420包括：

手写信息处理模块421，用以对所接收的手写操作信息进行图像处理或文字识别处理；

信息返回模块422，与所述手写信息处理模块421相连，用以将处理后的手写信息返回至用户客户端，或者直接发送至用户的联系人客户端。

本实施例所述的系统中，客户端的触发采集模块411采集用户的触发操作指令，当采集到用户针对通信进行手写输入的触发操作时，将触发信息发送至状态转换模块412；状态转换模块412接收到触发信息后，启动用于采集手写信息的摄像装置，将用户与联系人通信的输入状态转变为手写输入状态；在手写输入状态下，手写信息采集模块413通过摄像装置，对用户的手写操作信息进行采集；信息发送模块414将采集的手写操作信息发送至手写信息服务器，由手写信息处理模块421接收该手写操作信息，并对其进行图像处理或文字识别处理；再由信息返回模块422将处理后的手写信息返回至用户客户端，或者直接发送至用户的联系人客户端；客户端的信息接收模块415接收返回的手写信息，并载入到即时通信交互界面中。

以上是对本发明的描述而非限定，基于本发明思想的其它实施方式，均在本发明的保护范围之中。

Claims (24)

1.一种即时通信中实现手写交互操作的方法，其特征在于该方法包括如下步骤：

步骤1，采集即时通信用户针对联系人通信进行手写输入的触发操作；

步骤2，将用户与联系人通信的输入状态转变为手写输入状态；

步骤3，针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；

步骤4，对前述采集的手写操作信息进行图像处理或文字识别处理，并将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。

2.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：在所述步骤4之后还包括，

将载入到即时通信交互界面中的手写信息发送至用户的联系人客户端。

3.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：在用户与联系人通信的即时通信交互界面中设置有进行手写输入的操作入口，通过触发所述操作入口，即产生针对所述联系人的通信进行手写输入的触发操作。

4.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：在即时通信主面板中设置有进行手写输入的操作入口，通过触发所述操作入口，即产生针对用户的所有联系人的通信进行手写输入的触发操作。

5.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：当采集到即时通信用户针对联系人通信进行手写输入的触发操作后，开启用以采集手写操作信息的摄像装置。

6.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：所述采集用户的手写操作信息的过程为，

启动摄像装置通过摄像采集用户手写输入的具有笔迹的字符信息；

针对所采集的具有笔迹的字符信息，判断是否包含有标点符号或预设的图形符号，若包含则确定用户输入的字符信息为完整语句信息；

通过摄像装置拍摄前述所确定的完整语句信息，获取包含所述完整语句信息的图像信息。

7.根据权利要求6所述的即时通信中实现手写交互操作的方法，其特征在于：针对所述包含完整语句信息的图像信息进行处理的过程包括，

判断所述包含完整语句信息的图像信息是否有倾斜失真现象；

若有，则针对倾斜失真的图像进行矫正处理，使其转变为正向拍摄的图像信息。

8.根据权利要求6所述的即时通信中实现手写交互操作的方法，其特征在于：针对所述包含完整语句信息的图像信息进行处理的过程包括，

判断所述图像信息中完整语句信息对应的字符区域以及字符外区域；

将图像信息中的字符外区域通过剪切去除，只保留字符区域。

9.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：所述采集用户的手写操作信息的过程为，

启动摄像装置通过摄像采集用户手写输入过程的手势信息，获取包括有用户手势信息的多帧图像信息。

10.根据权利要求9所述的即时通信中实现手写交互操作的方法，其特征在于：针对前述获取的包括有用户手势信息的多帧图像信息进行文字识别处理的过程为，

比较摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；

将用户手写输入过程中的所有相邻两帧图像的相对运动矢量首尾连接，获得本次手写输入的平面运动轨迹；

将所述平面运动轨迹转变为该轨迹对应的文字图形。

11.根据权利要求9所述的即时通信中实现手写交互操作的方法，其特征在于：针对前述获取的包括有用户手势信息的多帧图像信息进行文字识别处理的过程为，

比较摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；

将用户手写输入过程中的所有相邻两帧图像的相对运动矢量首尾连接，获得本次手写输入的平面运动轨迹；

将获得的平面运动轨迹与字符模型库进行比对，获取相对应的文字信息。

12.根据权利要求11所述的即时通信中实现手写交互操作的方法，其特征在于：所述的字符模型库为各种运动轨迹和字符模型具有映射关系的数据库。

13.根据权利要求11所述的即时通信中实现手写交互操作的方法，其特征在于：将获得的平面运动轨迹与字符模型库进行比对时，将所述的平面运动轨迹进行放大或缩小，转变成与字符模型相同的尺寸大小。

14.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：针对载入到即时通信交互界面中的手写信息，还包括如下步骤，

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有针对已载入的手写信息进行删除或者撤销的标识信息；

若包括则删除或者撤销已载入的手写信息。

15.根据权利要求2所述的即时通信中实现手写交互操作的方法，其特征在于：针对载入到即时通信交互界面中的手写信息进行发送的过程包括，

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有针对已经载入到即时通信交互界面中的手写信息进行发送的标识信息；

若包括则将已载入的手写信息发送至即时通信另一方。

16.根据权利要求2所述的即时通信中实现手写交互操作的方法，其特征在于：针对载入到即时通信交互界面中的手写信息进行发送的过程包括，

采集载入到即时通信交互界面中的手写信息对应的时间值；

判断所述时间值是否满足时间阈值；

若满足则将所述手写信息进行发送，否则不发送。

17.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：针对处于焦点窗口的即时通信交互界面进行转换的过程为，

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有针对处于焦点窗口的即时通信交互界面进行转换的标识信息；

若包括则根据用户输入的标识信息转换为对应的即时通信交互界面。

18.根据权利要求1所述的即时通信中实现手写交互操作的方法，其特征在于：针对即时通信交互界面进行开启的过程为，

采集用户的手写操作信息；

判断所采集的手写操作信息是否包括有开启即时通信交互界面的标识信息；

若包括则根据用户输入的标识信息，开启对应的即时通信交互界面。

19.一种即时通信中实现手写交互操作的方法，其特征在于该方法包括如下步骤：

步骤1，采集即时通信用户针对联系人通信进行手写输入的触发操作；

步骤2，将用户与联系人通信的输入状态转变为手写输入状态，并通过摄像采集用户开启与联系人即时通信交互界面相对应的手写标识信息；

步骤3，根据前述采集的手写标识信息，开启用户与联系人的即时通信交互界面，并设置为焦点窗口；

步骤4，采集用户的手写操作信息，并对采集的信息进行图像处理或文字识别处理，然后将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。

20.根据权利要求19所述的即时通信中实现手写交互操作的方法，其特征在于：所述用户开启与联系人即时通信交互界面相对应的手写标识信息为，

即时通信交互界面相对应的联系人标识信息以及开启即时通信交互界面相对应的标识信息，或者预设的图形或字符信息。

21.根据权利要求20所述的即时通信中实现手写交互操作的方法，其特征在于：所述联系人标识信息为联系人标识码或者联系人昵称或者用户针对联系人的备注姓名。

22.一种即时通信中实现手写交互操作的客户端，其特征在于该客户端包括：

触发采集模块，用以采集即时通信用户针对联系人通信进行手写输入的触发操作；

状态转换模块，与所述触发采集模块相连，用以将用户与联系人通信的输入状态转变为手写输入状态；

手写信息采集模块，与所述状态转换模块相连，用以针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；

手写信息处理模块，与所述手写信息采集模块相连，用以对所采集的手写操作信息进行图像处理或文字识别处理，并将处理后的手写信息载入到前述处于焦点窗口的即时通信交互界面中。

23.根据权利要求22所述的即时通信中实现手写交互操作的客户端，其特征在于：该客户端还包括，

手写信息发送模块，与所述手写信息处理模块相连，用以将载入到即时通信交互界面中的手写输入信息发送至用户的联系人客户端。

24.一种即时通信中实现手写交互操作的系统，其特征在于：该系统包括客户端和手写信息服务器，

所述客户端包括，

触发采集模块，用以采集即时通信用户针对联系人通信进行手写输入的触发操作；

状态转换模块，与所述触发采集模块相连，用以将用户与联系人通信的输入状态转变为手写输入状态；

手写信息采集模块，与所述状态转换模块相连，用以针对当前处于焦点窗口的即时通信交互界面，采集用户的手写操作信息；

信息发送模块，与所述手写信息采集模块相连，用以将采集的手写操作信息发送至服务器；

信息接收模块，用以接收服务器返回的处理后的手写信息，并载入即时通信交互界面中；

所述手写信息服务器包括，

手写信息处理模块，用以对所接收的手写操作信息进行图像处理或文字识别处理；

信息返回模块，与所述手写信息处理模块相连，用以将处理后的手写信息返回至用户客户端，或者直接发送至用户的联系人客户端。

Images