CN111010333A - 一种携带触控元素的即时通讯装置及方法 - Google Patents

Abstract

本发明涉及一种携带触控元素的即时通讯装置及方法。装置包括发送端和接收端，发送端包括采集模块，除语音、视频采集外，采集模块还包括窗口界面采集和触摸屏参数采集。所述方法建立在即时通讯环境下，包括发起端和响应端流程。发起端流程：启动游戏应用程序而成为主端，主端开辟游戏窗口，主端实时采集窗口界面信息，完成数据的压缩、编码及复合，然后发出；主端接收，完成信息流解复合与解码处理，获得触控元素互动参数后传递给游戏进程，完成远端触控元素对游戏的操作。响应端流程主要特征是：接收“主端”应用窗口界面图像并显示；采集触摸屏信号并生成触控元素，连同所采集的本端语音、摄像头信息一同进行压缩、编码、复合，然后发给主端。

Description

一种携带触控元素的即时通讯装置及方法

技术领域

本发明涉及即时通讯领域，特别涉及一种携带触控元素的即时通讯装置及方法。

背景技术

即时通讯IM(Instant Messenger)是基于互联网连接和传输技术的一种通讯方式，用户在自己的终端上运行IM即时通讯软件，与同样在终端上运行IM软件的互联网远端用户进行即时聊天，发送文字、符号、图片、短视频，甚至进行语音聊天或视频聊天，比如常见的QQ、微信等即时通讯。

智能手机和移动互联网时代的开启，让即时通讯得到了蓬勃的发展，通过智能手机、pad等移动终端上的即时通讯软件构建即时聊天环境，在此环境下人们可以完成文字互动、语音互动(语音聊天)、视频互动(视频聊天)，也可以完成位置发送和位置共享，其中视频聊天和位置共享的实现，完成了在即时聊天软件环境下应用程序的开启。

基于互联网技术的即时通讯系统由不同的通讯终端与IM服务器共同构建，而基于互联网的网络游戏系统是由不同的游戏终端与游戏服务器共同构建，两类业务的属性不同，两种系统的客户端软件功能、服务器端的客户管理、服务体系、数据库构成都是不一样的，实际上即时通讯体系就不是为游戏类应用而构建的；在现有的即时通讯系统中，对于文字聊天，即时通讯传递的是符号元素，对于语音聊天，传递的是语音元素，而视频聊天时传递的是视频元素，除电话和视频聊天外，传统即时通讯聊天窗口的内容是向上滚动的；到目前为止，还没有一款即时通讯工具实现聊天环境下屏幕触控元素的携带，进而实现一种具有非滚动界面的，集视频、语音和游戏于一体的即时通讯方式。

发明内容：

本发明的目的在于解决现有即时通讯聊天环境下游戏互动的问题，提供一种携带触控元素的即时通讯装置及方法，技术方案如下。

第一方面，提供一种携带触控元素的即时通讯装置，该装置包括发送端和接收端；所述发送端包括：采集模块、数据处理模块和网络通信模块，采集模块包括麦克风信号采集单元、摄像头信号采集单元、界面及应用接口采集单元和人机接口采集单元，其中界面及应用接口采集单元是为了采集应用程序窗口或界面而设计的，应用接口是“互动应用”的参数传递端口，人机接口采集单元是触摸屏采集单元、蓝牙通信接口采集单元或二者之一；触摸屏采集单元用于完成对触摸屏模块产生的触控信号的采集，触控信号包括触控点坐标、触控点数量及触控时长信息，触控坐标、点数、时长参数称为触控元素，除此之外，由触控点指出的游戏成员、相对坐标、位置也是触控元素，总之，界面绝对坐标与触控点坐标关联的对象都是触控元素；蓝牙通信接口采集单元用于采集外设信息，外设可以是鼠标、键盘或机电装置；数据处理模块是与采集模块连接的，用来完成对各采集模块发来的采集数据的压缩、编码及复合，编码及复合后的数据传送到与之相连的网络通信模块；网络通信模块负责数据的网络发送，即根据网络通信协议完成数据的传输。

所述接收端包括：网络通信模块、解码模块、分发模块；接收端的网络接收模块按照协议完成通信数据的网络接收，解码模块完成解复合及解码，是信号复合及信号编码的逆过程，完成各类数据的恢复，分发模块是与各个采集模块对应的，用以完成语音、视频、应用界面及对方人机接口信息的再现或特定接收、处理。

另一方面，本发明提供了一种携带触控元素的即时通讯方法，此方法既适用于双人聊天环境，也适用于群组内的多人聊天环境，其方法如下。

首先，参与聊天的通信终端同时处于即时通讯的聊天状态，即装置运行即时通讯程序，且彼此处于与对方的聊天状态，根据“互动应用”是发起端还是响应端，流程分为发起端流程和响应端流程。

发起端流程：

1)产生“互动应用”呼叫请求信号并发出，该过程由用户通过即时通讯聊天环境下的界面“按钮”激发产生；

2)一定时间长度内，发起方装置的接收端没有收到“响应信号”则结束呼叫请求，恢复常规聊天进程；

3)当发起方装置接收到“响应信号”时，进入下一步；

4)即时通讯的一方启动“互动应用”程序而成为“主端”，在即时聊天界面上开辟“互动应用”的显示窗口，用于“互动应用”的界面显示；“主端”可以是这里的“互动应用”发起端，也可以是响应端；

5)“主端”实时采集信息，包括采集“互动应用”显示窗口的界面信息、“互动应用”进程的软件接口信息、麦克风语音信号、摄像头信号以及人机接口信号，完成采集数据的压缩、复合及编码，然后将编码后的数据传送给网络通信单元发出，显示界面是“互动应用”的窗口界面或主端的全部界面，显示界面信息用于“从端”的显示，“互动应用”接口信息为对方装置提供互动参数；

6)“主端”接收接收端的信息流，完成信息流解复合和解码处理，获得触控元素互动参数、语音及视频数据信息；

7)“主端”将步骤“6)”的触控元素互动参数传递给“互动应用”进程，完成远端聊天用户的触控元素对“互动应用”的操作，用语音及视频数据恢复语音及视频。

响应端流程：

1)接收到发起方的“互动应用”呼叫信号，产生提示响应信号；

2)当界面上“确认”按钮被用户触发时，以“从端”身份启动“互动应用”管理进程；

3)实时接收“主端”发来的复合信息，完成解复合、解码处理；

4)接收“主端”应用窗口界面图像并显示，完成接收到的语音信号的在“从端”的音频播放，完成接收到的视频图像的渲染；

5)“从端”采集，采集麦克风语音信号、摄像头信号，采集人机接口信号并生成触控元素，人机接口是触摸屏接口，所生成的触控元素用于操作“主端”的“互动应用”，麦克风信号用于“互动应用”过程中的语音互动(语音聊天)，摄像头信号用于“从端”和“主端”聊天人物视频图像的界面渲染；

6)“从端”完成所采集数据的压缩、编码及复合，然后将复合后的数据传送给网络通信单元130发出；

上述过程实际是在即时聊天状态下，本地主叫方与聊天对象在即时聊天的软件环境下开启了一个互动应用程序，具体分为共享和客服两种互动应用方式。共享式的原理是，主端将应用程序的显示界面采集后发给从端，从端一方面完成这个主端应用程序界面在从端的显示，另一方面实时采集从端用户的触控元素，同时将该参数与从端采集并压缩的语音和摄像头图像同时反向发送给主端，主端使用这些数据完成视频语音聊天过程中的游戏互动；客服式的原理是，主端以“互动应用”的服务器和客户端两种身份出现，应用程序在服务器启动、运行，从端以客户端身份出现，所有客户端都会显示服务器提供的应用界面，接收本客户端的相关信息，完成游戏显示，音频播放和视频头像渲染，同时采集本客户端触控信息，生成触控元素回传给服务器端。

有益效果

与现有技术相比，本发明有以下创新点：

1.创建了一种携带触控元素的即时通讯装置；

2.创建了一种携带触控元素的即时通讯方法；

3.在即时通讯聊天环境下创建了一种集视频、语音和游戏于一体的即时通讯方式；

本发明对比已有技术具有以下优点：

1.扩展了即时通讯方式；

2.即时通讯环境下的互动游戏是一种分布式的游戏，没有第三方服务器中心，更不需要传统游戏网络服务的所有环节和开销；

附图说明

图1为本发明实施例一，一种携带触控元素的即时通讯装置组成图；

图2为本发明实施例一，视频语音聊天过程中跳棋游戏互动界面图；

图3为本发明实施例一，一种携带触控元素的即时通讯方法流程图；

图4为本发明实施例一，一种携带触控元素的即时通讯方法中的“主端”流程图；

图5为本发明实施例一，一种携带触控元素的即时通讯方法中的“从端”流程图；

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

一种共享式互动应用，以跳棋游戏为例，智能手机用户A与智能手机用户B同时使用即时聊天工具进行即时聊天，即手机A和手机B处于即时聊天程序运行状态，所谓共享式，就是A、B双方共享A端的跳棋游戏界面图像和游戏行棋操作，方法是A端将游戏界面实时地以视频方式传送到B端界面，而B端实时地把触摸屏传感器的触控信息传送给A端，完成行棋操作。

双方的手机是一种可以传递触控元素的即时通讯装置，该装置包括发送端100和接收端200，其中，所述发送端100包括：采集模块110、数据处理模块120和网络通信模块130；采集模块包括麦克风信号采集单元111、摄像头信号采集单元112、界面及应用接口采集单元113和人机接口采集单元114；其中界面及应用接口采集单元113是为了采集应用程序窗口或界面而设计的，应用接口是“互动应用”的参数传递端口，人机接口采集单元114是触摸屏采集单元和蓝牙通信采集单元或二者之一，触摸屏采集单元114用于完成对触摸屏模块产生的触控信号的采集，触控信号包括触控点坐标、触控点数量及触控时长信息，触控坐标、点数、时长参数称为触控元素，除此之外，由触控点(触摸屏上被操作者触及的点)指出的跳棋子、棋子的相对坐标、位置信息及游戏界面上的操控按钮也是触控元素，总之，界面绝对坐标与触控点坐标关联的对象都是触控元素；蓝牙通信采集单元用于采集通过蓝牙通信接口的外设信息，该外设可以是鼠标、键盘、操纵杆等；数据处理模块120是与采集模块110连接的，用来完成对采集模块110发来的采集数据的压缩、复合及编码，编码后的数据传送到与之相连的网络通信模块130；网络通信模块130负责数据的网络发送，即根据网络通信协议完成数据的发送。

所述接收端200包括网络通信模块230、解码模块220和分发模块210；网络接收模块230按照发送端网络通信相同的协议完成通信数据的网络接收，解码模块220完成解复合及解码，是信号复合及信号编码的逆过程，完成各类数据的恢复；分发模块210是与各个采集模块对应的，用以提供语音、视频、跳棋游戏操控需要的数据。

A用户与B用户以共享方式使用上述装置实现跳棋游戏的方法如下。

首先，A、B端同时处于即时通讯的聊天状态，相互的聊天信道已经建立，可以互发消息，A端通过界面选项向B端发起跳棋游戏请求，发起端流程如下。

发起端流程：

1)产生“跳棋游戏”呼叫请求信号并发出，该过程由A用户通过即时通讯聊天环境下的界面“按钮”激发产生；

2)一定时间长度内，A方装置的接收端200没有收到“响应信号”则结束呼叫请求，恢复常规聊天状态；

3)当A方装置从接收端200收到B方的响应信号时，进入下一步。

4)A端启动跳棋游戏程序而成为“主端”，在即时聊天界面115上开辟跳棋游戏的显示窗口116；

5)“主端”实时采集跳棋游戏显示窗口116的界面信息、装置使用的麦克风信号和摄像头信号，完成采集数据的压缩、编码及复合，然后传送给网络通信单元130发出；

6)实时接收网络通信模块230的信息流，完成信息流解复合和解码处理，获得触控元素互动参数、语音及视频数据信息；

7)将来自步骤“6)”的B方触控元素参数传递给当前的跳棋游戏端口，完成B端聊天用户对发起端A端跳棋游戏的行棋操作，于是便实现了A端的跳棋游戏即可被A端的触控屏操作，也可以同时接受B端用户的远端触控操作；同时用语音及视频数据恢复语音及视频。

响应端流程：

1)B端收到A端的跳棋游戏呼叫请求信号，产生音讯提示；

2)当界面上“确认”按钮被B端用户触发时，以“从端”身份启动跳棋游戏管理进程；

3)实时接收“主端”发来的复合信息，完成解复合、解码处理；

4)完成接收到的A端跳棋游戏界面图像在B端的显示，完成接收到的语音信号的在B端的音频播放，完成接收到视频图像的渲染；

5)实时采集B端触控屏114的触控信号并生成触控元素，这里的触控元素是跳棋棋子编号及棋盘格坐标，用于操作A“主端”的跳棋行棋；实时采集B端麦克风语音信号，用来实现游戏过程中的语音聊天，实时采集摄像头信号，用于“主端”界面上显示“从端”的头像视频；

6)完成步骤“5)”产生数据的压缩、复合及编码，然后将数据传送给B端的网络通信模块130发出。

关于“从端”启动的游戏管理进程，实际上是一个实时采集触摸屏传感器参数(触控元素)的通用插件，将该触控元素回传给A端，实现B端对A端运行游戏的行棋操作。共享式方案的优点在于“从端”的这个插件是通用的，不需要针对不同的游戏安装不同的管理程序。

实施例2

一种客服式方案，使用本发明装置，以扑克牌游戏为例，在某个聊天群中处于群内即时通讯状态的A、B、C三个用户预进行“斗地主”扑克游戏，实现思想是：游戏发起端既充当游戏服务器又充当客户端，其它2个响应端只作为客户端。

装置组成与实施例1相同，完成即时通讯聊天状态下扑克游戏的流程仍然分为发起端流程和响应端流程，叙述如下。

发起端流程：

1)“斗地主”扑克游戏呼叫请求信号产生并发出，该过程由A用户通过即时通讯聊天环境下的界面“按钮”激发产生；

2)一定时间长度内，A装置没有收到“响应信号”则结束呼叫请求；

3)当发起方(A端)装置接收到“响应信号”时进入下一步骤；

4)A端装置启动自身服务器的“斗地主”游戏，同时启动A客户端进程，标识A客户端，其它两个响应端标识为B客户端和C客户端，A客户端进程在聊天界面开辟跳棋游戏窗口；

5)实时采集服务器扑克游戏的接口信息，该信息包括用于客户端的游戏窗口界面信息，客户端的牌花信息；同时采集A客户端的触控信号、麦克风语音信号、摄像头信号；完成采集数据的压缩、编码及复合，然后将编码后的数据传送给网络通信模块130发出；

6)服务器接收到接收端200的信息流，完成信息流解复合和解码处理，获得各客户端触控元素参数；

7)步骤“6)”的触控元素参数传递给斗地主游戏进程，完成A、B、C三个客户端斗地主游戏的行牌操作。

响应端流程：

1)接收到发起方的“斗地主”扑克游戏呼叫信号，产生音讯提示；

2)界面上“确认”按钮被聊天用户触发，B(C)客户端扑克游戏进程启动；

3)实时接收A端服务器发来的复合信息，完成解码、解复合处理；

4)显示客户端游戏界面及本客户端的扑克牌花，完成接收到的语音信号的在本端的音频播放；

5)客户端采集，采集人机接口信号并生成触控元素，人机接口是触摸屏接口；实时采集麦克风语音信号、摄像头信号，用于游戏过程中的语音及视频聊天；

6)“从端”完成所采集数据的压缩、编码及复合，然后将数据传送给网络通信单元130发出。

客服式方案的适用性广泛，不足之处在于增加了客户端软件的复杂度。

Claims (9)

1.一种携带触控元素的即时通讯装置，包括发送端100和接收端200，发送端100包括采集模块110、数据处理模块120和网络通信模块130，接收端200包括网络通信模块230、解码模块220，其特征在于：采集模块110包括采集单元114，采集单元114是触摸屏采集单元。

2.根据权利要求1所述的采集模块110，其特征在于：采集模块110还包括麦克风信号采集单元111、摄像头信号采集单元112、应用接口采集单元113，应用接口是“互动应用”的参数传递端口。

3.根据权利要求1所述的人机接口采集单元114，其特征在于：人机接口采集单元114是蓝牙通信接口采集单元，蓝牙通信接口采集单元用于采集外设信息。

4.一种携带触控元素的即时通讯方法，其特征在于：包括发起端流程和响应端流程，其中发起端流程是：

1)产生“互动应用”呼叫请求信号并发出；

2)一定时间长度内，发起方装置的接收端200没有收到“响应信号”，结束呼叫请求；

3)当发起方装置接收到“响应信号”时进入下一步骤；

4)即时通讯的一方启动“互动应用”程序而成为“主端”，在即时聊天界面115上开辟“互动应用”的显示窗口116；

5)“主端”实时采集信息，包括采集“互动应用”显示窗口116的界面信息，完成采集数据的压缩、复合及编码，然后将编码后的数据传送给网络通信单元130发出；

6)“主端”接收到接收端200的信息流，完成信息流解复合和解码处理，获得触控元素互动参数；

7)“主端”将步骤“6)”的触控元素互动参数传递给“互动应用”进程，完成远端触控元素对“互动应用”的操作；

响应端流程：

1)接收到发起方的“互动应用”呼叫信号，产生提示信号；

2)当界面上“确认”按钮被用户触发时，以“从端”身份启动“互动应用”管理进程；

3)实时接收“主端”发来的复合信息，完成解复合、解码处理；

4)接收“主端”应用窗口界面图像并显示；

5)“从端”采集，采集人机接口信号并生成触控元素，人机接口是触摸屏接口；

6)“从端”完成所采集数据的压缩、编码及复合，然后传送给网络通信单元130发出。

5.根据权利要求4发起端流程中所述“主端”，其特征在于：“主端”是互动应用发起端。

6.根据权利要求4发起端流程中所述“主端”，其特征在于：“主端”是互动应用响应端。

7.根据权利要求4所述的“主端”和“从端”，其特征在于：“主端”是服务器，“从端”是客户端。

8.根据权利要求4发起端流程之步骤“5)”所述的“从端”采集，其特征在于：采集信息还包括采集麦克风信息和摄像头信息。

9.根据权利要求4响应端流程之步骤“5)”所述人机接口，其特征在于：人机接口是蓝牙通信接口。

Images