CN103929351A - 基于Web的画板实时应答方法及系统 - Google Patents

Abstract

本发明涉及智能终端、互联网技术和移动互联网领域，提供一种基于Web的画板实时应答方法及系统，所述方法包括步骤：对Web画板进行绘图操作；对用户的绘图操作数据进行语义分析，根据所得内容数据的相关性查询相关在线应答者，将相关在线应答者的相关信息呈现于用户的Web界面，以供发起会话请求；转发会话请求至被请求者，建立用户与被请求者之间的实时通信连接，并接收和发送会话产生的实时交互数据；呈现实时交互数据于用户及被请求者的Web界面。借此，本发明采用Web画板作为实时应答接口，符合人们对触摸屏设备的使用习惯，能够方便输入且可精确表达待应答内容，从而提高内容应答服务的质量，丰富了互联网内容服务。

Description

基于Web的画板实时应答方法及系统

技术领域

本发明涉及智能终端、互联网技术和移动互联网领域，更具体地，涉及一种基于Web的画板实时应答方法及系统。 

背景技术

随着互联网系统的高速发展，即时通信(IM，Instant Messenger)已成为必不可少的互联网应用。更由于带宽的不断扩容，IM系统已由原来的只支持文本交流聊天，发展到支持音频会话、视频会话、文件共享等高端应用。但某些内容比如：公式无法通过文本，音视频进行方便的输入和精准的表达。 

而在各种带触摸屏的智能终端设备(如智能手机、平板电脑，智能电视等)充斥人们生活的今天，人们更加喜欢或习惯于通过手绘的方式，轻松地在触摸屏上自由表达自己的思想和创造内容。 

综上，目前即时通信技术在实际使用上，由于某些内容通过文本、音视频内容输入接口进行输入，会造成输入的不便和表达不精准，从而导致内容应答服务的低质量，所以有必要加以改进。 

发明内容

为解决上述现有技术的缺陷，本发明的目的在于提供一种基于Web的画板实时应答方法及系统，利用Web画板作为内容输入接口，符合人们对触摸屏设备的使用习惯，能够方便输入且可精确表达待应答内容，从而提高内容应答服务的质量。 

为达成上述目的，本发明提供一种基于Web的画板实时应答方法，所述方法包括以下步骤： 

绘图步骤，对Web画板进行绘图操作； 

确定相关在线应答者步骤，对用户在所述Web画板上的绘图操作数据进行语义分析，根据所述语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求； 

实时应答步骤，通过Websocket消息转发所述会话请求至被请求者，建立所述用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据； 

呈现步骤，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板的所述Web界面。 

上述确定相关在线应答者步骤为：根据所述内容数据的相关性查询所有相关在线应答者并呈现于所述用户的Web界面，以供所述用户选择发起会话请求。 

上述确定相关在线应答者步骤为：根据所述内容数据的相关性自动匹配相关在线应答者，以供服务端发起会话请求。 

上述确定相关在线应答者步骤后，所述实时应答步骤前，还包括： 

确定相关离线应答者步骤，没有查询到相关在线应答者时，根据所述内容数据的相关性自动匹配相关离线应答者，以供所述服务端发起会话请求。 

上述服务端发起会话请求为：所述服务端通过消息的形式分发给所述被请求者。 

上述实时交互数据包括：会话参与者在所述Web画板上输入的内容、所述Web画板对事件的响应及所述会话参与者之间交流的语音和视频媒体内容。 

上述呈现步骤后还包括： 

翻页步骤：所述Web画板进行翻页操作，所述服务端通过Websocket消息获取当前页的绘图内容数据，并生成一页码代号与所述当前页绘画内容数据配对存储，同时将所述当前页的绘画内容数据通过Websocket消息发送给其它会话参与者。 

上述翻页步骤还包括： 

所述Web画板进行返回前页操作，所述服务端将当前页号减一并查询相应绘图内容数据，同时将所述绘图内容数据通过Websocket消息发送给所述其它会话参与者。 

上述实时应答步骤后，所述呈现步骤前，还包括： 

保存步骤，在实时应答的会话结束后，将所述实时交互数据保存于所述服务端的数据库。 

上述保存步骤中将所述实时交互数据保存时设置查看权限：仅供所述用户个人查看、供指定用户查看及供所有人查看。 

上述保存步骤后，所述呈现步骤前，还包括： 

修改步骤，修改具有修改权限的历史Web画板的内容，将修改内容保存于所述服务端的数据库。 

上述呈现步骤包括： 

呈现所述被修改的历史Web画板的相关信息和状态改变到有权查看的用户的Web界面。 

上述呈现步骤中以提示消息方式呈现所述被修改的历史Web画板的状态改变。 

上述提示消息为所述历史Web画板对应的消息图标以醒目方式呈现，称为消息白板。 

上述Web界面的布局包括： 

当前Web画板区，用于呈现当前Web画板的内容。 

上述Web界面的布局还包括： 

视频窗口区，用于呈现用户视频交流时的窗口。 

上述Web界面的布局还包括： 

搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页链接及相关信息图标； 

应答者区，用于呈现所述供用户选择的应答者及相关信息图标； 

历史Web画板区，用于用户登录状态下呈现历史Web画板的消息图标。 

本发明还提供一种基于Web的画板实时应答系统，包括客户端及服务端，所述客户端包括： 

Web画板，用于进行绘图操作，并将绘图操作数据通过Websocket消息发送到所述服务端； 

呈现模块，用于呈现包括所述Web画板的Web界面； 

所述服务端包括： 

数据库，用于存储用户信息、用户状态及绘图内容数据； 

用户管理模块，用于处理客户端用户注册、认证和授权请求，实时更新并按需提供所述数据库中的用户信息和用户状态； 

画板服务模块，用于对所述用户绘图操作数据进行语义分析，根据所述语义分析所得内容数据的相关性向所述用户管理模块查询相关在线应答者，将所述相关在线应答者的相关信息发送到所述客户终端的呈现模块，以供发起会话请求； 

实时通信模块，用于通过Websocket消息转发所述会话请求至所述被请求者，建立所述用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据，将所述实时交互数据发送至所述用户及所述被请求者的呈现模块。 

上述画板服务模块用于根据所述内容数据的相关性向所述用户管理模块查询所有相关在线的应答者并呈现于所述用户的Web界面，以供所述用户选择发起会话请求。 

上述画板服务模块用于根据所述内容数据的相关性自动匹配相关在线应答者，以供所述画板服务模块发起会话请求。 

上述画板服务模块还用于没有查询到相关在线应答者时，根据所述内容数据的相关性自动匹配相关离线应答者，以供所述画板服务模块发起会话请求。 

上述画板服务模块发起会话请求为：所述画板服务模块通过消息的形式分发给所述被请求者。 

上述实时交互数据包括：会话参与者在所述Web画板上输入的内容、所述Web画板对事件的响应及所述会话参与者之间交流的语音和视频媒体内容。 

上述Web画板用于进行翻页操作，将当前页的绘画内容的数据通过Websocket消息发送到所述画板服务模块； 

所述画板服务模块用于获取所述当前页的绘图内容的数据，生成一页码代号并与所述当前页的绘画内容的数据配对存储，同时将所述当前页的绘画内容的数据通过Websocket消息发送给其他共享画板的客户端。 

上述Web画板用于进行返回前页操作； 

所述画板服务模块用于将当前页号减一并查询相应的绘图内容数据，同时将所述绘图内容数据通过Websocket消息发送给所述其他共享画板的客户端。 

上述实时通信模块还用于在实时应答的会话结束后将所述实时交互数据保存于所述数据库。 

上述实时通信模块用于保存所述实时交互数据时设置查看权限：仅供所述用户个人查看、供指定用户查看及供所有人查看。 

上述Web画板还用于供用户修改具有修改权限的历史Web画板的内容，并发送修改请求及修改内容到所述画板服务模块； 

所述画板服务模块用于获取所述修改内容，将所述修改内容保存于所述数据库。 

上述呈现模块用于呈现所述被修改的历史Web画板的相关信息和状态改变到有权查看的用户的Web界面。 

上述呈现模块用于以提示消息方式呈现所述被修改的历史Web画板的状态改变。 

上述提示消息为所述历史Web画板对应的消息图标以醒目方式呈现，称为消息白板。 

上述Web界面的布局包括： 

当前Web画板区，用于呈现当前Web画板的内容。 

上述Web界面的布局还包括： 

视频窗口区，用于呈现用户视频交流时的窗口。 

上述Web界面的布局还包括： 

搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页链接及相关信息图标； 

应答者区，用于呈现所述供用户选择的应答者及相关信息图标； 

历史Web画板区，用于用户登录状态下呈现历史Web画板的消息图标。 

本发明针对现有的基于文本、图片及语音输入的即时通信技术的缺陷，为用户提供了一种新颖的和方便使用的智能终端Web界面及对内容实时应答的方法，提出了基于Web的绘画的即时通信接口，符合目前广泛流行的触摸屏终端设备的使用模式和用户习惯。避免了基于文本、图片或语音输入的搜索由于输入不便和表达不准确造成即时通信结果的不理想或误导，也避免了文本输入给一些不会使用文本输入方法的特殊人群带来的不便。另外，通过绘画方式为用户提供了输入一些特殊符号的有效接口，如数学公式等，方便学生等用户群对学习相关的内容的实时应答。 

附图说明

图1为本发明基于Web的画板实时应答系统的结构示意图； 

图2为本发明用户输入部分内容时的Web界面的Web画板区实例图； 

图3为本发明相对于图2用户增加内容时的Web界面的Web画板区实例图； 

图4为本发明相对于图2和图3用户放大内容时通过滑动选择显示其他部分内容的Web界面的Web画板区实例图； 

图5为本发明用户登录状态时Web界面的布局实例图； 

图6为本发明用户与应答者共享Web画板进行交互的示意图； 

图7为本发明视频交流时Web界面的布局实例局； 

图8为本发明基于Web的画板实时应答方法的流程图； 

图9为本发明第一实施例中基于Web的画板实时应答方法的流程图； 

图10为本发明第二实施例中基于Web的画板实时应答方法的流程图； 

图11为本发明第三实施例中基于Web的画板实时应答方法的流程图； 

图12为本发明第四实施例中基于Web的画板实时应答方法的流程图； 

图13为本发明第五实施例中基于Web的画板实时应答方法的流程图； 

图14为本发明第六实施例中基于Web的画板实时应答方法的流程图；以及 

图15为本发明第七实施例中基于Web的画板实时应答方法的流程图。 

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 

本发明涉及一种智能终端的用户接口和互联网内容呈现界面，称为Web画板，和基于该接口进行内容实时应答和及基于互联网内容的分享、互动方法。通过在互联网上的实时数据传输，为用户通过其网络终端设备提供一个方便易用、所想即所得的输入和输出接口，以精确表达和实时咨询目标内容，以及创造个性化的内容和实现内容分享、互动。 

图1为本发明基于Web的画板实时应答系统100的结构示意图，所述画板实时应答系统100包括客户端10及服务端20，所述客户端10包括： 

Web画板11，用于进行绘图操作，并将绘图操作数据通过Websocket消息发送到所述服务端20；系统通过网页(浏览器访问模式)或应用程序(安装在智能终端设备上)为用户提供一个电子画板11，用户可用手指或触摸笔通过触摸屏或使用鼠标或远距体感操控在画板上画出任意图形、公式和文字等。 

优选的是，所述Web画板11用于进行翻页操作，将当前页的绘画内容的数据通过Websocket消息发送到所述画板服务模块23；所述画板服务模块23用于获取所述当前页的绘图内容的数据，生成一页码代号并与所述当前页的绘画内容的数据配对存储，同时将所述当前页的绘画内容的数据通过Websocket消息发送给其他共享画板的客户端10。 

所述Web画板11用于进行返回前页操作；所述画板服务模块23用于将当前页号减一并查询相应的绘图内容数据，同时将所述绘图内容数据通过Websocket消息发送给所述其他共享画板的客户端10。 

更好的是，所述Web画板11还用于供用户修改具有修改权限的历史Web画板的内容，并发送修改请求及修改内容到所述画板服务模块23；所述画板服务模块23用于获取所述修改内容，将所述修改内容保存于所述数据库21。 

呈现模块12，用于呈现包括所述Web画板11的Web界面； 

优选的是，所述呈现模块12用于呈现所述被修改的历史Web画板的相关信息和状态改变到有权查看的用户的Web界面。 

更好的是，所述呈现模块12用于以提示消息方式呈现所述被修改的历史Web画板的状态改变。所述提示消息为所述历史Web画板对应的消息图标以醒 目方式呈现，称为消息白板。 

所述服务端20包括： 

数据库21，用于存储用户信息、用户状态及绘图内容数据； 

用户管理模块22，用于处理客户端10用户注册、认证和授权请求，实时更新并按需提供所述数据库21中的用户信息和用户状态；其中，如图1所示，系统包含一个与画板服务模块23连接的用户管理模块22，负责处理用户注册、认证和授权请求，并进行相关数据库21读写操作。系统对用户的管理功能可通过如下两种方式实现(可选其一)：(一)用户终端将用户信息和相关请求通过接口A发送给画板服务模块23，再由画板服务模块23通过接口C转发给用户管理装置，用户管理装置进行相关处理之后将结果通过接口C返回给画板服务模块23。接口A基于通信协议包括但不限于HTTP(S)和Websocket(s)，而接口C的实现方式包括但不限于RPC、REST-API。(二)用户终端与用户管理装置直接通过网络接口进行交互，进行用户注册、认证和授权的请求和应答，该接口基于通信协议包括但不限于HTTP(S)和Websocket(s)。当用户管理装置完成用户注册、认证和授权会主动或根据画板服务模块23的请求将用户相关信息和状态通过接口C发送给画板服务器。上述有关用户注册、认证和授权的具体算法和流程不在本发明范围内。 

画板服务模块23，用于对所述用户绘图操作数据进行语义分析，根据所述语义分析所得内容数据的相关性向所述用户管理模块22查询相关在线应答者，将所述相关在线应答者的相关信息发送到所述客户终端的呈现模块12，以供发起会话请求； 

优选的是，所述画板服务模块23用于根据所述内容数据的相关性向所述用户管理模块22查询所有相关在线的应答者并呈现于所述用户的Web界面，以供所述用户选择发起会话请求。或者，所述画板服务模块23用于根据所述内容数据的相关性自动匹配相关在线应答者，以供所述画板服务模块23发起会话请求。 

更好的是，所述画板服务模块23还用于没有查询到相关在线应答者时，根据所述内容数据的相关性自动匹配相关离线应答者，以供所述画板服务模块23发起会话请求。其中，所述画板服务模块23发起会话请求为：所述画板服务模块23通过消息的形式分发给所述被请求者。 

实时通信模块24，用于通过Websocket消息转发所述会话请求至所述被请求者，建立所述用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据，将所述实时交互数据发送至所述用户及所述被请求者的呈现模块12。其中，实时通信模块24包括一个或多个实时通信服务器，负责在会话(session)参与者之间建立通信连接，承载即时消息和视频流，该实时通信模块24可基于包括但不限于XMPP(Extensible Messaging and Presence Protocol)、SIP(Session Initiation Protocol)或WebRTC等技术实现，而该实时通信模块24与用户终端的交互接口F根据系统的实现方式可以是基于包括但不限于XMPP、SIP或Websocket等协议消息实现。实时通信模块24负责起会话请求和对用户呈现信息(Presence)的请求，及建立Web画板11客户端10间的 实时通信连接等。实时通信模块24中的通信服务器接收用户的通信请求并转发至被请求用户所注册的另一台通信服务器，通知被请求用户。具体的通信过程由具体的实现协议和方法决定，不在本发明范围。 

画板服务模块23获得用户画图数据并转化为SVG代码，以此为依据进行语义分析，然后通过接口G向实时通信模块24查询相关在线用户，将返回的相关在线用户信息通过接口A呈现到用户终端。关于SVG的语义分析和相关查询算法不在本发明范围内。当用户点击用户界面上某在线用户时，用户终端通过接口F向实时通信模块24发起与对应在线用户的通信请求，由实时通信模块24通过F接口转发该请求到对应的在线用户终端，若用户同意该请求，则在所有用户之间通过实时通信模块24建立端到端的通信连接，以实现即时消息和视频通话，具体的通信过程按照系统实现方式所选择的通信协议进行，不在本发明范围内。实时通信模块24与用户管理模块22之间的接口H负责让实时通信模块24获得用户信息和用户状态，实现方式可以是但不限于RPC，RESTAPI。 

优选的是，所述实时交互数据包括：会话参与者在所述Web画板上输入的内容、所述Web画板对事件的响应及所述会话参与者之间交流的语音和视频媒体内容。 

更好的是，所述实时通信模块24还用于在实时应答的会话结束后将所述实时交互数据保存于所述数据库21。 

最佳的是，所述实时通信模块24用于保存所述实时交互数据时设置查看权限：仅供所述用户个人查看、供指定用户查看及供所有人查看。 

所述Web界面的布局包括： 

当前画板区，用于呈现当前画板的内容。 

所述Web界面的布局还包括： 

视频窗口区，用于呈现用户视频交流时的窗口。 

所述Web界面的布局还包括： 

搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页链接及相关信息图标；应答者区，用于呈现所述供用户选择的应答者及相关信息图标；历史Web画板区，用于用户登录状态下呈现历史Web画板的消息图标。 

图2为本发明用户输入部分内容时的Web界面的Web画板区实例图，图3为本发明相对于图2用户增加内容时的Web界面的Web画板区实例图，图4为本发明相对于图2和图3用户放大内容时通过滑动选择显示其他部分内容的Web界面的Web画板区实例图。系统会根据用户请求或自动调整输入内容与画板的尺寸比例，在不影响内容(图像)视觉质量的情况下方便用户增加、减少输入的内容。如图1和图2所示，相对于用户终端设备屏幕，画板大小固定不变(在某一屏幕显示比例下)，而画板自身的分辨率会根据用户输入的内容自动地或由用户请求(比如通过两个手指的向内或向外拨动屏幕)缩放。例如，当用户在图1画板的基础上输入更多内容时，画板由图1变成图2，而当用户想放大输入内容的某个部分时，画板可由图2变回图1。而用户也可以通过左右上下滑动画板里的内容。例如，当用户将图2的画板内容放大到图1后，通过向左 滑动画板，画板由图1变成图3。在任意画板分辨率下，当画板上没有隐藏任何用户输入过的内容时，用户可通过左右上下滑动屏幕实现画板的翻页。 

而用户绘画的线条宽度和颜色可由用户自己设定或由系统自动定义。画板的形状(比如矩形、圆角矩形、圆形和椭圆等)可由用户设定(选择或直接拖动画板的边角)或由系统自动生成。画板可以在全屏和普通模式之间随意切换。 

该Web画板11是基于HTML5Canvas实现的一个可支持位图和可缩放矢量图形(Scalable Vector Graphics，SVG)的画布。如图4所示，Web画板11的呈现方式可以是客户端10软件App或网页形式(在浏览器上)，但都是通过HTML5和Javascript基于Javascript引擎(App自带或浏览器内建)提供的JS API实现上述Web画板11操作功能和与画板服务模块23的通信功能。客户端10与画板服务模块23的交互如下： 

1.当用户打开Web画板11时，客户端10首先通过HTTP从服务端20获得相应的HTML5和Javascript代码作相应呈现并与服务端20建立Websocket连接。 

2.当用户在Web画板11上绘画时，每当用户完成一个绘画动作，如添加一笔或擦除一画，或调整颜色，Web画板11都会将当前的绘画内容的数据通过Websocket消息发送到服务端20，并临时存储作为搜索的依据或转发到其他共享Web画板11的客户端10。该内容数据的生成和发送包括可选两种方法：a)由客户端Web画板11将当前的绘画内容整体转化为SVG代码，并发送到服务端20；b)客户端Web画板11将新增内容的位图数据发送到服务端20，并由服务端20将新增位图数据与之前缓存的位图数据合并一起生成SVG代码。 

3.当用户对Web画板11进行翻页时，Web画板11都会将当前页的绘画内容的数据按上述方法通过Websocket消息发送到服务端20，同时服务器生成一页码代号并与该SVG数据配对存储，同时将该翻页动作以Websocket消息发送给其他共享Web画板11客户端10。当用户返回之前页时，服务端20将当前页号减一并查询相应的SVG数据(通过HTTP或Websocket)返回给客户端10展不。 

4.当客户端10Web画板11收到由服务端20推送的SVG数据时，客户端10Web画板11直接将该SVG代码解析呈现。 

本发明进行画板操作时Web界面的布局包括：当前Web画板区，用于呈现当前Web画板的内容；搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页链接及相关信息图标；应答者区，用于呈现所述供用户选择的应答者及相关信息图标。当用户在画板上输入部分内容时，系统在搜索相关内容的同时，也会实时搜索出可提供相关问题解答的在线应答者(其他用户或为系统服务的相关问题专家)，在线应答者以列表形式展示在画板周围。用户可选择与搜索结果的应答者连线进行实时交互。 

图5为本发明用户登录状态时Web界面的布局实例图，所述用户界面的布局包括：当前Web画板区，用于呈现当前Web画板的内容；所述用户界面的布局还包括：搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页 链接及相关信息图标；应答者区，用于呈现所述供用户选择的应答者及相关信息图标；历史Web画板区，用于用户登录状态下呈现历史Web画板的消息图标。如图1及图5所示，已在系统注册的用户登录(通过认证过程)后，画板服务模块23会根据用户状态通过接口A呈现Web界面。在Web界面里，除了有当前Web画板外，在Web界面的四个边缘还有以消息图标显示的其他历史Web画板(用户以前使用过的，并存储在服务端20的Web画板内容)，用户可选择(通过手指点击或鼠标点击等方式)任意消息图标以查看相应历史Web画板上的内容。当某历史Web画板的内容被其他共享者改变(增加内容)时，对应的消息图标会以高亮、闪烁或其他醒目方式提示用户，称为消息白板，所有消息白板的相关信息和状态改变都由画板服务模块23通过接口A推送到用户终端。 

图6为本发明用户与应答者共享Web画板进行交互的示意图。用户与应答者通过共享Web画板进行交互。通过互联网传输终端设备间的实时交互数据，包括会话参与者在Web画板上输入的内容、Web画板对事件的响应和会话参与者之间交流的语音和视频等媒体内容。 

图7为本发明视频交流时Web界面的布局实例局。所述用户界面的布局包括：当前Web画板区，用于呈现当前Web画板的内容；视频窗口区，用于呈现用户视频交流时的窗口。 

本发明提供一种基于Web的画板实时内容应答方法及基于该方法的内容服务应用，其中包括：用户可通过手划、触摸笔、鼠标或远距体感操控等方式实现绘画内容输入的Web画板11，根据用户在Web画板11上绘出内容进行实时应答的方法以及基于上述画板对用户输入内容的保存、分享和内容再创造方法。 

图8为本发明基于Web的画板实时应答方法的流程图，所述画板实时应答方法可通过如图1所示的画板实时应答系统100实现，所述方法包括以下步骤： 

步骤S901，对Web画板11进行绘图操作； 

步骤S902，对用户在所述Web画板上的绘图操作数据进行语义分析，根据所述语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求； 

优选的是，根据所述内容数据的相关性查询所有相关在线应答者并呈现于所述用户的Web界面，以供所述用户选择发起会话请求。或者，根据所述内容数据的相关性自动匹配相关在线应答者，以供服务端20发起会话请求。 

步骤S903，通过Websocket消息转发所述会话请求至被请求者，建立所述用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据；其中，所述实时交互数据包括：会话参与者在所述Web画板上输入的内容、所述Web画板对事件的响应及所述会话参与者之间交流的语音和视频媒体内容。 

步骤S904，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面。 

所述Web界面的布局包括：当前Web画板区，用于呈现当前Web画板的内容。 

所述Web界面的布局还包括：视频窗口区，用于呈现用户视频交流时的窗口。 

所述Web界面的布局还包括：搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页链接及相关信息图标；应答者区，用于呈现所述供用户选择的应答者及相关信息图标；历史Web画板区，用于用户登录状态下呈现历史Web画板的消息图标。 

图9为本发明第一实施例中基于Web的画板实时应答方法的流程图，所述方法包括以下步骤： 

步骤S1001，对Web画板11进行绘图操作。 

步骤S1002，对用户在所述Web画板上的绘图操作数据进行语义分析，根据内容数据的相关性查询所有相关在线应答者并呈现于所述用户的Web界面，以供所述用户选择发起会话请求。 

步骤S1003，通过Websocket消息转发会话请求至被请求者，建立用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据。 

步骤S1004，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面。 

图10为本发明第二实施例中基于Web的画板实时应答方法的流程图，所述方法包括如下步骤： 

步骤S1101，对Web画板11进行绘图操作。 

步骤S1102，对用户在所述Web画板上的绘图操作数据进行语义分析，根据内容数据的相关性自动匹配相关在线应答者，以供服务端20发起会话请求。 

步骤S1103，通过Websocket消息转发会话请求至被请求者，建立用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据。 

步骤S1104，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面。 

在第一实施例中，用户可在实时搜索的结果中选择在线应答者进入实时应答模式；在第二实施例中，用户也可通过预设定或由系统推荐直接在输入内容时进入该模式，应答者由系统根据内容相关性自动分配。 

在交互过程中，用户可邀请其他应答者(系统注册用户或系统提供的专家)。用户(一个)和应答者(一个或多个)共享同一个Web画板，如图6所示。共享同一个Web画板的交互称为一个会话(Session)，一个会话中的用户和所有应答者称为会话的参与者。当用户或所有应答者选择终止会话时，会话结束。在一次会话中，参与者可同时有语音和视频的交流，当有视频交流时，用户Web界面如图7所示。 

在实时交互过程中，各参与者所看到的画板大小根据各自终端设备屏幕大小及分辨率自适应调节。各参与者在画板上输入的内容以不同颜色或形态区分。各参与者在画板上输入的内容以不同颜色或形态区分，具体实现为：系统中保存一个常用颜色的RGB码列表，每种颜色对应一序号，比如黑色#000000对应序号1，该列表的项数可根据具体实现而定，比如10种常用颜色。当多用户参 与一个画板内容的添加时，系统根据参与该画板会话的顺序将其画笔的默认颜色设为常用颜色列表中对应序号的颜色。若参与某画板的参与者人数多于常用颜色列表的项数，超出部分的会话参与者的画笔默认颜色由系统在一定颜色空间中随机生成。 

图11为本发明第三实施例中基于Web的画板实时应答方法的流程图，所述方法包括如下步骤： 

步骤S1201，对Web画板11进行绘图操作。 

步骤S1202，对用户在所述Web画板上的绘图操作数据进行语义分析，根据语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求。 

步骤S1203，没有查询到相关在线应答者时，根据所述内容数据的相关性自动匹配相关离线应答者，以供所述服务端20发起会话请求。 

步骤S1204，通过Websocket消息转发所述会话请求至被请求者，建立所述用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据。 

步骤S1205，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面。 

在第三实施例中，用户在进行实时搜索时，若没有选择实时应答者或系统没有可推荐的相关实时应答者，用户可选择将输入的内容提交给系统，画板服务模块23将内容生成SVG数据后保存，系统将根据内容自动匹配相关应答者，并通过消息的形式分发给相应的应答者，用户将与所有被分配的应答者共享同一画板，成为同一会话(Session)的参与者。 

当任意参与者在画板上添加内容时，优先取得画板的控制权，其他参与者不可同时进行内容的添加。新添加的内容会实时更新给其他参与者，其他参与者会在登录状态下从消息白板上获得最新的内容。对于离线应答的会话，任何参与者都不可擦除画板上的内容，而画板内容的所有权属于用户，其可选择将画板内容公开或分享给其他用户或将画板删除。 

其中，当任意参与者在画板上添加内容时，优先取得画板的控制权，其他参与者不可同时进行内容的添加的实现过程为：每个画板在提交时系统会设置一状态属性和所有权属性。在用户提交画板时，状态属性设置为0，表示内容可以添加，当某用户打开该画板并添加内容时，该状态值置为1；当该用户关闭画板或提交画板内容时，系统将状态改回0。当其他用户打开某画板时，若其状态已为1，该用户不可在该画板添加内容。画板的所有权属性值为创建该画板的用户，系统根据该所有权属性值判断该画板是否属于当前用户，若是，系统使得画板的擦除工具处于可用状态，否则禁用画板的擦除工具。 

图12为本发明第四实施例中基于Web的画板实时应答方法的流程图，所述方法包括如下步骤： 

步骤S1301，对Web画板11进行绘图操作。 

步骤S1302，对用户在所述Web画板上的绘图操作数据进行语义分析，根 据语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求。 

步骤S1303，通过Websocket消息转发会话请求至被请求者，建立用户与被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据。 

步骤S1304，在实时应答的会话结束后，将所述实时交互数据保存于所述服务端20的数据库21，并设置查看权限：仅供所述用户个人查看、供指定用户查看及供所有人查看。 

步骤S1305，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面。 

在第四实施例中，在实时应答的会话结束后，用户可选择将交互的内容(画板上的绘画内容)保存，私有化或公开或分享给其他指定用户。对于私有化，内容将保存在用户的私有空间，由画板服务模块23将当前画板内容转化为SVG数据并存入数据库21。当登录用户界面时，用户终端向画板服务模块23请求相关的历史画板数据并呈现，如图5中的消息白板。用户也可在登录状态下通过实时搜索找到并查看相应的历史画板内容，而其他用户可搜索到该内容的相关链接和说明，但不可查看；对于分享给指定用户的情况，被指定的用户可以在自己的空间里获取该内容(朋友的消息白板)，也可以在登录状态下通过实时搜索找到该内容并查看内容，非指定的其他用户可搜索到内容相关链接和说明，但不可查看该内容；对于公开的内容，所有的用户(无需登录)都可以通过实时搜索找到和查看该内容。 

图13为本发明第五实施例中基于Web的画板实时应答方法的流程图； 

步骤S1401，对Web画板11进行绘图操作。 

步骤S1402，对用户在所述Web画板上的绘图操作数据进行语义分析，根据语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求。 

步骤S1403，通过Websocket消息转发会话请求至被请求者，建立用户与被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据。 

步骤S1404，在实时应答的会话结束后，将所述实时交互数据保存于所述服务端20的数据库21，并设置查看权限：仅供所述用户个人查看、供指定用户查看及供所有人查看。 

步骤S1405，修改具有修改权限的历史Web画板的内容，将修改内容保存于所述服务端20的数据库21。 

步骤S1406，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面，并呈现消息白板于有权查看历史Web画板的用户的Web界面。 

在第五实施例中，用户可修改自己的历史Web画板和朋友分享的Web画板里的内容，并保存于服务端20，当用户登录时可从用户Web界面获取被修改的内容。 

如图1及图5所示，已在系统注册的用户登录(通过认证过程)后，画板 服务模块23会根据用户状态呈现用户Web界面。在用户Web界面里，除了有当前画板外，在用户Web界面的四个边缘还有以消息图标显示的其他历史Web画板(用户以前使用过的，并存储在服务端20的Web画板内容)，用户可选择(通过手指点击或鼠标点击等方式)任意消息图标以查看相应历史Web画板上的内容。当某历史Web画板的内容被其他共享者改变(增加内容)时，对应的消息图标会以高亮、闪烁或其他醒目方式提示用户，称为消息白板，所有消息白板的相关信息和状态改变都由画板服务模块23推送到用户终端。 

图14为本发明第六实施例中基于Web的画板实时应答方法的流程图，所述方法包括如下步骤： 

步骤S1501，对Web画板11进行绘图操作。 

步骤S1502，对用户在所述Web画板上的绘图操作数据进行语义分析，根据语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求。 

步骤S1503，通过Websocket消息转发会话请求至被请求者，建立用户与被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据。 

步骤S1504，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面。 

步骤S1505，所述Web画板11进行翻页操作，服务端20通过Websocket消息获取当前页的绘图内容数据，并生成一页码代号与当前页绘画内容数据配对存储，同时将当前页的绘画内容数据通过Websocket消息发送给其它会话参与者。 

图15为本发明第七实施例中基于Web的画板实时应答方法的流程图。所述方法包括如下步骤： 

步骤S1601，对Web画板11进行绘图操作。 

步骤S1602，对用户在所述Web画板上的绘图操作数据进行语义分析，根据语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求。 

步骤S1603，通过Websocket消息转发会话请求至被请求者，建立用户与被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据。 

步骤S1604，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板11的所述Web界面。 

步骤S1605，所述Web画板11进行翻页操作，服务端20通过Websocket消息获取当前页的绘图内容数据，并生成一页码代号与当前页绘画内容数据配对存储，同时将当前页的绘画内容数据通过Websocket消息发送给其它会话参与者。 

步骤S1606，所述Web画板11进行返回前页操作，服务端20将当前页号减一并查询相应绘图内容数据，同时将绘图内容数据通过Websocket消息发送给所述其它会话参与者。 

在第六实施例及第七实施例中，各参与者在Web画板上输入的内容及对 Web画板进行翻页动作是通过互联网实时传输给其他参与者并反映在相应屏幕上的，而对自己Web画板上内容的缩放及滑动平移不反映给其他参与者。 

综上所述，本发明为用户提供了一种新颖的和方便使用的智能终端界面及对内容实时应答的方法，提出了基于Web的绘画的即时通信接口，符合目前广泛流行的触摸屏终端设备的使用模式和用户习惯。避免了基于文本输入的搜索由于输入不便和表达不准确造成实时应答结果的不理想或误导，也避免了文本输入给一些特殊人群，如聋哑人带来的不便。另外，通过绘画方式为用户提供了输入一些特殊符号的有效接口，如数学公式等，方便学生等用户群对学习相关的内容的实时应答(即时通信)。基于该即时通信接口，本发明还提出了利用互联网实时数据传输实现对相关搜索内容的实时应答和内容共享、互动的方法，丰富了互联网内容服务，也促进了互联网应用的发展。 

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (34)

1.一种基于Web的画板实时应答方法，其特征在于，所述方法包括以下步骤：

绘图步骤，对Web画板进行绘图操作；

确定相关在线应答者步骤，对用户在所述Web画板上的绘图操作数据进行语义分析，根据所述语义分析所得内容数据的相关性查询相关在线应答者，将所述相关在线应答者的相关信息呈现于所述用户的Web界面，以供发起会话请求；

实时应答步骤，通过Websocket消息转发所述会话请求至被请求者，建立所述用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据；

呈现步骤，呈现所述实时交互数据于所述用户及所述被请求者的包括Web画板的所述Web界面。

2.根据权利要求1所述的画板实时应答方法，其特征在于，所述确定相关在线应答者步骤为：根据所述内容数据的相关性查询所有相关在线应答者并呈现于所述用户的Web界面，以供所述用户选择发起会话请求。

3.根据权利要求1所述的画板实时应答方法，其特征在于，所述确定相关在线应答者步骤为：根据所述内容数据的相关性自动匹配相关在线应答者，以供服务端发起会话请求。

4.根据权利要求1所述的画板实时应答方法，其特征在于，所述确定相关在线应答者步骤后，所述实时应答步骤前，还包括：

确定相关离线应答者步骤，没有查询到相关在线应答者时，根据所述内容数据的相关性自动匹配相关离线应答者，以供所述服务端发起会话请求。

5.根据权利要求4所述的画板实时应答方法，其特征在于，所述服务端发起会话请求为：所述服务端通过消息的形式分发给所述被请求者。

6.根据权利要求1所述的画板实时应答方法，其特征在于，所述实时交互数据包括：会话参与者在所述Web画板上输入的内容、所述Web画板对事件的响应及所述会话参与者之间交流的语音和视频媒体内容。

7.根据权利要求1所述的画板实时应答方法，其特征在于，所述呈现步骤后还包括：

翻页步骤：所述Web画板进行翻页操作，所述服务端通过Websocket消息获取当前页的绘图内容数据，并生成一页码代号与所述当前页绘画内容数据配对存储，同时将所述当前页的绘画内容数据通过Websocket消息发送给其它会话参与者。

8.根据权利要求7所述的画板实时应答方法，其特征在于，所述翻页步骤还包括：

所述Web画板进行返回前页操作，所述服务端将当前页号减一并查询相应绘图内容数据，同时将所述绘图内容数据通过Websocket消息发送给所述其它会话参与者。

9.根据权利要求1所述的画板实时应答方法，其特征在于，所述实时应答步骤后，所述呈现步骤前，还包括：

保存步骤，在实时应答的会话结束后，将所述实时交互数据保存于所述服务端的数据库。

10.根据权利要求9所述的画板实时应答方法，其特征在于，所述保存步骤中将所述实时交互数据保存时设置查看权限：仅供所述用户个人查看、供指定用户查看及供所有人查看。

11.根据权利要求10所述的画板实时应答方法，其特征在于，所述保存步骤后，所述呈现步骤前，还包括：

修改步骤，修改具有修改权限的历史Web画板的内容，将修改内容保存于所述服务端的数据库。

12.根据权利要求11所述的画板实时应答方法，其特征在于，所述呈现步骤包括：

呈现所述被修改的历史Web画板的相关信息和状态改变到有权查看的用户的Web界面。

13.根据权利要求12所述的画板实时应答方法，其特征在于，所述呈现步骤中以提示消息方式呈现所述被修改的历史Web画板的状态改变。

14.根据权利要求13所述的画板实时应答方法，其特征在于，所述提示消息为所述历史Web画板对应的消息图标以醒目方式呈现，称为消息白板。

15.根据权利要求1～14任一项所述的画板实时应答方法，其特征在于，所述Web界面的布局包括：

当前Web画板区，用于呈现当前Web画板的内容。

16.根据权利要求15所述的画板实时应答方法，其特征在于，所述Web界面的布局还包括：

视频窗口区，用于呈现用户视频交流时的窗口。

17.根据权利要求16所述的画板实时应答方法，其特征在于，所述Web界面的布局还包括：

搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页链接及相关信息图标；

应答者区，用于呈现所述供用户选择的应答者及相关信息图标；

历史Web画板区，用于用户登录状态下呈现历史Web画板的消息图标。

18.一种基于Web的画板实时应答系统，包括客户端及服务端，其特征在于，所述客户端包括：

Web画板，用于进行绘图操作，并将绘图操作数据通过Websocket消息发送到所述服务端；

呈现模块，用于呈现包括所述Web画板的Web界面；

所述服务端包括：

数据库，用于存储用户信息、用户状态及绘图内容数据；

用户管理模块，用于处理客户端用户注册、认证和授权请求，实时更新并按需提供所述数据库中的用户信息和用户状态；

画板服务模块，用于对所述用户绘图操作数据进行语义分析，根据所述语义分析所得内容数据的相关性向所述用户管理模块查询相关在线应答者，将所述相关在线应答者的相关信息发送到所述客户终端的呈现模块，以供发起会话请求；

实时通信模块，用于通过Websocket消息转发所述会话请求至所述被请求者，建立所述用户与所述被请求者之间的实时通信连接，并接收和发送所述会话产生的实时交互数据，将所述实时交互数据发送至所述用户及所述被请求者的呈现模块。

19.根据权利要求18所述的画板实时应答系统，其特征在于，所述画板服务模块用于根据所述内容数据的相关性向所述用户管理模块查询所有相关在线的应答者并呈现于所述用户的Web界面，以供所述用户选择发起会话请求。

20.根据权利要求18所述的画板实时应答系统，其特征在于，所述画板服务模块用于根据所述内容数据的相关性自动匹配相关在线应答者，以供所述画板服务模块发起会话请求。

21.根据权利要求18所述的画板实时应答系统，其特征在于，所述画板服务模块还用于没有查询到相关在线应答者时，根据所述内容数据的相关性自动匹配相关离线应答者，以供所述画板服务模块发起会话请求。

22.根据权利要求21所述的画板实时应答系统，其特征在于，所述画板服务模块发起会话请求为：所述画板服务模块通过消息的形式分发给所述被请求者。

23.根据权利要求18所述的画板实时应答系统，其特征在于，所述实时交互数据包括：会话参与者在所述Web画板上输入的内容、所述Web画板对事件的响应及所述会话参与者之间交流的语音和视频媒体内容。

24.根据权利要求18所述的画板实时应答系统，其特征在于，所述Web画板用于进行翻页操作，将当前页的绘画内容的数据通过Websocket消息发送到所述画板服务模块；

所述画板服务模块用于获取所述当前页的绘图内容的数据，生成一页码代号并与所述当前页的绘画内容的数据配对存储，同时将所述当前页的绘画内容的数据通过Websocket消息发送给其他共享画板的客户端。

25.根据权利要求24所述的画板实时应答系统，其特征在于，所述Web画板用于进行返回前页操作；

所述画板服务模块用于将当前页号减一并查询相应的绘图内容数据，同时将所述绘图内容数据通过Websocket消息发送给所述其他共享画板的客户端。

26.根据权利要求18所述的画板实时应答系统，其特征在于，所述实时通信模块还用于在实时应答的会话结束后将所述实时交互数据保存于所述数据库。

27.根据权利要求26所述的画板实时应答系统，其特征在于，所述实时通信模块用于保存所述实时交互数据时设置查看权限：仅供所述用户个人查看、供指定用户查看及供所有人查看。

28.根据权利要求27所述的画板实时应答系统，其特征在于，所述Web画板还用于供用户修改具有修改权限的历史Web画板的内容，并发送修改请求及修改内容到所述画板服务模块；

所述画板服务模块用于获取所述修改内容，将所述修改内容保存于所述数据库。

29.根据权利要求28所述的画板实时应答系统，其特征在于，所述呈现模块用于呈现所述被修改的历史Web画板的相关信息和状态改变到有权查看的用户的Web界面。

30.根据权利要求29所述的画板实时应答系统，其特征在于，所述呈现模块用于以提示消息方式呈现所述被修改的历史Web画板的状态改变。

31.根据权利要求30所述的画板实时应答系统，其特征在于，所述提示消息为所述历史Web画板对应的消息图标以醒目方式呈现，称为消息白板。

32.根据权利要求18～31任一项所述的画板实时应答系统，其特征在于，所述Web界面的布局包括：

当前Web画板区，用于呈现当前Web画板的内容。

33.根据权利要求32所述的画板实时应答系统，其特征在于，所述Web界面的布局还包括：

视频窗口区，用于呈现用户视频交流时的窗口。

34.根据权利要求33所述的画板实时应答系统，其特征在于，所述Web界面的布局还包括：

搜索结果区，用于呈现根据当前Web画板内容搜索到的结果的网页链接及相关信息图标；

应答者区，用于呈现所述供用户选择的应答者及相关信息图标；

历史Web画板区，用于用户登录状态下呈现历史Web画板的消息图标。