CN112929500A - 音图通话的方法和系统 - Google Patents

Abstract

本发明公开了一种音图通话方法，包括建立通话的步骤、拆除通话的步骤、挂起通话的步骤、回接通话的步骤和/或通话的步骤；本发明还公开了一种音图通话系统，该系统设置于互联网和/或电信网络中，且与一个以上请求终端和一个以上被请求终端通话连接；其中包括：通话控制单元、终端标识单元、标记数据单元、音频单元和/或图片单元；通话控制单元分别和请求终端、被请求终端、终端标识单元、标记数据单元、音频单元和/或图片单元连接；借助于本发明的方法和系统，可以在实现双方或多方语音通话的基础上，进一步实现基于标记信息和/或图片的双方或者多方交流互动。

Description

音图通话的方法和系统

技术领域

本发明涉及一种通信技术，具体是一种实现语音、图片以及标记信息交换的通话方法和系统；属于互联网及通信技术。

背景技术

视频电话是利用电信电话线路实时传送人的语音和图像的一种通话方式，其中的电信电话线路分为IP线路、普通电话线路或者它们的结合等三种方式。随着无线通信技术的发展，在前述的电信电话线路中，还可能包括利用无线通信接口。

即时通信是基于互联网或者电信网络实现的一种点对点通信技术，例如：微信、Line等互联网即时通信产品。自其诞生以来，得到了迅速发展，其功能也从一个单纯的聊天工具不断扩展，日益丰富，尤其是基于即时通信软件派生的互联网音视频通话等，目前已经发展成集交流、资讯、娱乐、搜索、电子商务、办公协作和企业客户服务等为一体的综合化信息服务技术。

上述现有的两类通信技术(在本发明专利申请下述内容中如果没有特别的说明，都称之为即时音视频通话技术)实质上都是在电信网络或者互联网络中实现简单的音视频数据采集、传输和向各个即时通话终端分发。这使得人们可以借助于这样的技术进行双方或者多方的即时音视频交流。但是，即时音视频通话技术目前实现的主要是可视通话，并没有实现在同一屏幕上同时播放画面、文字以及即时书写、绘画的功能。

在一些许多场合下，人们并不满足于使用即时音视频通话技术实现的前述常规的音视频即时交流，更希望能够在进行即时通话的交流中，一方面能聚焦于通话终端上显示的具体画面对象，另一方面还能由参与通话交流的各方可以将各方在通话终端上书写、绘制的内容实时处理和显示给各方。然而，现有的即时音视频通话技术所提供的要么是所有参与通话的用户分别面对不同的视频画面，无法实现所有人聚焦于同一画面，要么即使能聚焦于同一画面，却不能各自书写内容以实现互动，前述的功能对于现有技术而言是根本不可能实现的。

发明目的

本发明第一个方面的目的是提供一种音图通话方法，借助于该方法，一方面，可以在实现即时通话同时，播放即时通话各方聚焦对象的图片及其标记信息；另一方面还提供了参与通话各方实时输入更新标记信息的手段。从而可以提升参与即时通话各方交流互动的沟通效率。

本发明第一个方面的目的是通过如下的技术方案实现的：

提供一种音图通话方法，包括：建立通话的步骤、拆除通话的步骤、挂起通话的步骤、回接通话的步骤和/或通话的步骤；其中

所述建立通话的步骤包括：

向一个以上被请求终端发送通话请求的步骤；该通话请求至少携带有请求终端标识、被请求终端标识和/或请求图片；

和/或

当接收到应答请求时，且当任一被请求终端处于闲状态时，被请求终端执行振铃操作，并显示请求终端标识和/或请求图片；应答请求至少携带有请求终端标识、被请求终端标识和/或请求图片；

和/或

当接收到应答请求时，且当任一被请求终端处于忙状态时，该被请求终端发出忙态消息和/或执行挂断操作；或者，该被请求终端显示请求终端标识和/或请求图片，并等待用户输入，且当用户执行接听操作或者挂断操作时，被请求终端发出接听消息或者挂断消息；应答请求至少携带有请求终端标识、被请求终端标识和/或请求图片；

和/或

当接收到接听消息时，将请求终端和发出接听消息的被请求终端标记为激活终端；或者，将发出接听消息的被请求终端标记为激活终端；和/或，向激活终端发送激活终端信息表和/或通话图片；和/或，激活终端显示所有激活终端标识；

为激活终端建立对应的标记信息表和标记图层标识；标记信息表中至少存储有标记轨迹数据、标记时间参数、标记笔属性信息；

所述拆除通话的步骤包括：

激活终端执行用户挂断命令时发出挂断消息；和/或，将对应于一个挂断消息的激活终端标记为去活终端；

和/或

当所述激活终端为三个以上，且当激活终端接收到任一其他激活终端的挂断消息时，将其他激活终端标记为去活终端，和/或，停止显示其他激活终端标识；或者，激活终端为两个，且当任一所述激活终端接收到另一激活终端的挂断消息时，两个激活终端均执行挂断操作；

所述挂起通话的步骤包括：

向去活终端发送回呼请求，回呼请求至少携带有回呼数据；回呼数据至少携带有通话标识和/或通话图片；

所述回接通话的步骤包括：

当接收到去活终端发出的回接消息时，将去活终端标记为激活终端；和/或，向激活终端发送激活终端信息表和/或通话图片；和/或，激活终端显示所有激活终端标识；

所述通话的步骤包括：

激活终端采集用户输入的标记信息，并更新所述激活终端对应的标记信息表；

和/或

激活终端向其他激活终端发送激活终端的标记信息表和标记图层标识；

和/或

激活终端收到其他激活终端的标记信息表和标记图层标识时，基于标记信息表和标记图层标识，在激活终端上显示标记信息表和标记图层标识对应的标记图像。

本发明前述的方法，首先能够使得参与通话的各方聚焦于同一话题，通话图片的使用则达到了这个目的；同时，还提供了可以让通话各方输入、显示和更新标记信息，从而提升了参与通话各方交流互动的沟通效率。

本发明第二个方面的目的是提供一种音图通话系统，使得本发明前述方法的实现具备物质条件。

本发明第二个方面的目的是通过如下的技术方案实现的：

提供一种音图通话系统，设置于互联网和/或电信网络中，且与一个以上请求终端和一个以上被请求终端通话连接；其中至少包括：通话控制单元、终端标识单元和/或标记数据单元；

通话控制单元分别和请求终端和被请求终端通信连接；

通话控制单元分别和终端标识单元、标记数据单元、音频单元和/或图片单元连接；

其中，

通话控制单元接收请求终端发送的通话请求，和/或，向被请求终端发送应答请求；通话请求和/或应答请求至少携带有所述请求终端标识、被请求终端标识和/或请求图片；

和/或

通话控制单元接收被请求终端发送的接听消息，在终端标识单元中，将请求终端和发出接听消息的被请求终端标记为激活终端；或者，将发出接听消息的被请求终端标记为激活终端；

和/或

通话控制单元向激活终端发送激活终端信息表和/或通话图片；在标记数据单元中为激活终端建立一一对应的标记信息表和标记图层标识；标记信息表至少存储有标记轨迹数据、标记时间参数、标记笔属性信息；

和/或

通话控制单元在接收到激活终端执行用户挂断命令时发出的挂断消息时，在终端标识单元中，将激活终端标记为去活终端；

和/或

当激活终端为三个以上，且当接收到任一激活终端的挂断消息时，将激活终端标记为去活终端，和/或，停止显示激活终端标识；或者，激活终端为两个，且当接收到任一激活终端的挂断消息时，两个激活终端均执行挂断操作；

和/或

通话控制单元基于终端标识单元中记载的标识信息，向去活终端发送回呼请求，回呼请求至少携带有回呼数据；回呼数据至少携带有激活终端标识和/或通话图片；

和/或

当通话控制单元接收到去活终端发出的回接消息时，在终端标识单元中，将去活终端标记为激活终端；和/或向激活终端发送激活终端信息表和/或通话图片；和/或，激活终端显示所有激活终端标识。

和/或

当通话控制单元接收到激活终端采集用户输入的标记信息时，指示标记数据单元接收标记信息，并更新标记数据单元中对应的标记信息表。

本发明的系统设置在互联网和/或电信网中，基于其系统的各个组成，为连接在互联网和/或电信网中的终端实现本发明第一方面的方法提供的物质基础，能确保各个终端之间建立、拆除基于音图通话方式的通话连接，使得参与音图通话的各方在聚焦通话图片的同时，还可以输入、显示和更新标记信息，从而提升了参与通话各方交流互动的沟通效率。

以下，将结合各个具体的实施方式，对本发明的各个技术方案做更为详细的披露。

具体的实施方式

在详细介绍本发明的各个具体实施方式之前，有必要先对所要涉及的“音图通话”这个概念进行说明：

音图通话实际上是指参与通话的各个通话终端，不仅能够实现传统的双方或者多方实时语音通话，而且在这个基础上，还可以在每一组通话的同时，使该组内的所有终端都可以实时地输入和/或交换一些标记数据，显示相同的通话图片或者更新图片。基于上述的特点，音图通话相比于传统的语音通话，增加了可视的标记信息和/或图片信息；相比于传统的视频通话，音图通话不需要占用大量带宽资源的视频数据传输和处理，代之以也能够充分实现信息交流的标记信息和/或图片信息，能够在保证信息充分交流的前提下，大幅度地降低通话业务运营成本。

本发明的第一类具体的实施方式是一种音图通话方法，该包括：建立通话、拆除通话的步骤、挂起通话的步骤、回接通话的步骤和/或通话的步骤；其中，

前述建立通话的步骤包括：

向一个以上被请求终端发送通话请求的步骤；该通话请求至少携带有请求终端标识、被请求终端标识和/或请求图片。

和传统的语音或者视频通话一样，本发明的音图通话也同样需要由一些通话终端向其他通话终端发起音图通话的呼叫。在本发明中，发起音图通话呼叫的通话终端称为：请求终端，而其他接受呼叫的通话终端则被称为：被请求终端。

在本发明第一类具体的第1种实施方式中，与现有技术发起呼叫不同的是：请求终端在发起通话呼叫时会在通话请求中携带一些信息，这些信息可以是请求终端标识、被请求终端标识、请求图片中的任何一个或者它们任意多个的组合。其中，请求终端标识用于告诉系统和被请求终端是谁在发起音图通话呼叫；被请求终端标识可以是一个以上，它是用来告诉系统：被请求终端是谁，有哪些；这样系统就可以根据这些被请求终端标识，确定请求终端发起的是双方通话还是多方通话，并向这些被请求终端发出应答请求，以通知这些被请求终端响应请求终端发起的通话请求；请求图片则可以有多重的用途：其一可以用来在被请求终端接听请求终端的呼叫请求之前显示到被请求终端的屏幕上，向被请求终端用户简要且直观地提示通话的对象和内容；其二可以用来作为通话被建立后在通话各方终端上显示的初始内容；其三，也可以是请求终端的个性化标识，等等。至于请求图片的内容，则可以由相应的用户自行确定。当然，在本发明第一类具体的实施方式中，也可以在通话请求中不携带请求图片；这时，系统在向这些被请求终端发出应答请求时，可以自行填入系统默认的请求图片，或者不发送任何请求图片。在没有请求图片的情况下，被请求终端只是不会显示它而已。

在本发明第一类具体的第2种实施方式中，如前所述，在请求终端发起通话呼叫后，系统就可以根据这些被请求终端标识，向这些被请求终端发出应答请求，以通知这些被请求终端响应请求终端发起的通话请求；因此，任何一个被请求终端在收到前述的通话请求，并且自身处于(空)闲状态，该被请求终端就会像现有技术那样执行振铃操作；但是，与现有技术不同的是：在执行振铃操作的同时，该被请求终端还会显示请求终端标识，以提示被请求终端的用户，呼叫来自于谁，此外，还会在有请求图片的情形下，显示该请求图片。与请求终端发出的的呼叫请求一样，在前述应答请求中同样携带有请求终端标识、被请求终端标识和/或请求图片；其中的被请求终端标识可以是多个，它们用来告知收到应答请求的被请求终端，将会有哪些被请求终端会参与到请求终端发起的通话。

在本发明第一类具体的第3种实施方式中，被请求终端在收到前述的通话请求，并且自身处于处于忙(线)状态时，该被请求终端发出忙态消息和/或执行挂断操作，告知系统和/或请求终端；被请求终端也可以被设置为因忙(线)状态而自动执行挂断操作，或者，既发送忙态消息同时也执行挂断操作。在被请求终端发送忙态消息和/或挂断后，系统随后可以定时继续向该被请求终端发送前述的应答请求，以便该被请求终端恢复到(空)闲状态时，可以及时接收到该应答请求，并进一步执行振铃操作。另一种情况是：被请求终端在收到前述的通话请求，并且自身处于处于忙(线)状态时，可以先显示应答请求中携带的请求终端标识和/或请求图片，并等待用户输入；这样做的目的是：由被请求终端用户自己来选择是挂断正在进行的通话还是挂断这个新收到的应答请求。当用户执行接听操作或者挂断操作时，该被请求终端会向系统发出接听消息或者挂断消息。在被请求终端发出挂断消息后，系统随后可以定时继续向该被请求终端发送前述的应答请求，以便该被请求终端能够再次接收到该应答请求。

在本发明第一类具体的第4种实施方式中，当被请求终端响应前述的应答请求接听通话时，会向系统发送一个接听消息，系统会将请求终端和发出接听消息的被请求终端都标记为激活终端；前述的操作属于在请求终端发出通话请求后还没有和任何被请求终端建立起通话连接的情形。在这种情形下，一旦被请求终端接听通话后，通话就被建立起来，因此需要将请求终端和被请求终端都被标记为激活终端。

除上述的情形之外，还有另一情形，那就是在一个通话已经被建立起来后，又有新的被请求终端响应上述的应答请求接听通话。之所以会有这种情形出现，是因为原本请求终端可能向多个被请求终端发出了通话请求，试图建立一个至少由三个终端参与的多方通话。在这样的情形之下，一旦新的被请求终端接听通话后，一个包括新的被请求终端参加的多方通话就被建立起来。这时，也需要将这个新加入通话的被请求终端也被标记为激活终端。

在将请求终端和被请求终端标记为激活终端后，可向每一个激活终端发送一个激活终端信息表；这个激活终端信息表中至少包含所有激活终端标识，用来告知正在通话的用户有哪些终端在参加通话；当然，这些激活终端标识可以有多种表现形式，例如：昵称、头像、编号等等。激活终端在收到前述激活终端信息表后则显示所有激活终端标识，以使每个激活终端的用户能够通过这些激活终端标识获知参加通话的各方有哪些。

除了发送激活终端信息表，还可以向所有的激活终端发送通话图片，这个通话图片将会被所有的激活终端显示出来。本发明区别现有技术的一个显著特点就是特别适用于通话的各方聚焦于同一个话题对象。现有技术中的语音通话只是提供了通话各方语音音频的收发，而不可能会向通话各方提供任何可视的内容；而现有技术中的视频通话，虽然在语音通话的基础上增加的视频信息的传输，但是，发明人经过大量的调查分析发现，现有的视频通话至少存在这如下的问题：其一，现有的视频通话需要消耗大量的带宽资源来保证视频的质量，例如：众所周知，视频画面的数据量至少是每秒24帧，即便可以采用视频压缩技术来降低所要传输的视频数据，但毕竟每时每刻都要传输视频数据；参与通话的人数越多，带宽资源的消耗越大；其二，事实上，大量的视频画面往往是没有价值的，对于通话各方最为有价值的是与通话话题相关的画面。而在本发明第一类具体的第4种实施方式中，则提供了向激活终端发送通话图片的技术方案，使得本发明第一类具体的第4种实施方式具有了不同且优于现有技术通话的方案，这样的方案一方面可以提供语音之外的可供通话各方聚焦于话题内容的内容，另一方面也由于仅在需要的时候发送一幅静态图像，从而使得聚焦内容的提供相比于视频通话大幅度地减少了带宽资源的占用。

无论是现有的语音通话还是视频通话，都不能让通话的各方有语音之外的交流互动的方式。语音通话并不提供可供书写的页面自不必细说，单说视频通话，通常是通话的双方所看到的显示画面都是对方视频图像；通话双方并不能看到完全相同的画面。而在多方视频通话的场景下，通话各方终端上显示的往往是多幅不同的小画面，每个小画面分别是每一通话方的视频。虽然一些视频会议系统提供了可将某一方视频充满到所有各方终端的显示屏的功能，但依然不能提供相应用户直接在显示屏上书写、标记的功能。

而在本发明第一类具体的第4种实施方式中则提供了一种可供通话各方能够在语音交流之外的另一种交流互动的方式：互动标记。

所谓的互动标记是指：参加本发明通话的任何一方都可以利用其终端，在终端图形界面上任意地书写、绘制图案或者作出标记，就像在手机的触摸屏上绘制图案，或者利用手写板在PC终端的显示界面上输入点、线轨迹等等；为了实现这个目的，在本发明第一类具体的第4种实施方式中，还要为每个激活终端建立对应的标记信息表和标记图层标识；其中，在标记信息表中至少存储有标记轨迹数据、标记时间参数、标记笔属性信息。标记信息表中的标记轨迹数据，主要是用于记录终端用户输入的点、线轨迹的各个坐标，这些坐标一方面被传输到其他各个激活终端并在其他各个激活终端上进行显示，另一方也会被系统存储起来，以便于今后在需要的时候再现通话过程中终端用户的互动标记。标记时间参数则是用来指示那些标记轨迹数据出现的先后顺序，例如：这样会使得参与通话的所有用户能准确地获知画出某个线段的过程；这在互动交流的时候是非常有意义的。即便是事后再现通话过程也是一样有价值。标记笔属性信息也是用来和标记轨迹数据相互配合来使用的；通常，标记笔的属性信息至少包括这样一些参数：笔迹粗细、墨水颜色、笔迹轻重等；这些信息主要是用来对标记轨迹数据做更为精细的描述，使得被再现出来的标记轨迹生动逼真。除前述各种与标记轨迹数据相关的参数之外，标记图层标识也是十分重要的一个参数或者数据。标记图层标识主要是用来区分众多不同的标记信息表，一方面可以便于对各个标记信息表进行存储和管理，另一方面也可以准确地再现前述的标记轨迹数据。

通过前述本发明第一类具体的4种实施方式之一以及它们之间任意的组合，本发明第一类具体的实施方式提供了一种新型的通话技术方案，使得人们可以采用与现有通话技术不同的方式进行互动交流。这新型的互动交流技术既可以使得通话各方能够采用比单纯的语音通话更丰富的交流方式进行互动，又可以在达到聚焦通话内容的前提下，尽量降低对网络带宽资源的消耗；同时，还能提供多方通过标记轨迹实现边说边画的互动交流形式。

就像电信通话或者互联网电话一样，处于通话状态的用户可能会因为各种原因(例如：断线、用户因处理其他事务等)而随时挂断正在进行的通话。在本发明的音图通话过程中也会出现这种情形。

在本发明第一类具体的第5种实施方式中，还具有如下拆除通话的操作：

在激活终端执行用户挂断命令时发出挂断消息。挂断消息，实际上是为了区分用户挂断通话的原因；一般而言，正常的挂断，激活终端都会通知系统一侧。但有的时候，挂断并不一定是用户的主动行为，而是因为线路断线或者终端电能耗尽等不可预知的原因。因此，一般情况下挂断消息主要来自于终端，但有些时候，例如：意外断线，这时，终端侧不可能发出挂断消息，这时系统侧就可以判断出来是用户主动挂断还是意外断线，系统侧此时也会为意外断线的激活终端配置一个挂断消息以便后续的处理。

在本发明第一类具体的第6种实施方式中，无论是激活终端用户主动挂断通话，还是通话意外断线，在本发明拆除通话的操作中还可以进一步执行这样的操作：将对应于一个挂断消息的激活终端标记为去活终端。在激活终端挂断后，将其标注为去活终端主要是针对当该激活终端挂断时，该终端原先处于多方通话的情形之中，该终端挂断后，通话依然在继续。在这种情况下，去活终端还有可能再重新接入原先的通话之中，为此，系统侧需要在激活终端挂断，且元通话还依然保持的情况下，将该挂断的激活终端标记为去活终端。

因此，在本发明第一类具体的第7种实施方式中，当参与通话的激活终端为三个以上，且当收到任一激活终端的挂断消息时，则会将这个发出挂断消息的激活终端标记为去活终端，还可以进一步停止显示这个发出挂断消息的激活终端的激活终端标识。

在本发明第一类具体的第8种实施方式中，则是当激活终端为两个的情形下的挂断操作进行处理的方案。在这种情形下，当接收到任一激活终端的挂断消息时，两个激活终端均执行挂断操作；系统侧则彻底拆除两者之间的通话连接，就像现有的互联网或者电信网拆除终端之间的通话链路一样。在这种情形下，无须将任何一个终端标记为去活终端。

当一个激活终端从一个通话状态挂断，且被标记为去活终端后，该激活终端有可能需要重建接入原来的通话之中；例如：该激活终端因为意外掉线，暂时挂断了通话。为此，本发明第一类具体的第9种实施方式提供了这样的方案：向去活终端发送回呼请求，回呼请求至少携带有回呼数据；回呼数据中至少携带有激活终端标识和/或通话图片。当一个激活终端因为挂断而脱离了原先的通话之后，要重新接回原先的通话，有可能需要一些用于重新接回通话所需的信息，因此，回呼数据用于在前述的去活终端在重新接入原先的通话时，指示该去活终端重新接入到哪个通话中。系统可以对所有处于正在进行状态的通话都分配一个唯一的通话标识，以便实现前述的指示。此外，由于本发明的通话在所有处于同一通话中的所有终端上都显示同一个图片，因此，也有可能需要在回呼数据中携带那个正在进行的通话中各个激活终端上正在显示的通话图片。这样，当去活终端通过回呼的操作重新接回通话之中的时候，该终端能马上显示当前的通话图片。

本发明第一类具体的第10种实施方式提供了去活终端重新接入通话的处理步骤，即：当去活终端发出一个回接消息时，并按照回呼数据的指示重新接回通话时，系统会将该去活终端重新标记为激活终端；此外，还可能需要向这个刚刚返回通话的激活终端发送激活终端信息表和/或通话图片，就像前述本发明第一类具体的第4种实施方式那样。重新接回通话的终端也像前述各个具体实施方式那样显示所有激活终端标识。

通话的步骤是本发明各个具体实施方式中非常重要的一个部分，本发明第一类具体的第11种实施方式中提供了如下的通话步骤：

处于通话状态的各个激活终端分别采集各字对应的用户所输入的标记信息，并基于这些标记信息去更新激活终端对应的标记信息表；有关标记信息表中的内容，正如前述本发明第一类具体的第4种实施方式中所记载的那样，在此不做过多的赘述。由于这些标记信息表中的数据不断地发生变化，例如：用户在终端的屏幕上不断地绘出各种图案；用户也有可能随时更改笔迹的粗细、颜色、轻重等；所以，标记信息表中的有关数据也会不断地增加或者改变，为此，需要不断地据此更新标记信息表，以使激活终端能够随时向用户显示用户最新输入的笔迹，并且尽可能地与通话过程中的语音同步。

本发明第一类具体的第12种实施方式中提供了在前述各个实施方式基础上，进一步由激活终端向其他激活终端发送激活终端的标记信息表和标记图层标识的步骤；在本发明的通话过程中，一个用户在相应的终端上绘出的笔迹有时需要同步地传送给其他激活终端，以使那些激活终端也能同步地显示该用户绘出的笔记内容。这样可以使得如前所述的聚焦于同一话题对象的讨论得以更好的体现；当然，为了区别不同用户在同一显示界面上绘制的笔迹内容，也就需要将与标记信息表相对应的标记图层标识一并发送给各个激活终端。

本发明第一类具体的第13种实施方式则是在前述第一类具体的第13种实施方式的基础上，使各个激活终端在收到其他激活终端的标记信息表和标记图层标识时，基于这些收到的标记信息表和标记图层标识，在激活终端上显示与该标记信息表和标记图层标识对应的标记图像。

需要进一步说明的是：本发明前述第一类各个具体实施方式相互之间是可以独立存在，不依赖其他的操作、步骤而独立地执行。无论是建立通话的步骤、拆除通话的步骤、挂起通话的步骤、回接通话的步骤还是通话的步骤，它们之间既可以相互配合地执行，也可以独立地被执行。这主要是因为本发明主要是被应用于一个完整的通信系统之中，在这个通信系统中可能同时各自独立地处理着不同的通话，以及各个通话中不同的操作。除此之外，即便是在同一个通话之中，各个步骤也有可能相互地独立，每个步骤中也可能实际上只是涉及其中的部分操作。例如：一些通话甚至有可能只涉及建立通话的步骤，甚至在通话还没有建立起来就终止了；还有一些通话虽然间建立起来，但却不一定发生通话就挂断了。有些通话中可能会有一些中途挂断的情形，有些则没有；有些挂断的终端有可能会有回接的情况，另一些终端也许就不会发生回接的操作。另外，即便在上述这些步骤的内部，也许会有些只是部分执行的操作。例如：在通话的步骤中，由于用户可能没有绘出过任何笔迹，因此有可能就不会有更新标记信息表的操作，也有可能不会执行发送标记信息表和标记图层标识的操作。

在一个通话过程中，语音数据的采集、传送和处理是非常重要的一个内容，因此，在本发明第二类实施方式中还提供了若干具体的实施方式。

首先，在本发明第二类第1种具体的实施方式中，具有采集和/或存储所有激活终端发出的终端音频数据的操作；采集音频数据的操作是易于理解的，而存储这些采集到的音频数据实际上是为了在本发明的基础上更多功能的实现。例如：针对利用本发明方案实现的电话会议，将会议中各方的音频数据都存储下来，可以方便在此后回顾会议内容和情景。

在本发明第二类第2种具体的实施方式中，对于前述本发明第二类第1种具体的实施方式中由各个终端采集的各个音频数据，可以基于这些终端所采集的音频数据中所携带的时间同步参数，将受话终端以外所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据；或者，将所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据。由于本发明可以支持多方通话，因此，在一个多方通话过程中，在某一时刻有可能会出现多方的话音，这些同一时刻产生的多方的话音理应在同一时刻被任何一个受话终端听到。而由于多方的话音分别由不同的终端所采集，所以，需要对它们有一个混频的处理。在一些情况下，可以将所有的话音都一起混频，然后发送给各个受话终端。但是，基于人类自身的骨骼和生理构造的特点，人类通过说话所发出的声音固然可以经由空气的传播而到达人类的耳朵中的鼓膜，但更多的是经由人类头部的骨骼传导到人耳的鼓膜。因此，在本发明第二类第2种具体的实施方式中，还有另一种情形，那就是将受话终端以外所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据。这样做固然比起将所有终端音频数据混频在一起的方式麻烦，理论上说：正在通话的终端有N个，针对一个多方通话就需要做N个混频处理，但是，这样处理后，会使终端用户对于通话的收听会有一个非常好的质量和感受。

在本发明第二类第3种具体的实施方式中，提供了发送受话音频数据给激活终端和/或受话终端；和/或使激活终端和/或受话终端播放该受话音频数据的步骤。

在本发明第二类第4种具体的实施方式中，提供了有可能还发送更新图片给激活终端；和/或激活终端显示更新图片的步骤。

本发明之中非常重要的一个特点是在通话中提供了可以让通话各方用户输入标记信息的方案。这些标记信息，如前所述，实际上是一些有关标记的坐标、时间顺序以及标记笔属性等参数。这些数据如果采用常规的方式在激活终端之间以及激活终端和系统侧之间传输也是可以的，但需要对这些数据要额外地确定传输的协议，配置相应的空间等，也需要占用一定的传输带宽。实际上，这些标记信息完全可以采用一定的方式，嵌入到音频或者图片数据中，使得它们和音频数据或者图片数据一同传输，则可以省去前述确定传输协议以及分配相应空间等操作。为此，本发明提供了第三类的多种具体的实施方式。

在本发明第三类第1种具体的实施方式中，在存储终端音频数据时，可以根据终端音频数据的时间同步参数，将激活终端的标记信息表和标记图层标识嵌入到终端音频数据之中。将数据嵌入到音频中的具体技术措施，可以参见本申请人此前提交的中国专利申请201510447092.2和中国专利申请201610848381.8，在此不再一一赘述。

在本发明第三类第2种具体的实施方式中，对应于前述将激活终端的标记信息表和标记图层标识嵌入到终端音频数据之中的方案，还提供了从终端音频数据中提取终端音频数据中嵌入的标记信息表和标记图层标识的技术方案；在该技术方案中有关从音频数据中提取标记信息表和标记图层标识的具体技术措施，同样可以参见本申请人此前提交的中国专利申请201510447092.2和中国专利申请201610848381.8所教导的内容。在一些情形下，当从终端音频数据中提取终端音频数据中嵌入的标记信息表和标记图层标识后，可以将终端音频中所嵌入的激活终端的标记轨迹数据在相应的终端上进行显示。

本发明第三类第3种具体的实施方式中，在一个通话中，当发送更新图片给所述激活终端时，可以将其他激活终端和/或去活终端的标记信息表和标记图层标识嵌入到更新图片中；具体如何在图片中嵌入标记信息表和标记图层标识这些数据，请参考本申请人提出的中国专利申请201910004506.2，在此不再对向图片中嵌入数据的方案进行赘述。

本发明第三类第4种具体的实施方式，对应于前述将标记信息表和标记图层标识嵌入到更新图片之中的方案，还提供了从更新图片中提取标记信息表和标记图层标识的技术方案。在该技术方案中有关从更新图案中提取标记信息表和标记图层标识的具体技术措施，同样可以参见本申请人此前向国家知识产权局提交的中国专利申请201910004506.2。在一些情形下，当从更新图片中提取出嵌入的标记信息表和标记图层标识后，可以在对应的激活终端和/或去活终端上显示相应的标记轨迹数据。

综上，本发明前述的三类，每一类多个具体的实施方式中对于本发明有关基于声音、图片以及标记数据的通话方案做出了详细的揭示。本发明前述各个技术方案特别适用于通话各方聚焦于同一话题内容，采用标记、语音和/或图片进行沟通和交流。本发明的技术方案与现有的语音或者视频通话方案相比，一是更有利于通话各方聚焦于同一话题，二是提供了更有利于沟通交流的标记手段，三是借助于图片，大幅度降低了带宽和成本，四是有利于存储管理。因此，本发明的方法具有非常广泛的应用价值和前景。

本发明还提供了一种音图通话系统，该通话系统可以使得本发明前述的方法具备了实现的物质条件。

本发明第四类具体的实施方式中，提供了一种音图通话系统，该通话系统设置于互联网和/或电信网络中，因此，有关终端之间的电信交换或者数据交换，都可以采用现有的互联网或者电信网的通信技术、协议。与现有的互联网以及电信网所不同的是，本发明的通话系统与一个以上请求终端和一个以上被请求终端通信连接；且包括：通话控制单元、终端标识单元和/或标记数据单元。其中，通话控制单元分别和请求终端和被请求终端通话连接；此外，通话控制单元还分别和终端标识单元、标记数据单元、音频单元和/或图片单元连接。基于上述的连接，

通话控制单元接收请求终端发送的通话请求，和/或，向被请求终端发送应答请求；通话请求和/或应答请求中至少携带有请求终端标识、被请求终端标识和/或请求图片。前述有关通话请求、应答请求的发送、响应以及请求终端标识、被请求终端标识和/或请求图片等技术内容，请参见前述本发明方法部分的各个具体实施方式，在此不再赘述。

由此向下，有关本发明通话系统各个组成部分所完成的具体操作，均与前述本发明有关方法部分的各个具体实施方式相关或者相同，经请参见本发明前述关于方法技术方案的各个具体实施方式，在本发明有关通话系统技术方案的各个具体实施方式中，仅就各个组成部分、相互的结构关系以及它们所要执行的步骤作简要的介绍。

通话控制单元用来接收被请求终端发送的接听消息，在终端标识单元中，将请求终端和发出接听消息的被请求终端标记为激活终端；或者，将发出接听消息的被请求终端标记为激活终端；

通话控制单元还会向激活终端发送激活终端信息表和/或通话图片；在标记数据单元中为激活终端建立一一对应的标记信息表和标记图层标识；标记信息表至少存储有标记轨迹数据、标记时间参数、标记笔属性信息；

通话控制单元在接收到激活终端执行用户挂断命令时发出挂断消息时，在终端标识单元中，将这个激活终端标记为去活终端；

在激活终端为三个以上，且当接收到任一激活终端的挂断消息时，通话控制单元会将该激活终端标记为去活终端，和/或，停止显示该激活终端标识；或者，在激活终端为两个，且当通话控制单元接收到任一激活终端的挂断消息时，两个激活终端均执行挂断操作；

通话控制单元基于终端标识单元中记载的标识信息，向去活终端发送回呼请求，回呼请求中至少携带有回呼数据；回呼数据至少携带有激活终端标识和/或通话图片；

当通话控制单元接收到去活终端发出的回接消息时，在终端标识单元中，将去活终端标记为激活终端；和/或向激活终端发送激活终端信息表和/或通话图片；和/或，激活终端显示所有激活终端标识。

当通话控制单元接收到激活终端采集用户输入的标记信息时，指示标记数据单元接收标记信息，并更新标记数据单元中对应的标记信息表。

本发明第五类具体的实施方式中还提供了音频单元和/或图片单元，其中，通话控制单元和音频单元和/或图片单元连接；

通话控制单元控制激活终端将采集到的终端音频数据发送并存储到音频单元；

音频单元基于终端音频数据中携带的时间同步参数，将受话终端以外所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据；或者，音频单元将所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据；

音频单元发送受话音频数据给激活终端和/或受话终端；通话控制单元控制图片单元发送更新图片给激活终端。

本发明第六类具体的实施方式中还提供了音频数据嵌入单元和/或音频数据提取单元；该音频数据嵌入单元和/或音频数据提取单元设置在音频单元中。

音频数据嵌入单元根据终端音频数据的时间同步参数，用来将激活终端的标记信息表和标记图层标识嵌入到终端音频数据之中；

音频数据提取单元则从终端音频数据中提取终端音频数据中嵌入的标记信息表和标记图层标识。

本发明第七类具体的实施方式中还提供了图片数据嵌入单元和/或图片数据提取单元；图片数据嵌入单元和/或图片数据提取单元可以设置在图片单元中。

图片数据嵌入单元用来将激活终端和/或去活终端的标记信息表和标记图层标识嵌入到所述通话图片和/或更新图片中；

图片数据嵌入单元则用来从通话图片和/或更新图片中提取嵌入的标记信息表和标记图层标识。

本发明前述有关通话系统的各类具体实施方式中的各个单元实际上是可以根据具体的需要任意组合。但无论如何组合，该通话系统为前述本发明的通话方案提供了可以运行的硬件条件；尤其是它的有关标记信息的单元，关于音频嵌入、图片嵌入等单元的设置，使得本发明可以在现有技术的基础上，实现更为有效和价廉的音图通话。现有的通话系统中设置了本发明的系统，可以为其中的各个终端提供本发明的各种通话方案。特别是针对大量的多方通话和电话会议，本发明的通话系统则因为其标记数据单元、图片单元等设置，而能够实现更为高效的沟通和会后重播再现等现有技术无法实现的技术效果。

Claims (7)

1.一种音图通话方法，包括：建立通话的步骤、拆除通话的步骤、挂起通话的步骤、回接通话的步骤和/或通话的步骤；其中

所述建立通话的步骤包括：

向一个以上被请求终端发送通话请求的步骤；所述通话请求至少携带有请求终端标识、被请求终端标识和/或请求图片；

和/或

当接收到应答请求时，且当任一被请求终端处于闲状态时，所述被请求终端执行振铃操作，并显示所述请求终端标识和/或请求图片；所述应答请求至少携带有所述请求终端标识、被请求终端标识和/或请求图片；

和/或

当接收到应答请求时，且当任一被请求终端处于忙状态时，所述被请求终端发出忙态消息和/或执行挂断操作；或者，所述被请求终端显示所述请求终端标识和/或请求图片，并等待用户输入，且当所述用户执行接听操作或者挂断操作时，所述被请求终端发出接听消息或者挂断消息；所述应答请求至少携带有所述请求终端标识、被请求终端标识和/或请求图片；

和/或

当接收到所述接听消息时，将所述请求终端和发出所述接听消息的所述被请求终端标记为激活终端；或者，将发出所述接听消息的所述被请求终端标记为激活终端；和/或，向所述激活终端发送激活终端信息表和/或通话图片；和/或，所述激活终端显示所有激活终端标识；

为所述激活终端建立对应的标记信息表和标记图层标识；所述标记信息表中至少存储有标记轨迹数据、标记时间参数、标记笔属性信息；

所述拆除通话的步骤包括：

所述激活终端执行用户挂断命令时发出挂断消息；和/或，将对应于一个挂断消息的激活终端标记为去活终端；

和/或

当所述激活终端为三个以上，且当接收到任一激活终端的挂断消息时，将所述激活终端标记为去活终端，和/或，停止显示所述激活终端标识；或者，所述激活终端为两个，且当接收到任一激活终端的挂断消息时，所述两个激活终端均执行挂断操作；

所述挂起通话的步骤包括：

向所述去活终端发送回呼请求，所述回呼请求至少携带有回呼数据；所述回呼数据至少携带有通话标识和/或通话图片；

所述回接通话的步骤包括：

当接收到去活终端发出的回接消息时，将所述去活终端标记为激活终端；和/或，向所述激活终端发送激活终端信息表和/或通话图片；和/或，所述激活终端显示所有激活终端标识；

所述通话的步骤包括：

所述激活终端采集用户输入的标记信息，并更新所述激活终端对应的标记信息表；

和/或

所述激活终端向其他激活终端发送所述激活终端的标记信息表和标记图层标识；

和/或

所述激活终端收到其他激活终端的标记信息表和标记图层标识时，基于所述标记信息表和所述标记图层标识，在所述激活终端上显示所述标记信息表和所述标记图层标识对应的标记图像。

2.根据权利要求1所述的方法，其特征在于，所述通话的步骤还包括：

采集和/或存储所有激活终端发出的终端音频数据；

和/或

基于所述终端音频数据中携带的时间同步参数，将受话终端以外所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据；或者，将所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据；

和/或

发送受话音频数据给所述激活终端和/或受话终端；和/或，所述激活终端和/或所述受话终端播放所述受话音频数据；

和/或

发送更新图片给所述激活终端；和/或，所述激活终端显示所述更新图片。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

在存储所述终端音频数据时，根据所述终端音频数据的时间同步参数，将所述激活终端的标记信息表和标记图层标识嵌入到所述终端音频数据之中；

和/或

从所述终端音频数据中提取所述终端音频数据中嵌入的所述标记信息表和标记图层标识；和/或，显示所述终端音频所对应激活终端的标记轨迹数据；

和/或

在发送更新图片给所述激活终端时，将所述其他激活终端和/或去活终端的所述标记信息表和标记图层标识嵌入到所述更新图片中；

和/或

从所述更新图片中提取嵌入到所述更新图片中的所述其他激活终端和/或去活终端的所述标记信息表和标记图层标识；和/或，显示所述其他激活终端和/或去活终端的标记轨迹数据。

4.一种音图通话系统，设置于互联网和/或电信网络中，且与一个以上请求终端和一个以上被请求终端通话连接；其中至少包括：通话控制单元、终端标识单元和/或标记数据单元；

所述通话控制单元分别和所述请求终端和所述被请求终端通信连接；

所述通话控制单元分别和所述终端标识单元、标记数据单元、音频单元和/或图片单元连接；

其中，

所述通话控制单元接收所述请求终端发送的通话请求，和/或，向所述被请求终端发送应答请求；所述通话请求和/或所述应答请求至少携带有所述请求终端标识、被请求终端标识和/或请求图片；

和/或

所述通话控制单元接收所述被请求终端发送的接听消息，在所述终端标识单元中，将所述请求终端和发出所述接听消息的所述被请求终端标记为激活终端；或者，将发出所述接听消息的所述被请求终端标记为激活终端；

和/或

所述通话控制单元向所述激活终端发送激活终端信息表和/或通话图片；在所述标记数据单元中为所述激活终端建立一一对应的标记信息表和标记图层标识；所述标记信息表至少存储有标记轨迹数据、标记时间参数、标记笔属性信息；

和/或

所述通话控制单元在接收到所述激活终端执行用户挂断命令时发出的挂断消息时，在所述终端标识单元中，将所述激活终端标记为去活终端；

和/或

当所述激活终端为三个以上，且当接收到任一激活终端的挂断消息时，将所述激活终端标记为去活终端，和/或，停止显示所述激活终端标识；或者，所述激活终端为两个，且当任一所述激活终端接收到另一激活终端的挂断消息时，所述两个激活终端均执行挂断操作；

和/或

所述通话控制单元基于所述在所述终端标识单元中记载的标识信息，向所述去活终端发送回呼请求，所述回呼请求至少携带有回呼数据；所述回呼数据至少携带有激活终端标识和/或通话图片；

和/或

当所述通话控制单元接收到去活终端发出的回接消息时，在所述终端标识单元中，将所述去活终端标记为激活终端；和/或向所述激活终端发送激活终端信息表和/或通话图片；和/或，所述激活终端显示所有激活终端标识。

和/或

当所述通话控制单元接收到所述激活终端采集用户输入的标记信息时，指示所述标记数据单元接收所述标记信息，并更新标记数据单元中对应的标记信息表。

5.根据权利要求4所述的系统，其特征在于：所述通话控制单元和音频单元和/或图片单元连接；

所述通话控制单元控制所述激活终端将采集到的终端音频数据发送并存储到所述音频单元；

和/或

所述音频单元基于所述终端音频数据中携带的时间同步参数，将受话终端以外所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据；或者，所述音频单元将所有激活终端发出的终端音频数据进行混频处理，形成受话音频数据；

和/或

所述音频单元发送受话音频数据给所述激活终端和/或受话终端；

和/或

所述通话控制单元控制所述图片单元发送更新图片给所述激活终端。

6.根据权利要求5所述的系统，其特征在于：所述音频单元中设置有音频数据嵌入单元和/或音频数据提取单元；

所述音频数据嵌入单元根据所述终端音频数据的时间同步参数，将所述激活终端的标记信息表和标记图层标识嵌入到所述终端音频数据之中；

和/或

所述音频数据提取单元从所述终端音频数据中提取所述终端音频数据中嵌入的所述标记信息表和标记图层标识。

7.根据权利要求5所述的系统，其特征在于：所述图片单元中设置有图片数据嵌入单元和/或图片数据提取单元；

所述图片数据嵌入单元将所述激活终端和/或去活终端的所述标记信息表和标记图层标识嵌入到所述通话图片和/或更新图片中；

和/或

所述图片数据嵌入单元从所述通话图片和/或更新图片中提取嵌入的所述标记信息表和标记图层标识。