CN116074462A - 一种桌面共享方法、装置及系统 - Google Patents
一种桌面共享方法、装置及系统 Download PDFInfo
- Publication number
- CN116074462A CN116074462A CN202111277641.8A CN202111277641A CN116074462A CN 116074462 A CN116074462 A CN 116074462A CN 202111277641 A CN202111277641 A CN 202111277641A CN 116074462 A CN116074462 A CN 116074462A
- Authority
- CN
- China
- Prior art keywords
- call
- video
- terminal
- call terminal
- desktop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 270
- 230000005540 biological transmission Effects 0.000 claims abstract description 569
- 230000006854 communication Effects 0.000 claims abstract description 185
- 238000004891 communication Methods 0.000 claims abstract description 184
- 230000004044 response Effects 0.000 claims description 128
- 230000008569 process Effects 0.000 claims description 99
- 238000012545 processing Methods 0.000 claims description 80
- 238000004590 computer program Methods 0.000 claims description 18
- 230000000977 initiatory effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 47
- 239000010410 layer Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 21
- 230000005236 sound signal Effects 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 101100465000 Mus musculus Prag1 gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009349 indirect transmission Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000272194 Ciconiiformes Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/1016—IP multimedia subsystem [IMS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1089—In-session procedures by adding media; by removing media
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1104—Session initiation protocol [SIP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例提供一种桌面共享方法、装置及系统,涉及通信技术领域,能够节省桌面共享占用的带宽资源和终端的端口资源。该方法应用在通话终端上时,该方法包括:通话终端建立视频通话媒体传输通道,该视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;并且通话终端通过该视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。
Description
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种桌面共享方法、装置及系统。
背景技术
随着移动网络带宽的大幅提升,在用户与客户服务中心的工作人员通过终端进行语音/视频通话的过程中,该用户持有的终端(将用户持有的终端简称为用户终端)与客户服务中心的工作人员持有的终端(将客户服务中心的工作人员持有的终端简称为客服终端)之间可以进行桌面共享,如此可以高效且快速地解决用户的问题。
目前,用户终端与客服终端之间进行桌面共享时,用户终端和客服终端上均需要安装用于桌面共享的应用(application,APP),用户终端的桌面共享APP与客服终端的桌面共享APP通过桌面共享服务器建立共享信息传输通道,进而用户终端和客服终端通过共享信息传输通道传输桌面视频流。
上述用户终端和客服终端通过桌面共享APP进行桌面共享的方法中,两方终端需安装APP并进行复杂的操作,对人员的技能要求较高;并且该专用于传输桌面视频流的共享信息传输通道需要占用额外的带宽资源,基于该共享信息传输通道传输桌面视频流也需要占用用户终端和客服终端额外的端口资源。
发明内容
本申请实施例提供一种桌面共享方法、装置及系统,能够节省桌面共享占用的带宽资源和终端的端口资源。
为达到上述目的,本申请实施例采用如下技术方案:
第一方面,本申请实施例提供一种桌面共享方法,应用于通话终端,该方法包括:通话终端建立视频通话媒体传输通道,该视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;并且通话终端通过该视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。
本申请实施例提供的桌面共享方法,当通话终端将通话终端的桌面共享给对端通话终端时,该通话终端可以基于现有的视频通话媒体传输通道发送该通话终端的桌面视频流,无需花费额外的带宽资源建立专用于传输桌面视频流的共享信息传输通道,并且无需占用终端(包括通话终端和对端通话终端)额外的端口资源。进一步的,与现有的桌面共享方法相比,本申请实施例提供的技术方案中,无需在用户终端和客服终端上安装桌面共享APP,如此,也无需操作人员进行复杂的相关操作,不要求操作人员具有较高的操作技能。
一种可能的实现方式中,在通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,本申请实施例提供的桌面共享方法还包括:通话终端停止通过视频通话媒体传输通道向至少一个对端通话终端传输通话视频流,此时桌面视频流仅包括从桌面显示内容捕获的视频内容。
一种可能的实现方式中,上述视频通话媒体传输通道包括通话终端与媒体服务器之间的视频通话媒体传输通道,以及至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道,也就是说,该视频通话媒体传输通道是一条需要媒体服务器作为媒介的传输通道,即间接的视频通话媒体传输通道。基于此,上述通话终端通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流具体包括:通话终端通过通话终端与媒体服务器之间的视频通话媒体传输通道向媒体服务器传输桌面视频流,以使得媒体服务器通过至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
一种可能的实现方式中,上述视频通话媒体传输通道包括通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道,即该视频通话媒体传输通道是直接的视频通话媒体传输通道。基于此,上述通话终端通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流具体包括:通话终端通过通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
一种可能的实现方式中,在通话终端通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,本申请实施例提供的桌面共享方法还包括:确认通话终端具备桌面共享能力。
一种可能的实现方式中,上述确认通话终端具备桌面共享能力具体包括:通话终端从控制服务器接收会话发起协议(session initiation protocol,SIP)消息,该SIP消息中包括桌面共享请求标识,该桌面共享请求标识用于确认通话终端是否具备桌面共享的能力;然后通话终端向控制服务器发送SIP消息的响应消息,该响应消息中包括桌面共享应答标识,该桌面共享应答标识用于指示通话终端具备桌面共享的能力。
本申请实施例中,通话终端发出桌面共享申请之后,通话终端本身的状态可能会发生变化,需要确认状态发生变化后的通话终端是否还具备桌面共享能力。在通话终端具备桌面共享能力的情况下,才可以继续执行桌面共享方法。示例性的,通话终端可能因为摄像头不可用、当前网络信号较差,或者处于2G/3G网络,视频通话媒体传输通道不可用,或者通话终端对应的用户不方便接听视频电话等等,在这些情况下,通话终端不具备桌面共享能力,因此,在通话终端通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,需要确认通话终端当前是否具备桌面共享的能力。
一种可能的实现方式中,上述SIP消息中还包括媒体服务器的会话描述协议(session description protocol,SDP)信息,SIP消息的响应消息中还包括通话终端的SDP信息。如此,上述桌面共享请求标识携带在SIP消息的头域中;或者,该桌面共享请求标识携带在媒体服务器的SDP信息中。
本申请实施例中,媒体服务器的SDP信息包括媒体服务器的地址信息(例如IP地址)、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式,该通话终端的SDP信息包括通话终端的地址信息(例如IP地址)、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
可选地,呼叫方发起的通话可以使语音通话,也可以是视频通话,当发起的通话是语音通话时,在控制服务器接收到通话终端发送的桌面共享申请之后,也可以根据上述SIP消息和SIP消息的响应消息中的媒体服务器的SDP信息和通话终端的SDP信息进行媒体资源协商,建立视频通话媒体传输通道。
可选地,桌面共享标识在SIP消息的头域中有以下两种携带方式。第一种携带方式是在SIP消息的Contact的扩展字段中携带桌面共享标识(记为ds),第二种携带方式是在SIP消息的Supported扩展字段中携带桌面共享标识(ds)。
可选地,在SDP信息中携带桌面共享标识(ds)的情况下,可以在SDP信息的扩展字段中进一步指示传输从桌面显示内容捕获的视频内容的视频端口信息。具体的,可以指示使用传输通话视频流的视频端口传输从桌面显示内容捕获的内容。
可选地,在SDP信息中也可以指示视频通话是单向视频通话还是双向视频通话,以通话终端和对端通话终端为例,单向视频通话可以仅传输通话终端的通话视频流,不传输对端通话终端的视频流。例如,通话终端将通话终端拍摄到的视频内容发送至对端通话终端,在对端通话终端上显示通话终端的拍摄到的视频内容,而对端通话终端不拍摄视频内容或者器其拍摄的视频内容不会发送给通话终端,即在通话终端上不显示对端通话终端拍摄的视频内容。
一种可能的实现方式中,在通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,本申请实施例提供的桌面共享方法还包括:通话终端从控制服务器接收传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流。
可选地,该传输通道指示信息可以携带在SIP消息中,该SIP消息可以与上述包含桌面共享请求标识的SIP消息为同一消息,可以不同的SIP消息,本申请实施例不做限定。
上述控制服务器可以通过上述显式指示的方法(即发送传输通道指示信息)指示通过视频通话媒体传输通道传输桌面视频流,在有些情况下,控制服务器也可以通过隐式指示的方法指示通过视频通话媒体传输通道传输桌面视频流。例如,在SIP消息中携带媒体服务器的SDP信息,在该SIP消息的响应消息中携带通话终端的SDP信息,以协商(或指示)使用基于这一对SDP信息(媒体服务器的SDP信息和客服通话终端的SDP)建立的视频通话媒体传输通道传输桌面视频流,应理解,该视频通话媒体传输通道原本是用于传输通话视频流的。
一种可能的实现方式中,在通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,本申请实施例提供的桌面共享方法还包括:通话终端向控制服务器发送桌面共享申请,该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在通话终端与至少一个对端通话终端进行视频通话的过程中,向至少一个对端通话终端共享通话终端的桌面。
可选地,若呼叫方发起的是视频通话,客服系统中的控制服务器对呼叫方发出的呼叫请求进行应答之后,控制服务器可以触发通话终端、对端通话终端以及媒体服务器建立视频通话媒体传输通道。
可选地,若呼叫方发起的是语音通话,在通话终端与对端通话终端进行语音通话的过程中,控制服务器接收到通话终端发送的桌面共享申请之后,控制服务器可以触发通话终端、对端通话终端以及媒体服务器建立视频通话媒体传输通道。
一种可能的实现方式中,上述桌面视频流还包括通话终端拍摄的视频内容。
本申请实施例中,在执行桌面共享方法的过程中也可以不停止传输原本视频通话过程中通话终端拍摄的视频内容,即基于视频通话媒体传输通道可以传输从桌面显示内容捕获的视频内容和通话终端拍摄的视频内容。
一种可能的实现方式中,本申请实施例中的通话终端为客服通话终端,至少一个对端通话终端至少包括一个用户通话终端;或者,通话终端为用户通话终端,至少一个对端通话终端至少包括一个客服通话终端。
第二方面,本申请实施例提供一种桌面共享方法,应用于控制服务器,该方法包括:控制服务器触发建立视频通话媒体传输通道,该视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;并且控制服务器向通话终端发送传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。
本申请实施例提供的桌面共享方法,控制服务器可以触发建立视频通话媒体传输通道,当通话终端将该通话终端的桌面共享给对端通话终端时,控制服务器可以向通话终端发送传输通道指示信息,以指示通话终端基于现有的视频通话媒体传输通道发送该通话终端的桌面视频流,如此,无需花费额外的带宽资源建立专用于传输桌面视频流的共享信息传输通道,并且无需占用终端(包括通话终端和对端通话终端)额外的端口资源。
进一步的,与现有的桌面共享方法相比,本申请实施例提供的技术方案中,无需在用户终端和客服终端上安装桌面共享APP,如此,也无需操作人员进行复杂的相关操作,不要求操作人员具有较高的操作技能。
一种可能的实现方式中,上述视频通话媒体传输通道包括通话终端与媒体服务器之间的视频通话媒体传输通道,以及至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道;或者,视频通话媒体传输通道包括通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道。
一种可能的实现方式中,在控制服务器向通话终端发送传输通道指示信息之前,本申请实施例提供的桌面共享方法还包括:确认通话终端具备桌面共享能力。
一种可能的实现方式中,上述确认通话终端具备桌面共享能力具体包括:控制服务器向通话终端发送SIP消息,该SIP消息中包括桌面共享请求标识,该桌面共享请求标识用于确认通话终端是否具备桌面共享的能力;然后,控制服务器从通话终端接收SIP消息的响应消息,该响应消息中包括桌面共享应答标识,该桌面共享应答标识用于指示通话终端具备桌面共享的能力。
一种可能的实现方式中,上述SIP消息中还包括媒体服务器的SDP信息,上述SIP消息的响应消息中还包括通话终端的SDP信息,如此,上述桌面共享请求标识携带在SIP消息的头域中;或者,该桌面共享请求标识携带在媒体服务器的SDP信息中。
一种可能的实现方式中,控制服务器向通话终端发送传输通道指示信息之前,本申请实施例提供的桌面共享方法还包括:控制服务器接收通话终端发送的桌面共享申请,该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在通话终端与至少一个对端通话终端进行视频通话的过程中,向至少一个对端通话终端共享通话终端的桌面。
一种可能的实现方式中,本申请实施例中的通话终端为客服通话终端,至少一个对端通话终端至少包括一个用户通话终端;或者,通话终端为用户通话终端,至少一个对端通话终端至少包括一个客服通话终端。
第三方面,本申请实施例提供一种桌面共享方法,应用于媒体服务器,该方法包括:媒体服务器建立第一视频通话媒体传输通道和建立第二视频通话媒体传输通道,该第一视频通话媒体传输通道为媒体服务器与通话终端之间的视频通话媒体传输通道,该第二视频通话媒体传输通道为媒体服务器分别与至少一个对端通话终端之间的视频通话媒体传输通道;第一视频通话媒体传输通道和第二视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;然后,媒体服务器通过第一视频通话媒体传输通道从通话终端接收桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容;并且媒体服务器通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
本申请实施例提供的桌面共享方法,当通话终端将该通话终端的桌面共享给对端通话终端时,媒体服务器可以通过现有的视频通话媒体传输通道(包括上述的第一视频通话媒体传输通道和第二视频通话媒体传输通道)传输桌视频流,如此,无需花费额外的带宽资源建立专用于传输桌面视频流的共享信息传输通道,并且无需占用终端(包括通话终端和对端通话终端)额外的端口资源。
进一步的,与现有的桌面共享方法相比,本申请实施例提供的技术方案中,无需在用户终端和客服终端上安装桌面共享APP,如此,也无需操作人员进行复杂的相关操作,不要求操作人员具有较高的操作技能。
一种可能的实现方式中,在媒体服务器通过第一视频通话媒体传输通道从通话终端接收桌面视频流之前,本申请实施例提供的桌面共享方法还包括:媒体服务器停止通过第一视频通话媒体传输通道从通话终端接收通话视频流。
一种可能的实现方式中,在通过第一视频通话媒体传输通道从通话终端接收桌面视频流之后,通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,本申请实施例提供的桌面共享方法还包括:媒体服务器对桌面视频流进行转码处理,转码处理后的桌面视频流的编解码格式与至少一个对端通话终端的编解码格式相同。
本申请实施例中,在通话终端的视频编解码格式与对端通话终端的视频编解码格式不同的情况下,上述媒体服务器可以对接收到的桌面视频流进行转码处理。例如,假设通话终端的视频编解码格式为第一编解码格式,对端通话终端的视频编解码格式为第二编解码格式,该通话终端采用第一编解码格式对桌面流进行编码后发送至媒体服务器,媒体服务器采用第一编解码格式对桌面视频流进行解码,然后采用第二编解码格式对桌面视频流进行编码,再将采用第二编解码格式编码后的桌面视频流发送至对端通话终端。
一种可能的实现方式中,上述桌面视频流还包括通话终端拍摄的视频内容,如此,在通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,本申请实施例提供的桌面共享方法还包括:媒体服务器对通话终端拍摄的视频内容和通话终端从桌面显示内容捕获的视频内容进行混合编码处理,得到桌面视频流。
本申请实施例中,媒体服务器对通话终端拍摄的视频内容和通话终端从桌面显示内容捕获的视频内容进行混合编码后,得到包括通话终端拍摄的视频内容和从桌面显示内容捕获的视频内容的桌面视频流,再通过第二视频通话媒体传输通道将桌面视频流发送至对端通话终端,如此,在对端通话终端上可以显示通话终端的桌面和通话终端的拍摄的画面,例如,在对端通话终端的显示屏的第一区域显示通话终端拍摄的画面,在对端通话终端的显示屏的第二区域显示通话终端的桌面。
一种可能的实现方式中,本申请实施例中的通话终端为客服通话终端,至少一个对端通话终端至少包括一个用户通话终端;或者,通话终端为用户通话终端,至少一个对端通话终端至少包括一个客服通话终端。
第四方面,本申请实施例提供一种通话终端,包括处理模块和发送模块。其中,处理模块用于建立视频通话媒体传输通道,该视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,通话视频流包含通话终端拍摄的视频内容;发送模块用于通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。
一种可能的实现方式中,上述处理模块还用于控制发送模块停止通过视频通话媒体传输通道向至少一个对端通话终端传输通话视频流。
一种可能的实现方式中,上述视频通话媒体传输通道包括通话终端与媒体服务器之间的视频通话媒体传输通道,以及至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道。基于此,上述发送模块具体用于通过通话终端与媒体服务器之间的视频通话媒体传输通道向媒体服务器传输桌面视频流,以使得媒体服务器通过至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
一种可能的实现方式中,上述视频通话媒体传输通道包括通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道。基于此,上述发送模块具体用于通过通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
一种可能的实现方式中,上述处理模块还用于确认通话终端具备桌面共享能力。
一种可能的实现方式中,本申请实施例提供的通话终端还包括接收模块;上述处理模块具体用于控制接收模块从控制服务器接收SIP消息,该SIP消息中包括桌面共享请求标识,桌面共享请求标识用于确认通话终端是否具备桌面共享的能力;并且控制发送模块向控制服务器发送SIP消息的响应消息,该响应消息中包括桌面共享应答标识,该桌面共享应答标识用于指示通话终端具备桌面共享的能力。
一种可能的实现方式中,上述SIP消息中还包括媒体服务器的SDP信息,SIP消息的响应消息中还包括通话终端的SDP信息,如此,上述桌面共享请求标识携带在SIP消息的头域中;或者,桌面共享请求标识携带在媒体服务器的SDP信息中。
一种可能的实现方式中,上述接收模块还用于从控制服务器接收传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流。
一种可能的实现方式中,上述发送模块还用于向控制服务器发送桌面共享申请,该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在通话终端与至少一个对端通话终端进行视频通话的过程中,向至少一个对端通话终端共享通话终端的桌面。
一种可能的实现方式中,上述桌面视频流还包括通话终端拍摄的视频内容。
一种可能的实现方式中,本申请实施例中的通话终端为客服通话终端,至少一个对端通话终端至少包括一个用户通话终端;或者,通话终端为用户通话终端,至少一个对端通话终端至少包括一个客服通话终端。
第五方面,本申请实施例提供一种控制服务器,包括处理模块和发送模块。其中,处理模块用于触发建立视频通话媒体传输通道,该视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;发送模块用于向通话终端发送传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。
一种可能的实现方式中,上述视频通话媒体传输通道包括通话终端与媒体服务器之间的视频通话媒体传输通道,以及至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道;或者,视频通话媒体传输通道包括通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道。
一种可能的实现方式中,上述处理模块还用于确认通话终端具备桌面共享能力。
一种可能的实现方式中,本申请实施例提供的控制服务器还包括接收模块;上述处理模块具体用于控制发送模块向通话终端发送SIP消息,该SIP消息中包括桌面共享请求标识,该桌面共享请求标识用于确认通话终端是否具备桌面共享的能力;并且控制接收模块从通话终端接收SIP消息的响应消息,该响应消息中包括桌面共享应答标识,该桌面共享应答标识用于指示通话终端具备桌面共享的能力。
一种可能的实现方式中,上述SIP消息中还包括媒体服务器的SDP信息,SIP消息的响应消息中还包括通话终端的SDP信息,如此,上述桌面共享请求标识携带在SIP消息的头域中;或者,桌面共享请求标识携带在媒体服务器的SDP信息中。
一种可能的实现方式中,上述接收模块还用于接收通话终端发送的桌面共享申请,该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在通话终端与至少一个对端通话终端进行视频通话的过程中,向至少一个对端通话终端共享通话终端的桌面。
一种可能的实现方式中,本申请实施例中的通话终端为客服通话终端,至少一个对端通话终端至少包括一个用户通话终端;或者,通话终端为用户通话终端,至少一个对端通话终端至少包括一个客服通话终端。
第六方面,本申请实施例提供一种媒体服务器,包括处理模块、接收模块和发送模块。其中,处理模块用于建立第一视频通话媒体传输通道和建立第二视频通话媒体传输通道,该第一视频通话媒体传输通道为媒体服务器与通话终端之间的视频通话媒体传输通道,该第二视频通话媒体传输通道为媒体服务器分别与至少一个对端通话终端之间的视频通话媒体传输通道;第一视频通话媒体传输通道和第二视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,通话视频流包含通话终端拍摄的视频内容;接收模块用于通过第一视频通话媒体传输通道从通话终端接收桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容;发送模块用于通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
一种可能的实现方式中,上述处理模块还用于控制接收模块停止通过第一视频通话媒体传输通道从通话终端接收通话视频流。
一种可能的实现方式中,本申请实施例提供的媒体服务器还包括编解码模块;该编解码模块用于对桌面视频流进行转码处理,转码处理后的桌面视频流的编解码格式与至少一个对端通话终端的编解码格式相同。
一种可能的实现方式中,上述桌面视频流还包括通话终端拍摄的视频内容,如此,上述编解码模块还用于对通话终端拍摄的视频内容和通话终端从桌面显示内容捕获的视频内容进行混合编码处理,得到桌面视频流。
一种可能的实现方式中,本申请实施例中的通话终端为客服通话终端,至少一个对端通话终端至少包括一个用户通话终端;或者,通话终端为用户通话终端,至少一个对端通话终端至少包括一个客服通话终端。
第七方面,本申请实施例提供一种通话终端,包括存储器和与存储器连接的至少一个处理器,存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,当计算机指令被至少一个处理器执行时,使得通话终端执行第一方面及其可能的实现方式中任意之一所述的方法。
第八方面,本申请实施例提供一种控制服务器,包括存储器和与存储器连接的至少一个处理器,存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,当计算机指令被至少一个处理器执行时,使得控制服务器执行第二方面及其可能的实现方式中任意之一所述的方法。
第九方面,本申请实施例提供一种媒体服务器,包括存储器和与存储器连接的至少一个处理器,存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,当计算机指令被至少一个处理器执行时,使得媒体服务器执行第三方面及其可能的实现方式中任意之一所述的方法。
第十方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当计算机指令在通话终端上运行时,使得通话终端执行第一方面及其可能的实现方式中任意之一所述的方法。
第十一方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当计算机指令在控制服务器上运行时,使得控制服务器执行第二方面及其可能的实现方式中任意之一所述的方法。
第十二方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当计算机指令在媒体服务器上运行时,使得媒体服务器执行第三方面及其可能的实现方式中任意之一所述的方法。
第十三方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在计算机上运行时,执行第一方面及其可能的实现方式中任意之一所述方法。
第十四方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在计算机上运行时,执行第二方面及其可能的实现方式中任意之一所述方法。
第十五方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在计算机上运行时,执行第三方面及其可能的实现方式中任意之一所述方法。
第十六方面,本申请实施例提供一种芯片,包括存储器和处理器。存储器用于存储计算机指令。处理器用于从存储器中调用并运行该计算机指令,以使得通话终端执行第一方面及其可能的实现方式中任意之一所述的方法。
第十七方面,本申请实施例提供一种芯片,包括存储器和处理器。存储器用于存储计算机指令。处理器用于从存储器中调用并运行该计算机指令,以使得控制服务器执行第二方面及其可能的实现方式中任意之一所述的方法。
第十八方面,本申请实施例提供一种芯片,包括存储器和处理器。存储器用于存储计算机指令。处理器用于从存储器中调用并运行该计算机指令,以使得媒体服务器执行第三方面及其可能的实现方式中任意之一所述的方法。
第十九方面,本申请实施例提供一种通信系统,包括至少一个通话终端、控制服务器以及媒体服务器;至少一个通话终端执行第一方面及其可能的实现方式中任意之一所述的方法,控制服务器执行第二方面及其可能的实现方式中任意之一所述的方法,媒体服务器执行第三方面及其可能的实现方式中任意之一所述的方法。
应当理解的是,本申请实施例的第四方面至第十九方面技术方案及对应的可能的实施方式所取得的有益效果可以参见上述对第一方面至第三方面及其对应的可能的实施方式的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种人工客服的服务场景中的通信系统的架构示意图;
图2为本申请实施例提供的一种语音通话的流程示意图;
图3为本申请实施例提供的一种视频通话的流程示意图;
图4A为本申请实施例提供的一种手机的硬件示意图;
图4B为本申请实施例提供的一种手机的系统架构示意图;
图5为本申请实施例提供的一种服务器的硬件示意图;
图6为本申请实施例提供的一种桌面共享方法示意图之一;
图7为本申请实施例提供的一种桌面共享方法示意图之二;
图8为本申请实施例提供的一种桌面共享方法示意图之三;
图9为本申请实施例提供的一种桌面共享方法示意图之四;
图10为本申请实施例提供的一种桌面共享方法示意图之五;
图11为本申请实施例提供的一种通话终端的结构示意图;
图12为本申请实施例提供的另一种通话终端的结构示意图;
图13为本申请实施例提供的一种控制服务器的结构示意图;
图14为本申请实施例提供的另一种控制服务器的结构示意图;
图15为本申请实施例提供的一种媒体服务器的结构示意图;
图16为本申请实施例提供的另一种媒体服务器的结构示意图。
具体实施方式
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一视频通话媒体传输通道和第二视频通话媒体传输通道等是用于区别不同的视频通话媒体传输通道,而不是用于描述视频通话媒体传输通道的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个终端是指两个或两个以上的终端。
现阶段,基于移动网络,通过终端可以实现用户之间的语音通话或视频通话,以语音通话为例,用户1持有的终端1与用户2持有的终端1建立通话连接之后,终端1采集用户1的语音,并将采集的语音发送至终端2,终端2采集用户2的语音,并将采集的语音发送至终端1,从而实现用户1和用户2的语音通话。
可以理解的,终端之间进行通话的场景中,可以将其中一个终端称为通话终端,与该通话终端通话的对端称为对端通话终端,例如上述的终端1为通话终端,则终端2为对端通话终端。可选地,一个通话终端的对端通话终端的数量可以为多个,例如,三个终端(例如终端1、终端2以及终端3)进行三方会话,其中,终端1为通话终端,该终端1的对端,即终端2和终端3均为对端通话终端。
随着移动网络带宽的大幅提升,移动网络也可以支持终端之间进行桌面共享。下面以两个通话终端(即一个通话终端和一个对端通话终端)为例,分别对通话终端与对端通话终端进行语音通话、视频通话以及桌面共享的场景中现有的技术方案进行简要说明。
当通话终端与对端通话终端进行语音通话时,通话终端和对端通话终端之间传输的媒体流是语音流,在通话终端与对端通话终端建立语音通话媒体传输通道(也可以简称为语音流传输通道)之后,通话终端和对端通话终端可以基于语音流传输通道传输语音流。例如,通话终端将麦克风采集的与其对应的用户的语音流通过语音流传输通道发送至对端通话终端,对端通话终端将麦克风采集的与其对应的对端用户的语音流通过语音流传输通道发送至通话终端。
当通话终端与对端通话终端进行视频通话时,通话终端和对端通话终端之间传输的媒体流包括语音流和视频流,并且语音流与视频流的传输通道不同。具体的,在建立语音通话媒体传输通道(即语音流传输通道)和视频通话媒体传输通道(可以简称为视频流传输通道)之后,通话终端和对端通话终端可以基于语音流传输通道传输语音流,通话终端和对端通话终端可以基于视频流传输通道传输视频流。例如,通话终端将麦克风采集的与其对应的用户的语音流通过语音流传输通道发送至对端通话终端,对端通话终端将麦克风采集的与其对应的对端用户的语音流通过语音流传输通道发送至通话终端;通话终端将摄像头采集的与其对应的用户的视频流通过视频流传输通道发送至对端通话终端,对端通话终端将摄像头采集的与其对应的对端用户的视频流通过视频流传输通道发送至通话终端。
当通话终端与对端通话终端进行桌面共享时,通话终端与对端通话终端之间传输的媒体流是通话终端的桌面视频流或对端通话终端的桌面视频流,目前,通话终端与对端通话终端进行桌面共享时,通话终端和通话终端上均需要安装用于桌面共享的应用(APP),通话终端的桌面共享APP与对端通话终端的桌面共享APP通过桌面共享服务器建立共享信息传输通道,进而通话终端和对端通话终端通过共享信息传输通道传输桌面视频流。例如,一种情况下,通话终端通过共享信息传输通道将该通话终端的桌面视频流发送至对端通话终端,如此,对端通话终端可以共享通话终端的桌面;另一种情况下,对端通话终端通过共享信息传输通道将该对端通话终端的桌面视频流发送至通话终端,如此,通话终端可以共享对端通话终端的桌面。
需要说明的是,用于传输终端的桌面视频流的传输通道(即上述的共享信息传输通道)是专用于桌面共享的传输通道,该传输通道不同于上述的语音流传输通道和视频流传输通道。
应理解,若在通话终端与对端通话终端通话的过程中,通话终端与对端通话终端之间需要进行桌面共享,则需要花费额外的带宽资源建立用于传输桌面的视频流的共享信息传输通道,并且通话终端和对端通话终端上也需要使用额外的端口发送或者接收桌面视频流。例如,若在通话终端与对端通话终端进行语音通话的过程中实现桌面共享,则通话终端和对端通话终端之间基于语音流传输通道传输语音流,通话终端和对端通话终端之间基于建立的共享信息传输通道传输桌面视频流。又例如,若在通话终端与对端通话终端进行视频通话的过程中实现桌面共享,则通话终端和对端通话终端之间基于视频流传输通道传输摄像头采集的视频流,通话终端和对端通话终端之间基于建立的共享信息传输通道传输桌面视频流。综上可知,建立专用于桌面共享的共享信息传输通道需要占用额外的带宽资源,并且这种桌面共享的方法需要占用终端额外的端口资源。
针对现有技术中的建立专用于桌面共享的共享信息传输信道需要占用额外的带宽资源,并且需要占用终端额外的端口资源的问题,本申请实施例提供一种桌面共享方法、装置及系统,该桌面共享方法可以应用于终端之间视频通话的过程中,通信系统中的控制服务器触发建立视频通话媒体传输通道之后,通话终端、至少一个对端通话终端以及控制服务器之间进行交互建立该视频通话媒体传输通道,该视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;然后,通话终端可以通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。通过本申请实施例提供的技术方案,当通话终端将通话终端的桌面共享给对端通话终端时,该通话终端可以基于现有的视频通话媒体传输通道发送该通话终端的桌面视频流,无需花费额外的带宽资源建立专用于传输桌面视频流的共享信息传输通道,并且无需占用终端(包括通话终端和对端通话终端)额外的端口资源。
进一步的,与现有的桌面共享方法相比,本申请实施例提供的技术方案中,无需在用户终端和客服终端上安装桌面共享APP,如此,也无需操作人员进行复杂的相关操作,不要求操作人员具有较高的操作技能。
可选地,本申请实施例提供的桌面共享方法可以应用于两个通话终端通话的过程,也可以应用于多个通话终端通话的过程。
可选地,本申请实施例提供的桌面共享方法可以应用于视频会议的场景、人工客服的服务场景等等。人工客服的服务场景指的是用户与客户服务中心通话过程中,用户与客户服务中心的工作人员通话的场景,以下实施例中,客户服务中心可以简称为客服,客户服务中心的工作人员可以简称为客服人员。以人工客服的服务场景为例,用户通过该用户持有的通话终端(可以简称为用户通话终端)呼叫客服系统,当该呼叫转到人工服务时,客服人员应答之后,该客服人员持有的通话终端(可以简称为客服通话终端)与用户通话终端通话的过程中,客服通话终端可以向用户通话终端共享该客服通话终端的桌面,如此,针对用户向客服人员提出的问题,客服人员可以在客服通话终端上进行操作(例如演示或者指导),用户可以在用户通话终端上看到客服通话终端的桌面,通过桌面共享可以高效地解决用户的问题。或者,在客服通话终端与用户通话终端通话的过程中,用户通话终端可以向客服通话终端共享该用户通话终端的桌面,如此,针对用户向客服人员提出的问题,客服人员可以参考用户的桌面对用户进行指导,能够高效地解决用户的问题。
需要说明的是,本申请实施例中,是以人工客服的服务场景为例对本申请实施例提供的桌面共享方法进行描述的。可以理解的是,在人工客服的服务场景中,用户通话终端发起通话,客服通话终端应答之后,二者在通话的过程中进行桌面共享。
可选地,在本申请实施例中,用户通话终端发起的通话可以是语音通话,也可以是视频通话,应注意,当用户发起的是语音通话时,客服通话终端应答之后,先通过媒体资源协商建立语音流传输通道,若在语音通话过程中进行桌面共享,则还需要进行媒体资源重协商来建立视频流传输通道,以将语音通话转换到视频通话,然后,基于视频通话所对应的视频流传输通道传输用户通话终端的桌面视频流或者传输客服终端的桌面视频流。当用户发起的是视频通话,客服终端应答之后,通过媒体资源协商建立视频流传输通道,然后,基于该视频流传输通道传输用户通话终端的桌面视频流或者传输客服通话终端的桌面视频流。
人工客服的服务场景所对应的通信系统可以看作是一个会议控制系统,该通信系统涉及接入网、IP多媒体子系统(即IMS,包括4G/5G核心网和IMS核心网)以及客服平台(也可以称为客服系统)、业务系统等。下面对人工客服的服务场景中的通信系统的架构进行介绍,如图1所示,该通信系统具体包括:用户通话终端101、接入网设备102、IP多媒体子系统103、客服平台104、业务系统105以及客服通话终端106。其中,IP多媒体子系统103包括核心网(可以是4G核心网和/或5G核心网)和IMS核心网,应理解,4G核心网中包括网关设备(例如S-GW、P-GW),5G核心网中包括用户面功能(UPF)、移动管理功能(AMF)等,IMS核心网中包括会话边界控制器SBC、代理-呼叫会话控制功能P-CSCF、呼叫会话控制功能I-CSCF、服务呼叫会话控制功能S-CSCF。客服平台104中包括控制服务器(也可以称为信令服务器)和媒体服务器。
SBC:用于提供安全接入和媒体处理。
P-CSCF:是用户通话终端接入IMS核心网的入口节点,主要负责信令和消息的代理。
I-CSCF:是IMS核心网的统一初步入口节点,负责用户注册的S-CSCF的指配和查询。
S-CSCF:是IMS核心网的中心节点,主要用于用户的注册、鉴权控制、会话路由和业务触发控制,并维持会话状态信息。
控制服务器:负责信令的协商和处理,控制用户通话终端、客服通话终端的加入通话或者退出通话。
媒体服务器:负责音频、视频处理和播放,通话会场的申请和释放,音频编解码,视频编解码以及处理桌面的视频流。
应理解,控制服务器可以控制管理媒体服务器。
业务系统:负责根据主叫(例如用户通话终端)、被叫的号码等判断触发不同的业务流程,不同的业务可以包括但不限于视频通话、视频广告、桌面共享、企视秀等。
结合图1所示的通信系统的架构,在用户通话终端接入接入网,并且通过4G核心网或者5G核心网,以及IMS核心网建立会话的基础上,以客服通话终端和用户通话终端进行语音通话为例,对语音通话的流程进行描述,以便于理解人工客服的服务场景中语音通话的流程。参考图2,语音通话的流程包括:
S201、用户通话终端通过IMS网元向控制服务器发送邀请(invite)消息。
具体的,结合图1所示的通信系统的架构示意图,IMS中包括4G/5G核心网的网元(包括网关设备/用户面功能网元)、IMS核心网的SBC/P-CSCF网元、I-CSCF/S-CSCF网元,本申请实施例中,可以将IMS中的这些网元统称为IMS网元。上述用户通话终端通过IMS网元向控制服务器发送邀请消息具体包括:用户通话终端按照图1所示的架构图依次经4G/5G核心网的网元、SBC/P-CSCF网元、I-CSCF/S-CSCF网元将邀请消息发送至控制服务器。应注意,IMS网元用于透传用户通话终端与控制服务器之间的消息,不对消息做处理。
需要说明的是,在以下实施例中,通过IMS网元发送或者接收的消息或者信息均与S201中通过IMS网元传输邀请消息类似,IMS网元均用于透传消息或者信息,在下述实施例中不再进行一一说明。
应理解,用户通过用户通话终端拨打客服的接入码(可以理解为客服系统的电话号码)之后,用户通话终端即执行上述S201。示例性的,该客服可以为某通信运营商的客服或者互联网运营商的客服等等,本申请对客服的类型不做限定。
需要说明的是,本申请实施例中的客服通话终端指的是客服系统中的客服人员对应的通话终端,该客服通话终端属于客服系统中的一部分。可以理解的是,用户通过用户通话终端拨呼叫客服系统,待客服系统应答之后,客服平台中的控制服务器通知媒体服务器播放与用户的业务相关的音频提示内容,以提示用户根据实际需求选择相应的服务,在用户选择了人工服务的情况下,客服系统中的控制服务器继续呼叫客服通话终端,具体结合下述实施例的相关步骤进行理解。
本申请实施例中,用户通话终端是通过会话发起协议(session initiationprotocol,SIP)发送该邀请消息的,也可以理解为该邀请消息是通过SIP消息发送的,该邀请消息中携带有用户通话终端的会话描述协议(session description protocol,SDP)信息,该SDP信息中包括用户通话终端的地址信息、音频端口信息以及音频编解码格式,该SDP信息用于与控制服务器进行媒体资源协商,以建立用户通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道。本申请实施例中,设备的地址信息可以为设备的IP地址。
S202、控制服务器向用户通话终端发送振铃消息。
该振铃消息用于指示用户拨打的客服电话正在接通中,此时用户通话终端处于等待客服系统应答(即摘机)的振铃态,该振铃消息可以是18*系列的消息,例如181消息(即call being forwarded,用于指示呼叫正在前向)或183消息(用于提示建立对话的进度)等。该振铃消息中携带媒体服务器的SDP信息,媒体服务器的IP地址、音频端口信息以及音频编解码格式。可以理解的是,媒体服务器被控制服务器管理,该控制服务器中保存有媒体服务器的SDP信息,因此控制服务器可以向用户通话终端发送媒体服务器的SDP信息。该SDP信息用于与用户通话终端进行媒体资源协商,以建立用户通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道。
S203、控制服务器通过IMS网元向用户通话终端发送应答消息。
应理解,在控制服务器向用户通话终端发送振铃消息之后,用户通话终端等待客服系统应答(即等待接通),在此过程中,用户可以听到“嘟…嘟…”的等待音,或者可以听到彩铃,当客服系统应答之后,此时呼叫接通,控制服务器执行上述S203。
同理,IMS网元用于透传该应答消息。
本申请实施例中,客服系统对用户通话终端的呼叫进行应答之后,控制服务器可以向媒体服务器发送指令,以指示媒体服务器播放与用户的业务相关的音频提示内容,从而媒体服务器基于上述建立的语音通话媒体传输通道向用户通话终端发送该音频提示内容,该音频提示内容可以提示用户根据需求选择不同的服务内容。示例性的,若该语音通话是用户拨打通信运营商场景下的语音通话,音频提示内容可以包括:
话费流量查询请按“1”、宽带业务请按“2”、充值服务请按“3”、业务查询和办理请按“4”、密码服务请按“5”、集团业务请按“6”、人工服务请按“0”等等,可选地,该音频提示内容还可以包括一些广告、宣传等内容,音频提示内容与具体的应用场景相关,本申请对音频提示内容不做限定。
当用户在上述音频提示内容的提示下进行操作,选择了人工服务时,媒体服务器检测到选择人工服务的操作之后,媒体服务器通知控制服务器用户的选择结果,然后控制服务器为该用户分配一个客服人员(即为用户通话终端选择一个对应的客服通话终端),然后控制服务器执行下述S204。
S204、控制服务器向客服通话终端发送邀请(invite)消息。
该邀请消息用于呼叫客服通话终端与用户通话终端的语音通话,该邀请消息中包括媒体服务器的SDP信息,该媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息以及音频编解码格式。该SDP信息用于与客服通话终端进行媒体资源协商,以建立客服通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道。
S205、客服通话终端向控制服务器发送应答消息。
客服通话终端发送该应答消息之后,该客服通话终端即加入了与用户通话终端的通话,该应答消息中包括客服通话终端的SDP信息,该客服通话终端的SDP信息包括客服通话终端的IP地址、音频端口信息以及音频编解码格式。该SDP信息用于与控制服务器进行媒体资源协商,以建立客服通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道。
应理解,由于客服通话终端是客服系统中的与用户通话终端通话的新的设备,因此,在后续流程中,为实现用户通话终端与客服通话终端进行通信,需要重新进行媒体资源协商,即控制服务器与用户通话终端进行媒体资源重协商(参考S206-S207),控制服务器与客服通话终端进行媒体资源重协商(参考S208-S209),通过媒体资源重协商可以建立语音流传输通道(即语音通话媒体传输通道)。应注意,通过S206-S209建立的语音通话媒体传输通道是一条需要媒体服务器作为媒介的传输通道,即间接的语音通话媒体传输通道,该语音通话媒体传输通道包括用户通话终端与媒体服务器之间的语音通话媒体传输通道,以及媒体服务器和客服通话终端之间的语音通话媒体传输通道。
S206、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与用户通话终端进行媒体资源重协商,以建立用户通话终端与媒体服务器之间的语音通话媒体传输通道,该重邀请消息包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息以及音频编解码格式。具体的,控制服务器与媒体服务器进行交互,查询(或获取)到媒体服务器的SDP信息之后,控制服务器将该SDP信息携带在重邀请消息中发送至用户通话终端。
S207、用户通话终端通过IMS网元向控制服务器发送应答消息。
该应答消息中包括用户通话终端的SDP信息,用户通话终端的SDP信息包括用户通话终端的IP地址、音频端口信息以及音频编解码格式。应理解,控制服务器获取到用户通话终端的SDP信息之后,控制服务器在媒体服务器中设置该用户通话终端的SDP信息,也可以理解为控制服务器将用户通话终端的SDP信息通知给媒体服务器。
通过S206-S207描述的媒体资源协商过程,用户通话终端可以获得媒体服务器的SDP信息,媒体服务器也可以获得用户通话终端的SDP信息,如此,建立了用户通话终端与媒体服务器之间的语音通话媒体传输通道。
S208、控制服务器向客服通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与客服通话终端进行媒体资源重协商,以建立客服通话终端与媒体服务器之间的语音通话媒体传输通道,该重邀请消息包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息以及音频编解码格式。具体的,控制服务器与媒体服务器进行交互,查询(或获取)到媒体服务器的SDP信息之后,控制服务器将该SDP信息携带在重邀请消息中发送至客服通话终端。
S209、客服通话终端向控制服务器发送应答消息。
该应答消息中包括客服通话终端的SDP信息,客服通话终端的SDP信息包括客服通话终端的IP地址、音频端口信息以及音频编解码格式。应理解,控制服务器获取到客服通话终端的SDP信息之后,控制服务器在媒体服务器中设置该客服通话终端的SDP信息,也可以理解为控制服务器将客服通话终端的SDP信息通知给媒体服务器。
通过S208-S209描述的媒体资源协商过程,客服通话终端可以获得媒体服务器的SDP信息,媒体服务器也可以获得客服通话终端的SDP信息,如此,建立了客服通话终端与媒体服务器之间的语音通话媒体传输通道。
应理解,通过上述S206-S209建立的语音通话媒体传输通道(包括用户通话终端与媒体服务器之间的语音通话媒体传输通道,以及客服通话终端与媒体服务器之间的语音通话媒体传输通道),该语音通话媒体传输通道用于传输客服通话终端与用户通话终端之间的通话语音流。示例性的,基于建立的语音通话媒体传输通道,当用户通话终端向客服通话终端发送通话语音流时,该用户通话终端基于该用户通话终端与媒体服务器之间的语音通话媒体传输通道将通话语音流发送至媒体服务器,然后,媒体服务器基于该媒体服务器与客服通话终端之间的语音通话媒体传输通道将其接收到的通话语音流发送至客服通话终端。
可选地,在一些实现方式中,媒体服务器和控制服务器的功能可以集成在一个设备上,例如控制服务器的信令处理功能可以集成在媒体服务器中,如此上述步骤S206-S209中的控制服务器所执行的动作均由媒体服务器(具有信令处理功能的媒体服务器)执行。
可选地,在有些情况下,通过媒体资源协商也可以建立用户通话终端与客服通话终端之间的直接用于传输通话语音流的语音通话媒体传输通道。在这种情况下,上述的S206-S209可以替换为S206'-S210'。
S206'、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与用户通话终端进行媒体资源重协商,该重邀请消息包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息以及音频编解码格式。
S207'、用户通话终端通过IMS网元向控制服务器发送应答消息。
该应答消息中包括用户通话终端的SDP信息,该用户通话终端的SDP信息包括用户通话终端的IP地址、音频端口信息以及音频编解码格式。
S208'、控制服务器向客服通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与客服通话终端进行媒体资源重协商,该重邀请消息中包括用户通话终端的SDP信息,该用户通话终端的SDP信息包括用户通话终端的IP地址、音频端口信息以及音频编解码格式。
S209'、客服通话终端向控制服务器发送应答消息。
该应答消息中包括客服通话终端的SDP信息,该客服通话终端的SDP信息包括该客服通话终端的IP地址、音频端口信息以及音频编解码格式。
S210'、控制服务器向用户通话终端发送携带客服通话终端的SDP信息的应答消息。
通过S206'-S210'的媒体资源协商过程,用户通话终端可以获得客服通话终端的SDP信息,客服通话终端可以获得用户通话终端的SDP信息,即建立了用户通话终端和客服通话终端之间的语音通话媒体传输通道。基于建立的语音通话媒体传输通道,用户通话终端和客服通话终端可以直接通信,无需媒体服务器再转发通话语音流。示例性的,用户通话终端可以基于该用户通话终端与媒体服务器之间的语音通话媒体传输通道将通话语音流直接发送至客服通话终端,同理,客服通话终端也可以基于该语音通话媒体传输通道将通话语音流直接发送至用户通话终端。
结合图1所示的通信系统的架构,在用户通话终端接入接入网以及4G核心网或者5G核心网,以及IMS核心网的基础上,以客服通话终端和用户通话终端进行视频通话为例,对视频通话的流程进行描述,以便于理解人工客服的服务场景中视频通话的流程,该视频通话的流程与上述语音通话的流程类似,视频通话的流程中的相关内容可以参考语音通话的流程中的描述。参考图3,视频通话的流程包括:
S301、用户通话终端通过IMS网元向控制服务器发送邀请(invite)消息。
该邀请消息中携带有用户通话终端的SDP信息,该SDP信息中包括用户通话终端的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式,该SDP信息用于与控制服务器进行媒体资源协商,以建立用户通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道和用于传输通话视频流的视频通话媒体传输通道。应理解,视频通话的过程中涉及通话语音流和通话视频流的传输,因此相比于音频通话的过程,视频通话过程中的SDP信息还需包括视频端口信息和视频编解码格式。
S302、控制服务器向用户通话终端发送振铃消息。
该振铃消息中携带媒体服务器的SDP信息,该媒体服务器的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式,该SDP信息用于与用户通话终端进行媒体资源协商,以建立用户通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道和用于传输通话视频流的视频通话媒体传输通道。
S303、控制服务器通过IMS网元向用户通话终端发送应答消息。
本申请实施例中,在用户发起的是视频通话的情况下,客服系统对用户通话终端的呼叫进行应答之后,控制服务器可以向媒体服务器发送指令,以指示媒体服务器播放与用户的业务相关的视频提示内容(包括音频部分和视频部分),从而媒体服务器基于上述建立的语音通话媒体传输通道和视频通话媒体传输通道向用户通话终端发送该视频提示内容,该视频提示内容可以提示用户根据需求选择不同的服务内容。
当用户在该视频提示内容的提示下进行操作,选择了人工服务时,媒体服务器检测到选择人工服务的操作之后,媒体服务器通知控制服务器用户的选择结果,然后控制服务器为该用户分配一个客服人员(即为用户通话终端选择一个对应的客服通话终端),然后控制服务器执行下述S304。
S304、控制服务器向客服通话终端发送邀请(invite)消息。
该邀请消息用于呼叫客服通话终端与用户通话终端的视频会话,该邀请消息中包括媒体服务器的SDP信息,该媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。该SDP信息用于与客服通话终端进行媒体资源协商,以建立客服通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道和用于传输通话视频流的视频通话媒体传输通道。
S305、客服通话终端向控制服务器发送应答消息。
客服通话终端发送该应答消息之后,该客服通话终端即加入与用户通话终端的视频通话,该应答消息中包括客服通话终端的SDP信息,该客服通话终端的SDP信息包括客服通话终端的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。该SDP信息用于与控制服务器进行媒体资源协商,以建立客服通话终端与媒体服务器之间的用于传输通话语音流的语音通话媒体传输通道和用于传输通话视频流的视频通话媒体传输通道。
应理解,由于客服通话终端是客服系统中的与用户通话终端通话的新的设备,因此,在后续流程中,为实现用户通话终端与客服通话终端进行通信,需要重新进行媒体资源协商,即控制服务器与用户通话终端进行媒体资源重协商(参考S306-S307),控制服务器与客服通话终端进行媒体资源重协商(参考S308-S309)。通过媒体资源重协商可以建立语音通话媒体传输通道和视频通话媒体传输通道。应注意,通过S306-S309建立的语音通话媒体传输通道和视频通话媒体传输通道是需要媒体服务器作为媒介的传输通道,即间接的语音通话媒体传输通道和间接的视频通话媒体传输通道,该语音通话媒体传输通道包括用户通话终端与媒体服务器之间的语音通话媒体传输通道,以及媒体服务器和客服通话终端之间的语音通话媒体传输通道,该视频通话媒体传输通道包括用户通话终端与媒体服务器之间的视频通话媒体传输通道,以及媒体服务器和客服通话终端之间的视频通话媒体传输通道。
S306、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与用户通话终端进行媒体资源重协商,以建立用户通话终端与媒体服务器之间的语音通话媒体传输通道,以及用户通话终端与媒体服务器器之间的视频通话媒体传输通道,该重邀请消息包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。具体的,控制服务器与媒体服务器进行交互,查询(或获取)到媒体服务器的SDP信息之后,控制服务器将该SDP信息携带在重邀请消息中发送至用户通话终端。
S307、用户通话终端通过IMS网元向控制服务器发送应答消息。
该应答消息中包括用户通话终端的SDP信息,用户通话终端的SDP信息包括用户通话终端的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。应理解,控制服务器获取到用户通话终端的SDP信息之后,控制服务器在媒体服务器中设置该用户通话终端的SDP信息,也可以理解为控制服务器将用户通话终端的SDP信息通知给媒体服务器。
通过S306-S307描述的媒体资源协商过程,用户通话终端可以获得媒体服务器的SDP信息,媒体服务器也可以获得用户通话终端的SDP信息,如此,建立了用户通话终端与媒体服务器之间的语音通话媒体传输通道,以及用户通话终端与媒体服务器器之间的视频通话媒体传输通道。
S308、控制服务器向客服通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与客服通话终端进行媒体资源重协商,以建立客服通话终端与媒体服务器之间的语音通话媒体传输通道,以及客服通话终端与媒体服务器之间的视频通话媒体传输通道,该重邀请消息包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。具体的,控制服务器与媒体服务器进行交互,查询(或获取)到媒体服务器的SDP信息之后,控制服务器将该SDP信息携带在重邀请消息中发送至客服通话终端。
S309、客服通话终端向控制服务器发送应答消息。
该应答消息中包括客服通话终端的SDP信息,客服通话终端的SDP信息包括客服通话终端的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。应理解,控制服务器获取到客服通话终端的SDP信息之后,控制服务器在媒体服务器中设置该客服通话终端的SDP信息,也可以理解为控制服务器将客服通话终端的SDP信息通知给媒体服务器。
通过S308-S309描述的媒体资源协商过程,客服通话终端可以获得媒体服务器的SDP信息,媒体服务器也可以获得客服通话终端的SDP信息,如此,建立了客服通话终端与媒体服务器之间的语音通话媒体传输通道,以及客服通话终端与媒体服务器之间的视频通话媒体传输通道。
应理解,通过上述S306-S309建立的语音通话媒体传输通道(包括用户通话终端与媒体服务器之间的语音通话媒体传输通道,以及客服通话终端与媒体服务器之间的语音通话媒体传输通道),该语音通话媒体传输通道用于传输客服通话终端与用户通话终端之间的通话语音流;通过上述S306-S309建立的视频通话媒体传输通道(包括用户通话终端与媒体服务器之间的视频通话媒体传输通道,以及客服通话终端与媒体服务器之间的视频通话媒体传输通道),该视频通话媒体传输通道用于传输客服通话终端与用户通话终端之间的通话视频流。
与语音通话过程类似,可选地,在有些情况下,通过媒体资源协商也可以建立用户通话终端与客服通话终端之间直接用于传输通话语音流的语音通话媒体传输通道和直接用于传输通话视频流的视频通话媒体传输通道。在这种情况下,上述的S306-S309可以替换为S306'-S310'。
S306'、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与用户通话终端进行媒体资源重协商,该重邀请消息包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
S307'、用户通话终端通过IMS网元向控制服务器发送应答消息。
该应答消息中包括用户通话终端的SDP信息,用户通话终端的SDP信息包括用户通话终端的IP地址、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
S308'、控制服务器向客服通话终端发送重邀请(reinvite)消息。
该重邀请消息用于与客服通话终端进行媒体资源重协商,该重邀请消息包括用户通话终端的SDP信息,用户通话终端的SDP信息包括用户通话终端的IP地址、音频端口信息、音频编解码格式视频端口信息以及视频编解码格式。
S309'、客服通话终端向控制服务器发送应答消息。
该应答消息中包括客服通话终端的SDP信息,该客服通话终端的SDP信息包括客服通话终端的IP地址、音频端口信息、音频编解码格式视频端口信息以及视频编解码格式。
S310'、控制服务器向用户通话终端发送携带客服通话终端SDP信息的应答消息。
综上,与语音通话流程不同的是,该媒体协商过程中的所有的SDP信息中均包括设备的视频端口信息和视频编解码格式。
通过S306'-S310'的媒体资源协商过程,用户通话终端可以获得客服通话终端的SDP信息,客服通话终端可以获得用户通话终端的SDP信息,即建立了用户通话终端和客服通话终端之间的语音通话媒体传输通道和视频通话媒体传输通道。基于建立的语音通话媒体传输通道和视频通话媒体传输通道,用户通话终端和客服通话终端可以直接通信,无需媒体服务器再转发通话语音流和通话视频流。
可选地,上述用户通话终端为通话终端,客服通话终端为对端通话终端,或者,客服通话终端为通话终端,用户通话终端为对端通话终端,具体根据实际情况确定,本申请实施例不做限定。
本申请实施例中,上述通话终端(通话终端和对端通话终端)可以为手机、平板电脑或个人计算机(Ultra-mobile Personal Computer,UMPC)等电子设备。或者,还可以为其他桌面型设备、膝上型设备、手持型设备、可穿戴设备、智能家居设备和车载型设备等电子设备,例如上网本、智能手表、智能相机、上网本、个人数字助理(Personal DigitalAssistant,PDA)等。本申请实施例对通话终端的具体类型和结构等不作限定。
以通话终端为手机为例,图4A为本申请实施例提供的一种手机400的硬件结构示意图,该手机400包括处理器410,外部存储器接口420,内部存储器421,通用串行总线(universal serial bus,USB)接口430,充电管理模块440,电源管理模块441,电池442,天线1,天线2,移动通信模块450,无线通信模块460,音频模块470,扬声器470A,受话器470B,麦克风470C,耳机接口470D,传感器模块480,按键490,马达491,指示器492,摄像头493,显示屏494,以及用户标识模块(subscriber identification module,SIM)卡接口495等。
可以理解的是,本申请实施例示意的结构并不构成对手机400的具体限定。在本申请另一些实施例中,手机400可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器410可以包括一个或多个处理单元,例如:处理器410可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是手机400的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器410中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器410的等待时间,因而提高了系统的效率。
充电管理模块440用于从充电器接收充电输入。充电管理模块440为电池442充电的同时,还可以通过电源管理模块441为电子设备供电。
电源管理模块441用于连接电池442,充电管理模块440与处理器410。电源管理模块441接收电池442和/或充电管理模块440的输入,为处理器410,内部存储器421,外部存储器,显示屏494,摄像头493,和无线通信模块460等供电。电源管理模块441还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块441也可以设置于处理器410中。在另一些实施例中,电源管理模块441和充电管理模块440也可以设置于同一个器件中。
手机400的无线通信功能可以通过天线1,天线2,移动通信模块450,无线通信模块460,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。
移动通信模块450可以提供应用在手机400上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块450可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块450还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块450的至少部分功能模块可以被设置于处理器410中。在一些实施例中,移动通信模块450的至少部分功能模块可以与处理器410的至少部分模块被设置在同一个器件中。
无线通信模块460可以提供应用在手机400上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块460经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器410。无线通信模块460还可以从处理器410接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,手机400的天线1和移动通信模块450耦合,天线2和无线通信模块460耦合,使得手机400可以通过无线通信技术与网络以及其他设备通信。
手机400通过GPU,显示屏494,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏494和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器410可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏494用于显示图像,视频等。显示屏494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机400可以包括1个或N个显示屏494,N为大于1的正整数。
手机400可以通过ISP,摄像头493,视频编解码器,GPU,显示屏494以及应用处理器等实现拍摄功能。
ISP用于处理摄像头493反馈的数据,摄像头493用于捕获静态图像或视频。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号(如音频信号等)。
视频编解码器用于对数字视频压缩或解压缩。手机400可以支持一种或多种视频编解码器。这样,手机400可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口420可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机400的存储能力。外部存储卡通过外部存储器接口420与处理器410通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器421可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令,从而执行手机400的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机400使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器421可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
手机400可以通过音频模块470,扬声器470A,受话器470B,麦克风470C,耳机接口470D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块470用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块470还可以用于对音频信号编码和解码。在一些实施例中,音频模块470可以设置于处理器410中,或将音频模块470的部分功能模块设置于处理器410中。
扬声器470A,也称“喇叭”,用于将音频电信号转换为声音信号。手机400可以通过扬声器470A收听音乐,或收听免提通话。
受话器470B,也称“听筒”,用于将音频电信号转换成声音信号。当手机400接听电话或语音信息时,可以通过将受话器470B靠近人耳接听语音。
麦克风470C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风470C发声,将声音信号输入到麦克风470C。手机400可以设置至少一个麦克风470C。在另一些实施例中,手机400可以设置两个麦克风470C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机400还可以设置三个,四个或更多麦克风470C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口470D用于连接有线耳机。
按键490包括开机键,音量键等。手机400可以接收按键输入,产生与手机400的用户设置以及功能控制有关的键信号输入。
马达491可以产生振动提示。马达491可以用于来电振动提示,也可以用于触摸振动反馈。
指示器492可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口495用于连接SIM卡。SIM卡可以通过插入SIM卡接口495,或从SIM卡接口495拔出,实现和手机400的接触和分离。手机400可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口495可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口495可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口495也可以兼容不同类型的SIM卡。SIM卡接口495也可以兼容外部存储卡。手机400通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,手机400采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在手机400中,不能和手机400分离。
可以理解的,本申请实施例中,上述手机400可以执行本申请实施例中的部分或全部步骤,这些步骤或操作仅是示例,手机400还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照本申请实施例呈现的不同的顺序来执行,并且有可能并非要执行本申请实施例中的全部操作。本申请各实施例可以单独实施,也可以任意组合实施,本申请对此不作限定。
本申请实施例提供的桌面共享方法可以应用于具有如图4A所示硬件结构的通话终端或者具有类似结构的通话终端。或者还可以应用于其他结构的通话终端中,本申请实施例对此不作限定。
在对通话终端的硬件结构进行介绍之后,本申请这里以通话终端为手机400为例,对本申请提供的通话终端的系统架构进行介绍。手机400的系统架构可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的系统为例,示例性说明手机400的软件结构。图4B是本申请实施例的通话终端的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包,如图4B所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
本申请实施例中,可以基于手机400的应用程序层中的通话应用程序(即通话APP)可以用于与其他的通话终端进行语音通话或视频通话。该通话应用程序是手机400出厂时已经具有的应用程序,无需用户进行安装、配置等操作。
应理解,本申请实施例提供的桌面共享方法中,通话终端和至少一个对端通话终端在语音通话或视频通话过程中实现桌面共享的功能是基于通话终端和至少一个通话终端上的通话应用程序实现的。也可以认为,本申请实施例中的通话终端和至少一个对端通话终端具体为通话终端或至少一个对端通话终端上的通话应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供通话终端的通信功能,例如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机,Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
其中,表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明手机400软件以及硬件的工作流程。
当手机400触摸传感器接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头493捕获静态图像或视频。
本申请实施例中,上述通信系统中的控制服务器和媒体服务器的结构类似,控制服务器和媒体服务器可以为硬件形态的服务器,也可以是软件形态的服务器。可选地,根据上述实施例的相关描述可知,控制服务器和媒体服务器的功能也可以集成在一起,即集成在一个服务器上,本申请实施例不做限定。
以硬件形态的服务器为例,如图5所示,本申请实施例提供一种服务器500,该服务器500可以是控制服务器,也可以是媒体服务器,该服务器500包括至少一个处理器501和存储器502。
其中,处理器501包括一个或多个中央处理器(central processing unit,CPU)。该CPU为单核CPU(single-CPU)或多核CPU(multi-CPU)。
存储器502包括但不限于是随机存取存储器(random access memory,RAM)、只读存储器(read only memory,ROM)、可擦除可编程只读存储器(erasable programmableread-only memory,EPROM)、快闪存储器、或光存储器等。存储器302中保存有操作系统的代码。
可选地,处理器501通过读取存储器502中保存的指令实现上述实施例中的方法,或者,处理器501通过内部存储的指令实现上述实施例中的方法。在处理器501通过读取存储器502中保存的指令实现上述实施例中的方法的情况下,存储器502中保存实现本申请实施例提供的桌面共享方法的指令。
若服务器500为控制服务器,存储器502中存储的程序代码被至少一个处理器501读取后,服务器500执行以下操作:触发建立视频通话媒体传输通道,该视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;并且确认通话终端具备桌面共享能力,在通话终端具备桌面共享能力的情况下,该视频通话媒体传输通道用于向至少一个对端通话终端传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。
若服务器500为媒体服务器,存储器502中存储的程序代码被至少一个处理器501读取后,服务器500执行以下操作:建立第一视频通话媒体传输通道,该第一视频通话媒体传输通道为媒体服务器与通话终端之间的视频通话媒体传输通道;并且建立第二视频通话媒体传输通道,该第二视频通话媒体传输通道为媒体服务器分别与至少一个对端通话终端之间的视频通话媒体传输通道,该第一视频通话媒体传输通道和第二视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;然后通过第一视频通话媒体传输通道从通话终端接收桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容,进而通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
可选地,图5所示的服务器500还包括网络接口503。网络接口503是有线接口,例如光纤分布式数据接口(fiber distributed data interface,FDDI)、千兆以太网(gigabitethernet,GE)接口。或者,网络接口503是无线接口。网络接口503用于接收消息(例如SIP消息等)。或者,网络接口503(当服务器500为媒体服务器时)用于接收通话视频流或通话语音流。
存储器502用于存储网络接口503接收到的音频流或视频流,至少一个处理器501进一步根据存储器502保存的这些信息来执行上述方法实施例所描述的方法。处理器501实现上述功能的更多细节请参考前面各个方法实施例中的描述,在这里不再重复。
可选地,服务器500还包括总线504,上述处理器501、存储器502通常通过总线504相互连接,或采用其他方式相互连接。
可选地,服务器500还包括输入输出接口505,输入输出接口505用于与输入设备连接,接收用户通过输入设备输入的指令。输入设备包括但不限于键盘、触摸屏、麦克风等等。输入输出接口505还用于与输出设备连接,输出处理器501的处理结果。输出设备包括但不限于显示器、打印机等等。
结合上述实施例的相关描述,本申请实施例提供一种桌面共享方法,该方法可以应用于通信系统中的具有上述图4A所示的硬件结构和上述图4B所示的系统架构的通话终端(包括通话终端和该通话终端的对端通话终端)、具有上述图5所示的服务器的硬件结构的控制服务器以及媒体服务器中实现,通过各个设备的交互实现桌面共享方法。
需要说明的是,本申请实施例中,通话终端的数量为一个,对端通话终端的数量为至少一个。在人工客服的服务场景中,发起通话的设备是用户通话终端,被呼叫的设备是客服通话终端,在一个用户通话终端与一个客服通话终端通话的过程中,也可以邀请一个或多个第三方通话终端加入该通话,该客服通话终端与被邀请的一个或多个第三方通话终端均为对端通话终端,该一个或多个第三方通话终端可以为用户通话终端也可以为客服通话终端,或者其他通话终端,本申请实施例不做限定。
如图6所示,本申请实施例提供的桌面共享方法包括S601-S607。
S601、控制服务器触发建立视频通话媒体传输通道。
该视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容。应理解,本申请实施例中,通话终端和对端通话终端是相对的概念,参与通话的两个终端中,任意一个终端可以为通话终端,则另一个终端为对端通话终端。
S602、通话终端、对端通话终端以及媒体服务器进行交互以建立视频通话媒体传输通道。
需要说明的是,通话终端、对端通话终端以及媒体服务器参与建立的视频通话媒体传输通道为间接的视频通话媒体传输通道,上述建立视频通话媒体传输通道具体包括:建立第一视频通话媒体传输通道,并且建立第二视频通话媒体传输通道,第一视频通话媒体传输通道为通话终端与媒体服务器之间的视频通话媒体传输通道,第二视频通话媒体传输通道为客服通话终端与媒体服务器之间的视频通话媒体传输通道。
本申请实施例中,上述视频通话媒体传输通道的建立过程是通过控制服务器来转发通话终端、对端通话终端以及媒体服务器的消息,具体过程可以参考上述实施例中的S206-S209或者S206'-S209'的描述,此处不再赘述。
可选地,本申请实施例中,控制服务器触发建立视频通话媒体传输通道之后,上述步骤S602可以替换为S602'。
S602'、通话终端、对端通话终端以及控制服务器进行交互以建立视频通话媒体传输通道。
需要说明的是,通话终端、对端通话终端以及控制服务器参与建立的视频通话媒体传输通道为直接的视频通话媒体传输通道,该视频通话媒体传输通道包括通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道,具体过程可以参考上述实施例中的S206'-S210'的描述。
S603、通话终端向控制服务器发送桌面共享申请。相应地,控制服务器接收通话终端发送的桌面共享申请。
该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在通话终端与至少一个对端通话终端进行视频通话的过程中,向至少一个对端通话终端共享通话终端的桌面。
可选地,若呼叫方发起的是视频通话,客服系统中的控制服务器对呼叫方发出的呼叫请求进行应答之后,控制服务器可以触发通话终端、对端通话终端以及媒体服务器建立视频通话媒体传输通道。在这种情况下,先执行S601-S602,后执行S603。
可选地,若呼叫方发起的是语音通话,在通话终端与对端通话终端进行语音通话的过程中,控制服务器接收到通话终端发送的桌面共享申请之后,控制服务器可以触发通话终端、对端通话终端以及媒体服务器建立视频通话媒体传输通道。在这种情况下,先执行S603,后执行S601-S602。
本申请实施例中,控制服务器接收到桌面共享申请之后,控制服务器与通话终端交互以确认通话终端具备桌面共享能力。
S604、控制服务器向通话终端发送SIP消息。相应地,通话终端从控制服务器接收SIP消息。
该SIP消息中包括桌面共享请求标识,桌面共享请求标识用于确认通话终端是否具备桌面共享的能力。
本申请实施例中,通话终端发出桌面共享申请之后,通话终端本身的状态可能会发生变化,需要确认状态发生变化后的通话终端是否还具备桌面共享能力。在通话终端具备桌面共享能力的情况下,才可以继续执行桌面共享方法。示例性的,通话终端可能因为摄像头不可用、当前网络信号较差,或者处于2G/3G网络,视频通话媒体传输通道不可用,或者通话终端对应的用户不方便接听视频电话等等,在这些情况下,通话终端不具备桌面共享能力。
S605、通话终端向控制服务器发送SIP消息的响应消息。相应地,控制服务器从通话终端接收SIP消息的响应消息。
该SIP消息的响应消息中包括桌面共享应答标识,该桌面共享应答标识用于指示通话终端具备桌面共享的能力。
本申请实施例中,上述SIP消息中的桌面共享请求标识可以携带在SIP消息的头域中。
可选地,桌面共享标识在SIP消息的头域中有以下两种携带方式。
第一种携带方式:在SIP消息的Contact的扩展字段中携带桌面共享标识(记为ds)。
以INVITE sip:02033296999@gd.ctcims.cn SIP/2.0为例,
Contact头域为:
<sip:172.27.10.10:5060;transport=udp;zte-did=26-3-20481-3629-12-890-3302;zte-uid=200001+861892222222;Hpt=8e48_16;CxtId=4;TRC=ffffffff-ffffffff>;audio;video;ds;+g.3gpp.mid-call;+g.3gpp.srvcc-alerting;+g.3gpp.ps2cs-srvcc-orig-pre-alerting;+g.3gpp.icsi-ref="urn%3Aurn-7%3A3gpp-service.ims.icsi.mmtel";
Max-Forwards:64.
第二种携带方式:在SIP消息的Supported扩展字段中携带桌面共享标识(ds)
Supported:100rel,histinfo,precondition,timer,ds.
可选地,当呼叫方发起的通话是语音通话时,上述S604中的SIP消息中还包括媒体服务器的SDP信息,该媒体服务器的SDP信息包括媒体服务器的地址信息(例如IP地址)、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
当SIP消息中包括通话终端的SDP信息时,该SIP消息的响应消息中包括还包括通话终端的SDP信息,该通话终端的SDP信息包括通话终端的地址信息(例如IP地址)、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
本申请实施例中,当呼叫方发起的通话是语音通话时,在控制服务器接收到通话终端发送的桌面共享申请之后,可以根据S604-S605中SIP消息和SIP消息的响应消息中的媒体服务器的SDP信息和通话终端的SDP信息进行媒体资源协商,建立视频通话媒体传输通道。在这种情况下,S602中的通话终端、对端通话终端以及媒体服务器进行交互以建立视频通话媒体传输通道的过程中,控制服务器与通话终端之间进行媒体资源协商的步骤可以用步骤S604-S605进行替换。
可选地,在SIP消息中包括媒体服务器的SDP信息的情况下,上述桌面共享请求标识也可以携带在媒体服务器的SDP信息中。
在SDP信息中携带桌面共享标识(ds)的情况下,可以在SDP信息的扩展字段中进一步指示传输从桌面显示内容捕获的视频内容的视频端口信息。具体的,可以指示使用传输通话视频流的视频端口传输从桌面显示内容捕获的内容,下面对SDP信息的字段进行示意。
a=sendrecv;标识双向视频通话
a=sendonly/sendrecv;标识单向视频通话
a=ds;标识桌面共享
m=video 12082RTP/AVP 114 113;标识使用传输通话视频流的视频端口传输从桌面显示内容捕获的视频内容
m=audio 12080RTP/AVP 104 103 102 101 8 0 18 96 97
b=AS:41
b=RS:600
b=RR:2000
a=rtpmap:104 AMR-WB/16000/1
a=fmtp:104 mode-change-capability=2;max-red=0
a=rtpmap:103 AMR-WB/16000/1
a=fmtp:103 octet-align=1;mode-change-capability=2;max-red=0
a=rtpmap:102 AMR/8000/1
a=fmtp:102 mode-change-capability=2;max-red=0
a=rtpmap:101 AMR/8000/1
a=fmtp:101 octet-align=1;mode-change-capability=2;max-red=0
a=rtpmap:96 telephone-event/16000
a=fmtp:96 0-15
a=rtpmap:97 telephone-event/8000
a=fmtp:97 0-15
a=curr:qos local none
a=curr:qos remote none
a=des:qos mandatory local sendrecv
a=des:qos optional remote sendrecv
a=sendrecv
a=maxptime:240
a=ptime:20
m=video 12082 RTP/AVP 114 113
b=AS:2154
b=RS:8000
b=RR:6000
a=rtpmap:114 H264/90000
a=fmtp:114
profile-level-id=42C01F;sprop-parameter-sets=Z0LAH9oC0ChoBtChNQ==,aM4G4g==;packetization-mode=1;sar-understood=16;sar-supported=1
a=imageattr:114 send[x=720,y=1280]recv[x=720,y=1280]
a=rtpmap:113 H264/90000
a=fmtp:113
profile-level-id=42C01F;sprop-parameter-sets=Z0LAH9oC0ChoBtChNQ==,aM4G4g==;packetization-mode=0;sar-understood=16;sar-supported=1
a=imageattr:113 send[x=720,y=1280]recv[x=720,y=1280]
a=curr:qos local none
a=curr:qos remote none
a=des:qos mandatory local sendrecv
a=des:qos optional remote sendrecv
a=rtcp-fb:*nack
a=rtcp-fb:*nack pli
a=rtcp-fb:*ccm fir
a=rtcp-fb:*ccm tmmbr
a=sendrecv
a=ds
a=tcap:1RTP/AVPF
a=pcfg:1t=1
a=extmap:2urn:3gpp:video-orientation
可以理解的是,根据对SDP信息的描述可知,在SDP信息中可以指示视频通话是单向视频通话还是双向视频通话,以通话终端和对端通话终端为例,单向视频通话可以仅传输通话终端的通话视频流,不传输对端通话终端的视频流。例如,通话终端将通话终端拍摄到的视频内容发送至对端通话终端,在对端通话终端上显示通话终端的拍摄到的视频内容,而对端通话终端不拍摄视频内容或者器其拍摄的视频内容不会发送给通话终端,即在通话终端上不显示对端通话终端拍摄的视频内容。
S606、控制服务器向通话终端发送传输通道指示信息。相应地,通话终端从控制服务器接收传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流。
可选地,该传输通道指示信息可以携带在SIP消息中,该SIP消息可以与上述S604中的SIP消息为同一消息,可以不同的SIP消息,本申请实施例不做限定。
上述控制服务器可以通过上述S606的显式指示的方法(即发送传输通道指示信息)指示通过视频通话媒体传输通道传输桌面视频流,在有些情况下,控制服务器也可以通过隐式指示的方法指示通过视频通话媒体传输通道传输桌面视频流。例如,在S604中的SIP消息中携带媒体服务器的SDP信息,在该SIP消息的响应消息中携带通话终端的SDP信息,以协商(或指示)使用基于这一对SDP信息(媒体服务器的SDP信息和客服通话终端的SDP)建立的视频通话媒体传输通道传输桌面视频流,应理解,该视频通话媒体传输通道原本是用于传输通话视频流的。
S607、通话终端通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。
在一种实现方式中,若视频通话媒体传输通道包括上述第一视频通话媒体传输通道和第二视频通话媒体传输通道,即视频通话媒体传输通道为间接的传输通道,则上述S605具体通过S6071-S6072实现。
S6071、通话终端通过第一视频通话媒体传输通道向媒体服务器传输桌面视频流。相应地,媒体服务器通过该第一视频通话媒体传输通道从通话终端接收桌面视频流。
S6072、媒体服务器通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
本申请实施例,媒体服务器可以作为传递桌面视频流的媒介,通话终端通过第一视频通话媒体传输通道将桌面视频流发送至媒体服务器,以使得媒体服务器通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
可选地,在通话终端的视频编解码格式与对端通话终端的视频编解码格式不同的情况下,在上述S6071之后,在S6072之前,上述媒体服务器可以对接收到的桌面视频流进行转码处理,转码处理后的桌面视频流的编解码格式与至少一个对端通话终端的编解码格式相同。例如,假设通话终端的视频编解码格式为第一编解码格式,对端通话终端的视频编解码格式为第二编解码格式,该通话终端采用第一编解码格式对桌面流进行编码后发送至媒体服务器,媒体服务器采用第一编解码格式对桌面视频流进行解码,然后采用第二编解码格式对桌面视频流进行编码,再将采用第二编解码格式编码后的桌面视频流发送至对端通话终端。
在另一种实现方式中,上述视频通话媒体传输通道包括通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道,即视频通话媒体传输通道为间接的传输通道,则上述S607具体通过S6071'实现,即S6071-S6072被替换为S6071'。
S6071'、通话终端通过该通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流。
在本申请实施例中,在一个通话终端与对端通话终端通话的过程中,通话终端可以利用视频通话媒体传输通道(原本用于传输通话视频流)向对端通话终端传输包括通话终端从其桌面显示内容捕获的视频内容的桌面视频流。
可选地,在通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流(即S607)之前,本申请实施例提供的桌面共享方法还包括S608。
S608、通话终端停止通过视频通话媒体传输通道向至少一个对端通话终端传输通话视频流。
本申请实施例提供的桌面共享方法中,使用视频通话媒体传输通道传输通话终端从桌面显示内容捕获的视频内容时,可以停止传输通话终端拍摄的视频内容(即通话视频流),此时桌面视频流仅包括从桌面显示内容捕获的视频内容。
当通过第一视频通话媒体传输通道和第二视频通话媒体传输通道传输桌面视频流时,通话终端停止通过第一视频通话媒体传输通道传输通话视频流,如此,媒体服务器停止通过第一视频通话媒体传输通道从通话终端接收通话视频流。
可选地,本申请实施例中,上述桌面视频流还包括通话终端拍摄的视频内容,即本申请实施例提供的桌面共享方法中,也可以使用视频通话媒体传输通道传输从桌面显示内容捕获的视频内容和拍摄的视频内容,此时桌面视频流包含从桌面显示内容捕获的视频内容和拍摄的视频内容。
需要说明的是,当桌面视频流包含从桌面显示内容捕获的视频内容和拍摄的视频内容时,在媒体服务器通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流之前,媒体服务器还对通话终端拍摄的视频内容和通话终端从桌面显示内容捕获的视频内容进行混合编码处理(可以称为混屏处理),得到桌面视频流。本申请实施例中,媒体服务器对通话终端拍摄的视频内容和通话终端从桌面显示内容捕获的视频内容进行混合编码后,得到包括通话终端拍摄的视频内容和从桌面显示内容捕获的视频内容的桌面视频流,再通过第二视频通话媒体传输通道将桌面视频流发送至对端通话终端,如此,在对端通话终端上可以显示通话终端的桌面和通话终端的拍摄的画面,例如,在对端通话终端的显示屏的第一区域显示通话终端拍摄的画面,在对端通话终端的显示屏的第二区域显示通话终端的桌面。
可选地,在人工客服的服务场景中,上述实施例中的通话终端为客服通话终端,至少一个对端通话终端至少包括一个用户通话终端;或者,上述实施例中的通话终端为用户通话终端,至少一个对端通话终端至少包括一个客服通话终端。
综上所述,本申请实施例提供的桌面共享方法,通信系统中的控制服务器触发建立视频通话媒体传输通道之后,通话终端、至少一个对端通话终端以及控制服务器之间进行交互建立该视频通话媒体传输通道,该视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容;然后,通话终端可以通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容。通过本申请实施例提供的技术方案,当通话终端将通话终端的桌面共享给对端通话终端时,该通话终端可以基于现有的视频通话媒体传输通道发送该通话终端的桌面视频流,无需花费额外的带宽资源建立专用于传输桌面视频流的共享信息传输通道,并且无需占用终端(包括通话终端和对端通话终端)额外的端口资源。
进一步的,与现有的桌面共享方法相比,本申请实施例提供的技术方案中,无需在用户终端和客服终端上安装桌面共享APP,如此,也无需操作人员进行复杂的相关操作,不要求操作人员具有较高的操作技能。
可以理解的是,在人工客服的服务场景中,根据通话终端和对端通话终端为不同角色的终端,本申请实施例提供的桌面共享方法的应用场景具体包括下述四种场景,分别称为场景一、场景二、场景三以及场景四。
场景一:通话终端为客服通话终端,对端通话终端为一个用户通话终端的两方会话过程中进行桌面共享。
在场景一中,在用户通话终端通话与客服通话终端的过程中,客服通话终端可以向用户通话终端共享该客服通话终端的桌面。
场景二:通话终端为客服通话终端,对端通话终端为多个,且该多个对端通话终端中至少包括一个用户通话终端的多方会话过程中进行桌面共享。
应理解,多个对端通话终端中的一个用户通话终端是发起通话的终端,该多个对端通话终端中除了该发起通话的用户通话终端之外的其他通话终端是第三方通话终端,可选地,第三方通话终端可以是其他的客服通话终端,也可以是其他的用户通话终端,本申请实施例不做限定。
在场景二中,在用户通话终端通话与客服通话终端的过程中,客服通话终端可以向用户通话终端和第三方通话终端(即至少一个对端通话终端)共享该客服通话终端的桌面。
场景三:通话终端为用户通话终端,对端通话终端为一个客服通话终端的两方会话过程中进行桌面共享。
在场景三中,在用户通话终端通话与客服通话终端的过程中,用户通话终端可以向客服通话终端共享该用户通话终端的桌面。
场景四:通话终端为用户通话终端,对端通话终端为多个,且该多个对端通话终端中至少包括一个客服通话终端的多方会话过程中进行桌面共享。
应理解,多个对端通话终端中的一个客服通话终端是用户通话终端呼叫客服系统时,客服系统为用户通话终端分配的客服通话终端,该多个对端通话终端中除了该客服通话终端之外的其他通话终端是第三方通话终端。可选地,第三方通话终端可以是其他的客服通话终端,也可以是其他的用户通话终端,本申请实施例不做限定。
在场景四中,在用户通话终端通话与客服通话终端的过程中,用户通话终端可以向客服通话终端和第三方通话终端共享该用户通话终端的桌面。
基于上述实施例的相关描述可知,在场景一、场景二、场景三以及场景四中,发起通话的用户通话终端可以发起视频通话,也可以发起语音通话;另外,基于上述实施例的相关描述也可知,在场景一、场景二、场景三以及场景四中,用户通话终端与客服通话终端通话过程中建立的媒体传输通道(包括语音通话媒体传输通道,或者语音通话媒体传输通道和视频通话媒体传输通道)可以是间接的媒体传输通道,也可以是直接的媒体传输通道。在以下各个实施例中,以用户通话终端发起的通话为语音通话,并且用户通话终端与客服通话终端通话过程中建立的媒体传输通道为间接的媒体传输通道为例对本申请实施例提供的桌面共享方法进行详细的描述。
对于场景一(通话终端为客服通话终端,对端通话终端为一个用户通话终端),场景一是客服通话终端向用户通话终端共享该客服通话终端的桌面,从各个设备的交互角度对本申请实施例提供的桌面共享方法进行描述,如图7所示,本申请实施例提供的桌面共享方法包括S701-S717。
S701、用户通话终端通过IMS网元向控制服务器发送邀请(invite)消息。
S702、控制服务器通过IMS网元向用户通话终端发送振铃消息。
S703、控制服务器通过IMS网元向用户通话终端发送应答消息。
可以理解的是,客服系统对用户通话终端的呼叫进行应答之后,控制服务器可以向媒体服务器发送指令,该指令用于指示媒体服务器播放与用户的业务相关的音频提示内容,以提示用户根据需求选择不同的服务内容(例如选择人工服务),当用户在该音频提示内容的提示下进行操作,选择了人工服务时,媒体服务器检测到选择人工服务的操作之后,媒体服务器通知控制服务器用户的选择结果,然后控制服务器为该用户分配一个客服人员(即为用户通话终端选择一个对应的客服通话终端)。
S704、控制服务器向客服通话终端发送邀请(invite)消息。
S705、客服通话终端向控制服务器发送应答消息。
S706、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
该重邀请(reinvite)消息中包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的地址信息(例如IP地址)、音频端口信息以及音频编解码格式。
S707、用户通话终端通过IMS网元向控制服务器发送应答消息。
该应答消息中包括用户通话终端SDP信息,用户通话终端SDP信息包括用户通话终端的地址信息(例如IP地址)、音频端口信息以及音频编解码格式。
S708、控制服务器向客服通话终端发送重邀请(reinvite)消息。
该重邀请(reinvite)消息中包括媒体服务器的SDP信息,关于媒体服务器的SDP信息的描述可以参考S706。
S709、客服通话终端向控制服务器发送应答消息。
该应答消息中包括客服通话终端的SDP信息,客服通话终端的SDP信息包括客服通话终端的地址信息(例如IP地址)、音频端口信息以及音频编解码格式。
上述S706-S709是控制服务器触发建立语音通话媒体传输通道之后,通话终端、对端通话终端、控制服务器以及媒体服务器进行交互,通过媒体资源协商建立用户通话终端与客服通话终端的间接的语音通话媒体传输通道的过程。其中,控制服务器用于转发通话终端、对端通话终端以及媒体服务器的消息。
可以理解的是,S701-S709是用户通话终端呼叫客服通话终端,并且建立语音通话媒体传输通道的过程。关于S701-S709的各个步骤的消息中所携带的内容可以参考上述对于S201-S209的详细描述,此处不再赘述。
S710、客服通话终端向控制服务器发送桌面共享申请,相应地,控制服务器接收客服通话终端发送的桌面共享申请。
该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在客服通话终端与用户通话终端进行视频通话的过程中,向用户通话终端共享该客服通话终端的桌面。
需要说明的是,上述用户通话终端发起的是语音通话,并且通过上述实施例中的S706-S709的步骤建立的是语音通话媒体传输通道,由于桌面共享过程中要传输的是桌面视频流,而语音通话过程中仅能传输通话语音流,不能传输视频流,因此,在控制服务器接收到桌面共享申请之后,该控制服务器将触发建立视频通话媒体传输通道,即需要将语音通话转换为视频通话,以建立能够传输视频流的传输通道,并且使用该视频通话媒体传输通道传输桌面视频流,视频通话媒体传输通道的建立过程如下S711-S714。
S711、控制服务器向客服通话终端发送SIP消息。相应地,客服通话终端从控制服务器接收SIP消息。该SIP消息中包括桌面共享请求标识和媒体服务器的SDP信息。
该媒体服务器的SDP信息包括媒体服务器的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。应注意,与语音通话场景的媒体资源协商消息中的SDP信息(包括设备的地址信息、音频端口信息以及音频编解码格式)不同的是,视频通话场景的媒体资源协商消息中的SDP信息中还包括设备的视频端口信息和视频编解码格式。
S712、客服通话终端向控制服务器发送SIP消息的响应消息。相应地,控制服务器从客服通话终端接收SIP消息的响应消息,该SIP消息的响应消息中包括桌面共享应答标识和客服通话终端的SDP信息。
客服通话终端的SDP信息包括客服通话终端的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
需要说明的是,上述SIP消息中的桌面共享请求标识和SIP消息的响应消息中的桌面共享应答标识用于确认客服通话终端是否具备桌面共享能力;该SIP消息中的媒体服务器的SDP信息和该SIP消息的应答消息中的客服通话终端的SDP信息用于进行媒体资源协商,建立媒体服务器与客服通话终端之间的视频通话媒体传输通道(即第一视频通话媒体传输通道)。
S713、控制服务器通过IMS网元向用户通话终端发送重邀请消息。
该重邀请消息中包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
S714、用户通话终端通过IMS网元向控制服务器发送应答消息。
该应答消息中包括用户通话终端的SDP信息,用户通话终端的SDP信息包括用户通话终端的地址信息(例如IP地址)、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
通过S713-S714的媒体资源协商过程可以建立用户通话终端与媒体服务器之间的视频通话媒体传输通道(即第二视频通话媒体传输通道)。上述第一视频通话媒体传输通道和第二视频通话媒体传输通道成对存在,是用于客服通话终端与用户通话终端进行通信的传输通道。
S715、控制服务器向客服通话终端发送传输通道指示信息。相应地,客服通话终端从控制服务器接收该传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流。
至此,用于传输桌面视频流的传输通道已建立,该用于传输桌面视频流的传输通道是视频通话媒体传输通道,基于该视频通话媒体传输通道,客服通话终端可以向用户通话终端共享客服通话终端的桌面,具体过程为下述S716-S717。
S716、客服通话终端通过第一视频通话媒体传输通道向媒体服务器发送桌面视频流。相应地,媒体服务器通过该第一视频通话媒体传输通道从客服通话终端接收桌面视频流,该桌面视频流包含客服通话终端从该客服通话终端的桌面显示内容捕获的视频内容。
本申请实施例中,客服通话终端根据其接收到的传输通道指示信息,通过上述用于传输通话视频流的第一视频通话媒体传输通道传输桌面视频流。
S717、媒体服务器通过第二视频通话媒体传输通道向用户通话终端发送桌面视频流。
相应地,用户通话终端通过该第二视频通话媒体传输通道从媒体服务器接收桌面视频流,并在该用户通话终端的显示屏上显示该桌面视频流对应的画面(即客服通话终端的桌面)。
本申请实施例中,媒体服务器通过第一视频通话媒体传输通道从客服通话终端接收桌面视频流之后,该媒体服务器再通过与上述第一视频通话媒体传输通道对应的第二视频通话媒体传输通道向用户通话终端发送桌面视频流。
可选地,在本申请实施例中,通过视频通话媒体传输通道传输桌面视频流的过程中,若该桌面视频流仅包括客服通话终端从其桌面显示内容捕获的视频内容,不包括客服通话终端拍摄的视频内容,则客服通话终端基于视频通话媒体传输通道传输桌面视频流之前,该客服通话终端先停止通过该视频通话媒体传输通道传输通话视频流,该通话视频流包含客服通话终端拍摄的视频内容。
可选地,通过视频通话媒体传输通道传输桌面视频流的过程中,若该桌面视频流包含客服通话终端从其桌面显示内容捕获的视频内容和客服通话终端拍摄的视频内容,媒体服务器接收到该桌面视频流之后,媒体服务器可以对通话终端拍摄的视频内容和通话终端从桌面显示内容捕获的视频内容进行混合编码后,再通过第二视频通话媒体传输通道将桌面视频流发送至用户通话终端。
可选地,当客服通话终端的视频编解码格式与用户通话终端的视频编解码格式不同的情况下,上述媒体服务器还可以对接收到的桌面视频流进行转码处理,再通过第二视频通话媒体传输通道将桌面视频流发送至用户通话终端,其中,转码处理后的桌面视频流的编解码格式与用户通话终端的编解码格式相同。
关于S701-S717的其他细节的描述可以参考S601-S608中的相关描述,此处不再赘述。
对于场景二(通话终端为客服通话终端,对端通话终端为多个,且该多个对端通话终端中至少包括一个用户通话终端),换句话说,场景二是用户通话终端与客服通话终端通话的过程中,邀请一个或多个第三方通话终端加入通话,形成三方会话,即用户通话终端和一个或多个第三方通话终端均为对端通话终端,场景二是客服通话终端向用户通话终端以及一个或多个第三方通话终端共享该客服通话终端的桌面。从各个设备的交互角度对本申请实施例提供的桌面共享方法进行描述,如图8所示,本申请实施例提供的桌面共享方法包括S801-S822。
S801、用户通话终端通过IMS网元向控制服务器发送邀请(invite)消息。
S802、控制服务器通过IMS网元向用户通话终端发送振铃消息。
S803、控制服务器通过IMS网元向用户通话终端发送应答消息。
S804、控制服务器向客服通话终端发送邀请(invite)消息。
S805、客服通话终端向控制服务器发送应答消息。
S806、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
S807、用户通话终端通过IMS网元向控制服务器发送应答消息。
S808、控制服务器向客服通话终端发送重邀请(reinvite)消息。
S809、客服通话终端向控制服务器发送应答消息。
可以理解的是,S801-S809是用户通话终端呼叫客服通话终端,并且建立语音通话媒体传输通道的过程。S801-S809与S701-S709是相同的过程,对S801-S809具体说明可以参考对S701-S709的描述,此处不再赘述。
S810、客服通话终端向控制服务器发送桌面共享申请,相应地,控制服务器接收客服通话终端发送的桌面共享申请。
该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在客服通话终端与用户通话终端进行视频通话的过程中,向用户通话终端共享该客服通话终端的桌面。
与场景一相同的是,上述用户通话终端发起的是语音通话,并且通过上述实施例中的S806-S809的步骤建立的是语音通话媒体传输通道,由于桌面共享过程中要传输的是桌面视频流,而语音通话过程中仅能传输通话语音流,不能传输视频流,因此,在控制服务器接收到桌面共享申请之后,该控制服务器将触发建立视频通话媒体传输通道,即需要将语音通话转换为视频通话,以建立能够传输视频流的传输通道,并且使用该视频通话媒体传输通道传输桌面视频流,视频通话媒体传输通道的建立过程如下S811-S814。
S811、控制服务器向客服通话终端发送SIP消息。相应地,客服通话终端从控制服务器接收SIP消息。该SIP消息中包括桌面共享请求标识和媒体服务器的SDP信息。
S812、客服通话终端向控制服务器发送SIP消息的响应消息。相应地,控制服务器从客服通话终端接收SIP消息的响应消息,该SIP消息的响应消息中包括桌面共享应答标识和客服通话终端的SDP信息。
上述SIP消息中的桌面共享请求标识和SIP消息的响应消息中的桌面共享应答标识用于确认客服通话终端是否具备桌面共享能力;该SIP消息中的媒体服务器的SDP信息和该SIP消息的应答消息中的客服通话终端的SDP信息用于进行媒体资源协商,建立媒体服务器与客服通话终端之间的视频通话媒体传输通道(即第一视频通话媒体传输通道)。
S813、控制服务器通过IMS网元向用户通话终端发送重邀请消息。
S814、用户通话终端通过IMS网元向控制服务器发送应答消息。
通过S813-S814的媒体资源协商过程可以建立用户通话终端与媒体服务器之间的视频通话媒体传输通道(即第二视频通话媒体传输通道)。上述S811-S814与S711-S714是相同的过程,对S811-S814具体说明可以参考对S711-S714的描述,此处不再赘述。应理解,上述第一视频通话媒体传输通道和第二视频通话媒体传输通道成对存在,是用于客服通话终端与用户通话终端进行通信的传输通道。
S815、控制服务器向客服通话终端发送传输通道指示信息。相应地,客服通话终端从控制服务器接收该传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流。
至此,用于在用户通话终端与客服通话终端之间传输桌面视频流的传输通道已建立,该用于传输桌面视频流的传输通道是视频通话媒体传输通道,基于该视频通话媒体传输通道,客服通话终端可以向用户通话终端共享客服通话终端的桌面。
需要说明的是,在一些情况下,用户通话终端与客服通话终端通话的过程中,因为一些因素,需要邀请第三方通话终端加入用户通话终端与客服通话终端的通话,第三方通话终端可以是用户通话终端,也可以是客服通话终端。例如,当前的客服通话终端对应的客服人员无法解决用户提出的问题,需要邀请第三方客服人员进行协助,或者,当前的客服人员与用户之间的沟通存在障碍,需要邀请第三方用户进行协助,等等。具体根据实际需求确定邀请的第三方通话终端,本申请实施例不做限定。
可以理解的是,当需要邀请第三方通话终端加入通话时,客服通话终端或者用户通话终端可以向控制服务器申请,例如,客服通话终端向控制服务器发送第三方会话请求,该第三方会话请求用于请求第三方的客服通话终端加入客服通话终端与用户通话终端的通话,相应地,控制服务器接收第三方会话请求,然后控制服务器执行下述S816。
S816、控制服务器向媒体服务器发送多方会场申请。相应地,媒体服务器接收控制服务器发送的多方会场申请,该多方会场申请用于请求媒体服务器创建多方会场。
该多方会场用于客服通话终端、用户通话终端以及第三方通话终端进行多方通话(例如三方、四方、五方等),本申请实施例以一个第三方通话终端为例进行说明。
本申请实施例中,媒体服务器接收到多方会场申请之后,媒体服务器创建多方会场,并将多方会场的标识信息发送至客服通话终端、用户通话终端以及第三方通话终端。
可选地,本申请实施例不限定上述S816与S811-S814的执行顺序,可以先执行S816,后执行S811-S814,后者先执行S811-S814,后执行S816。
S817、控制服务器通过IMS网元向第三方通话终端发送邀请(invite)消息。
该邀请消息中包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
该邀请消息用于呼叫第三方通话终端加入客服通话终端与用户通话终端的通话。
S818、第三方通话终端向控制服务器发送振铃消息。
该振铃消息中包括第三方通话终端的SDP信息,第三方通话终端的SDP信息包括第三方通话终端的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
S819、第三方通话终端通过IMS网元向控制服务器发送应答消息。
本申请实施例中,第三方通话终端向控制服务器发送应答消息表示第三方通话终端对控制服务器的呼叫进行了应答,同意加入客服通话终端与用户通话终端的通话。
上述S817-S819不仅是呼叫第三方通话终端的过程,也是与第三方通话终端进行媒体资源协商的过程,通过S817-S819可以建立第三方通话终端与媒体服务器之间的视频通话媒体传输通道(可以称为第三视频通话媒体传输通道)。
至此,基于建立的第一视频通话媒体传输通道、第二视频通话媒体传输通道以及第三视频通话媒体传输通道,客服通话终端可以向用户通话终端共享客服通话终端的桌面,并且可以向第三方通话终端共享客服通话终端的桌面,具体过程为下述S820-S822。
S820、客服通话终端通过第一视频通话媒体传输通道向媒体服务器发送桌面视频流。相应地,媒体服务器通过该第一视频通话媒体传输通道从客服通话终端接收桌面视频流,该桌面视频流包含客服通话终端从该客服通话终端的桌面显示内容捕获的视频内容。
S821、媒体服务器通过第二视频通话媒体传输通道向用户通话终端发送桌面视频流。
相应地,用户通话终端通过该第二视频通话媒体传输通道从媒体服务器接收桌面视频流,并在该用户通话终端的显示屏上显示该桌面视频流对应的画面。
S822、媒体服务器通过第三视频通话媒体传输通道向第三方通话终端发送桌面视频流。
相应地,第三方通话终端通过该第二视频通话媒体传输通道从媒体服务器接收桌面视频流,并在该第三方通话终端的显示屏上显示该桌面视频流对应的画面。
可选地,在场景二的多方会话过程中,媒体服务器也可以将其从多方接收的视频内容进行混合编码处理。例如,当第三方通话终端加入客服通话终端与用户通话终端的通话时,媒体服务器可以从客服通话终端接收到桌面视频流,该桌面视频流包含客服通话终端从其桌面显示内容捕获的视频内容和客服通话终端拍摄的视频内容,该媒体服务器也可以从用户通话终端接收到用户通话终端拍摄的视频内容,媒体服务器可以对客服通话终端从其桌面显示内容捕获的视频内容、客服通话终端拍摄的视频内容以及用户通话终端拍摄的视频内容进行混合编码,再将混合编码后的视频流发送至第三方通话终端,如此,在第三方通话终端上不仅可以显示客服通话终端的桌面、也可以显示客服通话终端拍摄的视频内容和用户通话终端拍摄的视频内容。
根据上述实施例的内容可知,S801-S822所述的桌面共享方法是S701-S717所述的桌面共享方法的一种延伸(延伸为多方会话),S801-S822与S701-S717的流程是相似的,是关于S801-S822的其他细节的描述可以参考S701-S717中的相关描述,此处不再赘述。
对于场景三(通话终端为用户通话终端,对端通话终端为一个客服通话终端),场景三是用户通话终端向客服通话终端共享该用户通话终端的桌面,从各个设备的交互角度对本申请实施例提供的桌面共享方法进行描述,如图9所示,本申请实施例提供的桌面共享方法包括S901-S917。
S901、用户通话终端通过IMS网元向控制服务器发送邀请(invite)消息。
S902、控制服务器通过IMS网元向用户通话终端发送振铃消息。
S903、控制服务器通过IMS网元向用户通话终端发送应答消息。
S904、控制服务器向客服通话终端发送邀请(invite)消息。
S905、客服通话终端向控制服务器发送应答消息。
S906、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
该重邀请(reinvite)消息中包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的地址信息(例如IP地址)、音频端口信息以及音频编解码格式。
S907、用户通话终端通过IMS网元向控制服务器发送应答消息。
该应答消息中包括用户通话终端SDP信息,用户通话终端SDP信息包括用户通话终端的地址信息(例如IP地址)、音频端口信息以及音频编解码格式。
S908、控制服务器向客服通话终端发送重邀请(reinvite)消息。
该重邀请(reinvite)消息中包括媒体服务器的SDP信息,关于媒体服务器的SDP信息的描述可以参考S906。
S909、客服通话终端向控制服务器发送应答消息。
该应答消息中包括客服通话终端的SDP信息,客服通话终端的SDP信息包括客服通话终端的地址信息(例如IP地址)、音频端口信息以及音频编解码格式。
上述S906-S909是控制服务器触发建立语音通话媒体传输通道之后,通话终端、对端通话终端、控制服务器以及媒体服务器进行交互,通过媒体资源协商建立用户通话终端与客服通话终端的间接的语音通话媒体传输通道的过程。其中,控制服务器用于转发通话终端、对端通话终端以及媒体服务器的消息。
可以理解的是,S901-S909是用户通话终端呼叫客服通话终端,并且建立语音通话媒体传输通道的过程。关于S901-S909的各个步骤的消息中所携带的内容可以参考场景一或场景二的相关步骤的详细描述,此处不再赘述。
S910、客服通话终端向控制服务器发送桌面共享申请,相应地,控制服务器接收客服通话终端发送的桌面共享申请。
该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在用户通话终端与客服通话终端通话的过程中,客服通话终端共享用户通话终端的桌面。
可以理解的是,无论是客服通话终端向用户通话终端共享客服通话终端的桌面,还是用户通话终端向客服通话终端共享用户通话终端的桌面,发出桌面共享申请的一方均是客服通话终端,需注意,这两种情况下,桌面共享申请中携带的桌面共享申请标识的含义不同。
与场景一和场景二相同的是,上述用户通话终端发起的是语音通话,并且通过上述实施例中的S906-S909的步骤建立的是语音通话媒体传输通道,由于桌面共享过程中要传输的是桌面视频流,而语音通话过程中仅能传输通话语音流,不能传输视频流,因此,在控制服务器接收到桌面共享申请之后,该控制服务器将触发建立视频通话媒体传输通道,即需要将语音通话转换为视频通话,以建立能够传输视频流的传输通道,并且使用该视频通话媒体传输通道传输桌面视频流,视频通话媒体传输通道的建立过程如下S911-S914。
S911、控制服务器向用户通话终端发送SIP消息。相应地,用户通话终端从控制服务器接收SIP消息。该SIP消息中包括桌面共享请求标识和媒体服务器的SDP信息。
该媒体服务器的SDP信息包括媒体服务器的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。应注意,与语音通话场景的媒体资源协商消息中的SDP信息(包括设备的地址信息、音频端口信息以及音频编解码格式)不同的是,视频通话场景的媒体资源协商消息中的SDP信息中还包括设备的视频端口信息和视频编解码格式。
S912、用户通话终端向控制服务器发送SIP消息的响应消息。相应地,控制服务器从用户通话终端接收SIP消息的响应消息,该SIP消息的响应消息中包括桌面共享应答标识和用户通话终端的SDP信息。
用户通话终端的SDP信息包括用户通话终端的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
上述SIP消息中的桌面共享请求标识和SIP消息的响应消息中的桌面共享应答标识用于确认用户通话终端是否具备桌面共享能力,SIP消息中的媒体服务器的SDP信息和该SIP消息的应答消息中的用户通话终端的SDP信息用于进行媒体资源协商,建立媒体服务器与用户通话终端之间的视频通话媒体传输通道(即第一视频通话媒体传输通道)。
S913、控制服务器向客服通话终端发送重邀请消息。
该重邀请消息中包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
S914、客服通话终端向控制服务器发送应答消息。
该应答消息中包括客服通话终端的SDP信息,客服通话终端的SDP信息包括客服通话终端的地址信息(例如IP地址)、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
通过S913-S914的媒体资源协商过程可以建立客服通话终端与媒体服务器之间的视频通话媒体传输通道(即第二视频通话媒体传输通道)。应理解,上述第一视频通话媒体传输通道和第二视频通话媒体传输通道成对存在,是用于客服通话终端与用户通话终端进行通信的传输通道。
S915、控制服务器通过IMS网元向用户通话终端发送传输通道指示信息。相应地,用户通话终端从控制服务器接收该传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流。
至此,用于传输桌面视频流的传输通道已建立,该用于传输桌面视频流的传输通道是视频通话媒体传输通道,基于该视频通话媒体传输通道,用户通话终端可以向客服通话终端共享用户通话终端的桌面,具体过程为下述S916-S917。
S916、用户通话终端通过第一视频通话媒体传输通道向媒体服务器发送桌面视频流。相应地,媒体服务器通过该第一视频通话媒体传输通道从用户通话终端接收桌面视频流,该桌面视频流包含用户通话终端从该用户通话终端的桌面显示内容捕获的视频内容。
S917、媒体服务器通过第二视频通话媒体传输通道向客服通话终端发送桌面视频流。
相应地,客服通话终端通过该第二视频通话媒体传输通道从媒体服务器接收桌面视频流,并在该客服通话终端的显示屏上显示该桌面视频流对应的画面(即用户通话终端的桌面)。
场景三与场景一不同是,客服通话终端共享用户通话终端的桌面,场景一和场景三的部分流程是相似的,关于S901-S917的其他细节的描述可以上述场景一对应的实施例的相关描述,此处不再赘述。
对于场景四(通话终端为用户通话终端,对端通话终端为多个,且该多个对端通话终端中至少包括一个客服通话终端),换句话说,场景四是用户通话终端与客服通话终端通话的过程中,邀请一个或多个第三方通话终端加入通话,形成三方会话,即客服通话终端和一个或多个第三方通话终端均为对端通话终端,场景四是用户通话终端向客服通话终端以及个或多个第三方通话终端共享该用户通话终端的桌面。从各个设备的交互角度对本申请实施例提供的桌面共享方法进行描述,如图10所示,本申请实施例提供的桌面共享方法包括S1001-S1022。
S1001、用户通话终端通过IMS网元向控制服务器发送邀请(invite)消息。
S1002、控制服务器通过IMS网元向用户通话终端发送振铃消息。
S1003、控制服务器通过IMS网元向用户通话终端发送应答消息。
S1004、控制服务器向客服通话终端发送邀请(invite)消息。
S1005、客服通话终端向控制服务器发送应答消息。
S1006、控制服务器通过IMS网元向用户通话终端发送重邀请(reinvite)消息。
S1007、用户通话终端通过IMS网元向控制服务器发送应答消息。
S1008、控制服务器向客服通话终端发送重邀请(reinvite)消息。
S1009、客服通话终端向控制服务器发送应答消息。
可以理解的是,S1001-S1009是用户通话终端呼叫客服通话终端,并且建立语音通话媒体传输通道的过程。S1001-S1009与S901-S909是相同的过程,对S1001-S1009具体说明可以参考对S901-S909的描述,此处不再赘述。
S1010、客服通话终端向控制服务器发送桌面共享申请,相应地,控制服务器接收客服通话终端发送的桌面共享申请。
该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在用户通话终端与客服通话终端通话的过程中,客服通话终端共享用户通话终端的桌面。
与场景三相同的是,上述用户通话终端发起的是语音通话,并且通过上述实施例中的S906-S909的步骤建立的是语音通话媒体传输通道,由于桌面共享过程中要传输的是桌面视频流,而语音通话过程中仅能传输通话语音流,不能传输视频流,因此,在控制服务器接收到桌面共享申请之后,该控制服务器将触发建立视频通话媒体传输通道,即需要将语音通话转换为视频通话,以建立能够传输视频流的传输通道,并且使用该视频通话媒体传输通道传输桌面视频流,视频通话媒体传输通道的建立过程如下S1011-S1014。
S1011、控制服务器通过IMS网元向用户通话终端发送SIP消息。相应地,用户通话终端从控制服务器接收SIP消息。该SIP消息中包括桌面共享请求标识和媒体服务器的SDP信息。
S1012、用户通话终端通过IMS网元向控制服务器发送SIP消息的响应消息。相应地,控制服务器从用户通话终端接收SIP消息的响应消息,该SIP消息的响应消息中包括桌面共享应答标识和用户通话终端的SDP信息。
上述SIP消息中的桌面共享请求标识和SIP消息的响应消息中的桌面共享应答标识用于确认用户通话终端是否具备桌面共享能力,SIP消息中的媒体服务器的SDP信息和该SIP消息的应答消息中的用户通话终端的SDP信息用于进行媒体资源协商,建立媒体服务器与用户通话终端之间的视频通话媒体传输通道(即第一视频通话媒体传输通道)。
S1013、控制服务器向客服通话终端发送重邀请消息。
S1014、客服通话终端向控制服务器发送应答消息。
通过S1013-S1014的媒体资源协商过程可以建立客服通话终端与媒体服务器之间的视频通话媒体传输通道(即第二视频通话媒体传输通道)。上述S1011-S1014与S911-S914是相同的过程,对S1011-S1014具体说明可以参考对S911-S914的描述,此处不再赘述。应理解,上述第一视频通话媒体传输通道和第二视频通话媒体传输通道成对存在,是用于客服通话终端与用户通话终端进行通信的传输通道。
S1015、控制服务器向用户通话终端发送传输通道指示信息。相应地,用户通话终端从控制服务器接收该传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流。
至此,用于在用户通话终端与客服通话终端之间传输桌面视频流的传输通道已建立,该用于传输桌面视频流的传输通道是视频通话媒体传输通道,基于该视频通话媒体传输通道,用户通话终端可以向客服通话终端共享客服通话终端的桌面。
与场景二类似的是,在一些情况下,用户通话终端与客服通话终端通话的过程中,因为一些因素,需要邀请第三方通话终端加入用户通话终端与客服通话终端的通话,第三方通话终端可以是用户通话终端,也可以是客服通话终端。
当需要邀请第三方通话终端加入通话时,客服通话终端或者用户通话终端可以向控制服务器申请,例如,客服通话终端向控制服务器发送第三方会话请求,该第三方会话请求用于请求第三方的客服通话终端加入客服通话终端与用户通话终端的通话,相应地,控制服务器接收第三方会话请求,然后控制服务器执行下述S1016。
S1016、控制服务器向媒体服务器发送多方会场申请。相应地,媒体服务器接收控制服务器发送的多方会场申请,该多方会场申请用于请求媒体服务器创建多方会场。
该多方会场用于客服通话终端、用户通话终端以及第三方通话终端进行多方通话,本申请实施例以一个第三方通话终端为例进行说明。
本申请实施例中,媒体服务器接收到多方会场申请之后,媒体服务器创建多方会场,并将多方会场的标识信息发送至客服通话终端、用户通话终端以及第三方通话终端。
可选地,本申请实施例不限定上述S1016与S1011-S1014的执行顺序,可以先执行S1016,后执行S1011-S1014,后者先执行S1011-S1014,后执行S1016。
S1017、控制服务器通过IMS网元向第三方通话终端发送邀请(invite)消息。
该邀请消息中包括媒体服务器的SDP信息,媒体服务器的SDP信息包括媒体服务器的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
S1018、第三方通话终端通过IMS网元向控制服务器发送振铃消息。
该振铃消息中包括第三方通话终端的SDP信息,第三方通话终端的SDP信息包括第三方通话终端的地址信息、音频端口信息、音频编解码格式、视频端口信息以及视频编解码格式。
S1019、第三方通话终端通过IMS网元向控制服务器发送应答消息。
本申请实施例中,第三方通话终端向控制服务器发送应答消息表示第三方通话终端对控制服务器的呼叫进行了应答,同意加入客服通话终端与用户通话终端的通话。
上述S1017-S1019不仅是呼叫第三方通话终端的过程,也是与第三方通话终端进行媒体资源协商的过程,通过S1017-S1019可以建立第三方通话终端与媒体服务器之间的视频通话媒体传输通道(可以称为第三视频通话媒体传输通道)。应理解,上述第一视频通话媒体传输通道和第三视频通话媒体传输通道成对存在,是用于用户通话终端与第三方通话终端进行通信的传输通道。
至此,基于建立的第一视频通话媒体传输通道、第二视频通话媒体传输通道以及第三视频通话媒体传输通道,用户通话终端可以向客服通话终端共享用户通话终端的桌面,并且可以向第三方通话终端共享用户通话终端的桌面,具体过程为下述S1020-S1022。
S1020、用户通话终端通过第一视频通话媒体传输通道向媒体服务器发送桌面视频流。相应地,媒体服务器通过该第一视频通话媒体传输通道从用户通话终端接收桌面视频流,该桌面视频流包含用户通话终端从该用户通话终端的桌面显示内容捕获的视频内容。
S1021、媒体服务器通过第二视频通话媒体传输通道向客服通话终端发送桌面视频流。
相应地,客服通话终端通过该第二视频通话媒体传输通道从媒体服务器接收桌面视频流,并在该客服通话终端的显示屏上显示该桌面视频流对应的画面(即用户通话终端的桌面)。
S1022、媒体服务器通过第三视频通话媒体传输通道向第三方通话终端发送桌面视频流。
相应地,第三方通话终端通过该第二视频通话媒体传输通道从媒体服务器接收桌面视频流,并在该第三方通话终端的显示屏上显示该桌面视频流对应的画面(即用户通话终端的桌面)。
根据上述实施例的内容可知,S1001-S1022所述的桌面共享方法是S901-S917所述的桌面共享方法的一种延伸(延伸为多方会话),S1001-S1027与S901-S917的流程是相似的,是关于S1001-S1022的其他细节的描述可以参考S901-S917中的相关描述,此处不再赘述。
相应地,本申请实施例提供一种通话终端,该通话终端可以为通话过程中的任一通话终端,根据上述方法示例可以对该通话终端进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图11示出上述实施例中所涉及的通话终端的一种可能的结构示意图。如图11所示,该通话终端包括处理模块1101和发送模块1102。处理模块1101用于建立视频通话媒体传输通道,该视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容,例如执行上述方法实施例中的S602或S602'。发送模块1102,用于通过视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容,例如执行上述方法实施例中的S607。
可选地,上述处理模块1101还用于控制发送模块1102停止通过视频通话媒体传输通道向至少一个对端通话终端传输通话视频流,例如执行上述方法实施例中的S608。
可选地,当视频通话媒体传输通道包括通话终端与媒体服务器之间的视频通话媒体传输通道,以及至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道时,发送模块1102,具体用于通过通话终端与媒体服务器之间的视频通话媒体传输通道向媒体服务器传输桌面视频流,以使得媒体服务器通过至少一个对端通话终端分别与媒体服务器之间的视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,例如执行上述方法实施例中的S6071、S716、S820、S916以及S1020。
可选地,当视频通话媒体传输通道包括通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道时,上述发送模块1102,具体用于通过通话终端分别与至少一个对端通话终端之间的视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,例如执行上述方法实施例中的S6071'。
可选地,如图11所示,本申请实施例提供的通话终端还包括接收模块1103。
基于此,上述处理模块1101,还用于确认通话终端具备桌面共享能力。具体的,处理模块1101具体用于控制接收模块1103从控制服务器接收SIP消息,该SIP消息中包括桌面共享请求标识,该桌面共享请求标识用于确认通话终端是否具备桌面共享的能力;并且控制发送模块1102向控制服务器发送SIP消息的响应消息,该响应消息中包括桌面共享应答标识,该桌面共享应答标识用于指示通话终端具备桌面共享的能力,例如,执行上述方法实施例中的S604-S605、S711-S712、S811-S812、S911-S912以及S1011-S1012。
可选地,上述接收模块1103,还用于从控制服务器收传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流,例如,执行上述方法实施例中的S606、S715、S815、S915以及S1015。
可选地,上述发送模块1102,还用于向控制服务器发送桌面共享申请,该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在通话终端与至少一个对端通话终端进行视频通话的过程中,向至少一个对端通话终端共享通话终端的桌面,例如,执行上述方法实施例中的S603、S710、S810、S910以及S1010。
上述通话终端的各个模块还可以用于执行上述方法实施例中的其他动作,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在采用集成的单元的情况下,图12示出了上述实施例中所涉及的通话终端的另一种可能的结构示意图。如图12所示,本申请实施例提供的通话终端可以包括:处理模块1201和通信模块1202。处理模块1201可以用于对该通话终端的动作进行控制管理,例如,处理模块1201可以用于支持该通话终端执行上述方法实施例中的S602或S602'、S604-S605、S608、S711-S712、S811-S812、S911-S912以及S1011-S1012,和/或用于本文所描述的技术的其它过程。通信模块1202可以用于支持该通话终端与其他网络实体的通信,通信模块1202集成了上述发送模块1102和接收模块1103的功能,该通信模块1202可以用于支持该通话终端执行上述方法实施例中的S603、S606、S607、S6071、S710、S715、S716、S810、S815、S820、S910、S915、S916、S1010、S1020以及S1015。可选地,如图12所示,该通话终端还可以包括存储模块1203,用于存储该通话终端的程序代码和数据,例如接收到的桌面视频流等。
其中,处理模块1201可以是处理器,例如处理器可以为图4A中的处理器410。通信模块1202可以是收发器、收发电路或通信接口等,例如图4A中的移动通信模块450和/或无线通信模块460,存储模块1203可以是存储器,例如图4A中的内部存储器421。
上述通话终端包含的模块实现上述功能的更多细节请参考前面各个方法实施例中的描述,在这里不再重复。
相应地,本申请实施例提供一种控制服务器,根据上述方法示例可以对该控制服务器进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图13示出上述实施例中所涉及的控制服务器的一种可能的结构示意图。如图13所示,该控制服务器包括处理模块1301和发送模块1302。处理模块1301用于触发建立视频通话媒体传输通道,该视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,该通话视频流包含通话终端拍摄的视频内容,例如执行上述方法实施例中的S601。发送模块1302,用于向通话终端发送传输通道指示信息,该传输通道指示信息用于指示通过视频通话媒体传输通道传输桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容,例如执行上述方法实施例中的S606、S715、S815、S915、S1015。
可选地,如图13所示,本申请实施例提供的控制服务器还包括接收模块1303。
基于此,上述处理模块1301还用于确认通话终端具备桌面共享能力。具体的,处理模块1301,具体用于控制发送模块1302向通话终端发送SIP消息,该SIP消息中包括桌面共享请求标识,该桌面共享请求标识用于确认通话终端是否具备桌面共享的能力;并且控制接收模块1303从通话终端接收SIP消息的响应消息,该响应消息中包括桌面共享应答标识,该桌面共享应答标识用于指示通话终端具备桌面共享的能力。例如执行上述方法实施例中的S604-S605、S711-S712、S811-S812、S911-S912以及S1011-S1012。
可选地,上述接收模块1103,还用于接收通话终端发送的桌面共享申请,该桌面共享申请中包括桌面共享申请标识,该桌面共享申请标识用于请求在通话终端与至少一个对端通话终端进行视频通话的过程中,向至少一个对端通话终端共享通话终端的桌面,例如执行上述方法实施例中的S603、S710。
上述控制服务器的各个模块还可以用于执行上述方法实施例中的其他动作,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在采用集成的单元的情况下,图14示出了上述实施例中所涉及的控制服务器的另一种可能的结构示意图。如图14所示,本申请实施例提供的控制服务器可以包括:处理模块1401和通信模块1402。处理模块1401可以用于对该控制服务器的动作进行控制管理,例如,处理模块1401可以用于支持该控制服务器执行上述方法实施例中的S601、S604-S605、S711-S712、S811-S812、S911-S912、S1011-S1012,和/或用于本文所描述的技术的其它过程。通信模块1402可以用于支持该控制服务器与其他网络实体的通信,通信模块1402集成了上述发送模块1302和接收模块1303的功能,该通信模块1402可以用于支持该控制服务器执行上述方法实施例中的S603、S606、S710、S715、S815、S915以及S1015。可选地,如图14所示,该控制服务器还可以包括存储模块1403,用于存储该控制服务器的程序代码和数据。
其中,处理模块1401可以是处理器,例如处理器可以为图5中的处理器501。通信模块1402可以是收发器、收发电路或网络接口等,例如图5中的网络接口503,存储模块1403可以是存储器,例如图5中的存储器502。
上述控制服务器包含的模块实现上述功能的更多细节请参考前面各个方法实施例中的描述,在这里不再重复。
相应地,本申请实施例提供一种媒体服务器,根据上述方法示例可以对该媒体服务器进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图15示出上述实施例中所涉及的媒体服务器的一种可能的结构示意图。如图15所示,该媒体服务器包括处理模块1501、接收模块1502和发送模块1503。处理模块1501用于建立第一视频通话媒体传输通道和建立第二视频通话媒体传输通道,该第一视频通话媒体传输通道为媒体服务器与通话终端之间的视频通话媒体传输通道,第二视频通话媒体传输通道为媒体服务器分别与至少一个对端通话终端之间的视频通话媒体传输通道;第一视频通话媒体传输通道和第二视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,通话视频流包含通话终端拍摄的视频内容,例如执行上述方法实施例中的S602。接收模块1502,用于通过第一视频通话媒体传输通道从通话终端接收桌面视频流,该桌面视频流包含通话终端从桌面显示内容捕获的视频内容,例如执行上述方法实施例中的S6071、S716、S820、S916以及S1020。发送模块1503,用于通过第二视频通话媒体传输通道向至少一个对端通话终端传输桌面视频流,例如执行上述方法实施例中的S6072、S717、S821、S822、S917、S1021以及S1022。
可选地,上述处理模块1501,还用于控制接收模块1502停止通过第一视频通话媒体传输通道从通话终端接收通话视频流。
可选地,如图15所示,本申请实施例提供的媒体服务器还包括编解码模块1504。
该编解码模块1504,用于对桌面视频流进行转码处理,转码处理后的桌面视频流的编解码格式与至少一个对端通话终端的编解码格式相同。
可选地,桌面视频流还包括通话终端拍摄的视频内容;上述编解码模块1504,还用于对通话终端拍摄的视频内容和通话终端从桌面显示内容捕获的视频内容进行混合编码处理,得到桌面视频流。
上述媒体服务器的各个模块还可以用于执行上述方法实施例中的其他动作,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在采用集成的单元的情况下,图16示出了上述实施例中所涉及的媒体服务器的另一种可能的结构示意图。如图16所示,本申请实施例提供的媒体服务器可以包括:处理模块1601和通信模块1602。处理模块1601可以用于对该媒体服务器的动作进行控制管理,例如,处理模块1601可以用于支持该媒体服务器执行上述方法实施例中的S602,和/或用于本文所描述的技术的其它过程。通信模块1602可以用于支持该媒体服务器与其他网络实体的通信,通信模块1602集成了上述接收模块1502和发送模块1503的功能,该通信模块1602可以用于支持该媒体服务器执行上述方法实施例中的S6071、S6072、S716、S717、S820、S821、S822、S916、S917、S1020、S1021以及S1022。可选地,如图16所示,该媒体服务器还可以包括存储模块1603,用于存储该媒体服务器的程序代码和数据。
其中,处理模块1601可以是处理器,例如处理器可以为图5中的处理器501。通信模块1602可以是收发器、收发电路或网络接口等,例如图5中的网络接口503,存储模块1603可以是存储器,例如图5中的存储器502。
上述媒体服务器包含的模块实现上述功能的更多细节请参考前面各个方法实施例中的描述,在这里不再重复。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时,全部或部分地产生按照本申请实施例中的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))方式或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、磁盘、磁带)、光介质(例如,数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state drives,SSD))等。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (40)
1.一种桌面共享方法,应用于通话终端,所述方法包括:
建立视频通话媒体传输通道,所述视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,所述通话视频流包含所述通话终端拍摄的视频内容;
通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流,所述桌面视频流包含所述通话终端从桌面显示内容捕获的视频内容。
2.根据权利要求1所述的方法,其特征在于,在通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流之前,所述方法还包括:
停止通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输通话视频流。
3.根据权利要求1或2所述的方法,其特征在于,
所述视频通话媒体传输通道包括所述通话终端与媒体服务器之间的视频通话媒体传输通道,以及所述至少一个对端通话终端分别与所述媒体服务器之间的视频通话媒体传输通道;
所述通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流,包括:
通过所述通话终端与所述媒体服务器之间的视频通话媒体传输通道向所述媒体服务器传输所述桌面视频流,以使得所述媒体服务器通过所述至少一个对端通话终端分别与所述媒体服务器之间的视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流。
4.根据权利要求1或2所述的方法,其特征在于,
所述视频通话媒体传输通道包括所述通话终端分别与所述至少一个对端通话终端之间的视频通话媒体传输通道;
所述通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流,包括:
通过所述通话终端分别与所述至少一个对端通话终端之间的视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流。
5.根据权利要求1至4任一项所述的方法,其特征在于,在通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流之前,所述方法还包括:
确认所述通话终端具备桌面共享能力。
6.根据权利要求5所述的方法,其特征在于,所述确认所述通话终端具备桌面共享能力,包括:
从控制服务器接收会话发起协议SIP消息,所述SIP消息中包括桌面共享请求标识,所述桌面共享请求标识用于确认所述通话终端是否具备桌面共享的能力;
向所述控制服务器发送所述SIP消息的响应消息,所述响应消息中包括桌面共享应答标识,所述桌面共享应答标识用于指示所述通话终端具备桌面共享的能力。
7.根据权利要求1至6任一项所述的方法,其特征在于,在通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流之前,所述方法还包括:
从所述控制服务器接收传输通道指示信息,所述传输通道指示信息用于指示通过所述视频通话媒体传输通道传输所述桌面视频流。
8.根据权利要求1至7任一项所述的方法,其特征在于,在通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流之前,所述方法还包括:
向所述控制服务器发送桌面共享申请,所述桌面共享申请中包括桌面共享申请标识,所述桌面共享申请标识用于请求在所述通话终端与所述至少一个对端通话终端进行视频通话的过程中,向所述至少一个对端通话终端共享所述通话终端的桌面。
9.根据权利要求1至8任一项所述的方法,其特征在于,
所述桌面视频流还包括所述通话终端拍摄的视频内容。
10.一种桌面共享方法,其特征在于,应用于控制服务器,所述方法包括:
触发建立视频通话媒体传输通道,所述视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,所述通话视频流包含所述通话终端拍摄的视频内容;
向所述通话终端发送传输通道指示信息,所述传输通道指示信息用于指示通过所述视频通话媒体传输通道传输桌面视频流,所述桌面视频流包含所述通话终端从桌面显示内容捕获的视频内容。
11.根据权利要求10所述的方法,其特征在于,
所述视频通话媒体传输通道包括所述通话终端与媒体服务器之间的视频通话媒体传输通道,以及所述至少一个对端通话终端分别与所述媒体服务器之间的视频通话媒体传输通道;
或者,
所述视频通话媒体传输通道包括所述通话终端分别与所述至少一个对端通话终端之间的视频通话媒体传输通道。
12.根据权利要求10或11所述的方法,其特征在于,所述向所述通话终端发送传输通道指示信息之前,所述方法还包括:
确认所述通话终端具备桌面共享能力。
13.根据权利要求12所述的方法,其特征在于,所述确认所述通话终端具备桌面共享能力,包括:
向所述通话终端发送会话发起协议SIP消息,所述SIP消息中包括桌面共享请求标识,所述桌面共享请求标识用于确认所述通话终端是否具备桌面共享的能力;
从所述通话终端接收所述SIP消息的响应消息,所述响应消息中包括桌面共享应答标识,所述桌面共享应答标识用于指示所述通话终端具备桌面共享的能力。
14.根据权利要求10至13任一项所述的方法,其特征在于,所述向所述通话终端发送传输通道指示信息之前,所述方法还包括:
接收所述通话终端发送的桌面共享申请,所述桌面共享申请中包括桌面共享申请标识,所述桌面共享申请标识用于请求在所述通话终端与所述至少一个对端通话终端进行视频通话的过程中,向所述至少一个对端通话终端共享所述通话终端的桌面。
15.一种桌面共享方法,其特征在于,应用于媒体服务器,所述方法包括:
建立第一视频通话媒体传输通道和建立第二视频通话媒体传输通道,所述第一视频通话媒体传输通道为所述媒体服务器与通话终端之间的视频通话媒体传输通道,所述第二视频通话媒体传输通道为所述媒体服务器分别与至少一个对端通话终端之间的视频通话媒体传输通道;所述第一视频通话媒体传输通道和所述第二视频通话媒体传输通道用于向视频通话业务中所述至少一个对端通话终端传输通话视频流,所述通话视频流包含所述通话终端拍摄的视频内容;
通过所述第一视频通话媒体传输通道从所述通话终端接收桌面视频流;所述桌面视频流包含所述通话终端从桌面显示内容捕获的视频内容;
通过所述第二视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流。
16.根据权利要求15所述的方法,其特征在于,在通过所述第一视频通话媒体传输通道从通话终端接收桌面视频流之前,所述方法还包括:
停止通过所述第一视频通话媒体传输通道从所述通话终端接收通话视频流。
17.根据权利要求15或16所述的方法,其特征在于,在通过所述第一视频通话媒体传输通道从通话终端接收桌面视频流之后,通过所述第二视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流之前,所述方法还包括:
对所述桌面视频流进行转码处理,转码处理后的桌面视频流的编解码格式与所述至少一个对端通话终端的编解码格式相同。
18.根据权利要求15至17任一项所述的方法,其特征在于,
所述桌面视频流还包括所述通话终端拍摄的视频内容;
在通过所述第二视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流之前,所述方法还包括:
对所述通话终端拍摄的视频内容和所述通话终端从桌面显示内容捕获的视频内容进行混合编码处理,得到所述桌面视频流。
19.一种通话终端,其特征在于,包括处理模块和发送模块;
所述处理模块,用于建立视频通话媒体传输通道,所述视频通话媒体传输通道用于向视频通话业务中至少一个对端通话终端传输通话视频流,所述通话视频流包含所述通话终端拍摄的视频内容;
所述发送模块,用于通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输桌面视频流,所述桌面视频流包含所述通话终端从桌面显示内容捕获的视频内容。
20.根据权利要求19所述的通话终端,其特征在于,
所述处理模块,还用于控制所述发送模块停止通过所述视频通话媒体传输通道向所述至少一个对端通话终端传输通话视频流。
21.根据权利要求19或20所述的通话终端,其特征在于,
所述视频通话媒体传输通道包括所述通话终端与媒体服务器之间的视频通话媒体传输通道,以及所述至少一个对端通话终端分别与所述媒体服务器之间的视频通话媒体传输通道;
所述发送模块,具体用于通过所述通话终端与所述媒体服务器之间的视频通话媒体传输通道向所述媒体服务器传输所述桌面视频流,以使得所述媒体服务器通过所述至少一个对端通话终端分别与所述媒体服务器之间的视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流。
22.根据权利要求19或20所述的通话终端,其特征在于,
所述视频通话媒体传输通道包括所述通话终端分别与所述至少一个对端通话终端之间的视频通话媒体传输通道;
所述发送模块,具体用于通过所述通话终端分别与所述至少一个对端通话终端之间的视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流。
23.根据权利要求19至21任一项所述的通话终端,其特征在于,所述通话终端还包括接收模块;
所述处理模块,还用于控制所述接收模块从控制服务器接收会话发起协议SIP消息,所述SIP消息中包括桌面共享请求标识,所述桌面共享请求标识用于确认所述通话终端是否具备桌面共享的能力;并且控制所述发送模块向所述控制服务器发送所述SIP消息的响应消息,所述响应消息中包括桌面共享应答标识,所述桌面共享应答标识用于指示所述通话终端具备桌面共享的能力。
24.根据权利要求19至23任一项所述的通话终端,其特征在于,
所述接收模块,还用于从所述控制服务器接收传输通道指示信息,所述传输通道指示信息用于指示通过所述视频通话媒体传输通道传输所述桌面视频流。
25.根据权利要求19至24任一项所述的通话终端,其特征在于,
所述发送模块,还用于向所述控制服务器发送桌面共享申请,所述桌面共享申请中包括桌面共享申请标识,所述桌面共享申请标识用于请求在所述通话终端与所述至少一个对端通话终端进行视频通话的过程中,向所述至少一个对端通话终端共享所述通话终端的桌面。
26.根据权利要求19至25任一项所述的通话终端,其特征在于,
所述桌面视频流还包括所述通话终端拍摄的视频内容。
27.一种控制服务器,其特征在于,包括处理模块和发送模块;
所述处理模块,用于触发建立视频通话媒体传输通道,所述视频通话媒体传输通道用于视频通话业务中的通话终端向至少一个对端通话终端传输通话视频流,所述通话视频流包含所述通话终端拍摄的视频内容;
所述发送模块,用于向所述通话终端发送传输通道指示信息,所述传输通道指示信息用于指示通过所述视频通话媒体传输通道传输桌面视频流,所述桌面视频流包含所述通话终端从桌面显示内容捕获的视频内容。
28.根据权利要求27所述的控制服务器,其特征在于,
所述视频通话媒体传输通道包括所述通话终端与媒体服务器之间的视频通话媒体传输通道,以及所述至少一个对端通话终端分别与所述媒体服务器之间的视频通话媒体传输通道;
或者,
所述视频通话媒体传输通道包括所述通话终端分别与所述至少一个对端通话终端之间的视频通话媒体传输通道。
29.根据权利要求27或28所述的控制服务器,其特征在于,所述控制服务器还包括接收模块;
所述处理模块,还用于控制所述发送模块向所述通话终端发送会话发起协议SIP消息,所述SIP消息中包括桌面共享请求标识,所述桌面共享请求标识用于确认所述通话终端是否具备桌面共享的能力;并且控制所述接收模块从所述通话终端接收所述SIP消息的响应消息,所述响应消息中包括桌面共享应答标识,所述桌面共享应答标识用于指示所述通话终端具备桌面共享的能力。
30.根据权利要求27至29任一项所述的控制服务器,其特征在于,
所述接收模块,还用于接收所述通话终端发送的桌面共享申请,所述桌面共享申请中包括桌面共享申请标识,所述桌面共享申请标识用于请求在所述通话终端与所述至少一个对端通话终端进行视频通话的过程中,向所述至少一个对端通话终端共享所述通话终端的桌面。
31.一种媒体服务器,其特征在于,包括处理模块、接收模块和发送模块;
所述处理模块,用于建立第一视频通话媒体传输通道和建立第二视频通话媒体传输通道,所述第一视频通话媒体传输通道为所述媒体服务器与通话终端之间的视频通话媒体传输通道,所述第二视频通话媒体传输通道为所述媒体服务器分别与至少一个对端通话终端之间的视频通话媒体传输通道;所述第一视频通话媒体传输通道和所述第二视频通话媒体传输通道用于向视频通话业务中所述至少一个对端通话终端传输通话视频流,所述通话视频流包含所述通话终端拍摄的视频内容;
所述接收模块,用于通过所述第一视频通话媒体传输通道从所述通话终端接收桌面视频流;所述桌面视频流包含所述通话终端从桌面显示内容捕获的视频内容;
所述发送模块,用于通过所述第二视频通话媒体传输通道向所述至少一个对端通话终端传输所述桌面视频流。
32.根据权利要求31所述的媒体服务器,其特征在于,
所述处理模块,还用于控制所述接收模块停止通过所述第一视频通话媒体传输通道从所述通话终端接收通话视频流。
33.根据权利要求31或32所述的媒体服务器,其特征在于,所述媒体服务器还包括编解码模块;
所述编解码模块,用于对所述桌面视频流进行转码处理,转码处理后的桌面视频流的编解码格式与所述至少一个对端通话终端的编解码格式相同。
34.根据权利要求31至33任一项所述的媒体服务器,其特征在于,所述桌面视频流还包括所述通话终端拍摄的视频内容;
所述编解码模块,还用于对所述通话终端拍摄的视频内容和所述通话终端从桌面显示内容捕获的视频内容进行混合编码处理,得到所述桌面视频流。
35.一种通话终端,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述至少一个处理器执行时,使得所述通话终端执行如权利要求1至9任一项所述的方法。
36.一种控制服务器,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述至少一个处理器执行时,使得所述控制服务器执行如权利要求10至14任一项所述的方法。
37.一种媒体服务器,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述至少一个处理器执行时,使得所述媒体服务器执行如权利要求15至18任一项所述的方法。
38.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在通话终端上运行时,使得所述通话终端执行如权利要求1至9任一项所述的方法。
39.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在服务器上运行时,使得所述服务器执行如权利要求10至18任一项所述的方法。
40.一种通信系统,其特征在于,包括至少一个通话终端、控制服务器以及媒体服务器;所述至少一个通话终端执行如权利要求1至9任一项所述的方法,所述控制服务器执行如权利要求10至14任一项所述的方法,所述媒体服务器执行如权利要求15至18任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111277641.8A CN116074462A (zh) | 2021-10-29 | 2021-10-29 | 一种桌面共享方法、装置及系统 |
PCT/CN2022/090704 WO2023071131A1 (zh) | 2021-10-29 | 2022-04-29 | 一种桌面共享方法、装置及系统 |
EP22885045.9A EP4369703A1 (en) | 2021-10-29 | 2022-04-29 | Desktop sharing method, apparatus, and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111277641.8A CN116074462A (zh) | 2021-10-29 | 2021-10-29 | 一种桌面共享方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116074462A true CN116074462A (zh) | 2023-05-05 |
Family
ID=86158980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111277641.8A Pending CN116074462A (zh) | 2021-10-29 | 2021-10-29 | 一种桌面共享方法、装置及系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4369703A1 (zh) |
CN (1) | CN116074462A (zh) |
WO (1) | WO2023071131A1 (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2927491B1 (fr) * | 2008-02-12 | 2010-08-20 | Radiotelephone Sfr | Procede et dispositif de transfert d'un signal de flux multimedia au cours d'une session de communication |
WO2010007612A1 (en) * | 2008-06-22 | 2010-01-21 | Beanywhere Israel Ltd. | Sharing multimedia content |
CN101888519A (zh) * | 2009-05-14 | 2010-11-17 | 华为技术有限公司 | 共享桌面内容的方法和智能设备 |
CN103501310B (zh) * | 2013-07-11 | 2016-09-14 | 广东工业大学 | 一种基于可视电话的电脑桌面共享的控制方法 |
CN108206807A (zh) * | 2016-12-16 | 2018-06-26 | 展讯通信(上海)有限公司 | 通话中共享信息的方法、装置及移动终端 |
CN108270734A (zh) * | 2016-12-30 | 2018-07-10 | 展讯通信(上海)有限公司 | 移动终端实现桌面共享的方法及装置 |
CN108933965B (zh) * | 2017-05-26 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 屏幕内容共享方法、装置及存储介质 |
US10623500B2 (en) * | 2018-01-24 | 2020-04-14 | Vmware, Inc. | Remote desktop sharing and collaboration via image scanning |
CN110213154A (zh) * | 2019-04-26 | 2019-09-06 | 平安科技(深圳)有限公司 | 即时通信方法、装置、计算机装置及存储介质 |
-
2021
- 2021-10-29 CN CN202111277641.8A patent/CN116074462A/zh active Pending
-
2022
- 2022-04-29 EP EP22885045.9A patent/EP4369703A1/en active Pending
- 2022-04-29 WO PCT/CN2022/090704 patent/WO2023071131A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4369703A1 (en) | 2024-05-15 |
WO2023071131A1 (zh) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6456391B2 (ja) | セルラーネットワークにおけるトンネリングvoip呼制御 | |
CN105144673B (zh) | 延迟减少的服务器干预式音频-视频通信 | |
US20110145859A1 (en) | System and method for detachable media devices and content | |
CN105393546A (zh) | 在用于无线显示的源设备中用于资源利用的方法和装置 | |
EP3253066B1 (en) | Information processing device | |
CN113434224B (zh) | 一种会议信息的传输方法及电子设备 | |
EP4344268A1 (en) | Communication method and electronic device | |
CN114051070A (zh) | 一种来电通知方法及装置 | |
WO2023071131A1 (zh) | 一种桌面共享方法、装置及系统 | |
WO2022222691A1 (zh) | 一种通话处理方法及相关设备 | |
CN114285945B (zh) | 一种视频交互方法、装置和存储介质 | |
CN116939139A (zh) | 一种通信方法、装置及系统 | |
WO2023185651A1 (zh) | 一种通信方法、装置及系统 | |
WO2023185650A1 (zh) | 一种通信方法、装置及系统 | |
CN114928898A (zh) | 建立基于WiFi直接连接的会话的方法和装置 | |
CN116708674B (zh) | 通信方法及电子设备 | |
CN113645365B (zh) | 一种电话会议管理方法及电子设备 | |
WO2022068674A1 (zh) | 视频通话的方法、电子设备及系统 | |
CN110971577B (zh) | 一种会话管理方法及装置 | |
WO2022247471A1 (zh) | 一种网络通话的转移方法及终端 | |
WO2023025150A1 (zh) | 一种通话方法、电子设备及系统 | |
CN115811570B (zh) | Ims通话语音质量测试方法及系统 | |
CA2790225A1 (en) | Seamless interworking of call control between autonomous systems | |
WO2024051562A1 (zh) | 通信方法、装置和系统 | |
WO2024104122A1 (zh) | 分享方法、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |