CN103312804A - 屏幕分享方法和相关设备及通信系统 - Google Patents

屏幕分享方法和相关设备及通信系统 Download PDF

Info

Publication number
CN103312804A
CN103312804A CN2013102420436A CN201310242043A CN103312804A CN 103312804 A CN103312804 A CN 103312804A CN 2013102420436 A CN2013102420436 A CN 2013102420436A CN 201310242043 A CN201310242043 A CN 201310242043A CN 103312804 A CN103312804 A CN 103312804A
Authority
CN
China
Prior art keywords
portable terminal
screen sharing
sharing service
phonetic symbol
wireless local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102420436A
Other languages
English (en)
Other versions
CN103312804B (zh
Inventor
冯柯
任雁蒙
刘荣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310242043.6A priority Critical patent/CN103312804B/zh
Priority claimed from CN201310242043.6A external-priority patent/CN103312804B/zh
Publication of CN103312804A publication Critical patent/CN103312804A/zh
Priority to KR1020147027799A priority patent/KR20150018770A/ko
Priority to PCT/CN2014/072506 priority patent/WO2014201876A1/zh
Priority to TW103120938A priority patent/TWI558146B/zh
Priority to US14/487,335 priority patent/US20150019694A1/en
Application granted granted Critical
Publication of CN103312804B publication Critical patent/CN103312804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046Arrangements for multi-party communication, e.g. for conferences with distributed floor control

Abstract

本发明实施例公开了屏幕分享方法和相关设备及通信系统,其中,一种屏幕分享方法包括:第一移动终端发起屏幕分享服务;第一移动终端通过无线局域网接收来自N个第二移动终端的与屏幕分享服务对应的屏幕分享服务接入请求,其中,第一移动终端和N个第二移动终端都位于无线局域网,N为正整数;若允许N个第二移动终端接入屏幕分享服务,第一移动终端将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过无线局域网向N个第二移动终端发送第一视频流。本发明实施例方案有利于提高屏幕分享技术对流畅性和实时性要求高场景的支撑,增强移动终端参与屏幕分享的灵活性以期扩展屏幕分享参与方的数量。

Description

屏幕分享方法和相关设备及通信系统
技术领域
本发明涉及通信技术领域,具体涉及一种屏幕分享方法和相关设备及通信系统。
背景技术
如今,智能移动终端的发展日新月异,其屏幕越来越大,屏幕显示的清晰度越来越高,运算处理能力也不断增强,存储空间不断扩大。正是如此,使得智能移动终端在满足人们基本的通讯和娱乐功能的需求时,提供了更加丰富的资源存储和应用扩展,而分享功能和及时互动就是使用最为广泛和频繁的一个功能。
现在智能移动终端上的分享都是基于社交网络平台的社交分享,对于小范围内的多人同时参与的分享没有涉及。例如在一个小范围内搭建一个多人参与的会议系统,分享当前智能移动设备上的文档资料,或者在小范围内邀请好友共同浏览一组精彩照片等,在这些场景下,分享发起者仅想临时的在小范围内分享一些内容,而在传统的社交网络平台上没有涉及。
现有存在如下屏幕分享场景,通过蓝牙技术将两个移动终端互联,然后其中一个移动终端将其屏幕显示的内容编码成视频流发送给另一个移动终端显示从而实现屏幕分享的目的。但是,基于蓝牙的屏幕分享只能支持1对1的屏幕分享;且蓝牙传输速度和灵活性有限,在界面动画和视频等对流畅性和实时性要求高的情况下难以支撑。
发明内容
本发明实施例提供屏幕分享方法和相关设备及通信系统,以期提高屏幕分享技术对流畅性和实时性要求高场景的支撑,增强移动终端参与屏幕分享的灵活性以期扩展屏幕分享参与方的数量。
本发明第一方面提供一种屏幕分享方法,可包括:
第一移动终端发起屏幕分享服务;
所述第一移动终端通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述第一移动终端和所述N个第二移动终端都位于所述无线局域网,所述N为正整数;
若允许所述N个第二移动终端接入所述屏幕分享服务,所述第一移动终端将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
结合第一方面,在第一种可能的实施方式中,所述第一移动终端发起屏幕分享服务,包括:所述第一移动终端在所述无线局域网中广播与屏幕分享服务对应的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送,
或者,所述第一移动终端发起屏幕分享服务包括:所述第一移动终端接收来自N个第二移动终端的屏幕分享服务开启查询请求,在所述无线局域网中广播与所述屏幕分享服务对应的屏幕分享服务开启消息,或者向所述N个第二移动终端发送用于响应所述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送。
结合第一方面或第一方面的第一种可能的实施方式中,在第二种可能的实施方式中,所述方法还包括:
所述第一移动终端若通过所述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行所述第一用户操作事件,其中,所述第一用户操作事件是针对所述第二移动终端的屏幕之中第二区域的用户操作事件,所述第二区域显示有所述第二移动终端接收到的第一视频流。
结合第一方面第二种可能的实施方式,在第三种可能的实施方式中,所述第一移动终端在所述第一区域覆盖有透明图层;
所述第一用户操作事件为涂鸦绘制事件,所述第一移动终端若通过所述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行所述第一用户操作事件,包括:所述第一移动终端若通过所述无线局域网接收到来自第二移动终端的涂鸦绘制事件,在所述透明图层上显示所述涂鸦绘制事件所要绘制的涂鸦。
结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式或第一方面的第三种可能的实施方式,在第四种可能的实施方式中,
所述方法还包括:所述第一移动终端采集所述第一移动终端所播放的声音信号,并将采集到的声音信号编码为第一音频流,将第一音频流交织到第一视频流之中,或者,所述第一移动终端解码音频文件得到第一音频流,将得到的第一音频流交织到第一视频流之中,
其中,所述通过所述无线局域网向所述N个第二移动终端发送第一视频流包括:通过所述无线局域网向所述N个第二移动终端发布交织有第一音频流的第一视频流。
结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式或第一方面的第三种可能的实施方式或第一方面的第四种可能的实施方式,在第五种可能的实施方式中,
所述第一视频流的码率恒定不变,或者,所述第一视频流的码率与所述N的大小相对应,或者,所述第一视频流的码率与所述第一区域的显示内容的类型相对应。
结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式或第一方面的第三种可能的实施方式或第一方面的第四种可能的实施方式或第一方面的第五种可能的实施方式,在第六种可能的实施方式中,所述方法还包括:
所述第一移动终端开启远程剪贴服务;
若所述N个第二移动终端之中的M个第二移动终端通过所述无线局域网接入到所述远程剪贴服务,则当所述第一移动终端监听到所述第一移动终端的系统剪贴板上有更新的剪贴对象时,通过所述无线局域网向所述M个第二移动终端发送所述剪贴对象,以便于所述M个第二移动终端将接收到的所述剪贴对象更新到其系统剪贴板上。
结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式或第一方面的第三种可能的实施方式或第一方面的第四种可能的实施方式或第一方面的第五种可能的实施方式或第一方面的第六种可能的实施方式,在第七种可能的实施方式中,所述方法还包括:
当所述第一移动终端在其屏幕中的第一区域显示文档时,所述第一移动终端向所述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到所述K1个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述第一移动终端在其屏幕中的第一区域所显示的文档;
或者,
当所述第一移动终端在其屏幕中的第一区域显示图片时,所述第一移动终端向所述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到所述K2个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间第一移动终端在其屏幕中的第一区域所显示的图片;
或者,
当所述第一移动终端在其屏幕中的第一区域显示视频时,所述第一移动终端向所述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到所述K3个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间第一移动终端在其屏幕中的第一区域所显示的视频。
结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式或第一方面的第三种可能的实施方式或第一方面的第四种可能的实施方式或第一方面的第五种可能的实施方式或第一方面的第六种可能的实施方式或第一方面的第七种可能的实施方式,在第八种可能的实施方式中,所述第一移动终端作为wifi热点,所述N个第二移动终端通过所述wifi热点接入所述无线局域网;或者,所述N个第二移动终端中的其中一个第二移动终端作为wifi热点,所述第一移动终端和所述N个第二移动终端中除所述其中一个第二移动终端之外的剩余第二移动终端通过所述wifi热点接入所述无线局域网;
或者,所述第一移动终端作为组拥有者groupowner,所述N个第二移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者,所述N个第二移动终端中的其中一个第二移动终端作为组拥有者groupowner,所述第一移动终端和所述N个第二移动终端中除所述其中一个第二移动终端之外的剩余第二移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者所述第一移动终端和所述N个第二移动终端通过第三方wifi热点接入所述无线局域网。
本发明第二方面提供一种移动终端,包括:
服务发起单元,用于发起屏幕分享服务;
分享单元,用于通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述移动终端和所述N个第二移动终端都位于所述无线局域网,所述N为正整数;若允许所述N个第二移动终端接入所述屏幕分享服务,将所述移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
结合第二方面,在第一种可能的实施方式中,
所述服务发起单元具体用于,在所述无线局域网中广播与屏幕分享服务对应的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送,
或者,
所述服务发起单元具体用于,接收来自N个第二移动终端的屏幕分享服务开启查询请求,在所述无线局域网中广播与所述屏幕分享服务对应的屏幕分享服务开启消息,或者向所述N个第二移动终端发送用于响应所述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送。
结合第二方面或第二方面的第一种可能的实施方式,在第二种可能的实施方式中,
所述移动终端还包括:
事件响应单元,用于若通过所述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行所述第一用户操作事件,其中,所述第一用户操作事件是针对所述第二移动终端的屏幕之中第二区域的用户操作事件,所述第二区域显示有所述第二移动终端接收到的第一视频流。
结合第二方面的第二种可能的实施方式,在第三种可能的实施方式中,
所述事件响应单元在所述第一区域覆盖有透明图层;
所述第一用户操作事件为涂鸦绘制事件,所述事件响应单元用于:若通过所述无线局域网接收到来自第二移动终端的涂鸦绘制事件,在所述透明图层上显示所述涂鸦绘制事件所要绘制的涂鸦。
结合第二方面或第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式或第二方面的第三种可能的实施方式,在第四种可能的实施方式中,
所述移动终端还包括:音频处理单元,用于采集所述移动终端所播放的声音信号,并将采集到的声音信号编码为第一音频流,或者,解码音频文件得到第一音频流,
所述分享单元具体用于,若有N个第二移动终端通过无线局域网接入到所述移动终端开启的屏幕分享服务,则将所述移动终端的屏幕中的第一区域所显示内容编码为第一视频流,将第一音频流交织到第一视频流之中,并通过所述无线局域网向所述N个第二移动终端发送交织有第一音频流的第一视频流。
结合第二方面或第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式或第二方面的第三种可能的实施方式或第二方面的第四种可能的实施方式,在第五种可能的实施方式中,
所述移动终端还包括:
远程剪贴服务单元用于,开启远程剪贴服务;
若所述N个第二移动终端之中的M个第二移动终端通过所述无线局域网接入到所述远程剪贴服务,则当监听到所述移动终端的系统剪贴板上有更新的剪贴对象时,通过所述无线局域网向所述M个第二移动终端发送所述剪贴对象,以便于所述M个第二移动终端将接收到的所述剪贴对象更新到其系统剪贴板上。
结合第二方面或第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式或第二方面的第三种可能的实施方式或第二方面的第四种可能的实施方式或第二方面的第五种可能的实施方式,在第六种可能的实施方式中,所述移动终端还包括:
语音标记单元,用于当所述移动终端在其屏幕中的第一区域显示文档时,所述移动终端向所述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到所述K1个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述移动终端在其屏幕中的第一区域所显示的文档;
或者,
当所述移动终端在其屏幕中的第一区域显示图片时,所述移动终端向所述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到所述K2个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间所述移动终端在其屏幕中的第一区域所显示的图片;
或者,
当所述移动终端在其屏幕中的第一区域显示视频时,所述移动终端向所述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到所述K3个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间所述移动终端在其屏幕中的第一区域所显示的视频。
本发明第三方面提供一种屏幕分享方法,包括:
第二移动终端检测第一移动终端是否发起屏幕分享服务;
在检测到第一移动终端发起屏幕分享服务之后,通过无线局域网向所述第一移动终端发送与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述第一移动终端和所述第二移动终端都位于所述无线局域网;
接收来自所述第一移动终端的第一视频流,在第二移动终端屏幕中的第二区域显示第一视频流,其中,所述第一视频流由所述第一移动终端将所述第一移动终端的屏幕中的第一区域所显示内容进行编码而得到。
结合第三方面,在第一种可能的实施方式中,
所述第二移动终端检测第一移动终端是否发起屏幕分享服务,包括:
第二移动终端在通过无线局域网接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到所述第一移动终端开启了所述屏幕分享服务,
或者,所述第二移动终端在所述无线局域网中广播屏幕分享服务开启查询请求,或通过所述无线局域网向所述第一移动终端发送屏幕分享服务开启查询请求,若接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到所述第一移动终端开启了所述屏幕分享服务。
结合第三方面或第三方面的第一种可能的实施方式,在第二种可能的实施方式中,所述在第二移动终端屏幕中的第二区域显示第一视频流之后还包括:
所述第二移动终端监测用户针对所述第二区域的第一用户操作事件,若监测到用户针对所述第二区域的第一用户操作事件,通过所述无线局域网向所述第一移动终端发送第一用户操作事件,以便所述第一移动终端执行所述第一用户操作事件。
结合第三方面的第二种可能的实施方式,在第三种可能的实施方式中,
所述第一移动终端在所述第一区域覆盖有透明图层;
所述第一用户操作事件为涂鸦绘制事件,
其中,所述若监测到用户针对所述第二区域的第一用户操作事件,通过所述无线局域网向所述第一移动终端发送第一用户操作事件,以便所述第一移动终端执行所述第一用户操作事件,包括:若监测到用户针对所述第二区域的涂鸦绘制事件,通过所述无线局域网向所述第一移动终端发送所述涂鸦绘制事件,以便所述第一移动终端在所述透明图层上显示所述涂鸦绘制事件所要绘制的涂鸦。
结合第三方面或第三方面的第一种可能的实施方式或第三方面的第二种可能的实施方式或第三方面的第三种可能的实施方式,在第四种可能的实施方式中,所述方法还包括:
所述第二移动终端接入第一移动终端开启的远程剪贴服务;
若通过所述无线局域网接收到来自所述第一移动终端的剪贴对象,将接收到的所述剪贴对象更新到系统剪贴板上,其中,所述剪贴对象为所述第一移动终端的系统剪贴板上更新的剪贴对象。
结合第三方面或第三方面的第一种可能的实施方式或第三方面的第二种可能的实施方式或第三方面的第三种可能的实施方式或第三方面的第四种可能的实施方式,在第五种可能的实施方式中,所述方法还包括:
当所述第二区域显示文档时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述第二区域所显示的文档;
或者,当所述第二区域显示图片时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间所述第二区域所显示的图片;
或者,当所述第二区域显示视频时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间所述第二区域所显示的视频。
本发明第四方面提供一种移动终端,包括:
检测单元,用于检测第一移动终端是否发起屏幕分享服务;
接入单元,用于在检测到第一移动终端发起屏幕分享服务之后,通过无线局域网向所述第一移动终端发送与所述屏幕分享服务对应的屏幕分享服务接入请求,所述第一移动终端和所述所述移动终端都位于所述无线局域网;
分享单元,用于接收来自所述第一移动终端的第一视频流,在所述移动终端屏幕中的第二区域显示第一视频流,其中,所述第一视频流由所述第一移动终端将所述第一移动终端的屏幕中的第一区域所显示内容进行编码而得到。
结合第四方面,在第一种可能的实施方式中,
所述检测单元具体用于,在通过无线局域网接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到所述第一移动终端开启了所述屏幕分享服务,
或者,
在所述无线局域网中广播屏幕分享服务开启查询请求,或通过所述无线局域网向所述第一移动终端发送屏幕分享服务开启查询请求,若接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到所述第一移动终端开启了所述屏幕分享服务。
结合第四方面或第四方面的第一种可能的实施方式,在第二种可能的实施方式中,所述在所述移动终端屏幕中的第二区域显示第一视频流之后还包括:
所述移动终端监测用户针对所述第二区域的第一用户操作事件,若监测到用户针对所述第二区域的第一用户操作事件,通过所述无线局域网向所述第一移动终端发送第一用户操作事件,以便所述第一移动终端执行所述第一用户操作事件。
结合第四方面或第四方面的第一种可能的实施方式或第四方面的第二种可能的实施方式,在第三种可能的实施方式中,
所述移动终端还包括:
远程剪贴服务单元,用于接入第一移动终端开启的远程剪贴服务;若通过所述无线局域网接收到来自所述第一移动终端的剪贴对象,将接收到的所述剪贴对象更新到系统剪贴板上,其中,所述剪贴对象为所述第一移动终端的系统剪贴板上更新的剪贴对象。
结合第四方面或第四方面的第一种可能的实施方式或第四方面的第二种可能的实施方式或第四方面的第三种可能的实施方式,在第四种可能的实施方式中,所述移动终端还包括:
语音标记单元,用于当所述第二区域显示文档时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述第二区域所显示的文档;
或者,
当所述第二区域显示图片时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间所述第二区域所显示的图片;
或者,
当所述第二区域显示视频时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间所述第二区域所显示的视频。
本发明第五方面提供一种通信系统,可包括:
第一移动终端和N个第二移动终端,其中,所述第一移动终端和所述N个第二移动终端位于同一无线局域网,所述N为正整数,
所述第一移动终端用于发起屏幕分享服务;通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,若允许所述N个第二移动终端接入所述屏幕分享服务,将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
可以看出,本发明实施例中,第一移动终端开启允许多个移动终端接入的屏幕分享服务之后;若N个第二移动终端通过无线局域网接入到第一移动终端开启的屏幕分享服务,则第一移动终端将第一移动终端的屏幕中的第一区域所显示内容编码为第一视频流,并通过上述无线局域网向上述N个第二移动终端发送第一视频流,由于第一移动终端和上述N个第二移动终端都接入到了同一无线局域网,第一移动终端和上述N个第二移动终端基于无线局域网进行屏幕分享服务,交互与屏幕分享服务相关数据,基于无线局域网实现屏幕分享数据的交互可解决在无大型外部服务器及外部网络的情况下实现小范围的屏幕分享的问题,并可达到简便易用且实用的效果。并且,借助无线局域网较高的传输速率,接入简单且支持多终端接入,使得本发明实施例屏幕分享技术能够更好的支持流畅性和实时性要求高场景,同时,第一移动终端借助无线局域网可实现多个N个第二移动终端的屏幕分享服务的接入控制,也有利于增强屏幕分享参与的灵活性,进而有利于扩展屏幕分享参与方的数量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种屏幕分享方法的流程示意图;
图2是本发明实施例提供的一种屏幕分享区域设置示意图;
图3-a~3-e是本发明实施例提供的几种无线局域网构建示意图;
图3-f是本发明实施例提供的涂鸦服务的示意图;
图3-g是本发明实施例提供的另一种屏幕分享方法的流程示意图;
图4-a是本发明实施例提供的一种屏幕分享系统的架构示意图;
图4-b是本发明实施例提供的视频流缓冲队列和阻塞缓冲队列的示意图;
图5-a~5-e是本发明实施例提供的几种移动终端的示意图;
图6-a~6-d是本发明实施例提供的几种移动终端的示意图;
图7是本发明实施例提供的另一种移动终端的示意图;
图8是本发明实施例提供的另一种移动终端的示意图;
图9是本发明实施例提供的一种通信系统的示意图;
图10是本发明实施例提供的另一种移动终端的示意图。
具体实施方式
本发明实施例提供屏幕分享方法和相关设备及通信系统,以期提高屏幕分享技术对流畅性和实时性要求高场景的支撑,增强移动终端参与屏幕分享的灵活性以期扩展屏幕分享参与方的数量。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明屏幕分享方法的一个实施例,一种屏幕分享方法可包括:第一移动终端发起屏幕分享服务;第一移动终端通过无线局域网接收来自N个第二移动终端的与上述屏幕分享服务对应的屏幕分享服务接入请求,其中,第一移动终端和上述N个第二移动终端都位于上述无线局域网,上述N为正整数;若允许上述N个第二移动终端接入上述屏幕分享服务,第一移动终端将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过上述无线局域网向上述N个第二移动终端发送第一视频流。
参见图1,图1为本发明的一个实施例提供的一种屏幕分享方法的流程示意图。如图1所示,本发明的一个实施例提供的一种屏幕分享方法可包括以下内容:
101、第一移动终端发起屏幕分享服务。
其中,本发明各实施例中的移动终端可为智能移动终端、便携电脑或个人数字处理等移动终端,当然,本发明各实施例中的移动终端可具有触摸显示屏或其它类型的显示屏。
可以理解,第一移动终端(第一移动终端如安装了屏幕分享客户端)发起屏幕分享服务,表示第一移动终端允许其它移动终端和其进行屏幕分享,位于同一局域网内的一些移动终端(例如,安装了屏幕分享客户端的移动终端)则可监测到第一移动终端开启了屏幕分享服务,并可接入到第一移动终端开启的屏幕分享服务。其中,发起屏幕分享服务的移动终端可称作而屏幕分享服务发起方,接入屏幕分享服务的移动终端可称作而屏幕分享服务接入方。
102、第一移动终端通过无线局域网接收来自N个第二移动终端的与上述屏幕分享服务对应的屏幕分享服务接入请求,若允许上述N个第二移动终端接入上述屏幕分享服务,第一移动终端将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过上述无线局域网向上述N个第二移动终端发送第一视频流。其中,第一移动终端和上述N个第二移动终端都位于上述无线局域网,上述N为正整数。如此,可以便第二移动终端在接收到第一移动终端发送的第一视频流之后,在其屏幕的某个区域(为便于引述故而称之为第二区域)显示第一视频流(即,显示第一视频流对应的内容),相应的,第二移动终端在接收到第一移动终端发送的第一视频流之后,可在其屏幕的第二区域显示第一视频流。
在本发明一些实施例中,第一移动终端发起屏幕分享服务可包括:第一移动终端在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
此外,在本发明的另一些实施例中,第一移动终端发起屏幕分享服务可以包括:第一移动终端接收来自N个第二移动终端的屏幕分享服务开启查询请求,在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,或者向上述N个第二移动终端发送用于响应上述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
在本发明的一些实施例中,第一移动终端可根据用户指令或处理资源的剩余量或无线局域网信号质量,来确定是否允许上述N个第二移动终端接入上述屏幕分享服务。
可以理解,第一移动终端在接收到来自第二移动终端的屏幕分享服务接入请求之后,若不允许该第二移动终端接入上述屏幕分享服务,可向该第二移动终端发送屏幕分享服务拒绝接入消息(或者不回复任何消息),若允许该第二移动终端接入上述屏幕分享服务,可向该第二移动终端发送屏幕分享服务允许接入消息。
其中,第一移动终端可选定其屏幕中的某个区域(为便于引述故而称之为第一区域)作为屏幕分享区域。第一移动终端选出的作为屏幕分享的第一区域可占第一移动终端屏幕的部分或全部面积,图2中以第一区域占第一移动终端屏幕的部分面积为例。第一移动终端可在第一区域显示图片、视频、文档、桌面等等内容。
下面举例第一移动终端选定屏幕分享区域的方式,如图2所示。用户触发分享区域选定操作后,第一移动终端在当前屏幕上覆盖一层半透明图层,用户可在该半透明图上长滑动手指,在手指滑动过程中,以手指的起始触摸点为顶点,手指滑动过程中的当前触摸点为对角线顶点生成一个矩形框,而该矩形框随着手指的滑动而不断重绘改变。手指离开屏幕停止滑动的时候,第一移动终端记录当前选定区域的位置和大小参数,同时可弹出一选项菜单栏,该选项菜单栏显示在屏幕底部,用户在选项菜单中选择一个想要的操作完成本次屏幕分享区域设置。例如选项菜单中有“取消”、“重选”和“确定”三种。选择“取消”是放弃本次的设定,第一移动终端可取消选项菜单的显示,取消选定区域矩形框的显示,取消半透明图层的显示,退出设置模式;选择“重选”表示要重新设定分享区域,第一移动终端消失选定区域矩形框和选项菜单栏,用户可重新执行设定步骤;选择“确定”后,第一移动终端取消选项菜单显示,取消选定区域矩形框显示,取消半透明图层显示。
在本发明的一些实施例中,第一移动终端作为wifi热点,上述N个第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-a)。或者,上述N个第二移动终端中的其中一个第二移动终端作为wifi热点,第一移动终端和上述N个第二移动终端中除上述其中一个第二移动终端之外的剩余第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-b)。或者,第一移动终端作为组拥有者groupowner,上述N个第二移动终端作为组客户端,以wifi直连方式接入上述无线局域网(参见图3-c)。或者,所述N个第二移动终端中的其中一个第二移动终端作为组拥有者groupowner,第一移动终端和上述N个第二移动终端中除上述其中一个第二移动终端之外的剩余第二移动终端作为组客户端,以wifi直连方式接入上述无线局域网(参见图3-d)。或者,第一移动终端和上述N个第二移动终端通过第三方wifi热点接入上述无线局域网(参见图3-e)。当然,第一移动终端和上述N个第二移动终端亦可通过其它方式来接入同一无线局域网。
在本发明一些实施例中,第一移动终端可基于组播或单播方式,通过上述无线局域网向上述N个第二移动终端发送第一视频流。例如第一移动终端中可包括视频流缓冲队列和阻塞缓冲队列;对于单播方式,第一移动终端可按照先入先出原则的将第一视频流的视频帧依次置入到上述视频流缓冲队列中,其中,若在上述视频流缓冲队列中的第X个队列单元所存储的第一视频帧将被第一视频流中的第二视频帧替换时,仍然未能成功将第一视频帧发送给上述N个第二移动终端中的K4个第二移动终端(即:上述K4个第二移动终端获取第一视频帧未成功),则将第一视频帧写入阻塞缓冲队列中与K4个第二移动终端对应的队列单元(其中,阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元),并将第X个队列单元所存储的第一视频帧替换为第二视频帧。其中,上述通过上述无线局域网向上述N个第二移动终端发送第一视频流可包括:针对N个第二移动终端中的每个第二移动终端,向该每个第二移动终端发送从上述视频流缓冲队列和/或阻塞缓冲队列中读取的第一视频流的视频帧。可以看出,发起屏幕分享服务的移动终端中引入配合使用视频流缓冲队列和阻塞缓冲队列,有利于在存在多个接入屏幕分享服务的移动终端的场景下节省内存开销,因为第一移动终端无需在视频流缓冲队列长期存储未成功分发的视频帧,这样,视频流缓冲队列的出队速度可与编码出第一视频流的速度同步,并且阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元,这有利于实现各路视频流互不影响,进而有利于达到在不影响各路视频流的情况下节省内存开销和时间开销的技术效果。
在本发明的一些实施例中,第一移动终端若通过上述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行第一用户操作事件,其中,第一用户操作事件是针对第二移动终端的屏幕之中第二区域的用户操作事件,第二区域显示有第二移动终端接收到的第一视频流。第一移动终端可将第一用户操作事件添加到系统操作事件链表中,根据系统操作事件链表中各事件的执行顺序来执行第一用户操作事件。其中,第一用户操作事件可能是针对第二移动终端的屏幕之中第二区域的多种用户操作事件,假设第二区域显示的是动画,则第一用户操作事件例如可能是用于调整第二区域所显示动画的进度、亮度、对比度和/或尺寸等的用户操作事件。假设第二区域显示的是包含多个应用图标的桌面,则第一用户操作事件例如可能是用于开启第二区域所显示桌面中的某应用图标对应的应用的用户操作事件,其它作用的用户操作事件以此类推。若需要,第二移动终端可将监测到的针对第二移动终端的屏幕之中第二区域的用户操作事件转换为指定格式(例如第一移动终端指定了用户操作事件的格式)的第一用户操作事件,通过上述无线局域网向第一移动终端发送第一用户操作事件,以便于第一移动终端执行第一用户操作事件。当然若第一移动终端和第二移动终端的系统类型相同,第一移动终端能识别第二移动终端监测到的用户操作事件,则第二移动终端可将监测到的用户操作事件发送给第一移动终端而无需进行格式转换。
在本发明一些实施例中,屏幕分享还可支持涂鸦功能,例如第一移动终端还可在第一区域覆盖有透明图层;第一用户操作事件为涂鸦绘制事件,其中第一移动终端若通过上述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行第一用户操作事件,包括:第一移动终端若通过上述无线局域网接收到来自第二移动终端的涂鸦绘制事件,则可在上述透明图层上显示上述涂鸦绘制事件所要绘制的涂鸦,而绘制的涂鸦也会被分享给其它屏幕分享服务接入方。举例来说,例如图3-f所示,屏幕分享服务发起方S把屏幕分享区域的内容分享给屏幕分享服务接入方Pad和Phone,首先,Pad在分享区域上做涂鸦标记,此时三个设备均可看到Pad所做的涂鸦标记;之后,Phone有在分享区域上做一些涂鸦标记,三个设备又均可看到Phone所做的涂鸦标记,其它场景可以此类推。
在本发明一些实施例中,第一移动终端还可采集第一移动终端所播放的声音信号,并将采集到的声音信号编码为第一音频流,将第一音频流交织到第一视频流之中,或者,第一移动终端解码音频文件得到第一音频流,将得到的第一音频流交织到第一视频流之中,
其中,上述通过上述无线局域网向上述N个第二移动终端发送第一视频流可包括:通过上述无线局域网向上述N个第二移动终端发布交织有第一音频流的第一视频流。如此,第一移动终端可据此向第二移动终端发布语音指令或播放背景音乐等。
在本发明一些实施例中,第一移动终端将第一音频流和第一视频流交织为超文本传输协议直播流(HLS,Hyper text transfer protocol Live Streaming)格式的视频流,第一移动终端也可将第一音频流和第一视频流交织为非HLS格式的视频流,例如,第一移动终端可将第一音频流和第一视频流交织为第二移动终端指定格式视频流。其中,N个第二移动终端中的部分或全部第二移动终端可以浏览器形式的访问HLS格式的视频流,N个第二移动终端中的部分或全部第二移动终端可用专用client访问非HLS格式的视频流。
在本发明一些实施例中,第一视频流的码率可恒定不变。或者,第一视频流的码率可与上述N的大小相对应,例如在接入的屏幕分享服务的移动终端数量变化时,第一移动终端可动态调整视频流码率,例如第一移动终端检测到接入的屏幕分享服务的移动终端数量变化时,可根据变化后的接入的屏幕分享服务的移动终端数量调整视频流码率,假设设定只有1个接入的屏幕分享服务的移动终端时的视频流码率为A,而当前的接入的屏幕分享服务的移动终端数量为N,那么当前视频流的码率应该可为A/N。即,接入的屏幕分享服务的移动终端数量越多,视频流的码率越低。或者,第一视频流的码率可与第一区域的显示内容的类型相对应,例如,若第一移动终端当前在第一区域显示内容的类型为高动态画面(如视频、界面动画等),则第一移动终端可提高第一视频流的帧率,降低第一视频流的帧大小,以提高第一视频流的流畅度;若第一移动终端当前在第一区域显示内容的类型为非高动态画面,则第一移动终端可降低视频流的帧率,提高视频流的帧大小,以提高第一视频流的清晰度。
可以理解,第一移动终端可根据有否接入的屏幕分享服务的移动终端来决定是否启动第一视频流的编码。例如,若没有接入的屏幕分享服务的移动终端则不启动第一视频流的编码;若有至少一个接入的屏幕分享服务的移动终端则启动第一视频流的编码;若接入的屏幕分享服务的移动终端全部断开,则第一移动终端可停止第一视频流的编码。当然,第一移动终端亦可在发起屏幕分享服务期间,一直进行第一视频流的编码。
在本发明的一些实施例中,第一移动终端还可开启远程剪贴服务;若上述N个第二移动终端之中的M个第二移动终端通过上述无线局域网接入到上述远程剪贴服务,则当第一移动终端监听到第一移动终端的系统剪贴板上有更新的剪贴对象时,通过上述无线局域网向上述M个第二移动终端发送上述剪贴对象,以便于上述M个第二移动终端将接收到的上述剪贴对象更新到其系统剪贴板上。
在本发明一些实施例中,还可在屏幕分享的同时实现语音标记。例如当第一移动终端在其屏幕中的第一区域显示文档时,第一移动终端还可向上述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到上述K1个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间第一移动终端在其屏幕中的第一区域所显示的文档。进一步的,第一移动终端在再次打开第一文档时可播放与之具有关联关系的语音标记。可以理解,K1小于或等于N。
又例如,当第一移动终端在其屏幕中的第一区域显示图片时,第一移动终端向上述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到上述K2个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间第一移动终端在其屏幕中的第一区域所显示的图片。进一步的,第一移动终端在再次打开第一图片时可播放与之具有关联关系的语音标记。
可以理解,K2小于或等于N。
又例如,当第一移动终端在其屏幕中的第一区域显示视频时,第一移动终端向上述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到上述K3个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间第一移动终端在其屏幕中的第一区域所显示的视频。其它场景下可按照类似方式进行语音标记。进一步的,第一移动终端在再次打开第一视频时可播放与之具有关联关系的语音标记。可以理解,K3小于或等于N。
可以看出,本实施例第一移动终端开启允许多个移动终端接入的屏幕分享服务后;若N个第二移动终端通过无线局域网接入到第一移动终端开启的屏幕分享服务,则第一移动终端将第一移动终端的屏幕中的第一区域所显示内容编码为第一视频流,并通过上述无线局域网向上述N个第二移动终端发送第一视频流,由于第一移动终端和上述N个第二移动终端都接入到了同一无线局域网,第一移动终端和上述N个第二移动终端基于无线局域网进行屏幕分享服务,交互与屏幕分享服务相关数据,基于无线局域网实现屏幕分享数据的交互可解决在无大型外部服务器及外部网络的情况下实现小范围的屏幕分享的问题,并可达到简便易用且实用的效果。并且,借助无线局域网较高的传输速率,接入简单且支持多终端接入,使得本发明实施例屏幕分享技术能够更好的支持流畅性和实时性要求高场景,并且第一移动终端借助无线局域网可实现多个N个第二移动终端的屏幕分享服务的接入控制,同时也有利于增强屏幕分享参与的灵活性,进而有利于扩展屏幕分享参与方的数量。
进一步的,可根据当前屏幕显示内容类型的不同采用不同编码手段,有利于解决在视频或界面动画等需要高流畅度的场景下对流畅性需求和在图片显示场景下对清晰度需求的平衡问题,进而有利于达到在屏幕显示场景切换时所编码的视频流对场景需求的动态响应效果。
进一步的,发起屏幕分享服务的移动终端中引入配合使用视频流缓冲队列和阻塞缓冲队列,有利于在存在多个接入屏幕分享服务的移动终端的场景下节省内存开销,并且实现各路视频流互不影响,进而有利于达到在不影响各路视频流的情况下节省内存开销和时间开销的技术效果。
参见图3-g,图3-g为本发明的另一个实施例提供的一种屏幕分享方法的流程示意图。如图3-g所示,本发明的另一个实施例提供的一种屏幕分享方法可包括以下内容:
301、第二移动终端检测第一移动终端是否发起屏幕分享服务;
302、在检测到第一移动终端发起屏幕分享服务之后,通过无线局域网向第一移动终端发送与上述屏幕分享服务对应的屏幕分享服务接入请求,其中第一移动终端和第二移动终端都位于上述无线局域网;
303、接收来自第一移动终端的第一视频流,在第二移动终端屏幕中的第二区域显示第一视频流,其中,第一视频流由第一移动终端将第一移动终端的屏幕中的第一区域所显示内容进行编码而得到。
其中,第二移动终端可通过多种方式检测第一移动终端是否发起屏幕分享服务。例如,第二移动终端检测第一移动终端是否发起屏幕分享服务,可以包括:第二移动终端在通过无线局域网接收到来自第一移动终端的与上述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到第一移动终端开启了上述屏幕分享服务。或者,第二移动终端在上述无线局域网中广播屏幕分享服务开启查询请求,或通过上述无线局域网向第一移动终端发送屏幕分享服务开启查询请求,若接收到来自第一移动终端的与上述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到第一移动终端开启了上述屏幕分享服务。
在本发明一些实施例中,上述在第二移动终端屏幕中的第二区域显示第一视频流之后还包括:第二移动终端监测用户针对第二区域的第一用户操作事件,若监测到用户针对第二区域的第一用户操作事件,通过上述无线局域网向第一移动终端发送第一用户操作事件,以便第一移动终端执行第一用户操作事件。
在本发明一些实施例中,第一移动终端可作为wifi热点,第二移动终端通过所述wifi热点接入所述无线局域网;或者,第二移动终端作为wifi热点,第一移动终端通过所述wifi热点接入所述无线局域网;或者,第一移动终端作为组拥有者groupowner,第二移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者,第二移动终端作为组拥有者groupowner,第一移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者,第一移动终端和所述N个第二移动终端通过第三方wifi热点接入所述无线局域网。
在本发明一些实施例中,第一移动终端在第一区域覆盖有透明图层;第一用户操作事件为涂鸦绘制事件,其中,上述若监测到用户针对第二区域的第一用户操作事件,通过上述无线局域网向第一移动终端发送第一用户操作事件,以便第一移动终端执行第一用户操作事件,包括:若监测到用户针对第二区域的涂鸦绘制事件,通过上述无线局域网向第一移动终端发送上述涂鸦绘制事件,以便第一移动终端在上述透明图层上显示上述涂鸦绘制事件所要绘制的涂鸦。
在本发明一些实施例中,第二移动终端还可接入第一移动终端开启的远程剪贴服务;若通过上述无线局域网接收到来自第一移动终端的剪贴对象,将接收到的上述剪贴对象更新到系统剪贴板上,其中,上述剪贴对象为第一移动终端的系统剪贴板上更新的剪贴对象。
在本发明一些实施例中,方法还包括:当第二区域显示文档时,若接收到来自第一移动终端的语音标记服务开启指示,则录制语音标记,向第一移动终端发送上述录制的语音标记,以便于第一移动终端存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间第二区域所显示的文档。和/或,当第二区域显示图片时,若接收到来自第一移动终端的语音标记服务开启指示,则录制语音标记,向第一移动终端发送上述录制的语音标记,以便于第一移动终端存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间第二区域所显示的图片。和/或,当第二区域显示视频时,若接收到来自第一移动终端的语音标记服务开启指示,则录制语音标记,向第一移动终端发送上述录制的语音标记,以便于第一移动终端存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间第二区域所显示的视频。
可以理解的是,上述图1和图3-g所示实施例主要是以第一移动终端作为屏幕分享服务发起方,而第二移动终端作为屏幕分享服务接入方的角度进行描述的,当然同一个移动终端在某些时刻可能作为屏幕分享服务发起方,而在同一时刻或另一时刻也可能作为屏幕分享服务接入方,因此,第一移动终端可以兼具上述实施例描述的第二移动终端的部分或全部功能。
为便于更好的理解和实施本发明实施例的上述方案,下面举例几个应用场景来进行说明。
请参见图4-a,图4-a为本发明实施例提供的一种屏幕分析系统的示意图。
如图4-a所示,作为屏幕分享服务发起方的第一移动终端可包括:分享区域设置单元、屏幕数据采集单元、音频采集单元、视频流编码单元、视频流分发管理单元、用户控制执行单元和信令处理单元。
作为屏幕分享服务接入方的第二移动终端可包括:
用户操作监测单元、信令处理单元、视频流显示单元、视频流解码单元和视频流接收单元。
第一移动终端和第二移动终端中的上述单元可配合完成本发明方案的几个主要功能,如将分享屏幕的显示内容编码成视频流,然后分享给各个屏幕分享服务接入方显示;屏幕分享服务接入方将监测到的用户操作事件传递给屏幕分享服务发起方,屏幕分享服务发起方执行接收到的来自屏幕分享服务接入方的用户操作事件。
下面举例屏幕分享过程中的涉及视频流处理方式。
屏幕分享服务发起方的分享区域设置单元接收用户对屏幕分享区域的设置指令,将屏幕分享区域设置参数传送给屏幕数据采集单元。屏幕数据采集单元根据屏幕分享区域设置参数采集相应区域的显示内容,并将采集到的显示内容发送给视频流编码单元。音频采集单元可将设备当前播放的音频采集后发送给视频流编码单元。屏幕分享服务发起方的视频流编码单元将接收到的显示内容编码为第一视频流,并发送第一视频流给视频流分发管理单元。视频流分发管理单元可将第一视频流发到各个屏幕分享服务接入方。
屏幕分享服务接入方的视频流接收单元接收来自屏幕分享服务发起方的第一视频流,并传递视频流解码单元。视频流解码单元将接收到的第一视频流解码后发送到视频流显示单元。视频流显示单元显示接收到的解码后的第一视频流。
下面举例屏幕分享服务接入方的用户操作控制方式。
屏幕分享服务接入方的用户操作监测单元监测到用户操作事件后,将监测到的用户操作事件传递给信令处理单元,屏幕分享服务接入方的信令处理单元向屏幕分享服务发起方发送用户操作事件。屏幕分享服务发起方的信令处理单元接收到来自屏幕分享服务接入方的用户操作事件之后,将接收到的用户操作事件转换为屏幕分享服务发起方的系统可执行的用户操作事件(其中,转换用户操作事件的操作亦可由屏幕分享服务接入方的信令处理单元执行),并发送给屏幕分享服务发起方的用户控制执行单元,用户控制执行单元可将收到的用户操作事件添加到系统操作事件列表,并基于系统操作事件列表执行上述用户操作事件。
下面举例屏幕分享服务发起方选定屏幕分享区域的方式,如图2所示。当用户触发分享区域选定操作后,分享区域设置单元在当前屏幕上覆盖一层半透明图层,用户可在该半透明图上长滑动手指,在手指滑动过程中,以手指的起始触摸点为顶点,手指滑动过程中的当前触摸点为对角线顶点生成一个矩形框,而该矩形框随着手指的滑动而不断重绘改变。手指离开屏幕停止滑动的时候,分享区域设置单元记录当前选定区域的位置和大小参数,同时可弹出一选项菜单栏,该选项菜单栏显示在屏幕底部,用户在选项菜单中选择一个想要的操作完成本次屏幕分享区域设置。例如选项菜单中有“取消”、“重选”和“确定”三种。选择“取消”是放弃本次的设定,分享区域设置单元可取消选项菜单的显示,取消选定区域矩形框的显示,取消半透明图层的显示,退出设置模式;选择“重选”表示要重新设定分享区域,分享区域设置单元消失选定区域矩形框和选项菜单栏,用户可重新执行设定步骤;选择“确定”后,分享区域设置单元可取消选项菜单显示,可取消选定区域矩形框显示,可取消半透明图层显示。
在本发明一些实施例中,屏幕数据采集单元可将屏幕分享服务发起方的屏幕显示内容拷贝一份到屏幕数据采集单元的数据缓存区。屏幕数据采集单元根据屏幕分享区域的边界,从整个屏幕中将屏幕分享区域裁剪出来,将得到的显示内容发送给视频流编码单元编码为第一视频流。
在本发明一些实施例中,视频流编码单元可保持第一视频流的码率可恒定不变。或者第一视频流的码率可与上述N的大小相对应,例如在接入的屏幕分享服务的移动终端数量变化时,视频流编码单元可动态调整视频流码率,例如视频流编码单元检测到接入的屏幕分享服务的移动终端数量变化时,可根据变化后的接入的屏幕分享服务的移动终端数量调整视频流码率,假设设定只有1个接入的屏幕分享服务的移动终端时的视频流码率为A,而当前的接入的屏幕分享服务的移动终端数量为N,那么当前视频流的码率应该可为A/N。即接入的屏幕分享服务的移动终端数量越多,视频流的码率越低。或者,第一视频流的码率可与第一区域的显示内容的类型相对应,例如,若第一移动终端当前在第一区域显示内容的类型为高动态画面(如视频、界面动画等),则视频流编码单元可提高第一视频流的帧率,降低第一视频流的帧大小,以提高第一视频流的流畅度;若第一移动终端当前在第一区域显示内容的类型为非高动态画面,则视频流编码单元可降低视频流的帧率,提高视频流的帧大小,以提高第一视频流的清晰度。
可以理解,视频流编码单元可根据有否接入的屏幕分享服务的移动终端来决定是否启动第一视频流的编码。例如,若没有接入的屏幕分享服务的移动终端则不启动第一视频流的编码;若有至少一个接入的屏幕分享服务的移动终端则启动第一视频流的编码;若接入的屏幕分享服务的移动终端全部断开,则视频流编码单元可停止第一视频流的编码。当然,视频流编码单元亦可在发起屏幕分享服务期间,一直进行第一视频流的编码。
在本发明一些实施例中,视频流编码单元将第一音频流和第一视频流交织为HLS格式的视频流,视频流编码单元也可将第一音频流和第一视频流交织为非HLS格式的视频流,例如,视频流编码单元可将第一音频流和第一视频流交织为第二移动终端指定格式视频流。其中,N个第二移动终端中的部分或全部第二移动终端可以利用浏览器的访问HLS格式的视频流,或者,N个第二移动终端中的部分或全部第二移动终端可用专用client访问非HLS格式的视频流。
在本发明的一些实施例中,视频流分发管理单元例如可基于组播或者单播方式,通过上述无线局域网向接入屏幕分享服务的N个第二移动终端发送第一视频流。例如第一移动终端中可包括视频流缓冲队列和阻塞缓冲队列;对于单播方式,视频流分发管理单元可按照先入先出原则的将第一视频流的视频帧依次置入到上述视频流缓冲队列之中,当视频流缓冲队列饱和后,新视频帧替代队列中队首的旧视频帧。其中,若在上述视频流缓冲队列中的第X个队列单元所存储的第一视频帧将被第一视频流中的第二视频帧替换时,仍然未能成功将第一视频帧发送给上述N个第二移动终端中的K4个第二移动终端(即上述K4个第二移动终端获取第一视频帧未成功,其中,图4-b中以K4等于1为例,图4-b中阻塞缓冲队列包括N个队列单元,视频流缓冲队列包括M个队列单元),则将第一视频帧写入阻塞缓冲队列中与K4个第二移动终端对应的队列单元(其中,阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元),并将第X个队列单元所存储的第一视频帧替换为第二视频帧。其中,通过上述无线局域网向上述N个第二移动终端发送第一视频流可包括:针对N个第二移动终端中的每个第二移动终端,向该每个第二移动终端发送从上述视频流缓冲队列和/或阻塞缓冲队列中读取的第一视频流的视频帧。可以看出,发起屏幕分享服务的移动终端中引入配合使用视频流缓冲队列和阻塞缓冲队列,有利于在存在多个接入屏幕分享服务的移动终端的场景下节省内存开销,因为,第一移动终端无需在视频流缓冲队列长期存储未成功分发的视频帧,这样,视频流缓冲队列的出队速度可与编码出第一视频流的速度同步,并且阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元,这有利于实现各路视频流互不影响,进而有利于达到在不影响各路视频流的情况下节省内存开销和时间开销的技术效果。
在本发明的一些实施例中,屏幕分享服务发起方的语音标记服务单元可开启语音标记服务。例如当第一移动终端在其屏幕中的第一区域显示文档时,信令处理单元还可向上述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示。第二移动终端的语音录制单元在接收到上述语音标记服务开启指示之后录制语音标记,第二移动终端的语音录制单元可向屏幕分享服务发起方发送录制的语音标记。屏幕分享服务发起方的语音标记服务单元若接收到上述K1个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间第一移动终端在其屏幕中的第一区域所显示的文档。进一步的,第一移动终端在再次打开第一文档时可播放与之具有关联关系的语音标记。可以理解,K1小于或等于N。
又例如,当第一移动终端在其屏幕中的第一区域显示图片时,语音标记服务单元向上述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到上述K2个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间第一移动终端在其屏幕中的第一区域所显示的图片。进一步的,第一移动终端在再次打开第一图片时可播放与之具有关联关系的语音标记。
可以理解,K2小于或等于N。
又例如,当第一移动终端在其屏幕中的第一区域显示视频时,语音标记服务单元向上述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到上述K3个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间第一移动终端在其屏幕中的第一区域所显示的视频。其它场景下可按照类似方式进行语音标记。进一步的,第一移动终端在再次打开第一视频时可播放与之具有关联关系的语音标记。可以理解,K3小于或等于N。
可以理解,屏幕分享服务发起方和屏幕分享服务接入方亦可具有其它的模块组成形式,不限于图4-a所示举例。
参见图5-a,本发明实施例还提供一种移动终端500,可包括:服务发起单元510和分享单元520。
服务发起单元510,用于发起屏幕分享服务。
分享单元520,用于通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述移动终端和所述N个第二移动终端都位于所述无线局域网,所述N为正整数;若允许所述N个第二移动终端接入所述屏幕分享服务,将所述移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
在本发明一些实施例中,服务发起单元510可具体用于,在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
或者,
服务发起单元510可具体用于,接收来自N个第二移动终端的屏幕分享服务开启查询请求,在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,或者向上述N个第二移动终端发送用于响应上述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
参见图5-b,在本发明一些实施例中,移动终端500还可包括:
事件响应单元530,用于若通过上述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行第一用户操作事件,其中,第一用户操作事件是针对第二移动终端的屏幕之中第二区域的用户操作事件,第二区域显示有第二移动终端接收到的第一视频流。
在本发明的一些实施例中,事件响应单元530可在第一区域覆盖有透明图层;
第一用户操作事件为涂鸦绘制事件,事件响应单元530用于,若通过上述无线局域网接收到来自第二移动终端的涂鸦绘制事件,在上述透明图层上显示上述涂鸦绘制事件所要绘制的涂鸦。
参见图5-c,在本发明一些实施例中,移动终端500还包括:音频处理单元540,用于采集第一移动终端所播放的声音信号,并将采集到的声音信号编码为第一音频流,或者,解码音频文件得到第一音频流,
分享单元520可具体用于,若有N个第二移动终端通过无线局域网接入到第一移动终端开启的屏幕分享服务,则将第一移动终端的屏幕中的第一区域所显示内容编码为第一视频流,将第一音频流交织到第一视频流之中,并通过上述无线局域网向上述N个第二移动终端发送交织有第一音频流的第一视频流。
在本发明一些实施例中,第一视频流的码率恒定不变,或者,第一视频流的码率与上述N的大小相对应,或者,第一视频流的码率与第一区域的显示内容的类型相对应。
参见图5-d,在本发明一些实施例中,移动终端500还包括:
远程剪贴服务单元550,用于开启远程剪贴服务;
若上述N个第二移动终端之中的M个第二移动终端通过上述无线局域网接入到上述远程剪贴服务,则当监听到第一移动终端的系统剪贴板上有更新的剪贴对象时,通过上述无线局域网向上述M个第二移动终端发送上述剪贴对象,以便于上述M个第二移动终端将接收到的上述剪贴对象更新到其系统剪贴板上。
参见图5-e,在本发明一些实施例中,移动终端500还包括:
语音标记单元560,用于当移动终端500在其屏幕中的第一区域显示文档时,移动终端500向上述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到上述K1个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间移动终端500在其屏幕中的第一区域所显示的文档;
和/或,
当移动终端500在其屏幕中的第一区域显示图片时,移动终端500向上述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到上述K2个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间移动终端500在其屏幕中的第一区域所显示的图片;
和/或,
当移动终端500在其屏幕中的第一区域显示视频时,移动终端500向上述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到上述K3个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间移动终端500在其屏幕中的第一区域所显示的视频。
在本发明的一些实施例中,移动终端500作为wifi热点,上述N个第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-a)。或者,上述N个第二移动终端中的其中一个第二移动终端作为wifi热点,移动终端500和上述N个第二移动终端中除上述其中一个第二移动终端之外的剩余第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-b)。或者,移动终端500作为组拥有者groupowner,上述N个第二移动终端作为组客户端,以wifi直连方式接入上述无线局域网(参见图3-c)。或者移动终端500和上述N个第二移动终端通过第三方wifi热点接入上述无线局域网(参见图3-d)。当然移动终端500和上述N个第二移动终端亦可通过其它方式来接入同一无线局域网。
在本发明一些实施例中,分享单元520可基于组播或单播方式,通过上述无线局域网向上述N个第二移动终端发送第一视频流。例如移动终端500中可包括视频流缓冲队列和阻塞缓冲队列;对于单播方式,分享单元520可按照先入先出原则的将第一视频流的视频帧依次置入到上述视频流缓冲队列中,其中,若在上述视频流缓冲队列中的第X个队列单元所存储的第一视频帧将被第一视频流中的第二视频帧替换时,仍然未能成功将第一视频帧发送给上述N个第二移动终端中的K4个第二移动终端(即:上述K4个第二移动终端获取第一视频帧未成功),则将第一视频帧写入阻塞缓冲队列中与K4个第二移动终端对应的队列单元(其中,阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元),并将第X个队列单元所存储的第一视频帧替换为第二视频帧。其中,上述通过上述无线局域网向上述N个第二移动终端发送第一视频流可包括:针对N个第二移动终端中的每个第二移动终端,向该每个第二移动终端发送从上述视频流缓冲队列和/或阻塞缓冲队列中读取的第一视频流的视频帧。可以看出,发起屏幕分享服务的移动终端中引入配合使用视频流缓冲队列和阻塞缓冲队列,有利于在存在多个接入屏幕分享服务的移动终端的场景下节省内存开销,因为移动终端500无需在视频流缓冲队列长期存储未成功分发的视频帧,这样,视频流缓冲队列的出队速度可与编码出第一视频流的速度同步,并且阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元,这有利于实现各路视频流互不影响,进而有利于达到在不影响各路视频流的情况下节省内存开销和时间开销的技术效果。
可以看出,本实施例移动终端500开启允许多个移动终端接入的屏幕分享服务后;若N个第二移动终端通过无线局域网接入到移动终端500开启的屏幕分享服务,则移动终端500将移动终端500的屏幕中的第一区域所显示内容编码为第一视频流,并通过上述无线局域网向上述N个第二移动终端发送第一视频流,由于移动终端500和上述N个第二移动终端都接入到了同一无线局域网,移动终端500和上述N个第二移动终端基于无线局域网进行屏幕分享服务,交互与屏幕分享服务相关数据,基于无线局域网实现屏幕分享数据的交互可解决在无大型外部服务器及外部网络的情况下实现小范围的屏幕分享的问题,并可达到简便易用且实用的效果。并且,借助无线局域网较高的传输速率,接入简单且支持多终端接入,使得本发明实施例屏幕分享技术能够更好的支持流畅性和实时性要求高场景,同时也有利于增强屏幕分享参与的灵活性,进而有利于扩展屏幕分享参与方的数量。
进一步的,可根据当前屏幕显示内容类型的不同采用不同编码手段,有利于解决在视频或界面动画等需要高流畅度的场景下对流畅性需求和在图片显示场景下对清晰度需求的平衡问题,进而有利于达到在屏幕显示场景切换时所编码的视频流对场景需求的动态响应效果。
进一步的,发起屏幕分享服务的移动终端中引入配合使用视频流缓冲队列和阻塞缓冲队列,有利于在存在多个接入屏幕分享服务的移动终端的场景下节省内存开销,并且实现各路视频流互不影响,进而有利于达到在不影响各路视频流的情况下节省内存开销和时间开销的技术效果。
参见图6-a,本发明实施例还提供一种移动终端600,可包括:
检测单元610、接入单元620和分享单元630。
其中,检测单元610,用于检测第一移动终端是否发起屏幕分享服务;
接入单元620,用于在检测到第一移动终端发起屏幕分享服务之后,通过无线局域网向所述第一移动终端发送与所述屏幕分享服务对应的屏幕分享服务接入请求,
其中,所述第一移动终端和移动终端600都位于所述无线局域网。
分享单元630,用于接收来自所述第一移动终端的第一视频流,在所述移动终端屏幕中的第二区域显示第一视频流,其中,所述第一视频流由所述第一移动终端将所述第一移动终端的屏幕中的第一区域所显示内容进行编码而得到。
在本发明的一些实施例中,检测单元610可具体用于,在通过无线局域网接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到所述第一移动终端开启了所述屏幕分享服务;
或者,在所述无线局域网中广播屏幕分享服务开启查询请求,或通过所述无线局域网向所述第一移动终端发送屏幕分享服务开启查询请求,若接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到所述第一移动终端开启了所述屏幕分享服务。
参见图6-b,在本发明的一些实施例中,移动终端600还可包括:
监测单元640,用于在移动终端600屏幕中的第二区域显示第一视频流之后,监测用户针对所述第二区域的第一用户操作事件,若监测到用户针对所述第二区域的第一用户操作事件,通过所述无线局域网向所述第一移动终端发送第一用户操作事件,以便所述第一移动终端执行所述第一用户操作事件。
参见图6-c,在本发明的一些实施例中,移动终端600还可包括:
远程剪贴服务单元650,用于接入第一移动终端开启的远程剪贴服务;若通过所述无线局域网接收到来自所述第一移动终端的剪贴对象,将接收到的所述剪贴对象更新到系统剪贴板上,其中,所述剪贴对象为所述第一移动终端的系统剪贴板上更新的剪贴对象。
参见图6-d,在本发明的一些实施例中,移动终端600还可包括:语音标记单元660,用于当所述第二区域显示文档时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述第二区域所显示的文档;
或者,
当所述第二区域显示图片时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间所述第二区域所显示的图片;
或者,
当所述第二区域显示视频时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间所述第二区域所显示的视频。
可以理解的是,本实施例的移动终端600的各功能模块的功能可根据上述方法实施例中的方法具体实现,移动终端600可用于实现上述第二移动终端所需实现的功能,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
图7为本发明提供的一种移动终端的结构示意图,如图7所示,本实施例的移动终端700包括至少一个总线701、与总线701相连的至少一个处理器702以及与总线701相连的至少一个存储器703。
其中,处理器702通过总线701,调用存储器703中存储的代码以用于发起屏幕分享服务;通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述移动终端700和所述N个第二移动终端都位于所述无线局域网,所述N为正整数;若允许所述N个第二移动终端接入所述屏幕分享服务,将移动终端700屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
在本发明一些实施例中,处理器702发起屏幕分享服务包括:第一移动终端在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
此外,在本发明的另一些实施例中,处理器702发起屏幕分享服务也可以包括:第一移动终端接收来自N个第二移动终端的屏幕分享服务开启查询请求,在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,或者向上述N个第二移动终端发送用于响应上述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
可以理解,处理器702在接收到来自第二移动终端的屏幕分享服务接入请求之后,若不允许该第二移动终端接入上述屏幕分享服务,可向该第二移动终端发送屏幕分享服务拒绝接入消息(或者不回复任何消息),若允许该第二移动终端接入上述屏幕分享服务,可向该第二移动终端发送屏幕分享服务允许接入消息。
其中,处理器702可选定移动终端700屏幕中的某个区域(为便于引述故而称之为第一区域)作为屏幕分享区域。其中,移动终端700可在第一区域显示图片、视频、文档、桌面等等内容。
在本发明的一些实施例中,移动终端700作为wifi热点,上述N个第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-a)。或者,上述N个第二移动终端中的其中一个第二移动终端作为wifi热点,移动终端700和上述N个第二移动终端中除上述其中一个第二移动终端之外的剩余第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-b)。或者,移动终端700作为组拥有者groupowner,上述N个第二移动终端作为组客户端,以wifi直连方式接入上述无线局域网(参见图3-c)。或者移动终端700和上述N个第二移动终端通过第三方wifi热点接入上述无线局域网(参见图3-d)。当然移动终端700和上述N个第二移动终端亦可通过其它方式来接入同一无线局域网。
在本发明一些实施例中,处理器702可基于组播或单播方式,通过上述无线局域网向上述N个第二移动终端发送第一视频流。例如移动终端700中可包括视频流缓冲队列和阻塞缓冲队列;对于单播方式,处理器702可按照先入先出原则的将第一视频流的视频帧依次置入到上述视频流缓冲队列中,其中若在上述视频流缓冲队列中的第X个队列单元所存储的第一视频帧将被第一视频流中的第二视频帧替换时,仍然未能成功将第一视频帧发送给上述N个第二移动终端中的K4个第二移动终端(即:上述K4个第二移动终端获取第一视频帧未成功),则将第一视频帧写入阻塞缓冲队列中与K4个第二移动终端对应的队列单元(其中,阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元),并将第X个队列单元所存储的第一视频帧替换为第二视频帧。其中,处理器702可针对N个第二移动终端中的每个第二移动终端,向该每个第二移动终端发送从上述视频流缓冲队列和/或阻塞缓冲队列中读取的第一视频流的视频帧。
在本发明的一些实施例中,处理器702若通过上述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行第一用户操作事件,其中,第一用户操作事件是针对第二移动终端的屏幕之中第二区域的用户操作事件,第二区域显示有第二移动终端接收到的第一视频流。处理器702可将第一用户操作事件添加到系统操作事件链表中,根据系统操作事件链表中各事件的执行顺序来执行第一用户操作事件。其中,第一用户操作事件可能是针对第二移动终端的屏幕之中第二区域的多种用户操作事件,假设第二区域显示的是动画,则第一用户操作事件例如可能是用于调整第二区域所显示动画的进度、亮度、对比度和/或尺寸等的用户操作事件。假设第二区域显示的是包含多个应用图标的桌面,则第一用户操作事件例如可能是用于开启第二区域所显示桌面中的某应用图标对应的应用的用户操作事件,其它作用的用户操作事件以此类推。
若需要,第二移动终端可将监测到的针对第二移动终端的屏幕之中第二区域的用户操作事件转换为指定格式(例如处理器702指定了用户操作事件的格式)的第一用户操作事件,通过上述无线局域网向移动终端700发送第一用户操作事件,以便于移动终端700执行第一用户操作事件。当然若移动终端700和第二移动终端的系统类型相同,处理器702能识别第二移动终端监测到的用户操作事件,则第二移动终端可将监测到的用户操作事件发送给移动终端700而无需进行格式转换。
在本发明一些实施例中,屏幕分享还可支持涂鸦功能,例如处理器702还可在第一区域覆盖有透明图层;第一用户操作事件为涂鸦绘制事件,其中处理器702若通过上述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行第一用户操作事件,包括:处理器702若通过上述无线局域网接收到来自第二移动终端的涂鸦绘制事件,则可在上述透明图层上显示上述涂鸦绘制事件所要绘制的涂鸦,而绘制的涂鸦也会被分享给其它屏幕分享服务接入方。
在本发明一些实施例中,处理器702还可采集移动终端700所播放的声音信号,并将采集到的声音信号编码为第一音频流,将第一音频流交织到第一视频流之中,或者,处理器702解码音频文件得到第一音频流,将得到的第一音频流交织到第一视频流之中,
其中,处理器702通过上述无线局域网向上述N个第二移动终端发送第一视频流可包括:通过上述无线局域网向上述N个第二移动终端发布交织有第一音频流的第一视频流。如此,移动终端700可据此向第二移动终端发布语音指令或播放背景音乐等。
在本发明一些实施例中,第一视频流的码率可恒定不变。或者,第一视频流的码率可与上述N的大小相对应,例如在接入的屏幕分享服务的移动终端数量变化时,处理器702可动态调整视频流码率,例如处理器702检测到接入的屏幕分享服务的移动终端数量变化时,可根据变化后的接入的屏幕分享服务的移动终端数量调整视频流码率,假设设定只有1个接入的屏幕分享服务的移动终端时的视频流码率为A,而当前的接入的屏幕分享服务的移动终端数量为N,那么当前视频流的码率应该可为A/N。即,接入的屏幕分享服务的移动终端数量越多,视频流的码率越低。或者,第一视频流的码率可与第一区域的显示内容的类型相对应,例如,若处理器702当前在第一区域显示内容的类型为高动态画面(如视频、界面动画等),则处理器702可提高第一视频流的帧率,降低第一视频流的帧大小,以提高第一视频流的流畅度;若处理器702当前在第一区域显示内容的类型为非高动态画面,则处理器702可降低视频流的帧率,提高视频流的帧大小,以提高第一视频流的清晰度。
可以理解,处理器702可根据有否接入的屏幕分享服务的移动终端来决定是否启动第一视频流的编码。例如,若没有接入的屏幕分享服务的移动终端则不启动第一视频流的编码;若有至少一个接入的屏幕分享服务的移动终端则启动第一视频流的编码;若接入的屏幕分享服务的移动终端全部断开,则处理器702可停止第一视频流的编码。当然,处理器702亦可在发起屏幕分享服务期间,一直进行第一视频流的编码。
在本发明的一些实施例中,处理器702还可开启远程剪贴服务;若上述N个第二移动终端之中的M个第二移动终端通过上述无线局域网接入到上述远程剪贴服务,则当处理器702监听到移动终端700的系统剪贴板上有更新的剪贴对象时,可通过上述无线局域网向上述M个第二移动终端发送上述剪贴对象,以便于上述M个第二移动终端将接收到的上述剪贴对象更新到其系统剪贴板上。
在本发明一些实施例中,还可在屏幕分享的同时实现语音标记。例如当处理器702在移动终端700屏幕中的第一区域显示文档时,处理器702还可向上述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到上述K1个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间处理器702在移动终端700屏幕中的第一区域所显示的文档。进一步的,处理器702在再次打开第一文档时可播放与之具有关联关系的语音标记。可以理解,K1小于或等于N。
又例如,当处理器702在移动终端700屏幕中的第一区域显示图片时,处理器702向上述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到上述K2个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间处理器702在移动终端700屏幕中的第一区域所显示的图片。进一步的,处理器702在再次打开第一图片时可播放与之具有关联关系的语音标记。可以理解,K2小于或等于N。
又例如,当处理器702在移动终端700屏幕中的第一区域显示视频时,处理器702向上述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到上述K3个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间处理器702在移动终端700屏幕中的第一区域所显示的视频。其它场景下可按照类似方式进行语音标记。进一步的,处理器702在再次打开第一视频时可播放与之具有关联关系的语音标记。可以理解,K3小于或等于N。
下面介绍假设移动终端700作为服务接入方的功能实现。
在本发明一些实施例中,处理器702还可用于检测第三移动终端是否发起屏幕分享服务;在检测到第三移动终端发起屏幕分享服务之后,通过无线局域网向第三移动终端发送与上述屏幕分享服务对应的屏幕分享服务接入请求,其中,第三移动终端和移动终端700都位于上述无线局域网;接收来自第三移动终端的第一视频流,在移动终端700屏幕中的第四区域显示第一视频流,第一视频流由第三移动终端将第三移动终端的屏幕中的第三区域所显示内容进行编码而得到。
其中,处理器702可通过多种方式检测第三移动终端是否发起屏幕分享服务。例如,处理器702检测第三移动终端是否发起屏幕分享服务可包括:在通过无线局域网接收到来自第三移动终端的与上述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到第三移动终端开启了上述屏幕分享服务。或者,在上述无线局域网中广播屏幕分享服务开启查询请求,或通过上述无线局域网向第三移动终端发送屏幕分享服务开启查询请求,若接收到来自第三移动终端的与上述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到第三移动终端开启了上述屏幕分享服务。
在本发明一些实施例中,处理器702在移动终端700屏幕中的第四区域显示第一视频流之后还包括:监测用户针对第四区域的第一用户操作事件,若监测到用户针对第四区域的第一用户操作事件,通过上述无线局域网向第三移动终端发送第一用户操作事件,以便第三移动终端执行第一用户操作事件。
在本发明一些实施例中,第三移动终端可作为wifi热点,移动终端700通过所述wifi热点接入所述无线局域网;或移动终端700作为wifi热点,第三移动终端通过所述wifi热点接入所述无线局域网;或者,第三移动终端作为组拥有者groupowner,移动终端700作为组客户端,以wifi直连方式接入所述无线局域网;或者,移动终端700作为组拥有者groupowner,第三移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者,第三移动终端和移动终端700通过第三方wifi热点接入所述无线局域网。
在本发明的一些实施例中,第三移动终端在第三区域覆盖有透明图层;第一用户操作事件为涂鸦绘制事件,其中,上述若监测到用户针对第四区域的第一用户操作事件,通过上述无线局域网向第三移动终端发送第一用户操作事件,以便第三移动终端执行第一用户操作事件,包括:若监测到用户针对第四区域的涂鸦绘制事件,通过上述无线局域网向第三移动终端发送上述涂鸦绘制事件,以便第三移动终端在上述透明图层上显示上述涂鸦绘制事件所要绘制的涂鸦。
在本发明一些实施例中,移动终端700还可接入第三移动终端开启的远程剪贴服务;若通过上述无线局域网接收到来自第三移动终端的剪贴对象,将接收到的上述剪贴对象更新到系统剪贴板上,其中,上述剪贴对象为第三移动终端的系统剪贴板上更新的剪贴对象。
在本发明一些实施例中,方法还包括:当第四区域显示文档时,若接收到来自第三移动终端的语音标记服务开启指示,则录制语音标记,向第三移动终端发送上述录制的语音标记,以便于第三移动终端存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间第四区域所显示的文档。和/或,当第四区域显示图片时,若接收到来自第三移动终端的语音标记服务开启指示,则录制语音标记,向第三移动终端发送上述录制的语音标记,以便于第三移动终端存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间第四区域所显示的图片。和/或,当第四区域显示视频时,若接收到来自第三移动终端的语音标记服务开启指示,则录制语音标记,向第三移动终端发送上述录制的语音标记,以便于第三移动终端存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间第四区域所显示的视频。
本实施例提供的移动终端700,可以用于执行图1或图3-g所示方法实施例的技术方案中移动终端700对应执行的部分,并且,在某些场景下,移动终端700也可以用于执行图1或图3-g所示方法实施例的技术方案中第二移动终端对应执行的部分,其实现原理和技术效果与之类似,此处不再赘述。图7-a或图7-b仅为本发明提供的移动终端的结构的一种示意图,具体结构可根据实际进行调整。
可以理解的是,本实施例的移动终端700的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
可以看出,本实施例移动终端700开启允许多个移动终端接入的屏幕分享服务后;若N个第二移动终端通过无线局域网接入到移动终端700开启的屏幕分享服务,则移动终端700将移动终端700的屏幕中的第一区域所显示内容编码为第一视频流,并通过上述无线局域网向上述N个第二移动终端发送第一视频流,由于移动终端700和上述N个第二移动终端都接入到了同一无线局域网,移动终端700和上述N个第二移动终端基于无线局域网进行屏幕分享服务,交互与屏幕分享服务相关数据,基于无线局域网实现屏幕分享数据的交互可解决在无大型外部服务器及外部网络的情况下实现小范围的屏幕分享的问题,并可达到简便易用且实用的效果。并且,借助无线局域网较高的传输速率,接入简单且支持多终端接入,使得本发明实施例屏幕分享技术能够更好的支持流畅性和实时性要求高场景,同时也有利于增强屏幕分享参与的灵活性,进而有利于扩展屏幕分享参与方的数量。
进一步的,可根据当前屏幕显示内容类型的不同采用不同编码手段,有利于解决在视频或界面动画等需要高流畅度的场景下对流畅性需求和在图片显示场景下对清晰度需求的平衡问题,进而有利于达到在屏幕显示场景切换时所编码的视频流对场景需求的动态响应效果。
进一步的,发起屏幕分享服务的移动终端中引入配合使用视频流缓冲队列和阻塞缓冲队列,有利于在存在多个接入屏幕分享服务的移动终端的场景下节省内存开销,并且实现各路视频流互不影响,进而有利于达到在不影响各路视频流的情况下节省内存开销和时间开销的技术效果。
图8描述了本发明实施例提供的一种通信终端800的结构,该通信终端800包括:至少一个处理器801,例如CPU,至少一个网络接口804或者其他用户接口803,存储器805,至少一个通信总线802。通信总线802用于实现这些组件之间的连接通信。该通信终端800可选的包含用户接口803,包括显示器,键盘或者点击设备(例如,鼠标,轨迹球(trackball),触感板或者触感显示屏)。存储器805可能包含高速RAM存储器,也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器805可选的可以包含至少一个位于远离前述处理器801的存储装置。
在一些实施方式中,存储器805存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统8051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务;
应用程序模块8052,包含各种应用程序,用于实现各种应用业务。
应用程序模块8052中包括但不限于服务发起单元510和分享单元520。
进一步的,应用程序模块8052中还可包括事件响应单元530音频处理单元540远程剪贴服务单元用于550语音标记单元560。
应用程序模块8052中各模块的具体实现参见图5-a~图5-e所示实施例中的相应模块,在此不赘述。
在本发明一些实施例中,通过调用存储器805存储的程序或指令,处理器801可用于:发起屏幕分享服务;通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述移动终端800和所述N个第二移动终端都位于所述无线局域网,所述N为正整数;若允许所述N个第二移动终端接入所述屏幕分享服务,将移动终端800屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
在本发明一些实施例中,处理器801发起屏幕分享服务包括:第一移动终端在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
此外,在本发明的另一些实施例中,处理器801发起屏幕分享服务也可以包括:第一移动终端接收来自N个第二移动终端的屏幕分享服务开启查询请求,在上述无线局域网中广播与上述屏幕分享服务对应的屏幕分享服务开启消息,或者向上述N个第二移动终端发送用于响应上述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,上述与上述屏幕分享服务对应的屏幕分享服务接入请求由第二移动终端在接收到上述屏幕分享服务开启消息之后发送。
可以理解,处理器801在接收到来自第二移动终端的屏幕分享服务接入请求之后,若不允许该第二移动终端接入上述屏幕分享服务,可向该第二移动终端发送屏幕分享服务拒绝接入消息(或者不回复任何消息),若允许该第二移动终端接入上述屏幕分享服务,可向该第二移动终端发送屏幕分享服务允许接入消息。
其中,处理器801可选定移动终端800屏幕中的某个区域(为便于引述故而称之为第一区域)作为屏幕分享区域。其中,移动终端800可在第一区域显示图片、视频、文档、桌面等等内容。
在本发明的一些实施例中,移动终端800作为wifi热点,上述N个第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-a)。或者,上述N个第二移动终端中的其中一个第二移动终端作为wifi热点,移动终端800和上述N个第二移动终端中除上述其中一个第二移动终端之外的剩余第二移动终端通过上述wifi热点接入上述无线局域网(参见图3-b)。或者,移动终端800作为组拥有者groupowner,上述N个第二移动终端作为组客户端,以wifi直连方式接入上述无线局域网(参见图3-c)。或者移动终端800和上述N个第二移动终端通过第三方wifi热点接入上述无线局域网(参见图3-d)。当然移动终端800和上述N个第二移动终端亦可通过其它方式来接入同一无线局域网。
在本发明一些实施例中,处理器801可基于组播或单播方式,通过上述无线局域网向上述N个第二移动终端发送第一视频流。例如移动终端800中可包括视频流缓冲队列和阻塞缓冲队列;对于单播方式,处理器801可按照先入先出原则的将第一视频流的视频帧依次置入到上述视频流缓冲队列中,其中若在上述视频流缓冲队列中的第X个队列单元所存储的第一视频帧将被第一视频流中的第二视频帧替换时,仍然未能成功将第一视频帧发送给上述N个第二移动终端中的K4个第二移动终端(即:上述K4个第二移动终端获取第一视频帧未成功),则将第一视频帧写入阻塞缓冲队列中与K4个第二移动终端对应的队列单元(其中,阻塞缓冲队列中针对N个第二移动终端中的每个第二移动终端均对应有至少一个队列单元),并将第X个队列单元所存储的第一视频帧替换为第二视频帧。其中,处理器801可针对N个第二移动终端中的每个第二移动终端,向该每个第二移动终端发送从上述视频流缓冲队列和/或阻塞缓冲队列中读取的第一视频流的视频帧。
在本发明的一些实施例中,处理器801若通过上述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行第一用户操作事件,其中,第一用户操作事件是针对第二移动终端的屏幕之中第二区域的用户操作事件,第二区域显示有第二移动终端接收到的第一视频流。处理器801可将第一用户操作事件添加到系统操作事件链表中,根据系统操作事件链表中各事件的执行顺序来执行第一用户操作事件。其中,第一用户操作事件可能是针对第二移动终端的屏幕之中第二区域的多种用户操作事件,假设第二区域显示的是动画,则第一用户操作事件例如可能是用于调整第二区域所显示动画的进度、亮度、对比度和/或尺寸等的用户操作事件。假设第二区域显示的是包含多个应用图标的桌面,则第一用户操作事件例如可能是用于开启第二区域所显示桌面中的某应用图标对应的应用的用户操作事件,其它作用的用户操作事件以此类推。
若需要,第二移动终端可将监测到的针对第二移动终端的屏幕之中第二区域的用户操作事件转换为指定格式(例如处理器801指定了用户操作事件的格式)的第一用户操作事件,通过上述无线局域网向移动终端800发送第一用户操作事件,以便于移动终端800执行第一用户操作事件。当然若移动终端800和第二移动终端的系统类型相同,处理器801能识别第二移动终端监测到的用户操作事件,则第二移动终端可将监测到的用户操作事件发送给移动终端800而无需进行格式转换。
在本发明一些实施例中,屏幕分享还可支持涂鸦功能,例如处理器801还可在第一区域覆盖有透明图层;第一用户操作事件为涂鸦绘制事件,其中处理器801若通过上述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行第一用户操作事件,包括:处理器801若通过上述无线局域网接收到来自第二移动终端的涂鸦绘制事件,则可在上述透明图层上显示上述涂鸦绘制事件所要绘制的涂鸦,而绘制的涂鸦也会被分享给其它屏幕分享服务接入方。
在本发明一些实施例中,处理器801还可采集移动终端800所播放的声音信号,并将采集到的声音信号编码为第一音频流,将第一音频流交织到第一视频流之中,或者,处理器801解码音频文件得到第一音频流,将得到的第一音频流交织到第一视频流之中,
其中,处理器801通过上述无线局域网向上述N个第二移动终端发送第一视频流可包括:通过上述无线局域网向上述N个第二移动终端发布交织有第一音频流的第一视频流。如此,移动终端800可据此向第二移动终端发布语音指令或播放背景音乐等。
在本发明一些实施例中,第一视频流的码率可恒定不变。或者,第一视频流的码率可与上述N的大小相对应,例如在接入的屏幕分享服务的移动终端数量变化时,处理器801可动态调整视频流码率,例如处理器801检测到接入的屏幕分享服务的移动终端数量变化时,可根据变化后的接入的屏幕分享服务的移动终端数量调整视频流码率,假设设定只有1个接入的屏幕分享服务的移动终端时的视频流码率为A,而当前的接入的屏幕分享服务的移动终端数量为N,那么当前视频流的码率应该可为A/N。即,接入的屏幕分享服务的移动终端数量越多,视频流的码率越低。或者,第一视频流的码率可与第一区域的显示内容的类型相对应,例如,若处理器801当前在第一区域显示内容的类型为高动态画面(如视频、界面动画等),则处理器801可提高第一视频流的帧率,降低第一视频流的帧大小,以提高第一视频流的流畅度;若处理器801当前在第一区域显示内容的类型为非高动态画面,则处理器801可降低视频流的帧率,提高视频流的帧大小,以提高第一视频流的清晰度。
可以理解,处理器801可根据有否接入的屏幕分享服务的移动终端来决定是否启动第一视频流的编码。例如,若没有接入的屏幕分享服务的移动终端则不启动第一视频流的编码;若有至少一个接入的屏幕分享服务的移动终端则启动第一视频流的编码;若接入的屏幕分享服务的移动终端全部断开,则处理器801可停止第一视频流的编码。当然,处理器801亦可在发起屏幕分享服务期间,一直进行第一视频流的编码。
在本发明的一些实施例中,处理器801还可开启远程剪贴服务;若上述N个第二移动终端之中的M个第二移动终端通过上述无线局域网接入到上述远程剪贴服务,则当处理器801监听到移动终端800的系统剪贴板上有更新的剪贴对象时,可通过上述无线局域网向上述M个第二移动终端发送上述剪贴对象,以便于上述M个第二移动终端将接收到的上述剪贴对象更新到其系统剪贴板上。
在本发明一些实施例中,还可在屏幕分享的同时实现语音标记。例如当处理器801在移动终端800屏幕中的第一区域显示文档时,处理器801还可向上述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到上述K1个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间处理器801在移动终端800屏幕中的第一区域所显示的文档。进一步的,处理器801在再次打开第一文档时可播放与之具有关联关系的语音标记。可以理解,K1小于或等于N。
又例如,当处理器801在移动终端800屏幕中的第一区域显示图片时,处理器801向上述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到上述K2个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间处理器801在移动终端800屏幕中的第一区域所显示的图片。进一步的,处理器801在再次打开第一图片时可播放与之具有关联关系的语音标记。可以理解,K2小于或等于N。
又例如,当处理器801在移动终端800屏幕中的第一区域显示视频时,处理器801向上述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到上述K3个第二移动终端中的部分或全部第二移动终端在接收到上述语音标记服务开启指示之后所录制的语音标记,存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间处理器801在移动终端800屏幕中的第一区域所显示的视频。其它场景下可按照类似方式进行语音标记。进一步的,处理器801在再次打开第一视频时可播放与之具有关联关系的语音标记。可以理解的是,K3小于或者等于N。
下面介绍假设移动终端800作为服务接入方的功能实现。
在本发明一些实施例中,处理器801还可用于检测第三移动终端是否发起屏幕分享服务;在检测到第三移动终端发起屏幕分享服务之后,通过无线局域网向第三移动终端发送与上述屏幕分享服务对应的屏幕分享服务接入请求,其中,第三移动终端和移动终端800都位于上述无线局域网;接收来自第三移动终端的第一视频流,在移动终端800屏幕中的第四区域显示第一视频流,第一视频流由第三移动终端将第三移动终端的屏幕中的第三区域所显示内容进行编码而得到。
其中,处理器801可通过多种方式检测第三移动终端是否发起屏幕分享服务。例如,处理器801检测第三移动终端是否发起屏幕分享服务可包括:在通过无线局域网接收到来自第三移动终端的与上述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到第三移动终端开启了上述屏幕分享服务。或者,在上述无线局域网中广播屏幕分享服务开启查询请求,或通过上述无线局域网向第三移动终端发送屏幕分享服务开启查询请求,若接收到来自第三移动终端的与上述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到第三移动终端开启了上述屏幕分享服务。
在本发明一些实施例中,处理器801在移动终端800屏幕中的第四区域显示第一视频流之后还包括:监测用户针对第四区域的第一用户操作事件,若监测到用户针对第四区域的第一用户操作事件,通过上述无线局域网向第三移动终端发送第一用户操作事件,以便第三移动终端执行第一用户操作事件。
在本发明一些实施例中,第三移动终端可作为wifi热点,移动终端800通过所述wifi热点接入所述无线局域网;或移动终端800作为wifi热点,第三移动终端通过所述wifi热点接入所述无线局域网;或者,第三移动终端作为组拥有者groupowner,移动终端800作为组客户端,以wifi直连方式接入所述无线局域网;或者,移动终端800作为组拥有者groupowner,第三移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者,第三移动终端和移动终端800通过第三方wifi热点接入所述无线局域网。
在本发明的一些实施例中,第三移动终端在第三区域覆盖有透明图层;第一用户操作事件为涂鸦绘制事件,其中,上述若监测到用户针对第四区域的第一用户操作事件,通过上述无线局域网向第三移动终端发送第一用户操作事件,以便第三移动终端执行第一用户操作事件,包括:若监测到用户针对第四区域的涂鸦绘制事件,通过上述无线局域网向第三移动终端发送上述涂鸦绘制事件,以便第三移动终端在上述透明图层上显示上述涂鸦绘制事件所要绘制的涂鸦。
在本发明一些实施例中,移动终端800还可接入第三移动终端开启的远程剪贴服务;若通过上述无线局域网接收到来自第三移动终端的剪贴对象,将接收到的上述剪贴对象更新到系统剪贴板上,其中,上述剪贴对象为第三移动终端的系统剪贴板上更新的剪贴对象。
在本发明一些实施例中,方法还包括:当第四区域显示文档时,若接收到来自第三移动终端的语音标记服务开启指示,则录制语音标记,向第三移动终端发送上述录制的语音标记,以便于第三移动终端存储上述语音标记并记录上述语音标记与第一文档的关联关系,其中,第一文档为录制上述语音标记期间第四区域所显示的文档。和/或,当第四区域显示图片时,若接收到来自第三移动终端的语音标记服务开启指示,则录制语音标记,向第三移动终端发送上述录制的语音标记,以便于第三移动终端存储上述语音标记并记录上述语音标记与第一图片的关联关系,其中,第一图片为录制上述语音标记期间第四区域所显示的图片。和/或,当第四区域显示视频时,若接收到来自第三移动终端的语音标记服务开启指示,则录制语音标记,向第三移动终端发送上述录制的语音标记,以便于第三移动终端存储上述语音标记并记录上述语音标记与第一视频的关联关系,其中,第一视频为录制上述语音标记期间第四区域所显示的视频。
可以理解的是,本实施例的移动终端800的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
可见,采用上述方案后,移动终端800开启允许多个移动终端接入的屏幕分享服务后;若N个第二移动终端通过无线局域网接入到移动终端800开启的屏幕分享服务,则移动终端800将移动终端800的屏幕中的第一区域所显示内容编码为第一视频流,并通过上述无线局域网向上述N个第二移动终端发送第一视频流,由于移动终端800和上述N个第二移动终端都接入到了同一无线局域网,移动终端800和上述N个第二移动终端基于无线局域网进行屏幕分享服务,交互与屏幕分享服务相关数据,基于无线局域网实现屏幕分享数据的交互可解决在无大型外部服务器及外部网络的情况下实现小范围的屏幕分享的问题,并可达到简便易用且实用的效果。并且,借助无线局域网较高的传输速率,接入简单且支持多终端接入,使得本发明实施例屏幕分享技术能够更好的支持流畅性和实时性要求高场景,同时也有利于增强屏幕分享参与的灵活性,进而有利于扩展屏幕分享参与方的数量。
进一步的,可根据当前屏幕显示内容类型的不同采用不同编码手段,有利于解决在视频或界面动画等需要高流畅度的场景下对流畅性需求和在图片显示场景下对清晰度需求的平衡问题,进而有利于达到在屏幕显示场景切换时所编码的视频流对场景需求的动态响应效果。
进一步的,发起屏幕分享服务的移动终端中引入配合使用视频流缓冲队列和阻塞缓冲队列,有利于在存在多个接入屏幕分享服务的移动终端的场景下节省内存开销,并且实现各路视频流互不影响,进而有利于达到在不影响各路视频流的情况下节省内存开销和时间开销的技术效果。
参见图9,本发明实施例还提供一种通信系统,可包括:
第一移动终端910和N个第二移动终端920,
其中,第一移动终端910和上述N个第二移动终端920都接入到了同一无线局域网,上述N为正整数,
其中,第一移动终端910,用于用于发起屏幕分享服务;通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,若允许所述N个第二移动终端接入所述屏幕分享服务,将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
在本发明的一些实施例中,第一移动终端910可如移动终端500、移动终端700和移动终端800。
可以理解的是,本实施例的第一移动终端910可用于实现上述实施例中第一移动终端的功能,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本发明实施例还提供一种移动终端1000的示意图,其中,移动终端1000可用于实现上述实施例中第一移动终端、第二移动终端、移动终端500、移动终端600、移动终端700和移动终端800的部分或全部功能。
如图10所示,为了便于说明,仅示出了一些可能与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
其中,图10示出的是与本发明实施例提供的终端可能相关的移动终端的部分结构的框图。参考图10,移动终端包括射频(Radio Frequency,RF)电路1010、存储器1020、输入单元1030、无线保真(wireless fidelity,WiFi)模块1070、显示单元1040、传感器1050、音频电路1060、处理器1080、以及电源1090等部件。
其中,本领域技术人员可以理解,图10中示出的移动终端结构并不构成对移动终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
RF电路1010可用于在收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System ofMobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(LongTerm Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service,SMS)等。
其中,存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行移动终端的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(如声音播放功能、图像播放功能等)等;存储数据区可存储根据移动终端的使用所创建的数据(如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与移动终端1000的用户设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(OrganicLight-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中,触控面板1031与显示面板1041是作为两个独立的部件来实现移动终端的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现移动终端的输入和输出功能。
其中,移动终端1000还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在移动终端移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于移动终端还可配置的陀螺仪、气压计、湿度计、温度计和红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与移动终端之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一移动终端,或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070,但是可以理解的是,其并不属于移动终端1000的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。可选的,处理器1080可包括一个或多个处理单元;优选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
移动终端1000还包括给各个部件供电的电源1090(比如电池),优选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出,移动终端1000还可以包括摄像头、蓝牙模块等,在此不再赘述。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的屏幕分享方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (28)

1.一种屏幕分享方法,其特征在于,包括:
第一移动终端发起屏幕分享服务;
所述第一移动终端通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述第一移动终端和所述N个第二移动终端都位于所述无线局域网,所述N为正整数;
若允许所述N个第二移动终端接入所述屏幕分享服务,所述第一移动终端将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
2.根据权利要求1所述的方法,其特征在于,所述第一移动终端发起屏幕分享服务,包括:所述第一移动终端在所述无线局域网中广播与屏幕分享服务对应的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送,
或者,所述第一移动终端发起屏幕分享服务包括:所述第一移动终端接收来自N个第二移动终端的屏幕分享服务开启查询请求,在所述无线局域网中广播与所述屏幕分享服务对应的屏幕分享服务开启消息,或者向所述N个第二移动终端发送用于响应所述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送。
3.根据权利要求1或2所述的方法,其特征在于,
所述方法还包括:
所述第一移动终端若通过所述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行所述第一用户操作事件,其中,所述第一用户操作事件是针对所述第二移动终端的屏幕之中第二区域的用户操作事件,所述第二区域显示有所述第二移动终端接收到的第一视频流。
4.根据权利要求3所述的方法,其特征在于,
所述第一移动终端在所述第一区域覆盖有透明图层;
所述第一用户操作事件为涂鸦绘制事件,所述第一移动终端若通过所述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行所述第一用户操作事件,包括:所述第一移动终端若通过所述无线局域网接收到来自第二移动终端的涂鸦绘制事件,在所述透明图层上显示所述涂鸦绘制事件所要绘制的涂鸦。
5.根据权利要求1至3任一项所述的方法,其特征在于,
所述方法还包括:所述第一移动终端采集所述第一移动终端所播放的声音信号,并将采集到的声音信号编码为第一音频流,将第一音频流交织到第一视频流之中,或者,所述第一移动终端解码音频文件得到第一音频流,将得到的第一音频流交织到第一视频流之中,
其中,所述通过所述无线局域网向所述N个第二移动终端发送第一视频流包括:通过所述无线局域网向所述N个第二移动终端发布交织有第一音频流的第一视频流。
6.根据权利要求1至5任一项所述的方法,其特征在于,
所述第一视频流的码率恒定不变,或者,所述第一视频流的码率与所述N的大小相对应,或者,所述第一视频流的码率与所述第一区域的显示内容的类型相对应。
7.根据权利要求1至6任一项所述的方法,其特征在于,
所述方法还包括:
所述第一移动终端开启远程剪贴服务;
若所述N个第二移动终端之中的M个第二移动终端通过所述无线局域网接入到所述远程剪贴服务,则当所述第一移动终端监听到所述第一移动终端的系统剪贴板上有更新的剪贴对象时,通过所述无线局域网向所述M个第二移动终端发送所述剪贴对象,以便于所述M个第二移动终端将接收到的所述剪贴对象更新到其系统剪贴板上。
8.根据权利要求1至7任一项所述的方法,其特征在于,
所述方法还包括:
当所述第一移动终端在其屏幕中的第一区域显示文档时,所述第一移动终端向所述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到所述K1个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述第一移动终端在其屏幕中的第一区域所显示的文档;
或者,
当所述第一移动终端在其屏幕中的第一区域显示图片时,所述第一移动终端向所述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到所述K2个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间第一移动终端在其屏幕中的第一区域所显示的图片;
或者,
当所述第一移动终端在其屏幕中的第一区域显示视频时,所述第一移动终端向所述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到所述K3个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间第一移动终端在其屏幕中的第一区域所显示的视频。
9.根据权利要求1至8任一项所述的方法,其特征在于,
所述第一移动终端作为wifi热点,所述N个第二移动终端通过所述wifi热点接入所述无线局域网;或者,所述N个第二移动终端中的其中一个第二移动终端作为wifi热点,所述第一移动终端和所述N个第二移动终端中除所述其中一个第二移动终端之外的剩余第二移动终端通过所述wifi热点接入所述无线局域网;
或者,所述第一移动终端作为组拥有者groupowner,所述N个第二移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者,所述N个第二移动终端中的其中一个第二移动终端作为组拥有者groupowner,所述第一移动终端和所述N个第二移动终端中除所述其中一个第二移动终端之外的剩余第二移动终端作为组客户端,以wifi直连方式接入所述无线局域网;或者所述第一移动终端和所述N个第二移动终端通过第三方wifi热点接入所述无线局域网。
10.一种移动终端,其特征在于,包括:
服务发起单元,用于发起屏幕分享服务;
分享单元,用于通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述移动终端和所述N个第二移动终端都位于所述无线局域网,所述N为正整数;若允许所述N个第二移动终端接入所述屏幕分享服务,将所述移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
11.根据权利要求10所述的移动终端,其特征在于,
所述服务发起单元具体用于,在所述无线局域网中广播与屏幕分享服务对应的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送,
或者,
所述服务发起单元具体用于,接收来自N个第二移动终端的屏幕分享服务开启查询请求,在所述无线局域网中广播与所述屏幕分享服务对应的屏幕分享服务开启消息,或者向所述N个第二移动终端发送用于响应所述屏幕分享服务开启查询请求的屏幕分享服务开启消息,其中,所述与所述屏幕分享服务对应的屏幕分享服务接入请求由所述第二移动终端在接收到所述屏幕分享服务开启消息之后发送。
12.根据权利要求10或11所述的移动终端,其特征在于,
所述移动终端还包括:
事件响应单元,用于若通过所述无线局域网接收到来自第二移动终端的第一用户操作事件,则执行所述第一用户操作事件,其中,所述第一用户操作事件是针对所述第二移动终端的屏幕之中第二区域的用户操作事件,所述第二区域显示有所述第二移动终端接收到的第一视频流。
13.根据权利要求12所述的移动终端,其特征在于,
所述事件响应单元在所述第一区域覆盖有透明图层;
所述第一用户操作事件为涂鸦绘制事件,所述事件响应单元用于:若通过所述无线局域网接收到来自第二移动终端的涂鸦绘制事件,在所述透明图层上显示所述涂鸦绘制事件所要绘制的涂鸦。
14.根据权利要求10至13任一项所述的移动终端,其特征在于,
所述移动终端还包括:音频处理单元,用于采集所述移动终端所播放的声音信号,并将采集到的声音信号编码为第一音频流,或者,解码音频文件得到第一音频流,
所述分享单元具体用于,若有N个第二移动终端通过无线局域网接入到所述移动终端开启的屏幕分享服务,则将所述移动终端的屏幕中的第一区域所显示内容编码为第一视频流,将第一音频流交织到第一视频流之中,并通过所述无线局域网向所述N个第二移动终端发送交织有第一音频流的第一视频流。
15.根据权利要求10至14任一项所述的移动终端,其特征在于,
所述移动终端还包括:
远程剪贴服务单元用于,开启远程剪贴服务;
若所述N个第二移动终端之中的M个第二移动终端通过所述无线局域网接入到所述远程剪贴服务,则当监听到所述移动终端的系统剪贴板上有更新的剪贴对象时,通过所述无线局域网向所述M个第二移动终端发送所述剪贴对象,以便于所述M个第二移动终端将接收到的所述剪贴对象更新到其系统剪贴板上。
16.根据权利要求10至15任一项所述的移动终端,其特征在于,
所述移动终端还包括:
语音标记单元,用于当所述移动终端在其屏幕中的第一区域显示文档时,所述移动终端向所述N个第二移动终端之中的K1个第二移动终端发送语音标记服务开启指示;若接收到所述K1个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述移动终端在其屏幕中的第一区域所显示的文档;
或者,
当所述移动终端在其屏幕中的第一区域显示图片时,所述移动终端向所述N个第二移动终端之中的K2个第二移动终端发送语音标记服务开启指示;若接收到所述K2个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间所述移动终端在其屏幕中的第一区域所显示的图片;
或者,
当所述移动终端在其屏幕中的第一区域显示视频时,所述移动终端向所述N个第二移动终端之中的K3个第二移动终端发送语音标记服务开启指示;若接收到所述K3个第二移动终端中的部分或全部第二移动终端在接收到所述语音标记服务开启指示之后所录制的语音标记,存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间所述移动终端在其屏幕中的第一区域所显示的视频。
17.一种屏幕分享方法,其特征在于,包括:
第二移动终端检测第一移动终端是否发起屏幕分享服务;
在检测到第一移动终端发起屏幕分享服务之后,通过无线局域网向所述第一移动终端发送与所述屏幕分享服务对应的屏幕分享服务接入请求,其中,所述第一移动终端和所述第二移动终端都位于所述无线局域网;
接收来自所述第一移动终端的第一视频流,在第二移动终端屏幕中的第二区域显示第一视频流,其中,所述第一视频流由所述第一移动终端将所述第一移动终端的屏幕中的第一区域所显示内容进行编码而得到。
18.根据权利要求17所述的方法,其特征在于,
所述第二移动终端检测第一移动终端是否发起屏幕分享服务,包括:
第二移动终端在通过无线局域网接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到所述第一移动终端开启了所述屏幕分享服务,
或者,所述第二移动终端在所述无线局域网中广播屏幕分享服务开启查询请求,或通过所述无线局域网向所述第一移动终端发送屏幕分享服务开启查询请求,若接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到所述第一移动终端开启了所述屏幕分享服务。
19.根据权利要求17或18所述的方法,其特征在于,
所述在第二移动终端屏幕中的第二区域显示第一视频流之后还包括:
所述第二移动终端监测用户针对所述第二区域的第一用户操作事件,若监测到用户针对所述第二区域的第一用户操作事件,通过所述无线局域网向所述第一移动终端发送第一用户操作事件,以便所述第一移动终端执行所述第一用户操作事件。
20.根据权利要求19所述的方法,其特征在于,
所述第一移动终端在所述第一区域覆盖有透明图层;
所述第一用户操作事件为涂鸦绘制事件,
其中,所述若监测到用户针对所述第二区域的第一用户操作事件,通过所述无线局域网向所述第一移动终端发送第一用户操作事件,以便所述第一移动终端执行所述第一用户操作事件,包括:若监测到用户针对所述第二区域的涂鸦绘制事件,通过所述无线局域网向所述第一移动终端发送所述涂鸦绘制事件,以便所述第一移动终端在所述透明图层上显示所述涂鸦绘制事件所要绘制的涂鸦。
21.根据权利要求17至20任一项所述的方法,其特征在于,
所述方法还包括:
所述第二移动终端接入第一移动终端开启的远程剪贴服务;
若通过所述无线局域网接收到来自所述第一移动终端的剪贴对象,将接收到的所述剪贴对象更新到系统剪贴板上,其中,所述剪贴对象为所述第一移动终端的系统剪贴板上更新的剪贴对象。
22.根据权利要求17至21任一项所述的方法,其特征在于,
所述方法还包括:
当所述第二区域显示文档时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述第二区域所显示的文档;
或者,
当所述第二区域显示图片时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间所述第二区域所显示的图片;
或者,
当所述第二区域显示视频时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间所述第二区域所显示的视频。
23.一种移动终端,其特征在于,包括:
检测单元,用于检测第一移动终端是否发起屏幕分享服务;
接入单元,用于在检测到第一移动终端发起屏幕分享服务之后,通过无线局域网向所述第一移动终端发送与所述屏幕分享服务对应的屏幕分享服务接入请求,所述第一移动终端和所述所述移动终端都位于所述无线局域网;
分享单元,用于接收来自所述第一移动终端的第一视频流,在所述移动终端屏幕中的第二区域显示第一视频流,其中,所述第一视频流由所述第一移动终端将所述第一移动终端的屏幕中的第一区域所显示内容进行编码而得到。
24.根据权利要求23所述的移动终端,其特征在于,
所述检测单元具体用于,在通过无线局域网接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息之后,确定检测到所述第一移动终端开启了所述屏幕分享服务,
或者,
在所述无线局域网中广播屏幕分享服务开启查询请求,或通过所述无线局域网向所述第一移动终端发送屏幕分享服务开启查询请求,若接收到来自第一移动终端的与所述屏幕分享服务对应的屏幕分享服务开启消息,确定检测到所述第一移动终端开启了所述屏幕分享服务。
25.根据权利要求23或24所述的移动终端,其特征在于,
所述在所述移动终端屏幕中的第二区域显示第一视频流之后还包括:
所述移动终端监测用户针对所述第二区域的第一用户操作事件,若监测到用户针对所述第二区域的第一用户操作事件,通过所述无线局域网向所述第一移动终端发送第一用户操作事件,以便所述第一移动终端执行所述第一用户操作事件。
26.根据权利要求23至25任一项所述的移动终端,其特征在于,
所述移动终端还包括:
远程剪贴服务单元,用于接入第一移动终端开启的远程剪贴服务;若通过所述无线局域网接收到来自所述第一移动终端的剪贴对象,将接收到的所述剪贴对象更新到系统剪贴板上,其中,所述剪贴对象为所述第一移动终端的系统剪贴板上更新的剪贴对象。
27.根据权利要求23至26任一项所述的移动终端,其特征在于,
所述移动终端还包括:
语音标记单元,用于当所述第二区域显示文档时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一文档的关联关系,其中,所述第一文档为录制所述语音标记期间所述第二区域所显示的文档;
或者,
当所述第二区域显示图片时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一图片的关联关系,其中,所述第一图片为录制所述语音标记期间所述第二区域所显示的图片;
或者,
当所述第二区域显示视频时,若接收到来自所述第一移动终端的语音标记服务开启指示,则录制语音标记,向所述第一移动终端发送所述录制的语音标记,以便于所述第一移动终端存储所述语音标记并记录所述语音标记与第一视频的关联关系,其中,所述第一视频为录制所述语音标记期间所述第二区域所显示的视频。
28.一种通信系统,其特征在于,包括:
第一移动终端和N个第二移动终端,其中,所述第一移动终端和所述N个第二移动终端位于同一无线局域网,所述N为正整数,
所述第一移动终端用于发起屏幕分享服务;通过无线局域网接收来自N个第二移动终端的与所述屏幕分享服务对应的屏幕分享服务接入请求,若允许所述N个第二移动终端接入所述屏幕分享服务,将第一移动终端屏幕中的第一区域所显示内容编码为第一视频流,并通过所述无线局域网向所述N个第二移动终端发送第一视频流。
CN201310242043.6A 2013-06-17 2013-06-17 屏幕分享方法和相关设备及通信系统 Active CN103312804B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310242043.6A CN103312804B (zh) 2013-06-17 屏幕分享方法和相关设备及通信系统
KR1020147027799A KR20150018770A (ko) 2013-06-17 2014-02-25 스크린 공유 방법, 관련 장치, 및 통신 시스템
PCT/CN2014/072506 WO2014201876A1 (zh) 2013-06-17 2014-02-25 屏幕分享方法和相关设备及通信系统
TW103120938A TWI558146B (zh) 2013-06-17 2014-06-17 Screen sharing methods and related equipment and communication systems
US14/487,335 US20150019694A1 (en) 2013-06-17 2014-09-16 Method for Screen Sharing, Related Device, and Communications System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310242043.6A CN103312804B (zh) 2013-06-17 屏幕分享方法和相关设备及通信系统

Publications (2)

Publication Number Publication Date
CN103312804A true CN103312804A (zh) 2013-09-18
CN103312804B CN103312804B (zh) 2016-11-30

Family

ID=

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532945A (zh) * 2013-09-30 2014-01-22 华为技术有限公司 分享控制方法和相关设备及通信系统
CN103595715A (zh) * 2013-11-08 2014-02-19 腾讯科技(成都)有限公司 用于桌面直播的信息共享方法及装置
CN103607632A (zh) * 2013-11-27 2014-02-26 广州华多网络科技有限公司 基于桌面直播的预览方法及装置
WO2014201876A1 (zh) * 2013-06-17 2014-12-24 华为技术有限公司 屏幕分享方法和相关设备及通信系统
CN104506627A (zh) * 2014-12-26 2015-04-08 厦门雅迅网络股份有限公司 一种同桌用餐人员多平板同时点餐的方法及系统
CN104580308A (zh) * 2013-10-21 2015-04-29 中兴通讯股份有限公司 虚拟桌面重现、推送的方法、装置及虚拟桌面系统
CN104735381A (zh) * 2013-12-19 2015-06-24 鸿合科技有限公司 一种屏幕录制方法及装置
WO2015096741A1 (zh) * 2013-12-24 2015-07-02 腾讯科技(深圳)有限公司 基于网络图片的互动方法和装置
CN105204797A (zh) * 2014-06-23 2015-12-30 纬创资通股份有限公司 屏幕分享方法以及使用该方法的装置
CN105578202A (zh) * 2014-09-29 2016-05-11 纬创资通股份有限公司 影音分享方法与系统
CN105657528A (zh) * 2014-11-27 2016-06-08 现代摩比斯株式会社 内容播放器设备之间的联锁系统
CN105739937A (zh) * 2016-01-27 2016-07-06 努比亚技术有限公司 一种移动终端投影方法、终端设备及系统
CN106354461A (zh) * 2016-08-29 2017-01-25 武汉启目科技有限公司 一种android终端屏幕可相互无线分享的方法
CN106371784A (zh) * 2016-08-29 2017-02-01 武汉启目科技有限公司 一种将智能终端得到的屏幕分享给其他终端的方法
WO2017020711A1 (zh) * 2015-08-05 2017-02-09 腾讯科技(深圳)有限公司 一种通信处理方法及电子设备
CN106406789A (zh) * 2016-08-29 2017-02-15 武汉启目科技有限公司 一种实现单个pc屏幕向多个不同设备屏幕投屏的方法
CN106686424A (zh) * 2017-01-06 2017-05-17 广州四三九九信息科技有限公司 基于移动端录屏直播方法
CN107209728A (zh) * 2015-01-23 2017-09-26 日立麦克赛尔株式会社 显示装置以及显示方法
CN107250970A (zh) * 2014-12-09 2017-10-13 三星电子株式会社 移动设备和用于操作移动设备的方法
CN107465958A (zh) * 2017-09-07 2017-12-12 北京奇虎科技有限公司 一种视频分享方法、装置、电子设备及介质
WO2017219347A1 (zh) * 2016-06-24 2017-12-28 北京小米移动软件有限公司 直播显示方法、装置及系统
WO2018018843A1 (zh) * 2016-07-29 2018-02-01 广州视睿电子科技有限公司 扩展屏幕界面的方法和系统
CN107835464A (zh) * 2017-09-28 2018-03-23 努比亚技术有限公司 视频通话窗口画面处理方法、终端和计算机可读存储介质
CN107930129A (zh) * 2017-11-30 2018-04-20 网易(杭州)网络有限公司 基于虚拟场景的通信方法、介质、装置和计算设备
CN108174231A (zh) * 2017-12-29 2018-06-15 北京密境和风科技有限公司 一种实现直播群的方法和装置
CN109327728A (zh) * 2018-11-23 2019-02-12 深圳市鹰硕技术有限公司 一种一对多同屏方法、装置和系统、同屏设备及存储介质
CN109587547A (zh) * 2018-12-30 2019-04-05 北京奇艺世纪科技有限公司 广告的播放控制方法及装置
CN109791474A (zh) * 2016-10-25 2019-05-21 惠普发展公司,有限责任合伙企业 控制在多个显示设备上显示的内容
CN110221746A (zh) * 2019-04-28 2019-09-10 网易(杭州)网络有限公司 信息交互方法、装置、介质和计算设备
CN111263217A (zh) * 2020-02-18 2020-06-09 深圳市炬力北方微电子有限公司 无线投屏方法、无线投屏系统及其计算机可读存储介质
CN111542822A (zh) * 2018-02-23 2020-08-14 三星电子株式会社 用于共享屏幕数据的电子装置和方法
CN111741341A (zh) * 2020-06-10 2020-10-02 三星电子(中国)研发中心 共享屏幕处理装置和共享屏幕处理方法
CN112929500A (zh) * 2019-12-05 2021-06-08 李庆成 音图通话的方法和系统
CN113286192A (zh) * 2021-05-21 2021-08-20 青岛海信移动通信技术股份有限公司 屏幕分享方法及移动终端
CN113498029A (zh) * 2020-03-19 2021-10-12 帝腾有限公司 交互式广播
CN114125352A (zh) * 2020-08-29 2022-03-01 华为技术有限公司 屏幕共享方法、电子设备及系统
CN114625686A (zh) * 2020-12-10 2022-06-14 明基智能科技(上海)有限公司 资料控制方法及资料控制系统
CN115484430A (zh) * 2021-05-31 2022-12-16 华为技术有限公司 共享屏幕的方法、相关电子设备及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060031779A1 (en) * 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
CN1946213A (zh) * 2005-10-07 2007-04-11 三星电子株式会社 执行视频通信业务的方法及其移动通信终端
CN101888519A (zh) * 2009-05-14 2010-11-17 华为技术有限公司 共享桌面内容的方法和智能设备
CN101977324A (zh) * 2010-11-09 2011-02-16 青岛海信宽带多媒体技术有限公司 一种实现屏幕共享的方法
CN102883135A (zh) * 2012-11-01 2013-01-16 成都飞视美视频技术有限公司 屏幕共享及控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060031779A1 (en) * 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
CN1946213A (zh) * 2005-10-07 2007-04-11 三星电子株式会社 执行视频通信业务的方法及其移动通信终端
CN101888519A (zh) * 2009-05-14 2010-11-17 华为技术有限公司 共享桌面内容的方法和智能设备
CN101977324A (zh) * 2010-11-09 2011-02-16 青岛海信宽带多媒体技术有限公司 一种实现屏幕共享的方法
CN102883135A (zh) * 2012-11-01 2013-01-16 成都飞视美视频技术有限公司 屏幕共享及控制方法

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014201876A1 (zh) * 2013-06-17 2014-12-24 华为技术有限公司 屏幕分享方法和相关设备及通信系统
CN103532945B (zh) * 2013-09-30 2017-01-18 华为技术有限公司 分享控制方法和相关设备及通信系统
CN103532945A (zh) * 2013-09-30 2014-01-22 华为技术有限公司 分享控制方法和相关设备及通信系统
CN104580308A (zh) * 2013-10-21 2015-04-29 中兴通讯股份有限公司 虚拟桌面重现、推送的方法、装置及虚拟桌面系统
CN103595715A (zh) * 2013-11-08 2014-02-19 腾讯科技(成都)有限公司 用于桌面直播的信息共享方法及装置
CN103595715B (zh) * 2013-11-08 2017-02-15 腾讯科技(成都)有限公司 用于桌面直播的信息共享方法及装置
CN103607632A (zh) * 2013-11-27 2014-02-26 广州华多网络科技有限公司 基于桌面直播的预览方法及装置
CN103607632B (zh) * 2013-11-27 2017-09-12 广州三人行壹佰教育科技有限公司 基于桌面直播的预览方法及装置
CN104735381A (zh) * 2013-12-19 2015-06-24 鸿合科技有限公司 一种屏幕录制方法及装置
US10553003B2 (en) 2013-12-24 2020-02-04 Tencent Technology (Shenzhen) Company Limited Interactive method and apparatus based on web picture
WO2015096741A1 (zh) * 2013-12-24 2015-07-02 腾讯科技(深圳)有限公司 基于网络图片的互动方法和装置
CN105204797A (zh) * 2014-06-23 2015-12-30 纬创资通股份有限公司 屏幕分享方法以及使用该方法的装置
CN105578202B (zh) * 2014-09-29 2019-08-09 纬创资通股份有限公司 影音分享方法与系统
CN105578202A (zh) * 2014-09-29 2016-05-11 纬创资通股份有限公司 影音分享方法与系统
CN105657528B (zh) * 2014-11-27 2019-04-23 现代摩比斯株式会社 内容播放器设备之间的联锁系统
CN105657528A (zh) * 2014-11-27 2016-06-08 现代摩比斯株式会社 内容播放器设备之间的联锁系统
CN107250970A (zh) * 2014-12-09 2017-10-13 三星电子株式会社 移动设备和用于操作移动设备的方法
CN107250970B (zh) * 2014-12-09 2020-11-10 三星电子株式会社 移动设备和用于操作移动设备的方法
CN104506627B (zh) * 2014-12-26 2019-07-02 厦门雅迅网络股份有限公司 一种同桌用餐人员多平板同时点餐的方法及系统
CN104506627A (zh) * 2014-12-26 2015-04-08 厦门雅迅网络股份有限公司 一种同桌用餐人员多平板同时点餐的方法及系统
CN107209728A (zh) * 2015-01-23 2017-09-26 日立麦克赛尔株式会社 显示装置以及显示方法
CN107209728B (zh) * 2015-01-23 2020-09-08 麦克赛尔株式会社 显示装置以及显示方法
WO2017020711A1 (zh) * 2015-08-05 2017-02-09 腾讯科技(深圳)有限公司 一种通信处理方法及电子设备
CN105739937A (zh) * 2016-01-27 2016-07-06 努比亚技术有限公司 一种移动终端投影方法、终端设备及系统
CN105739937B (zh) * 2016-01-27 2020-03-17 努比亚技术有限公司 一种移动终端投影方法、终端设备及系统
WO2017128913A1 (zh) * 2016-01-27 2017-08-03 努比亚技术有限公司 一种移动终端投影方法、终端设备及系统
WO2017219347A1 (zh) * 2016-06-24 2017-12-28 北京小米移动软件有限公司 直播显示方法、装置及系统
WO2018018843A1 (zh) * 2016-07-29 2018-02-01 广州视睿电子科技有限公司 扩展屏幕界面的方法和系统
CN106406789A (zh) * 2016-08-29 2017-02-15 武汉启目科技有限公司 一种实现单个pc屏幕向多个不同设备屏幕投屏的方法
CN106371784A (zh) * 2016-08-29 2017-02-01 武汉启目科技有限公司 一种将智能终端得到的屏幕分享给其他终端的方法
CN106354461A (zh) * 2016-08-29 2017-01-25 武汉启目科技有限公司 一种android终端屏幕可相互无线分享的方法
CN109791474B (zh) * 2016-10-25 2022-06-14 惠普发展公司,有限责任合伙企业 控制在多个显示设备上显示的内容
CN109791474A (zh) * 2016-10-25 2019-05-21 惠普发展公司,有限责任合伙企业 控制在多个显示设备上显示的内容
CN106686424A (zh) * 2017-01-06 2017-05-17 广州四三九九信息科技有限公司 基于移动端录屏直播方法
CN107465958A (zh) * 2017-09-07 2017-12-12 北京奇虎科技有限公司 一种视频分享方法、装置、电子设备及介质
CN107835464B (zh) * 2017-09-28 2020-10-16 努比亚技术有限公司 视频通话窗口画面处理方法、终端和计算机可读存储介质
CN107835464A (zh) * 2017-09-28 2018-03-23 努比亚技术有限公司 视频通话窗口画面处理方法、终端和计算机可读存储介质
CN107930129B (zh) * 2017-11-30 2022-01-28 网易(杭州)网络有限公司 基于虚拟场景的通信方法、介质、装置和计算设备
CN107930129A (zh) * 2017-11-30 2018-04-20 网易(杭州)网络有限公司 基于虚拟场景的通信方法、介质、装置和计算设备
CN108174231A (zh) * 2017-12-29 2018-06-15 北京密境和风科技有限公司 一种实现直播群的方法和装置
CN108174231B (zh) * 2017-12-29 2020-12-22 北京密境和风科技有限公司 一种实现直播群的方法、装置、电子设备和存储介质
CN111542822B (zh) * 2018-02-23 2024-04-09 三星电子株式会社 用于共享屏幕数据的电子装置和方法
CN111542822A (zh) * 2018-02-23 2020-08-14 三星电子株式会社 用于共享屏幕数据的电子装置和方法
CN109327728A (zh) * 2018-11-23 2019-02-12 深圳市鹰硕技术有限公司 一种一对多同屏方法、装置和系统、同屏设备及存储介质
WO2020103326A1 (zh) * 2018-11-23 2020-05-28 深圳市鹰硕技术有限公司 一种一对多同屏方法、装置和系统、同屏设备及存储介质
CN109327728B (zh) * 2018-11-23 2021-10-15 深圳市鹰硕技术有限公司 一种一对多同屏方法、装置和系统、同屏设备及存储介质
CN109587547A (zh) * 2018-12-30 2019-04-05 北京奇艺世纪科技有限公司 广告的播放控制方法及装置
CN110221746B (zh) * 2019-04-28 2021-04-02 网易(杭州)网络有限公司 信息交互方法、装置、介质和计算设备
CN110221746A (zh) * 2019-04-28 2019-09-10 网易(杭州)网络有限公司 信息交互方法、装置、介质和计算设备
CN112929500A (zh) * 2019-12-05 2021-06-08 李庆成 音图通话的方法和系统
CN111263217A (zh) * 2020-02-18 2020-06-09 深圳市炬力北方微电子有限公司 无线投屏方法、无线投屏系统及其计算机可读存储介质
CN113498029A (zh) * 2020-03-19 2021-10-12 帝腾有限公司 交互式广播
CN111741341A (zh) * 2020-06-10 2020-10-02 三星电子(中国)研发中心 共享屏幕处理装置和共享屏幕处理方法
CN114125352A (zh) * 2020-08-29 2022-03-01 华为技术有限公司 屏幕共享方法、电子设备及系统
CN114625686A (zh) * 2020-12-10 2022-06-14 明基智能科技(上海)有限公司 资料控制方法及资料控制系统
CN114625686B (zh) * 2020-12-10 2023-11-14 明基智能科技(上海)有限公司 资料控制方法及资料控制系统
CN113286192A (zh) * 2021-05-21 2021-08-20 青岛海信移动通信技术股份有限公司 屏幕分享方法及移动终端
CN115484430A (zh) * 2021-05-31 2022-12-16 华为技术有限公司 共享屏幕的方法、相关电子设备及系统

Also Published As

Publication number Publication date
TW201505407A (zh) 2015-02-01
US20150019694A1 (en) 2015-01-15
TWI558146B (zh) 2016-11-11
WO2014201876A1 (zh) 2014-12-24
KR20150018770A (ko) 2015-02-24

Similar Documents

Publication Publication Date Title
TWI558146B (zh) Screen sharing methods and related equipment and communication systems
US11137869B2 (en) Re-ranking story content
CN105430424B (zh) 一种视频直播的方法、装置和系统
US10249007B2 (en) Social cover feed interface
US20170353571A1 (en) Conserving battery and data usage
CN109194973A (zh) 一种多主播直播间赠送虚拟礼物的展示方法、装置及设备
EP2939078B1 (en) Conserving battery and data usage
CN104618217B (zh) 分享资源的方法、终端、服务器及系统
CN106162316A (zh) 一种视频流的数据处理方法、装置和系统
CN106254311A (zh) 直播方法和装置、直播数据流展示方法和装置
CN105700804B (zh) 一种响应操作轨迹的方法以及操作轨迹响应装置
US20150160832A1 (en) Dismissing Interactive Elements in a User Interface
AU2014200900B2 (en) Apparatus and method for controlling a messenger service in a terminal
CN107241492B (zh) 一种动态信息显示方法、设备及计算机可读存储介质
CN103412746B (zh) 媒体内容分享方法和终端设备及内容分享系统
CN105187930A (zh) 基于视频直播的互动方法及装置
CN105681872A (zh) 直播过程中信息交互方法及装置
CN103414630A (zh) 网络互动方法和相关装置及通信系统
CN105207896A (zh) 网络通话方法和装置
CN107368238A (zh) 一种信息处理方法及终端
CN106371608A (zh) 屏幕投影的显示控制方法及装置
CN104090879A (zh) 一种图片分享方法、装置和系统
CN103532945A (zh) 分享控制方法和相关设备及通信系统
CN103369158A (zh) 多方通话控制方法和相关设备及通信系统
CN106303734A (zh) 主播订阅方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant