CN114125352A - 屏幕共享方法、电子设备及系统 - Google Patents

屏幕共享方法、电子设备及系统 Download PDF

Info

Publication number
CN114125352A
CN114125352A CN202010890853.2A CN202010890853A CN114125352A CN 114125352 A CN114125352 A CN 114125352A CN 202010890853 A CN202010890853 A CN 202010890853A CN 114125352 A CN114125352 A CN 114125352A
Authority
CN
China
Prior art keywords
electronic device
video stream
screen
video
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010890853.2A
Other languages
English (en)
Inventor
方卫庆
杨峻峰
王磊
葛峰
索勋飞
刘香凝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010890853.2A priority Critical patent/CN114125352A/zh
Priority to US18/043,561 priority patent/US20230269437A1/en
Priority to PCT/CN2021/111113 priority patent/WO2022042261A1/zh
Priority to EP21860101.1A priority patent/EP4195659A4/en
Publication of CN114125352A publication Critical patent/CN114125352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image

Abstract

屏幕共享方法、电子设备及系统。屏幕共享系统中可包含第一电子设备、第二电子设备、第三电子设备和第四电子设备。其中第三电子设备可以为第一电子设备附近的电子设备。第四电子设备可以为第二电子设备附件的电子设备。在该方法中,第一电子设备和第二电子设备可以建立视频通信连接。第三电子设备可以将自己的屏幕经过第一电子设备共享给第二电子设备。第二电子设备可以显示第三电子设备共享的屏幕,还可以将第三电子设备共享的屏幕交由第四电子设备来显示。该屏幕共享系统中,电子设备之间共享屏幕的方式更加灵活,不在视频通信连接之间的电子设备也可以通过建立有视频通信连接的电子设备进行屏幕共享。

Description

屏幕共享方法、电子设备及系统
技术领域
本申请涉及终端技术领域,尤其涉及屏幕共享方法、电子设备及系统。
背景技术
随着通信技术的发展,音视频通信的应用越来越广泛。例如,通过音视频通信,人们可以实现远程会议、视频教学以及与亲朋好友面对面交流等。在一些进行音视频通信的场景中,人们需要向对方共享自己的屏幕,来给对方分享资料、进行相关演示。
目前,在两个电子设备进行视频通信期间进行屏幕共享的场景中,共享的屏幕往往局限于建立视频通信连接的两个电子设备之间。电子设备共享屏幕的方式不够灵活。
发明内容
本申请提供了屏幕共享方法、电子设备及系统,可以提高电子设备之间进行屏幕共享的灵活性,使得在视频通信连接之间的电子设备也可以通过建立有视频通信连接的电子设备进行屏幕共享。
第一方面,本申请实施提供了一种屏幕共享方法。该方法可应用于屏幕共享系统。该屏幕共享系统可包括第一电子设备、第二电子设备、第三电子设备和第四电子设备。该方法包括:该第一电子设备和该第二电子设备可以建立视频通信连接。该第一电子设备可以显示第一界面;该第一界面中播放有第一视频流,该第一视频流可以是该第二电子设备通过摄像头在该视频通信连接期间采集的。该第二电子设备可以显示第二界面;该第二界面中播放有第二视频流,该第二视频流可以是该第一电子设备通过摄像头在该视频通信连接期间采集的。该第三电子设备可以向该第一电子设备发送第三视频流;该第三视频流可以包括该第三电子设备屏幕的内容。该第一电子设备可以在接收到该第三视频流之后,向该第二电子设备发送该第三视频流。该第二电子设备可以在接收到该第三视频流之后,向该第四电子设备发送第四视频流;该第四视频流包括该第三电子设备屏幕的内容。该第四电子设备可以播放该第四视频流。
在本申请中,上述第一电子设备和上述第二电子设备可以建立视频通信连接。其中视频通信连接的方式可以为现有技术或者未来可能出现的视频通信连接方式。上述第三电子设备可以为上述第一电子设备附近的电子设备。上述第四电子设备可以为上述第二电子设备附近的电子设备。第一电子设备和第三电子设备之间的通信方式可以为短距离通信。第二电子设备和第四电子设备之间的通信方式也可以为短距离通信。
第一电子设备、第二电子设备、第三电子设备、第四电子设备均可以是具有视频通信功能的电子设备。例如手机、平板、笔记本电脑等。另外第三电子设备和第四电子设备还可以是不具有视频通信功能的电子设备。可选的,第四电子设备104还可以是仅用于显示的电子设备。例如投影仪、电子白板等。
结合第一方面,在第一电子设备和第二电子设备进行视频通信连接的过程中,第一电子设备可以在上述第一界面的不同显示区域同时播放上述第一视频流和上述第二视频流。第二电子设备可以在上述第二界面的不同显示区域同时播放上述第一视频流和上述第二视频流。
结合第一方面,在第一电子设备和第二电子设备在进行视频通信连接的过程中,第一电子设备可以接收到第一用户操作。该第一用户操作可用于将第三电子设备的屏幕共享给第二电子设备。
示例性的,当接收到第一用户操作,第一电子设备可以与第三电子设备建立连接,并向第三电子设备发送屏幕录制指令。当接收到上述屏幕录制指令,第三电子设备可以对屏幕进行录制,并得到上述第三视频流。第三电子设备可以将第三视频流发送给第一电子设备。进一步的,第一电子设备可以将上述第三视频流发送给第二电子设备。
在一些实施例中,当接收到上述第三视频流,第二电子设备可以在上述第二界面的显示区域A中播放上述第二视频流,在上述第二界面的显示区域B中播放第三视频流。其中,第二电子设备可以取消播放上述第一视频流。或者,上述第二界面中还包括显示区域C。第二电子设备可以在该显示区域C中播放上述第一视频流。
结合第一方面,上述第四视频流可以为上述第三视频流。即第二电子设备可以将接收到的第三视频流直接转发给第四电子设备。
或者,上述第四视频流可以包括上述第三视频流和上述第二视频流。即第二电子设备可以向第四电子设备发送第三视频流和第二视频流。第四电子设备可以播放上述第三视频流和上述第二视频流。
在一种可能的实现方式中,上述第四视频流可以为经过分辨率压缩和/或格式转换等调整后的第三视频流。或者,上述第四视频流可以包括经过分辨率压缩和/或格式转换等调整后的第三视频流,以及经过分辨率压缩和/或格式转换等调整后的第二视频流。
其中,在第二电子设备将第四视频流发送给第四电子设备之前,第二电子设备可以接收到用于将第三电子设备共享的屏幕共享至第四电子设备的第二用户操作。当接收到上述第二用户操作,第二电子设备可以与第四电子设备建立连接,并向第四电子设备发送上述第四视频流。
在一些实施例中,以上述第四视频流为第三视频流或者包含第三视频流为例,在第四电子设备播放第三视频流的情况下,第二电子设备可以在第二界面取消播放上述第三视频流。也即是说,当第二电子设备向第四电子设备发送上述第三视频流之后,第二电子设备可以不再显示第三电子设备共享的屏幕。其中,第二电子设备可以在上述第二界面播放上述第一视频流和上述第二视频流。
进一步的,在第四电子设备取消播放上述第三视频流之后,第二电子设备可以在上述第二界面播放上述第三视频流。具体的,响应于在第四电子设备上取消播放上述第三视频流的用户操作,第四电子设备可以向第二电子设备发送用于指示取消播放第三视频流的消息。然后第二电子设备可以停止向第四电子设备发送上述第四视频流,并在上述第二界面播放上述第三视频流和上述第二视频流。
在另一些实施例中,仍以上述第四视频流为第三视频流或者包含第三视频流为例,在第四电子设备播放第三视频流的情况下,第二电子设备仍可以在第二界面播放上述第三视频流。也即是说,当第二电子设备向第四电子设备发送上述第三视频流之后,第二电子设备可以在上述第二界面播放上述第二视频流和上述第三视频流。
结合第一方面,上述第四视频流可以为第二电子设备在播放上述第三视频流时进行屏幕录制得到的。具体的,第二电子设备的第二用户界面中播放有上述第三视频流。响应于用于将第三电子设备共享的屏幕共享至第四电子设备的第二用户操作,第二电子设备可以与第四电子设备建立连接。然后,第二电子设备可以将进行屏幕录制得到的第四视频流发送给第四电子设备。这样,第四电子设备屏幕上显示的内容可以包含第三电子设备屏幕的内容。
这样,第一电子设备的第一用户和第二电子设备的第二用户可以分别通过第一电子设备和第二电子设备进行视频通信。在进行视频通信的过程中,第一用户可以将其附近第三电子设备(如手机、平板、电视、笔记本电脑)的屏幕共享给第二电子设备。第二用户可以通过第二电子设备来观看由第一用户共享的屏幕。第二用户还可以将由第一用户共享的屏幕交由其附近的第四电子设备(如手机、平板、电视、笔记本电脑)进行显示。这样,电子设备之间共享屏幕的方式更加灵活。可共享的内容不再局限在建立了视频通信连接的电子设备上。不具备视频通信能力的电子设备也可以通过建立有视频通信连接的电子设备来进行屏幕共享。
结合第一方面,在一种可能的实现方式中,第三视频流可包含第一标记。上述第一标记可以是第三电子设备根据用户在屏幕上的触摸痕迹生成的。也即是说,在第三电子设备进行屏幕共享的过程中,第三电子设备可以开启涂鸦模式。当涂鸦模式开启,第三电子设备可以根据用户在屏幕上的触摸痕迹生成第一标记。该第一标记可以包含于上述第三视频流中。当接收到第三视频流,第二电子设备在上述第二界面播放第三视频流时,第二界面可以显示有用户在第三电子设备屏幕上所作的第一标记。该第一标记可以例如是文字、横线、圆圈等。
结合第一方面,在第三电子设备进行屏幕共享的过程中,第一电子设备可以显示第三电子设备共享的屏幕。其中,当检测出第一电子设备远离第三电子设备,第一电子设备可以在第一界面播放第三视频流。上述检测第一电子设备是否远离第三电子设备的方法可以包括:第一电子设备每隔预设时间段向第三电子设备发送探测信号。第三电子设备可以返回响应信号。第一电子设备可以根据接收到的返回信号的信号强度来判断第一电子设备是否远离第三电子设备。或者,第一电子设备可以利用自己的运动传感器来判断第一电子设备的运动状态。当第一电子设备判断出运动步数超过预设步数,第一电子设备可以确定第一电子设备在远离第三电子设备。
这样,在第三电子设备进行屏幕共享时,第一电子设备的第一用户可以在不待在第三电子设备的旁边的情况下而观看第三电子设备的屏幕,并向第二电子设备的第二用户讲解第三电子设备屏幕上显示的内容。这极大提高了屏幕共享的灵活性。
第二方面,本申请实施例提供了一种屏幕共享系统。该系统可包括第一电子设备、第二电子设备、第三电子设备和第四电子设备;其中,该第一电子设备和该第二电子设备建立有视频通信连接。该第一电子设备,可用于显示第一界面;该第一界面中播放有第一视频流,该第一视频流可以是该第二电子设备通过摄像头在该视频通信连接期间采集的。该第二电子设备,可用于显示第二界面;该第二界面中播放有第二视频流,该第二视频流可以是该第一电子设备通过摄像头在该视频通信连接期间采集的。该第三电子设备,可用于向该第一电子设备发送第三视频流;该第三视频流包括该第三电子设备屏幕的内容。该第一电子设备,还可用于在接收到该第三视频流之后,向该第二电子设备发送该第三视频流。该第二电子设备,还可用于在接收到该第三视频流之后,向该第四电子设备发送第四视频流;该第四视频流包括该第三电子设备屏幕的内容。该第四电子设备,可用于播放该第四视频流。
结合第二方面,第二电子设备在接收到第三视频流之后,还可用于在第二界面的显示区域A中播放第二视频流,在第二界面的显示区域B中播放第三视频流。
在一些实施例中,上述第四视频流可以为上述第三视频流。即第二电子设备可以将接收到的第三视频流直接转发给第四电子设备。
或者,上述第四视频流可以包括上述第三视频流和上述第二视频流。即第二电子设备可以向第四电子设备发送第三视频流和第二视频流。第四电子设备可以播放上述第三视频流和上述第二视频流。
在一种可能的实现方式中,上述第四视频流可以为经过分辨率压缩和/或格式转换等调整后的第三视频流。或者,上述第四视频流可以包括经过分辨率压缩和/或格式转换等调整后的第三视频流,以及经过分辨率压缩和/或格式转换等调整后的第二视频流。
结合第二方面,以第四视频流为第三视频流或者包含第三视频流为例,第二电子设备还可用于在第四电子设备播放第三视频流的情况下,在第二界面中取消播放第三视频流。
进一步的,在第四电子设备取消播放第三视频流之后,第二电子设备还可以在第二界面中播放第三视频流。
在一些实施例中,上述第四视频流可以为第二电子设备在播放第三视频流时进行屏幕录制得到的。
在一些实施例中,在第一电子设备和第二电子设备进行视频通信连接的过程中,第一电子设备可以向第三电子设备发送屏幕录制指令。该屏幕录制指令可用于指示第三电子设备进行屏幕录制并得到第三视频流。
这样,第一电子设备的第一用户和第二电子设备的第二用户可以分别通过第一电子设备和第二电子设备进行视频通信。在进行视频通信的过程中,第一用户可以将其附近第三电子设备(如手机、平板、电视、笔记本电脑)的屏幕共享给第二电子设备。第二用户可以通过第二电子设备来观看由第一用户共享的屏幕。第二用户还可以将由第一用户共享的屏幕交由其附近的第四电子设备(如手机、平板、电视、笔记本电脑)进行显示。这样,电子设备之间共享屏幕的方式更加灵活。可共享的内容不再局限在建立了视频通信连接的电子设备上。不具备视频通信能力的电子设备也可以通过建立有视频通信连接的电子设备来进行屏幕共享。
结合第二方面,第一电子设备可包含音视频通信应用和屏幕共享模块。第二电子设备可包含音视频通信应用和屏幕共享模块。第一电子设备和第二电子设备之间可以通过各自的音视频通信应用建立视频通信连接。
具体的,上述音视频通信应用中可包含第二共享内存、第三共享内存、摄像头采集模块和视频处理模块。当第一电子设备和第二电子设备建立有视频通信连接,第一电子设备的摄像头采集模块可以将摄像头采集的得到的第二视频流存储至第一电子设备的第二共享内存,并将该第二视频流发送给第一电子设备的视频处理模块。第一电子设备的视频处理模块可以根据第一电子设备和第二电子设备协商的视频编码格式对第二视频流进行编码并发送给第二电子设备的视频处理模块。第二电子设备的视频处理模块可以对接收到的经过编码的第二视频流进行解码,并将第二视频流存储至第二电子设备的第三共享内存。第二电子设备的摄像头采集模块可以将摄像头采集得到的第一视频流存储至第二电子设备的第二共享内存,并将该第一视频流发送给第二电子设备的视频处理模块。第二电子设备的视频处理模块可以根据第一电子设备和第二电子设备协商的视频编码格式对第一视频流进行编码并发送给第一电子设备的视频处理模块。第一电子设备的视频处理模块可以对接收到的经过编码的第一视频流进行解码,并将第一视频流存储至第一电子设备的第三共享内存。
其中,第一电子设备可以在第一界面的不同显示区域播放存储在第一电子设备的第二共享内存中的第二视频流和第三共享内存的第一视频流。第二电子设备可以在第二界面的不同显示区域播放存储在第二电子设备的第二共享内存的第一视频流和第三共享内存的第二视频流。
上述屏幕共享模块可用于对屏幕进行录制得到视频流,并对视频流进行编码或解码。第三电子设备和第四电子设备中均包含屏幕共享模块。第一电子设备和第二电子设备的音视频通信应用中还可包含服务接口和第一共享内存。其中,第一电子设备的服务接口可用于将第一电子设备的第一共享内存的地址发送给第一电子设备的屏幕共享模块。第二电子设备的服务接口可用于将第二电子设备的第一共享内存的地址发送给第二电子设备的屏幕共享模块。
响应于用于将第三电子设备的屏幕共享给第二电子设备的第一用户操作,第三电子设备的屏幕共享模块可以进行屏幕录制,并将得到的第三视频流发送给第一电子设备的屏幕共享模块。第一电子设备的屏幕共享模块可以将第三视频流存储至第一共享内存。进一步的,第一电子设备的视频处理模块可以从第一共享内存中获取第三视频流,并将该第三视频流发送给第二电子设备的视频处理模块。第二电子设备的视频处理模块可以将该第三视频流存储至第二电子设备的第一共享内存。第二电子设备可以在第二界面播放第二电子设备第一共享内存中的第三视频流。
响应于用于将第三电子设备共享的屏幕共享至第四电子设备的第二用户操作,第二电子设备的屏幕共享模块可以从第二电子设备的第一共享内存获取第三视频流,并将第三视频流发送给第四电子设备的屏幕共享模块。第四电子设备可以播放上述第三视频流。
第三方面,本申请实施例提供了另一种屏幕共享方法。该方法包括:第二电子设备和第一电子设备可以建立视频通信连接。该第二电子设备可以通过摄像头在该视频通信连接期间采集得到第一视频流;该第一视频流播放在该第一电子设备的第一界面中。该第二电子设备显示可以第二界面;该第二界面中播放有第二视频流,该第二视频流可以是该第一电子设备通过摄像头在该视频通信连接期间采集的。该第二电子设备可以在接收到来自该第一电子设备的第三视频流之后,向第四电子设备发送第四视频流。该第一电子设备的第三视频流是由第三电子设备发送给该第一电子设备的,该第三视频流包括该第三电子设备屏幕的内容;该第四视频流包括该第三电子设备屏幕的内容。该第四视频流可以播放在该第四电子设备上。
结合第三方面,第二电子设备在接收到来自第一电子设备的第三视频流之后,第二电子设备可以在第二界面的显示区域A中播放第二视频流,在第二界面的显示区域B中播放第三视频流。
在一些实施例中,上述第四视频流可以为第三视频流。或者上述第四视频流可包括第三视频流和第二视频流。
其中,在第三视频流播放在第四电子设备上的情况下,第二电子设备可以在第二界面中取消播放第三视频流。
进一步的,在第三视频流被取消播放在第四电子设备上之后,第二电子设备可以在第二界面中播放第三视频流。
在一些实施例中,上述第四视频流可以为第二电子设备在播放第三视频流时进行屏幕录制得到的。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括摄像头、触摸屏、通信模块、存储器和处理器。其中,该通信模块,可用于与第一电子设备建立视频通信连接。该摄像头,可用于在该时频通信连接期间采集得到第一视频流;该第一视频流播放在该第一电子设备的第一界面中。该触摸屏,可用于显示第二界面;该第二界面中播放有第二视频流,该第二视频流是该第一电子设备通过摄像头在该视频通信连接期间采集的。该通信模块,可还用于接收来自该第一电子设备的第三视频流,并向第四电子设备发送第四视频流;该第一电子设备的第三视频流是由第三电子设备发送给该第一电子设备的,该第三视频流包括该第三电子设备屏幕的内容;该第四视频流包括该第三电子设备屏幕的内容;该第四视频流播放在该第四电子设备上。该存储器,可用于存储该第一视频流、该第二视频流和该第三视频流,还用于存储计算机程序。该处理器可用于调用该计算机程序,使得该电子设备执行上述第三方面中任一可能的实现方式。
第五方面,本申请实施例提供一种芯片,该芯片应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第三方面中任一可能的实现方式。
第六方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在设备上运行时,使得上述电子设备执行如第三面中任一可能的实现方式。
第七方面,本申请实施例提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第三方面中任一可能的实现方式。
可以理解地,上述第四方面提供的电子设备、第五方面提供的芯片、第六方面提供的计算机程序产品和第七方面提供的计算机可读存储介质均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1是本申请实施例提供的一种通信系统的结构示意图;
图2是本申请实施例提供的一种第一电子设备的结构示意图;
图3A~图3F是本申请实施例提供的一系列电子设备在屏幕共享时的用户界面示意图;
图4是本申请实施例提供的一种屏幕共享系统的结构示意图;
图5是本申请实施例提供的一种电子设备建立视频通信的方法流程图;
图6是本申请实施例提供的一种电子设备在共享屏幕时的方法流程图;
图7是本申请实施例提供的一种电子设备在屏幕共享时的用户界面示意图;
图8是本申请实施例提供的另一种电子设备在屏幕共享时的用户界面示意图;
图9是本申请实施例提供的另一种屏幕共享系统的结构示意图;
图10是本申请实施例提供的另一种屏幕共享系统的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
目前,进行视频通信的多个电子设备中,一个电子设备可以将自己屏幕上显示的内容共享给其他电子设备。示例性的,第一电子设备和第二电子设备建立视频通信连接。第一电子设备可以通过摄像头采集图像,并将摄像头采集的图像显示在屏幕上以及发送给第二电子设备。第一电子设备还可以在屏幕上显示来自第二电子设备的摄像头采集的图像。同样的,第二电子设备可以通过摄像头采集图像并将这些图像显示在屏幕上。第二电子设备还可以在屏幕上显示来自第一电子设备的摄像头采集的图像。
响应于共享第一电子设备的屏幕的用户操作,第一电子设备可以录屏,并得到第一电子设备的屏幕流。该屏幕流可用于展示第一电子设备的屏幕上显示的内容。例如,显示在屏幕上的文字、图标,屏幕上用户界面的跳转以及用户在用户界面中所做的标记等等。第一电子设备可以将实时录制得到的屏幕流发送给第二电子设备。当接收到来自第一设备的屏幕流,第二电子设备可以接收并在屏幕上显示该屏幕流中包含的图像。这样,在进行视频通信的过程中,第一电子设备可以向第二电子设备共享第一电子设备的屏幕。
在上述屏幕共享的方案中,可用于共享的内容局限在建立了视频通信连接的第一电子设备和第二电子设备上。电子设备之间共享屏幕的方式不够灵活。在一些场景中,第一电子设备的用户想要共享的内容可能是第一电子设备附近的其他设备(如第三电子设备)显示的内容。在这些场景中,由于第三电子设备未与第二电子设备建立视频通信连接,第三电子设备屏幕上显示的内容可能无法共享给第二电子设备。或者,第三电子设备先将相关内容发送给第一电子设备。进一步的,第一电子设备在屏幕上显示这些内容后再向第二电子设备共享屏幕。从而实现将第三电子设备上显示的内容共享给第二电子设备。可以看出,在需要共享的内容不在已建立视频通信连接的电子设备上的场景中,用户无法进行共享,或者进行共享的操作繁琐。
基于上述问题,本申请提供了一种屏幕共享方法。在该方法中,第一电子设备可以与第二电子设备建立视频通信连接。响应于用于共享第三电子设备的屏幕的用户操作,第一电子设备可以与第三电子设备建立通信连接。第三电子设备可以录屏,并将得到的第三电子设备的屏幕流发送给第一电子设备。当接收到第三电子设备的屏幕流,第一电子设备可以将该屏幕流通过上述视频通信连接发送给第二电子设备。进一步的,第二电子设备可以显示第三电子设备的屏幕流中的图像。另外,第二电子设备还可以将上述第三电子设备的屏幕流发送给第四电子设备。第四电子设备可以显示第三电子设备的屏幕流中的图像。上述第三电子设备可以是第一电子设备附近的电子设备。上述第四电子设备可以是第二电子设备附近的电子设备。
其中,第一电子设备可以同时将第一电子设备的摄像头采集的图像和来自第三电子设备的屏幕流同时发送给第二电子设备。
第二电子设备可以显示第一电子设备的摄像头采集的图像和第三电子设备的屏幕流中包含的图像。
另外,第二电子设备还可以将第三电子设备的屏幕流发送给第四电子设备。在将第三电子设备的屏幕流发送给第四电子设备后,第二电子设备可以显示第一电子设备的摄像头采集的图像和自己的摄像头采集的图像。或者,第二电子设备可以仍然显示第一电子设备的摄像头采集的图像和第三电子设备的屏幕流中包含的图像。
当接收到第三电子设备的屏幕流,第四电子设备可以显示上述第三电子设备的屏幕流中包含的图像。
在本申请提供的屏幕共享方法中,可共享的内容不再局限在建立了视频通信连接的电子设备上。在进行视频通信的电子设备中,一个电子设备可以将该电子设备附近的电子设备的屏幕共享给视频通信对端的电子设备。上述视频通信对端的电子设备可以显示接收到的屏幕流中包含的图像,还可以将该屏幕流发送给自己附近的电子设备,由自己附近的电子设备来显示接收到的屏幕流中包含的图像。这样,电子设备之间共享屏幕的方式更为灵活,不具备视频通信能力的电子设备也可以通过建立有视频通信连接的电子设备来进行屏幕共享。并且,共享的内容除了显示在建立有视频通信连接的电子设备上,还可以显示在其他电子设备上。从而,第二电子设备的用户既可以利用第二电子设备进行视频通信,又可以利用第四电子设备观看来自第三电子设备共享的显示在第三电子设备屏幕上的内容。
本申请提供的屏幕共享方法可应用于通信系统100。下面对通信系统100进行具体介绍。
如图1所示,通信系统100可以包含N个电子设备。上述N为大于1的整数。例如,通信系统100可以包含第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104。通信系统100还可以包含通信网络105。通信系统100中的N个电子设备可以与通信网络105连接。这N个电子设备可以通过通信网络105建立通信连接。其中:
通信网络105可以是有线网络,也可以是无线网络。例如,通信网络105可以是局域网(local area networks,LAN),也可以是广域网(wide area networks,WAN)。通信网络105可以利用现有技术中的网络通信协议来实现。或者是未来的网络通信协议来实现。上述网络通信协议可以是各种有线或无线通信协议。例如以太网、通用串行总线(universalserial bus,USB)、全球移动通讯系统(global system for mobile communication,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址接入(codedivision multiple access,CDMA)、宽带码分多址(wideband code division multipleaccess,WCDMA)、时分码分多址(time division code division multiple access,TD-CDMA)、长期演进(long term evolution,LTE)、蓝牙、无线保真(wireless fidelity,WiFi)、近距离无线通信技术(near field communication,NFC)、基于互联网协议的语音通话(voice over Internet protocol,VoIP)、支持网络切片架构的通信协议或任何其他合适的通信协议。通信网络105还可以利用未来技术中的网络通信协议来实现。本申请实施例对此不作限定。
示例性的,在一些实施例中,第一电子设备101可以通过WiFi协议与第二电子设备102建立网络连接。
第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104之间可以通过通信网络105建立视频通信连接。也即是说,通信系统100中的N个电子设备可以通过通信网络105进行视频通信。例如,第一电子设备101可以和第二电子设备102、第三电子设备103、第四电子设备104进行视频通信。
需要进行说明的是,第一电子设备101和第三电子设备103可以是第一用户的电子设备。第三电子设备103可以位于第一电子设备101的附近。第一电子设备101和第三电子设备103之间的通信可以是短距离通信。示例性的,第一电子设备101和第三电子设备103可以位于同一个局域网。具体的,第一电子设备101和第三电子设备103连接至同一个WiFi。这两个电子设备之间可以基于WiFi直连(WiFi direct)协议来相互传输数据。不限于短距离通信,第一电子设备101和第三电子设备103之间的通信也可以是远距离通信。本申请实施例对此不作限定。
第二电子设备102和第四电子设备104可以是第二用户的电子设备。第四电子设备104可以位于第二电子设备102的附近。第二电子设备102和第四电子设备104之间的通信可以是短距离通信。示例性的,第二电子设备102和第四电子设备104可以位于同一个局域网。不限于短距离通信,第二电子设备102和第四电子设备104之间的通信也可以是远距离通信。本申请实施例对此不作限定。
第一电子设备101可以通过通信网络105与第二电子设备102建立视频通信连接。第一电子设备101可以将摄像头采集的图像通过通信网络105发送给第二电子设备102。第二电子设备102可以通过通信网络105将摄像头采集的图像发送给第一电子设备101。
第一电子设备101可以与第三电子设备103建立通信连接。其中,第一电子设备101可以获取来自第三电子设备103的屏幕流,并将该屏幕流发送给第二电子设备102。第二电子设备102可以显示该屏幕流中包含的图像。第二电子设备102还可以将该屏幕流发送给第四电子设备104。第四电子设备104可以显示该屏幕流中包含的图像。
不限于基于WiFi直连协议来传输数据的方式,第一电子设备101和第三电子设备103之间传输数据的方式、第二电子设备102和第四电子设备104之间传输数据的方式还可以为基于其他网络通信协议的数据传输方式,本申请实施例对此不作限定。
上述第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104具体可以是手机、平板电脑、电视、可穿戴电子设备、车机、笔记本电脑、手持计算机、上网本、个人数字助理(personal digital assistant,PDA)等,本申请实施例对此不作限定。
以第一电子设备101为例,图2示例性示出了第一电子设备101的结构示意图。
第一电子设备101可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本发明实施例示意的结构并不构成对第一电子设备101的具体限定。在本申请另一些实施例中,第一电子设备101可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为第一电子设备101充电,也可以用于第一电子设备101与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
第一电子设备101的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。第一电子设备101中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在第一电子设备101上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在第一电子设备101上的包括无线局域网(wireless local area networks,WLAN)(如Wi-Fi),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),NFC,红外技术(infrared,IR)等现有技术中无线通信的解决方案或者未来技术中无线通信的解决方案。本申请实施例对此不作限定。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
第一电子设备101通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,第一电子设备101可以包括1个或N个显示屏194,N为大于1的正整数。
在本申请中,显示屏194也可称为“触摸屏”、“屏幕”。
第一电子设备101可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,第一电子设备101可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当第一电子设备101在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。第一电子设备101可以支持一种或多种视频编解码器。这样,第一电子设备101可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现第一电子设备101的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展第一电子设备101的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行第一电子设备101的各种功能应用以及数据处理。
第一电子设备101可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。第一电子设备101可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当第一电子设备101接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。第一电子设备101可以设置至少一个麦克风170C。在另一些实施例中,第一电子设备101可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,第一电子设备101还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。第一电子设备101可以接收按键输入,产生与第一电子设备101的用户设置以及功能控制有关的键信号输入。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和第一电子设备101的接触和分离。第一电子设备101可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。第一电子设备101通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,第一电子设备101采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在第一电子设备101中,不能和第一电子设备101分离。
不限于图2所示的模块,第一电子设备101还可以包含更多或更少的模块。
图2所示的第一电子设备101的结构示意图也可以为本申请实施例中第二电子设备102、第三电子设备103、第四电子设备104的结构示意图。
下面结合具体场景,介绍本申请实施例提供的一种屏幕共享方法。
图3A~图3F为本申请实施例提供的视频通信过程中进行屏幕共享的电子设备的一系列用户界面示意图。
其中,图3A~图3C示例性示出了在视频通信过程中,第一电子设备101向第二电子设备102发送共享屏幕请求的用户界面示意图。共享的屏幕为第三电子设备103的屏幕。
图3D和图3E示例性示出了第二电子设备102确定接受第一电子设备101屏幕共享请求的用户界面示意图。
图3F示例性示出了第二电子设备102将接收的共享屏幕交由第四电子设备104进行显示的用户界面示意图。
1、在视频通信过程中,第一电子设备101可以向第二电子设备102发送共享屏幕请求。共享的屏幕为第三电子设备103的屏幕。
如图3A所示,第一电子设备101可以为第一用户的电子设备(如手机)。第二电子设备102可以为第二用户的电子设备(如手机)。第一电子设备101与第二电子设备102建立了视频通信连接。第一电子设备101可以通过摄像头(如前置摄像头)采集得到第一摄像头视频流,并将该第一摄像头视频流发送给第二电子设备102。第二电子设备102可以通过摄像头(如前置摄像头)采集得到第二摄像头视频流,并将该第二摄像头视频流发送给第一电子设备101。
第一电子设备101可以显示通话界面220。第二电子设备102可以显示通话界面340。其中,通话界面220可以包括发现设备控件201、第一显示区域202、第二显示区域203、挂断控件204、转为语音控件205、切换摄像头控件206和最小化控件207。通话界面340可以包括发现设备控件301、第三显示区域302、第四显示区域303和最小化控件304。
在第一电子设备101的通话界面220中,第一显示区域202可用于显示第二摄像头视频流中包含的图像(如包含有第二用户人脸的图像),第二显示区域203可用于显示第一摄像头视频流中包含的图像(如包含有第一用户人脸的图像)。其中,第一显示区域202和第二显示区域203显示的内容可以互换。示例性的,响应于作用在第一显示区域的用户操作,例如触摸操作,第一电子设备101可以在第一显示区域显示第一摄像头视频流中包含的图像,并在第二显示区域显示第二摄像头视频流中包含的图像。
本申请实施例对上述切换第一显示区域202和第二显示区域203显示的内容的用户操作不作限定。
第一显示区域202的大小不限于为图3A所示的大小,可以与第一电子设备101屏幕上可用于显示的区域大小相同。本申请实施例对此不作限定。
第二显示区域203的位置不限于为图3A所示的位置。响应于移动所述第二显示区域203位置的用户操作,第一电子设备101可以将第二显示区域203的位置移动至上述用户操作指定的位置。
挂断控件204可用于挂断电话。响应于作用在挂断控件204的用户操作,例如触摸操作,第一电子设备101可以切断与第二电子设备102的视频通信连接。
转为语音控件205可用于将上述视频通信连接切换为音频通信连接。响应于作用在转为语音控件205的用户操作,例如触摸操作,第一电子设备101和第二电子设备102均可以关闭摄像头,不在分别向通信的对端传输第一摄像头视频流和第二摄像头视频流。第一电子设备101和第二电子设备102可以向通信的对端传输麦克风采集的语音输入。这样,第一用户和第二用户可以进行音频通信。
切换摄像头控件206可用于切换采集第一摄像头视频流的摄像头。示例性的,当前用于采集第一摄像头视频流的摄像头为第一电子设备101的前置摄像头。响应于作用在切换摄像头控件的用户操作,例如触摸操作,第一电子设备101可以关闭前置摄像头,并开启后置摄像头。第一电子设备101可以通过后置摄像头采集得到第一摄像头视频流,并将该第一摄像头视频流发送给第二电子设备102。
最小化控件207可用于最小化通话界面220。示例性的,响应于作用在最小化控件207的用户操作,例如触摸操作,第一电子设备101可以以第二显示区域203作为通话界面。即通话界面的大小可以与第二显示区域的大小相同,且以悬浮窗的形式显示在第一电子设备101的屏幕上。其中,经过最小化操作的通话界面可用于显示来自第二电子设备的第二摄像头视频流。
发现设备控件201可用于搜索第一电子设备101附近的电子设备。响应于作用在发现设备控件201的用户操作,例如触摸操作,第一电子设备101可以搜索附近的电子设备,例如与第一电子设备101在同一个局域网内的电子设备。第一电子设备101还可以显示如图3B所示的用户界面。图3B所示的用户界面可用于显示第一电子设备101所搜索到的附近电子设备的选项。
其中,第一电子设备101可以在其所在的局域网内发送广播消息。若接收到一个或多个电子设备对上述广播消息的回复,第一电子设备101可以确认搜索到这一个或多个电子设备。这一个或多个电子设备可以与第一电子设备101建立通信连接,从而交互数据。
上述第一电子设备101和第三电子设备103可以是不在同一个局域网内的电子设备。上述具体的搜索方式可以参考现有技术中基于WiFi直连协议建立通信连接时搜索电子设备的实现方式,或者基于其他网络通信协议连接时搜索电子设备的实现方式,本申请实施例对此不作限定。
在第二电子设备102的通话界面340中,第三显示区域302可用于显示来自第一电子设备101的第一摄像头视频流中的图像(如包含第一用户人脸的图像)。第四显示区域303可用于显示第二摄像头视频流中的图像(如包含第二用户人脸的图像)。与第一显示区域202和第二像是区域203相同的是,第三显示区域302和第四显示区域303中显示的内容可以互换。
第三显示区域302的大小不限于为图3A所示的大小,可以与第二电子设备102屏幕上可用于显示的区域的大小相同。本申请实施例对此不作限定。
第四显示区域303的位置不限于为图3A所示的位置。响应于移动所述第四显示区域303位置的用户操作,第二电子设备102可以将第四显示区域303的位置移动至上述用户操作指定的位置。
发现设备控件301和最小化控件304的作用可分别参考前述对第一电子设备101中的发现设备控件201和最小化控件207的介绍。其中,发现设备控件301可用于搜索第二电子设备102附近的电子设备。最小化控件304可用于最小化通话界面340。
上述通话界面220和通话界面340可以包含更多或更少的控件,本申请实施例对此不作限定。
响应于作用在发现设备控件201的用户操作,第一电子设备101可以显示如图3B所示的用户界面。图3B所示的用户界面可包含设备选项框210。该设备选项框210可用于显示第一电子设备101所搜索到的电子设备。设备选项框210中还可以包含搜索更多设备控件214。该搜索更多设备控件214可用于第一电子设备101继续搜索其附近的电子设备。
示例性的,与第一电子设备101在同一个局域网内的电子设备包括Mike的平板、Mike的电视、Mike的笔记本电脑。响应于作用在发现设备控件201的用户操作,第一电子设备101可以搜索到Mike的平板、Mike的电视、Mike的笔记本电脑。则第一电子设备101可以在设备选项框210中显示Mike的平板选项211、Mike的电视选项212、Mike的笔记本电脑选项213。
响应于作用在Mike的平板选项211上的用户操作,例如触摸操作,第一电子设备101可以向第三电子设备103(即Mike的平板)发送获取第一屏幕流的请求,以及向第二电子设备102发送共享屏幕的请求。上述第一屏幕流可以为第三电子设备103对第三电子设备103的屏幕进行录制得到的视频流,可包含显示在第三电子设备103屏幕上的内容。
其中,当接收到来自第一电子设备101用于获取第一屏幕流的请求,第三电子设备103可以对屏幕进行录制,得到第一屏幕流。第三电子设备103可以将该第一屏幕流发送给第一电子设备101,并显示如图3C所示的用户界面410。例如,用户界面410可以显示有英语教学课件。用户界面410还可以包含有提示框411和取消控件412。上述提示框411可用于提示第一用户共享的屏幕还未被对方接受,正在等待对方确认。上述取消控件412可用于取消屏幕共享。响应于作用在取消控件412的用户操作,第三电子设备103可以停止对屏幕进行录制,并向第一电子设备101发送用于指示屏幕共享已取消的消息。当接收到上述指示屏幕共享已取消的消息,第一电子设备101可以向第二电子设备102发送用于指示屏幕共享已取消的消息。
上述提示框411和上述取消控件412还可以显示在第一电子设备101的屏幕上。如图3C所示,第一电子设备101可以在屏幕上显示提示框231和取消控件232。其中,提示框231可用于提示第一用户共享的屏幕还未被对方接受,正在等待对方确认。取消控件232可用于取消屏幕共享。响应于作用在取消控件232的用户操作,第一电子设备101可以向第二电子设备102和第三电子设备103发送用于指示屏幕共享已取消的消息。当接收到上述指示屏幕共享已取消的消息,第三电子设备103可以停止录制屏幕。
2、第二电子设备102确定接受第一电子设备101屏幕共享请求。
当接收到来自第一电子设备101共享屏幕的请求,第二电子设备102可以显示如图3D所示的用户界面。图3D所示的用户界面可包含提示框310。该提示框310可用于询问第二用户是否接受上述第一用户的屏幕共享请求。示例性的,提示框310中可包含提示语“对方向您共享屏幕,您可以看到对方屏幕,确定接收?”。提示框310还可以包含确定按钮311和取消按钮312。
上述确定按钮311可用于确定接受第一电子设备101共享屏幕的请求。响应于作用在确定按钮311的用户操作,第二电子设备102可以向第一电子设备101发送确定接收共享屏幕请求的消息。进一步的,第一电子设备101可以将接收到的来自第三电子设备103的第一屏幕流发送给第二电子设备102,并且向第三电子设备发送用于指示正在共享屏幕的消息。第二电子设备102可以显示如图3E所示的用户界面。
上述取消按钮312可用于拒绝接受第一电子设备101共享屏幕的请求。响应于作用在取消按钮312的用户操作,第二电子设备102可以向第一电子设备发送取消接受共享屏幕请求的消息。进一步的,第一电子设备101可以向第三电子设备发送用于指示取消屏幕共享的消息。当接收到指示取消屏幕共享的消息,第三电子设备103可以停止对屏幕进行录制。
响应于接收到的来自第一电子设备101用于指示正在共享屏幕的消息,第三电子设备103可以显示如图3E所示的用户界面。图3E所示的用户界面中可包括共享中提示框420。该共享中提示框420可包含提示语“共享中”以及屏幕共享的时间长度,例如10秒。共享中提示框420可用于指示第三电子设备103正在共享屏幕。共享中提示框420还可以包含涂鸦控件421以及取消控件422。
其中,涂鸦控件421可用于开启或关闭涂鸦功能。涂鸦功能开启时第一用户可在第三电子设备103的屏幕进行标记。示例性的,在涂鸦功能处于关闭状态时,响应于作用在涂鸦控件421的用户操作,第三电子设备103可以记录作用在屏幕上的触摸痕迹,并根据这些触摸痕迹生成标记。在涂鸦功能处于关闭状态时,响应于作用在涂鸦控件421的用户操作,第三电子设备103可以关闭涂鸦功能。即第三电子设备103可以不再记录作用在屏幕上的触摸痕迹。
需要进行说明的是,上述涂鸦功能开启时,第三电子设备103根据上述触摸痕迹生成的标记可以包含于第一屏幕流中。也即是说,在屏幕共享的过程中,第二用户可以在第二电子设备102上看到第一用户在第三电子设备103的屏幕上所做的标记。
取消控件422可用于取消屏幕共享。响应于作用在取消控件422的用户操作,第三电子设备103可以停止对屏幕进行录制,并向第一电子设备101发送用于指示屏幕共享已取消的消息。当接收到上述指示屏幕共享已取消的消息,第一电子设备101可以向第二电子设备102发送用于指示屏幕共享已取消的消息。当接收到指示屏幕共享已取消的消息,第二电子设备102可以显示如图3A所示的通话界面340。
在本申请实施例中,第三电子设备103录制屏幕的时间可以从接收到来自第一电子设备101用于获取第一屏幕流的请求时开始,到接收到取消屏幕共享的消息时结束。上述取消屏幕共享的消息可以包括:第一电子设备101在接收到来自第二电子设备102取消屏幕共享的消息后向第三电子设备103发送的取消屏幕共享的消息、第三电子设备103检测到作用于图3C所示的取消控件412或作用于图3E所示的取消控件422的用户操作。
第三电子设备103可以按照预设的时间单位来录制屏幕并发送录制得到的视频流。示例性的,预设的时间单位为500毫秒。第三电子设备103可以每录制屏幕500毫秒后就向第一电子设备101发送这500毫秒内录制屏幕得到的视频流。这样,第三电子设备103可以在录制屏幕的同时,发送得到的视频流,从而减少屏幕共享过程中的时延,保证第二电子设备102上显示的内容尽量与第三电子设备103上显示的内容同步。本申请实施例对上述预设的时间单位的长度不作限定。
也即是说,第一屏幕流可以为第三电子设备103从开始录制屏幕到结束录制屏幕得到的视频流。第三电子设备103可以分次将第一屏幕流发送给第一电子设备101。
当接收到上述第一屏幕流,第二电子设备102可以显示如图3E所示的用户界面。图3E所示的用户界面可包含第三显示区域302、第四显示区域303、投屏控件305和共享中提示框320。其中,第二电子设备102可以取消显示第二摄像头视频流中包含的图像。
具体的,第二电子设备102可以在第三显示区域302显示上述第一屏幕流中包含的图像,即第三电子设备103的屏幕上所显示的内容。其中,第二电子设备102可以根据自己屏幕中可用于显示区域的尺寸来自适应调整第一屏幕流中包含的图像的尺寸,从而自适应显示第一屏幕流中包含的图像。或者,第二电子设备102可以将第一屏幕流中包含的图像的尺寸按照自己屏幕中可以用于显示区域的尺寸进行等比例缩放。本申请实施例对第二电子设备102显示上述第一屏幕流中包含的图像的方法不作限定。
第二电子设备102可以在第四显示区域303显示来自第一电子设备101的摄像头采集的第一摄像头视频流中包含的图像(如包含有第一用户人脸的图像)。
与前述图3A所示的实施例相同的是,第三显示区域302显示的内容可以与第四显示区域303显示的内容互换。具体实现方式可以参考前述实施例,这里不再赘述。
投屏控件305可用于第二电子设备102搜索附近的电子设备。从而第二电子设备102可以将上述第一屏幕流中包含的图像交由自己附近的电子设备来显示。响应于作用在投屏控件305的用户操作,第二电子设备102可以搜索附近的电子设备,例如与第二电子设备102在同一个局域网内的电子设备。第二电子设备102还可以显示如图3F所示的用户界面。图3F所示的用户界面可用于显示第二电子设备102所搜索到的附近的电子设备的选项。
第二电子设备102搜索自己附近的电子设备的方法可以参考前述实施例中第一电子设备101搜索自己附近的电子设备的实现方式,这里不再赘述。
需要进行说明的是,如图3D所示,响应于作用在确定按钮311上的用户操作,第二电子设备可以接收第一屏幕流,并显示如图3E所示的用户界面。其中,通话界面340上的发现设备控件301可以切换为图3E所示投屏控件305。
共享中提示框320可包含提示语“观看Mike的屏幕”以及屏幕共享的时间长度,例如10秒。共享中提示框320还可以包含取消控件321。该取消控件321可用于取消屏幕共享。响应于作用在取消控件321的用户操作,第二电子设备102可以显示如图3A所示的通话界面340,并向第一电子设备101发送用于指示取消屏幕共享的消息。进一步的,第一电子设备101可以向第三电子设备103发送用于指示取消屏幕共享的消息。当接收到用于指示屏幕共享的消息,第三电子设备103可以停止录制屏幕。
在一种可能的实现方式中,当接收到上述第一屏幕流,第二电子设备102可以在用户界面上显示第一屏幕流中包含的图像、第一摄像头视频流中包含的图像以及第二摄像头视频流中包含的图像。具体的,图3E所示的用户界面上可包含有三个显示区域。这三个显示区域可分别用于显示第一屏幕流中包含的图像、第一摄像头视频流中包含的图像以及第二摄像头视频流中包含的图像。
3、第二电子设备102可以将接收的共享屏幕交由第四电子设备104进行显示。
响应于作用在如图3E所示的投屏控件305的用户操作,第二电子设备102可以搜索自己附近的电子设备,并显示如图3F所示的用户界面。图3F所示的用户界面可包含设备选项框330。设备选项框330可用于显示第二电子设备102所搜索到的一个或多个电子设备。这一个或多个被搜索到的电子设备可以用于进行显示。设备选项框330中还可以包含搜索更多设备控件334。该搜索更多设备控件334可用于第二电子设备102继续搜索其附近的电子设备。
示例性的,与第二电子设备102在同一个局域网内的电子设备包括John的平板、John的电视、John的笔记本电脑。响应于作用在投屏控件305的用户操作,第二电子设备102可以搜索到John的平板、John的电视、John的笔记本电脑。则第二电子设备102可以在设备选项框330中显示John的平板选项331、John的电视选项332、John的笔记本电脑选项333。
响应于作用在John的电视选项332的用户操作,例如触摸操作,第二电子设备102可以向第四电子设备104(即John的电视)发送第一屏幕流。
当接收到第一屏幕流,第四电子设备104可以显示如图3F所示的用户界面510。用户界面510中显示的内容可以为第一屏幕流中包含的图像。即第三电子设备103共享的屏幕可以由第四电子设备104显示。
其中,第四电子设备104可以根据自己屏幕中可用于显示区域的尺寸来自适应调整第一屏幕流中包含的图像的尺寸,从而自适应显示第一屏幕流中包含的图像。或者,第四电子设备104可以将第一屏幕流中包含的图像的尺寸按照自己屏幕中可以用于显示区域的尺寸进行等比例缩放。本申请实施例对第四电子设备104显示上述第一屏幕流中包含的图像的方法不作限定。
另外,响应于作用在John的电视选项332的用户操作,第二电子设备102还可以显示如图3B所示的通话界面340。即第二电子设备102不再显示第三电子设备103共享的屏幕。这样,第二用户可以通过第二电子设备102与第一用户进行视频通信,并通过第四电子设备104观看由第一用户共享的屏幕。在第二电子设备102的屏幕较小,不便于用户观看视频通信对端共享的屏幕的场景中,用户可以将视频通信对端共享的屏幕交由其他屏幕更大的电子设备来显示,例如平板、电视、笔记本电脑等。从而更好地满足了用户在视频通信时共享屏幕的需求。
可选的,响应于作用在John的电视选项332的用户操作,第二电子设备102也可以显示如图3E所示的用户界面。即第二电子设备102和第四电子设备104均可以显示第三电子设备103共享的屏幕。
在一些实施例中,第四电子设备104可以取消显示第三电子设备103共享的屏幕。具体的,当第四电子设备104取消显示第三电子设备103共享的屏幕,第二电子设备102可以显示上述第一屏幕流中包含的图像。第二电子设备102显示的用户界面可以参考图3E所示的用户界面。另外,第二电子设备102可以停止向第四电子设备104发送上述第一屏幕流。
在一种可能的实现方式中,第一电子设备101和第二电子设备102建立视频通信连接后,第一电子设备101的可以采集第一用户的语音输入,得到第一音频,并将该第一音频与上述第一摄像头视频流发送给第二电子设备102。当进行前述实施例的屏幕共享,第一电子设备101还可以将第一屏幕流发送给第二电子设备102。
响应于将第一屏幕流交由第四电子设备104来显示的用户操作,第二电子设备102可以将上述第一音频与上述第一屏幕流发送给第四电子设备104。则第四电子设备104可以显示第一屏幕流中包含的图像,并可通过扬声器播放上述第一音频。第二电子设备102可以不播放上述第一音频。
即第二用户在第二电子设备102上接收到来自第三电子设备103共享的屏幕后,可以将第三电子设备103共享的屏幕交由第四电子设备104显示。并且,第二用户可以在第四电子设备104上收听第一用户的语音。
在一种可能的实现方式中,第三电子设备103在进行屏幕共享时,第三电子设备103的扬声器在播放第二音频。例如,在共享屏幕的过程中,第三电子设备103在播放包含有第二音频的多媒体文件。第三电子设备103可以对屏幕进行录制得到第一屏幕流。第三电子设备103可以将该第一屏幕流以及第二音频经第一电子设备101发送给第二电子设备102。第二电子设备102可以在屏幕上显示上述第一屏幕流中包含的图像,并利用扬声器播放上述第二音频。
响应于将第一屏幕流交由第四电子设备104共享来显示的用户操作,第二电子设备102可以将上述第二音频与上述第一屏幕流发送给第四电子设备104。则第四电子设备104可以显示第一屏幕流中包含的图像,并可通过扬声器播放上述第二音频。其中,前述实施例中的第一音频仍可由第二电子设备102播放。
由上述屏幕共享方法可知,第一用户和第二用户可以分别通过第一电子设备和第二电子设备进行视频通信。在进行视频通信的过程中,第一用户可以将其附近第三电子设备(如手机、平板、电视、笔记本电脑)的屏幕共享给第二电子设备。第二用户可以通过第二电子设备来观看由第一用户共享的屏幕。第二用户还可以将由第一用户共享的屏幕交由其附近的第四电子设备(如手机、平板、电视、笔记本电脑)进行显示。这样,电子设备之间共享屏幕的方式更加灵活。可共享的内容不再局限在建立了视频通信连接的电子设备上。不具备视频通信能力的电子设备也可以通过建立有视频通信连接的电子设备来进行屏幕共享。
下面结合前述实施例的屏幕共享方法,具体介绍本申请实施例提供的电子设备及屏幕共享系统。
如图4所示,屏幕共享系统可以包括第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104。第一电子设备101和第二电子设备102可以建立有视频通信连接。第三电子设备103可以对屏幕进行录制,得到第一屏幕流,并将该第一屏幕流经第一电子设备101发送给第二电子设备102。第二电子设备102可以显示该第一屏幕流中包含的图像。第二电子设备102还可以将该第一屏幕流发送给第四电子设备104。第四电子设备104可以显示该第一屏幕流中包含的图像。即第二电子设备102和/或第四电子设备104可以显示第三电子设备103屏幕上所显示的内容。
其中,第一电子设备101可以包括音视频通信应用610和屏幕共享模块620。第二电子设备102可以包括音视频通信应用630和屏幕共享模块640。第三电子设备103可以包括屏幕共享模块650。第四电子设备104可以包括屏幕共享模块660。
上述屏幕共享模块620、屏幕共享模块640、屏幕共享模块650和屏幕共享模块660可以是同一个应用或服务程序,分别包含于第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104。上述四个屏幕共享模块均可用于对电子设备的屏幕进行录制,来采集屏幕流,以及对屏幕流进行编码或解码。
上述音视频通信应用610和上述音视频通信应用630可以是同一个应用(如畅联通话应用),分别安装于第一电子设备101和第二电子设备102。
以第一电子设备101中的音视频通信应用610为例对音视频通信应用进行具体介绍。
音视频通信应用610可包含服务接口611、第一共享内存614、第二共享内存612、第三共享内存613、摄像头采集模块615和视频处理模块616。其中:
第一电子设备101可以通过音视频通信应用610与第二电子设备102建立音频或视频通信连接。当第一电子设备101和第二电子设备102建立视频通信连接,音视频通信应用610可以向存储器申请存储空间,得到第二共享内存612和第三共享内存613。
摄像头采集模块615可以通过第一电子设备101的摄像头(如前置摄像头)采集得到第一摄像头视频流,并将该第一摄像头视频流存储至第二共享内存612。该第一摄像头视频流可以被送显至第一电子设备101的屏幕。示例性的,如图3A所示,第一摄像头视频流可以显示在通话界面220中的第二显示区域203。
摄像头采集模块615还可以将第一摄像头视频流发送给视频处理模块616。
视频处理模块616可以根据第一电子设备101和第二电子设备102协商的视频编码格式,例如H.264或H.265等,对第一摄像头视频流进行编码。
视频处理模块616可以将经过编码后的第一摄像头视频流发送给第二电子设备102中的视频处理模块636。其中,经过编码后的第一摄像头视频流的传输通路可以为第一电子设备101和第二电子设备102视频通信连接的通路,例如基于VoIP协议的通信通路等。本申请实施例对此不作限定。
视频处理模块616还可以接收到来自第二电子设备102经过编码的第二摄像头视频流。其中,第二电子设备102中的摄像头采集模块635可以通过第二电子设备102的摄像头采集得到的第二摄像视频流,并将该第二摄像头视频流发送给视频处理模块636。第二电子设备102中的视频处理模块636可以根据第一电子设备101和第二电子设备102协商的视频编码格式,例如H.264或H.265等,对第二摄像头视频流进行编码,并将经过编码后的第二摄像头视频流发送给视频处理模块616。经过编码后的第二摄像头视频流的传输通路可以与经过编码后的第一摄像头视频流的传输通路一致。当得到上述经过编码的第二摄像头视频流,视频处理模块616根据第一电子设备101和第二电子设备102协商的视频编码格式进行解码,得到第二摄像头视频流。然后,视频处理模块616可以将第二摄像头视频流存储至第三共享内存613。进一步的,该第二摄像头视频流可以被送显至第一电子设备101的屏幕。示例性的,如图3A所示,第二摄像头视频流可以显示在通话界面220中的第一显示区域202。
在一种可能的实现方式中,第一电子设备101可以对第二共享内存612和第三共享内存613进行标记。根据上述标记,第一电子设备101可以将存储在第二共享内存612中的数据送显至图3A所示的第二显示区域203,并将存储在第三共享内存613中的数据送显至图3A所示的第一显示区域202。本申请实施例对上述第一摄像头视频流和上述第二摄像头视频流送显的方式不作限定。
响应于作用在第一电子设备101上用于共享第三电子设备103屏幕的用户操作,如作用在图3B所示的设备选项框210中Mike的平板选项211上的用户操作,第一电子设备101可以向第三电子设备103(即Mike的平板)发送用于获取第一屏幕流的请求。
其中,第一电子设备101中的屏幕共享模块620可以接收到来自第三电子设备103的经过编码的第一屏幕流。屏幕共享模块620可以根据第一电子设备101和第三电子设备103协商的视频编码格式进行解码。
第一电子设备101中的音视频通信应用610可以向存储器申请存储空间,得到第一共享内存614。该第一共享内存614可用于存储上述第一屏幕流。屏幕共享模块620可以通过服务接口611获取第一共享内存614的地址,并将第一屏幕流存储至第一共享内存614。
上述服务接口611可用于将音视频通信应用610和屏幕共享模块620进行关联。当音视频通信应用610申请第一共享内存614,服务接口611可以获取该第一共享内存614的地址,并将该地址发送给屏幕共享模块620。
视频处理模块616可以从第一共享内存614中获取上述第一屏幕流,并对第一屏幕流进行编码。视频处理模块616可以将经过编码的第一屏幕流与上述经过编码的第一摄像头视频流一起发送给第二电子设备的视频处理模块636。视频处理模块616对第一屏幕流进行编码的方式可以参考其对第一摄像头视频流进行编码的方法,这里不再赘述。
在本申请实施例中,上述第一共享内存614、上述第二共享内存612、上述第三共享内存613可以例如是Android应用程序中的surface。该surface可用于存储不同的应用程序在交互时的数据。本申请实施例对上述第一共享内存614、上述第二共享内存612、上述第三共享内存613的具体形式不作限定。
另外,上述第一屏幕流和上述第一摄像头视频流可以在同一个信道中传输。视频处理模块616可以在上述第一屏幕流和上述第一摄像头视频流中增加数据标识。当从传输上述第一屏幕流和上述第一摄像头视频流的信道中接收到数据,第二电子设备102中的视频处理模块636可以根据上述数据标识区分接收到的数据是第一屏幕流,还是第一摄像头视频流。进一步的,视频处理模块636可以将第一屏幕流存储至第一共享内存634,并将第一摄像头视频流存储至第三共享内存633。在同一个信道传输多路视频流的具体实现方式可以参考现有技术中在同一个信道传输多路视频流的实现方式,本申请实施例对此不作限定。
第二电子设备102中的音视频通信应用630可包含服务接口631、第一共享内存634、第二共享内存632、第三共享内存633、摄像头采集模块635和视频处理模块636。音视频通信应用630所包含的各部分的功能可以参考前述实施例对音视频通信应用610的介绍,这里不再赘述。
需要进行说明的是,响应于作用在第一电子设备101上用于共享第三电子设备103屏幕的用户操作,第一电子设备101可以向第二电子设备102发送共享屏幕的请求。第二电子设备102可以显示如图3D所示的用户界面,来询问第二电子设备102的第二用户是否接受共享屏幕的请求。
响应于作用在图3D所示的确定按钮311的用户操作,第二电子设备102可以向存储器申请内存,得到第一共享内存634。这样,视频处理模块636可以将接收到的第一屏幕流存储至第一共享内存634。第二电子设备102还可以在检测到作用在图3D所示的确定按钮311的用户操作之前申请第一共享内存634。本申请实施例对第二电子设备申请第一共享内存的时间不作限定。
服务接口631可以将屏幕共享模块640和音视频通信应用630进行关联。其中,服务接口631可以获取第一共享内存634的地址。响应于用于将接收到的第三电子设备103共享的屏幕交由第四电子设备104显示的用户操作,如作用在图3F所示设备选项框330中的John的电视选项332的用户操作,服务接口631可以将第一共享内存634的地址发送给屏幕共享模块640。屏幕共享模块640可以根据第一共享内存634的地址从第一共享内存634中获取第一屏幕流,并将该第一屏幕流进行编码。屏幕共享模块640可以根据第二电子设备102与第四电子设备104协商的视频编码格式对第一屏幕流进行编码。进一步的,屏幕共享模块640可以将经过编码的第一屏幕流发送给第四电子设备104。
响应于作用在第一电子设备101上用于共享第三电子设备103屏幕的用户操作,第一电子设备101可以向第三电子设备发送获取第一屏幕流的请求。当接收到上述获取第一屏幕流的请求,第三电子设备103可以通过屏幕共享模块650对屏幕进行录制,得到第一屏幕流。屏幕共享模块650可以按照第一电子设备101和第三电子设备103协商的视频编码格式,对第一屏幕流进行编码,并将编码后的第一屏幕流发送给第一电子设备101中的屏幕共享模块620。
响应于作用在第二电子设备102上用于将第三电子设备103共享的屏幕交由第四电子设备104显示的用户操作,第二电子设备102的屏幕共享模块640可以将经过编码的第一屏幕流发送给第四电子设备104的屏幕共享模块660。当接收到上述经过编码的第一屏幕流,屏幕共享模块660可以根据第二电子设备102和第四电子设备104协商的视频编码格式进行解码,得到第一屏幕流。第四电子设备104可以将第一屏幕流送显至屏幕。这样,第四电子设备104可以显示第三电子设备103共享的屏幕。
上述第一屏幕流从第三电子设备103传输至第一电子设备101的信道可以为第一电子设备101和第三电子设备103建立通信连接的信道,例如基于WiFi直连协议建立通信连接的信道。上述第一屏幕流从第二电子设备102传输至第四电子设备104的信道可以为第二电子设备102和第四电子设备104建立通信连接的信道。本申请实施例对第一电子设备101和第三电子设备103通信的方式、第二电子设备102和第四电子设备104通信的方式不作限定。
第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104中还可以包含更多的应用和模块,或包含更少的应用和模块,本申请实施例对此不作限定。
在一种可能的实现方式中,第一电子设备101和第二电子设备102建立视频通信连接后,第一电子设备101可以采集第一用户的语音输入,得到第一音频。第一电子设备101中还可包含有音频处理模块A和第四共享内存A。上述第四共享内存A可以为音视频通信应用610从存储器中申请得到的。第一电子设备101可以将上述第一音频存储至第四共享内存A。第一电子设备101中的音频处理模块A可以从第四共享内存A中获取第一音频,并根据第一电子设备101和第二电子设备102协商的音频编码格式对第一音频进行编码。该音频处理模块A可以将经过编码的第一音频发送给第二电子设备102。
第二电子设备102中还包含有音频处理模块B和第四共享内存B。当接收到经过编码的第一音频,音频处理模块B可以进行解码,得到第一音频,并将该第一音频存储至第四共享内存B。该第一音频可以被送至第二电子设备102的扬声器进行播放。当进行前述实施例的屏幕共享,第一电子设备101的视频处理模块616还可以将第一屏幕流发送给第二电子设备102的视频处理模块636。
第二电子设备102中的屏幕共享模块640可以通过服务接口631获取第一共享内存634和上述第四共享内存B的地址。响应于将第一屏幕流交由第四电子设备104来显示的用户操作,屏幕共享模块640可以从第一共享内存634中获取第一屏幕流,以及从第四共享内存B中获取第一音频,并将第一屏幕流和第一音频发送给第四电子设备104。当接收到第一屏幕流和第一音频,第四电子设备104可以显示屏幕流中包含的图像,并可通过扬声器播放上述第一音频。第二电子设备102可以不播放上述第一音频。
在一种可能的实现方式中,第三电子设备103在进行屏幕共享时,第三电子设备103的扬声器在播放第二音频。例如,在共享屏幕的过程中,第三电子设备103在播放包含有第二音频的多媒体文件。响应于作用在第一电子设备101上用于共享第三电子设备103屏幕的用户操作,第三电子设备103可以将上述第二音频以及进行屏幕录制得到的第一屏幕流发送给第一电子设备101。
需要进行说明的是,第三电子设备103可包含有多媒体文件处理模块。该多媒体文件处理模块可以将上述第二音频送至第三电子设备103的扬声器进行播放,并将第二音频发送给第三电子设备103的屏幕共享模块650。本申请实施例对第三电子设备103从包含有第二音频的多媒体文件中获取第二音频的方式不作限定。
第一电子设备101中可包含有音频处理模块A和第四共享内存C。上述第四共享内存C可以为音视频通信应用610从存储器中申请得到的。第一电子设备101可以将上述第二音频存储至第四共享内存C。
当进行前述实施例的屏幕共享,第一电子设备101中的音频处理模块A可以从第四共享内存C中获取第二音频,并根据第一电子设备101和第二电子设备102协商的音频编码格式对第二音频进行编码。该音频处理模块A可以将经过编码的第二音频发送给第二电子设备102。第一电子设备101的视频处理模块616还可以将第一屏幕流发送给第二电子设备102的视频处理模块636。
第二电子设备102中可包含有音频处理模块B和第四共享内存D。当接收到经过编码的第二音频,音频处理模块B可以进行解码,得到第二音频。进一步的,音频处理模块B可以将第二音频存储至第四共享内存D。该第二音频可以被送至第二电子设备102的扬声器进行播放。第二电子设备102还可以显示该第一屏幕流中包含的图像。其中,第二电子设备102同时播放第一音频和第二音频的实现方式可以参考现有技术中电子设备同时播放两路音频的实现方式,这里不做赘述。
响应于作用在第二电子设备102上用于将第三电子设备103共享的屏幕交由第四电子设备104显示的用户操作,第二电子设备102可以将上述第二音频和第一屏幕流发送给第四电子设备104。这样,第四电子设备104可以播放上述第二音频,并显示第一屏幕流中包含的图像。其中,第二电子设备102可以不再播放上述第二音频。
上述第一音频或上述第二音频从第一电子设备101传输至第二电子设备102,以及从第二电子设备102传输至第四电子设备104的实现方法可以参考现有技术中在视频通信过程中音频传输的实现方式,本申请实施例对此不作限定。
在图4所示的屏幕共享系统中,在第一电子设备101和第二电子设备102建立有视频通信连接时,第三电子设备103可以通过第一电子设备101向第二电子设备102共享屏幕。第二电子设备102可以显示在第三电子设备103的屏幕上显示的内容,还可以将第三电子设备103的屏幕上显示的内容交由第四电子设备104进行显示。其中,第三电子设备103可以是第一电子设备101附近的电子设备。第四电子设备104可以是第二电子设备附近的电子设备。这样,电子设备之间共享屏幕的方式更加灵活。可共享的内容不再局限在建立了视频通信连接的电子设备上。不具备视频通信能力的电子设备也可以通过建立有视频通信连接的电子设备来进行屏幕共享。
图5和图6示例性示出了本申请实施例提供的在视频通信过程中,电子设备共享屏幕时信息交互的具体过程。
其中,图5为本申请实施例提供的第一电子设备101和第二电子设备102建立视频通信连接时信息交互的具体过程。图6为本申请实施例提供的第三电子设备103共享屏幕时信息交互的具体过程。
1、第一电子设备101和第二电子设备102可以建立视频通信连接。
如图5所示,第一电子设备101和第二电子设备102建立视频通信连接可包括步骤S101~S111。其中:
S101、第一电子设备101的触摸屏671可以检测到用于视频呼叫第二电子设备102的第一用户操作。
其中,第一用户操作可以包括:开启第一电子设备101上的音视频通话应用(如畅联通话应用)以及对和第二电子设备102关联的联系方式(如电话号码)进行拨号。本申请实施例对上述第一用户操作不作限定。
S102、触摸屏671可以将上述第一用户操作交由第一电子设备101的处理器处理。该处理器可以开启摄像头672,并调用通信模块673向第二电子设备102发送建立视频通信连接的请求。
S103、第一电子设备101可以将第一摄像头视频流送显至触摸屏671。
第一摄像头视频流可以由第一电子设备101的摄像头672采集得到。第一电子设备101显示上述第一摄像头视频流中包含的图像的具体的实现方式可以参考前述图4所示的实施例。这里不再赘述。其中,上述第一摄像头视频流中的图像可以显示在图3A所示的第二显示区域203。
S104、第一电子设备101可以通过通信模块673向第二电子设备102的通信模块674发送建立视频连接的请求。
本申请实施例对上述步骤S103和步骤S104之间时间的先后顺序不作限定。
S105、当接收到建立视频连接的请求,通信模块674可以将该通信连接请求交由第二电子设备102的处理器处理。该处理器可调用触摸屏676显示视频来电通知界面。
S106、第二电子设备102的触摸屏676可以检测到用于接听视频通信的第二用户操作。
其中,上述视频来电通知界面可包含有用于接听视频通信的接听控件。上述第二用户操作可以例如是作用在接听控件上的触摸操作。本申请实施例对上述第二用户操作不作限定。
S107、触摸屏676可以将第二用户操作交由第二电子设备102的处理器处理。该处理器可以开启第二电子设备102的摄像头675,并调用通信模块674与第一电子设备101建立视频通信连接。
S108、第二电子设备102可以通过通信模块674向第一电子设备101的通信模块673发送确认建立视频通信连接的消息。
S109、第二电子设备102可以将第二摄像头视频流送显至第二电子设备102的触摸屏676。
第二摄像头视频流可以由摄像头672采集得到。第二电子设备102显示上述第二摄像头视频流中包含的图像的具体的实现方式可以参考前述图4所示的实施例。这里不再赘述。其中,上述第二摄像头视频流中的图像可以显示在图3A所示的第四显示区域303。
本申请实施例对上述步骤S108和步骤S108之间时间的先后顺序不作限定。
S110、当接收到确认建立视频通信连接的消息,通信模块673可以将该确认建立视频通信连接的消息交由第一电子设备101的处理器处理。该处理器可以通过通信模块674向第二电子设备102发送第一摄像头视频流。
当接收到第一摄像头视频流,第二电子设备102可以将第一摄像头视频流送显至第二电子设备102的触摸屏676。第二电子设备102显示上述第一摄像头视频流中包含的图像的具体实现方式可以参考前述图4所示的实施例。这里不再赘述。其中,上述第一摄像头视频流中的图像可以显示在图3A所示的第三显示区域302。
S111、当第二电子设备102与第一电子设备101建立视频通信连接,第二电子设备102可以通过通信模块674将第二摄像头视频流发送给第一电子设备101的通信模块673。
当接收到第二摄像头视频流,第一电子设备101可以将第二摄像头视频流送显至第一电子设备101的触摸屏671。第一电子设备101显示上述第二摄像头视频流中包含的图像的具体实现方式可以参考前述图4所示的实施例。这里不再赘述。其中,上述第二摄像头视频流中的图像可以显示在图3A所示的第一显示区域202。
本申请实施例对上述步骤S110和步骤S111之间时间的先后顺序不作限定。
在一种可能的实现方式中,第一电子设备101和第二电子设备102在进行视频通信时数据传输的信道可以是以全双工的工作方式工作的。即第一电子设备101和第二电子设备102可以在一个信道上同时分别传输第一摄像头视频流和第二摄像头视频流。
需要进行说明的是,上述在向第二电子设备102发送第一摄像头视频流之前,第一电子设备101可以根据第一电子设备101和第二电子设备102协商的视频编码格式对第一摄像头视频流进行编码。第二电子设备102可以接收到经过编码的第一摄像头视频流。第二电子设备可以根据第一电子设备101和第二电子设备102协商的视频编码格式对经过编码的第一摄像头视频流进行解码。然后第二电子设备102可以将第一摄像头视频流送显至触摸屏676。第二电子设备102发送第二摄像头视频流和第一电子设备101将第二摄像头视频流送显至触摸屏671的过程可以参考上述实施例,这里不再赘述。
本申请实施例对第一电子设备101和第二电子设备102建立视频通信连接的具体方式不作限定。除了图4所示的实现方式,第一电子设备101和第二电子设备102还可以通过现有技术中其他建立视频通信连接的方式进行视频通信。
第一电子设备101和第二电子设备102建立视频通信连接后,第一用户(使用第一电子设备101的用户)和第二用户(使用第二电子设备102的用户)均可以看到第一电子设备101通过摄像头采集的图像,和第二电子设备102通过摄像头采集的图像,从而实现视频通信。
2、第三电子设备103可以共享屏幕。
如图6所示,第三电子设备103共享屏幕可包括步骤S201~S212。其中:
第一电子设备101和第二电子设备102已经建立有视频通信连接。
S201、第一电子设备101可以检测到用于共享第三电子设备103屏幕的第三用户操作。
第三用户操作可以包括:作用在图3A所示的发现设备控件201的用户操作以及作用在图3B所示的Mike的平板选项211的用户操作。其中,Mike的平板可以表示第三电子设备。不限于平板,第三电子设备还可以为其他类型的电子设备,例如电视、笔记本电脑等。本申请实施例对上述第三用户操作不作限定。
S202、响应于上述第三用户操作,第一电子设备101可以向第三电子设备103发送获取第一屏幕流的请求。
S203、第三电子设备103可以调用屏幕共享模块录制第三电子设备103的屏幕,得到第一屏幕流。
第三电子设备103录制屏幕的实现方式可以参考前述图4所示的实施例,这里不再赘述。
S204、第三电子设备103可以向第一电子设备101发送第一屏幕流。
其中,第三电子设备103可以先根据第一电子设备101和第三电子设备103协商的视频编码格式对第一屏幕流进行编码,再将经过编码的第一屏幕流发送给第一电子设备101。
当接收到经过编码的第一屏幕流,第一电子设备101可以先进行解码,得到第一屏幕流。第一电子设备101可以将第一屏幕流存储至图4所示的第一共享内存614。第一电子设备101可以不显示第一屏幕流中包含的图像。若接收到第二电子设备102确认接受共享屏幕的消息,第一电子设备101可以将该第一屏幕流发送给第二电子设备102。上述第一电子设备101存储第一屏幕流的具体过程可以参考图4所示的实施例,这里不再赘述。
S205、响应于上述第三用户操作,第一电子设备101还可以向第二电子设备102发送共享屏幕的请求。
本申请实施例对上述步骤S205和上述步骤S202之间的时间先后顺序不作限定。
S206、第二电子设备102可以检测到接受共享屏幕的第四用户操作。
当接收到共享屏幕的请求,第二电子设备102可以显示如图3D所示的用户界面。则上述第四用户操作可以为作用在图3D所示的确定按钮311的触摸操作。
本申请实施例对上述第四用户操作不作限定。
S207、第二电子设备102可以向第一电子设备101发送接受屏幕共享的消息。
S208、当确定第二电子设备接受屏幕共享,第一电子设备101可以将来自第三电子设备103的第一屏幕流发送给第二电子设备。
其中,第一电子设备101可以先根据第一电子设备101和第二电子设备102协商的视频编码格式对第一屏幕流进行编码,再将经过编码的第一屏幕流发送给第二电子设备102。
在一些实施例中,根据第一电子设备101网络质量的好坏和/或第一电子设备101和第二电子设备102进行视频通信的信道的拥塞情况,第一电子设备101可以对第一屏幕流进行调整。例如,压缩第一屏幕流的分辨率、转换第一屏幕流的格式。然后,第一电子设备101可以将经过上述调整之后的第一屏幕流发送给第二电子设备102。其中,对第一屏幕流进行调整的模块可以为前述图4所述实施例中第一电子设备101中的视频处理模块616。示例性的,第一电子设备101接收到来自第三电子设备103的第一屏幕流分辨率为1080p。由于第一电子设备101网络质量不好,第一电子设备101可以将第一屏幕流的分辨率压缩为720p。然后,第一电子设备101可以将分辨率为720p的第一屏幕流发送给第二电子设备。
本申请实施例对第一电子设备101调整上述第一屏幕流的方式不作限定。
S209、第二电子设备102可以显示第一屏幕流中的图像。
第二电子设备102将第一屏幕流送显至触摸屏的实现方式可以参考前述图4所示的实施例,这里不再赘述。
S210、第二电子设备102检测到将第三电子设备共享的屏幕交由第四电子设备显示的第五用户操作。
其中,该第五用户操作可包括:作用在如图3E所示的投屏控件305的触摸操作以及作用在图3F所示的John的电视选项332的触摸操作。上述John的电视可以表示第四电子设备104。不限于电视,第四电子设备104还可以是其他类型的电子设备,例如平板、笔记本电脑等。本申请实施例对上述第五用户操作不作限定。
S211、第二电子设备102可以向第四电子设备104的通信模块679发送第一屏幕流。
在向第四电子设备104发送第一屏幕流之后,第二电子设备102可以在触摸屏上显示第一摄像头视频流中包含的图像和第二摄像头视频流中包含的图像。具体可以参考图3B所示。
或者,在向第四电子设备104发送第一屏幕流之后,第二电子设备102可以仍在触摸屏上显示第一摄像头视频流中包含的图像和第一屏幕流中包含的图像。具体可以参考图3E所示。
在一些实施例中,根据第二电子设备102网络质量的好坏和/或第二电子设备102与第四电子设备104短距离通信信道的拥塞情况,第二电子设备102可以对接收到的第一屏幕流进行调整之后再发送给第四电子设备104。其中,对第一屏幕流进行调整的模块可以为前述图4所述实施例中第二电子设备102中的视频处理模块636。第二电子设备102对接收到的第一屏幕流进行调整的方式可以参考前述实施例中第一电子设备101对第一屏幕流进行调整的方式,这里不再赘述。
S212、当接收到第一屏幕流,第四电子设备104中的显示模块680可以显示第一屏幕流中的图像。
上述第二电子设备102发送第一屏幕流,以及第四电子设备104显示第一屏幕流中的图像的实现方式可以参考图4所示的实施例,这里不再赘述。
第二电子设备102可以向第四电子设备104发送第一屏幕流和第一摄像头视频流。
在一些实施例中,第二电子设备102将第三电子设备103共享的屏幕交由第四电子设备显示时,第二电子设备102可以将第一屏幕流和第一摄像头视频流均发送给第四电子设备104。第四电子设备104可以显示第一屏幕流中包含的图像和第一摄像头视频流中包含的图像。
如图3F所示,响应于作用在John的电视选项332的用户操作,第二电子设备102可以将第一屏幕流和第一摄像头视频流发送给第四电子设备104。
当接收到第一屏幕流和第一摄像头视频流,第四电子设备104可以显示如图7所示的用户界面520。用户界面520可以包含显示区域521和显示区域522。显示区域521可用于显示第一屏幕流中包含的图像。显示区域522可用于显示第一摄像头视频流中包含的图像。可选的,显示区域521和显示区域522显示的内容可以互换。示例性的,响应于作用在显示区域522上的触摸操作,第四电子设备104可以互换显示在显示区域521和显示区域522显示的内容。即显示区域521可用于显示第一摄像头视频流中包含的图像。显示区域522可用于显示第二摄像头视频流中包含的图像。
在一种可能的实现方式中,第四电子设备104可以从存储器中申请两个共享内存,例如第五共享内存和第六共享内存。当接收到第一屏幕流和第一摄像头视频流,第四电子设备104可以将第一屏幕流和第一摄像头视频流分别存储至第五共享内存和第六共享内存。进一步的,第四电子设备104可以将第五共享内存中的数据送显至上述显示区域521,并将第六共享内存中的数据送显至上述显示区域522。
第四电子设备104还可以通其他方式在屏幕上显示上述第一屏幕流和上述第一摄像头视频流,本申请实施例对此不作限定。
本申请实施例对上述显示区域521和显示区域522的位置和大小均不作限定。
在一种可能的实现方式中,响应于将第一屏幕流交由第四电子设备104来显示的用户操作,第二电子设备102可以将第一屏幕流、第一摄像头视频流和第一音频发送给第四电子设备104。则第四电子设备104可以显示第一屏幕流中包含的图像、第一摄像头视频流中包含的图像。具体可以如图7所示。第四电子设备104还可以通过扬声器播放上述第一音频。第二电子设备102可以不播放上述第一音频。
第二电子设备102接收到第一音频的实现方式可以参考前述实施例,这里不再赘述。
在发送上述第一屏幕流和上述第一摄像头视频流之后,第二电子设备102可以在屏幕上显示第一摄像头视频流中包含的图像和第二摄像头视频流中包含的图像。具体可以如图3A所示。或者,第二在发送上述第一屏幕流和上述第一摄像头视频流之后,第二电子设备102可以在屏幕上显示第一屏幕流中的图像和第一摄像头视频流中包含的图像。
在本申请实施例中,第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104均可以是具有视频通信功能的电子设备。例如手机、平板、笔记本电脑等。另外,第三电子设备103和第四电子设备104还可以是不具有视频通信功能的电子设备。可选的,第四电子设备104还可以是仅用于显示的电子设备。例如投影仪、电子白板等。
电子设备102可以向第四电子设备104发送第二屏幕流。
上述第二屏幕流可以为第二电子设备102对第二电子设备102的屏幕进行录制得到的视频流。第四电子设备104可以显示在第二电子设备102上显示的内容。
如图3F所示,响应于作用在John的电视选项332的用户操作,第二电子设备102可以对屏幕进行录制,得到第二屏幕流,并将该第二屏幕流发送给第四电子设备104。
当接收到上述第二屏幕流,第四电子设备104可以显示如图8所示的用户界面530。该用户界面530中包含的内容可以与图3F和图3A所示的第二电子设备102的用户界面中包含的内容相同。
示例性的,图3A和图3F所示的用户界面中包含有状态栏(包含有移动通信信号的信号强度组件、WiFi信号的强度组件、电池状态组件以及时间组件)、第三显示区域302、第四显示区域303、最小化控件304、投屏控件305、共享中提示框320。
对应的,图8所示的用户界面530中包含有状态栏(包含有移动通信信号的信号强度组件、WiFi信号的强度组件、电池状态组件以及时间组件)、显示区域535、显示区域534、最小化控件531、投屏控件532、共享中提示框533。
其中,显示在第三显示区域302和第四显示区域303的内容可以互换。第二电子设备102互换显示在第三显示区域302和第四显示区域303的内容的方式可以参考前述实施例,这里不再赘述。当第二电子设备102互换显示在第三显示区域302和第四显示区域303的内容,第三显示区域302可以显示第一摄像头视频流中包含的图像。第四显示区域303可以显示第一屏幕流中包含的图像。那么第四电子设备104在显示第二屏幕流中包含的图像时,显示区域535显示的内容可以为第一摄像头屏幕流中的图像,显示区域534显示的内容可以为第一屏幕流中的图像。
在一些实施例中,根据第二电子设备102网络质量的好坏和/或第二电子设备102与第四电子设备104短距离通信信道的拥塞情况,第二电子设备102可以对第二屏幕流进行调整之后再发送给第四电子设备104。第二电子设备102对第二屏幕流进行调整的方式可以参考前述实施例中第一电子设备101对第一屏幕流进行调整的方式,这里不再赘述。在一种可能的实现方式中,除了上述第二屏幕流,第二电子设备102还可以将第一音频发送给第四电子设备104。则第四电子设备104可以显示在第二电子设备102上显示的内容,并播放上述第一音频。第二电子设备102可以不播放上述第一音频。
第二电子设备102接收到第一音频的实现方式可以参考前述实施例,这里不再赘述。
在一种可能的实现方式中,响应于用于将第三电子设备103共享的屏幕交由第四电子设备104来显示的用户操作,第二电子设备102可以在用户界面显示第一选项和第二选项。其中,上述第一选项可以为指示第二电子设备102向第四电子设备104发送上述第一屏幕流的选项。上述第二选项可以为指示第二电子设备102向第四电子设备104发送上述第二屏幕流的选项。具体的,响应于作用在第一选项上的用户操作,第二电子设备102可以将第一屏幕流发送给第四电子设备104。第四电子设备104可以显示如图3F所示的用户界面510。响应于作用在第二选项上的用户操作,第二电子设备102可以对自己的屏幕进行录制,并得到第二屏幕流。进一步的,第二电子设备102可以将第二屏幕流发送给第四电子设备104。第四电子设备104可以显示如图8所示的用户界面530。
下面结合前述实施例的屏幕共享方法,具体介绍本申请实施例提供的另一种屏幕共享系统。
如图9所示,屏幕共享系统可以包括第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104。第一电子设备101和第二电子设备102可以建立有视频通信连接。第三电子设备103可以对屏幕进行录制,得到第一屏幕流,并将该第一屏幕流经第一电子设备101发送给第二电子设备102。第二电子设备102可以显示该第一屏幕流中包含的图像。第二电子设备102可以对屏幕进行录制,得到第二屏幕流,并将第二屏幕流发送给第四电子设备104。第二屏幕流中可包含有第一摄像头视频流中包含的图像以及第一屏幕流中包含的图像。第四电子设备104可以显示第二屏幕流中包含的内容。即在视频通信过程中,第二电子设备102可以将第二电子设备102的屏幕共享给第四电子设备104。
其中,第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104中包含的内容可以参考前述图4所示的实施例,这里不再赘述。
第一电子设备101和第二电子设备102建立视频通信连接的方式、第三电子设备103将第一屏幕流发送给第一电子设备101的实现方式,均可以参考前述实施例,这里不再赘述。
需要进行说明的是,当第二电子设备102的视频处理模块636接收到经过编码的第一屏幕流,视频处理模块636可以进行解码,得到第一屏幕流。视频处理模块636可以将第一屏幕流存储至第一共享内存634。该第一屏幕流可以被送显至第二电子设备102的屏幕。
响应于将第三电子设备103共享的屏幕交由第四电子设备104来显示的用户操作,例如作用在图3F所示的John的电视选项332的触摸操作,第二电子设备102中的屏幕共享模块640可以对第二电子设备102的屏幕进行录制,得到第二屏幕流。然后,屏幕共享模块640可以根据第二电子设备102和第四电子设备104协商的视频编码格式,对第二屏幕流进行编码,并将经过编码的第二屏幕流发送给第四电子设备104的屏幕共享模块660。
屏幕共享模块660可以对上述经过编码的第二屏幕流进行解码,并将第二屏幕流送显至第四电子设备104的屏幕。
上述第二电子设备102进行屏幕录制得到第二屏幕流的方式可以参考前述第三电子设备103进行屏幕录制得到第一屏幕流的实施例,这里不再赘述。
在上述屏幕共享系统中,第一电子设备101和第二电子设备102可以建立视频通信连接。在进行视频通信的过程中,第一电子设备101附近的第三电子设备103可以将自己的屏幕通过第一电子设备101共享给第二电子设备102。第二电子设备102还可以对自己的屏幕进行录制,并将录制得到的屏幕流交由第二电子设备102附近的第四电子设备104来显示。这样,第四电子设备104屏幕上显示的内容可包含显示在第三电子设备103屏幕上的内容。通过该屏幕共享系统,用户在进行视频通信时,可以共享不在视频通信连接之间的电子设备的屏幕,或者将接收到共享屏幕交由不在视频通信连接之间的电子设备来显示。屏幕共享的方式更加灵活。
第一电子设备101和第三电子设备103可以同时向第二电子设备102进行屏幕共享。
在一些实施例中,响应于作用在第一电子设备101上用于发现可共享的屏幕的用户操作,例如作用在图3A所示的发现设备控件201的触摸操作,第一电子设备101可以搜索到一个或多个电子设备。这一个或多个可以对自己的屏幕进行录制,并将录制得到的屏幕流经过第一电子设备101发送给第二电子设备102。
进一步的,第一电子设备101可以在图3B所示的设备选项框210中显示与第一电子设备101对应的选项,以及与搜索到的一个或多个电子设备对应的选项。其中,设备选项框210中的选项可以由一个或者两个被选中。被选中的选项对应的电子设备可以对屏幕进行录制,并可以将录制得到的屏幕流经第一电子设备101发送给第二电子设备102。
示例性的,响应于与第一电子设备101对应的选项和与第三电子设备103对应的选项被选中的用户操作,第一电子设备101可以对自己的屏幕进行录制,得到第三屏幕流。第一电子设备101还可以向第二电子设备102发送共享屏幕的请求,以及向第三电子设备103发送获取第一屏幕流的请求。
当接收到上述获取第一屏幕流的请求,第三电子设备103可以对自己的屏幕进行录制,得到第一屏幕流,并将该第一屏幕流发送给第一电子设备101。
若第二电子设备102检测到接受屏幕共享的用户操作,第二电子设备102可以向第一电子设备101发送接受屏幕共享的消息。然后,第一电子设备101可以将第一屏幕流和第三屏幕流发送给第二电子设备102。
当接收到上述第一屏幕流和上述第三屏幕流,第二电子设备102可以将第一屏幕流和第三屏幕流分别显示在图3A所示的第三显示区域302和第四显示区域303中。其中显示在第三显示区域302的内容和显示在第四显示区域303的内容可以互换。
可选的,第二电子设备102可以将上述第一屏幕流和/或上述第三屏幕流发送给第四电子设备104。第四电子设备104可以显示上述第一屏幕流中包含的图像和/或上述第三屏幕流中包含的图像。
上述设备选项框210中的选项不限于一个或两个被选中,还可以是两个以上的选项被选中。当上述设备选项框210中有M个选项被选中,与这M个选项对应的电子设备可以对自己的屏幕进行录制,得到M个屏幕流。这M个屏幕流可以由第一电子设备101发送给第二电子设备102。第二电子设备102的屏幕上可包含有M个显示区域。这M个显示区域可分别用于显示这M个屏幕流中包含的图像。上述M为大于2的整数。
另外,第二电子设备102可以将上述M个屏幕流中的一个或多个屏幕流发送给第四电子设备104。第四电子设备104可以显示接收到的一个或多个屏幕流中包含的图像。
第一电子设备101可以显示第三电子设备103共享的屏幕。
在一些实施例中,第一电子设备101可以显示第三电子设备103共享的屏幕。并且,第一电子设备101可以开启涂鸦功能,来记录作用在第一电子设备101屏幕上的第一标记。第一电子设备101可以将来自第三电子设备103的第一屏幕流和上述第一标记发送给第二电子设备102。第二电子设备102可以显示第一屏幕流中包含的图像以及上述第一标记。这样,在一些应用场景中,例如第一用户将第三电子设备103的屏幕经第一电子设备101共享给第二电子设备102的过程中,第一用户可能需要拿着第一电子设备101走动。若第一电子设备101可以显示第三电子设备103共享的屏幕,那么第一用户可以通过第一电子设备101观看第三电子设备103的屏幕,并可在共享的屏幕上做标记。
具体的,当接收到第一屏幕流,第一电子设备101可以将第一屏幕流存储至第一共享内存。该第一屏幕流可以由图4所示的视频处理模块616获取,并在经过视频处理模块616编码后发送给第二电子设备102。该第一屏幕流还可以被送显至第一电子设备101的屏幕。例如,第一电子设备101可以在图3A所示的第一显示区域202显示第一屏幕流中包含的图像,在图3A所示的第二显示区域203显示来自第二电子设备102的第二摄像头视频流。
另外,第一电子设备101还可以在屏幕上显示如图3E所示的共享中提示框420。该共享中提示框420中可包含有涂鸦控件421。在涂鸦功能未开启时,响应于作用在涂鸦控件421的用户操作,第一电子设备101可以开启涂鸦功能,来记录作用在第一电子设备101屏幕上的第一标记。示例性的,当开启涂鸦功能,第一电子设备101可以从存储器中申请第七共享内存。第一电子设备101可以将上述第一标记存储至该第七共享内存。本申请实施例对第一电子设备101记录并发送上述第一标记的方式不作限定。
第一电子设备101可以将上述第一屏幕流和上述第一标记发送给第二电子设备102。第二电子设备102可以显示第一屏幕流中包含的图像和第一标记。
在一些实施例中,在第一电子设备101和第二电子设备102建立有视频通信连接,且第三电子设备103经过第一电子设备101向第二电子设备102共享屏幕的情况下,响应于将第三电子设备103共享的屏幕显示在第一电子设备101上的用户操作,第一电子设备101可以显示第一屏幕流中包含的图像。
或者,第一电子设备101可以检测第一电子设备101是否远离第三电子设备103。在接收到第一屏幕流的情况下,若检测到第一电子设备101在远离第三电子设备103,第一电子设备101可以显示第一屏幕流中包含的图像。上述检测第一电子设备101是否远离第三电子设备103的方法可以包括:第一电子设备101每隔预设时间段向第三电子设备103发送探测信号。第三电子设备103可以返回响应信号。第一电子设备101可以根据接收到的返回信号的信号强度来判断第一电子设备101是否远离第三电子设备103。或者,第一电子设备101可以利用自己的运动传感器来判断第一电子设备101的运动状态。当第一电子设备101判断出运动步数超过预设步数,第一电子设备101可以确定第一电子设备101在远离第三电子设备103。本申请实施例对上述第一电子设备101检测第一电子设备101是否远离第三电子设备103的实现方式不作限定。
这样,在例如是视频会议或视频教学等场景中,第一用户可以共享不在视频通信连接中的第三电子设备的屏幕。并且,第一用户在第三电子设备103上的标记可以被发送至第二电子设备102,并由第二电子设备102显示。第一用户还可以在第一电子设备101上显示第三电子设备103共享的屏幕。第一用户在第一电子设备101上的标记也可以被发送至第二电子设备102,并由第二电子设备102显示。即第三电子设备103进行屏幕共享时,第一用户可以在不待在第三电子设备103的旁边的情况下而观看第三电子设备103的屏幕,并向第二用户讲解第三电子设备103屏幕上显示的内容。这极大提高了屏幕共享的灵活性。
图10示例性示出了本申请实施例提供的另一种屏幕共享系统。
如图10所示,该屏幕共享系统可包括第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104。其中,第一电子设备101可包括通过总线连接的通信模块711、处理模块712、显示模块713和存储模块714。第二电子设备102可包括通过总线连接的通信模块721、处理模块722、显示模块723和存储模块724。第三电子设备103可包括通过总线连接的通信模块731、显示模块732、处理模块733、存储模块734和屏幕获取模块735。第四电子设备104可包括通过总线连接的通信模块741、处理模块742、显示模块743和存储模块744。上述第三电子设备103可以为第一电子设备101附近的电子设备。上述第四电子设备104可以为第二电子设备102附近的电子设备。
具体的,在第一电子设备101中,通信模块711可用于第一电子设备101与第二电子设备建立通信连接,以及第一电子设备101与第三电子设备103建立通信连接。例如,第一电子设备101可以通过通信模块711与第二电子设备102建立视频通信连接。这样,第一电子设备101可以通过通信模块711接收到来自第二电子设备102的摄像头采集的第二摄像头视频流,并通过通信模块711将第一电子设备101的摄像头采集的第一摄像头视频流发送给第二电子设备102。第一电子设备101的通信模块711可以基于WiFi直连的网络通信协议与第三电子设备103进行数据交互。这样,第一电子设备101可以通过通信模块711接收到来自第三电子设备103进行屏幕录制得到的第一屏幕流。进一步的,第一电子设备101可以通过通信模块711将第一屏幕流发送给第二电子设备102。在本申请实施例中,该通信模块711可以为前述图5所示实施例中的通信模块673。
处理模块712可用于调用通信模块711向第二电子设备102、第三电子设备103发送建立通信连接的请求。处理模块712还可以处理作用在第一电子设备101的触摸屏上的用户操作。处理模块712还可用于将来自第三电子设备103的第一屏幕流送至存储模块714,以及将来自第二电子设备102的第二摄像头视频流送至显示模块713。
显示模块713可用于显示上述第二摄像头视频流,以及第一电子设备101的摄像头采集的第一摄像头视频流。在本申请实施例中,该显示模块可以包含于前述图5所示实施例中的触摸屏671。
存储模块714可用于存储上述第一摄像头视频流、上述第二摄像头视频流和上述第一屏幕流。在本申请实施例中,存储模块714可包含前述图4所示实施例中的第一共享内存61 4、第二共享内存612和第三共享内存613。
在第二电子设备102中,通信模块721、处理模块722、显示模块723和存储模块724的作用可以参考第一电子设备101中对应模块的作用。需要进行说明的是,第二电子设备102可以通过通信模块721接收到第一摄像头视频流和第一屏幕流。第二电子设备102可以通过通信模块721将第一屏幕流发送给第四电子设备104,或者将第一屏幕流和第一摄像头视频流发送给第四电子设备104。
在第三电子设备103进行屏幕共享之前,若第一电子设备101和第二电子设备102建立视频通信连接,第二电子设备102的显示模块723可用于显示第一摄像头视频流中包含的图像和第二摄像头视频流中包含的图像。当接收到第一屏幕流,显示模块723可用于显示第一摄像头视频流中包含的图像和第一屏幕流中包含的图像。当第二电子设备102通过通信模块将第一屏幕流发送给第四电子设备104,显示模块723可用于显示第一摄像头视频流中包含的图像和第二摄像头视频流中包含的图像。或者,显示模块723可仍用于显示第一摄像头视频流中包含的图像和第一屏幕流中包含的图像。
在本申请实施例中,通信模块721可以是前述图5实施例中的通信模块674。显示模块723可包含于前述图5实施例中的触摸屏676。存储模块724可包含前述图4实施例中的第一共享内存634、第二共享内存632和第三共享内存633。
在第三电子设备103中,通信模块731、显示模块732、处理模块733和存储模块734的作用可以参考前述第一电子设备101中对应模块的作用。需要进行说明的是,屏幕获取模块735可用于对第三电子设备103通过显示模块732显示的内容进行录制,得到第一屏幕流。进一步的,第三电子设备103可以通过通信模块731向第一电子设备101发送第一屏幕流。
在第四电子设备104中,通信模块741、处理模块742、显示模块743和存储模块744的作用可以参考前述第一电子设备101中对应模块的作用。需要进行说明的是,第四电子设备104可以通过通信模块741接收到第一屏幕流。进一步的,第四电子设备104可以通过显示模块743显示第一屏幕流中包含的图像。这样,第四电子设备104可以显示第三电子设备103共享的屏幕。
在一些实施例中,第二电子设备102还可包含有屏幕获取模块。该屏幕获取模块可用于对第二电子设备102通过显示模块723显示的内容进行录制,得到第二屏幕流。当第二电子设备102的显示模块723中显示有第一屏幕流,且第二电子设备102检测到用于将第三电子设备103共享的屏幕交由第四电子设备104来显示的用户操作,第二电子设备102可以通过通信模块721将第二屏幕流发送给第四电子设备104。
上述第一电子设备101、第二电子设备102、第三电子设备103和第四电子设备104还可以包含更多或更少的模块,本申请实施例对此不作限定。
在本申请中,在第一电子设备和第二电子设备建立视频通信连接期间,第一电子设备可以显示第一界面,并在第一界面播放第一视频流。该第一视频流可以是前述实施例中的第二摄像头视频流。其中,第一电子设备在第一界面播放第一视频流可以为第一电子设备在第一界面显示第一视频流中包含的图像。第一视频流中可以包含有多帧图像。这多帧图像根据摄像头采集时间的先后顺序可包含有时间戳。第一电子设备可以根据第一视频流中多帧图像的时间戳来显示第一视频流中包含的图像。即第一电子设备可以根据第一视频流中多帧图像被摄像头采集的时间的先后顺序来显示第一视频流中包含的图像。本申请中,电子设备播放视频流均可以表示电子设备显示该视频流中包含的图像。
第二电子设备可以显示第二界面,并在第二界面播放第二视频流。该第二视频流可以是前述实施例中的第一摄像头视频流。
在本申请中,第三电子设备向第一电子设备发送第三视频流。该第三视频流可以是前述实施例中的第一屏幕流。
在本申请中,第二电子设备在第二界面的显示区域A中播放第二视频流,在第二界面的显示区域B中播放第三视频流。该显示区域A可以为前述图3E所示的第四显示区域303。该显示区域B可以为前述图3E所示的第三显示区域302。
在本申请中,第二电子设备在播放第三视频流时进行屏幕录制,可以得到前述实施例的第二屏幕流。第二电子设备可以将该第二屏幕流发送给第四电子设备。
在本申请中,第一电子设备在视频通信连接期间,可以向第三电子设备发送屏幕录制指令。该屏幕录制指令可用于指示第三电子设备进行屏幕录制并得到第三视频流。该屏幕录制指令可以是第一电子设备响应于作用在图3B所示的Mike的平板选项211的用户操作后发送的。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (24)

1.一种屏幕共享方法,其特征在于,所述方法应用于屏幕共享系统,所述屏幕共享系统包括第一电子设备、第二电子设备、第三电子设备和第四电子设备;所述方法包括:
所述第一电子设备和所述第二电子设备建立视频通信连接;
所述第一电子设备显示第一界面;所述第一界面中播放有第一视频流,所述第一视频流是所述第二电子设备通过摄像头在所述视频通信连接期间采集的;
所述第二电子设备显示第二界面;所述第二界面中播放有第二视频流,所述第二视频流是所述第一电子设备通过摄像头在所述视频通信连接期间采集的;
所述第三电子设备向所述第一电子设备发送第三视频流;所述第三视频流包括所述第三电子设备屏幕的内容;
所述第一电子设备在接收到所述第三视频流之后,向所述第二电子设备发送所述第三视频流;
所述第二电子设备在接收到所述第三视频流之后,向所述第四电子设备发送第四视频流;所述第四视频流包括所述第三电子设备屏幕的内容;
所述第四电子设备播放所述第四视频流。
2.根据权利要求1所述的方法,其特征在于,所述第二电子设备在接收到所述第三视频流之后,所述方法还包括:
所述第二电子设备在所述第二界面的显示区域A中播放所述第二视频流,在所述第二界面的显示区域B中播放所述第三视频流。
3.根据权利要求2所述的方法,其特征在于,
所述第四视频流为所述第三视频流;
或者,所述第四视频流包括所述第三视频流和所述第二视频流。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述第四电子设备播放所述第三视频流的情况下,所述第二电子设备在所述第二界面中取消播放所述第三视频流。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述第四电子设备取消播放所述第三视频流之后,所述第二电子设备在所述第二界面中播放所述第三视频流。
6.根据权利要求1或2所述的方法,其特征在于,
所述第四视频流为所述第二电子设备在播放所述第三视频流时进行屏幕录制得到的。
7.根据权利要求2-5中任一项所述的方法,其特征在于,所述第二电子设备的所述第二界面还包括显示区域C,所述方法还包括:
所述第二电子设备在所述第二界面的显示区域A中播放所述第二视频流,在所述第二界面的显示区域B中播放所述第三视频流时,所述第二电子设备在所述显示区域C中播放所述第一视频流。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备在所述视频通信连接期间,向所述第三电子设备发送屏幕录制指令;所述屏幕录制指令用于指示所述第三电子设备进行屏幕录制并得到所述第三视频流。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述第三视频流包含第一标记;所述第一标记是所述第三电子设备根据用户在屏幕上的触摸痕迹生成的。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述第一电子设备在接收到所述第三视频流之后,所述方法还包括:
所述第一电子设备检测出所述第一电子设备远离所述第三电子设备,所述第一电子设备播放所述第三视频流。
11.一种屏幕共享系统,其特征在于,所述系统包括:
第一电子设备、第二电子设备、第三电子设备和第四电子设备;其中,所述第一电子设备和所述第二电子设备建立有视频通信连接;
所述第一电子设备,用于显示第一界面;所述第一界面中播放有第一视频流,所述第一视频流是所述第二电子设备通过摄像头在所述视频通信连接期间采集的;
所述第二电子设备,用于显示第二界面;所述第二界面中播放有第二视频流,所述第二视频流是所述第一电子设备通过摄像头在所述视频通信连接期间采集的;
所述第三电子设备,用于向所述第一电子设备发送第三视频流;所述第三视频流包括所述第三电子设备屏幕的内容;
所述第一电子设备,还用于在接收到所述第三视频流之后,向所述第二电子设备发送所述第三视频流;
所述第二电子设备,还用于在接收到所述第三视频流之后,向所述第四电子设备发送第四视频流;所述第四视频流包括所述第三电子设备屏幕的内容;
所述第四电子设备,用于播放所述第四视频流。
12.根据权利要求11所述的系统,其特征在于,所述第二电子设备在接收到所述第三视频流之后,还用于:
在所述第二界面的显示区域A中播放所述第二视频流,在所述第二界面的显示区域B中播放所述第三视频流。
13.根据权利要求12所述的系统,其特征在于,
所述第四视频流为所述第三视频流;
或者,所述第四视频流包括所述第三视频流和所述第二视频流。
14.根据权利要求13所述的系统,其特征在于,所述第二电子设备还用于:
在所述第四电子设备播放所述第三视频流的情况下,在所述第二界面中取消播放所述第三视频流。
15.根据权利要求14所述的系统,其特征在于,所述第二电子设备还用于:
在所述第四电子设备取消播放所述第三视频流之后,在所述第二界面中播放所述第三视频流。
16.根据权利要求11或12所述的系统,其特征在于,
所述第四视频流为所述第二电子设备在播放所述第三视频流时进行屏幕录制得到的。
17.根据权利要求11-16中任一项所述的系统,其特征在于,所述第一电子设备还用于:
在所述视频通信连接期间,向所述第三电子设备发送屏幕录制指令;所述屏幕录制指令用于指示所述第三电子设备进行屏幕录制并得到所述第三视频流。
18.一种屏幕共享方法,其特征在于,所述方法包括:
第二电子设备和第一电子设备建立视频通信连接;
所述第二电子设备通过摄像头在所述视频通信连接期间采集得到第一视频流;所述第一视频流播放在所述第一电子设备的第一界面中;
所述第二电子设备显示第二界面;所述第二界面中播放有第二视频流,所述第二视频流是所述第一电子设备通过摄像头在所述视频通信连接期间采集的;
所述第二电子设备在接收到来自所述第一电子设备的第三视频流之后,向第四电子设备发送第四视频流;所述第一电子设备的第三视频流是由第三电子设备发送给所述第一电子设备的,所述第三视频流包括所述第三电子设备屏幕的内容;所述第四视频流包括所述第三电子设备屏幕的内容;所述第四视频流播放在所述第四电子设备上。
19.根据权利要求18所述的方法,其特征在于,所述第二电子设备在接收到来自所述第一电子设备的第三视频流之后,所述方法还包括:
所述第二电子设备在所述第二界面的显示区域A中播放所述第二视频流,在所述第二界面的显示区域B中播放所述第三视频流。
20.根据权利要求19所述的方法,其特征在于,
所述第四视频流为所述第三视频流;
或者,所述第四视频流包括所述第三视频流和所述第二视频流。
21.根据权利要求20所述的方法,其特征在于,所述方法还包括:
在所述第三视频流播放在所述第四电子设备上的情况下,所述第二电子设备在所述第二界面中取消播放所述第三视频流。
22.根据权利要求21所述的方法,其特征在于,所述方法还包括:
在所述第三视频流被取消播放在所述第四电子设备上之后,所述第二电子设备在所述第二界面中播放所述第三视频流。
23.根据权利要求18或19所述的方法,其特征在于,
所述第四视频流为所述第二电子设备在播放所述第三视频流时进行屏幕录制得到的。
24.一种电子设备,其特征在于,包括:
摄像头、触摸屏、通信模块、存储器和处理器;
其中,所述通信模块,用于与第一电子设备建立视频通信连接;
所述摄像头,用于在所述视频通信连接期间采集得到第一视频流;所述第一视频流播放在所述第一电子设备的第一界面中;
所述触摸屏,用于显示第二界面;所述第二界面中播放有第二视频流,所述第二视频流是所述第一电子设备通过摄像头在所述视频通信连接期间采集的;
所述通信模块,还用于接收来自所述第一电子设备的第三视频流,并向第四电子设备发送第四视频流;所述第一电子设备的第三视频流是由第三电子设备发送给所述第一电子设备的,所述第三视频流包括所述第三电子设备屏幕的内容;所述第四视频流包括所述第三电子设备屏幕的内容;所述第四视频流播放在所述第四电子设备上;
所述存储器,用于存储所述第一视频流、所述第二视频流和所述第三视频流,还用于存储计算机程序;
所述处理器用于调用所述计算机程序,使得所述电子设备执行权利要求18至23任一项所述的方法。
CN202010890853.2A 2020-08-29 2020-08-29 屏幕共享方法、电子设备及系统 Pending CN114125352A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010890853.2A CN114125352A (zh) 2020-08-29 2020-08-29 屏幕共享方法、电子设备及系统
US18/043,561 US20230269437A1 (en) 2020-08-29 2021-08-06 Screen sharing method and system and electronic device
PCT/CN2021/111113 WO2022042261A1 (zh) 2020-08-29 2021-08-06 屏幕共享方法、电子设备及系统
EP21860101.1A EP4195659A4 (en) 2020-08-29 2021-08-06 SCREEN SHARING METHOD, ELECTRONIC DEVICE AND SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010890853.2A CN114125352A (zh) 2020-08-29 2020-08-29 屏幕共享方法、电子设备及系统

Publications (1)

Publication Number Publication Date
CN114125352A true CN114125352A (zh) 2022-03-01

Family

ID=80354516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010890853.2A Pending CN114125352A (zh) 2020-08-29 2020-08-29 屏幕共享方法、电子设备及系统

Country Status (4)

Country Link
US (1) US20230269437A1 (zh)
EP (1) EP4195659A4 (zh)
CN (1) CN114125352A (zh)
WO (1) WO2022042261A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269510B (zh) * 2020-10-29 2022-03-25 维沃移动通信(杭州)有限公司 信息处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090319947A1 (en) * 2008-06-22 2009-12-24 Microsoft Corporation Mobile communication device with graphical user interface to enable access to portal services
CN102541428A (zh) * 2010-12-21 2012-07-04 Lg电子株式会社 移动终端以及在其中控制模式画面显示的方法
CN103051950A (zh) * 2013-01-17 2013-04-17 东莞宇龙通信科技有限公司 共享控制装置和播放画面的共享方法
CN103312804A (zh) * 2013-06-17 2013-09-18 华为技术有限公司 屏幕分享方法和相关设备及通信系统
CN108235111A (zh) * 2016-12-15 2018-06-29 华为技术有限公司 信息共享方法及智能机顶盒

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202012013297U1 (de) * 2011-09-14 2016-02-12 Barco N.V. Elektronisches Werkzeug für Meetings
JP6064518B2 (ja) * 2012-10-29 2017-01-25 株式会社リコー 通信端末、遠隔会議システムおよびプログラム
CN105721763A (zh) * 2014-12-05 2016-06-29 深圳富泰宏精密工业有限公司 合成照片的系统及方法
CN108632560A (zh) * 2018-05-14 2018-10-09 聚好看科技股份有限公司 视频通话方法、装置及终端设备
CN110769394B (zh) * 2019-09-18 2021-10-01 华为技术有限公司 一种视频通话的方法及电子设备
CN111107223B (zh) * 2019-12-25 2021-08-24 维沃移动通信有限公司 一种消息处理方法及电子设备
CN111913628B (zh) * 2020-06-22 2022-05-06 维沃移动通信有限公司 分享方法、装置和电子设备
CN112702557A (zh) * 2020-12-23 2021-04-23 百果园技术(新加坡)有限公司 一种基于通话的屏幕共享方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090319947A1 (en) * 2008-06-22 2009-12-24 Microsoft Corporation Mobile communication device with graphical user interface to enable access to portal services
CN102541428A (zh) * 2010-12-21 2012-07-04 Lg电子株式会社 移动终端以及在其中控制模式画面显示的方法
CN103051950A (zh) * 2013-01-17 2013-04-17 东莞宇龙通信科技有限公司 共享控制装置和播放画面的共享方法
CN103312804A (zh) * 2013-06-17 2013-09-18 华为技术有限公司 屏幕分享方法和相关设备及通信系统
CN108235111A (zh) * 2016-12-15 2018-06-29 华为技术有限公司 信息共享方法及智能机顶盒

Also Published As

Publication number Publication date
EP4195659A4 (en) 2024-01-24
US20230269437A1 (en) 2023-08-24
WO2022042261A1 (zh) 2022-03-03
EP4195659A1 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
CN110381345B (zh) 一种投屏显示方法及电子设备
CN110381485B (zh) 蓝牙通信方法、tws蓝牙耳机及终端
US11812098B2 (en) Projected audio and video playing method and electronic device
CN110138937B (zh) 一种通话方法、设备及系统
US11653398B2 (en) Bluetooth connection method and device
WO2020244623A1 (zh) 一种空鼠模式实现方法及相关设备
WO2020133183A1 (zh) 音频数据的同步方法及设备
EP3982641A1 (en) Screen projection method and device
WO2021017909A1 (zh) 一种通过nfc标签实现功能的方法、电子设备及系统
CN113330761B (zh) 占用设备的方法以及电子设备
WO2020078330A1 (zh) 一种基于语音通话的翻译方法及电子设备
WO2020124371A1 (zh) 一种数据信道的建立方法及设备
CN114466097A (zh) 防漏音的移动终端及移动终端的声音输出方法
WO2022042261A1 (zh) 屏幕共享方法、电子设备及系统
EP4336356A1 (en) Screen projection method and related apparatus
CN114584648A (zh) 一种音频与视频同步的方法及设备
CN114121026A (zh) 一种录音方法和设备
WO2022174664A1 (zh) 一种直播方法、装置及系统
CN116981108B (zh) 无线投屏连接方法、移动终端及计算机可读存储介质
CN113923528B (zh) 屏幕共享方法、终端和存储介质
US20240007558A1 (en) Call method and electronic device
WO2022206771A1 (zh) 一种投屏方法、电子设备和系统
CN117909082A (zh) 占用设备的方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination