CN115145517A - 一种投屏方法、电子设备和系统 - Google Patents

一种投屏方法、电子设备和系统 Download PDF

Info

Publication number
CN115145517A
CN115145517A CN202110354820.0A CN202110354820A CN115145517A CN 115145517 A CN115145517 A CN 115145517A CN 202110354820 A CN202110354820 A CN 202110354820A CN 115145517 A CN115145517 A CN 115145517A
Authority
CN
China
Prior art keywords
electronic device
screen projection
screen
projection data
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110354820.0A
Other languages
English (en)
Inventor
王依伦
刘敏
刘丰恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110354820.0A priority Critical patent/CN115145517A/zh
Priority to US18/284,813 priority patent/US12265752B2/en
Priority to EP22778953.4A priority patent/EP4290360A4/en
Priority to PCT/CN2022/083745 priority patent/WO2022206771A1/zh
Publication of CN115145517A publication Critical patent/CN115145517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了投屏方法、电子设备和系统,该方法包括:第一电子设备和第二电子设备建立连接;第二电子设备将第一投屏数据投屏到第一电子设备;在第三电子设备和第二电子设备的距离小于或者等于预设距离时,第二电子设备向第三电子设备发送通知信息,通知信息用于通知第二电子设备正在进行投屏;响应于接收到通知信息,第三电子设备向第二电子设备发送第二投屏数据;响应于接收到第二投屏数据,第二电子设备根据第二电子设备和第三电子设备之间的方位信息,将第一投屏数据和第二投屏数据投屏到第一电子设备。本申请实施例,实现了多个设备的显示界面在同一个设备上的呈现,即实现了多对一的投屏。

Description

一种投屏方法、电子设备和系统
技术领域
本申请涉及终端领域,并且更具体地,涉及一种投屏方法、电子设备和系统。
背景技术
为了提高办公效率,用户可将不同设备连接起来一起配合使用。如,一个设备的显示界面可投射到另一个设备的显示屏上供用户查看。目前,一个设备的显示界面能够在另一个设备上呈现,主要利用一对一的镜像投屏技术实现,即仅能实现一对一的投屏。
但是,在如开会、发布会演示等场景下,可能需要将多个设备的显示界面在同一个设备(如,大屏设备)上呈现供用户查看。
发明内容
本申请提供一种投屏方法、电子设备和系统,实现了多个设备的显示界面在同一个设备上的呈现,即实现了多对一的投屏;同时,电子设备可以根据电子设备之间的方位信息实现多对一投屏,有助于提升用户的投屏体验。
第一方面,提供了一种系统,该系统包括第一电子设备、第二电子设备和第三电子设备,该第一电子设备,用于和该第二电子设备建立连接;该第二电子设备,用于响应于检测到用户的操作,将第一投屏数据投屏到该第一电子设备;该第二电子设备,还用于在该第三电子设备和该第二电子设备的距离小于或者等于预设距离时,向该第三电子设备发送通知信息,该通知信息用于通知该第二电子设备正在进行投屏;该第三电子设备,用于响应于接收到该通知信息,向该第二电子设备发送第二投屏数据;该第二电子设备,还用于响应于接收到该第二投屏数据,根据该第二电子设备和该第三电子设备之间的方位信息,将该第一投屏数据和该第二投屏数据投屏到该第一电子设备。
本申请实施例中,当第三电子设备靠近第二电子设备后,可以触发第二电子设备向第三电子设备发送通知信息,该通知信息用于通知第二电子设备正在投屏。第三电子设备可以向第二电子设备发送当前显示的图像信息。第二电子设备可以根据第二电子设备和第三电子设备之间的位置关系,向第一电子设备(例如,大屏设备)进行投屏。从而使用户在大屏设备上观看的内容的位置关系与第二电子设备和第三电子设备的位置关系一致,这样不仅可以使得用户可以使用多个设备同时对大屏设备进行投屏,还可以使得用户在大屏设备上观看的内容的位置关系与第二电子设备和第三电子设备实际的位置关系一致,有助于提升用户的投屏体验。
在一些可能的实现方式中,该第一电子设备为投屏目的端设备(source端设备),该第二电子设备和该第三电子设备为投屏源端设备(sink端设备)。
结合第一方面,在第一方面的某些实现方式中,该第三电子设备具体用于:响应于接收到该通知信息,提示用户将该第三电子设备和该第二电子设备一起进行投屏;响应于检测到用户确定将该第三电子设备和该第二电子设备一起进行投屏的操作,向该第二电子设备发送该第二投屏数据。
本申请实施例中,第三电子设备在接收到该通知信息后可以对用户进行提示,从而使得用户明确是否将第二电子设备的显示界面和第三电子设备的显示界面一起进行投屏。在用户确定将第三电子设备的显示界面和第二电子设备的显示界面一起进行投屏时,第三电子设备向第二电子设备发送第二投屏数据,从而实现多对一的投屏。
结合第一方面,在第一方面的某些实现方式中,该第三电子设备,还用于响应于检测到用户将该第三电子设备翻转的操作,停止向该第二电子设备发送该第二投屏数据;该第二电子设备,还用于在未接收到该第二投屏数据时,将该第一投屏数据投屏到该第一电子设备。
本申请实施例中,当第三电子设备检测到用户将第三电子设备翻转的操作时,第三电子设备可以停止向第二电子设备发送投屏数据,从而第二电子设备可以将第一投屏数据投屏到第一电子设备,这样可以快速实现在大屏设备上删除相应的投屏数据,有助于提升用户的投屏体验。
在一些可能的实现方式中,第二电子设备,还用于响应于检测到用户将该第二电子设备翻转的操作,停止向该第一电子设备进行投屏;或者,响应于检测到用户将该第二电子设备翻转的操作,将第二投屏数据投屏到第一电子设备。
结合第一方面,在第一方面的某些实现方式中,该第三电子设备,还用于响应于检测到该第三电子设备的屏幕被另一物体部分或者全部覆盖,停止向该第二电子设备发送该第二投屏数据;该第二电子设备,还用于在未接收到该第二投屏数据时,将该第一投屏数据投屏到该第一电子设备。
本申请实施例中,当第三电子设备检测到第三电子设备的屏幕被另一物体部分或者全部覆盖时,第三电子设备可以停止向第二电子设备发送投屏数据,从而第二电子设备可以将第一投屏数据投屏到第一电子设备,这样可以快速实现在大屏设备上删除相应的投屏数据,有助于提升用户的投屏体验。
在一些可能的实现方式中,第二电子设备,还用于在第二电子设备的屏幕被另一物体部分或者全部覆盖时,停止向该第一电子设备进行投屏;或者,在第二电子设备的屏幕被另一物体部分或者全部覆盖时,将第二投屏数据投屏到第一电子设备。
结合第一方面,在第一方面的某些实现方式中,该另一物体为第四电子设备,该第二电子设备,还用于在该第四电子设备和该第二电子设备的距离小于或者等于预设距离时,向该第四电子设备发送该通知信息,该通知信息用于通知该第二电子设备正在进行投屏;该第四电子设备,用于响应于接收到该通知信息,向该第二电子设备发送第三投屏数据;该第二电子设备,还用于响应于接收到该第三投屏数据,根据该第二电子设备和该第四电子设备之间的方位信息,将该第一投屏数据和该第三投屏数据投屏到该第一电子设备。
本申请实施例中,当第四电子设备将第三电子设备的屏幕覆盖后,第三电子设备可以停止向第二电子设备发送投屏数据;由于第二电子设备和第四电子设备之间的距离小于或者等于预设距离,那么第四电子设备在接收到第二电子设备发送的通知信息后可以向第二电子设备发送第三投屏数据,从而使得第二电子设备根据第二电子设备和第四电子设备之间的位置关系,将第一投屏数据和第三投屏数据投屏到第一电子设备,这样可以快速实现投屏内容的替换,从而有助于提升用户的投屏体验。
第二方面,提供了一种投屏方法,该方法应用于第二电子设备中,该方法包括:该第二电子设备和第一电子设备建立连接;响应于检测到用户的操作,该第二电子设备将第一投屏数据投屏到该第一电子设备;在第三电子设备和该第二电子设备的距离小于或者等于预设距离时,该第二电子设备向该第三电子设备发送通知信息,该通知信息用于通知该第二电子设备正在进行投屏;该第二电子设备接收该第三电子设备发送的第二投屏数据;响应于接收到该第二投屏数据,该第二电子设备根据该第二电子设备和该第三电子设备之间的方位信息,将该第一投屏数据和该第二投屏数据投屏到该第一电子设备。
结合第二方面,在第二方面的某些实现方式中,该方法还包括:响应于检测到用户将该第二电子设备的屏幕翻转的操作,该第二电子设备将该第二投屏数据投屏到该第一电子设备;或者,响应于检测到用户将该第二电子设备的屏幕翻转的操作,该第二电子设备停止向该第一电子设备投屏。
结合第二方面,在第二方面的某些实现方式中,该方法还包括:响应于检测到该第二电子设备的屏幕被另一物体部分或者全部覆盖,该第二电子设备将该第二投屏数据投屏到该第一电子设备;或者,响应于检测到该第二电子设备的屏幕被另一物体部分或者全部覆盖,该第二电子设备停止向该第一电子设备投屏。
第三方面,提供了一种投屏方法,该方法应用于第三电子设备中,该方法包括:当该第三电子设备和该第二电子设备之间的距离小于或者等于预设距离时,该第三电子设备接收该第二电子设备发送的通知信息,该通知信息用于通知该第二电子设备正在进行投屏;响应于接收到该通知信息,该第三电子设备向该第二电子设备发送第二投屏数据。
结合第三方面,在第三方面的某些实现方式中,该响应于接收到该通知信息,该第三电子设备向该第二电子设备发送第二投屏数据,包括:响应于接收到该通知信息,提示用户将该第三电子设备和该第二电子设备一起进行投屏;响应于检测到用户确定将该第三电子设备和该第二电子设备一起进行投屏的操作,向该第二电子设备发送该第二投屏数据。
结合第三方面,在第三方面的某些实现方式中,该方法还包括:响应于检测到用户将该第三电子设备翻转的操作,该第三电子设备停止向该第二电子设备发送该第二投屏数据。
结合第三方面,在第三方面的某些实现方式中,该方法还包括:响应于检测到该第三电子设备的屏幕被另一物体部分或者全部覆盖,该第三电子设备停止向该第二电子设备发送该第二投屏数据。
第四方面,提供了一种系统,该系统包括第一电子设备、第二电子设备和第三电子设备,该第一电子设备,用于和该第二电子设备建立连接;该第二电子设备,用于响应于检测到用户的操作,将第一投屏数据投屏到该第一电子设备;该第二电子设备,还用于在该第三电子设备和该第二电子设备的距离小于或者等于预设距离时,向该第三电子设备发送通知信息,该通知信息用于通知该第二电子设备正在进行投屏;该第三电子设备,还用于响应于接收到该通知信息,和该第一电子设备建立连接并向该第一电子设备发送第二投屏数据;该第一电子设备,还用于获取该第二电子设备和该第三电子设备的方位信息;该第一电子设备,还用于根据该方位信息,显示该第一投屏数据和该第二投屏数据。
本申请实施例中,当第三电子设备靠近第二电子设备后,可以触发第二电子设备向第三电子设备发送通知信息,该通知信息用于通知第二电子设备正在投屏。第三电子设备可以向大屏设备发送投屏数据,第一电子设备(例如,大屏设备)可以根据第二电子设备和第三电子设备之间的位置关系,显示第二电子设备的投屏数据以及第三电子设备的投屏数据。这样不仅可以使得用户可以使用多个设备同时对大屏设备进行投屏,还可以使得用户在大屏设备上观看的内容的位置关系与第二电子设备和第三电子设备实际的位置关系一致,有助于提升用户的投屏体验。
结合第四方面,在第四方面的某些实现方式中,该第三电子设备还用于确定该方位信息;该第一电子设备具体用于:接收该第三电子设备发送的该方位信息。
本申请实施例中,当第三电子设备和第二电子设备之间的距离小于预设距离时,第三电子设备可以确定第三电子设备和第二电子设备之间的方位信息,从而在第三电子设备和第一电子设备建立连接后,可以由第三电子设备向第一电子设备发送第三电子设备和第二电子设备之间的方位信息。第一电子设备(例如,大屏设备)可以根据第二电子设备和第三电子设备之间的位置关系,显示第二电子设备的投屏数据以及第三电子设备的投屏数据。这样不仅可以使得用户可以使用多个设备同时对大屏设备进行投屏,还可以使得用户在大屏设备上观看的内容的位置关系与第二电子设备和第三电子设备实际的位置关系一致,有助于提升用户的投屏体验。
在一些可能的实现方式中,第三电子设备具体用于响应于接收到该通知信息,确定该方位信息。
结合第四方面,在第四方面的某些实现方式中,该第二电子设备具体用于:确定该方位信息;该第一电子设备具体用于:接收该第二电子设备发送的该方位信息。
在一些可能的实现方式中,第三电子设备在向第一电子设备发送第二投屏数据时也可以向第二电子设备发送响应,该响应用于指示第三电子设备已经向第一电子设备投屏;响应于接收到该响应,第二电子设备可以向第一电子设备发送第二电子设备和第三电子设备的方位信息。第一电子设备(例如,大屏设备)可以根据第二电子设备和第三电子设备之间的位置关系,显示第二电子设备的投屏数据以及第三电子设备的投屏数据。这样不仅可以使得用户可以使用多个设备同时对大屏设备进行投屏,还可以使得用户在大屏设备上观看的内容的位置关系与第二电子设备和第三电子设备实际的位置关系一致,有助于提升用户的投屏体验。
结合第四方面,在第四方面的某些实现方式中,该通知信息中包括该第一电子设备的连接信息,该第三电子设备具体用于:响应于接收到该通知信息,根据该连接信息,和该第一电子设备建立连接。
本申请实施例中,第二电子设备可以在通知信息中携带第一电子设备的连接信息,这样可以使得第三电子设备和第一电子设备快速建立连接,从而使得第三电子设备快速向第一电子设备进行投屏,无需用户通过第三电子设备搜索投屏目的端设备,有助于提升用户的投屏体验。
结合第四方面,在第四方面的某些实现方式中,该第三电子设备具体用于:响应于接收到该通知信息,提示用户将该第三电子设备和该第二电子设备一起进行投屏;响应于检测到用户确定将该第三电子设备和该第二电子设备一起进行投屏的操作,和该第一电子设备建立连接并向该第一电子设备发送该第二投屏数据。
本申请实施例中,第三电子设备在接收到该通知信息后可以对用户进行提示,从而使得用户明确是否将第二电子设备的显示界面和第三电子设备的显示界面一起进行投屏。在用户确定将第三电子设备的显示界面和第二电子设备的显示界面一起进行投屏时,第三电子设备向第一电子设备发送第二投屏数据,从而实现多对一的投屏。
结合第四方面,在第四方面的某些实现方式中,该第三电子设备,还用于响应于检测到用户将该第三电子设备翻转的操作,停止向该第一电子设备发送该第二投屏数据;该第一电子设备,还用于在未接收到该第二投屏数据时,显示该第一投屏数据。
结合第四方面,在第四方面的某些实现方式中,该第三电子设备,还用于响应于检测到该第三电子设备的屏幕被另一物体部分或者全部覆盖,停止向该第一电子设备发送该第二投屏数据;该第二电子设备,还用于在未接收到该第二投屏数据时,显示该第一投屏数据。
第五方面,提供了一种投屏方法,该方法应用于第一电子设备,该方法包括:该第一电子设备和第二电子设备建立连接;该第一电子设备接收该第二电子设备发送的第一投屏数据并显示该第一投屏数据;该第一电子设备和第三电子设备建立连接;该第一电子设备接收该第三电子设备发送的第二投屏数据并获取该第二电子设备和该第三电子设备的方位信息;该第一电子设备根据该方位信息,显示该第一投屏数据和该第二投屏数据。
结合第五方面,在第五方面的某些实现方式中,该获取该第二电子设备和该第三电子设备的方位信息,包括:接收该第二电子设备发送的该方位信息;或者,接收该第三电子设备发送的该方位信息。
第六方面,提供了一种投屏方法,该方法应用于第二电子设备,该方法包括:该第二电子设备和第一电子设备建立连接;响应于检测到用户的操作,该第二电子设备将第一投屏数据投屏到该第一电子设备;在第三电子设备和该第二电子设备的距离小于或者等于预设距离时,该第二电子设备向该第三电子设备发送通知信息,该通知信息用于通知该第二电子设备正在进行投屏,以使得该第三电子设备接收到该通知信息后向该第一电子设备发送投屏数据。
结合第六方面,在第六方面的某些实现方式中,该方法还包括:响应于检测到用户将该第二电子设备的屏幕翻转的操作,该第二电子设备停止向该第一电子设备投屏。
结合第六方面,在第六方面的某些实现方式中,该方法还包括:响应于检测到该第二电子设备的屏幕被另一物体部分或者全部覆盖,该第二电子设备停止向该第一电子设备投屏。
第七方面,提供了一种投屏方法,该方法应用于第三电子设备,该方法包括:当该第三电子设备和该第二电子设备之间的距离小于或者等于预设距离时,该第三电子设备接收该第二电子设备发送的通知信息,该通知信息用于通知该第二电子设备正在进行投屏,该第一电子设备为该第二电子设备的投屏目的端设备;响应于接收到该通知信息,该第三电子设备和该第一电子设备建立连接并通过该连接向该第一电子设备发送第二投屏数据。
结合第七方面,在第七方面的某些实现方式中,响应于接收到该通知信息,该第三电子设备和该第一电子设备建立连接并通过该连接向该第一电子设备发送第二投屏数据,包括:响应于接收到该通知信息,提示用户将该第三电子设备和该第二电子设备一起进行投屏;响应于检测到用户确定将该第三电子设备和该第二电子设备一起进行投屏的操作,该第三电子设备和该第一电子设备建立连接并通过该连接向该第一电子设备发送第二投屏数据。
结合第七方面,在第七方面的某些实现方式中,该方法还包括:该第三电子设备确定该第三电子设备和该第二电子设备的方位信息;该第三电子设备向该第二电子设备发送该方位信息。
结合第七方面,在第七方面的某些实现方式中,该通知信息中包括第一电子设备的连接信息,该第三电子设备和该第一电子设备建立连接,包括:响应于接收到该通知信息,根据该连接信息和该第一电子设备建立连接。
结合第七方面,在第七方面的某些实现方式中,该方法还包括:响应于检测到用户将该第三电子设备翻转的操作,该第三电子设备停止向该第一电子设备发送该第二投屏数据。
结合第七方面,在第七方面的某些实现方式中,该方法还包括:响应于检测到该第三电子设备的屏幕被另一物体部分或者全部覆盖,该第三电子设备停止向该第一电子设备发送该第二投屏数据。
第八方面,提供了一种装置,该装置包括:连接单元,用于和第一电子设备建立连接;检测单元,用于检测到用户的操作;投屏单元,用于响应于检测到该操作,将第一投屏数据投屏到该第一电子设备;检测单元,还用于检测到第三电子设备和该装置的距离小于或者等于预设距离;发送单元,用于向该第三电子设备发送通知信息,该通知信息用于通知该装置正在进行投屏;接收单元,用于接收该第三电子设备发送的第二投屏数据;投屏单元,还用于根据该装置和该第三电子设备之间的方位信息,将该第一投屏数据和该第二投屏数据投屏到该第一电子设备。
第九方面,提供了一种装置,该装置包括:接收单元,用于当该装置和该第二电子设备之间的距离小于或者等于预设距离时,接收该第二电子设备发送的通知信息,该通知信息用于通知该第二电子设备正在进行投屏;发送单元,用于向该第二电子设备发送第二投屏数据。
第十方面,提供了一种装置,该装置包括:连接单元,用于和第二电子设备建立连接;接收单元,用于接收该第二电子设备发送的第一投屏数据;显示单元,用于显示该第一投屏数据;连接单元,还用于和第三电子设备建立连接;接收单元,还用于接收该第三电子设备发送的第二投屏数据并获取该第二电子设备和该第三电子设备的方位信息;显示单元,还用于根据该方位信息,显示该第一投屏数据和该第二投屏数据。
第十一方面,提供了一种装置,该装置包括:连接单元,用于和第一电子设备建立连接;检测单元,用于检测到用户的操作;投屏单元,用于将第一投屏数据投屏到该第一电子设备;检测单元,用于检测到第三电子设备和该装置的距离小于或者等于预设距离;发送单元,用于向该第三电子设备发送通知信息,该通知信息用于通知该装置正在进行投屏,以使得该第三电子设备接收到该通知信息后向该第一电子设备发送投屏数据。
第十二方面,提供了一种装置,该装置包括:接收单元,用于当该装置和该第二电子设备之间的距离小于或者等于预设距离时,接收该第二电子设备发送的通知信息,该通知信息用于通知该第二电子设备正在进行投屏,该第一电子设备为该第二电子设备的投屏目的端设备;连接单元,用于和该第一电子设备建立连接;发送单元,用于通过该连接向该第一电子设备发送第二投屏数据。
第十三方面,提供了一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述第二方面、第三方面、第六方面或者第七方面中任一项可能的实现中的方法。
第十四方面,提供了一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述第五方面中任一项可能的实现中的方法。
第十五方面,提供了一种包含指令的计算机程序产品,当所述计算机程序产品在第一电子设备上运行时,使得所述电子设备执行上述第二方面、第三方面、第六方面或者第七方面所述的方法;或者,当所述计算机程序产品在第二电子设备上运行时,使得所述电子设备执行上述第五方面所述的方法。
第十六方面,提供了一种计算机可读存储介质,包括指令,当所述指令在第一电子设备上运行时,使得所述电子设备执行上述第二方面、第三方面、第六方面或者第七方面所述的方法;或者,当所述指令在第二电子设备上运行时,使得所述电子设备执行上述第五方面所述的方法。
第十七方面,提供了一种芯片用于执行指令,当所述芯片运行时,所述芯片执行上述第二方面、第三方面、第六方面或者第七方面所述的方法;或者,所述芯片执行上述第五方面所述的方法。
附图说明
图1是本申请实施例提供的一种电子设备的硬件结构示意图。
图2是本申请实施例提供的软件结构框图。
图3是本申请实施例提供的一组图形用户界面。
图4是本申请实施例提供的另一组图形用户界面。
图5是本申请实施例提供的另一组图形用户界面。
图6是本申请实施例提供的另一组图形用户界面。
图7是本申请实施例提供的另一组图形用户界面。
图8是本申请实施例提供的另一组图形用户界面。
图9是本申请实施例提供的另一组图形用户界面。
图10是本申请实施例提供的投屏方法的示意性流程图。
图11是本申请实施例提供的source端设备1确定source端设备1和source端设备2的距离检测的示意图。
图12是本申请实施例提供的source端设备1确定source端设备1和source端设备2的位置关系的示意图。
图13是本申请实施例提供的source端设备1创建虚拟屏并将虚拟屏中的内容投屏到sink端设备的过程。。
图14是本申请实施例提供的source端设备1、source端设备2和sink端设备的软件架构。
图15是本申请实施例提供的投屏方法的另一示意性流程图。
图16是本申请实施例提供的装置的示意性结构图。
图17是本申请实施例提供的装置的示意性结构图。
图18是本申请实施例提供的装置的示意性结构图。
图19是本申请实施例提供的装置的示意性结构图。
图20是本申请实施例提供的装置的示意性结构图。
图21是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“复数个”或者“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前,为了提高办公效率,用户可将多个电子设备连接起来一起配合使用。例如,在两个电子设备连接后,利用多屏协同可实现这两个电子设备间的协同办公。多屏协同可利用镜像投屏方式,将一个电子设备显示的界面投射到另一个电子设备的显示屏上显示。在本实施例中,可以将投射其显示界面的电子设备称为投屏源端(source端设备),接收投屏源端的投射并显示投屏源端显示界面的电子设备称为投屏目的端(sink端设备)。将投屏目的端上显示的投屏源端投射的界面称为投屏界面,将投屏目的端用于显示投屏界面的窗口称为投屏窗口。
当前利用镜像投屏方式仅能实现一个电子设备的显示界面到另一个电子设备的显示,即仅能实现一对一的投屏。但是,在如开会、发布会演示等场景下,可能需要多个电子设备的显示界面在同一个电子设备(如,大屏设备)上的呈现,即存在多对一的投屏需求。在相关技术中,可借助无线投屏器(如AWIND奇机TM无线投影网关)实现多个电子设备的界面到一个电子设备(例如,大屏设备)的显示屏上的投射。但是,这种实现多对一投屏的技术需要借助对应的无线投屏器。
本申请实施例提供一种投屏方法,可应用于投屏场景下。采用本实施例提供的方法,无需借助其他设备,可实现多个电子设备的显示界面到同一个电子设备的显示屏上的显示,满足了开会、发布会演示等场景中的多对一投屏需求,提高了多个电子设备协同使用的效率;同时,电子设备还可以通过识别另一电子设备的方位信息以及屏幕状态,快速替换或者删除大屏设备的显示屏上显示的投屏界面,有助于提高了用户的投屏体验。
下面将结合附图对本申请实施例的实施方式进行详细描述。
图1示出的是可以应用本申请实施例的系统架构的简化示意图。如图1所示,该系统架构可以包括:第一电子设备101和、第二电子设备102和第三电子设备103,其中,第一电子设备101可以是投屏目的端(sink端设备),第二电子设备102和第三电子设备103可以是投屏源端(source端设备)。
其中,第一电子设备101与第二电子设备102可通过有线或无线的方式建立连接。基于建立的连接,第一电子设备101和第二电子设备102可配合一起使用。在本申请实施例中,第一电子设备101和第二电子设备102采用无线方式建立连接时,采用的无线通信协议可以为无线保真(wireless fidelity,Wi-Fi)协议、蓝牙(Bluetooth)协议、ZigBee协议、近距离无线通信(near field communication,NFC)协议等,还可以是各种蜂窝网协议,在此不做具体限制。第一电子设备101和第三电子设备103建立连接的方式以及第二电子设备102和第三电子设备103建立连接的方式可以参考上述第一电子设备101和第二电子设备102之间的建立无线连接时的方式,此处不再赘述。
在本申请实施例中,在第一电子设备101与第二电子设备102连接后,第一电子设备101和第二电子设备102中的投屏源端可将其显示屏上显示的界面或界面中的部分元素投射到投屏目的端显示屏上显示。例如,第二电子设备102可将其显示屏上显示界面或界面中的部分元素均投射到第一电子设备101的显示屏上显示。又例如,第二电子设备102还可以将第二电子设备102的显示界面以及第三电子设备103的显示界面聚合后投屏到第一电子设备101的显示屏上显示。
需要说明的是,本申请实施例中的电子设备,如上述第一电子设备101,又如上述第二电子设备102和第三电子设备103,可以为手机,平板电脑,手持计算机,个人电脑(personal computer,PC),蜂窝电话,个人数字助理(personal digital assistant,PDA),可穿戴式设备(如智能手表),车载电脑,游戏机,以及增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等,本实施例对电子设备的具体形式不做特殊限制。另外,本实施例提供的技术方案除了可以应用于上述电子设备(或者说移动终端)外,还可以应用于其他电子设备,如智能家居设备(如智能电视)等。其中,第一电子设备101、第二电子设备102和第三电子设备103的设备形态可以相同,也可以不同,本申请实施例在此不做限制。作为一种示例,第一电子设备101可以是PC,智能电视等大屏设备,第二电子设备102和第三电子设备103可以为手机,平板电脑等移动设备。其中,图1中以第一电子设备101为电视机,第二电子设备102和第三电子设备均为手机为例示出。
请参考图2,为本申请实施例提供的一种手机的结构示意图。以下实施例中的方法可以在具有上述硬件结构的手机中实现。
示例性的,图1示出了第二电子设备102(或者,第三电子设备103)的结构示意图。电子设备102可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户身份识别(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备102的具体限定。在本申请另一些实施例中,电子设备102可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备102的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户身份识别(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备102的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备102的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备102的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备102充电,也可以用于电子设备102与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备102的结构限定。在本申请另一些实施例中,电子设备102也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备102的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备102的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备102中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备102上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备102上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备102的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备102可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备102通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备102可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备102可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备102可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备102在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备102可以支持一种或多种视频编解码器。这样,电子设备102可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备102的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备102的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备102的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备102使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备102可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备102可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备102接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备102可以设置至少一个麦克风170C。在另一些实施例中,电子设备102可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备102还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备102根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备102根据压力传感器180A检测所述触摸操作强度。电子设备102也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备102的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备102围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备102抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备102的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备102通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备102可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备102是翻盖机时,电子设备102可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备102在各个方向上(一般为三轴)加速度的大小。当电子设备102静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备102可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备102可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备102通过发光二极管向外发射红外光。电子设备102使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备102附近有物体。当检测到不充分的反射光时,电子设备102可以确定电子设备102附近没有物体。电子设备102可以利用接近光传感器180G检测用户手持电子设备102贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备102可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备102是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备102可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备102利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备102执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备102对电池142加热,以避免低温导致电子设备102异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备102对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备102的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备102可以接收按键输入,产生与电子设备102的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备102的接触和分离。电子设备102可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备102通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备102采用嵌入式SIM(embedded-SIM,eSIM)卡,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备102中,不能和电子设备102分离。
应理解,本申请实施例中的电话卡包括但不限于SIM卡、eSIM卡、全球用户识别卡(universal subscriber identity module,USIM)、通用集成电话卡(universalintegrated circuit card,UICC)等等。
图3是本申请实施例提供的一组图形用户界面(graphical user interface,GUI)。
如图3中的(a)所示,智能电视显示电视剧应用的显示界面,手机A显示数据内容1的显示界面。当手机A检测到用户点击控件301的操作时,可以显示如图3中的(b)所示的GUI。
如图3中的(b)所示,响应于检测到用户点击控件301的操作,手机A可以显示功能窗口302,其中窗口302中包括小窗播放控件、电视投屏控件303以及播放速度选择。当手机检测到用户点击投屏控件303的操作时,手机A可以显示如图3中的(c)所示的GUI。
如图3中的(c)所示,响应于用户点击控件303的操作,手机可以显示提示框304,其中,提示框304中包括提示信息“请选择投屏设备”以及可以进行投屏的设备“智能电视”,其中,手机A和智能电视可以位于同一局域网下。当手机A检测到用户选择智能电视305的操作时,手机A可以将屏幕上显示的数据内容1对应的投屏数据发送给智能电视,从而使得智能电视也显示数据内容1的显示界面。
应理解,图3中的(a)-(c)所示的投屏过程可以参考现有的Miracast无线投屏技术,此处不再赘述。
如图3中的(d)所示,手机B显示数据内容2的显示界面。当手机A检测到手机B与手机A的距离小于或者等于预设距离时,手机A可以向手机B发送通知信息,该通知信息用于通知手机A正在向智能电视投屏。
如图3中的(d)所示,响应于接收到手机A发送的通知信息,手机B可以显示提示框306,其中提示框306中包括提示信息“检测到周围的手机A正在向智能电视投屏,是否和手机A一起向智能电视进行投屏”。当手机B检测到用户点击控件307的操作时,手机B可以向手机A发送当前正在显示的数据内容2对应的投屏数据。
如图3中的(e)所示,手机A响应于接收到该数据内容2对应的投屏数据,手机A可以根据手机A和手机B之间的位置关系,将数据内容1对应的投屏数据和数据内容2对应的投屏数据投屏到智能电视上。
一个实施例中,当手机B检测到用户点击控件307的操作时,手机B可以向智能电视发送当前正在显示的数据内容2对应的投屏数据以及手机A和手机B之间的位置关系信息。智能电视响应于接收到手机A的发送的投屏数据、手机B发送的投屏数据以及手机A和手机B之间的位置关系信息,通过智能电视的显示屏显示如图3中的(e)所示的GUI。
一个实施例中,手机A在向手机B发送该通知信息的同时,也可以向智能电视发送手机A和手机B之间的位置信息。当手机B检测到用户点击控件307的操作时,手机B可以向手机A发送数据内容2对应的投屏数据。智能电视响应于接收到手机A的发送的投屏数据以及手机A和手机B之间的位置关系信息、手机B发送的投屏数据,通过智能电视的显示屏显示如图3中的(e)所示的GUI。
本申请实施例中,当手机B靠近手机A后,可以触发手机A向手机B发送通知信息,该通知信息用于通知手机A正在向智能电视投屏。当手机B检测到用户确定手机B和手机A一起进行投屏时,手机B可以向手机A发送当前显示的图像信息。手机A可以根据手机A和手机B之间的位置关系,向大屏设备进行投屏。或者,手机B可以向大屏设备发送投屏数据以及手机A和手机B之间的位置关系。从而使用户在大屏设备上观看的内容的位置关系与手机A和手机B的位置关系一致,这样不仅可以使得用户可以使用多个设备同时对大屏设备进行投屏,还可以使得用户在大屏设备上观看的内容的位置关系与手机A和手机B实际的位置关系一致,有助于提升用户的投屏体验。
图4是本申请实施例提供的一组GUI。
如图4所示,手机B从手机A的下侧向手机A靠近。当手机A检测到手机A和手机B之间的距离小于或者等于预设距离时,手机A可以向手机B发送该通知信息,该通知信息用于通知手机A正在向智能电视投屏。手机B响应于接收到该通知信息,可以向手机A发送数据内容2对应的投屏数据。响应于接收到数据内容2对应的投屏数据,手机A可以根据手机A和手机B之间的位置关系将数据内容1对应的投屏数据和数据内容2对应的投屏数据投屏到智能电视上。
一个实施例中,手机B响应于接收到该通知信息,手机B可以向智能电视发送当前正在显示的数据内容2对应的投屏数据以及手机A和手机B之间的位置关系信息。智能电视响应于接收到手机A的发送的投屏数据、手机B发送的投屏数据以及手机A和手机B之间的位置关系信息,通过智能电视的显示屏显示如图4所示的GUI。
一个实施例中,与图3中的(d)类似,手机B响应于接收到该通知信息,可以显示提示框,该提示框包括提示信息“检测到周围的手机A正在向智能电视投屏,是否和手机A一起向智能电视进行投屏”。响应于手机B检测到用户点击确定控件的操作,手机B可以向手机A发送对应的投屏数据,或者,手机B可以向大屏设备发送对应的投屏数据以及手机A和手机B之间的位置关系。
本申请实施例中,手机B通过不同的方向靠近手机A后,可以使得用户通过大屏设备观看的手机A的投屏数据和手机B的投屏数据的位置关系与手机A和手机B的位置关系一致,有助于提升用户的投屏体验。
图5是本申请实施例提供的一组GUI。
如图5所示,手机C显示数据内容3的显示界面。用户将手机C从右侧靠近手机A。当手机A检测到手机C距离手机A的距离小于或者等于预设距离时,手机A可以向手机C发送通知信息,该通知信息用于通知手机A正在向智能电视投屏。手机C响应于接收到该通知信息,可以向手机A发送数据内容3对应的投屏数据。响应于接收到数据内容3对应的投屏数据,手机A可以根据手机A、手机B和手机C之间的位置关系将数据内容1对应的投屏数据、数据内容2对应的投屏数据以及数据内容3对应的投屏数据从左至右排列,并将排列好的投屏数据投屏到智能电视上。
一个实施例中,当手机B检测到手机C距离手机B的距离小于或者等于预设距离时,手机B可以向手机C发送该通知信息,该通知信息用于通知手机B正在通过手机A向智能电视投屏。手机C响应于接收到该通知信息,可以向手机A发送数据内容3对应的投屏数据。
一个实施例中,与图3中的(d)类似,手机C响应于接收到该通知信息,可以显示提示框,该提示框包括提示信息“检测到周围的手机A正在向智能电视投屏,是否和手机A一起向智能电视进行投屏”。响应于手机C检测到用户点击确定控件的操作,手机C可以向手机A发送对应的投屏数据。
一个实施例中,手机C响应于接收到该通知信息,手机C可以向智能电视发送当前正在显示的数据内容3对应的投屏数据以及手机A、手机B和手机C之间的位置关系信息。智能电视响应于接收到手机A的发送的投屏数据、手机B发送的投屏数据以及手机C发送的投屏数据以及A、手机B和手机C之间的位置关系信息,通过智能电视的显示屏显示如图5所示的GUI。
图6是本申请实施例提供的一组GUI。
如图6中的(a)所示,与图5不同的是,手机C从手机A的下侧靠近手机A。若手机C向手机A发送数据内容3对应的投屏数据,那么手机A可以根据手机A、手机B和手机C的位置关系,将数据内容1对应的投屏数据和数据内容2对应的投屏数据左右排列,将数据内容1对应的投屏数据和以及数据内容3对应的投屏数据上下排列,并将排列好的投屏数据投屏到智能电视上。
若手机C向智能电视发送数据内容3对应的投屏数据以及手机A、手机B和手机C之间的位置关系,那么智能电视可以根据手机A、机B和手机C之间的位置关系将各个设备发送的投屏数据进行排列,从而在智能电视上显示如图6中的(a)所示的GUI。
本申请实施例中,手机A可以根据手机A、手机B和手机C之间的位置关系,向大屏设备进行投屏。或者,手机C可以向大屏设备发送投屏数据以及手机A、手机B和手机C之间的位置关系。从而使用户在大屏设备上观看的内容的位置关系与手机A、手机B和手机C的位置关系一致,这样不仅可以使得用户可以使用多个设备同时对大屏设备进行投屏,还可以使得用户在大屏设备上观看的内容的位置关系与手机A、手机B和手机C实际的位置关系一致,有助于提升用户的投屏体验。
如图6中的(b)所示,手机D显示数据内容4的显示界面。用户可以将手机D从手机A的右下方靠近手机A。当手机A检测到手机D与手机A之间的距离小于或者等于预设距离时,手机A可以向手机D发送通知信息,该通知信息用于通知手机A正在向智能电视投屏,手机D是否需要和手机A一起进行投屏。
手机D响应于接收到该通知信息,可以向手机A发送数据内容4对应的投屏数据。响应于接收到数据内容4对应的投屏数据,手机A可以根据手机A、手机B、手机C和手机D之间的位置关系将数据内容1对应的投屏数据以及数据内容2对应的投屏数据左右排列,将数据内容3对应的投屏数据以及数据内容4对应的投屏数据左右排列,并将数据内容1对应的投屏数据和数据内容3对应的投屏数据上下排列。手机A可以将排列好的投屏数据投屏到智能电视上。
应理解,手机D也可以直接向智能电视发送数据内容4对应的投屏数据以及手机A、手机B、手机C和手机D之间的位置关系,从而使得智能电视根据接收到的投屏数据以及手机A、手机B、手机C和手机D显示如图6中的(b)所示的GUI。
图7示出了本申请实施例的另一组GUI。
如图7中的(a)所示,手机A正在横屏显示照片701且手机A将照片701投屏到智能电视上显示。
应理解,手机A在向智能电视投屏时还可以向智能电视发送手机A当前显示的照片的分辨率信息,例如横屏状态下照片701的分辨率为2340*1080。
如图7中的(b)所示,手机B正在竖屏显示照片702。用户将手机B从手机A的右侧靠近手机A。当手机A检测到手机B和手机A之间的距离小于或者等于预设距离时,手机A可以向手机B发送通知信息,该通知信息用于通知手机A正在向智能电视投屏。响应于接收到该通知信息,手机B可以向手机A发送当前正在显示的照片702的图像信息以及照片702的分辨率信息,例如,照片702的分辨率为1080*2340。响应于接收到该图像信息以及照片702的分辨率信息,手机A可以将照片701按照横屏显示的方式以及将照片702按照竖屏显示的方式投屏到智能电视上。
一个实施例中,响应于接收到该通知信息,手机B可以向智能电视发送投屏数据(照片702的图像信息)、照片702的分辨率信息以及手机A和手机B之间的位置关系。智能电视可以根据接收到的投屏数据、照片701的分辨率信息、照片702的分辨率信息以及手机A和手机B之间的位置关系,显示如图7中的(b)所示的GUI。
图8示出了本申请实施例的另一组GUI。
如图8中的(a)所示,智能电视正在显示手机A的投屏数据(数据内容1)以及手机B的投屏数据(数据内容2)。当手机B检测到用户将手机B的屏幕翻转180°的操作时,智能电视可以显示如图8中的(b)所示的GUI。
如图8中的(b)所示,响应于检测到用户将手机B的屏幕翻转180°的操作,手机B可以停止向手机A发送投屏数据,或者,手机B可以停止向智能电视发送投屏数据。
若手机B停止向手机A发送投屏数据,那么手机A可以只将手机A的投屏数据发送给智能电视,从而使得智能电视显示如图8中的(b)所示的GUI。
若手机B停止向智能电视发送投屏数据,那么智能电视可以只显示手机A的投屏数据,从而使得智能电视显示如图8中的(b)所示的GUI。
本申请实施例中,若多个设备(包括source端设备1和source端设备2)在投屏的过程中某个设备(source端设备2)检测到用户将屏幕翻转180°的操作,那么source端设备2可以停止向source端设备1发送投屏数据,从而source端设备1可以只将source端设备显示的内容投屏到大屏设备上。这样可以方便用户快速结束某个设备的投屏,从而有助于提升用户的投屏体验。
一个实施例中,若手机B将投屏数据发送给手机A,由手机A根据手机A和手机B的位置关系进行投屏时,如图8中的(a)所示,手机A检测到用户将手机A的屏幕翻转180度的操作时,手机A可以停止向智能电视进行投屏,从而智能电视停止显示手机A和手机B的投屏数据。
若手机B和手机A分别向智能电视发送投屏数据,由智能电视根据手机A和手机B之间的位置关系来显示手机A和手机B的投屏数据时,如图8中的(a)所示,手机A检测到用户将手机A的屏幕翻转180度的操作时,手机A可以停止向智能电视进行投屏。此时,手机B可以继续向智能电视进行投屏。智能电视在只接收到手机B的投屏数据后,可以只显示手机B的投屏数据。
一个实施例中,当手机A检测到用户将手机A和手机B之间的距离大于预设距离时,手机A可以停止接收手机B发送的投屏数据,从而可以使得手机A只将手机A显示的内容投屏到智能电视上。或者,当手机A检测到用户将手机A和手机B之间的距离大于预设距离时,手机A可以指示智能电视停止接收手机B发送的投屏数据,从而智能电视可以只显示手机A的投屏数据。
图9示出了本申请实施例的另一组GUI。
如图9中的(a)所示,智能电视正在显示手机A的投屏数据(数据内容1)以及手机B的投屏数据(数据内容2)。当手机B检测到手机B的屏幕上方被物体覆盖时,智能电视可以显示如图9中的(b)所示的GUI。
如图9中的(b)所示,手机C显示数据内容3的显示界面。当手机B检测到手机B的屏幕上方被物体覆盖时,手机B可以停止向手机A发送投屏数据(数据内容2的图像信息)。而此时,手机B的屏幕上方被手机C覆盖,当手机A检测到手机A和手机C之间的距离小于或者等于预设距离时,手机A可以向手机C发送通知信息。从而触发智能电视显示数据内容1和数据内容3。
应理解,手机A向手机C发送通知信息以及手机C接收到该通知信息后的过程可以参考上述实施例中的描述,此处不再赘述。
以上结合图3至图9介绍了本申请实施例提供的几组GUI,下面结合附图介绍本申请实施例的实现过程。
图10示出了本申请实施例提供的投屏方法1000的示意性流程图,该方法可以由source端设备1、source端设备2和sink端设备执行,其中source端设备1和source端设备2可以为投屏源端,sink端设备可以为投屏目的端。如图10所示,该方法1000包括:
S1001,source端设备1向sink端设备发起投屏。
应理解,S1001的过程可以参考现有的投屏技术(例如,Miracast无线投屏技术),此处不再赘述。
一个实施例中,source端设备1开启投屏后,可以开始监听周围设备发送的广播消息(例如,蓝牙低功耗(Bluetooth low energy,BLE)数据包或者用户数据包协议(userdatagram protocol,UDP)数据包)。
S1002,当source端设备1检测到source端设备1和source端设备2之间的距离小于或者等于预设距离时,source端设备1向source端设备2发送通知信息,该通知信息用于通知source端设备1正在进行投屏,或者source端设备1当前处于投屏状态。
示例性的,source端设备1向source端设备2发送BLE数据包,该BLE数据包中可以携带该通知信息,该通知信息用于通知source端设备1正在进行投屏。BLE数据包中包括协议数据单元(protocol data unit,PDU),该通知信息可以携带在PDU中的服务数据(service data)字段中,或者,也可以携带在PDU中的厂商特定数据(manufacturerspecific data)字段中。例如,服务数据字段的负荷(payload)中可以包括多个比特位,其中,多个比特位中包括可扩展的比特位。source端设备1和source端设备2可以约定某个可扩展的比特位的内容。例如。当某个可扩展的比特位为1时,source端设备2就可以获知source端设备1正在进行投屏。
示例性的,source端设备1向source端设备2发送UDP数据包,该UDP数据包中可以携带该通知信息,该通知信息用于通知source端设备1正在进行投屏。UPD数据包中包括IP数据报的数据部分。IP数据报的数据部分可以包括可扩展的比特位。source端设备1和source端设备2可以约定某个可扩展比特位的内容。当某个可扩展的比特位为1时,source端设备2就可以获知source端设备1正在进行投屏。
示例性的,该source端设备1向source端设备2发送传输控制协议(transmissioncontrol protocol,TCP)数据包,该TCP数据包中可以携带通知信息。TCP数据包包括TCP首部和TCP数据部分,该通知信息可以携带在TCP数据部分。例如,TCP数据部分中可以包括多个比特位,其中,多个比特位中包括可扩展的比特位。source端设备1和source端设备2可以约定某个可扩展的比特位的内容。当某个可扩展的比特位为1时,source端设备2就可以获知source端设备1正在进行投屏。
应理解,本申请实施例中,source端设备1确定source端设备1和source端设备2之间的距离小于或者等于预设距离的过程以及source端设备1确定source端设备1和source端设备2的位置关系的过程可以参考现有的实现方式。示例性的,图11示出了source端设备1确定source端设备1和source端设备2的距离检测的示意图。
如图11所示,source端设备1和source端设备2都可以包括扬声器和麦克风,可以同时收发不同的超声波序列信号,source端设备1和source端设备2可以根据收到的超声波序列信号计算出source端设备1和source端设备2之间的距离。
本申请实施例中,除了根据超声波序列对source端设备1和source端设备2之间的距离进行检测外,在测量source端设备1和source端设备2之间的距离时,也可以使用蓝牙/Wi-Fi天线阵列进行检测。示例性的,如图12所示,source端设备2可以向source端设备1发送无线信号,source端设备1的蓝牙/Wi-Fi天线阵列可以根据接收到的无线信号的信号强度或者信号质量测算source端设备1和source端设备2之间的距离。
source端设备1可以采用蓝牙/Wi-Fi天线阵列中的某一根天线接收的无线信号的信号强度或者信号质量进行距离测算;或者,source端设备1可以采用蓝牙/Wi-Fi天线阵列中的某两根天线接收的无线信号的信号强度或者信号质量进行距离测算,最后可以对两根天线测算出来的结果进行处理(例如,取平均值)得到最终的距离检测结果;或者,source端设备1可以采用蓝牙/Wi-Fi天线阵列中的全部三根天线接收的无线信号的信号强度或者信号质量进行距离测算,最后可以对三根天线测算出来的结果进行处理(例如,取平均值)得到最终的距离检测结果。
本申请实施例中涉及的信号强度和信号质量(下面以长期演进(long termevolution,LTE)系统为例进行说明)可以包括以下参数中的一种或者多种:
(1)参考信号接收功率(reference signal receiving power,RSRP);
(2)接收信号强度指示(received signal strength indicator,RSSI);
(3)参考信号接收质量(reference signal receiving quality,RSRQ);
(4)信号与干扰加噪比(signal to interference plus noise ratio,SINR)。
图12示出了source端设备1确定source端设备1和source端设备2之间的位置关系的示意图。如图12所示,source端设备1具备蓝牙/Wi-Fi天线阵列(或者,source端设备1具备到达角度(angle of arrival,AOA)计算能力)。source端设备1可以对source端设备2的方位进行计算,source端设备1的蓝牙/Wi-Fi天线阵列可以接收source端设备2的无线信号,根据公式(1)和(2)计算出source端设备2的方位:
Figure BDA0003000902470000211
Figure BDA0003000902470000212
其中,d为source端设备1的蓝牙/Wi-Fi天线阵列和source端设备2的蓝牙/Wi-Fi天线之间的距离,
Figure BDA0003000902470000213
为source端设备1的蓝牙/Wi-Fi天线阵列和source端设备2的蓝牙/Wi-Fi天线之间的相位差,λ为source端设备2发送的蓝牙信号的波长,θ为到达角。应理解,本申请实施例中,source端设备1对source端设备2的方位进行计算,还可以理解为source端设备1可以对source端设备1的蓝牙/Wi-Fi天线阵列与source端设备2的蓝牙/Wi-Fi天线连线的方位进行计算。
应理解,以上仅仅通过图11和图12介绍了一种source端设备1确定source端设备1和source端设备2之间的距离以及位置关系的方式,本申请实施例中对source端设备1确定source端设备1和source端设备2之间的距离以及位置关系的方式并不作具体限定。
S1003,source端设备2响应于接收到该通知信息,向source端设备1发送需要进行投屏的图像信息。
一个实施例中,source端设备2响应于接收到该通知信息,提示用户是否将source端设备2和source端设备1显示的内容一起进行投屏。响应于用户确定将source端设备2和source端设备1显示的内容一起进行投屏的操作,source端设备2向source端设备1发送当前显示的图像信息对应的投屏数据。
示例性的,如图3中的(d)所示,手机B响应于接收到手机A的通知信息,提示用户“检测到周围的手机A正在向智能电视投屏,是否和手机A一起向智能电视进行投屏”。当手机检测到用户点击控件307的操作时,手机B可以向手机A发送需要进行投屏的内容。
示例性的,source端设备2向source端设备1发送UDP数据包,该UDP数据包中可以携带该投屏数据。UPD数据包中包括IP数据报的数据部分。IP数据报的数据部分可以包括可扩展的比特位。source端设备2可以采用图像编码技术对该投屏数据进行图像编码并将编码后的数据携带可扩展的比特位上。source端设备1接收到该UDP数据包后,可以采用图像解码技术对可扩展的比特位上携带的数据进行解码,从而得到该投屏数据。
示例性的,该source端设备2向source端设备1发送TCP数据包,该TCP数据包中可以携带投屏数据。TCP数据包包括TCP首部和TCP数据部分,该投屏数据可以携带在TCP数据部分。source端设备2可以采用图像编码技术对该投屏数据进行图像编码并将编码后的数据携带可扩展的比特位上。source端设备1接收到该TCP数据包后,可以采用图像解码技术对可扩展的比特位上携带的数据进行解码,从而得到该投屏数据。
S1004,source端设备1响应于接收到该图像信息,根据source端设备1和source端设备2的位置关系,将source端设备1的投屏数据以及接收到的source端设备2的投屏数据投屏到sink端设备。
图13示出了source端设备1创建虚拟屏并将虚拟屏中的内容投屏到sink端设备的过程。如图13所示,当source端设备1进行投屏时,source端设备1可以先获取sink端设备的屏幕尺寸、尺寸、分辨率、像素密度等。以source端设备为Android设备为例,source端设备1创建虚拟屏的方法可以为DisplayManager.createVirtualDisplay(String,int,int,int,Surface,int)。当source端设备1创建好虚拟屏后,source端设备1可以将当前界面上显示的内容放入虚拟屏中,从而将虚拟屏投屏到sink端设备上。
示例性,结合图3中的(c)和图13中的(a)所示,手机A的所显示的画面比例为16:9,智能电视的屏幕分辨率为3840*2160(也就是说,智能电视所能显示的画面比例也为16:9),那么手机A可以根据智能电视的屏幕分辨率创建画面比例为16:9的虚拟屏并将手机A所显示的画面放入虚拟屏中,此时由于虚拟屏的画面比例也为16:9,所以虚拟屏中显示的数据内容1的画面时无黑边。手机A可以将虚拟屏中的内容投屏到智能电视时,智能电视可以将画面充满整个屏幕且不留黑边。
结合图3中的(e)与图13中的(b)所示,当手机A接收到手机B发送的投屏数据后,手机A可以按照手机A和手机B之间的位置关系,将虚拟屏分为2个大小相同的区域(区域1301和区域1302),手机A的投屏数据可以显示在左半区域1301且手机B的投屏数据可以显示在右半区域1302。若手机B的投屏数据的画面比例也为16:9,那么手机A可以将手机A的投屏数据放在左半区域1301中且上下留黑边,手机A可以将手机B的投屏数据放在右半区域1302且上下黑边。
一个实施例中,当source端设备2检测到用户将source端设备2的屏幕翻转的操作时,source端设备2可以停止向source端设备1发送投屏数据。若source端设备1停止接收到source端设备2发送的投屏数据,那么source端设备1可以将source端设备1的投屏数据发送给sink端设备,从而使得sink端设备仅显示source端设备1的投屏界面。
一个实施例中,当source端设备1检测到用户将source端设备1的屏幕翻转的操作时,source端设备1可以停止向sink端设备发送source端设备1和source端设备2的投屏数据。从而使得sink端设备停止显示source端设备1和source端设备2的投屏界面。
一个实施例中,当source端设备2检测到source端设备2的屏幕被另一物体部分或者全部覆盖后,source端设备2可以停止向source端设备1发送投屏数据。示例性的,如图9中的(b)所示,当手机B检测到屏幕被另一物体覆盖后,手机B可以停止向手机A发送投屏数据;而手机C靠近手机A后,可以触发手机C向手机A发送数据内容1的投屏数据。响应于接收到手机C的投屏数据,手机A可以根据手机A和手机C之间的位置关系,向智能电视进行投屏。
一个实施例中,当source端设备1检测到source端设备1的屏幕被另一物体部分或者全部覆盖后,source端设备1可以停止向sink端设备发送投屏数据。
应理解,本申请实施例中,source端设备检测到source端设备的屏幕被翻转可以参考现有技术中的实现,例如,source端设备可以通过重力传感器检测屏幕是否被翻转。当source端设备在进行投屏时可以开启摄像头,若source端设备通过摄像头采集图像信息,通过摄像头采集的图像信息可以确定距离手机屏幕预设距离内是否有物体覆盖屏幕。
以上结合图10至图13介绍了手机A将手机A的投屏数据和手机B的投屏数据投屏到智能电视的过程。下面结合附图介绍手机B在接收到手机A发送的通知信息后向智能电视投屏的过程。
图14示出了本申请实施例提供的source端设备1、source端设备2和sink端设备的软件架构。以source端设备1和source端设备2作为投屏源端设备、sink端设备作为投屏目的端设备为例。
如图14所示,source端设备1可以包括:网络管理模块,编码模块和设置模块。source端设备1包括的各模块可以包含于source端设备1的软件架构的任意一层。如source端设备1的网络管理模块和编码模块包含于source端设备1的框架层。source端设备1的设置模块包含于source端设备1的应用层,本申请实施例在此不做具体限制。source端设备1还可以包括应用程序,可以包含于上述应用层。应用程序可以包括投屏应用,该投屏应用可辅助作为投屏源端的source端设备1实现多对一投屏功能。source端设备2的软件架构与source端设备1类似,此处不再赘述。
sink端设备可以包括:网络管理模块,解码模块和窗口管理模块。sink端设备包括的各模块可以包含于sink端设备的软件架构的任意一层。如sink端设备的网络管理模块,解码模块和窗口管理模块均包含于sink端设备的框架层,本申请实施例在此不做具体限制。sink端设备还可以包括应用程序,可以包含于上述应用层。应用程序可以包括投屏应用,该投屏应用可辅助作为投屏目的端的sink端设备实现多对一投屏功能。
在本实施例中,sink端设备的网络管理模块可负责sink端设备与source端设备1、source端设备2之间传输通道的建立。其中,sink端设备的网络管理模块可支持sink端设备与多个设备(例如,source端设备1、source端设备2)之间传输通道的建立,即支持1对N的建连。sink端设备的解码模块可负责对来自作为投屏源端的source端设备1以及source端设备2的投屏数据进行解码。该解码模块支持多路解码。如,对于来自不同设备的数据,sink端设备的解码模块可使用不同的解码参数对相应数据进行解码。sink端设备的窗口管理模块可负责根据解码后的多路数据以及source端设备1和source端设备2的位置关系,在sink端设备上呈现多个投屏窗口。该多个投屏窗口的位置关系与source端设备1和source端设备2的位置关系相对应。投屏窗口中的内容与对应source端设备1和source端设备2所呈现界面的全部或部分内容相同。sink端设备的窗口管理模块还可以根据source端设备的屏幕状态以及source端设备的指示负责动态增加、减少sink端设备的投屏窗口。
source端设备1的网络管理模块可负责source端设备1与sink端设备之间传输通道的建立。source端设备1的编码模块可负责对当前显示界面或界面中的部分元素对应数据(如称为投屏数据)进行编码。source端设备1的设置模块可负责根据用户的设置对音视频参数进行设置,音视频参数可以包括分辨率,横竖屏,同源/异源,图层过滤等。其中,同源/异源可以是指source端设备1投屏后是否在source端设备1继续显示当前界面,如同源则指source端设备1投屏后在source端设备1继续显示当前界面,异源则指source端设备1投屏后不在source端设备1继续显示当前界面。
图15示出了本申请实施例提供的投屏方法1500的示意性流程图,该方法可以由source端设备1、source端设备2和sink端设备执行,其中source端设备1和source端设备2可以为投屏源端,sink端设备可以为投屏目的端。如图15所示,该方法1500包括:
S1501,source端设备1向sink端设备发起投屏。
示例性的,S1101中source端设备1向sink端设备发起投屏的过程中,source端设备1就可以和sink端设备互相交换连接信息(例如IP地址)并建立连接。在source端设备1和sink端设备建立连接后,source端设备1向sink端设备发起投屏。
S1502,当source端设备1检测到source端设备1和source端设备2之间的距离小于或者等于预设距离时,source端设备1向source端设备2发送通知信息,该通知信息用于通知source端设备1正在进行投屏,或者source端设备1当前处于投屏状态。
应理解,S1501-S1502的过程可以参考上述S1001-S1002的过程,此处不再赘述。
S1503,source端设备2响应于接收到该通知信息,向sink端设备发送source端设备2的投屏数据以及source端设备1或source端设备2的位置关系。
一个实施例中,source端设备2向sink端设备发送source端设备2的投屏数据以及source端设备1或source端设备2的位置关系之前,sink端设备可以获取source端设备2的连接信息。
一个实施例中,source端设备2响应于接收到该通知信息,可以提示用户是否将source端设备2和source端设备1的投屏数据一起进行投屏。响应于用户确定将source端设备2和source端设备1显示的内容一起进行投屏的操作,source端设备2向source端设备1发送source端设备2的连接信息。从而source端设备1可以将source端设备2的连接信息发送给sink端设备。
一个实施例中,source端设备2响应于用户将source端设备2和source端设备1的投屏数据一起进行投屏的操作,向source端设备1发送BLE数据包,该BLE数据包中包括可扩展的比特位。source端设备2可以采用GBK、ISO8859-1或者Unicode(例如,UTF-8、UTF-16)等编码方式,对source端设备2的连接信息(例如,IP地址)进行编码,并将编码后的数据携带在一个或者多个可扩展的比特位上。Source端设备1在接收到source端设备2发送的BLE数据包后,可以对相应比特位上的信息进行解码,从而获得source端设备2的连接信息。应理解,source端设备1向sink端设备发送source端设备2的连接信息的过程可以参考source端设备2向source端设备1发送source端设备2的连接信息的过程,此处不再赘述。
Sink端设备在获取到source端设备2的连接信息后,可根据获得的source端设备2连接信息,与source端设备2建立连接。其中,sink端设备与source端设备1和source端设备2建立连接时采用的无线通信协议可以相同,也可以不同,本申请实施例在此不做具体限制。如,sink端设备可根据source端设备1的IP地址192.168.43.164,与source端设备1采用Wi-Fi协议建立连接,根据source端设备2的IP地址192.168.43.155,与source端设备2采用Wi-Fi协议建立连接。又如,sink端设备可根据source端设备1的IP地址192.168.43.164,与source端设备1采用Wi-Fi协议建立连接,根据source端设备2的IP地址192.168.43.155,与source端设备2采用蓝牙协议建立连接。
一个实施例中,结合图15,sink端设备与source端设备1和source端设备2建立连接的过程可以是:sink端设备的网络管理模块根据IP地址,向source端设备1和source端设备2发起网络连接,如发送建立连接请求。source端设备1和source端设备2的网络管理模块响应该建立连接请求,完成与电视机连接的建立。
一个实施例中,source端设备1向在sink端设备发起投屏的过程中,若sink端设备接收到source端设备1发送的source端设备2的连接信息,那么sink端设备就可以获知source端设备1和source端设备2希望进行多对一投屏。在sink端设备和source端设备2建立连接后,sink端设备就可以接收source端设备2的投屏数据。
一个实施例中,该通知信息中还可以包括sink端设备的连接信息。
一个实施例中,source端设备2响应于接收到该通知信息,可以提示用户是否将source端设备2和source端设备1的投屏数据一起进行投屏。响应于用户确定将source端设备2和source端设备1显示的内容一起进行投屏的操作,source端设备2可以根据通知信息中携带的连接信息与sink端设备建立连接。
应理解,source端设备在通知信息中携带该sink端设备的连接信息的具体实现过程可以参考上述实施例中的描述,此处不再赘述。当sink端设备和source端设备2建立连接后,source端设备2就可以向sink端设备发送对应的投屏数据以及source端设备1和source端设备2的位置关系。
应理解,source端设备2就可以向sink端设备发送对应的投屏数据可以参考上述source端设备2向source端设备1发送投屏数据的过程,此处不再赘述。
还应理解,source端设备2确定source端设备2和source端设备1的位置关系的过程可以参考上述图12所示的过程,此处不再赘述。
下面介绍几种source端设备2向sink端设备发送source端设备2和source端设备1的位置关系的方式。
示例性的,source端设备2可以向sink端设备发送BLE数据包,该BLE数据包中包括可扩展的比特位。source端设备2可以和sink端设备约定可扩展的比特位中某些字段(第一字段、第二字段和第三个字段)的内容。其中,第一个字段表示source端设备2与另一设备(例如source端设备1)之间的位置关系。例如,若第一字段为“01”时表示source端设备2和source端设备1为左右分布。第二个字段表示位于左侧的设备(例如source端设备1)的地址信息(例如,IP地址)。第三个字段标识位于右侧的设备(例如source端设备2)的地址信息(例如,IP地址)。source端设备2可以GBK、ISO8859-1或者Unicode(例如,UTF-8、UTF-16)等编码方式分别对source端设备1和source端设备2的地址信息进行编码,并将编码后的数据携带在第二字段和第三个字段上。
若第一字段为“10”时表示source端设备2和source端设备1为上下分布。那么第二个字段表示位于上侧的设备(例如source端设备1)的地址信息(例如,IP地址)。第三个字段标识位于下侧的设备(例如source端设备2)的地址信息(例如,IP地址)。
当sink端设备接收到该BLE数据包后,sink端设备可以通过第一字段上携带的内容获知source端设备2与另一设备之间的位置关系。例如,若第一字段为“01”时,sink端设备就可以获知source端设备2和另一设备为左右分布。进而sink端设备可以对第二字段和第三字段上携带的内容进行解码,从而获得位于左侧的设备的地址信息以及位于右侧的设备的地址信息。
一个实施例中,若source端设备3靠近source端设备1和source端2,source端设备3可以先和sink端设备建立连接。在建立连接后,source端设备3可以向sink端设备发送source端设备1、source端设备2和source端3的位置关系。以图6中的(a)所示的分布方式为例,手机C靠近手机A后,手机C可以确定手机A位于手机C的上方,且手机B位于手机C的右上方。那么手机C可以在向智能电视发送的BLE数据包中分别携带手机C和手机A的位置关系以及手机C手机B的位置信息。示例性的,手机C可以在可扩展的字段中携带第一字段至第六字段。第一字段用于指示手机C和手机A之间的为位置关系,例如,当第一字段为“10”时表示手机A和手机C为上下分布,第二字段可以携带位于上侧的手机A的地址信息,第三字段可以携带位于下侧的手机C的地址信息;第四字段可以用于指示手机C和手机B之间的位置关系,例如,当第四字段为“11”时表示手机C和手机B为按照左下和右上的方向分布,第五字段可以携带位于左下侧的手机C的地址信息,第六字段可以携带位于右上侧的手机B的位置信息。从而智能电视在接收到该BLE数据包后,通过第一字段至第三字段确定手机C和手机A之间的位置关系,通过第四字段至第六字段确定手机C和手机B之间的位置关系。
应理解,上述S1503是以source端设备2向sink端设备指示source端设备2和source端设备1之间的位置关系为例进行说明的,本申请实施例中也可以是source端设备1向sink端设备指示source端设备2和source端设备1之间的位置关系。具体的实现过程可以参考上述实施例的描述,此处不再赘述。
一个实施例中,sink端设备根据source端设备1和source端设备2的位置关系,分别为source端设备1和source端设备2创建对应的视图。
可以理解的是,在source端设备1和source端设备2分别与sink端设备连接的情况下,作为投屏源端的source端设备1和source端设备2可将其显示屏上显示的界面投射到作为投屏目的端的sink端设备的显示屏上显示,从而实现多对一投屏。为了实现多对一的投屏目的,在本实施例中,作为投屏目的端的sink端设备可进行如下准备工作:
针对source端设备1和source端设备2,sink端设备在获取到source端设备1和source端设备2的连接信息后,或在与source端设备1和source端设备2连接成功后,可创建对应的视图(view),用于渲染source端设备1和source端设备2投射的界面。
示例性的,sink端设备在获取到source端设备1和source端设备2的IP地址,或与source端设备1和source端设备2连接成功后,sink端设备可在本地保存一个数组,如称为数组1。该数组1中包括作为投屏源端的source端设备1和source端设备2的IP地址。sink端设备可根据该数组1,为作为投屏源端的source端设备1和source端设备2分别创建一个对应的view,用于渲染source端设备1和source端设备2投射的界面。如,由sink端设备的窗口管理模块创建一个view数组,该view数组可以包括:与数组1中的IP地址一一对应view。
Sink端设备为source端设备1和source端设备2配置解码参数,用于对来自source端设备1和source端设备2的投屏数据进行解码。
可以理解的是,投屏源端将当前显示的界面投射到投屏目的端的具体实现可以是,投屏源端获取当前显示界面对应的数据,如称为投屏数据,并发送给投屏目的端,以便投屏目的端在其显示屏上显示对应内容。一般的,在投屏源端传输投屏数据之前,对投屏数据可进行编码,并将编码后的投屏数据传输给投屏目的端。对应的,对于投屏目的端而言,其在接收到来自投屏源端的投屏数据后,可对其进行解码。
在本申请实施例中,对于作为投屏源端的source端设备1和source端设备2,sink端设备可采用相同的解码参数对来自不同设备的投屏数据进行解码,也可以采用不同的解码参数对来自不同设备的投屏数据进行解码。在采用不同的解码参数对来自不同设备的投屏数据进行解码的场景中,在sink端设备的窗口管理模块成功创建每个IP地址对应的view后,sink端设备的窗口管理模块可在sink端设备的解码模块中配置与对应IP地址关联的解码参数。如,sink端设备的窗口管理模块可在view创建成功后,通过回调函数在解码模块中配置与对应IP地址关联的解码参数。这样,sink端设备可为source端设备1和source端设备2配置不同的解码参数,用于对来自source端设备1和source端设备2的投屏数据进行解码。其中,上述解码参数可以是sink端设备与source端设备1和source端设备2协商出来的,也可以是预先配置在sink端设备的,本申请实施例在此不做具体限制。
作为一种示例,上述解码参数可以包括:视频流的分配模式,视频流的规格,视频编码格式,视频编码的码率,虚拟显示(Virtual Display)的标志,是否投射音频数据等。其中,视频流的分配模式可以包括广播模式,分发模式,汇聚模式等。广播模式可以指仅启动单路视频流以低时延分布到多个投屏目的端。分发模式可以是指启动多路视频流分别分布到多个不同的投屏目的端。汇聚模式可以是指启动多路视频流分布到同一个投屏目的端。视频流的规则可以是指视频编码器的分辨率,如720P,1080P,2K等。视频的编码格式可以是H.264(高级视频编码(Advanced Video Coding,AVC)),H.265(高效率视频编码(highefficiency video coding,HEVC))等。
S1504,sink端设备根据source端设备1和source端设备2的位置关系,显示source端设备1的投屏数据和source端设备2的投屏数据。
一个实施例中,sink端设备根据source端设备1和source端设备2的位置关系,利用创建的对应视图绘制投屏界面1和投屏界面2,并在sink端设备上显示。
一个实施例中,source端设备1和source端设备2将其显示屏上显示的界面投射到sink端设备的显示屏上的具体实现可以是:source端设备1和source端设备2分别通过获取source端设备1和source端设备2当前显示界面对应的数据,如投屏数据,并发送给sink端设备,用于sink端设备在其显示屏上显示对应内容,从而实现source端设备1和source端设备2的显示界面在sink端设备显示屏上的投射显示。
在一些实施例中,可采用分布式多媒体协议(distributed multi-mediaprotocol,DMP)来实现source端设备1和source端设备2显示界面到sink端设备的显示屏上的投射显示。例如,source端设备1和source端设备2可使用第二终端的显示管理模块创建虚拟屏。之后,source端设备1和source端设备2可将显示屏上显示的界面的绘制移到虚拟屏中。这样,source端设备1和source端设备2便可获得对应投屏数据。之后,source端设备1和source端设备2可将获得的投屏数据发送给sink端设备。如,结合图15,source端设备1和source端设备2在获得投屏数据后,可由source端设备1的编码模块将投屏数据进行编码后发送source端设备1的网络管理模块。source端设备1的网络管理模块可通过与sink端设备建立的连接,向sink端设备发送编码后的投屏数据。source端设备2向sink端设备发送编码后的投屏数据的过程也可以参考上述描述,此处不在赘述。
在其他一些实施例中,也可以采用无线投影(Miracast)实现source端设备1和source端设备2显示界面在sink端设备的显示屏上的投射显示,即source端设备1和source端设备2可显示界面的所有图层,然后将获得的所有图层整合成视频流(或者说称为投屏数据)。之后,可由source端设备1和source端设备2的编码模块对其编码后发送给网络管理模块,以便网络管理模块采用实时流传输协议(real time streaming protocol,RTSP)协议,通过与sink端设备建立的连接发送给sink端设备。
以上实施例是以将第二终端显示屏上显示界面的全部内容投射到第一终端的显示屏上显示为例进行说明的。在其他一些实施例中,也可以将第二终端显示屏上显示界面的部分内容,如界面的部分元素投射到第一终端的显示屏上显示。其中,需要投射到第一终端的元素可以是界面中的预定元素,如视频元素等。在第二终端进行投屏时,可仅将该预定元素所在图层投射到第一终端,而不投射其他图层。这样可以保护第二终端上的隐私信息不被显示到第一终端。
其中,第二终端是否仅投射该预定元素所在图层,可以是系统预先定义的。如,当第二终端显示屏上显示的界面中包括预定元素时,第二终端仅将该预定元素所在图层投射到第一终端;当第二终端显示屏上显示的界面中不包括预定元素时,则第二终端将当前界面全部内容投射到第一终端。
一个实施例中,当某个source端设备(例如,source端设备1)当前正在播放声音,如用户使用source端设备1观看视频,听音乐时,在source端设备1开启投屏后,source端设备1不仅可以将当前显示的界面投射到sink端设备,还可将音频也投射到sink端设备。在该场景下,source端设备1的投屏数据可以包括视频数据和音频数据。其中,视频数据用于sink端设备在其显示屏上显示对应投屏界面,音频数据用于sink端设备播放对应声音。视频数据的具体获取过程如上述实施例中采用DMP或无线投影方式实现投屏所描述的过程。音频数据的获取过程可以是:source端设备1可预先创建一个音频录音(AudioRecord)对象,并创建一个缓存(buffer)。source端设备1可调用该AudioRecord对象。在该AudioRecord对象被调用后,可对source端设备1中的音频数据进行录制,如投射的界面中包括视频组件,则可对视频组件中播放的视频中的音频进行录制,以获得音频数据,该音频数据会被存储到创建的buffer中。之后,source端设备1可从buffer中获得音频数据,并发送给sink端设备。需要说明的是,在该场景中,可以将视频数据和音频数据均投屏到sink端设备,也可以只将视频数据投屏到sink端设备,而不将音频数据投屏到sink端设备。
sink端设备在接收到来自source端设备1和source端设备2的投屏数据后,可根据接收到的各投屏数据在sink端设备显示屏上显示与source端设备1和source端设备2的位置关系相对应的投屏界面。
如图3中的(e)所示,智能电视在接收到手机B发送的手机A和手机B之间的位置关系后可以确定手机A位于手机B的左侧,或者,手机B位于手机A的右侧。智能电视接收到数据内容1对应的投屏数据1后,可根据该投屏数据1在智能电视上显示投屏界面,如称为投屏界面1,该投屏界面1可以位于显示屏的左半区域。该投屏界面1中显示的内容与手机A显示屏上显示界面的全部或部分内容相同,或者说该投屏界面1中的内容为手机A显示屏上显示界面全部或部分内容的镜像。
类似的,智能电视接收到数据内容2对应的投屏数据2后,可根据该投屏数据2在电视机上显示投屏界面,如称为投屏界面2,该投屏界面2可以位于智能电视的显示屏的右半区域。该投屏界面2中显示的内容与手机B显示屏上显示界面的全部或部分内容相同,或者说该投屏界面2中的内容为手机B显示屏上显示界面全部或部分内容的镜像。
一个实施例中,sink端设备根据接收到的source端设备1和source端设备2的投屏数据,在sink端设备上对应显示投屏界面的具体实现可以是:sink端设备的网络管理模块在接收到来自source端设备1和source端设备2的投屏数据后,可将该投屏数据发送给sink端设备的解码模块进行解码。sink端设备的解码模块利用对应的解码参数对该投屏数据进行解码后,将其发送给sink端设备的窗口管理模块;sink端设备的窗口管理模块利用对应的view,根据接收到的投屏数据、source端设备1和source端设备2的位置关系,可绘制并在sink端设备的显示屏上显示对应投屏界面。
一个实施例中,当source端设备2检测到用户将source端设备2的屏幕翻转的操作时,source端设备2可以停止向sink端设备发送投屏数据。若sink端设备接收到source端设备1的投屏数据并且未接收到source端设备2发送的投屏数据,那么sink端设备可以仅显示source端设备1的投屏界面。
一个实施例中,当source端设备1检测到用户将source端设备1的屏幕翻转的操作时,source端设备1可以停止向sink端设备发送source端设备1的投屏数据。若sink端设备接收到source端设备2的投屏数据并且未接收到source端设备1发送的投屏数据,那么sink端设备可以仅显示source端设备2的投屏界面。
一个实施例中,当source端设备2检测到source端设备2的屏幕被另一物体部分或者全部覆盖后,source端设备2可以停止向sink端设备发送投屏数据。若sink端设备接收到source端设备1的投屏数据并且未接收到source端设备2发送的投屏数据,那么sink端设备可以仅显示source端设备1的投屏界面。
一个实施例中,当source端设备1检测到source端设备1的屏幕被另一物体部分或者全部覆盖后,source端设备1可以停止向sink端设备发送投屏数据。若sink端设备接收到source端设备2的投屏数据并且未接收到source端设备1发送的投屏数据,那么sink端设备可以仅显示source端设备2的投屏界面。
图16示出了本申请实施例提供的装置1600的示意性框图。该装置1600可以设置于上述图10中的source端设备1中,该装置1600中包括:连接单元1610,用于和第一电子设备建立连接;检测单元1620,用于检测到用户的操作;投屏单元1630,用于响应于检测到该操作,将第一投屏数据投屏到该第一电子设备;检测单元1620,还用于检测到第三电子设备和该装置的距离小于或者等于预设距离;发送单元1640,用于向该第三电子设备发送通知信息,该通知信息用于通知该装置正在进行投屏;接收单元1650,用于接收该第三电子设备发送的第二投屏数据;投屏单元1630,还用于根据该装置和该第三电子设备之间的方位信息,将该第一投屏数据和该第二投屏数据投屏到该第一电子设备。
图17示出了本申请实施例提供的装置1700的示意性框图。该装置1700可以设置于上述图10中的source端设备2中,该装置1700中包括:接收单元1710,用于当该装置和该第二电子设备之间的距离小于或者等于预设距离时,接收该第二电子设备发送的通知信息,该通知信息用于通知该第二电子设备正在进行投屏;发送单元1720,用于向该第二电子设备发送第二投屏数据。
图18示出了本申请实施例提供的装置1800的示意性框图。该装置1800可以设置于上述图15中的sink端设备中,该装置1800中包括:连接单元1810,用于和第二电子设备建立连接;接收单元1820,用于接收该第二电子设备发送的第一投屏数据;显示单元1830,用于显示该第一投屏数据;连接单元1810,还用于和第三电子设备建立连接;接收单元1820,还用于接收该第三电子设备发送的第二投屏数据并获取该第二电子设备和该第三电子设备的方位信息;显示单元1830,还用于根据该方位信息,显示该第一投屏数据和该第二投屏数据。
图19示出了本申请实施例提供的装置1900的示意性框图。该装置1900可以设置于上述图15中的source端设备1中,该装置1900中包括:连接单元1910,用于和第一电子设备建立连接;检测单元1920,用于检测到用户的操作;投屏单元1930,用于将第一投屏数据投屏到该第一电子设备;检测单元1920,用于检测到第三电子设备和该装置的距离小于或者等于预设距离;发送单元1940,用于向该第三电子设备发送通知信息,该通知信息用于通知该装置正在进行投屏,以使得该第三电子设备接收到该通知信息后向该第一电子设备发送投屏数据。
图20示出了本申请实施例提供的装置2000的示意性框图。该装置2000可以设置于上述图15中的source端设备2中,该装置2000中包括:接收单元2010,用于当该装置和该第二电子设备之间的距离小于或者等于预设距离时,接收该第二电子设备发送的通知信息,该通知信息用于通知该第二电子设备正在进行投屏,该第一电子设备为该第二电子设备的投屏目的端设备;连接单元2020,用于和该第一电子设备建立连接;发送单元2030,用于通过该连接向该第一电子设备发送第二投屏数据。
图21示出了本申请实施例提供的电子设备2100的示意性结构图。如图21所示,该电子设备包括:一个或多个处理器2110,一个或多个存储器2120,该一个或多个存储器存储2120存储有一个或多个计算机程序,该一个或多个计算机程序包括指令。当该指令被所述一个或多个处理器2110运行时,使得sink端设备、source端设备1或者source端设备2执行上述实施例中的技术方案。
本申请实施例提供了一种系统,包括sink端设备、source端设备1和source端设备2,该系统用于执行上述实施例中的技术方案。其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。
本申请实施例提供一种计算机程序产品,当所述计算机程序产品在source端设备1、source端设备2运行时,使得source端设备1、source端设备2执行上述实施例中的技术方案。其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。
本申请实施例提供一种计算机程序产品,当所述计算机程序产品在sink端设备运行时,使得sink端设备执行上述实施例中的技术方案。其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。
本申请实施例提供一种可读存储介质,所述可读存储介质包含指令,当所述指令在source端设备1、source端设备2运行时,使得source端设备1、source端设备2执行上述实施例的技术方案。其实现原理和技术效果类似,此处不再赘述。
本申请实施例提供一种可读存储介质,所述可读存储介质包含指令,当所述指令在sink端设备运行时,使得sink端设备执行上述实施例的技术方案。其实现原理和技术效果类似,此处不再赘述。
本申请实施例提供一种芯片,所述芯片用于执行指令,当所述芯片运行时,执行上述实施例中的技术方案。其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种系统,其特征在于,所述系统包括第一电子设备、第二电子设备和第三电子设备,
所述第一电子设备,用于和所述第二电子设备建立连接;
所述第二电子设备,用于响应于检测到用户的操作,将第一投屏数据投屏到所述第一电子设备;
所述第二电子设备,还用于在所述第三电子设备和所述第二电子设备的距离小于或者等于预设距离时,向所述第三电子设备发送通知信息,所述通知信息用于通知所述第二电子设备正在进行投屏;
所述第三电子设备,用于响应于接收到所述通知信息,向所述第二电子设备发送第二投屏数据;
所述第二电子设备,还用于响应于接收到所述第二投屏数据,根据所述第二电子设备和所述第三电子设备之间的方位信息,将所述第一投屏数据和所述第二投屏数据投屏到所述第一电子设备。
2.根据权利要求1所述的系统,其特征在于,所述第三电子设备具体用于:
响应于接收到所述通知信息,提示用户将所述第三电子设备和所述第二电子设备一起进行投屏;
响应于检测到用户确定将所述第三电子设备和所述第二电子设备一起进行投屏的操作,向所述第二电子设备发送所述第二投屏数据。
3.根据权利要求1或2所述的系统,其特征在于,所述第三电子设备,还用于响应于检测到用户将所述第三电子设备翻转的操作,停止向所述第二电子设备发送所述第二投屏数据;
所述第二电子设备,还用于在未接收到所述第二投屏数据时,将所述第一投屏数据投屏到所述第一电子设备。
4.根据权利要求1或2所述的系统,其特征在于,所述第三电子设备,还用于响应于检测到所述第三电子设备的屏幕被另一物体部分或者全部覆盖,停止向所述第二电子设备发送所述第二投屏数据;
所述第二电子设备,还用于在未接收到所述第二投屏数据时,将所述第一投屏数据投屏到所述第一电子设备。
5.根据权利要求4所述的系统,其特征在于,所述另一物体为第四电子设备,
所述第二电子设备,还用于在所述第四电子设备和所述第二电子设备的距离小于或者等于预设距离时,向所述第四电子设备发送所述通知信息,所述通知信息用于通知所述第二电子设备正在进行投屏;
所述第四电子设备,用于响应于接收到所述通知信息,向所述第二电子设备发送第三投屏数据;
所述第二电子设备,还用于响应于接收到所述第三投屏数据,根据所述第二电子设备和所述第四电子设备之间的方位信息,将所述第一投屏数据和所述第三投屏数据投屏到所述第一电子设备。
6.一种投屏方法,所述方法应用于第二电子设备中,其特征在于,所述方法包括:
所述第二电子设备和第一电子设备建立连接;
响应于检测到用户的操作,所述第二电子设备将第一投屏数据投屏到所述第一电子设备;
在第三电子设备和所述第二电子设备的距离小于或者等于预设距离时,所述第二电子设备向所述第三电子设备发送通知信息,所述通知信息用于通知所述第二电子设备正在进行投屏;
所述第二电子设备接收所述第三电子设备发送的第二投屏数据;
响应于接收到所述第二投屏数据,所述第二电子设备根据所述第二电子设备和所述第三电子设备之间的方位信息,将所述第一投屏数据和所述第二投屏数据投屏到所述第一电子设备。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于检测到用户将所述第二电子设备的屏幕翻转的操作,所述第二电子设备将所述第二投屏数据投屏到所述第一电子设备;或者,
响应于检测到用户将所述第二电子设备的屏幕翻转的操作,所述第二电子设备停止向所述第一电子设备投屏。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于检测到所述第二电子设备的屏幕被另一物体部分或者全部覆盖,所述第二电子设备将所述第二投屏数据投屏到所述第一电子设备;或者,
响应于检测到所述第二电子设备的屏幕被另一物体部分或者全部覆盖,所述第二电子设备停止向所述第一电子设备投屏。
9.一种投屏方法,所述方法应用于第三电子设备中,其特征在于,所述方法包括:
当所述第三电子设备和所述第二电子设备之间的距离小于或者等于预设距离时,所述第三电子设备接收所述第二电子设备发送的通知信息,所述通知信息用于通知所述第二电子设备正在进行投屏;
响应于接收到所述通知信息,所述第三电子设备向所述第二电子设备发送第二投屏数据。
10.根据权利要求9所述的方法,其特征在于,所述响应于接收到所述通知信息,所述第三电子设备向所述第二电子设备发送第二投屏数据,包括:
响应于接收到所述通知信息,提示用户将所述第三电子设备和所述第二电子设备一起进行投屏;
响应于检测到用户确定将所述第三电子设备和所述第二电子设备一起进行投屏的操作,向所述第二电子设备发送所述第二投屏数据。
11.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:
响应于检测到用户将所述第三电子设备翻转的操作,所述第三电子设备停止向所述第二电子设备发送所述第二投屏数据。
12.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:
响应于检测到所述第三电子设备的屏幕被另一物体部分或者全部覆盖,所述第三电子设备停止向所述第二电子设备发送所述第二投屏数据。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
所述一个或多个存储器存储有一个或者多个计算机程序,所述一个或者多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求6至8中任一项所述的方法;或者,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求9至12中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求6至8中任一项所述的方法;或者,
当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求9至12中任一项所述的方法。
CN202110354820.0A 2021-03-31 2021-03-31 一种投屏方法、电子设备和系统 Pending CN115145517A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110354820.0A CN115145517A (zh) 2021-03-31 2021-03-31 一种投屏方法、电子设备和系统
US18/284,813 US12265752B2 (en) 2021-03-31 2022-03-29 Display method, electronic device, and system
EP22778953.4A EP4290360A4 (en) 2021-03-31 2022-03-29 SCREEN PROJECTION METHOD, ELECTRONIC DEVICE AND SYSTEM
PCT/CN2022/083745 WO2022206771A1 (zh) 2021-03-31 2022-03-29 一种投屏方法、电子设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110354820.0A CN115145517A (zh) 2021-03-31 2021-03-31 一种投屏方法、电子设备和系统

Publications (1)

Publication Number Publication Date
CN115145517A true CN115145517A (zh) 2022-10-04

Family

ID=83405101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110354820.0A Pending CN115145517A (zh) 2021-03-31 2021-03-31 一种投屏方法、电子设备和系统

Country Status (4)

Country Link
US (1) US12265752B2 (zh)
EP (1) EP4290360A4 (zh)
CN (1) CN115145517A (zh)
WO (1) WO2022206771A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024131878A1 (zh) * 2022-12-23 2024-06-27 华为技术有限公司 一种投屏方法、电子设备及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3143154B1 (fr) * 2022-12-07 2024-12-06 Thales Sa Procédé de traitement de données vidéo provenant d’une source vidéo non certifiée
EP4513854A1 (en) * 2023-08-24 2025-02-26 Volkswagen Ag Adaptive streaming for a multi-mno-enabled user equipment
US12487791B1 (en) * 2024-08-05 2025-12-02 Motorola Mobility Llc Managing device visual projection on a connected second device with a second display in shared state

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090234983A1 (en) * 2008-03-17 2009-09-17 Golden Signals, Inc. Methods and apparatus for sharing a computer display screen
JP5679891B2 (ja) 2011-04-26 2015-03-04 京セラ株式会社 携帯電子機器、制御方法および制御プログラム
CN104714809B (zh) * 2013-12-11 2018-11-13 联想(北京)有限公司 一种信息处理的方法及电子设备
JP2015138475A (ja) * 2014-01-23 2015-07-30 キヤノン株式会社 ウィンドウシステム及びカーソル制御方法
CN108366062B (zh) 2018-01-24 2021-03-16 南京哇嗨网络科技有限公司 通过邀请建立投屏连接的方法、客户端、服务器和系统
EP3803559A4 (en) 2018-06-05 2022-04-27 T1V, Inc. Video conferencing during real time collaboration on a virtual canvas
CN110389736A (zh) * 2019-06-05 2019-10-29 华为技术有限公司 一种投屏显示方法及电子设备
CN113691842B (zh) 2020-05-18 2023-03-31 荣耀终端有限公司 一种跨设备的内容投射方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024131878A1 (zh) * 2022-12-23 2024-06-27 华为技术有限公司 一种投屏方法、电子设备及系统

Also Published As

Publication number Publication date
EP4290360A1 (en) 2023-12-13
WO2022206771A1 (zh) 2022-10-06
US20240184501A1 (en) 2024-06-06
EP4290360A4 (en) 2024-07-31
US12265752B2 (en) 2025-04-01

Similar Documents

Publication Publication Date Title
US11703960B2 (en) Air mouse mode implementation method and related device
CN111316598B (zh) 一种多屏互动方法及设备
US12309219B2 (en) Content sharing method, electronic device, and storage medium
CN112351156B (zh) 一种镜头切换方法及装置
CN112312366B (zh) 一种通过nfc标签实现功能的方法、电子设备及系统
WO2020259542A1 (zh) 一种显示设备的控制方法及相关装置
CN114339698A (zh) 设备间触碰建立无线连接的方法、电子设备及芯片
US12265752B2 (en) Display method, electronic device, and system
CN114489533A (zh) 投屏方法、装置、电子设备及计算机可读存储介质
CN112335294B (zh) 一种紧急呼叫方法及用户终端
CN112449336B (zh) 一种设备能力发现方法及p2p设备
CN115525366A (zh) 一种投屏方法及相关装置
CN114339429A (zh) 音视频播放控制方法、电子设备和存储介质
CN111935705A (zh) 数据业务管理方法及装置、计算机可读介质及终端设备
CN112272191A (zh) 数据转移方法及相关装置
CN114257920B (zh) 一种音频播放方法、系统和电子设备
CN113810595A (zh) 视频拍摄的编码方法、设备、存储介质和程序产品
CN114091006B (zh) 一种设备的连接方法及电子设备
US12342067B2 (en) Display method and terminal
CN117119314B (zh) 一种图像处理方法及相关电子设备
CN114500725B (zh) 目标内容传输方法、主设备、从设备和存储介质
WO2024001735A1 (zh) 网络连接方法、电子设备及存储介质
WO2025002367A1 (zh) 硬件设备调用方法和装置
WO2024067432A1 (zh) 一种音频传输方法、系统以及相关装置
WO2025011069A1 (zh) 相机应用的图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination