CN118075393A - 一种显示方法和电子设备 - Google Patents

一种显示方法和电子设备 Download PDF

Info

Publication number
CN118075393A
CN118075393A CN202211409326.0A CN202211409326A CN118075393A CN 118075393 A CN118075393 A CN 118075393A CN 202211409326 A CN202211409326 A CN 202211409326A CN 118075393 A CN118075393 A CN 118075393A
Authority
CN
China
Prior art keywords
screen
layers
electronic device
information
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211409326.0A
Other languages
English (en)
Inventor
金思韬
金务文
卫哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211409326.0A priority Critical patent/CN118075393A/zh
Publication of CN118075393A publication Critical patent/CN118075393A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/02Details of telephonic subscriber devices including a Bluetooth interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/04Details of telephonic subscriber devices including near field communication means, e.g. RFID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/06Details of telephonic subscriber devices including a wireless LAN interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例提供了一种显示方法和电子设备,所述方法应用于第一电子设备,所述第一电子设备显示第一应用的第一画面,所述方法包括:响应于用户的第一操作,所述第一电子设备在所述第一画面上显示提醒框,所述提醒框用于对所述第一画面进行投屏设置;响应于用户在所述提醒框中的第二操作,所述第一电子设备将所述第一画面包括的N个图层对应的画面投屏到第二电子设备上,所述N个图层在所述第二电子设备上分区域显示,N为大于或等于2的整数。本申请实施例提供的方案,投屏后的画面可以随着大屏的屏幕变化自动优化投屏后的布局,让画面能更好的适配大屏,从而可以提升用户体验。

Description

一种显示方法和电子设备
技术领域
本申请实施例涉及电子设备领域,尤其涉及一种显示方法和电子设备。
背景技术
随着智慧屏的不断发展,越来越多的企业将移动端的应用迁移到智慧屏上,拓展大屏生态。目前有以下几种主流的投屏协议,包括:AirPlay协议、数字生活联盟(digitalliving network alliance,DLNA)协议、Miracast协议,其中,DLNA协议不支持屏幕镜像(也可以称为屏幕共享)功能,AirPlay协议和Miracast协议可以支持屏幕镜像。屏幕镜像,即就是可以将你的手机上的画面无线传输到大屏设备上,也就是你手机上显示的是什么,大屏上就显示什么。
现有技术中,以玩家玩游戏为例,当玩家点击手机系统的自带的无线投屏功能,发起投屏后,手机操作系统中的投屏模块会启动屏幕录制功能,对游戏应用(application,App)产生的游戏画面进行录制,然后将录制的游戏画面内容通过投屏协议转发到大屏设备中进行显示,因此手机上显示的是什么,大屏上就显示什么。
虽然大屏设备完全复刻了手机上显示的内容,但是,手机侧中的游戏画面布局是游戏厂商基于手机屏幕的大小进行优化布局的,投屏后的游戏画面并没有随着大屏的屏幕变化自动优化投屏后的布局,让游戏画面能更好的适配大屏。具体地,当玩家发起投屏后,大屏中的游戏画面上会显示游戏操作键,而游戏操作键会影响玩家的视线,对于玩家来说,其视觉体验并不友好;而且游戏厂商无法调整显示在大屏上的手机侧的游戏操作键,特别地,当玩家将游戏操作键从手机游戏画面底部移动到中间,投屏到大屏后,此时游戏操作键也会显示在大屏的中间,而游戏厂商无法对游戏操作键进行移动或放大等,反而影响了大屏侧的游戏视觉体验。
发明内容
本申请实施例提供一种显示方法和电子设备,投屏后的画面可以随着大屏的屏幕变化自动优化投屏后的布局,让画面能更好的适配大屏,从而可以提升用户体验。
第一方面,提供了一种显示方法,其特征在于,所述方法应用于第一电子设备,所述第一电子设备显示第一应用的第一画面,所述方法包括:响应于用户的第一操作,所述第一电子设备在所述第一画面上显示提醒框,所述提醒框用于对所述第一画面进行投屏设置;响应于用户在所述提醒框中的第二操作,所述第一电子设备将所述第一画面包括的N个图层对应的画面投屏到第二电子设备上,所述N个图层在所述第二电子设备上分区域显示,N为大于或等于2的整数。
本申请实施例提供的方案,响应于用户的第一操作,第一电子设备在第一画面上显示用于对该第一画面进行投屏设置的提醒框,响应于用户在提醒框中的第二操作,第一电子设备将第一画面包括的N个图层对应的画面投屏到第二电子设备上,由于各图层分别显示在第二电子设备上的不同区域,因此,当用户观看第二电子设备屏幕时,图层之间不会相互影响,如某一图层不会遮挡另一图层,从而也就不会影响用户的视觉体验。与现有技术中当用户将第一电子设备上的画面投屏后,第二电子设备的屏幕上所显示的画面与第一电子设备上显示的画面完全一致的方案相比,本申请实施例提供的方案,投屏后的画面可以随着大屏的屏幕变化自动优化投屏后的布局,让画面能更好的适配大屏,从而可以提升用户体验。
结合第一方面,在一些可能的实现方式中,在所述第一电子设备将所述第一画面包括的N个图层投屏到第二电子设备上之前,所述方法还包括:所述第一电子设备上的第一应用通过调用第一接口设置投屏信息,所述投屏信息包括显示在所述第一画面上的所述N个图层,所述N个图层在所述第二电子设备上显示的区域和所述N个图层各个图层的宽度与高度的比值;所述第一电子设备将所述第一画面包括的N个图层对应的画面投屏到第二电子设备上,包括:所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上。
本申请实施例提供的方案,响应于用户在提醒框中的第二操作,第一应用可以调用第一接口设置投屏信息,包括:显示在第一画面上的N个图层,N个图层在第二电子设备上显示的区域和N个图层各个图层的宽度与高度的比值,第一电子设备可以按照投屏信息将N个图层对应的画面投屏到所述第二电子设备上。投屏信息的设置可以让N个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
结合第一方面,在一些可能的实现方式中,所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上,包括:所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层;所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面投屏到所述第二电子设备上。
本申请实施例提供的方案,在第一电子设备按照所述投屏信息将N个图层对应的画面投屏到所述第二电子设备上时,可以先按照投屏信息从第一画面中分离出N个图层,然后再按照投屏信息对分离出的N个图层重新进行布局,将重新布局后的N个图层对应的画面投屏到第二电子设备上。由于第一电子设备按照其设置的投屏信息对第一画面进行分离且对分离出的N个图层重新布局的,可以让分离出的N个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
结合第一方面,在一些可能的实现方式中,所述投屏信息还包括:未显示在所述第一画面上的M个图层,所述M个图层在所述第二电子设备上显示的区域和所述M个图层各个图层的宽度与高度的比值,所述M个图层在所述第二电子设备上显示的区域与所述N个图层在所述第二电子设备上显示的区域不重叠;所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上,包括:所述第一电子设备按照所述投屏信息将所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上。
本申请实施例提供的方案,在第一应用调用第一接口设置投屏信息时,该投屏信息除了包括显示在第一画面上的N个图层的信息,还可以包括未显示在第一画面上的M个图层的信息,从而,第一电子设备可以按照投屏信息将N个图层对应的画面和M个图层对应的画面投屏到所述第二电子设备上。这样,在第一电子设备侧显示N个图层的画面的情况下,当用户将其投屏到第二电子设备上时,第二电子设备屏幕上除了显示N个图层的画面外,还可以显示M个图层的画面,且显示在第二电子设备屏幕上的M个图层的画面与N个图层的画面不重叠,不仅可以让用户看到更多信息,且这多个信息分区域显示在第二电子设备的屏幕上,进一步提升了用户体验。
结合第一方面,在一些可能的实现方式中,所述第一电子设备按照所述投屏信息将所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,从所述第一应用中读取所述M个图层的数据;所述第一电子设备按照所述投屏信息将重新布局后的N个图层对应的画面和M个图层对应的画面投屏到所述第二电子设备上。
本申请实施例提供的方案,在第一电子设备按照所述投屏信息将N个图层对应的画面和M个图层对应的画面投屏到第二电子设备上时,可以先按照投屏信息从第一画面中分离出N个图层,和,从第一应用中读取M个图层的数据,再按照投屏信息对N个图层和M个图层重新进行布局,并将重新布局后的N个图层对应的画面和M个图层对应的画面投屏到第二电子设备上。由于第一电子设备按照其设置的投屏信息对第一画面进行分离以及从第一应用中读取M个图层的数据,且按照投屏信息对N个图层和M个图层重新布局的,可以让N个图层和M个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
结合第一方面,在一些可能的实现方式中,所述第一电子设备按照所述投屏信息将重新布局后的N个图层对应的画面和M个图层对应的画面投屏到所述第二电子设备上,包括:在所述M个图层中第i个图层的数据为图片数据时,所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述第i个图层对应的图片画面投屏到所述第二电子设备上,i为M中的任意数值。
本申请实施例提供的方案,在M个图层中第i个图层的数据为图片数据时,第一电子设备按照所述投屏信息对N个图层和所述第i个图层对应的图片重新进行布局,并将布局后的N个图层对应的画面和第i个图层对应的图片画面投屏到第二电子设备上,可以让N个图层和M个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
结合第一方面,在一些可能的实现方式中,所述方法还包括:若所述M个图层中第j个图层的数据为文本数据,所述第一电子设备按照目标模板对所述文本数据进行排版,以生成所述文本数据对应的图片,j为M中的任意数值;所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述第j个图层对应的图片画面投屏到所述第二电子设备上。
本申请实施例提供的方案,若M个图层中第j个图层的数据为文本数据,第一电子设备可以按照目标模板对文本数据进行排版,以生成文本数据对应的图片,然后按照所述投屏信息对N个图层和所述第j个图层对应的图片重新进行布局,并将重新布局后的N个图层对应的画面和第j个图层对应的图片画面投屏到第二电子设备上,可以让N个图层和M个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
结合第一方面,在一些可能的实现方式中,所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,从所述第一应用中读取所述M个图层的数据,包括:所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,通过第三接口从所述第一应用中读取所述M个图层的数据。
结合第一方面,在一些可能的实现方式中,所述方法还包括:所述第一电子设备通过调用第二接口监听所述第一电子设备上的操作;所述响应于用户的第一操作,所述第一电子设备在所述第一画面上显示提醒框,包括:当所述第一电子设备监听到所述第一操作,响应于所述第一操作,所述第一电子设备在所述第一画面显示所述提醒框。
本申请实施例提供的方案,第一电子设备可以通过调用第二接口监听第一电子设备上的操作,当投屏模块监听到第一操作时,响应于该第一操作,第一电子设备可以在第一画面显示用于对第一画面进行投屏设置的提醒框,便于用户可以进行投屏设置,从而第二电子设备上可以分区域显示第一画面包括的N个图层对应的画面。
第二方面,提供一种显示方法,所述方法应用于第二电子设备,所述方法包括:所述第二电子设备接收第一电子设备发送的N个图层对应的画面,所述N个图层为所述第一电子设备显示的第一应用的第一画面所包括的图层,N为大于或等于2的整数;所述第二电子设备分区域显示所述N个图层对应的画面。
本申请实施例提供的方案,第二电子设备可以接收第一电子设备发送的N个图层对应的画面,并分区域显示N个图层对应的画面,可以让画面能更好的适配大屏,从而可以提升用户体验。
结合第二方面,在一些可能的实现方式中,所述方法还包括:所述第二电子设备接收所述第一电子设备发送的投屏信息,所述投屏信息包括所述N个图层在所述第二电子设备上显示的区域和所述N个图层各个图层的宽度与高度的比值;所述第二电子设备分区域显示所述N个图层对应的画面,包括:所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面。
本申请实施例提供的方案,第二电子设备还可以接收第一电子设备发送的投屏信息,该投屏信息包括N个图层在第二电子设备上显示的区域和N个图层各个图层的宽度与高度的比值,并根据投屏信息分区域显示N个图层对应的画面,可以让画面能更好的适配大屏,从而可以提升用户体验。
结合第二方面,在一些可能的实现方式中,所述投屏信息还包括:未显示在所述第一画面上的M个图层,所述M个图层在所述第二电子设备上显示的区域和所述M个图层各个图层的宽度与高度的比值,所述M个图层在所述第二电子设备上显示的区域与所述N个图层在所述第二电子设备上显示的区域不重叠;所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面,包括:所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面和所述M个图层对应的画面。
本申请实施例提供的方案,投屏信息还可以包括未显示在第一画面上的M个图层的信息,从而第二电子设备可以按照投屏信息分区域显示N个图层对应的画面和M个图层对应的画面,这样,第二电子设备屏幕上除了显示N个图层的画面外,还可以显示未显示在第一画面上的M个图层的画面,且显示在第二电子设备屏幕上的M个图层的画面与N个图层的画面不重叠,不仅可以让用户看到更多信息,且这多个信息分区域显示在第二电子设备的屏幕上,进一步提升了用户体验。
第三方面,提供了一种装置,该装置包含在电子设备中,该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。
第四方面,提供了一种电子设备,包括:一个或多个处理器;存储器;一个或者多个应用程序;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述第一方面或第二方面任一项可能的实现中的方法。
第五方面,提供了一种芯片系统,包括至少一个处理器,当程序指令在所述至少一个处理器中执行时,使得上述第一方面或第二方面任一项可能的实现中的方法在电子设备上的功能得以实现。
第六方面,提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述第一方面或第二方面任一项可能的实现中的方法。
第七方面,提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面或第二方面任一项可能的设计中的方法。
附图说明
图1为本申请提供的一种电子设备的硬件结构示意图。
图2为本申请提供的一种电子设备的软件结构示意图。
图3为本申请实施例提供的一组GUI的示意图。
图4为本申请实施例提供的另一组GUI的示意图。
图5为本申请实施例提供的一种电子设备的系统架构图的示意图。
图6为本申请实施例提供的一种用户将手机的游戏画面投屏到电视的方法的示意图。
图7为本申请实施例提供的一种设置电视屏幕侧显示的图层布局的示意图。
图8为本申请实施例提供的一种模板的示意图。
图9为本申请实施例提供的一种显示方法的示意图。
图10为本申请实施例提供的另一种显示方法的示意图。
图11为本申请实施例提供的一种电子设备的示意性框图。
图12为本申请实施例提供的另一种电子设备的示意性框图。
图13为本申请实施例提供的又一种电子设备的示意性框图。
图14为本申请实施例提供的再一种电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请实施例提供的方案可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
为了便于理解本申请的方案,下文先介绍下与本申请相关的技术。
随着智慧屏的不断发展,越来越多的企业将移动端的应用迁移到智慧屏上,拓展大屏生态。目前有以下几种主流的投屏协议,包括:AirPlay协议、DLNA协议、Miracast协议,其中,DLNA协议不支持屏幕镜像(也可以称为屏幕共享)功能,AirPlay协议和Miracast协议可以支持屏幕镜像。屏幕镜像,即就是可以将你的手机上的画面无线传输到大屏设备上,也就是你手机上显示的是什么,大屏上就显示什么。
现有技术中,以玩家玩游戏为例,当玩家点击手机系统的自带的无线投屏功能,发起投屏后,手机操作系统中的投屏模块会启动屏幕录制功能,对游戏App产生的游戏画面进行录制,然后将录制的游戏画面内容通过投屏协议转发到大屏设备中进行显示,因此手机上显示的是什么,大屏上就显示什么。
虽然大屏设备完全复刻了手机上显示的内容,但是,手机侧中的游戏画面布局是游戏厂商基于手机屏幕的大小进行优化布局的,投屏后的游戏画面并没有随着大屏的屏幕变化自动优化投屏后的布局,让游戏画面能更好的适配大屏。具体地,当玩家发起投屏后,大屏中的游戏画面上会显示游戏操作键,而游戏操作键会影响玩家的视线,对于玩家来说,其视觉体验并不友好;而且游戏厂商无法调整显示在大屏上的手机侧的游戏操作键,特别地,当玩家将游戏操作键从手机游戏画面底部移动到中间,投屏到大屏后,此时游戏操作键也会显示在大屏的中间,而游戏厂商无法对游戏操作键进行移动或放大等,反而影响了大屏侧的游戏视觉体验。
本申请以下实施例将以具有图1和图2所示结构的电子设备为例,结合附图和应用场景,对本申请实施例提供的控制方法进行具体阐述。
图3示出了电视的一组图形用户界面(graphical user interface,GUI),其中,从图3中的(a)到图3中的(e)示出了用户将手机上的游戏画面投屏到电视上的方法。
参见图3中的(a)所示的GUI,该GUI为游戏的界面,可以看出,该游戏为赛车游戏,其中,游戏主画面充斥了整个手机界面,且手机屏幕的右上角显示了一个弹框,该弹框中包括玩家信息,如界面中显示的“烟火”、“小星”等;此外,手机屏幕的下方显示了游戏操作键,用户可以通过游戏操作键控制赛车的速度、方向等。当手机检测到用户的手指按照图中所示的方向向下滑动时,手机可以显示如图3中的(b)所示的GUI。
参见图3中的(b)所示的GUI,可以看出,此时,手机屏幕上显示的是下滑通知栏界面,该下滑通知栏界面中包括多个图标,如移动数据的图标、WLAN的图标、蓝牙的图标、投屏的图标等。当手机检测到用户点击投屏的图标301的操作后,手机可以显示如图3中的(c)所示的GUI。
参见图3中的(c)所示的GUI,可以看出,此时,手机屏幕上弹出了一个提醒框,该提醒框中的内容包括:当前处于投屏状态,是否启动投屏设置,让手机画面适配大屏。若用户点击确定这一按钮,表示投屏后的游戏画面将适配大屏;若用户点击取消这一按钮,表示投屏后的游戏画面将不适配大屏,即手机上显示什么,电视上就显示什么。假设手机与电视已连接过,当手机检测到用户点击确定这一按钮302的操作后,手机可以显示如图3中的(d)所示的GUI,与此同时,电视可以显示如图3中的(e)所示的GUI。
参见图3中的(d)所示的GUI,此时手机屏幕上的弹框和下滑通知栏自动隐藏,手机界面显示游戏主界面、玩家信息以及游戏操作键,且玩家信息显示在游戏主界面的右上角,游戏操作键显示在游戏主界面的下方,用户可以将手机当成方向盘,同时看着电视屏幕玩游戏。
参见图3中的(e)所示的GUI,可以看出,电视屏幕的左上方显示游戏主画面,同时,电视屏幕的右上方显示玩家信息,电视屏幕的下方显示游戏操作键,换句话说,游戏主画面、玩家信息、游戏操作键这三部分分别显示在电视屏幕的不同位置,用户仍然可以通过游戏操作键玩游戏,同时,玩家信息和游戏操作键不会影响用户的视觉体验。
需要说明的是,在一些实施例中,有的用户为了可能会调整手机侧的游戏操作键,如,用户可能会将手机侧的游戏操作键调整到手机的中间,不管手机侧的游戏操作键位于手机屏幕的什么位置,投屏到电视后,手机操作键均可以显示在游戏主画面的下方。
本申请实施例提供的方案,当用户将手机上的画面投屏到电视后,电视屏幕的不同位置分别显示了游戏主画面、玩家信息以及游戏操作键,用户可以通过手机控制显示在电视屏幕上的游戏画面,由于游戏主画面、玩家信息以及游戏操作键这三部分分别显示在电视屏幕上的不同位置,因此,当用户玩游戏的过程中,玩家信息和游戏操作键不会影响用户的视觉体验。与现有技术中当用户将手机上的画面投屏后,电视屏幕上显示的游戏主画面、玩家信息以及游戏操作键这三部分会重叠显示的方案相比,本申请实施例提供的方案,投屏后的游戏画面可以随着大屏的屏幕变化自动优化投屏后的布局,让游戏画面能更好的适配大屏,从而可以提升用户游戏体验。
图4示出了电视的一组图形用户界面(graphical user interface,GUI),其中,从图4中的(a)到图4中的(e)示出了用户将手机上的视频画面投屏到电视上的方法。
参见图4中的(a)所示的GUI,该GUI为视频的界面,可以看出,该视频包括兔子的播放画面,其中,包括兔子的主画面充斥了整个手机界面,且主画面上显示了多条弹幕,如:“哈哈哈哈哈!”、“溜了溜了。。”、“好可爱”等。当手机检测到用户的手指按照图中所示的方向向下滑动时,手机可以显示如图4中的(b)所示的GUI。
参见4中的(b)所示的GUI,可以看出,此时,手机屏幕上显示的是下滑通知栏界面,该下滑通知栏界面中包括多个图标,如移动数据的图标、WLAN的图标、蓝牙的图标、投屏的图标等。当手机检测到用户点击投屏的图标401的操作后,手机可以显示如图4中的(c)所示的GUI。
参见4中的(c)所示的GUI,可以看出,此时,手机屏幕上弹出了一个提醒框,该提醒框中的内容包括:当前处于投屏状态,是否启动投屏设置,让手机画面适配大屏。若用户点击确定这一按钮,表示投屏后的画面将适配大屏;若用户点击取消这一按钮,表示投屏后的画面将不适配大屏,即手机上显示什么,电视上就显示什么。假设手机与电视已连接过,当手机检测到用户点击确定这一按钮402的操作后,手机可以显示如图4中的(d)所示的GUI,与此同时,电视可以显示如图4中的(e)所示的GUI。
参见图4中的(d)所示的GUI,此时手机屏幕上的弹框和下滑通知栏自动隐藏,手机界面显示包括兔子的主界面、弹幕,且所有的弹幕显示在主界面的上方,用户可以将手机当成遥控器,控制视频的播放。
参见图4中的(e)所示的GUI,可以看出,电视屏幕的左侧显示视频主画面,同时,电视屏幕的右侧显示弹幕,换句话说,视频主画面和弹幕这两部分分别显示在电视屏幕的不同位置,用户仍然可以通过手机控制视频的播放,同时,弹幕不会影响用户的视觉体验。
本申请实施例提供的方案,当用户将手机上的画面投屏到电视后,由于视频主画面和弹幕这两部分分别显示在电视屏幕上的不同位置,因此,当用户观看视频的过程中,弹幕不会影响用户的视觉体验。与现有技术中当用户将手机上的画面投屏后,电视屏幕上显示的视频主画面和弹幕这两部分会重叠显示的方案相比,本申请实施例提供的方案,投屏后的视频画面可以随着大屏的屏幕变化自动优化投屏后的布局,让视频画面能更好的适配大屏,从而可以提升用户视频观看体验。
本申请实施例提供的方案可以应用于手机等电子设备,可以应用于投屏场景,示例性地,手机通过投屏方式进行游戏时,可以实现将手机侧的游戏画面按图层进行分离,并按自定义布局重新合成显示到投屏设备中。
如图5所示,为本申请实施例提供的一种电子设备的系统架构图的示意图。参考图5,电子设备中包括游戏应用(application,APP)、投屏模块、游戏助手软件开发工具包(software development kit,SDK)。
其中,游戏助手SDK的作用包括:
(1)供游戏厂商将其集成到游戏APP中;
(2)通知游戏APP已经投屏;
(3)内置游戏图层标识(如游戏画面层、游戏操作层、游戏玩家信息层等),游戏厂商通过游戏助手SDK接口设置当前游戏画面图层的标识后,游戏助手SDK可以将相应的标识通知给投屏模块;
(4)游戏厂商通过游戏助手SDK接口设置大屏侧布局设置后,游戏助手SDK可以将大屏侧布局设置通知给投屏模块;
(5)游戏助手SDK供投屏模块读取当前游戏APP的其他数据。
投屏模块作用:
(1)从游戏画面中按游戏画面图层的设置分离读取各图层的游戏画面数据;
(2)将分离后的游戏画面各图层以及从游戏APP读取的其他数据按大屏侧的布局设置进行合成,然后进行投屏。
本申请实施例中,游戏厂商可以将游戏助手SDK打包到游戏APP内,游戏助手SDK可以提供多个不同接口,如注册屏幕侦听器(registerScreenListener)接口、读取其它游戏数据(readOtherGameData)接口、设置屏幕信息(setScreenInfo)接口。其中,注册屏幕侦听器接口和读取其它游戏数据接口这两个接口可以由投屏模块调用,设置屏幕信息接口是投屏后游戏APP调用的接口。下文将分别介绍上述接口的功能。
(1)、registerScreenListener接口:投屏事件监听接口。当投屏模块在收到玩家启动投屏操作后,告知当前游戏启动系统启动投屏了。因此当玩家在手机侧启动投屏后,游戏厂商可以基于该接口,在游戏APP中对当前玩家呈现是否需要进行投屏设置的提醒能力。如上述图3中的(c)或图4中的(c)所示出的提醒框:当前处于投屏状态,是否启动投屏设置,让手机画面适配大屏。
(2)、setScreenInfo接口:设置游戏的图层定义(即告知投屏模块游戏画面中哪个图层是游戏主画面图层、哪个图层是游戏操作键图层、哪个图层是玩家信息图层)和各图层在大屏侧的布局。
·游戏布局信息(gameLayoutInfos):包括当前游戏画面中各图层的定义集合。其中,游戏布局信息可以包含图层标识(layerID)和图层类型(layerType)这两个属性。
①layerID表示当前游戏画面中图层ID。
②layerType表示游戏助手SDK定义的图层类型,例如,1为游戏主画面层、2为游戏操作层、3为玩家信息层。
·大屏布局(largeScreenLayouts):包括投屏后各图层的布局设置信息。其中,大屏布局可以包含layerId、位置(position)、来源(source)这三个属性。
①layerId表示当前游戏画面中图层ID。
②position表示布局的位置信息以及大屏中该图层的显示宽度和高度占比。
③source表示数据来源。例如,0表示从画面中分离得到,1表示从游戏APP中获取。
(3)、readOtherGameData接口:用于投屏模块从游戏APP中获取指定图层ID对应的游戏数据,因此需要游戏厂商可以实现该接口的数据返回。返回数据结构中可以包含数据类型(dataType),游戏数据(gameData),模板ID(templateID)这三个数据属性。
·dataType表示返回的数据类型,例如,0表示图片,1表示普通数据,如文本数据等。
·gameData表示返回的游戏数据。
·templateID表示模版ID,例如,1表示玩家信息模版,而且,需要说明的是,当dataType为1时,需要选择模版。
上文描述了各个接口的定义及其功能,下文以手机和电视为例结合图6详细说明本申请实施例的方案。如图6所示,为本申请实施例提供的一种用户将手机的游戏画面投屏到电视的方法的示意图,该方法可以包括步骤610~650。
610,用户启动投屏。
本申请实施例中,用户可以按照上述图3或图4所示出的方式进行投屏,当然,本申请实施例不限于按照上述图中所示的方式进行投屏,也可以通过其它投屏方式实现投屏,本申请对此不作具体限制。
620,通过调用游戏助手SDK提供的注册屏幕侦听器接口进行监听,当监听到用户在手机侧启动投屏后,通知游戏APP已经处于系统投屏中。
本申请实施例中,手机中的投屏模块可以调用游戏助手SDK提供的注册屏幕侦听器接口监听手机侧是否启动了投屏,当监听到用户在手机侧启动了投屏后,投屏模块可以通知游戏APP已经处于系统投屏中,此时,游戏APP可以显示是否需要进行投屏设置的提醒框,例如上述图3中的(c)或图4中的(c)所示出的提醒框。
630,点击游戏投屏设置。
用户可以确定进行游戏投屏设置或确定不进行游戏投屏设置,当用户确定进行游戏投屏设置时,可以点击“确定”这一按钮,后续游戏APP便可以调用游戏助手SDK提供的设置屏幕信息接口设置投屏信息,从而投屏模块可以基于投屏信息对游戏画面重新进行布局设置并合成到电视中;当用户确定不进行游戏投屏设置时,可以点击“取消这一按钮,后续游戏APP也不会调用设置屏幕信息接口设置投屏信息,在这种情况下,当手机画面投屏到电视屏幕后,电视屏幕所显示的画面与手机画面完全保持一致。
640,游戏APP调用游戏助手SDK提供的设置屏幕信息接口设置投屏信息。
本申请实施例中,在用户确定进行游戏投屏设置时,游戏APP可以调用设置屏幕信息接口设置投屏信息,该投屏信息可以包括游戏的图层定义、各图层在电视侧的布局。
游戏APP可以调用设置屏幕信息接口设置当前画面的图层定义,示例性地,假设游戏APP可以调用设置屏幕信息接口设置当前画面包括三个图层:游戏主画面层、玩家信息层、游戏操作键层,依次分别用A、B、C表示。对于图层A,游戏APP可以调用设置屏幕信息接口设置图层A的layerID为游戏中本身的图层ID,设置图层A的layerType为1;若游戏中游戏主画面的ID为xa@345,则图层A的ID可以设置为xa@345。
对于图层B,游戏APP可以调用设置屏幕信息接口设置图层B的layerID为游戏中本身的图层ID,设置图层B的layerType为2;若游戏中玩家信息的ID为xa@123,则图层B的ID可以设置为xa@123。
对于图层C,游戏APP可以调用设置屏幕信息接口设置图层C的layerID为游戏中本身的图层ID,设置图层C的layerType为3;若游戏中游戏主画面的ID为xa@456,则图层C的ID可以设置为xa@456。
应理解,游戏APP调用设置屏幕信息接口设置当前画面的图层定义,目的是为了当手机侧的画面投屏到电视侧后,按照图层分区域显示时,呈现在电视屏幕上的画面是清晰的,不会存在某一信息内容遮挡另一信息内容的可能,因此,对于玩游戏这一场景,游戏APP调用设置屏幕信息接口设置当前画面可以包括三个图层:游戏主画面层、玩家信息层、游戏操作键层。如果游戏APP调用设置屏幕信息接口设置当前画面可以包括两个图层:游戏画面层和玩家信息层,则游戏画面上仍然会显示游戏操作键,从而会影响玩家的视觉体验。
还应理解,如果当前画面包括更多的信息,游戏APP调用设置屏幕信息接口还可以设置更多的图层,不予限制。
此外,游戏APP可以调用设置屏幕信息接口设置各图层在电视侧的布局,即,设置各图层在电视屏幕分别显示的位置或区域。
以图层A为例,游戏APP可以调用设置屏幕信息接口设置图层A的ID为游戏中本身的图层ID,设置图层A的position为电视屏幕的左上方以及在电视屏幕中显示的宽度和高度之比为2:1,设置图层A的source为0,表示从游戏画面中分离得到图层A的数据。
对于图层B,游戏APP可以调用设置屏幕信息接口设置图层B的ID为游戏中本身的图层ID,设置图层B的position为电视屏幕的右上方以及在电视屏幕中显示的宽度和高度之比为1:2,设置图层B的source为0,表示从游戏画面中分离得到图层B的数据。
对于图层C,游戏APP可以调用设置屏幕信息接口设置图层C的ID为游戏中本身的图层ID,设置图层C的position为电视屏幕的下方以及在电视屏幕中显示的宽度和高度之比为4:1,设置图层C的source为0,表示从游戏画面中分离得到图层C的数据。
可以理解的是,游戏APP调用设置屏幕信息接口设置各图层在电视侧的布局的时候,可以先确定各图层的大概位置,然后可以适当调整各图层的位置和尺寸以使得图层可以填满电视屏幕。
如图7所示,为本申请实施例提供的一种设置电视屏幕侧显示的图层布局的示意图。
示例性地,游戏APP可以调用设置屏幕信息接口大概设置各图层在电视屏幕上显示的位置,例如,设置图层A位于电视屏幕的左上方,设置图层B位于电视屏幕的右上方,设置图层C位于电视屏幕的下方,如图7中的(a)所示。
当确定各图层的大概位置后,游戏APP可以对各图层的位置和尺寸进行适当调整,例如,游戏APP可以将图层A向右且向下进行放大,将图层B向左且向下进行放大,将图层C向上进行拉伸放大,直到这三个图层填满整个电视屏幕,如图7中的(b)所示。
需要说明的是,本申请实施例的电视屏幕侧显示的图层的布局包括但不限于上述图7所示出的,还可以按照其他布局显示,本申请对此不作具体限制。可以理解的是,电视屏幕侧显示的图层的布局主要与游戏APP调用设置屏幕信息接口设置的投屏信息有关。
650,基于投屏信息对游戏画面进行分离,按照投屏信息重新对分离出的画面进行布局,并将布局后的内容合成到电视中。
本申请实施例中,投屏模块可以主动从游戏APP获取投屏信息,或者,游戏APP在设置投屏信息后,可以将投屏信息发送给投屏模块,不予限制。
当投屏模块获得投屏信息后,可以按照投屏信息对游戏画面进行分离,并按照投屏信息重新布局所分离的画面。
例如,上述步骤640中投屏信息中包括三个图层,分别为游戏主画面、玩家信息、游戏操作键,则投屏模块可以从游戏画面中分离出这三个图层,并按照上述图7所示的布局将这三个图层分别置于相应的位置进行合成,然后显示在电视屏幕中。
本申请实施例提供的方案,用户可以将手机侧画面进行投屏,当手机中的投屏模块监听到用户进行投屏后,界面弹出用于游戏投屏设置的提醒框,且当用户确定进行游戏投屏设置后,游戏APP便可以调用游戏助手SDK提供的设置屏幕信息接口设置投屏信息,投屏模块可以基于投屏信息对游戏画面进行分离,按照投屏信息重新对分离出的画面进行布局,并将布局后的内容投屏到电视屏幕上。由于各图层分别显示在电视屏幕上的不同位置,因此,当用户玩游戏的过程中,图层之间不会相互影响,如玩家信息和游戏操作键不会影响用户的视觉体验。与现有技术中当用户将手机上的画面投屏后,电视屏幕上显示的游戏主画面、玩家信息以及游戏操作键这三部分会重叠显示的方案相比,本申请实施例提供的方案,投屏后的游戏画面可以随着大屏的屏幕变化自动优化投屏后的布局,让游戏画面能更好的适配大屏,从而可以提升用户游戏体验。
当然,在一些实施例中,由于手机屏幕的限制,游戏厂商可能只在手机侧游戏画面显示游戏主画面和游戏操作键,若按照上述图6所示的方法,电视屏幕侧可以显示游戏主画面和游戏操作键这两个图层的画面,然而,在一些情况下,游戏厂商也可以将未显示在手机侧的玩家游戏经过投屏后显示在电视屏幕侧,具体操作过程仍然可以按照上述图6所示的方法进行,区别在于步骤640和650的不同。
具体地,当用户点击游戏投屏设置后,步骤640中游戏APP调用游戏助手SDK提供的设置屏幕信息接口设置投屏信息时,一方面,可以获取手机屏幕显示的游戏主画面层(可以用图层A表示)和游戏操作键层(可以用图层C表示),并定义图层A和图层C在电视侧的布局,另一方面,在定义电视侧的布局时,可以将玩家信息(可以用图层B表示)的source设置为1,表示图层B需要从游戏APP中读取。
设置完成后,一方面,投屏模块从手机侧游戏画面中分离出游戏主画面层和游戏操作键层,另一方面,投屏模块可以通过游戏助手SDK提供的读取其它游戏数据接口获取图层B的ID,并从游戏APP中读取玩家信息数据。
在投屏模块从手机侧游戏画面中分离出游戏主画面层和游戏操作键层以及从游戏APP中读取到玩家信息数据后,便可以按照投屏信息将游戏主画面层、游戏操作键层和玩家信息数据投屏到电视屏幕中。合成的方式与读取的玩家信息数据的类型有关:
(1)读取的玩家信息的数据类型为1
若读取的玩家信息的数据类型为1,则表示读取的玩家信息的数据类型为普通数据,此时投屏模块可以基于模板,结合玩家信息的数据生成图片,然后将游戏主画面层、游戏操作键层和玩家信息数据生成的图片合成到电视屏幕中。
假设有3个玩家,分别为玩家a、玩家b、玩家c,则可以按照图8所示的模板结合玩家信息的数据生成相应的图片,并将该图片与从游戏画面中分离的游戏主画面层和游戏操作键层进行合并,然后将合并后的图层投屏到电视屏幕上。
需要说明的是,图8所示的模板仅为示例说明,还可以是其它可能的模板,不应对本申请造成特别限定。
(2)读取的玩家信息的数据类型为0
若读取的玩家信息的数据类型为0,则表示读取的玩家信息的数据类型为图片数据,则可以直接将图片与从游戏画面中分离的游戏主画面层和游戏操作键层进行合并,然后将合并后的图层投屏到电视屏幕上。
本申请实施例提供的方案,对于手机屏幕上并未显示的图层,投屏模块可以通过游戏助手SDK提供的读取其它游戏数据接口获取该图层的ID,并从游戏APP中读取该图层的数据,最后,投屏模块可以按照投屏信息读取的图层与从游戏画面中分离出的图层进行合并,并投屏到电视屏幕上。一方面,由于电视屏幕侧可以显示未在手机屏幕上显示的信息,因此,可以提升用户游戏体验,另一方面,由于各图层分别显示在电视屏幕上的不同位置,因此,当用户玩游戏的过程中,图层之间不会相互影响,如,玩家信息和游戏操作键不会影响用户的视觉体验。与现有技术中当用户将手机上的画面投屏后,电视屏幕上显示的游戏主画面、玩家信息以及游戏操作键这三部分会重叠显示的方案相比,本申请实施例提供的方案,投屏后的游戏画面可以随着大屏的屏幕变化自动优化投屏后的布局,让游戏画面能更好的适配大屏,同时电视屏幕侧可以显示未在手机屏幕上显示的信息,从而可以提升用户游戏体验。
此外,对于将手机上播放的视频投屏到电视屏幕,其具体实现过程与图6所示的过程类似,区别在于名称的不同,如可以将图6中的游戏APP替换为视频APP,游戏助手SDK替换为视频助手SDK。
此外,还需要说明的是,上述各示例中所示出的数值仅为示例性说明,还可以替换为其它数值,不应对本申请造成特别限定。
如图9所示为本申请实施例提供的一种显示方法的示意图,该方法可以由第一电子设备执行,如上文中提及的手机,该方法可以包括步骤S910~S920。
S910,响应于用户的第一操作,所述第一电子设备在所述第一画面上显示提醒框,所述提醒框用于对所述第一画面进行投屏设置。
本申请实施例中的第一操作可以为上述图3中的(b)或图4中的(b)所示出的用户点击投屏的图标的操作,提醒框可以为上述图3中的(c)或图4中的(c)示出的提醒框,该提醒框用于对第一画面进行投屏设置,该提醒框中的内容可以为上述图3中的(c)或图4中的(c)示出的内容。
本申请实施例中的第一画面为第一应用的画面,当该第一应用为游戏应用时,第一画面可以为玩家正在玩游戏的画面,如上述图3所示出的画面;当第一应用为视频应用时,第一画面可以为视频播放画面,如上述图4所示出的画面。
S920,响应于用户在所述提醒框中的第二操作,所述第一电子设备将所述第一画面包括的N个图层对应的画面投屏到第二电子设备上,所述N个图层在所述第二电子设备上分区域显示,N为大于或等于2的整数。
本申请实施例中的第二操作可以为用户点击提醒框中的确认的按钮的操作,当用户点击提醒框中的确认按钮的操作后,意味着显示在第二电子设备屏幕上的画面与显示在第一电子设备屏幕上的画面不完全一致,即,第一电子设备屏幕上的第一画面所包括的N个图层分区域显示在第二电子设备上的屏幕上。
在一些可能的实现方式中,N个图层中的部分图层也可以有重叠,例如,假设第一画面中包括5个图层,这5个图层可以完全不重叠地显示在第二电子设备上,即完全单独分区域显示;也可以部分图层(如2个图层)重叠地显示在第二电子设备上,其余图层完全不重叠地显示在第二电子设备上,即部分图层不完全单独分区域显示,剩余图层完全单独分区域显示;不予限制。
本申请实施例提供的方案,响应于用户的第一操作,第一电子设备在第一画面上显示用于对该第一画面进行投屏设置的提醒框,响应于用户在提醒框中的第二操作,第一电子设备将第一画面包括的N个图层对应的画面投屏到第二电子设备上,由于各图层分别显示在第二电子设备上的不同区域,因此,当用户观看第二电子设备屏幕时,图层之间不会相互影响,如某一图层不会遮挡另一图层,从而也就不会影响用户的视觉体验。与现有技术中当用户将第一电子设备上的画面投屏后,第二电子设备的屏幕上所显示的画面与第一电子设备上显示的画面完全一致的方案相比,本申请实施例提供的方案,投屏后的画面可以随着大屏的屏幕变化自动优化投屏后的布局,让画面能更好的适配大屏,从而可以提升用户体验。
可选地,在一些实施例中,在所述第一电子设备将所述第一画面包括的N个图层投屏到第二电子设备上之前,所述方法还包括:
所述第一电子设备上的第一应用通过调用第一接口设置投屏信息,所述投屏信息包括显示在所述第一画面上的所述N个图层,所述N个图层在所述第二电子设备上显示的区域和所述N个图层各个图层的宽度与高度的比值;
所述第一电子设备将所述第一画面包括的N个图层对应的画面投屏到第二电子设备上,包括:
所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上。
本申请实施例中的第一接口可以为上述实施例提及的设置屏幕信息接口,若第一应用为游戏应用,则第一应用可以通过调用游戏助手SDK提供的屏幕信息接口设置投屏信息;若第一应用为视频应用,则第一应用可以通过调用视频助手SDK提供的屏幕信息接口设置投屏信息;不予限制。
具体地实现过程请参考上述图6所示的内容,此处不再赘述。
本申请实施例提供的方案,响应于用户在提醒框中的第二操作,第一应用可以通过调用第一接口设置投屏信息,包括:显示在第一画面上的N个图层,N个图层在第二电子设备上显示的区域和N个图层各个图层的宽度与高度的比值,第一电子设备可以按照投屏信息将N个图层对应的画面投屏到所述第二电子设备上。投屏信息的设置可以让N个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
可选地,在一些实施例中,所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层;
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面投屏到所述第二电子设备上。
具体地,第一电子设备中的投屏模块可以按照投屏信息从第一画面中分离出N个图层并按照投屏信息对N个图层重新进行布局,将重新布局后的N个图层对应的画面投屏到第二电子设备上。
本申请实施例提供的方案,在第一电子设备按照所述投屏信息将N个图层对应的画面投屏到所述第二电子设备上时,可以先按照投屏信息从第一画面中分离出N个图层,然后再按照投屏信息对分离出的N个图层重新进行布局,将重新布局后的N个图层对应的画面投屏到第二电子设备上。由于第一电子设备按照其设置的投屏信息对第一画面进行分离且对分离出的N个图层重新布局的,可以让分离出的N个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
可选地,在一些实施例中,所述投屏信息还包括:未显示在所述第一画面上的M个图层,所述M个图层在所述第二电子设备上显示的区域和所述M个图层各个图层的宽度与高度的比值,所述M个图层在所述第二电子设备上显示的区域与所述N个图层在所述第二电子设备上显示的区域不重叠;
所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息将所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上。
本申请实施例中的M个图层可以是未显示在第一画面上的图层,如上述实施例中提及的玩家信息,当第一电子设备显示的第一画面中没有玩家信息时,通过本申请实施例仍然可以将玩家信息显示在第二电子设备的屏幕上,具体请参考上述实施例中关于手机侧显示游戏主画面和游戏操作键,而电视侧显示游戏主画面、游戏操作键和玩家信息的相关内容,此处不再赘述。
本申请实施例提供的方案,在第一应用调用第一接口设置投屏信息时,该投屏信息除了包括显示在第一画面上的N个图层的信息,还可以包括未显示在第一画面上的M个图层的信息,从而,第一电子设备可以按照投屏信息将N个图层对应的画面和M个图层对应的画面投屏到所述第二电子设备上。这样,在第一电子设备侧显示N个图层的画面的情况下,当用户将其投屏到第二电子设备上时,第二电子设备屏幕上除了显示N个图层的画面外,还可以显示M个图层的画面,且显示在第二电子设备屏幕上的M个图层的画面与N个图层的画面不重叠,不仅可以让用户看到更多信息,且这多个信息分区域显示在第二电子设备的屏幕上,进一步提升了用户体验。
可选地,在一些实施例中,所述第一电子设备按照所述投屏信息将所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,从所述第一应用中读取所述M个图层的数据;
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上。
本申请实施例提供的方案,在第一电子设备按照所述投屏信息将N个图层对应的画面和M个图层对应的画面投屏到第二电子设备上时,可以先按照投屏信息从第一画面中分离出N个图层,和,从第一应用中读取M个图层的数据,再按照投屏信息对N个图层和M个图层重新进行布局,并将重新布局后的N个图层对应的画面和M个图层对应的画面投屏到第二电子设备上。由于第一电子设备按照其设置的投屏信息对第一画面进行分离以及从第一应用中读取M个图层的数据,且按照投屏信息对N个图层和M个图层重新布局的,可以让N个图层和M个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
对于M个图层的数据,数据类型的不同,其合成的方式不同:
方式一:
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:
在所述M个图层中第i个图层的数据为图片数据时,所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述第i个图层对应的图片画面投屏到所述第二电子设备上,i为M中的任意数值。
本申请实施例提供的方案,在M个图层中第i个图层的数据为图片数据时,第一电子设备按照所述投屏信息对N个图层和所述第i个图层对应的图片重新进行布局,并将重新布局后的N个图层对应的画面和第i个图层对应的图片画面投屏到第二电子设备上,可以让N个图层和M个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
方式二:
所述方法还包括:
若所述M个图层中第j个图层的数据为文本数据,所述第一电子设备按照目标模板对所述文本数据进行排版,以生成所述文本数据对应的图片,j为M中的任意数值;
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述第j个图层对应的图片画面投屏到所述第二电子设备上。
本申请实施例提供的方案,若M个图层中第j个图层的数据为文本数据,第一电子设备可以按照目标模板对文本数据进行排版,以生成文本数据对应的图片,然后按照投屏信息对N个图层和所述第j个图层对应的图片重新进行布局,并将重新布局后的N个图层对应的画面和第j个图层对应的图片画面投屏到第二电子设备上,可以让N个图层和M个图层更好、更合理地显示在第二电子设备的屏幕上,从而可以提升用户体验。
可选地,在一些实施例中,所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,从所述第一应用中读取所述M个图层的数据,包括:
所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,通过第三接口从所述第一应用中读取所述M个图层的数据。
本申请实施例中的第三接口可以为上述实施例中的读取其它游戏数据接口。
可选地,在一些实施例中,所述方法还包括:
所述第一电子设备通过调用第二接口监听所述第一电子设备上的操作;
所述响应于用户的第一操作,所述第一电子设备在所述第一画面上显示提醒框,包括:
当所述第一电子设备监听到所述第一操作,响应于所述第一操作,所述第一电子设备在所述第一画面显示所述提醒框。
本申请实施例中的第二接口可以为注册屏幕侦听器接口,若第一应用为游戏应用,则第一电子设备中的投屏模块可以通过调用游戏助手SDK提供的注册屏幕侦听器接口监听第一电子设备上的操作;若第一应用为视频应用,则第一电子设备中的投屏模块可以通过调用视频助手SDK提供的注册屏幕侦听器接口监听第一电子设备上的操作。
本申请实施例提供的方案,第一电子设备可以通过调用第二接口监听第一电子设备上的操作,当监听到第一操作时,响应于该第一操作,第一电子设备可以在第一画面显示用于对第一画面进行投屏设置的提醒框,便于用户可以进行投屏设置,从而第二电子设备上可以分区域显示第一画面包括的N个图层对应的画面。
如图10所示为本申请实施例提供的另一种显示方法的示意图,该方法可以由二电子设备执行,如上文中提及的电视,该方法可以包括步骤S1010~S1020。
S1010,所述第二电子设备接收第一电子设备发送的N个图层对应的画面,所述N个图层为所述第一电子设备显示的第一应用的第一画面所包括的图层,N为大于或等于2的整数。
S1020,所述第二电子设备分区域显示所述N个图层对应的画面。
可选地,本申请实施例中的N个图层对应的画面可以包含于投屏信息中,不予限制。
本申请实施例提供的方案,第二电子设备可以接收第一电子设备发送的N个图层对应的画面,并分区域显示这N个图层对应的画面,可以让画面能更好的适配大屏,从而可以提升用户体验。
可选地,在一些实施例中,所述方法还包括:
所述第二电子设备接收所述第一电子设备发送的投屏信息,所述投屏信息包括所述N个图层在所述第二电子设备上显示的区域和所述N个图层各个图层的宽度与高度的比值;
所述第二电子设备分区域显示所述N个图层对应的画面,包括:
所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面。
本申请实施例提供的方案,第二电子设备还可以接收第一电子设备发送的投屏信息,该投屏信息包括N个图层在第二电子设备上显示的区域和N个图层各个图层的宽度与高度的比值,并根据投屏信息分区域显示N个图层对应的画面,可以让画面能更好的适配大屏,从而可以提升用户体验。
可选地,在一些实施例中,所述投屏信息还包括:未显示在所述第一画面上的M个图层,所述M个图层在所述第二电子设备上显示的区域和所述M个图层各个图层的宽度与高度的比值,所述M个图层在所述第二电子设备上显示的区域与所述N个图层在所述第二电子设备上显示的区域不重叠;
所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面,包括:
所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面和所述M个图层对应的画面。
本申请实施例提供的方案,投屏信息还可以包括未显示在第一画面上的M个图层的信息,从而第二电子设备可以按照投屏信息分区域显示N个图层对应的画面和M个图层对应的画面,这样,第二电子设备屏幕上除了显示N个图层的画面外,还可以显示未显示在第一画面上的M个图层的画面,且显示在第二电子设备屏幕上的M个图层的画面与N个图层的画面不重叠,不仅可以让用户看到更多信息,且这多个信息分区域显示在第二电子设备的屏幕上,进一步提升了用户体验。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图11示出了上述实施例中涉及的电子设备1100的一种可能的组成示意图,如图11所示,该电子设备1100可以包括:显示模块1110和投屏模块1120。
其中,显示模块1110可以用于支持电子设备1100执行上述步骤S910等,和/或用于本文所描述的技术的其他过程。
投屏模块1120可以用于支持电子设备1100执行上述步骤S920等,和/或用于本文所描述的技术的其他过程。
在采用对应各个功能划分各个功能模块的情况下,图12示出了上述实施例中涉及的电子设备1200的一种可能的组成示意图,如图12所示,该电子设备1200可以包括:接收模块1210和显示模块1220。
其中,接收模块1210可以用于支持电子设备1200执行上述步骤S1010等,和/或用于本文所描述的技术的其他过程。
显示模块1220可以用于支持电子设备1200执行上述步骤S1020等,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述本申请的方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述各个单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图1所示结构的设备。
图13示出了上述实施例涉及的电子设备1400的又一种可能的组成示意图,如图13所示,该电子设备1400可以包括通信单元1410、输入单元1420、处理单元1430、输出单元(或也可以称为显示单元)1440、外设接口1450、存储单元1460、供电单元1470、解码单元1480。
通信单元1410用于建立通信信道,使电子设备1400通过所述通信信道以连接至远程服务器,并从所述远程服务器下媒体数据。所述通信单元1410可以包括WLAN模块、蓝牙模块、NFC模块、基带模块等通信模块,以及所述通信模块对应的射频(Radio Frequency,简称RF)电路,用于进行无线局域网络通信、蓝牙通信、NFC通信、红外线通信及/或蜂窝式通信系统通信,例如宽带码分多重接入(wideband code division multiple access,W-CDMA)及/或高速下行封包存取(high speed downlink packet access,HSDPA)。所述通信模块1410用于控制电子设备中的各组件的通信,并且可以支持直接内存存取。
输入单元1420可以用于实现用户与电子设备的交互和/或信息输入到电子设备中。在本申请具体实施方式中,输入单元可以是触控面板,也可以是其他人机交互界面,例如实体输入键、麦克风等,还可是其他外部信息撷取装置,例如摄像头等。
处理单元1430为电子设备的控制中心,可以利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储单元内的软件程序和/或模块,以及调用存储在存储单元内的数据,以执行电子设备的各种功能和/或处理数据。如上述步骤S920等可以通过处理单元1430实现。
输出单元1440包括但不限于影像输出单元和声音输出单元。影像输出单元用于输出文字、图片和/或视频。在本申请的具体实施方式中,上述输入单元1420所采用的触控面板亦可同时作为输出单元1440的显示面板。例如,当触控面板检测到在其上的触摸或接近的手势操作后,传送给处理单元以确定触摸事件的类型,随后处理单元根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图13中,输入单元1420与输出单元1440是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板与显示面板集成一体而实现电子设备的输入和输出功能。例如,所述影像输出单元可以显示各种图形化用户接口以作为虚拟控制组件,包括但不限于窗口、卷动轴、图标及剪贴簿,以供用户通过触控方式进行操作。
存储单元1460可用于存储软件程序以及模块,处理单元通过运行存储在存储单元的软件程序以及模块,从而执行电子设备的各种功能应用以及实现数据处理。
图14示出了上述实施例涉及的电子设备1500的再一种可能的组成示意图,如图14所示,该电子设备1500可以包括处理器1510、存储器1520以及收发器1530。
其中,存储器1520可以用于存储计算机程序,所述处理器1510用于调用并运行所述存储器1520中存储的计算机程序,以执行本申请实施例中的方法。
存储器1520可以是独立于处理器1510的一个单独的器件,也可以集成在处理器1510中。
处理器1510可以控制该收发器1530与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。
其中,收发器1530可以包括发射机和接收机。收发器1530还可以进一步包括天线,天线的数量可以为一个或多个。
可选地,该电子设备1500具体可为本申请实施例的移动终端/终端设备,如上述图3或图4中的手机或电视,并且该电子设备1500可以实现本申请实施例的各个方法中由移动终端/终端设备实现的相应流程,为了简洁,在此不再赘述。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种显示方法,其特征在于,所述方法应用于第一电子设备,所述第一电子设备显示第一应用的第一画面,所述方法包括:
响应于用户的第一操作,所述第一电子设备在所述第一画面上显示提醒框,所述提醒框用于对所述第一画面进行投屏设置;
响应于用户在所述提醒框中的第二操作,所述第一电子设备将所述第一画面包括的N个图层对应的画面投屏到第二电子设备上,所述N个图层在所述第二电子设备上分区域显示,N为大于或等于2的整数。
2.根据权利要求1所述的方法,其特征在于,在所述第一电子设备将所述第一画面包括的N个图层投屏到第二电子设备上之前,所述方法还包括:
所述第一电子设备上的第一应用通过调用第一接口设置投屏信息,所述投屏信息包括显示在所述第一画面上的所述N个图层,所述N个图层在所述第二电子设备上显示的区域和所述N个图层各个图层的宽度与高度的比值;
所述第一电子设备将所述第一画面包括的N个图层对应的画面投屏到第二电子设备上,包括:
所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上。
3.根据权利要求2所述的方法,其特征在于,所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层;
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面投屏到所述第二电子设备上。
4.根据权利要求2所述的方法,其特征在于,所述投屏信息还包括:未显示在所述第一画面上的M个图层,所述M个图层在所述第二电子设备上显示的区域和所述M个图层各个图层的宽度与高度的比值,所述M个图层在所述第二电子设备上显示的区域与所述N个图层在所述第二电子设备上显示的区域不重叠;
所述第一电子设备按照所述投屏信息将所述N个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息将所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上。
5.根据权利要求4所述的方法,其特征在于,所述第一电子设备按照所述投屏信息将所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,从所述第一应用中读取所述M个图层的数据;
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上。
6.根据权利要求5所述的方法,其特征在于,所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:
在所述M个图层中第i个图层的数据为图片数据时,所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述第i个图层对应的图片画面投屏到所述第二电子设备上,i为M中的任意数值。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若所述M个图层中第j个图层的数据为文本数据,所述第一电子设备按照目标模板对所述文本数据进行排版,以生成所述文本数据对应的图片,j为M中的任意数值;
所述第一电子设备按照所述投屏信息将重新布局后的所述N个图层对应的画面和所述M个图层对应的画面投屏到所述第二电子设备上,包括:
所述第一电子设备按照所述投屏信息重新布局后的所述N个图层对应的画面和所述第j个图层对应的图片画面投屏到所述第二电子设备上。
8.根据权利要求5至7中任一项所述的方法,其特征在于,所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,从所述第一应用中读取所述M个图层的数据,包括:
所述第一电子设备按照所述投屏信息从所述第一画面中分离出所述N个图层,和,通过第三接口从所述第一应用中读取所述M个图层的数据。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备通过调用第二接口监听所述第一电子设备上的操作;
所述响应于用户的第一操作,所述第一电子设备在所述第一画面上显示提醒框,包括:
当所述第一电子设备监听到所述第一操作,响应于所述第一操作,所述第一电子设备在所述第一画面显示所述提醒框。
10.一种显示方法,其特征在于,所述方法应用于第二电子设备,所述方法包括:
所述第二电子设备接收第一电子设备发送的N个图层对应的画面,所述N个图层为所述第一电子设备显示的第一应用的第一画面所包括的图层,N为大于或等于2的整数;
所述第二电子设备分区域显示所述N个图层对应的画面。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述第二电子设备接收所述第一电子设备发送的投屏信息,所述投屏信息包括所述N个图层在所述第二电子设备上显示的区域和所述N个图层各个图层的宽度与高度的比值;
所述第二电子设备分区域显示所述N个图层对应的画面,包括:
所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面。
12.根据权利要求11所述的方法,其特征在于,所述投屏信息还包括:未显示在所述第一画面上的M个图层,所述M个图层在所述第二电子设备上显示的区域和所述M个图层各个图层的宽度与高度的比值,所述M个图层在所述第二电子设备上显示的区域与所述N个图层在所述第二电子设备上显示的区域不重叠;
所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面,包括:
所述第二电子设备按照所述投屏信息分区域显示所述N个图层对应的画面和所述M个图层对应的画面。
13.一种电子设备,其特征在于,包括用于实现如权利要求1至9或10至12中任一项所述的显示方法的模块。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至9或10至12中任一项所述的方法。
15.一种芯片系统,其特征在于,所述芯片系统包括至少一个处理器,当程序指令在所述至少一个处理器中执行时,使得如权利要求1至9或10至12中任一所述的方法在所述电子设备上的功能得以实现。
16.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至9或10至12中任一项所述的方法。
17.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至9或10至12中任一项所述的方法。
CN202211409326.0A 2022-11-11 2022-11-11 一种显示方法和电子设备 Pending CN118075393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211409326.0A CN118075393A (zh) 2022-11-11 2022-11-11 一种显示方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211409326.0A CN118075393A (zh) 2022-11-11 2022-11-11 一种显示方法和电子设备

Publications (1)

Publication Number Publication Date
CN118075393A true CN118075393A (zh) 2024-05-24

Family

ID=91095935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211409326.0A Pending CN118075393A (zh) 2022-11-11 2022-11-11 一种显示方法和电子设备

Country Status (1)

Country Link
CN (1) CN118075393A (zh)

Similar Documents

Publication Publication Date Title
EP4002108B1 (en) Application start method and electronic device
EP4080834A1 (en) Notification processing system and method, and electronic device
CN111666119B (zh) Ui组件显示的方法及电子设备
US11683850B2 (en) Bluetooth reconnection method and related apparatus
WO2021042978A1 (zh) 一种主题切换方法以及主题切换装置
WO2021036585A1 (zh) 一种柔性屏显示方法和电子设备
CN116360725B (zh) 显示交互系统、显示方法及设备
CN114040242B (zh) 投屏方法、电子设备和存储介质
CN113691842A (zh) 一种跨设备的内容投射方法及电子设备
EP4354270A1 (en) Service recommendation method and electronic device
CN113645608B (zh) 数据传输方法和数据传输装置
CN113835802A (zh) 设备交互方法、系统、设备及计算机可读存储介质
CN116033342B (zh) 地理围栏的处理方法、设备及存储介质
CN115150502B (zh) 一种应用小部件的显示方法及装置、存储介质
CN116795435A (zh) 兼容性管控方法及相关设备
CN116795197A (zh) 图层处理方法和电子设备
CN118075393A (zh) 一种显示方法和电子设备
CN115278642A (zh) 获取sim卡的信息的方法、电子设备及终端设备
CN115087134B (zh) 一种蓝牙连接的方法和电子设备
CN117729561B (zh) 系统升级方法、终端及存储介质
CN115460445B (zh) 电子设备的投屏方法和电子设备
CN116016418B (zh) 一种信息交互方法及电子设备
WO2024193526A1 (zh) 一种备份方法及装置
CN117501233A (zh) 一种投屏图像的处理方法和装置
CN117631935A (zh) 参数同步方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication