CN114009055B - 一种投屏显示方法及电子设备 - Google Patents

一种投屏显示方法及电子设备 Download PDF

Info

Publication number
CN114009055B
CN114009055B CN202080045020.4A CN202080045020A CN114009055B CN 114009055 B CN114009055 B CN 114009055B CN 202080045020 A CN202080045020 A CN 202080045020A CN 114009055 B CN114009055 B CN 114009055B
Authority
CN
China
Prior art keywords
screen
screen projection
source
display
source devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080045020.4A
Other languages
English (en)
Other versions
CN114009055A (zh
Inventor
汪碧海
聂鹏程
宋丽成
刘晓蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202311160023.4A priority Critical patent/CN117376615A/zh
Publication of CN114009055A publication Critical patent/CN114009055A/zh
Application granted granted Critical
Publication of CN114009055B publication Critical patent/CN114009055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Abstract

本申请的实施例提供一种投屏显示方法及电子设备,涉及终端技术领域,可根据源设备的数目动态调整向目的设备投屏的显示数据的参数,提高投屏时的显示流畅度和用户的使用体验。该方法包括:源设备向目的设备发送投屏指令,所述投屏指令用于指示将所述源设备的显示界面投射至所述目的设备中显示;所述源设备接收所述目的设备发送的第一广播,所述第一广播包括在所述目的设备中需要投屏显示的源设备数目N;所述源设备根据所述源设备数目N与所述目的设备协商第一投屏参数,所述第一投屏参数包括投屏分辨率、传输码率或编码压缩率中的一个或多个;所述源设备按照所述第一投屏参数向所述目的设备发送第一显示数据。

Description

一种投屏显示方法及电子设备
本申请要求在2019年7月5日提交中国国家知识产权局、申请号为201910606519.7的中国专利申请的优先权,发明名称为“一种投屏显示方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端技术领域,尤其涉及一种投屏显示方法及电子设备。
背景技术
目前,投屏功能已经广泛应用到用户的日常生活中。例如,用户可以通过在手机内安装投屏软件,将手机(即源设备)中的显示界面投射至其他支持投屏功能的目的设备(例如智能电视)中进行显示,方便用户在不同设备上查看同一设备中的显示内容。
在一些场景下,用户可将多个源设备中的显示内容投射至同一目的设备中显示。例如,用户A可以将手机1中显示的游戏界面1投射至智能电视中显示,同时,用户B可以将手机2中显示的游戏界面2投射至智能电视中显示。
那么,当源设备的数目较多时,各个源设备会同时将需要投屏的显示数据发送给目的设备,此时每个源设备可用的传输带宽会降低,导致传输速度降低、传输时间延长,使得目的设备在显示时可能出现卡顿、延迟等问题。并且,目的设备同时接收到各个源设备发来的显示数据时,需要对每个源设备发来的显示数据进行解码。当目的设备的运算能力不足时,目的设备无法及时对显示数据解码,也会使得目的设备在显示时出现卡顿、延迟等问题。
发明内容
本申请提供一种投屏显示方法及电子设备,可根据源设备的数目动态调整向目的设备投屏的显示数据的参数,提高投屏时的显示流畅度和用户的使用体验。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种投屏显示方法,包括:源设备向目的设备发送投屏指令,该投屏指令用于指示将源设备的显示界面投射至目的设备中显示;进而,源设备可接收目的设备发送的第一广播,第一广播包括在目的设备中需要投屏显示的源设备数目N(N为大于0的整数);那么,源设备可根据源设备数目N与目的设备协商投屏时使用的第一投屏参数,第一投屏参数可包括投屏分辨率、传输码率或编码压缩率中的一个或多个;这样,源设备可按照第一投屏参数向目的设备发送第一显示数据。
也就是说,在投屏时源设备与目的设备可以根据当前的源设备数目N,动态的协商向目的设备投屏时的投屏参数。这样,当源设备的数目较多时,通过调整投屏参数可优先保证投屏时的显示流畅度;当源设备的数目较少时,通过调整投屏参数可优先保证投屏时的显示清晰度,使得用户在不同投屏场景下均可获得较好的使用体验。
其中,每个源设备与目的设备协商得到的第一投屏参数可以相同或不同。
在一种可能的实现方式中,源设备中可存储有不同源设备数目与不同投屏参数之间的对应关系;此时,源设备根据源设备数目N与目的设备协商第一投屏参数,包括:源设备可以根据上述对应关系,确定与源设备数目N对应的第一投屏参数;进而,源设备可将确定出的第一投屏参数发送给目的设备保存。
又或者,源设备可以根据当前的源设备数目N自动计算投屏时使用的第一投屏参数。例如,当源设备数目N为1时,源设备可设置第一投屏参数中的传输码率为当前总带宽的码率(例如10M);当源设备数目N为2时,源设备可设置第一投屏参数中的传输码率为当前总带宽的码率的一半,即5M。
在一种可能的实现方式中,在源设备根据源设备数目N与目的设备协商第一投屏参数之前,还包括:源设备接收目的设备发送的目的设备支持的编解码协议类型;源设备根据目的设备支持的解码协议类型,确定投屏时使用的编解码协议类型。
在一种可能的实现方式中,在源设备按照第一投屏参数向目的设备发送第一显示数据之后,还包括:源设备接收目的设备发送的第二广播,第二广播包括在目的设备中需要投屏显示的源设备数目M(M为不等于N的正整数);进而,源设备可根据当前的源设备数目M与目的设备协商第二投屏参数,第二投屏参数与上述第一投屏参数不同;源设备按照第二投屏参数向目的设备发送第二显示数据。
也就是说,当投屏时源设备的数目发生改变时,源设备与目的设备可重新协商得到第二投屏参数,并使用该第二投屏参数进行投屏显示。
第二方面,本申请提供一种投屏显示方法,包括:源设备向目的设备发送投屏指令,该投屏指令用于指示将源设备的显示界面投射至目的设备中显示;进而,源设备可接收目的设备发送的第一广播,第一广播包括当源设备数目为N时第一投屏参数的参考阈值,第一投屏参数可以包括投屏分辨率、传输码率或编码压缩率中的一个或多个,该参考阈值用于指示目的设备所支持的第一投屏参数的最大值;源设备根据第一投屏参数的参考阈值确定第一投屏参数;源设备按照第一投屏参数向目的设备发送第一显示数据。
也就是说,源设备与目的设备可协商投屏参数时,目的设备可根据源设备数目N确定目的设备所支持的投屏参数的最大值(即参考阈值),进而,可由各个源设备根据自身的投屏能力可在该参考阈值内确定合适的投屏参数,并按照确定出的投屏参数与目的设备进行投屏。
在一种可能的实现方式中,源设备根据第一投屏参数的参考阈值确定第一投屏参数,包括:若源设备支持第一投屏参数的参考阈值,则源设备将第一投屏参数的参考阈值确定为第一投屏参数;若源设备不支持第一投屏参数的参考阈值,则源设备将源设备支持的最大投屏参数确定为第一投屏参数。
在一种可能的实现方式中,在源设备按照第一投屏参数向目的设备发送第一显示数据之后,还包括:源设备接收目的设备发送的第二广播,第二广播包括当源设备数目为M时第二投屏参数的参考阈值,M为不等于N正整数;源设备根据第二投屏参数的参考阈值确定第二投屏参数,第二投屏参数与第一投屏参数不同;源设备按照第二投屏参数向目的设备发送第二显示数据。
也就是说,当投屏时源设备的数目发生改变时,源设备与目的设备可重新协商投屏参数,并使用重新协商的投屏参数进行投屏显示。
第三方面,本申请提供一种投屏显示方法,包括:目的设备确定需要在目的设备中投屏显示的源设备数目为N(N为大于0的整数);目的设备根据源设备数目N,分别与N个源设备协商投屏时使用的第一投屏参数,第一投屏参数可包括投屏分辨率、传输码率或编码压缩率中的一个或多个;目的设备接收该N个源设备分别按照第一投屏参数发送的显示数据,并在投屏界面中同时显示该N个源设备发送的显示数据。
当源设备的数目不同时,目的设备可与源设备协商本次投屏时使用的投屏参数。当源设备的数目较多时,通过调整投屏参数可优先保证投屏时的显示流畅度;当源设备的数目较少时,通过调整投屏参数可优先保证投屏时的显示清晰度,使得用户在不同投屏场景下均可获得较好的使用体验。
在一种可能的实现方式中,目的设备根据源设备数目N,分别与N个源设备协商投屏时使用的第一投屏参数,包括:目的设备向该N个源设备发送第一广播,第一广播包括源设备数目N,以使得每个源设备分别根据源设备数目N确定对应的第一投屏参数;目的设备接收并保存该N个源设备分别发送的第一投屏参数。
在一种可能的实现方式中,目的设备根据源设备数目N,分别与N个源设备协商投屏时使用的第一投屏参数,包括:目的设备根据源设备数目N,确定每个源设备投屏时使用的第一投屏参数的参考阈值,该参考阈值用于指示目的设备所支持的第一投屏参数的最大值;目的设备向该N个源设备发送第一广播,第一广播包括第一投屏参数的参考阈值;目的设备接收并保存该N个源设备分别发送的第一投屏参数。
在一种可能的实现方式中,在目的设备在投屏界面中同时显示该N个源设备发送的显示数据之后,还包括:目的设备确定需要在目的设备中投屏显示的源设备数目为M,M为不等于N正整数;目的设备根据源设备数目M,分别与M个源设备协商投屏时使用的第二投屏参数,第二投屏参数与第一投屏参数不同;目的设备接收该M个源设备分别按照第二投屏参数发送的显示数据,并在投屏界面中同时显示该M个源设备发送的显示数据。也就是说,每当源设备的数目改变时,目的设备可重新与当前的每个源设备协商本次投屏时使用的投屏参数。
在一种可能的实现方式中,目的设备确定需要在目的设备中投屏显示的源设备数目为N,包括:目的设备根据源设备发送的投屏指令的数目确定源设备数目N;或者,目的设备根据已建立的通信连接的数目确定源设备数目N。
示例性的,上述第一投屏参数中可包括第一投屏分辨率,第二投屏参数中包括第二投屏分辨率;若M大于N,则第一投屏分辨率大于第二投屏分辨率;若M小于N,则第一投屏分辨率小于第二投屏分辨率。
也就是说,当投屏的源设备较多时,可以减小投屏分辨率以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,可以增加投屏分辨率以提高投屏时目标设备的显示清晰度。
示例性的,第一投屏参数中包括第一编码压缩率,第二投屏参数中包括第二编码压缩率;若M大于N,则第一编码压缩率小于第二编码压缩率;若M小于N,则第一编码压缩率大于第二编码压缩率。
也就是说,当投屏的源设备较多时,可以提高编码压缩率以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,可以降低编码压缩率以提高投屏时目标设备的显示清晰度。
示例性的,第一投屏参数中包括第一传输码率,第二投屏参数中包括第二传输码率;若M大于N,则第一传输码率大于第二传输码率;若M小于N,则第一传输码率小于第二传输码率。
也就是说,当投屏的源设备较多时,可以降低传输码率以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,可以提高传输码率以提高投屏时目标设备的显示清晰度。
第四方面,本申请提供一种电子设备,该电子设备为投屏时的源设备,该源设备包括:显示屏、一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与显示屏以及存储器均耦合,上述一个或多个计算机程序被存储在存储器中,当源设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使源设备执行上述第一方面以及第二方面以及其中可能的实现方式中任一项所述的投屏显示方法。
第五方面,本申请提供一种电子设备,该电子设备为投屏时的目的设备,该目的设备包括:显示屏、一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与显示屏以及存储器均耦合,上述一个或多个计算机程序被存储在存储器中,当目的设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使目的设备执行上述第三方面以及其中可能的实现方式中任一项所述的投屏显示方法。
第六方面,本申请提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面至第三方面以及其中可能的实现方式中任一项所述的投屏显示方法。
第七方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如第一方面至第三方面以及其中可能的实现方式中任一项所述的投屏显示方法。
可以理解地,上述提供的第四方面和第五方面所述的电子设备、第六方面所述的计算机存储介质,以及第七方面所述的计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种投屏显示系统的场景架构图一;
图2为本申请实施例提供的一种投屏显示系统的场景架构图二;
图3为本申请实施例提供的一种电子设备的结构示意图一;
图4为本申请实施例提供的一种投屏显示方法的交互示意图一;
图5为本申请实施例提供的一种投屏显示方法的应用场景示意图一;
图6为本申请实施例提供的一种投屏显示方法的应用场景示意图二;
图7为本申请实施例提供的一种投屏显示方法的应用场景示意图三;
图8为本申请实施例提供的一种投屏显示方法的应用场景示意图四;
图9为本申请实施例提供的一种投屏显示方法的应用场景示意图五;
图10为本申请实施例提供的一种投屏显示方法的交互示意图二;
图11为本申请实施例提供的一种投屏显示方法的应用场景示意图六;
图12为本申请实施例提供的一种投屏显示方法的应用场景示意图七;
图13为本申请实施例提供的一种投屏显示方法的应用场景示意图八;
图14为本申请实施例提供的一种投屏显示方法的应用场景示意图九;
图15为本申请实施例提供的一种投屏显示方法的交互示意图三;
图16为本申请实施例提供的一种电子设备的结构示意图二。
具体实施方式
下面将结合附图对本实施例的实施方式进行详细描述。
本申请实施例提供的一种投屏显示方法,可应用于图1所示的一个设备组200中,该设备组200内的各个电子设备100之间可以通过局域网(local area network,LAN)或广域网(wide area network,WAN)互相通信。
例如,可将用户的手机、平板电脑、台式电脑、智能手表以及笔记本电脑作为设备组200,当用户使用同一个账号登录该手机、平板电脑、台式电脑、智能手表以及笔记本电脑时,该手机、平板电脑、台式电脑以及笔记本电脑之间可通过广域网互相通信。
又例如,可将用户的手机、平板电脑、台式电脑、智能手表以及笔记本电脑接入同一个路由器上。此时,上述手机、平板电脑、台式电脑、智能手表以及笔记本电脑可形成一个局域网,局域网内的各个设备之间可以路由器实现互相通信。
又例如,电子设备100之间也可以通过无线通信方式(例如,蓝牙,Wi-Fi或ZigBee网络等)组成一个对等网络(也可称为P2P网络)。例如,用户可将手机、平板电脑、智能音箱以及笔记本电脑均加入名称为“1234”的Wi-Fi网络。该Wi-Fi网络内的各个电子设备100形成了一个P2P网络,该P2P网络内的所有设备均为设备组200中的成员。
当然,设备组200内的各电子设备100之间还可以通过蜂窝网络互联,或者,各电子设备100之间还可以通过转接设备(例如,USB数据线或Dock设备)互联,从而实现设备组200内各个电子设备100之间的通信功能,本发明实施例对此不作任何限制。
在本申请实施例中,设备组200中一个或多个电子设备100可以作为源设备,同时,设备组200中一个或多个电子设备100可以作为目的设备。源设备可将其显示界面中的显示内容投射至目的设备中显示。
示例性的,如图2中的(a)所示,以电子设备101为源设备举例,电子设备102和电子设备103均可作为电子设备101的目的设备。电子设备101可将其显示界面中的显示内容投同时射至电子设备102和电子设备103中显示。也就是说,一个源设备可以同时向多个目的设备进行投屏显示。
又或者,如图2中的(b)所示,以电子设备101为目的设备举例,电子设备102和电子设备103均可作为电子设备101的源设备。此时,电子设备102和电子设备103可同时将其显示界面中的显示内容投射至电子设备101中显示。也就是说,一个目的设备可以同时接收并显示多个源设备发来的显示内容。
当设备组200中的目的设备在显示源设备投射的显示内容时,目的设备可根据当前源设备的数目与各个源设备协商本次投屏使用的投屏参数。例如,该投屏参数可以包括投屏分辨率、传输码率、编码压缩率等一个或多个。
示例性的,如果当前源设备的数目较少,则每个源设备可将投屏时发送的每一帧显示画面的分辨率设置的较大。这样,目的设备可以按照较大的分辨率播放源设备投射的每一帧显示画面,目的设备可以提高投屏时显示画面的清晰度。同时,由于源设备的数目较少,因此,投屏时的源设备可以使用的传输带宽较大、传输速度较快且目的设备的负载也不会过高,从而保证投屏时的显示流畅度。
相应的,如果当前源设备的数目较多,则每个源设备可将投屏时发送的每一帧显示画面的分辨率设置的较小。这样,虽然目的设备在播放源设备投射的显示画面时分辨率有所降低,但多个源设备向目的设备传输显示画面时的带宽压力减小,目的设备的负载也会相应降低,因此,可保证多个源设备投屏时的显示流畅度。
也就是说,在投屏时源设备与目的设备可以动态的协商向目的设备投屏时的投屏参数。当源设备的数目较多时,通过调整投屏参数可优先保证投屏时的显示流畅度;当源设备的数目较少时,通过调整投屏参数可优先保证投屏时的显示清晰度,使得用户在不同投屏场景下均可获得较好的使用体验。
在一些实施例中,上述设备组200中各个电子设备的具体结构可以是相同的,也可以是不同的。
例如,上述各个电子设备具体可以是手机、平板电脑、智能电视、可穿戴电子设备、车机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant,PDA)、虚拟现实设备等,本申请实施例对此不做任何限制。
示例性的,图3示出了一种电子设备的结构示意图。
其中,电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,摄像头193,显示屏194等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括一个或多个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成一个或多个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备执行本申请一些实施例中所提供的投屏显示方法,以及各种功能应用和数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。在另一些实施例中,处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,来使得电子设备执行本申请实施例中提供的投屏显示方法,以及各种功能应用和数据处理。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备可以设置一个或多个麦克风170C。在另一些实施例中,电子设备可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。触摸传感器可以设置于显示屏,由触摸传感器与显示屏组成触摸屏,也称“触控屏”。
另外,上述电子设备中还可以包括按键、马达、指示器以及SIM卡接口等一种或多种部件,本申请实施例对此不做任何限制。
以下将结合附图详细阐述本申请实施例提供的一种投屏显示方法。
如图4所示,以投屏时的目的设备为智能电视,源设备为手机A举例,本申请实施例提供的一种投屏显示方法包括:
S401、智能电视与手机A建立通信连接。
示例性的,智能电视与手机A可通过无线方式(例如蓝牙、Wi-Fi或WLAN直连)建立通信连接。或者,智能电视与手机A也可通过有线方式(例如USB数据线、dock设备)建立通信连接。
以智能电视与手机A建立Wi-Fi连接举例,用户可以打开智能电视和手机A的Wi-Fi功能并接入同一Wi-Fi网络。如果用户希望将手机A中的显示内容投射至智能电视中显示,用户可以打开智能电视和手机A中安装的投屏APP。如图5所示,用户打开手机A中的投屏APP后,手机A可显示界面501。手机A可将搜索到的位于同一Wi-Fi网络下的设备列表502显示在界面501中,例如,设备列表502中包括智能电视的标识503。进而,如果检测到用户选中设备列表502中的标识503,则手机A可通过WLAN直连功能与智能电视建立Wi-Fi连接。
另外,在用户选中设备列表502中的标识503后,智能电视还可以提示用户确认建立与手机A的Wi-Fi连接。当智能电视检测到用户确认建立本次Wi-Fi连接后,手机A可通过WLAN直连功能与智能电视建立Wi-Fi连接。
又例如,用户打开智能电视和手机A中的投屏APP后,如图6所示,智能电视还可以默认作为接入点(AP)显示二维码601。二维码601中可以携带智能电视的标识,例如电视的标识的MAC地址或IP地址等。进而,用户可使用手机A中投屏APP提供的扫码功能扫描该二维码601,从而获取智能电视的标识。这样,手机A根据智能电视的标识,通过WLAN直连功能可与智能电视建立Wi-Fi连接。
智能电视与手机A建立通信连接后,智能电视与手机A构成了一个设备组。该设备组内的成员是可以动态增加或减少的。
S402、手机A向智能电视发送第一投屏指令。
仍以用户使用手机A中的投屏APP与智能电视建立Wi-Fi连接举例,仍如图5所示,手机A显示的界面501中还可以包括投屏选项504。如果检测到用户选中智能电视的标识503后点击该投屏选项504,则手机可作为源设备向用户选中的目标设备(即智能电视)发送第一投屏指令。例如,该投屏指令中可包括手机A的标识,智能电视接收到第一投屏指令后可确定后续投屏的源设备为手机A。
当然,用户选中智能电视的标识503后,也可以在投屏APP中手动将智能电视设置为源设备或目标设备。当用户将智能电视设置为目标设备时,手机A为智能电视的源设备;当用户将智能电视设置为源设备时,手机A为智能电视的目的设备,本申请实施例对此不做任何限制。
S403、响应于第一投屏指令,智能电视发送第一广播,第一广播中包括当前源设备的数目1。
仍以智能电视为目的设备举例,智能电视接收到手机A发来的第一投屏指令后,智能电视可确定当前需要投屏的源设备的数目。例如,智能电视可以根据当前Wi-Fi连接的数量确定源设备的数目。如果智能电视当前与N(N≥1,且N为整数)个设备之间建立了Wi-Fi连接,则可确定当前源设备的数目为N。又例如,智能电视可以根据接收到的投屏指令的数量确定源设备的数目。如果智能电视当前已经接收到N设备发来的投屏指令,则可确定当前源设备的数目为N。
以智能电视的源设备仅包括手机A举例,智能电视确定出当前源设备的数目为1后,可以广播的形式将当前源设备的数目1广播给设备组内的各个成员,即智能电视可在设备组内发送携带当前源设备的数目1的第一广播。
S404、手机A根据当前源设备的数目1,确定投屏时的第一投屏参数。
在本申请实施例中,手机A(即源设备)在投屏前,可根据当前源设备的数目动态的确定本次投屏时使用的第一投屏参数,该第一投屏参数可以包括投屏分辨率、传输码率、编码压缩率等一个或多个。
示例性的,以投屏分辨率举例,源设备(例如手机A)向目的设备(例如智能电视)投屏时,可将手机A的每一帧显示界面以图片的形式发送至智能电视进行显示。在现有技术中,手机A向智能电视投屏时发送的每一帧图片的分辨率(即投屏分辨率)是一定的。例如,如果手机A的分辨率为1080p(即1920*1080),那么手机A可按照1080p的投屏分辨率发送的每一帧图片。但是,当智能电视的源设备数目较多时,如果每个源设备均按照1080p的投屏分辨率传输投屏时的显示数据,则每个源设备可使用的传输带宽将明显降低,智能电视的处理能力也将明显下降,导致投屏时目的设备出现卡顿等现象。
在本申请实施例中,手机A接收到智能电视发送的第一广播后,可根据第一广播中当前源设备的数目确定后续投屏时每一帧显示界面的投屏分辨率。例如,如果当前源设备的数目为1,则手机A可确定投屏时向智能电视发送的显示界面的投屏分辨率为1080p。如果当前源设备的数目为2,则手机A可确定投屏时向智能电视发送的显示界面的投屏分辨率为720p(即1280x720)。也就是说,当源设备的数目越多时,手机A确定出的投屏分辨率越小;当源设备的数目越少时,手机A确定出的投屏分辨率越大。
例如,手机A中可以预先存储不同源设备数目与投屏分辨率之间的对应关系。手机获取到上述第一广播后,可根据该对应关系查找到与当前源设备数量1对应的投屏分辨率。这样,当投屏的源设备较多时,手机A(即源设备)可以减小投屏分辨率以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,手机A(即源设备)可以增加投屏分辨率以提高投屏时目标设备的显示清晰度。
示例性的,以编码压缩率举例,为了降低投屏时的数据传输量,手机A(即源设备)向智能电视(即目的设备)发送需要投屏显示的显示数据时,会使用一定的编解码协议对显示数据进行编码压缩。例如,该编解码协议可以为H.263、H.264或H.265等。在现有技术中,手机A向智能电视投屏时进行编码压缩的编码压缩率是一定的。但是,当智能电视的源设备数目较多时,如果每个源设备均按照相同的编码压缩率进行编码,则每个源设备可用的传输带宽将明显降低,且智能电视的处理能力将明显下降,导致投屏时目的设备出现卡顿等现象。
在本申请实施例中,手机A接收到智能电视发送的第一广播后,可根据第一广播中当前源设备的数目确定后续投屏时的编码压缩率。示例性的,当源设备的数目越多时,手机A确定出的编码压缩率越大;当源设备的数目越少时,手机A确定出的投屏时的编码压缩率越小。
以H.264中规定的编解码协议举例,源设备(例如手机A)在编码每一帧显示界面组成的数据流时,可将数据流依次编码为多个I帧和多个P帧。其中,I帧又称帧内编码帧,是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码。P帧又称帧间预测编码帧,需要参考前面的I帧才能进行编码。P帧用于表示当前帧画面与前一帧(前一帧可能是I帧也可能是P帧)的差别。源设备在传输I帧时的数据量远大于传输P帧时的数据量。
例如,手机A可以用相邻I帧之间P帧的数目表示编码压缩率。当相邻I帧之间P帧的数目越多时,编码压缩率越高,投屏时源设备传输的数据量越少;当相邻I帧之间P帧的数目越少时,编码压缩率越低,投屏时源设备传输的数据量越多。
示例性的,手机A中可以预先存储不同源设备数目与编码压缩率之间的对应关系。例如,当源设备数目为1时,可设置相邻I帧之间P帧的数目为5个;当源设备数目为2时,可设置相邻I帧之间P帧的数目为10个。那么,手机获取到上述第一广播后,可根据该对应关系查找到与当前源设备数量1对应的编码压缩率。
这样,当投屏的源设备较多时,手机A(即源设备)可以提高编码压缩率以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,手机A(即源设备)可以降低编码压缩率以提高投屏时目标设备的显示清晰度。
另外,编码压缩率与传输码率之间满足一定的函数关系。当手机A设置了编码压缩率后,投屏时的传输码率也相应固定;当手机A设置了传输码率后,投屏时的编码压缩率也相应固定。一般,当编码压缩率越高时,对应的传输码率越低。那么,当投屏的源设备较多时,手机A(即源设备)可以降低传输码率以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,手机A(即源设备)可以提高传输码率以提高投屏时目标设备的显示清晰度。
示例性的,手机A在确定第一投屏参数时,可根据源设备的数目确定编码压缩率和传输码率中的一个参数,进而,手机A可根据编码压缩率与传输码率之间的函数关系确定出编码压缩率和传输码率中的另一个。
例如,手机可以预先存储不同源设备数目与传输码率之间的对应关系。例如,当源设备数目为1时,对应的传输码率为5M;当源设备数目为2时,对应的传输码率为2M。手机获取到上述第一广播后,也可根据该对应关系确定与当前源设备数目对应的传输码率。进而,手机可根据编码压缩率与传输码率之间的函数关系,确定出与上述传输码率对应的编码压缩率。
另外,手机A可能支持一种或多种编解码协议,智能电视也可能支持一种或多种编解码协议。那么,手机A与智能电视还可以在投屏前协商本次使用的编解码协议。例如,智能电视可以在上述第一广播中携带智能电视支持的编解码协议为H.264和H.265。那么,手机A接收到该第一广播后,可以从H.264和H.265这两个编解码协议中选择一个。以手机A选择H.265的编解码协议举例,手机A可将与H.265这一编解码协议对应的标识发送给智能电视,这样,智能电视和手机A双方均可确定本次投屏时使用的编解码协议为H.265。
在另一些实施例中,智能电视也可以向用户提供手动设置投屏参数的设置选项或设置菜单。例如,智能电视在向设备组中的源设备发送第一广播前,可显示“清晰度优先”的第一选项和“流畅度优先”的第二选项。如果检测到用户选择第一选项,则智能电视可在第一广播中携带“清晰度优先”的标识(例如标识A)。如果检测到用户选择第二选项,则智能电视可在第一广播中携带“流畅度优先”的标识(例如标识B)。
那么,如果手机A在第一广播中解析出标识A,则在设置第一投屏参数时,手机A可提高上述投屏参数、提高传输码率或降低压缩编码率中的一项或多项参数,以保证投屏时优先保证用户对清晰度的需求。相应的,如果手机A在第一广播中解析出标识B,则在设置第一投屏参数时,手机A可降低上述投屏参数、降低传输码率或提高压缩编码率中的一项或多项参数,以保证投屏时优先保证用户对流畅度的需求。
当然,智能电视与手机A也可按照上述方法自动协商本次投屏时的第一投屏参数,用户可以在手机A或智能电视的设置菜单中手动修改该第一投屏参数。进而,智能电视与手机A可按照用户手动修改后的第一投屏参数进行投屏显示,本申请实施例对此不做任何限制。
S405、手机A将第一投屏参数发送给智能电视保存。
一般,大屏设备(例如智能电视)具有的显示能力高于手机A等移动终端的显示能力。因此,智能电视一般能够支持手机A确定出的第一投屏参数。那么,手机A确定出投屏时的第一投屏参数后,可将第一投屏参数发送给智能电视保存,以便后续智能电视按照该第一投屏参数解码和显示手机A发来的显示数据。
又或者,手机A根据当前源设备的数目1确定出投屏时的第一投屏参数后,可将第一投屏参数发送给智能电视进行协商。例如,手机A确定出的第一投屏参数包括:投屏分辨率为1080p,传输码率为5M。智能电视接收到该第一投屏参数后,可确定是否支持该第一投屏参数。如果智能电视不支持1080p的投屏分辨率,或不支持5M的传输码率,则智能电视可向手机A发送自身支持的多种投屏分辨率或传输码率。手机A可在智能电视发来的多种投屏分辨率或传输码率中重新确定上述第一投屏参数。
当然,如果智能电视接收到手机A发来的第一投屏参数后,确定自身的显示能力能够支持该第一投屏参数,则智能电视可保存该第一投屏参数,以便后续智能电视按照该第一投屏参数解码和显示手机A发来的显示数据。
需要说明的是,上述实施例中是以手机A根据当前源设备的数目确定出手机A投屏时的第一投屏参数举例说明的。可以理解的是,也可以由智能电视根据当前源设备的数目为手机A确定投屏时的第一投屏参数。
例如,智能电视可从服务器获取与手机A对应的配置文件。该配置文件中记录了不同源设备数目所对应的投屏分辨率、编码压缩率等投屏参数。如果当前源设备的数目为1个,则智能电视可在配置文件中确定与1个源设备对应的第一投屏参数。并且,智能电视可将确定出的第一投屏参数发送给手机A保存,以便后续手机A按照该第一投屏参数编码向智能电视投射的显示数据。
S406、手机A按照第一投屏参数,将手机A中正在显示的第一显示数据发送给智能电视。
手机A与智能电视协商出本次投屏的第一投屏参数后,手机可按照该第一投屏参数生成需要投屏至智能电视中的显示数据。
示例性的,如图7中的(a)所示,用户在手机A中开启投屏功能后,打开游戏APP显示第一界面701。此时,手机A需要将第一界面701投射至智能电视中显示。那么,手机A可按照第一投屏参数中协商好的投屏分辨率和编码压缩率对第一界面701进行编码,并将编码后生成的数据流(即第一显示数据)发送给智能电视。
需要说明的是,手机A可以按照第一投屏参数对整个第一界面701进行编码,也可以按照第一投屏参数对第一界面701中的部分显示内容进行编码。也就是说,手机A可以将整个第一界面701投射至智能电视中显示,也可以将第一界面701中的部分显示内容投射至智能电视中显示,本申请实施例对此不做任何限制。
S407、智能电视按照第一投屏参数显示上述第一显示数据。
仍以手机A向智能电视投射上述第一界面701举例,如图7中的(b)所示,智能电视接收到手机A发来的第一显示数据后,可按照协商好的第一投屏参数对第一显示数据进行解码和显示。例如,智能电视可使用与第一投屏参数中编码压缩率对应的解码方式还原第一界面701,并按照第一投屏参数中的投屏分辨率显示第一界面701。
示例性的,如图7中的(b)所示,智能电视可按照第一投屏参数将手机A投射的第一界面701居中显示。又例如,如图8所示,智能电视还可以按照第一投屏参数将第一界面701显示在预设区域1,并且,智能电视可在预设区域2中继续显示上述二维码601。其他源设备仍可通过扫描二维码601与智能电视建立通信连接并开始投屏。
又例如,如图9中的(a)所示,智能电视在显示手机A投射的第一界面701时,还可以隐藏上述二维码601。并且,智能电视可显示用于呼出二维码601的选项901。如果检测到用户在智能电视中选中选项901,则如图9中的(b)所示,智能电视在显示第一界面701的同时可重新显示出二维码601,以便其他源设备通过扫描二维码601与智能电视建立通信连接并开始投屏。
上述实施例中是以智能电视的源设备数目为1个(即上述手机A)举例说明的。可以理解的是,智能电视可以动态的接收一个或多个源设备发来的显示数据进行投屏显示。当智能电视的源设备数目发生改变时,每个源设备在向智能电视投屏时使用的投屏参数也将动态变化。
示例性的,在手机A向智能电视投屏显示数据的过程中,其他源设备还可以与智能电视建立通信连接,并向智能电视投屏自身的显示数据。以手机B为智能电视新增的源设备举例,如图10所示,本申请实施例提供的一种投屏显示方法还包括:
S1001、智能电视与手机B建立通信连接。
其中,智能电视与手机B建立通信连接的过程,与步骤S401中智能电视与手机A建立通信连接的过程类似。例如,手机B可以扫描图9中的(b)所示的二维码601,以获取智能电视的标识,并根据智能电视的标识与智能电视建立Wi-Fi连接,本申请实施例对此不再赘述。
智能电视与手机B建立通信连接后,如果智能电视仍与手机A保持着通信连接,则此时智能电视、手机A以及手机B构成了一个设备组。同样,该设备组内的成员是可以动态增加或减少的。
S1002、手机B向智能电视发送第二投屏指令。
其中,手机B向智能电视发送第二投屏指令的过程,与步骤S402中手机A向智能电视发送第一投屏指令的过程类似,故此处不再赘述。
S1003、响应于第二投屏指令,智能电视发送第二广播,第二广播中包括当前源设备的数目2。
智能电视接收到手机B发来的第二投屏指令后,说明有新的源设备加入本次投屏过程,智能电视可重新确定当前需要投屏的源设备的数目。
以智能电视的源设备为手机A和手机B举例,智能电视确定出当前源设备的数目为2个后,可以广播的形式将当前源设备的数目2广播给设备组内的各个成员,即智能电视可在设备组内发送携带当前源设备的数目2的第二广播。设备组中的手机A和手机B均可接收到该第二广播。
S1004a、手机A根据当前源设备的数目2,确定投屏时的第二投屏参数。
与步骤S404类似的,在步骤S1004a中,手机A接收到第二广播中源设备的数目2后,可重新确定与源设备的数目2对应的第二投屏参数。与第一投屏参数类似的,第二投屏参数可以包括投屏分辨率、传输码率、编码压缩率等一个或多个。
例如,如果当前源设备的数目为2个,则手机A可根据预先存储不同源设备数目与投屏分辨率之间的对应关系,将第二投屏参数中的投屏分辨率从1080p降低为720p。
又例如,如果当前源设备的数目为2个,则手机A可根据预先存储不同源设备数目与编码压缩率之间的对应关系,将第二投屏参数中的编码压缩率设置为每隔10个P帧设置一个I帧。
也就是说,当源设备的数目增加后,手机A确定出的第二投屏参数可优先保证投屏时的显示流畅度,避免源设备的数目增加后多个源设备同时投屏造成目的设备出现显示卡顿、延迟等问题。
S1005a、手机A将第二投屏参数发送给智能电视保存。
与步骤S405类似的,在步骤S1005a中,手机A确定出第二投屏参数后,可将第二投屏参数发送给智能电视。如果智能电视的显示能力支持该第二投屏参数,则智能电视可保存该第二投屏参数。否则,智能电视可与手机A继续协商当源设备为2个时的第二投屏参数。
S1006a、手机A按照第二投屏参数,将手机A中正在显示的第二显示数据发送给智能电视。
与步骤S406类似的,在步骤S1006a中,手机A与智能电视协商出后续投屏时使用的第二投屏参数后,手机可按照该第二投屏参数生成需要投屏至智能电视中的第二显示数据。
如图7中的(a)所示,手机A原本在使用第一投屏参数向智能电视投射第一界面701的显示数据(即第一显示数据),当手机B作为源设备加入本次投屏后,手机A重新与智能电视协商出后续投屏时使用的第二投屏参数。此时,如图11所示,如果手机A正在显示游戏APP的第二界面1101,则手机A可使用第二投屏参数向智能电视发送第二界面1101的显示数据(即第二显示数据)。
S1004b、手机B根据当前源设备的数目2,确定投屏时的第三投屏参数。
与步骤S1004a类似的,在步骤S1004b中,手机B接收到第二广播中源设备的数目2后,可确定与源设备的数目2对应的第三投屏参数。与上述第一投屏参数和第二投屏参数类似的,第三投屏参数可以包括投屏分辨率、传输码率、编码压缩率等一个或多个。
其中,第三投屏参数可以与第二投屏参数相同或不同。也就是说,每个源设备与目的设备协商出的具体投屏参数可以相同或不同。与第二投屏参数类似的,当投屏时源设备的数目较多时,手机B确定出的第三投屏参数可优先保证投屏时的显示流畅度,避免源设备的数目增加后多个源设备同时投屏时造成目的设备显示卡顿、延迟等问题。
相应的,如果向智能电视投屏的源设备的数目减少,投屏时智能电视发生卡顿的几率较小,那么,源设备此时确定出的投屏参数可优先保证投屏时的显示清晰度,使得用户在不同投屏场景下均可获得较好的使用体验。
S1005b、手机B将第三投屏参数发送给智能电视保存。
与步骤S1005a类似的,在步骤S1005b中,手机B确定出第三投屏参数后,可将第三投屏参数发送给智能电视。如果智能电视的显示能力支持该第三投屏参数,则智能电视可保存该第三投屏参数。否则,智能电视可与手机B继续协商当源设备为2个时的第三投屏参数。
S1006b、手机B按照第三投屏参数,将手机B中正在显示的第三显示数据发送给智能电视。
与步骤S1006a类似的,在步骤S1006b中,手机B与智能电视协商出后续投屏时使用的第三投屏参数后,手机可按照该第三投屏参数生成需要投屏至智能电视中的第三显示数据。
如图12所示,当手机B作为源设备加入本次投屏后,手机B可显示游戏APP的第三界面1201。手机B与智能电视协商出后续投屏时使用的第三投屏参数后,可使用第三投屏参数向智能电视发送第三界面1201的显示数据(即第三显示数据)。
S1007、智能电视在显示界面中同时显示上述第二显示数据和第三显示数据。
如图13所示,智能电视接收到手机A发来的第二显示数据后,可按照与手机A协商好的第二投屏参数解码第二显示数据,并按照第二投屏参数在智能电视的第一预设区域中显示与第二显示数据对应的第二界面1101。
同时,仍如图13所示,智能电视接收到手机B发来的第三显示数据后,可按照与手机B协商好的第三投屏参数解码第三显示数据,并按照第三投屏参数在智能电视的第二预设区域中显示与第三显示数据对应的第三界面1201。
这样,智能电视作为目的设备可同时接收一个或多个源设备发来的显示数据进行投屏。并且,每当源设备的数目改变时,目的设备可重新与源设备协商本次投屏时使用的投屏参数。当源设备的数目较多时,通过调整投屏参数可优先保证投屏时的显示流畅度;当源设备的数目较少时,通过调整投屏参数可优先保证投屏时的显示清晰度,使得用户在不同投屏场景下均可获得较好的使用体验。
另外,仍如图13所示,智能电视在显示上述第二界面1101和第三界面1201时,还可以显示用于呼出上述二维码601的选项1301。如果检测到用户在智能电视中选中选项1301,则如图14所示,智能电视在显示第二界面1101和第三界面1201的同时,可重新显示出智能电视的二维码601,以便其他源设备通过扫描二维码601与智能电视建立通信连接并开始投屏。
那么,当有新的设备加入设备组向智能电视投屏时,智能电视与各个源设备可按照上述方法继续协商源设备数目改变后各个源设备使用的投屏参数。
同样,如果检测到已有的源设备退出本次投屏,则智能电视也可与各个源设备可按照上述方法继续协商源设备数目改变后各个源设备使用的投屏参数。
例如,当智能电视检测到手机A与智能电视之间的通信连接断开,或者,智能电视检测到手机A发来停止投屏的指令时,智能电视可确定出当前源设备的数目从2个减少为1个。进而,智能电视可向设备组中的源设备发送第三广播,第三广播中包括当前源设备的数目为1个。此时设备组中的源设备仅包括手机B,手机B接收到第三广播后,与上述步骤S404-S405类似的,手机B可根据当前源设备的数目1,确定投屏时的第三投屏参数,并将确定出的第三投屏参数发送给智能电视保存。由于设备组中源设备的数目减少,因此,手机B在确定第三投屏参数时可提高投屏分辨率、降低压缩编码率或提高传输码率,以提高投屏时目标设备(即智能电视)的显示清晰度。后续,手机B与智能电视双方可按照本次协商得到的第三投屏参数进行投屏显示。
在本申请的另一些实施例中,投屏时目的设备还可以根据源设备的数目,向各个源设备下发投屏参数的参考阈值。这样,每个源设备根据设备自身的投屏能力可在该参考阈值内确定合适的投屏参数,并按照确定出的投屏参数与目的设备进行投屏。
示例性的,仍以智能电视作为目的设备,如图15所示,本申请实施例提供的一种投屏显示方法包括:
S1501、当检测到源设备加入或退出时,智能电视获取当前需要投屏的源设备数目N。
智能电视可实时监测设备组中新加入的源设备,或设备组中退出投屏功能的源设备。例如,当智能电视的正在投屏的源设备数目为1个时,如果接收到新的源设备发来的投屏指令,则智能电视可确定当前需要投屏的源设备数目加一,即源设备数目N=2。又例如,当智能电视的正在投屏的源设备数目为2个时,如果智能电视检测到其中一个源设备与智能电视之间的通信连接断开,则智能电视可确定当前需要投屏的源设备数目减一,即源设备数目N=1。
当智能电视确定出需要投屏的源设备数目N发生变化,例如源设备数目N增多或减少时,智能电视可继续执行下述步骤S1502-S1505,与各个源设备协商本次投屏时使用的投屏参数进行投屏显示。
S1502、智能电视根据源设备数目N,确定每个源设备投屏时投屏参数的参考阈值。
智能电视检测到当前的源设备数目N后,可根据当前的源设备数目N动态的与源设备协商本次投屏时使用的投屏参数,例如投屏分辨率、传输码率或编码压缩率等。
在本申请实施例中,智能电视可以根据源设备数目N,先为每个源设备的投屏参数设置对应的参考阈值。进而,再由源设备按照智能电视下发的参考阈值确定最终使用的投屏参数。
在步骤S1502中,当源设备数目N越大时,智能电视为每个源设备设置投屏参数的参考阈值时,可优先保证投屏时目标设备的显示流畅度;当源设备数目N越小时,智能电视为每个源设备设置投屏参数的参考阈值时,可优先保证投屏时目标设备的显示清晰度。
示例性的,上述投屏参数的参考阈值可包括投屏分辨率的参考阈值。投屏分辨率的参考阈值为智能电视进行投屏时所支持的最大投屏分辨率。例如,当源设备数目N=1时,智能电视可设置源设备投屏时使用的投屏分辨率的参考阈值为1080p。当源设备数目N=2时,智能电视可设置每个源设备投屏时使用的投屏分辨率的参考阈值为720p。也就是说,当智能电视上只有1个源设备进行投屏时,智能电视对源设备所支持的最大分辨率为1080p。当智能电视上有2个源设备进行投屏时,智能电视对每个源设备所支持的最大分辨率为720p。
这样,当投屏的源设备较多时,通过减小投屏分辨率可以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,通过增加投屏分辨率可以提高投屏时目标设备的显示清晰度。
又例如,上述投屏参数的参考阈值可包括传输码率的参考阈值。传输码率的参考阈值为智能电视进行投屏时所支持的最大传输码率。例如,当源设备数目N=1时,智能电视可设置源设备投屏时传输码率的参考阈值为5M。当源设备数目N=2时,智能电视可设置每个源设备投屏时传输码率的参考阈值为3M。也就是说,当智能电视上只有1个源设备进行投屏时,智能电视对源设备所支持的最大传输码率为5M。当智能电视上有2个源设备进行投屏时,智能电视对每个源设备所支持的最大传输码率为3M。
这样,当投屏的源设备较多时,通过减小传输码率可以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,通过增加传输码率可以提高投屏时目标设备的显示清晰度。
又例如,上述投屏参数的参考阈值可包括编码压缩率的参考阈值。编码压缩率的参考阈值为智能电视进行投屏时所支持的最大编码压缩率。例如,可以用相邻I帧之间P帧的数目表示编码压缩率。当源设备数目N=1时,智能电视可设置源设备投屏时传输的相邻I帧之间P帧的数目最多为5个。当源设备数目N=2时,智能电视可设置每个源设备投屏时传输的相邻I帧之间P帧的数目最多为10个。
这样,当投屏的源设备较多时,通过提高编码压缩率可以提高投屏时目标设备的显示流畅度。相应的,当投屏的源设备较少时,通过降低编码压缩率可以提高投屏时目标设备的显示清晰度。
需要说明的是,编码压缩率与传输码率之间满足一定的函数关系。那么,源设备可确定编码压缩率和传输码率这两个参数中一个参数的参考阈值。进而,通过预设的函数关系,源设备可确定出另一参数的参考阈值。
示例性的,可以在智能电视内预先设置不同的源设备数目N,与不同投屏参数的参考阈值之间的对应关系。进而,智能电视获取到当前的源设备数目N后,可根据该对应关系分别确定投屏分辨率、传输码率或编码压缩率的参考阈值。
又或者,智能电视每次获取到当前的源设备数目N后,也可以根据源设备数目N计算对应的投屏分辨率、传输码率或编码压缩率的参考阈值。例如,当智能电视的分辨率为2K(即2560p)时,如果源设备数目N=1,智能电视可将2560p设置为投屏分辨率的参考阈值;如果源设备数目N=2,智能电视可将1280p(即2560p/2)设置为投屏分辨率的参考阈值。又例如,当智能电视的传输带宽为10M时,如果源设备数目N=1,智能电视可将10M设置为传输码率的参考阈值;如果源设备数目N=2,智能电视可将5M(即10M/2)设置为传输码率的参考阈值。
S1503、智能电视向N个源设备广播上述参考阈值。
在步骤S1503中,智能电视根据源设备数目N确定出投屏参数的参考阈值后,可以广播的形式将确定出的参考阈值广播给设备组内的各个成员,使得设备组中智能电视的N个源设备均可获取到智能电视确定出的投屏参数的参考阈值。
在另一些实施例中,智能电视还可以在广播中携带当前的源设备数目N。后续,源设备也可根据源设备数目N确定本次投屏时使用的投屏参数。
可以理解地,智能电视可以给源设备广播智能电视支持的编解码协议。
S1504、N个源设备中的每个源设备根据上述参考阈值确定本次投屏时使用的投屏参数。
以手机A为智能设备的N个源设备中的一个举例,手机A接收到智能电视发来的投屏参数的参考阈值后,可结合自身设备的投屏能力确定本次投屏使用的具体投屏参数。
例如,智能电视发来的投屏分辨率的参考阈值为720p。那么,手机A可获取自身支持的最大分辨率。如果手机A支持的最大分辨率大于720p,则手机A可将720p确定为投屏时使用的投屏分辨率。如果手机A支持的最大分辨率小于720p,则手机A可将手机A支持的最大分辨率确定为投屏时使用的投屏分辨率。
又例如,智能电视发来的传输码率的参考阈值为5M。那么,手机A可获取自身支持的最大传输码率。如果手机A支持的最大传输码率大于5M,则手机A可将5M确定为投屏时使用的传输码率。如果手机A支持的最大分辨率小于5M,则手机A可将手机A支持的最大传输码率确定为投屏时使用的传输码率。
由于编码压缩率与传输码率之间满足一定的函数关系,因此,手机A确定出投屏时使用的传输码率后,可按照预设的函数关系计算出本次投屏时的编码压缩率。可以看出,不同的源设备接收到目的设备发来的参考阈值后,可根据自身设备的投屏能力确定本次投屏使用的具体投屏参数,每个源设备确定出的投屏参数可以相同或不同。
在另一些实施例中,如果手机A接收到的广播中包含当前的源设备数目N,则手机A还可以按照上述实施例中步骤S404或S1004a中所述的方法确定投屏时使用的投屏分辨率、传输码率或压缩编码率等一项或多项投屏参数。
又或者,如果手机A接收到的广播中既包含投屏参数的参考阈值,又包含当前的源设备数目N,则手机A还可以根据投屏参数的参考阈值确定投屏时的部分投屏参数,并且,手机还可以根据当前的源设备数目N确定投屏时的另一部分投屏参数。例如,手机A可以根据投屏分辨率的参考阈值确定投屏时使用的投屏分辨率。并且,手机A还可以根据当前的源设备数目N确定投屏时使用的传输码率和压缩编码率,本申请实施例对此不做任何限制。
与手机A类似的,智能电视的N个源设备中的每个源设备都可按照上述方法确定出本次投屏时使用的投屏参数。并且,每个源设备确定出的投屏参数均可按照当前的源设备数目N动态变化,在投屏源设备的数目较多时优先保证投屏时的显示流畅度,在投屏源设备的数目较少时优先保证投屏时的显示清晰度。后续,每个源设备可按照确定出的投屏参数向智能电视进行投屏显示。
每个源设备可以根据智能电视支持的编解码协议中确定自身支持的编解码协议。
S1505、N个源设备中的每个源设备将确定出的投屏参数发送给智能电视保存。
与步骤S405、S1005a和S1005b类似的,在步骤S1505中,每个源设备通过步骤S1504确定出投屏时的投屏参数后,可将其投屏参数发送给智能电视保存,以便智能电视后续按照各个源设备的投屏参数解码并显示每个源设备发来的显示数据。
可以理解地,在步骤S405、S1005a、S1005b、S1505中,智能电视保存新收到的投屏参数后,可以将前一次的投屏参数删除。比如,智能电视的需要投屏的源设备从1个更新为2个时,智能电视保存源设备为2个时收到的投屏参数,删除源设备为1个时收到的投屏参数。
S1506、N个源设备中的每个源设备按照上述投屏参数,将正在显示的显示数据发送给智能电视。
S1507、智能电视按照上述投屏参数同时显示N个源设备发来的显示数据。
在步骤S1506-S1507中,智能电视的每个源设备可按照各自确定出的投屏参数,对正在显示的显示数据进行编码,并将编码后的显示数据发送给智能电视。相应的,智能电视接收到每个源设备发来的显示数据后,可按照与该源设备对应的投屏参数对发来的显示数据进行解码和显示。
最终,智能电视可同时显示出N个源设备发来的显示数据,为用户将多个源设备的显示界面同时呈现在智能电视中显示。并且,每当源设备的数目改变时,智能电视(即目的设备)可重新与源设备协商本次投屏时使用的投屏参数。当源设备的数目较多时,通过调整投屏参数可优先保证投屏时的显示流畅度;当源设备的数目较少时,通过调整投屏参数可优先保证投屏时的显示清晰度,使得用户在不同投屏场景下均可获得较好的使用体验。
本申请实施例公开了一种电子设备,该电子设备可以为上述源设备,也可以为上述目的设备。具体的,电子设备可包括处理器,以及与处理器相连的存储器、输入设备和输出设备。其中,输入设备和输出设备可集成为一个设备,例如,可将触摸传感器作为输入设备,将显示屏作为输出设备,并将触摸传感器和显示屏集成为触摸屏。
此时,如图16所示,上述电子设备可以包括:触摸屏1601,所述触摸屏1601包括触摸传感器1606和显示屏1607;一个或多个处理器1602;存储器1603;通信模块1608;一个或多个应用程序(未示出);以及一个或多个计算机程序1604,上述各器件可以通过一个或多个通信总线1605连接。其中该一个或多个计算机程序1604被存储在上述存储器1603中并被配置为被该一个或多个处理器1602执行,该一个或多个计算机程序1604包括指令,上述指令可以用于执行上述实施例中的各个步骤。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述,在此不再赘述。可以理解地,上述电子设备也可以包括显示屏,而触摸传感器没有和显示屏集成触摸屏,可以通过其他输入方式进行输入,如键盘,鼠标或遥控器,或者没有与显示屏相集成的触摸传感器等。
示例性的,上述处理器1602具体可以为图3所示的处理器110,上述存储器1603具体可以为图3所示的内部存储器116和/或外部存储器120,上述显示屏1607具体可以为图3所示的显示屏194,上述触摸传感器1606具体可以为图3所示的传感器模块180中的触摸传感器,本申请实施例对此不做任何限制。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种投屏显示方法,其特征在于,包括:
源设备向目的设备发送投屏指令,所述投屏指令用于指示将所述源设备的显示界面投射至所述目的设备中显示;
所述源设备接收所述目的设备发送的第一广播,所述第一广播包括当源设备数目为N时第一投屏参数的参考阈值,所述第一投屏参数包括投屏分辨率、传输码率或编码压缩率中的一个或多个,所述参考阈值用于指示所述目的设备所支持的第一投屏参数的最大值,N为大于0的整数;
若所述源设备支持所述第一投屏参数的参考阈值,则所述源设备将所述第一投屏参数的参考阈值确定为所述第一投屏参数;若所述源设备不支持所述第一投屏参数的参考阈值,则所述源设备将所述源设备支持的最大投屏参数确定为所述第一投屏参数;
所述源设备按照所述第一投屏参数向所述目的设备发送第一显示数据。
2.根据权利要求1所述的方法,其特征在于,在所述源设备按照所述第一投屏参数向所述目的设备发送第一显示数据之后,还包括:
所述源设备接收目的设备发送的第二广播,所述第二广播包括当源设备数目为M时第二投屏参数的参考阈值,M为不等于N正整数;
所述源设备根据所述第二投屏参数的参考阈值确定第二投屏参数,所述第二投屏参数与所述第一投屏参数不同;
所述源设备按照所述第二投屏参数向所述目的设备发送第二显示数据。
3.一种投屏显示方法,其特征在于,包括:
目的设备确定需要在所述目的设备中投屏显示的源设备数目为N,N为大于0的整数;
所述目的设备根据所述源设备数目N,确定每个源设备投屏时使用的第一投屏参数的参考阈值,所述参考阈值用于指示所述目的设备所支持的第一投屏参数的最大值;
所述目的设备向所述N个源设备发送第一广播,所述第一广播包括所述第一投屏参数的参考阈值;所述第一投屏参数的参考阈值用于所述N个源设备确定第一投屏参数,若所述N个源设备支持所述第一投屏参数的参考阈值,则所述第一投屏参数为所述第一投屏参数的参考阈值;若所述N个源设备不支持所述第一投屏参数的参考阈值,则所述第一投屏参数为所述N个源设备支持的最大投屏参数;
所述目的设备接收并保存所述N个源设备分别发送的所述第一投屏参数,所述第一投屏参数包括投屏分辨率、传输码率或编码压缩率中的一个或多个;
所述目的设备接收所述N个源设备分别按照所述第一投屏参数发送的显示数据,并在投屏界面中同时显示所述N个源设备发送的显示数据。
4.根据权利要求3所述的方法,其特征在于,所述目的设备确定需要在所述目的设备中投屏显示的源设备数目为N,包括:
所述目的设备根据源设备发送的投屏指令的数目确定所述源设备数目N;或者,
所述目的设备根据已建立的通信连接的数目确定所述源设备数目N。
5.一种电子设备,所述电子设备为投屏时的源设备,其特征在于,所述源设备包括:
显示屏;
通信模块;
一个或多个处理器;
一个或多个存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述源设备执行时,使得所述源设备执行如权利要求1或2所述的投屏显示方法。
6.一种电子设备,所述电子设备为投屏时的目的设备,其特征在于,所述目的设备包括:
显示屏;
通信模块;
一个或多个处理器;
一个或多个存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述目的设备执行时,使得所述目的设备执行如权利要求3或4所述的投屏显示方法。
7.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-4中任一项所述的投屏显示方法。
CN202080045020.4A 2019-07-05 2020-07-03 一种投屏显示方法及电子设备 Active CN114009055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311160023.4A CN117376615A (zh) 2019-07-05 2020-07-03 一种投屏显示方法及电子设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910606519.7A CN110381345B (zh) 2019-07-05 2019-07-05 一种投屏显示方法及电子设备
CN2019106065197 2019-07-05
PCT/CN2020/100038 WO2021004381A1 (zh) 2019-07-05 2020-07-03 一种投屏显示方法及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311160023.4A Division CN117376615A (zh) 2019-07-05 2020-07-03 一种投屏显示方法及电子设备

Publications (2)

Publication Number Publication Date
CN114009055A CN114009055A (zh) 2022-02-01
CN114009055B true CN114009055B (zh) 2023-09-22

Family

ID=68252159

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910606519.7A Active CN110381345B (zh) 2019-07-05 2019-07-05 一种投屏显示方法及电子设备
CN202080045020.4A Active CN114009055B (zh) 2019-07-05 2020-07-03 一种投屏显示方法及电子设备
CN202311160023.4A Pending CN117376615A (zh) 2019-07-05 2020-07-03 一种投屏显示方法及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910606519.7A Active CN110381345B (zh) 2019-07-05 2019-07-05 一种投屏显示方法及电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311160023.4A Pending CN117376615A (zh) 2019-07-05 2020-07-03 一种投屏显示方法及电子设备

Country Status (4)

Country Link
US (1) US20220295027A1 (zh)
EP (1) EP3972262A4 (zh)
CN (3) CN110381345B (zh)
WO (1) WO2021004381A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381345B (zh) * 2019-07-05 2020-12-15 华为技术有限公司 一种投屏显示方法及电子设备
CN110928511A (zh) * 2019-11-13 2020-03-27 讯飞幻境(北京)科技有限公司 一种投屏方法、装置及电子设备
CN112839238B (zh) * 2019-11-22 2023-03-24 腾讯科技(深圳)有限公司 投屏播放方法、装置和存储介质
CN111131866B (zh) * 2019-11-25 2021-06-15 华为技术有限公司 一种投屏音视频播放方法及电子设备
CN112995727A (zh) * 2019-12-17 2021-06-18 华为技术有限公司 一种多屏协同方法、系统及电子设备
CN113129202B (zh) * 2020-01-10 2023-05-09 华为技术有限公司 数据传输方法、装置及数据处理系统、存储介质
CN113225592B (zh) * 2020-01-21 2022-08-09 华为技术有限公司 基于Wi-Fi P2P的投屏方法和装置
CN113163257B (zh) * 2020-01-23 2022-09-20 百度在线网络技术(北京)有限公司 投屏方法、装置、设备及存储介质
CN111263217A (zh) * 2020-02-18 2020-06-09 深圳市炬力北方微电子有限公司 无线投屏方法、无线投屏系统及其计算机可读存储介质
CN111796787B (zh) * 2020-06-30 2022-07-26 联想(北京)有限公司 一种显示方法及显示装置
CN111541934B (zh) * 2020-07-08 2020-10-23 成都极米科技股份有限公司 投屏设备、方法、系统及计算机可读存储介质
CN116360725B (zh) * 2020-07-21 2024-02-23 华为技术有限公司 显示交互系统、显示方法及设备
CN112004143B (zh) * 2020-08-06 2022-07-08 北京奇艺世纪科技有限公司 一种设备的信息处理方法、装置、电子设备及存储介质
CN114077411A (zh) * 2020-08-11 2022-02-22 华为技术有限公司 数据传输方法和设备
CN113556598A (zh) * 2020-09-10 2021-10-26 华为终端有限公司 多窗口投屏方法及电子设备
CN112165520B (zh) * 2020-09-24 2022-06-07 茂佳科技(广东)有限公司 投屏控制方法、投屏接收端及存储介质
US20240005891A1 (en) * 2020-09-30 2024-01-04 Huawei Technologies Co., Ltd. Mirroring method, apparatus, and system
CN114371823B (zh) * 2020-10-14 2023-06-09 荣耀终端有限公司 一种多媒体播放方法、装置、电子设备
CN114489529A (zh) * 2020-10-23 2022-05-13 华为技术有限公司 电子设备的投屏方法及其介质和电子设备
CN112306442B (zh) * 2020-11-20 2023-05-12 Oppo广东移动通信有限公司 跨设备的内容投屏方法、装置、设备及存储介质
CN112558905B (zh) * 2020-12-09 2023-11-10 深圳乐播科技有限公司 一种投屏方法、设备和系统
CN112637671B (zh) * 2020-12-11 2023-04-28 深圳乐播科技有限公司 一种屏幕共享方法及系统
CN113056030B (zh) * 2021-02-01 2022-08-16 广州朗国电子科技股份有限公司 一种一体机的无线投屏模块及投屏方法
CN113055976A (zh) * 2021-03-15 2021-06-29 深圳乐播科技有限公司 基于局域网的无线投屏方法、装置、设备及存储介质
CN113031895A (zh) * 2021-03-30 2021-06-25 联想(北京)有限公司 投屏控制方法、装置及电子设备
CN113242435B (zh) * 2021-04-13 2022-05-20 江苏视博云信息技术有限公司 一种投屏的方法、装置及系统
CN115237359A (zh) * 2021-04-22 2022-10-25 华为技术有限公司 一种投屏显示参数调节方法
CN113301021B (zh) * 2021-04-23 2022-04-22 深圳乐播科技有限公司 一对多投屏方法、系统、设备及存储介质
CN112988102B (zh) * 2021-05-11 2021-09-14 荣耀终端有限公司 投屏方法和装置
US11513757B1 (en) * 2021-06-04 2022-11-29 Citrix Systems, Inc. Display screen casting to target device using casting extension
CN113382293A (zh) * 2021-06-11 2021-09-10 北京字节跳动网络技术有限公司 内容显示的方法、装置、设备及计算机可读存储介质
CN113608710A (zh) * 2021-07-19 2021-11-05 深圳市炬力北方微电子有限公司 一种投屏方法及相关设备
CN113766301B (zh) * 2021-09-18 2023-11-28 海信视像科技股份有限公司 显示设备及交互控制方法
CN113923508A (zh) * 2021-09-29 2022-01-11 联想(北京)有限公司 一种投屏方法及装置
CN113691764A (zh) * 2021-10-25 2021-11-23 广州朗国电子科技股份有限公司 基于鸿蒙系统的多会议设备屏幕共享方法和设备
CN114143371A (zh) * 2021-11-17 2022-03-04 深圳Tcl新技术有限公司 投屏方法、装置、存储介质及电子设备
CN115022688A (zh) * 2022-05-26 2022-09-06 海信视像科技股份有限公司 一种显示设备及媒体数据接力方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856809A (zh) * 2012-12-03 2014-06-11 中国移动通信集团公司 一种多点同屏方法、系统及终端设备
CN107291412A (zh) * 2017-05-19 2017-10-24 广州视源电子科技股份有限公司 无线传屏方法及系统
CN108134957A (zh) * 2017-12-29 2018-06-08 咪咕视讯科技有限公司 一种投屏方法、终端和计算机存储介质
CN108694029A (zh) * 2017-04-05 2018-10-23 博彦科技股份有限公司 终端屏幕显示处理方法、装置及存储介质
CN110381345B (zh) * 2019-07-05 2020-12-15 华为技术有限公司 一种投屏显示方法及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473088B1 (en) * 1998-06-16 2002-10-29 Canon Kabushiki Kaisha System for displaying multiple images and display method therefor
CN1268122C (zh) * 2002-07-23 2006-08-02 精工爱普生株式会社 显示方法及投影机
US7187418B2 (en) * 2003-01-31 2007-03-06 Qwest Communications International, Inc. Systems and methods for delivering picture-in-picture signals at diverse compressions and bandwidths
US8046709B2 (en) * 2005-08-05 2011-10-25 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multiple screens
JP2007115293A (ja) * 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
CN101587431B (zh) * 2009-04-08 2011-03-16 广东威创视讯科技股份有限公司 一种可以跨屏实现多屏播放视频的方法
JP5375338B2 (ja) * 2009-05-29 2013-12-25 セイコーエプソン株式会社 画像表示システム、画像表示装置、画像表示方法、画像供給装置、およびプログラム
JP2012032508A (ja) * 2010-07-29 2012-02-16 Seiko Epson Corp 表示装置、表示システムおよび表示方法
US8521900B2 (en) * 2011-05-05 2013-08-27 Awind Inc. Remote audio-video sharing method and application program for the same
US20130076654A1 (en) * 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US9609395B2 (en) * 2012-03-26 2017-03-28 Max Abecassis Second screen subtitles function
CN103561220A (zh) * 2013-10-28 2014-02-05 三星电子(中国)研发中心 一种电视终端及其多屏显示和控制的方法
KR20150067521A (ko) * 2013-12-10 2015-06-18 에스케이플래닛 주식회사 화면 공유 서비스를 위한 장치 및 방법, 이를 위한 화면 공유 시스템
US20150178032A1 (en) * 2013-12-19 2015-06-25 Qualcomm Incorporated Apparatuses and methods for using remote multimedia sink devices
EP2996346A1 (en) * 2014-09-12 2016-03-16 Samsung Electronics Co., Ltd. Multi-screen control method and device supporting multiple window applications
CN106856563A (zh) * 2015-12-09 2017-06-16 中兴通讯股份有限公司 一种投影终端及其实现多终端同屏投影的方法
KR102484135B1 (ko) * 2016-02-15 2023-01-04 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN105955689A (zh) * 2016-05-19 2016-09-21 乐视控股(北京)有限公司 多屏互动时的屏幕适配方法及装置
CN106528025B (zh) * 2016-11-14 2019-12-31 卓智网络科技有限公司 多屏图像投屏方法、终端、服务器和系统
CN109508162B (zh) * 2018-10-12 2021-08-13 福建星网视易信息系统有限公司 一种投屏显示方法、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856809A (zh) * 2012-12-03 2014-06-11 中国移动通信集团公司 一种多点同屏方法、系统及终端设备
CN108694029A (zh) * 2017-04-05 2018-10-23 博彦科技股份有限公司 终端屏幕显示处理方法、装置及存储介质
CN107291412A (zh) * 2017-05-19 2017-10-24 广州视源电子科技股份有限公司 无线传屏方法及系统
CN108134957A (zh) * 2017-12-29 2018-06-08 咪咕视讯科技有限公司 一种投屏方法、终端和计算机存储介质
CN110381345B (zh) * 2019-07-05 2020-12-15 华为技术有限公司 一种投屏显示方法及电子设备

Also Published As

Publication number Publication date
CN117376615A (zh) 2024-01-09
CN110381345B (zh) 2020-12-15
WO2021004381A1 (zh) 2021-01-14
CN110381345A (zh) 2019-10-25
EP3972262A4 (en) 2022-06-01
CN114009055A (zh) 2022-02-01
US20220295027A1 (en) 2022-09-15
EP3972262A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
CN114009055B (zh) 一种投屏显示方法及电子设备
US11812098B2 (en) Projected audio and video playing method and electronic device
WO2020133183A1 (zh) 音频数据的同步方法及设备
EP3982641A1 (en) Screen projection method and device
WO2021043219A1 (zh) 一种蓝牙回连方法及相关装置
WO2021017909A1 (zh) 一种通过nfc标签实现功能的方法、电子设备及系统
WO2021027623A1 (zh) 一种设备能力发现方法及p2p设备
WO2022111712A1 (zh) 一种音频与视频同步的方法及设备
EP4195659A1 (en) Screen sharing method, electronic device and system
CN114285737B (zh) 配置设备的方法及设备
CN115580541B (zh) 信息同步方法及电子设备
CN116981108B (zh) 无线投屏连接方法、移动终端及计算机可读存储介质
CN113453274B (zh) 一种上行数据的分流方法及终端
CN114449492B (zh) 数据传输方法及终端设备
WO2023061217A1 (zh) 一种数据传输方法及装置
WO2022179243A1 (zh) Wi-Fi接入的方法及相关设备
CN116918336A (zh) 一种直播方法、装置及系统
CN117098253A (zh) 组网的方法和装置
CN116744275A (zh) 通信方法、电子设备及装置
CN115145517A (zh) 一种投屏方法、电子设备和系统
CN117014377A (zh) 拥塞控制协商方法、电子设备及存储介质
CN117193897A (zh) 跨终端的屏幕交互方法、装置、终端设备及介质
CN117440194A (zh) 一种投屏画面的处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant