CN116056053A - 投屏方法、电子设备、系统及计算机可读存储介质 - Google Patents
投屏方法、电子设备、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116056053A CN116056053A CN202210998394.9A CN202210998394A CN116056053A CN 116056053 A CN116056053 A CN 116056053A CN 202210998394 A CN202210998394 A CN 202210998394A CN 116056053 A CN116056053 A CN 116056053A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- time interval
- screen
- data transmission
- transmission capability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 230000005540 biological transmission Effects 0.000 claims abstract description 133
- 238000004891 communication Methods 0.000 claims abstract description 55
- 230000006854 communication Effects 0.000 claims abstract description 55
- 230000015654 memory Effects 0.000 claims description 32
- 230000008093 supporting effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 29
- 230000001976 improved effect Effects 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 22
- 239000010410 layer Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000005266 casting Methods 0.000 description 10
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100122750 Caenorhabditis elegans gop-2 gene Proteins 0.000 description 1
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 1
- 102100034718 Protein CLEC16A Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
- H04W76/14—Direct-mode setup
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请提供一种投屏方法、电子设备、系统及计算机可读存储介质,属于电子设备技术领域,投屏方法包括第一电子设备与第二电子设备建立通信连接;第一电子设备向第二电子设备发送请求,请求中包括图像数据传输中用于表示图像数据中每两个I帧图像之间所需要的时间间隔的标识;第二电子设备响应于请求,确认自身的数据传输能力,并基于数据传输能力向第一电子设备发送响应请求的反馈信息;第一电子设备基于反馈信息向第二电子设备发送多个I帧图像数据。根据本申请实施例的投屏方法,既可以确保图像数据的有效传输,又可以在投屏过程中,出现花屏后尽快恢复正常,提高用户的投屏体验。
Description
技术领域
本发明涉及电子技术领域,尤其涉及投屏方法、电子设备、系统及计算机可读存储介质。
背景技术
目前,越来越多的电子设备支持无线投屏技术。无线投屏技术是指电子设备A通过无线技术将电子设备A屏幕上的显示的图像数据“实时”传输给电子设备B,以使电子设备B上“实时”显示与电子设备A相同的图像数据。实现用户在电子设备B上也可以观看到电子设备A播放的内容。
但是在电子设备B的设备芯片能力较差导致网络传输能力变差、抗干扰能力较差,且环境干扰大时,容易导致网络丢包增加的情况,使得投屏体验下降。
发明内容
有鉴于此,本发明提供一种投屏方法、电子设备、系统及计算机可读存储介质,用于改善因芯片能力差或者信号受到外界干扰较大时的用户投屏体验。
本申请的一些实施方式提供了一种投屏方法。以下从多个方面介绍本申请,以下多个方面的实施方式和有益效果可互相参考。
第一方面,本发明提供一种投屏方法,应用于包括第一电子设备和第二电子设备的系统,方法包括:第一电子设备与第二电子设备建立通信连接;第一电子设备向第二电子设备发送请求,请求中包括图像数据传输中用于表示图像数据中每两个I帧图像之间所需要的时间间隔的标识;第二电子设备响应于请求,确认自身的数据传输能力,并基于数据传输能力向第一电子设备发送响应请求的反馈信息;第一电子设备基于反馈信息向第二电子设备发送多个I帧图像数据。
根据本申请实施例的投屏方法,可以将设备的数据传输能力相结合,来调整符合设备数据传输能力的I帧图像的时间间隔,既可以确保图像数据的有效传输,又可以在投屏过程中,出现花屏后尽快恢复正常,提高用户的投屏体验。
作为本申请第一方面的一个实施例,第二电子设备在确认自身的数据传输能力支持第一时间间隔的情况下,反馈信息中包括第一时间间隔;在确认自身的数据传输能力不支持第一时间间隔的情况下,反馈信息中包括与数据传输能力对应的第二时间间隔,其中,第二时间间隔小于第一时间间隔。该方法实现不同的数据传输能力可以设定不同的时间间隔,有利于图像数据的传输,以及花屏时快速恢复。
作为本申请第一方面的一个实施例,确认自身的数据传输能力,包括:基于WIFI芯片支持的频段确定数据传输能力。可以解决芯片能力弱时花屏恢复慢的问题。
作为本申请第一方面的一个实施例,在传输能力为WIFI芯片能力仅支持2.4G频段的无线传输能力的情况下,反馈信息中包括第二时间间隔。
作为本申请第一方面的一个实施例,第二电子设备确定自身的数据传输能力为WIFI芯片能力支持除2.4G频段之外的其他频段的无线传输能力的情况下,确定出第一时间间隔。
作为本申请第一方面的一个实施例,确认自身的数据传输能力,包括:基于当前获得的网络信号强度确定数据传输能力。可以解决网络信号强度弱时花屏恢复慢的问题。
作为本申请第一方面的一个实施例,第二电子设备确定当前获得的网络信号强度低于预设强度值的情况下,反馈信息中包括第二时间间隔。
作为本申请第一方面的一个实施例,第二电子设备确定自身的数据传输能力为确定当前获得的网络信号强度值大于等于预设强度值的情况下,确定出第一时间间隔。
作为本申请第一方面的一个实施例,第一电子设备基于反馈信息向第二电子设备发送多个I帧图像数据,包括:第一电子设备获取第二时间间隔,确定第二时间间隔是被支持的时间间隔,则基于第二时间间隔向第二电子设备发送多个I帧图像数据,以确保图像数据的有效传输。
作为本申请第一方面的一个实施例,第一电子设备确定第二时间间隔是不被支持的时间间隔,第一电子设备按照原有支持的第一时间间隔发送多个I帧图像数据。
作为本申请第一方面的一个实施例,第一电子设备与第二电子设备建立通信连接,包括:第一电子设备与第二电子设备基于WIFI P2P连接建立TCP连接。
作为本申请第一方面的一个实施例,第一时间间隔为5-15秒。
作为本申请第一方面的一个实施例,第二时间间隔为2-4秒。该时间间隔,既能够避免I帧传输频率过高对传输速度的影响,又可以在出现花屏时,快速恢复,提高用户的投屏体验。
第二方面,本申请还提供一种电子装置,包括:
通信模块,用于与主动投屏设备建立通信连接,其中,另一电子设备为主动投屏设备;
接收模块,用于接收来自主动投屏设备的请求,请求中包括图像数据传输时,用于表示每两个I帧图像之间的时间间隔的标识;
处理模块,用于响应于请求,确认自身的数据传输能力,并基于数据传输能力控制通信模块向主动投屏设备发送响应请求的时间信息,以使主动投屏设备基于时间信息向其发送多个I帧图像数据。
根据本申请实施例的电子装置,可以将设备的数据传输能力相结合,来调整符合设备数据传输能力的I帧图像的时间间隔,既可以确保图像数据的有效传输,又可以在投屏过程中,出现花屏后尽快恢复正常,提高用户的投屏体验。
作为本申请第二方面的一个实施例,处理模块在确认自身的数据传输能力支持第一时间间隔的情况下,时间信息中包括第一时间间隔;
在处理模块确认自身的数据传输能力不支持第一时间间隔的情况下,时间信息中包括与数据传输能力对应的第二时间间隔,其中,第二时间间隔小于第一时间间隔。该方法实现不同的数据传输能力可以设定不同的时间间隔,有利于图像数据的传输,以及花屏时快速恢复。
作为本申请第二方面的一个实施例,确认自身的数据传输能力,包括:基于WIFI芯片支持的频段确定数据传输能力。该方法可以解决芯片能力弱时花屏恢复慢的问题。
作为本申请第二方面的一个实施例,在传输能力为WIFI芯片能力仅支持2.4G频段的无线传输能力的情况下,反馈信息中包括第二时间间隔。
作为本申请第二方面的一个实施例,处理模块确定自身的数据传输能力为WIFI芯片能力支持除2.4G频段之外的其他频段的无线传输能力的情况下,确定出第一时间间隔。
作为本申请第二方面的一个实施例,确认自身的数据传输能力,包括:基于当前获得的网络信号强度确定数据传输能力。可以解决网络信号强度弱时花屏恢复慢的问题。
作为本申请第二方面的一个实施例,处理模块确定当前获得的网络信号强度低于预设强度值的情况下,反馈信息中包括第二时间间隔。
作为本申请第二方面的一个实施例,处理模块确定自身的数据传输能力为确定当前获得的网络信号强度值大于等于预设强度值的情况下,确定出第一时间间隔。
作为本申请第二方面的一个实施例,通信连接为基于WIFI P2P链路建立的TCP连接。
作为本申请第二方面的一个实施例,第一时间间隔为5-15秒。
作为本申请第二方面的一个实施例,第二时间间隔为2-4秒。该时间间隔,既能够避免I帧传输频率过高对传输速度的影响,又可以在出现花屏时,快速恢复,提高用户的投屏体验。
第三方面,本申请还公开一种电子设备,其特征在于,包括:
存储器,用于存储由设备的一个或多个处理器执行的指令,以及
处理器,用于执行第一方面实施例的第一电子设备执行的方法,或第二电子设备执行的方法。
第四方面,本申请还包括一种投屏系统,包括第一电子设备和第二电子设备,其中,所述第一电子设备用于执行第一方面实施例的第一电子设备执行的方法,所述第二电子设备用于执行第一方面实施例的第二电子设备执行的方法。
第五方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器运行时,使得处理器执行上述第一方面实施例的第一电子设备执行的方法,或第二电子设备执行的方法。
第六方面,本申请的公开了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面实施例的第一电子设备执行的方法,或第二电子设备执行的方法。
附图说明
图1a为本申请一个实施例的投屏场景的架构图;
图1b为本申请一个实施例的投屏时的界面示意图;
图2a为本申请一个实施例的图像数据结构示意图;
图2b为本申请一个实施例的的两个GOP的内部结构;
图3为本申请一个实施例的电子设备结构示意图;
图4为本申请一个实施例的电子设备的软件结构框图;
图5为本申请一个实施例的投屏方法的流程图;
图6为本申请一个实施例的手机的界面操作示意图;
图7为本申请一个实施例的手机的另一界面操作示意图;
图8为本申请一个实施例手机与智慧屏协商两个I帧图像之间的时间间隔的协商流程图;
图9为本申请一个实施例的智慧屏确定时间间隔的流程图;
图10为本申请一个实施例的手机与智慧屏投屏过程的交互示意图;
图11为本申请实施例的电子装置的结构示意图;
图12为本申请一些实施例的一种片上系统的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面首先对本申请实施例中出现的名词进行解释说明。
画面组(Group of Pictures,GOP)是序列中的一个图片集,是动态图像专家组(Moving Picture Experts Group,MPEG)标准中所使用的一种视频压缩技术,可用于辅助随机存取。GOP中可以将画面(即帧)分为I、P、B三种形式。
I帧(I frame)又称为内部画面(intra picture),I帧通常是每个GOP组的第一个帧,随后是参考I帧得到的多个P帧和B帧。I帧作为关键帧,它是帧间压缩编码里的重要帧,解码时仅用I帧的数据就可重构完整图像,I帧不需要参考其他画面而生成,其所占数据的信息量比较大。
P帧表示预测编码图像帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。也就是说,P帧参考之前的I帧或者P帧预测而来,是差值传送,压缩比较高,信息量小。
实时流传输协议(Real Time Streaming Protocol,RTSP),是TCP/IP协议体系中的一个应用层协议,该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据,用来控制声音或影像的多媒体串流协议。使用面向连接的传输控制协议(TransmissionControl Protocol,TCP)或无连接的用户数据报协议(User Datagram Protocol,UDP)完成数据传输。使用RTSP时,两端设备,例如客户机和服务器都可以发出请求,即RTSP可以是双向的。
无线显示(WiFI Display,WFD)是WiFi联盟(WiFI Alliance)开发出的一种规范,使多媒体设备之间建立和维持一个基于WiFi的连接,并且利用这个连接推进视频/音频的在目标设备的呈现播放。
为了便于对本申请技术方案的理解,下面首先本申请所要解决的技术问题。
参考图1a,图1a示出本申请实施例的投屏场景的架构图。本申请中的投屏可以是镜像投屏,如图1a所示,手机101与智慧屏102之间可以建立无线保真直连(WirelessFidelity direct。WIFI direct),又称无线保真点对点连接(Wireless Fidelity Peer toPeer,WIFI P2P)通信连接,以下将“WIFI P2P”简称为P2P。手机101可以将从网络侧获取的多媒体内容或本地侧获取的多媒体内容通过P2P连接,点对点传输给智慧屏102。如图1b所示,图1b为本申请实施例的投屏时的界面示意图。通过点对点的传输,可以实现手机101上的图像界面数据实时传输(此处忽略传输时延等)给智慧屏102,以使得手机101和智慧屏102上都可显示出手机101屏幕上的显示界面,用户可以通过另一个大屏幕的设备观看视频,以提高用户的视觉体验。
在一些实施例中,如图1a所示,当手机101和智慧屏102分别与路由器103建立WiFi连接,并获取网络信号强度值,用于各自的上网。但是当路由器103连接过多的设备时,或者,手机101和智慧屏102距离路由器103较远时,就会导致手机101和智慧屏102接收的网络信号强度值较低。当投屏时,在信号强度较差的情况下,或者设备本身数据传输能力较弱的情况下,在手机101传输图像数据的过程中,会出现丢包的情况,从而影响投屏后的图像效果,例如花屏。
下面结合附图对投屏过程中出现的花屏的问题进行说明。
参考图2a,图2a示出了本申请实施例的图像数据结构示意图。如图2a所示,从视频序列层的角度,图像数据可以被分为视频序列头、多个画面组GOP和视频序列尾组成。其中每一个GOP又具体可以包括I帧、P帧和B帧。本申请中以I帧和P帧为例进行说明。如图2a中的GOP层中,每一个GOP包括一个I帧,和多个P帧。其中,I帧表示关键帧,可以完整解析成一张图片,信息量大。而P帧表示预测编码图像帧,参考之前的I帧或者P帧,信息量小。由于P帧以I帧作为参照,因此,对于每两个I帧之间的间隔的限定是非常重要的。如图2b示出的两个GOP的内部结构。其中,GOP1中的第一帧为I帧,GOP2中的第一帧为I帧,两个I帧之间的间隔有6个P帧(对应时间间隔)。当手机101向智慧屏102传输数据的过程中,因传输能力差,例如智慧屏102使用低配WiFi芯片时,并网络环境不好的情况下,很容易造成丢帧。如果I帧丢失,由于P帧数据需要参考I帧,会在时间间隔内都没有可以参考的P帧,此时,智慧屏102上会出现长时间花屏,直到下一个I帧到来才能恢复。如果P帧丢失,后续P帧数据需要参考前面的,也会导致花屏,直到下一个I帧到来才能恢复。因此,设备自身的传输能力,和环境中的信号强度都会导致花屏的现象,花屏时间长,就会导致用户投屏体验变差。
为了解决上述问题,本申请提供一种投屏方法。通过判断设备能力和/或信号强弱,来调整传输两个I帧的时间间隔,从而可以在WiFi能力差,信号不好的情况下,避免投屏出现长时间花屏的情况,从而提高用户的投屏体验。
需要说明的是,为了便于描述,本申请中将两个I帧图像之间的时间间隔简写为时间间隔。I帧对应图像或图像数据简写为I帧。
下面结合附图对本申请实施例的投屏方法进行说明。
结合图1所示场景,当用户在手机101(第一电子设备)上选择投屏的对象为智慧屏102(第二电子设备)时,手机101与智慧屏建立WIFI P2P链路的通信连接,在WIFI P2P链路的基础上通过传输控制协议TCP建立TCP连接。建立TCP连接后,手机101首先与智慧屏102协商在图像数据传输过程中,图像数据中每两个I帧图像之间使用的具体时间间隔。在本申请的实施例中,手机101与智慧屏102可以采用实时流传输协议(Real Time StreamingProtocol,RTSP)协商出合理的时间间隔。在图像数据传输之前,手机101向智慧屏102发送请求,其中,该请求中包括图像数据传输时,用于表示图像数据中每两个I帧图像之间所需要的时间间隔的标识,智慧屏102响应于请求,确认自身的数据传输能力,并基于数据传输能力向手机101发送响应该请求的时间信息,例如,3秒,即两个I帧之间的间隔为3秒。手机101按照每两个I帧图像的时间间隔3秒的频率向智慧屏102传输图像数据。从而可以将设备的数据传输能力相结合,来调整符合设备数据传输能力的I帧图像的时间间隔,既可以确保图像数据的有效传输,又可以在投屏过程中,出现花屏后尽快恢复正常,提高用户的投屏体验。
在上文中,以第一电子设备是手机,以第二电子设备是智慧屏为例进行的说明,在一些实施例中,第一电子设备还可是平板电脑、桌上电脑、电视(智慧屏)等。第二电子设备还可以是手机、平板电脑、桌上电脑、电视(智慧屏)、可穿戴设备、车载设备、个人数字助理(personal digital assistant,PDA)等具有显示屏,且支持投屏功能的电子设备,本申请对电子设备的具体类型不做任何限制。
下面结合电子设备的具体结构对本申请实施例的投屏方法进行描述。
图3示出了本申请实施例的电子设备的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接头130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在本申请的一个实施例中,处理器110可以在接收到向投屏设备投屏的操作后,与投屏设备建立通信连接。在建立连接后,处理器110控制无线通信模块160发送请求,请求中包括图像数据传输时,用于表示图像数据中每两个I帧图像之间所需要的时间间隔的标识。在投屏设备返回对应的时间间隔后,处理器110基于时间信息向投屏设备发送多个I帧图像数据。
在本申请的另一个实施例中,处理器110可以接收到来自主设备的投屏操作后,与主设备建立通信连接,并在主设备发送协商I帧时间间隔的请求后,响应于该请求,确认自身的数据传输能力,并基于数据传输能力反馈的时间间隔,以便于主设备基于该时间间隔发送I帧图像数据。因此,可以实现设备基于不同的数据传输能力,按照不同的时间间隔传输I帧图像数据,减少花屏时间,提高用户的投屏体验。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过投屏时音频数据的传输功能。I2S接口和PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现投屏时播放声音的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。例如,实现投屏时显示的界面。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,处理器110通过无线通信模块160接收网络,并得到网络信号强度值,进一步的处理器110基于网络信号强度值,确定传输图像数据时,每两个I帧图像的时间间隔。
在一些实施例中,无线通信模块160可以与另一个电子设备建立基于P2P链路的TCP连接,并与另一个电子设备进行通信,协商投屏时,每两个I帧图像之间的时间间隔,以便于按照协商后的时间间隔传输I帧图像数据。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
在一些实施例中,显示屏194用于显示图像,视频等。例如可以显示由另一个电子设备通过投屏功能发送的视频图像。实现两个设备同时显示同一个视频内容。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
在本申请的一个实施例中,内部存储器121中可以存储有投屏方法的指令,处理器110通过运行投屏方法指令,使得电子设备100在接收到投屏操作后,与投屏设备建立通信连接,并基于通信连接协商出符合投屏设备数据传输能力的传输方式,例如投屏时,按照符合投屏设备数据传输能力的时间间隔向投屏设备发送I帧图像数据。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图3是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示,应用程序包可以包括投屏应用、相机,图库,日历,通话,地图,WLAN,蓝牙,音乐,视频,短信息等应用程序。
其中,投屏应用提供无线投屏功能,投屏应用支持电子设备100与另一个投屏设备之间无线投屏共享多媒体内容。
视频应用,可以提供无线投屏功能,支持电子设备100通过无线投屏与局域网内的其他电子设备建立连接,并实现投屏功能。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示,应用程序框架层可以包括投屏服务、WiFi服务、窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器、视频白名单模块等。
投屏服务可通过WiFi服务获得网络信号强度值,并对网络信号强度值进行判断,当网络信号强度值小于预设值时,可以设置每两个I帧图像之间的时间间隔为2-4秒。网络信号强度值大于预设值时,设置每两个I帧图像之间的时间间隔为5-15秒。从而基于设备的传输数据能力调整两个I帧图像之间的时间间隔,减少花屏时间,提高用户投屏体验。
WiFi服务可以调用无线通信模块160与路由器建立连接,并获得网络信号强度值,并发送给投屏服务。
此外,WiFi服务可以调用无线通信模块160与投屏设备建立P2P连接,和TCP连接,以实现两个设备的之间的通信,实现无线投屏功能。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
在一些实施例中,窗口管理器可以获取屏幕尺寸大小,在接收到投屏设备发送的图像数据时,按照屏幕尺寸显示对应的视频图像。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
在本申请的一个实施例中,内容提供器可以提供缓冲的图像数据,例如,在电子设备100与另一个电子设备投屏的过程中,电子设备100可以接收另一电子设备按照设定时间间隔发送的I帧图像数据和P帧对应的数据,并缓存,再由视频应用获取这些数据,以实现在显示屏上播放,避免显示屏上显示的视频出现卡顿、花屏的情况。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
在一些实施例中,资源管理器可以存放WiFi芯片的属性值,根据属性值可判断WiFi芯片的属性(设备是数据传输能力),例如,只支持2.4G频段或5G频段的传输能力,或2.4G和5G都支持。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动和WiFi驱动。其中,WiFi驱动用于实现WiFi服务和无线通信模块160之间的通信,从而实现WiFi服务对无线通信模块160的调用,以实现无线网络连接。
下面以手机和智慧屏为例,对本申请实施例提供的投屏方法进行详细的说明。
本申请实施例提供的投屏方法可以应用于具有如图3所示的硬件结构和如图4所示的软件结构的电子设备中。或者比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置等类似的硬件结构和软件结构的电子设备中。
参考图5,图5示出了本申请实施例的投屏方法的流程图。该方法应用于由手机和智慧屏构成的系统,其中,手机作为主动投屏的设备,智慧屏作为被动投屏设备。如图5所示,该投屏方法包括S501-S507。
S501,手机接收投屏操作。
其中,投屏操作可以是用户通过特定App,例如视频应用,或管理中心的用户界面(User Interface,UI)的投屏功能键输入的操作,以使得手机与智慧屏建立投屏连接。
参考图6,图6示出了手机的界面操作示意图。当用户想要投屏时,可通过打开镜像投屏功能键,如图6中的(a)所示,用户在界面610中通过下滑打开任务管理中心,得到如图6中的(b)所示界面620,在任务管理中心点击镜像投屏键621,打开镜像投屏,以触发手机执行S502。
S502,手机响应于投屏操作,扫描可用投屏设备。
在本申请的一个实施例中,手机可以通过启动WiFi芯片附近的可用的投屏设备。在扫描到可投屏设备后,获取对应可投屏设备的互联网协议地址(internet protocoladdress,IP地址)、MAC地址、通用唯一识别码(universally unique identifier,uuid)、设备标识以及设备名称等信息,并将设备名称下界面中展示给用户查看。
参考图7,图7示出了手机的另一界面操作示意图。如图7所示,当用户点击镜像投屏时,手机搜索周边可用投屏设备连接,并且通过弹窗的方式供用户选择想要投屏的设备。如图7中的(a)所示,在界面710中,用户点击镜像投屏键711后,显示如图7中的(b)所示的界面720,在界面720中显示有弹窗,弹窗中有“智慧屏”和“平板电脑”供用户选择的设备。
S503,手机接收智慧屏的选择操作。
如图7所示,当用户点击智慧屏,则手机执行S504,与智慧屏建立通信连接。
在S504中,手机与智慧屏建立通信连接。
在本申请的一个实施例中,手机与智慧屏可以首先建立WIFI P2P连接,具体可经过扫描(scan)、监听(listen)、搜索(search)三个阶段,在WIFI P2P链路的基础上建立TCP连接(经过三次握手)。其中,WIFI P2P连接,TCP连接可参考现有技术的连接方式,此处不再进行说明。
S505,手机与智慧屏协商确定每两个I帧之间的时间间隔。
在本申请的实施例中,手机与智慧屏采用RTSP协议协商确定出在投屏过程中,每两个I帧之间的需要按照的具体时长(时间间隔)进行传输。在协商的过程中,将设备本身的数据传输能力,例如,WIFI芯片能力仅支持2.4G频段、支持5G频段或者两个频段均支持的无线传输能力,和/或,可投屏设备当前获取的网络信号强度的强弱等情况考虑进来,从确定出符合实际数据传输能力的时间间隔。具体的确定过程在下面的实施例中将进行详细的描述。
S506,手机按照时间间隔向智慧屏发送I帧图像数据。
在本申请的一个实施例中,手机在发送图像数据时,可以采用面向数据报模式的UDP连接传输数据,可以提高手机与智慧屏之间的图像数据流的传输速度。
S507,智慧屏接收图像数据,并播放图像。
由于时间间隔是经过手机与智慧屏根据实际的数据传输能力进行协商确定的,因而I帧传输的时间间隔更加合理,可以有效避免投屏过程中长时间出现的花屏的现象。在出现花屏后可快速恢复。
下面结合附图,对图5中的S505,手机与智慧屏协商确定每两个I帧之间的时间间隔的过程进行描述。在下面的实施例中,时间间隔即表示为手机向智慧屏传输图像数据时,图像数据中每两个I帧之间的时间间隔。
参考图8,图8示出了手机与智慧屏协商两个I帧之间的时间间隔的协商流程图。本申请中采用RTSP进行协商,包括M1-M7七个阶段。其中,在M1手机发起一个RTSP OPTIONS M1请求,以确认智慧屏所支持的RTSP方法请求。在智慧屏回复完M1指令后,在M2阶段会由智慧屏发起一个RTSP OPTIONS M2请求,以确认智慧屏所支持的RTSP方法请求。在M3-M4阶段,手机与智慧屏协商每两个I帧图像在传输过程中的时间参数值。在M5-M6阶段是WFD会话建立过程,在RTSP会话创建完成后,M7阶段,智慧屏告诉手机可以开始发送流媒体数据了。如图8所示,该协商过程包括S801-S809。
S801,基于WIFI P2P链路建立TCP连接。该步骤对应图5中的S504。
S802,手机与智慧屏确认彼此所支持的RTSP方法。该过程对应RTSP的M1和M2过程,具体可参考现有技术的描述。
下面的步骤对M3和M4阶段进行详细说明。
S803,发送请求,请求中携带每两个I帧之间的时间间隔(interval)的字段。
其中,该步骤对应RTSP的M3阶段。在手机发送给智慧屏的请求中,可以增加自定义的时间间隔的字段。例如,手机侧请求报文字段定义:wfd_fps_interval\r\n。
此外,手机请求中还可以携带查询智慧屏的属性以及能力的字段等,例如,RTP端口号wfd_client_rtp_ports(传输流媒体用)、所支持的audio及video编解码格式wfd_audio_codecs,wfd_video_formats等信息,可参考现有技术的描述,此处不再展开说明。
S804,响应请求,响应请求中携带基于数据传输能力确定的时间间隔对应的参数值。
该步骤对应RTSP的M3阶段,回应手机发送的请求。智慧屏在响应请求之前,首先基于自身的数据传输能力确定出合理的时间间隔对应参数值,例如,10秒,3秒等。例如,智慧屏回复报文字段定义:wfd_fps_interval:XX\r\n。其中“xx”可以表示一个十进制的数值,用来表示手机侧传输I帧的时间间隔(单位:S)。
在本申请的实施例中,数据传输能力可以基于WiFi芯片能够支持的频段的传输能力来确定,例如,只支持2.4G频段,支持5G频段,和支持2.4G和5G复用的几种频段的传输能力。由于2.4G频段信号屏宽相比于5G频段的信号屏宽较窄,所以容易受到网络环境影响,导致上网速度慢,网速不稳定,传输效率低的情况。因此,在WiFi芯片只支持2.4G频段的情况下,表明数据传输能力弱,则时间间隔(第二时间间隔)可以设定为较小的值,例如可以是2秒、3秒或4秒等。而在WiFi芯片支持5G频段,和支持2.4G和5G复用的情况下,表明数据传输能力较强,此时,可以按照正常的时间间隔(第一时间间隔)传输I帧图像,例如,可以是10秒。在一些实施例中,还可以是15秒、5秒。
在另一些实施例中,数据传输能力可以基于智慧屏或手机获得的网络信号强度进行确定。以智慧屏获取的网络信号强度为例,当智慧屏获取的网络信号强度值为-95db,-95db小于预设强度值-80db,表明数据传输能力弱,则时间间隔可以设定为较小的值,例如可以是3秒。若获取的网络信号强度值为-60db,大于预设强度值-80db,表明数据传输能力较强,此时,可以按照正常的时间间隔传输I帧图像,例如,可以是10秒。
在本申请的实施例中,当判断数据传输能力弱时,时间间隔可以对应的设置为3秒。该时间间隔,既可以确保在I帧丢帧时,能够快速的恢复,又能够在确保I帧出现的频率不会对传输速率造成影响。
在一些实施例中,还可以根据设备当前获取的网络信号强度进行多个层级的判断,每个层级的信号强度对应一个时间间隔,例如,当网络信号强度在-80db以下时,时间间隔可以为3秒。当网络信号强度在-60db~-80db之间时,时间间隔可以设置为8秒。当网络信号强度大于-60db时,时间间隔可以为15秒。从而针对设备不同的数据传输能力设置不同的时间间隔,确保图像数据的有效传输,同时在出现花屏时,可以快速的恢复,提高用户体验。
S805,手机向智慧屏发送确认使用时间间隔对应的参数值请求。
该步骤对应RTSP的M4阶段,在手机接收到M3阶段获取的时间间隔对应的参数值,例如,3秒,则手机确认自身是否支持自定义的3秒的时间间隔。若手机确认支持的情况下,手机可以发送确认的字段,例如,发送字段:wfd_fps_interval:selected\r\n。若手机不支持对应的参数,例如,压缩时设定的I帧的时间间隔至少大于5秒,3秒小于5秒,则发送表明不支持的字段,例如,发送字段:wfd_fps_interval:none\r\n,则可以继续使用原有的时间间隔对应的参数值,例如5秒。
S806,智慧屏回复手机确认使用时间间隔对应的参数值。
该步骤对应RTSP的M4阶段中智慧屏回复手机发送的请求,可以回复确认的信息,表示收到确认。例如,智慧屏可以发送“200OK”,表示收到。完成自定义时间间隔对应的参数的协商过程。
S807,手机与智慧屏的WFD会话建立过程。该过程对应RTSP的M5和M6过程,具体协商过程可参考现有技术的描述。
S808,确认可以发送图像数据。该过程对应RTSP的M7过程。
S809,协商完成,发送图像数据。
其中,图像数据包括I帧。在该步骤中,手机可以按照协商好的时间间隔发送I帧,例如,每两个I帧之间的时间间隔是3秒,手机按照3秒的时长向智慧屏发送I帧。
本申请实施例的投屏方法,针对设备不同的数据传输能力设置不同的I帧对应的时间间隔,确保图像数据的有效传输,同时在出现花屏时,可以快速的恢复,提高用户体验。
下面结合附图,从智慧屏的角度,对上述智慧屏确定时间间隔的过程进行描述。
参考图9,图9示出了智慧屏确定时间间隔的流程图。该确认过程可以在如图5中的S504执行完毕之后,由智慧屏对自身的传输能力进行确认,并确定一个合理的用于传输I帧图像数据的时间间隔。也可以在手机执行S801后,智慧屏接收到请求,首先确定时间间隔,以便于在S802阶段可以得到合理的时间间隔的参数值,本申请对确定时间间隔的时序不做限定。下面以在S801后确认时间间隔进行说明。如图9所示,时间间隔确定的流程包括S901-S906。
S901,智慧屏接收投屏操作。如图7中的(b)所示,用户点击智慧屏后,手机会发送建立连接请求,以实现与智慧屏建立通信连接。该步骤对应图5中的S503。
S902,智慧屏与手机建立通信连接。例如,手机与智慧屏可以首先建立WIFI P2P连接,手机与智慧屏可以首先建立WIFI P2P连接。该步骤对应图5中的S504。
S903,智慧屏与手机通过RTSP协议协商I帧对应的时间间隔。例如,智慧屏在Miracast投屏的RTSP协商的M3阶段,响应于手机请求中增加自定义I帧的间隔字段,首先确定自身的数据传输能力,即执行S904。
S904,智慧屏判断WiFi芯片是否只支持2.4G。
智慧屏可以通过存储器中存储的WIFI芯片型号,来判断该芯片是仅支持2.4G频段、5G频段,或者是两者复用频段。
当判断仅支持2.4G频段时,表明数据传输能力弱,则智慧屏执行S905。
当判断非仅支持2.4G频段时,例如,支持5G或者2.4G与5G复用,则智慧屏执行S906。
需要说明的是,在S904中,通过WiFi芯片支持的频段为例,对智慧屏的数据传输能力进行的判断。在本申请的一些实施例中,还可以通过智慧屏当前获取的网络信号强度值的大小来判断智慧屏的数据传输能力。该步骤与图8中的S804中,关于设备的数据传输能力的判断部分相对应。
在S905中,确定在M3阶段添加自定义I帧对应的时间间隔。例如,3秒。该步骤与图5中的S505相对应,与图8中的S804相对应。
在S906中,确定在M3阶段反馈原有的I帧对应时间间隔。例如,15秒。该步骤与图5中的S505相对应,与图8中的S804相对应。从而使得智慧屏基于自身的数据传输能力提供合理的I帧的时间间隔。
下面结合附图,对手机与智慧屏的投屏的完整过程进行描述。
参考图10,图10示出了手机与智慧屏投屏过程的交互示意图。如图10所示,包括S1001-S1010。
S1001,手机点击设备名称进行投屏。例如点击智慧屏后,触发手机与智慧屏建立通信连接。
S1002,手机与智慧屏建立P2P连接。该连接的建立过程可参考现有技术的连接过程,此处不在详细说明。该步骤对应图5中的S504。
S1003,手机与智慧屏基于P2P链路建立TCP连接。该步骤对应图5中的S504。
S1004,手机与智慧屏进行RTSP协商,M1,M2过程。该步骤对应图8中的S802。该过程为手机与智慧屏之间确认彼此的支持的选项(OPTIONS)的过程,具体可参考现有技术,此处不再展开说明。
S1005,手机在RTSP的M3过程中携带wfd_fps_interval\r\n的报文。其中间隔“interval”字段,为手机自定义增加的内容,表明用于与智慧屏协商的参数。该步骤对应图8中的S803。
S1006,智慧屏在RTSP的M3过程中回复携带wfd_fps_interval:xx\r\n的报文。其中“xx”表示一个十进制的数值,用来表示手机侧传输I帧的时间间隔(单位:S)。该步骤对应图8中的S804。
S1007,手机在RTSP的M4阶段确认最终的参数。在M3阶段,手机获取I帧的时间间隔,例如3秒,并确认自身是否支持3秒的间隔,当手机对时间间隔没有限定,或恰好该值落入被支持的间隔范围,例如2-15秒内,表明支持该间隔。否则不支持。在手机确定支持该时间间隔的情况下,发送确认支持的信息给智慧屏,智慧屏确认收到。完成对M4阶段的确认。当手机确认不支持时,回复智慧屏不支持的信息。并且重新协商,并确定出最终的时间间隔。该步骤对应图8中的S805。
S1008,智慧屏在RTSP的M4阶段回复200OK表示收到。该步骤对应图8中的S806。
S1009,手机与智慧屏继续进行RTSP的M5-M7交互,完成协商过程。该步骤对应图8中的S807和S808,具体的交互过程可参考现有技术的描述,此处不做详细说明。
S1010,手机按照协商的时间间隔控制I帧发送视频流。例如,协商的时间间隔为3秒,手机按照3秒的间隔发送I帧图像数据。
根据本申请实施例的投屏方法,通过在RTSP协议,协商I帧的间隔时间,并且间隔时间是基于设备的数据传输能力确定,从而在设备数据传输能力较弱的条件下,能够尽可能的确保图像数据高效率的传输之外,还可以在投屏过程中,一旦出现花屏,可以短时间快速的恢复。减少花屏时间,提高用户投屏体验。
参考图11,本申请还公开一种电子装置1100,包括:
通信模块1110,用于与主动投屏设备建立通信连接,其中,另一电子设备为主动投屏设备;
接收模块1120,用于接收来自主动投屏设备的请求,请求中包括图像数据传输时,用于表示每两个I帧图像之间的时间间隔的标识;
处理模块1130,用于响应于请求,确认自身的数据传输能力,并基于数据传输能力控制通信模块1110向主动投屏设备发送响应请求的时间信息,以使主动投屏设备基于时间信息向其发送多个I帧图像数据。
根据本申请的一个实施例,处理模块1130在确认自身的数据传输能力支持第一时间间隔的情况下,时间信息中包括第一时间间隔;
在处理模块1130确认自身的数据传输能力不支持第一时间间隔的情况下,时间信息中包括与数据传输能力对应的第二时间间隔,其中,第二时间间隔小于第一时间间隔。
根据本申请的一个实施例,处理模块1130确定自身的数据传输能力为WIFI芯片能力仅支持2.4G频段的无线传输能力的情况,或,处理模块1130确定当前获得的网络信号强度低于预设强度值的情况下,确定出第二时间间隔。
根据本申请的一个实施例,处理模块1130确定自身的数据传输能力为WIFI芯片能力支持除2.4G频段之外的其他频段的无线传输能力的情况,或,根据本申请的一个实施例确定当前获得的网络信号强度值大于等于预设强度值的情况下,确定出第一时间间隔。
根据本申请的一个实施例,手机与智慧屏可以基于WIFI P2P链路建立的TCP连接,完成时间间隔的协商过程。
根据本申请的一个实施例,第一时间间隔为5-15秒。
根据本申请的一个实施例,第二时间间隔为2-4秒。
本申请还提供一种电子设备,包括:
存储器,用于存储由设备的一个或多个处理器执行的指令,以及
处理器,用于执行上述实施例中结合图5至图10所解释的方法。
本申请还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器运行时,使得处理器执行上述实施例中图5至图10所解释的方法。
本申请还提供一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得处理器执行上述实施例中图5至图10所示的方法。
现在参考图12,所示为根据本申请的一实施例的SoC(System on Chip,片上系统)1200的框图。在图12中,相似的部件具有同样的附图标记。另外,虚线框是更先进的SoC的可选特征。在图12中,SoC1200包括:互连单元1250,其被耦合至应用处理器1210;系统代理单元1280;总线控制器单元1290;集成存储器控制器单元1240;一组或一个或多个协处理器1220,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(Static Random Access Memory,SRAM)单元1230;直接存储器存取(DMA)单元1260。在一个实施例中,协处理器1220包括专用处理器,诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等。
静态随机存取存储器(SRAM)单元1230中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令,具体而言,存储有该指令的暂时和永久副本。该指令可以包括:由处理器中的至少一个单元执行时使Soc1200执行根据上述实施例中的投屏方法,具体可参照上述实施例图5至图10所解释的方法,在此不再赘述。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor,DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit,ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、光盘只读存储器(Compact Disc Read Only Memory,CD-ROMs)、磁光盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read Only Memory,EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明书附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (17)
1.一种投屏方法,其特征在于,应用于包括第一电子设备和第二电子设备的系统,所述方法包括:
所述第一电子设备与所述第二电子设备建立通信连接;
所述第一电子设备向所述第二电子设备发送请求,所述请求中包括图像数据传输中用于表示所述图像数据中每两个I帧图像之间所需要的时间间隔的标识;
所述第二电子设备响应于所述请求,确认自身的数据传输能力,并基于所述数据传输能力向所述第一电子设备发送响应所述请求的反馈信息;
所述第一电子设备基于所述反馈信息向所述第二电子设备发送多个所述I帧图像数据。
2.根据权利要求1所述的方法,其特征在于,
所述第二电子设备在确认自身的数据传输能力支持第一时间间隔的情况下,所述反馈信息中包括所述第一时间间隔;
在确认自身的数据传输能力不支持所述第一时间间隔的情况下,所述反馈信息中包括与所述数据传输能力对应的第二时间间隔,其中,所述第二时间间隔小于所述第一时间间隔。
3.根据权利要求2所述的方法,其特征在于,所述确认自身的数据传输能力,包括:基于WIFI芯片支持的频段确定数据传输能力。
4.根据权利要求3所述的方法,其特征在于,在传输能力为WIFI芯片能力仅支持2.4G频段的无线传输能力的情况下,所述反馈信息中包括所述第二时间间隔。
5.根据权利要求3所述的方法,其特征在于,所述第二电子设备确定自身的数据传输能力为WIFI芯片能力支持除2.4G频段之外的其他频段的无线传输能力的情况下,确定出所述第一时间间隔。
6.根据权利要求2所述的方法,其特征在于,所述确认自身的数据传输能力,包括:基于当前获得的网络信号强度确定数据传输能力。
7.根据权利要求6所述的方法,其特征在于,
所述第二电子设备确定当前获得的网络信号强度低于预设强度值的情况下,所述反馈信息中包括所述第二时间间隔。
8.根据权利要求6所述的方法,其特征在于,所述第二电子设备确定自身的数据传输能力为确定当前获得的网络信号强度值大于等于预设强度值的情况下,确定出所述第一时间间隔。
9.根据权利要求2所述的方法,其特征在于,所述第一电子设备基于所述反馈信息向所述第二电子设备发送多个所述I帧图像数据,包括:
所述第一电子设备获取所述第二时间间隔,确定所述第二时间间隔是被支持的时间间隔,则基于所述第二时间间隔向所述第二电子设备发送多个所述I帧图像数据。
10.根据权利要求9所述的方法,其特征在于,所述第一电子设备确定所述第二时间间隔是不被支持的时间间隔,所述第一电子设备按照原有支持的第一时间间隔发送多个所述I帧图像数据。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述第一电子设备与所述第二电子设备建立通信连接,包括:
所述第一电子设备与所述第二电子设备基于WIFI P2P链路建立TCP连接。
12.根据权利要求2-10任一项所述的方法,其特征在于,所述第一时间间隔为5-15秒。
13.根据权利要求2-10任一项所述的方法,其特征在于,所述第二时间间隔为2-4秒。
14.一种电子设备,其特征在于,包括:
存储器,用于存储由设备的一个或多个处理器执行的指令,以及
处理器,用于执行权利要求1-13任一项所述的第一电子设备执行的方法,或权利要求1-13任一项所述的第二电子设备执行的方法。
15.一种投屏系统,其特征在于,包括:
第一电子设备,用于执行权利要求1-13任一项所述的第一电子设备执行的方法;以及
第二电子设备,用于执行权利要求1-13任一项所述的第二电子设备执行的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器运行时,使得所述处理器执行权利要求1-13任一项所述的第一电子设备执行的方法,或权利要求1-13任一项所述的第二电子设备执行的方法。
17.一种包含指令的计算机程序产品,其特征在于,当该计算机程序产品在电子设备上运行时,使得处理器执行权利要求1-13任一项所述的第一电子设备执行的方法,或权利要求1-13任一项所述的第二电子设备执行的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210998394.9A CN116056053B (zh) | 2022-08-19 | 2022-08-19 | 投屏方法、电子设备、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210998394.9A CN116056053B (zh) | 2022-08-19 | 2022-08-19 | 投屏方法、电子设备、系统及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116056053A true CN116056053A (zh) | 2023-05-02 |
CN116056053B CN116056053B (zh) | 2023-10-27 |
Family
ID=86127894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210998394.9A Active CN116056053B (zh) | 2022-08-19 | 2022-08-19 | 投屏方法、电子设备、系统及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116056053B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116684424A (zh) * | 2023-07-28 | 2023-09-01 | 深圳市明源云客电子商务有限公司 | 智慧屏控制方法、系统、设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113612979A (zh) * | 2021-07-26 | 2021-11-05 | 深圳市炬力北方微电子有限公司 | 一种投影方法、电子设备及计算机设备 |
CN113891403A (zh) * | 2021-09-28 | 2022-01-04 | 福建捷联电子有限公司 | 一种无线投屏的协商方法 |
WO2022083386A1 (zh) * | 2020-10-21 | 2022-04-28 | 华为技术有限公司 | 投屏方法、系统及电子设备 |
CN114697736A (zh) * | 2020-12-29 | 2022-07-01 | 深圳Tcl新技术有限公司 | 无线投屏方法、系统、智能设备及计算机可读存储介质 |
CN114697929A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 连接建立方法及电子设备 |
-
2022
- 2022-08-19 CN CN202210998394.9A patent/CN116056053B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022083386A1 (zh) * | 2020-10-21 | 2022-04-28 | 华为技术有限公司 | 投屏方法、系统及电子设备 |
CN114697736A (zh) * | 2020-12-29 | 2022-07-01 | 深圳Tcl新技术有限公司 | 无线投屏方法、系统、智能设备及计算机可读存储介质 |
CN114697929A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 连接建立方法及电子设备 |
WO2022143071A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 连接建立方法及电子设备 |
CN113612979A (zh) * | 2021-07-26 | 2021-11-05 | 深圳市炬力北方微电子有限公司 | 一种投影方法、电子设备及计算机设备 |
CN113891403A (zh) * | 2021-09-28 | 2022-01-04 | 福建捷联电子有限公司 | 一种无线投屏的协商方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116684424A (zh) * | 2023-07-28 | 2023-09-01 | 深圳市明源云客电子商务有限公司 | 智慧屏控制方法、系统、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116056053B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112291764B (zh) | 一种内容接续系统 | |
CN112394895B (zh) | 画面跨设备显示方法与装置、电子设备 | |
CN112398855B (zh) | 应用内容跨设备流转方法与装置、电子设备 | |
WO2022048474A1 (zh) | 一种多应用共享摄像头的方法与电子设备 | |
CN113645693B (zh) | WiFi P2P连接方法、电子设备和介质 | |
CN115514882B (zh) | 一种分布式拍摄方法,电子设备及介质 | |
WO2022089271A1 (zh) | 无线投屏方法、移动设备及计算机可读存储介质 | |
WO2021218864A1 (zh) | 一种Wi-Fi点对点业务的实现方法以及相关设备 | |
CN116055773A (zh) | 一种多屏协同方法、系统及电子设备 | |
CN114697527B (zh) | 一种拍摄方法、系统及电子设备 | |
CN112527174B (zh) | 一种信息处理方法及电子设备 | |
WO2021135734A1 (zh) | 应用中传输文件的方法、电子设备及系统 | |
WO2022222924A1 (zh) | 一种投屏显示参数调节方法 | |
CN116056053B (zh) | 投屏方法、电子设备、系统及计算机可读存储介质 | |
CN114489529A (zh) | 电子设备的投屏方法及其介质和电子设备 | |
CN113703849B (zh) | 投屏应用打开方法和装置 | |
CN116528209B (zh) | 蓝牙扫描方法、设备、芯片系统及存储介质 | |
CN116033158B (zh) | 投屏方法和电子设备 | |
CN114928898B (zh) | 建立基于WiFi直接连接的会话的方法和装置 | |
CN116033157B (zh) | 投屏方法和电子设备 | |
CN114327317B (zh) | 镜像投屏方法、装置及系统 | |
CN114449200A (zh) | 音视频通话方法、装置及终端设备 | |
CN114827514B (zh) | 电子设备及其与其他电子设备的数据传输方法和介质 | |
WO2022170885A1 (zh) | 分布式设备能力虚拟化方法、介质和电子设备 | |
WO2024022307A1 (zh) | 一种投屏方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |