CN110865782B - 数据传输方法、装置及设备 - Google Patents
数据传输方法、装置及设备 Download PDFInfo
- Publication number
- CN110865782B CN110865782B CN201910933989.4A CN201910933989A CN110865782B CN 110865782 B CN110865782 B CN 110865782B CN 201910933989 A CN201910933989 A CN 201910933989A CN 110865782 B CN110865782 B CN 110865782B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- type
- electronic device
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 claims description 45
- 239000007787 solid Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 28
- 238000004891 communication Methods 0.000 description 39
- 230000006854 communication Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 35
- 230000003993 interaction Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供的数据传输方法、装置及设备,包括:第一电子设备获取待显示图像,待显示图像包括第一类图层和第二类图层;根据第一编码参数对第一类图层进行编码,得到第一编码结果,并根据第二编码参数对第二类图层进行编码,得到第二编码结果,第一编码参数和第二编码参数不同;将第一编码结果和第二编码结果发送给第二电子设备,第二电子设备根据第一编码结果和第二编码结果获取待显示图像,并对待显示图像进行显示。本实施例中,通过对不同类型的图层采用不同的编码参数进行编码,使得第一电子设备可以针对每种图层类型,采用适合该种图层类型的编码参数,能够解决投屏显示效果不佳的问题,提升用户的使用体验。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种数据传输方法、装置及设备。
背景技术
随着计算机技术的发展,多屏互动应用越来越普遍。多屏互动指的是运用闪联协议、Miracast协议等,通过无线保真(wireless fidelity,WIFI)网络连接,在不同的电子设备之间进行多媒体内容的传输、解析、展示和/或控制等一系列操作,可以在不同电子设备上共享展示内容,丰富用户的多媒体生活。
目前,随着多屏互动技术的出现,用户在第一电子设备(如手机)上观看视频播放时,由于第一电子设备的屏幕大小有限,不适合多人观看。用户在这种情况下可以选择将第一电子设备上的视频播放画面同步到第二电子设备(如电视、笔记本电脑等)上呈现,第二电子设备的屏幕可以比第一电子设备的屏幕大,因此,能够提升用户的观看体验。
然而,现有的多屏互动过程中,第二电子设备可能出现细节显示不清楚的问题,显示效果较差。
发明内容
本申请提供一种数据传输方法、装置及设备,以解决第一电子设备向第二电子设备投屏过程中,第二电子设备可能出现细节显示不清楚的问题,提升投屏显示效果。
第一方面,本申请提供一种数据传输方法,包括:第一电子设备获取待显示图像,所述待显示图像包括第一类图层和第二类图层;所述第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;所述第一电子设备将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。
本申请中,通过对不同类型的图层采用不同的编码参数进行编码,使得第一电子设备可以针对每种图层类型,采用适合该种图层类型的编码参数,避免因采用同一种编码参数导致的图像不清晰的问题,从而能够在一定程序上解决投屏显示效果不佳的问题,提升用户的使用体验。
在一种可能的实现方式中,所述第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果之前,还包括:所述第一电子设备获取传输信道参数,并根据所述传输信道参数,确定所述第一类图层对应的第一编码参数和所述第二类图层对应的第二编码参数。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
该实现方式中,通过根据传输信道参数对UI图层和非UI图层分别采用不同的编码参数进行编码,使得在传输信道条件受限时,针对UI图层和非UI图层进行不同程度的清晰度保障,使得第二电子设备显示的投屏图像中的UI图层和非UI图层均能够保证清晰度,提升投屏显示效果。
在一种可能的实现方式中,所述第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果之前,还包括:所述第一电子设备获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序;所述第一电子设备根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域;所述第一电子设备对所述被遮挡区域进行预处理。
在一种可能的实现方式中,所述第一电子设备对所述被遮挡区域进行预处理,包括:所述第一电子设备对所述被遮挡区域进行裁剪处理;或者,所述第一电子设备对所述被遮挡区域进行纯色填充处理。
该实现方式中,通过第一电子设备确定出第一类图层和/或第二类图层中的被遮挡区域,并对被遮挡区域进行预处理,减少了对被遮挡区域的冗余信息的不必要的编码,节省了数据传输带宽,有利于提升数据传输速率;另外,第二电子设备接收到编码数据后,也避免了对被遮挡区域的不必要的解码,提高了解码效率。
在一种可能的实现方式中,所述第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,包括:若所述待显示图像中的第一类图层的数量有多个,则所述第一电子设备对所述多个第一类图层进行合并,得到第一合并图层;若所述待显示图像中的第二类图层的数量有多个,则所述第一电子设备对所述多个第二类图层进行合并,得到第二合并图层;所述第一电子设备根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
该实现方式中,第一电子设备通过先对同类型的图层进行合并,使得第一电子设备仅需要针对两种图层类型分别进行一次编码,同时,第二电子设备也仅需要针对两种图层类型分别进行一次解码,提高了编解码效率,保证了投屏显示的同步性。
第二方面,本申请提供一种数据传输方法,包括:第二电子设备从第一电子设备接收待显示图像对应的第一编码结果和第二编码结果,所述第一编码结果为所述第一电子设备根据第一编码参数对所述待显示图像中的第一类图层进行编码得到的,所述第二编码结果为所述第一电子设备根据第二编码参数对所述待显示图像中的第二类图层进行编码得到的,所述第一编码参数和所述第二编码参数不同;所述第二电子设备对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像;所述第二电子设备对所述待显示图像进行显示。
在一种可能的实现方式中,所述第一编码参数和所述第二编码参数是所述第一电子设备根据传输信道参数确定的。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述第一类图层和/或所述第二类图层中的被遮挡区域为空洞,或者,所述第一类图层和/或所述第二类图层中的被遮挡区域为纯色填充。
在一种可能的实现方式中,所述第二电子设备对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像,包括:所述第二电子设备对所述第一编码结果进行解码,得到所述待显示图像中的多个第一类图层对应的第一合并图层;所述第二电子设备对所述第二编码结果进行解码,得到所述待显示图像中的多个第二类图层对应的第二合并图层;所述第二电子设备对所述第一合并图层和所述第二合并图层进行合并,得到所述待显示图像。
第三方面,本申请提供一种电子设备,包括:处理器、编码器和发送器;其中,所述处理器,用于获取待显示图像,所述待显示图像包括第一类图层和第二类图层;所述编码器,用于根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;所述发送器,用于将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。
在一种可能的实现方式中,所述处理器还用于:获取传输信道参数,并根据所述传输信道参数,确定所述第一类图层对应的第一编码参数和所述第二类图层对应的第二编码参数。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述处理器还用于:获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序;根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域;对所述被遮挡区域进行预处理。
在一种可能的实现方式中,所述处理器具体用于:对所述被遮挡区域进行裁剪处理;或者,对所述被遮挡区域进行纯色填充处理。
在一种可能的实现方式中,所述处理器还用于:若所述待显示图像中的第一类图层的数量有多个,则对所述多个第一类图层进行合并,得到第一合并图层;若所述待显示图像中的第二类图层的数量有多个,则对所述多个第二类图层进行合并,得到第二合并图层;所述编码器具体用于:根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
第四方面,本申请提供一种电子设备,包括:接收器、解码器和显示器;其中,所述接收器,用于从第一电子设备接收待显示图像对应的第一编码结果和第二编码结果,所述第一编码结果为所述第一电子设备根据第一编码参数对所述待显示图像中的第一类图层进行编码得到的,所述第二编码结果为所述第一电子设备根据第二编码参数对所述待显示图像中的第二类图层进行编码得到的,所述第一编码参数和所述第二编码参数不同;所述解码器,用于对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像;所述显示器,用于对所述待显示图像进行显示。
在一种可能的实现方式中,所述第一编码参数和所述第二编码参数是所述第一电子设备根据传输信道参数确定的。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述第一类图层和/或所述第二类图层中的被遮挡区域为空洞,或者,所述第一类图层和/或所述第二类图层中的被遮挡区域为纯色填充。
在一种可能的实现方式中,所述解码器具体用于:对所述第一编码结果进行解码,得到所述待显示图像中的多个第一类图层对应的第一合并图层;对所述第二编码结果进行解码,得到所述待显示图像中的多个第二类图层对应的第二合并图层;所述电子设备还包括处理器,所述处理器用于对所述第一合并图层和所述第二合并图层进行合并,得到所述待显示图像。
第五方面,本申请提供一种数据传输装置,包括:处理模块、编码模块和发送模块;其中,所述处理模块,用于获取待显示图像,所述待显示图像包括第一类图层和第二类图层;所述编码模块,用于根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;所述发送模块,用于将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。
在一种可能的实现方式中,所述处理模块还用于:获取传输信道参数,并根据所述传输信道参数,确定所述第一类图层对应的第一编码参数和所述第二类图层对应的第二编码参数。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述处理模块还用于:获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序;根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域;对所述被遮挡区域进行预处理。
在一种可能的实现方式中,所述处理模块具体用于:对所述被遮挡区域进行裁剪处理;或者,对所述被遮挡区域进行纯色填充处理。
在一种可能的实现方式中,所述处理模块还用于:若所述待显示图像中的第一类图层的数量有多个,则对所述多个第一类图层进行合并,得到第一合并图层;若所述待显示图像中的第二类图层的数量有多个,则对所述多个第二类图层进行合并,得到第二合并图层;所述编码模块具体用于:根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
第六方面,本申请提供一种电子设备,包括:接收模块、解码模块和显示模块;其中,所述接收模块,用于从第一电子设备接收待显示图像对应的第一编码结果和第二编码结果,所述第一编码结果为所述第一电子设备根据第一编码参数对所述待显示图像中的第一类图层进行编码得到的,所述第二编码结果为所述第一电子设备根据第二编码参数对所述待显示图像中的第二类图层进行编码得到的,所述第一编码参数和所述第二编码参数不同;所述解码模块,用于对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像;所述显示模块,用于对所述待显示图像进行显示。
在一种可能的实现方式中,所述第一编码参数和所述第二编码参数是所述第一电子设备根据传输信道参数确定的。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述第一类图层和/或所述第二类图层中的被遮挡区域为空洞,或者,所述第一类图层和/或所述第二类图层中的被遮挡区域为纯色填充。
在一种可能的实现方式中,所述解码模块具体用于:对所述第一编码结果进行解码,得到所述待显示图像中的多个第一类图层对应的第一合并图层;对所述第二编码结果进行解码,得到所述待显示图像中的多个第二类图层对应的第二合并图层;所述电子设备还包括处理模块,所述处理模块用于对所述第一合并图层和所述第二合并图层进行合并,得到所述待显示图像。
第七方面,本申请提供一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序用于实现如第一方面或第一方面任一种可能实现方式中的数据传输方法。
第八方面,本申请提供一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序用于实现如第二方面或第二方面任一种可能实现方式中的数据传输方法。
第九方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述第一方面或第一方面中任一种可能实现方式中的数据传输方法。
第十方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述第二方面或第二方面中任一种可能实现方式中的数据传输方法。
第十一方面,本申请提供一种芯片,所述芯片包括处理器和编码器,用于执行上述第一方面任意一项所述的数据传输方法。
第十二方面,本申请提供一种芯片,所述芯片包括处理器和解码器,用于执行上述第二方面任意一项所述的数据传输方法。
第十三方面,本申请提供一种数据传输系统,包括如第三方面任一项所述的电子设备和如第四方面任一项所述的电子设备。
本申请提供的数据传输方法、装置及设备,包括:第一电子设备获取待显示图像,所述待显示图像包括第一类图层和第二类图层;第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;所述第一电子设备将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。本实施例中,通过对不同类型的图层采用不同的编码参数进行编码,使得第一电子设备可以针对每种图层类型,采用适合该种图层类型的编码参数,避免因采用同一种编码参数导致的图像不清晰的问题,从而能够在一定程序上解决投屏显示效果不佳的问题,提升用户的使用体验。
附图说明
图1A为本申请实施例提供的一种系统架构示意图;
图1B为本申请实施例提供的一种应用场景的示意图;
图1C为本申请实施例提供的一种应用场景的示意图;
图2为本申请实施例提供的电子设备的结构示意图;
图3为一种现有技术提供的投屏数据传输过程示意图;
图4为本申请一个实施例提供的数据传输方法的交互示意图;
图5为本申请一个实施例提供的数据传输过程的示意图;
图6为本申请一个实施例提供的数据传输方法的交互示意图;
图7为本申请一个实施例提供的第一电子设备和第二电子设备的数据传输流图;
图8为本申请一个实施例提供的第一电子设备和第二电子设备的数据传输交互示意图;
图9为本申请一个实施例提供的数据传输方法的流程示意图;
图10为本申请一个实施例提供的投屏图像的示意图;
图11为本申请一个实施例提供的数据传输装置的结构示意图;
图12为本申请一个实施例提供的数据传输装置的结构示意图;
图13为本申请一个实施例提供的电子设备的结构示意图;
图14为本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
为了便于对本申请的理解,首先结合图1A至图1C,对本申请所适用的系统架构和应用场景进行说明。
图1A为本申请实施例提供的一种系统架构示意图。如图1A所示,该系统架构包括:第一电子设备和第二电子设备。第一电子设备和第二电子设备之间通过网络连接。其中,第一电子设备和第二电子设备之间可以为有线网络连接,例如:第一电子设备和第二电子设备之间通过明线、对称线缆、同轴电缆、光缆、波导等传输媒介进行数据传输。第一电子设备和第二电子设备之间还可以为无线网络连接,例如:第一电子设备和第二电子设备之间通过无线移动网络、无线短距离网络(WiFi、蓝牙等)等进行数据传输。
其中,第一电子设备和第二电子设备可以直接连接。第一电子设备和第二电子设备之间还可以通过中继设备连接,中继设备用于转发第一电子设备和第二电子设备之间的数据,例如,中继设备可以为路由器、交换机等设备。
随着传输技术的发展,越来越多的应用场景提出了计算和显示分离的需求。计算和显示分离是指,通过第一电子设备进行数据的计算处理,并将计算处理的结果传输给第二电子设备,由第二电子设备进行显示和交互。以图像显示过程为例,第一电子设备负责对图像进行处理,例如:显示效果的渲染、编码压缩等。第一电子设备将处理后的图像传输给第二电子设备,通过第二电子设备的显示屏幕对该图像进行显示。当然,第二电子设备除了显示该图像,还可以提供更多的与用户交互的功能。
图1B为本申请实施例提供的一种应用场景的示意图。图1B示例的是将计算和显示分离的需求应用到图1A所示的系统架构中。如图1B所示,第一电子设备负责进行数据计算处理,因此,第一电子设备也可以称为计算设备。需要说明的是,第一电子设备可以为近端的计算设备,例如用户的手机、电脑等;第一电子设备还可以为远端的计算设备,例如:云端设备等。第二电子设备负责与用户进行交互,因此,第二电子设备也可以称为交互设备。示例性的,第二电子设备可以为平板电脑、电视、车载设备、显示屏幕等。随着显示技术的发展,很多介质都可以作为显示屏幕,例如:玻璃、镜子、电子白板等。
参见图1B,第二电子设备(交互设备)可以提供摄像头、显示屏幕、触摸器件、麦克风、喇叭、传感器等与用户进行交互的接口。当然,第二电子设备还可以提供其他更多的交互接口,本实施例对此不作限定。当然,第一电子设备(计算设备)也可以提供上述的一种或多种与用户交互的接口。
一种可能的场景中,第二电子设备(交互设备)通过触摸器件或者传感器等采集用户输入的控制指令,并将控制指令发送给第一电子设备(计算设备)。第一电子设备(计算设备)根据该控制指令,获取待显示数据(例如:图像、视频、音频、文本等),并对待显示数据进行一系列的计算处理,将处理结果发送给第二电子设备(交互设备)。进而,第二电子设备(交互设备)可以通过显示屏幕、喇叭等向用户展示该处理结果。
另一种可能的场景中,第二电子设备(交互设备)通过摄像头采集图像或者视频,并将采集到的图像或者视频发送给第一电子设备(计算设备)。第一电子设备(计算设备)对接收到的图像或者视频进行计算处理(渲染、特效等),并将处理后的图像或者视频发送给第二电子设备(交互设备)。进而,第二电子设备(交互设备)通过显示屏幕等向用户展示该处理后的图像或者视频。
又一种可能的场景中,第一电子设备和第二电子设备可以进行多屏互动。多屏互动是指运用闪联协议、Miracast协议等,在不同的电子设备之间进行数据的传输、解析、展示和/或控制等一系列操作,可以在不同电子设备上共享展示内容,丰富用户的多媒体生活。多屏互动也可以称为“投屏”、“传屏”、“分屏显示”、“屏幕共享”、“屏幕镜像”等。示例性的,
图1C为本申请实施例提供的一种应用场景的示意图。如图1C所示,用户在第一电子设备(如手机)上观看视频播放时,由于第一电子设备的屏幕大小有限,不适合多人观看。用户在这种情况下可以选择将第一电子设备上的视频播放画面同步到第二电子设备(如电视)上呈现,第二电子设备的屏幕可以比第一电子设备的屏幕大,因此,能够提高用户的观看体验。
其中,在投屏场景中,第一电子设备可以称为主控设备,第二电子设备可以称为从设备。第一电子设备和第二电子设备之间建立连接之后,第一电子设备相当于拥有了两个显示屏幕,一个是第一电子设备自身的显示屏幕,另一个是第二电子设备的显示屏幕。第二电子设备的显示屏幕与第一电子设备自身的显示屏幕同步显示相同的内容。
本申请所涉及的投屏是指某个电子设备上的数据(如音频、视频、图片等)传输至另外的电子设备上呈现,实现多个电子设备之间同步显示相同数据的效果。本申请所涉及的投屏可包括有线投屏和无线投屏。其中,有线投屏可以通过高清多媒体接口(highdefinition multimedia interface,HDMI)建立多个电子设备之间的连接,并通过HDMI传输线传输媒体数据。无线投屏可以通过Miracast协议建立多个电子设备之间的连接,并通过WIFI传输媒体数据。
在本申请中,第一电子设备和第二电子设备均为电子设备,下面,结合图2,对电子设备的结构进行说明。
图2为本申请实施例提供的电子设备的结构示意图。如图2所示,电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serialbus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,射频模块150,通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,柔性屏幕301,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与通信模块160。例如:处理器110通过UART接口与通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与柔性屏幕301,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和柔性屏幕301通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,柔性屏幕301,通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,柔性屏幕301,摄像头193,和通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,射频模块150,通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
射频模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。射频模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。射频模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。射频模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,射频模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,射频模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过柔性屏幕301显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与射频模块150或其他功能模块设置在同一个器件中。
通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。通信模块160可以是集成至少一个通信处理模块的一个或多个器件。通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和射频模块150耦合,天线2和通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
上述的图1A至图1C所示的系统架构以及应用场景中,第一电子设备需要向第二电子设备传输数据。不同的应用场景中,第一电子设备和第二电子设备可以分别对应不同的电子设备。示例性的,在游戏场景中,可以将手机中显示的游戏画面投屏到电视上。在视频通话场景,可以将手机的视频画面投屏到电脑上。在视频会议场景,可以将笔记本电脑的显示画面投影到电视上。无论上述哪种场景,第一电子设备和第二电子设备之间传输的数据其实为图像数据。为了描述方便,后续描述中将第一电子设备向第二电子设备投屏的画面称为投屏图像。
可以理解的,由于投屏图像包含的数据量大,需要占用大量的传输带宽和存储空间。为了有效的传输,第一电子设备向第二电子设备传输投屏图像时,需要对投屏图像进行编码压缩。例如:可以采用H.264或H.265编码标准对图像进行编码压缩。
图像中包括多个图层,图像可以看作是由多个图层按序叠放得到的最终效果。本申请实施例的投屏场景中,第一电子设备和第二电子设备之间传输的投屏图像中包括多个图层,每个图层中的内容可以具有不同的类型。例如:有些图层中的内容为文字,有些图层中的内容为线条,有些图层中的内容为控件,有些图层中的内容为图片,有些图层中的内容为视频画面,有些图层中的内容为游戏画面等。
图3为一种现有技术提供的投屏数据传输过程示意图。如图3所示,第一电子设备将当前投屏图像对应的所有图层(例如:图层1至图层n)进行叠加合并,得到合并后的投屏图像,并对投屏图像进行编码压缩。进而,第一电子设备将编码结果发送给第二电子设备。第二电子设备接收到编码结果后,对编码结果进行解码,得到投屏图像,然后,通过显示屏幕对给投屏图像进行显示。
然而,上述现有的投屏过程中,第二电子设备显示的投屏图像经常出现细节显示不清楚的问题,例如:投屏图像中的文字很模糊,导致显示效果较差,用户体验不佳。
为了解决上述问题,本申请实施例提供一种数据传输方法,通过对投屏图像中的图层进行分类,不同类型的图层采用不同的编码参数进行编码压缩,使得第二电子设备显示的投屏图像中,各种类型的图层均可以被清晰的显示,提升投屏显示效果,从而提高用户使用体验。
下面结合几个具体的实施例对本申请的技术方案进行详细描述。需要说明的是,下面几个实施例可以单独存在,也可以相互结合,对于相同或相似的内容,在不同的实施例中不再重复说明。
图4为本申请一个实施例提供的数据传输方法的交互示意图。如图4所示,本实施例的方法,包括:
S401:第一电子设备获取待显示图像,所述待显示图像中包括第一类图层和第二类图层。
S402:第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同。
S403:第一电子设备将所述第一编码结果和所述第二编码结果发送给第二电子设备。
其中,待显示图像是指待在第二电子设备中显示的图像。本实施例可应用于如图1B所示的应用场景,即第一电子设备作为计算设备,第二电子设备作为交互设备。第一电子设备计算得到待显示图像后,将待显示图像传输给第二电子设备进行显示。本实施例还可应用于如图1C所示的应用场景,即第一电子设备作为投屏主控设备,第二电子设备作为投屏从设备,第一电子设备将待显示图像传输给第二电子设备,使得第二电子设备与第一电子设备同步显示。
第一电子设备通过计算处理得到待显示图像。一些实施例中,第一电子设备的应用程序(Application,APP)生成或者从其他设备获取待显示图像。另一些实施例中,第一电子设备的应用程序通过图形处理器(GPU)进行图层渲染或者绘制得到待显示图像。
本实施例中,将待显示图像中的图层按照图层属性进行划分,分为第一类图层和第二类图层。其中,待显示图像中的第一类图层的数量可以为一个或者多个,待显示图像中的第二类图层的数量也可以为一个或者多个。第一电子设备在对待显示图像进行编码时,根据第一类图层和第二类图层的图层属性采用不同的编码参数进行编码。也就是说,采用第一编码参数对第一类图层进行编码,采用第二编码参数对第二类图层进行编码。其中,第一编码参数是根据第一类图层的图层属性选择的适合该图层类型的编码参数,第二编码参数是根据第二类图层的图层属性选择的适合该图层类型的编码参数。
可选的,第一编码参数可以是第一类图层对应的最优编码参数,即,能够使得第一类图层在第二电子设备中的显示效果最好的编码参数。第二编码参数可以是第二类图层对应的最优编码参数,即,能够使得第二类图层在第二电子设备中的显示效果最好的编码参数。
其中,编码参数可以包括下述中的一种或者多种:编码类型、量化步长、压缩率等。例如:可以针对第一类图层和第二类图层分别采用不同的编码类型,还可以针对第一类图层和第二类图层采用相同的编码类型,但是采用不同的量化步长或者压缩率。
这样以来,通过对不同类型的图层采用不同的编码参数进行编码,使得第一电子设备可以针对每种图层类型,采用适合该种图层类型的编码参数,避免因采用同一种编码参数导致的图像不清晰的问题,从而能够在一定程序上解决投屏显示效果不佳的问题。
S404:第二电子设备对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像。
可选的,第二电子设备得到待显示图像之后,还可以对待显示图像进行一些后处理,例如:对待显示图像进行缩放以使待显示图像的大小与第二电子设备的显示屏幕的大小匹配。
S405:第二电子设备对所述待显示图像进行显示。
第二电子设备接收到第一类图层对应的第一编码结果、第二类图层对应的第二编码结果后,对第一编码结果和第二编码结果分别进行解码,得到第一类图层和第二类图层。由于每种图层类型采用的编码参数均是根据该图层类型的属性选择的适合该图层类型的编码参数,因此,第二电子设备解码得到的第一类图层和第二类图层均能够保证一定的清晰度。进而,第二电子设备将第一类图层和第二类图层进行合并得到待显示图像,也保证了待显示图像的清晰度,提高了投屏显示效果。
示例性的,假设待显示图像中包括图层1和图层2,其中,图层1为第一类图层,图层2为第二类图层。第一电子设备采用第一编码参数对图层1进行编码,得到编码结果1,并采用第二编码参数对图层2进行编码,得到编码结果2。第一电子设备将编码结果1和编码结果2发送给第二电子设备。第二电子设备对编码结果1进行解码,得到图层1,并对编码结果2进行解码,得到图层2。然后,第二电子设备将图层1和图层2进行合并,得到待显示图像,并通过显示屏幕对待显示图像进行显示。
示例性的,假设待显示图像中包括图层1、图层2、图层3和图层4。其中,图层1和图层2为第一类图层,图层3和图层4为第二类图层。第一电子设备采用第一编码参数对图层1和图层2分别进行编码,得到编码结果1和编码结果2,并采用第二编码参数对图层3和图层4分别进行编码,得到编码结果3和编码结果4。第一电子设备将编码结果1、编码结果2、编码结果3和编码结果4发送给第二电子设备。第二电子设备对编码结果1进行解码得到图层1,对编码结果2进行解码得到图层2,对编码结果3进行解码得到图层3,对编码结果4进行解码得到图层4。然后,第二电子设备将图层1、图层2、图层3和图层4进行合并,得到待显示图像,并通过显示屏幕对待显示图像进行显示。
上述举例中,当待显示图像中的图层数量较多时,第一电子设备需要针对每个图层分别进行编码,第二电子设备需要针对每个图层分别进行解码,导致编解码的效率较低。为了进一步提高编解码效率,一种可能的实施方式中,S402可以具体包括:若所述待显示图像中的第一类图层的数量有多个,则所述第一电子设备对所述多个第一类图层进行合并,得到第一合并图层;若所述待显示图像中的第二类图层的数量有多个,则所述第一电子设备对所述多个第二类图层进行合并,得到第二合并图层;所述第一电子设备根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
下面结合图5进行描述。图5为本申请一个实施例提供的数据传输过程的示意图。如图5所示,假设待显示图像中包括多个第一类图层(例如:图层1至图层k)以及多个第二类图层(例如:图层k+1至图层m),其中,k<m。第一电子设备可以首先将多个第一类图层进行合并(即,将图层1至图层k合并为一个图层),得到第一合并图层,将多个第二类图层进行合并(即,将图层k+1至图层m合并为一个图层),得到第二合并图层。然后,采用第一编码参数对第一合并图层进行编码,得到第一编码结果,采用第二编码参数对第二合并图层进行编码,得到第二编码结果。第一电子设备将第一编码结果和第二编码结果发送给第二电子设备。第二电子设备对第一编码结果进行解码得到第一合并图层,对第二编码结果进行解码得到第二合并图层。然后,第二电子设备将第一合并图层和第二合并图层进行合并,得到待显示图层,并通过显示屏幕对待显示图像进行显示。该实施方式中,第一电子设备通过先对同类型的图层进行合并,使得第一电子设备仅需要针对两种图层类型分别进行一次编码,同时,第二电子设备也仅需要针对两种图层类型分别进行一次解码,提高了编解码效率,保证了投屏显示的同步性。
本实施例中,第一编码参数和第二编码参数的确定,可以采用如下几种方式:
一种可能的实施方式中,第一类图层对应的第一编码参数和第二类图层对应的第二编码参数可以是第一电子设备和第二电子设备事先约定好的。例如:第一电子设备和第二电子设备在投屏之前,可以根据两种图层类型的属性特点,协商确定出这两类图层分别对应的编码参数。
另一种可能的实施方式中,第一类图层对应的第一编码参数和第二类图层对应的第二编码参数可以是由第一电子设备根据传输信道的情况实时确定的。示例性的,第一电子设备实时探测传输信道的情况,并根据传输信道的情况,分别确定出两种类型的图层对应的编码参数,使得两种类型的图层在当前传输信道的情况下均能够达到最优的显示效果。进一步的,第一电子设备向第二电子设备发送第一编码结果和第二编码结果时,可以在编码结果中携带各自对应的编码参数。这样,第二电子设备可以根据编码结果中携带的编码参数,确定采用哪种解码参数进行解码。
又一种可能的实施方式中,第一类图层对应的第一编码参数和第二类图层对应的第二编码参数还可以是由第二电子设备根据传输信道的情况实时确定的,并由第二电子设备将确定出的编码参数通知给第一电子设备。
本实施例中,将待显示图像中的图层按照图层属性进行划分,分为第一类图层和第二类图层。应理解,本实施例的方法还可以将图层属性分为更多的类型,其中每一种类型对应一种编码参数。其中,对于图层进行分类的方式可以有多种,例如:可以按照图层中的内容的来源(例如:有些图层的内容来源于本地设备,有些图层的内容来源于外部设备)进行划分,也可以根据图层中的内容的类型(例如:有些图层的内容为文字、有些图层的内容为图像等)进行划分,还可以根据图层中的内容是否属于用户界面(userinterface,UI)中的元素进行划分。
本实施例提供的数据传输方法,包括:第一电子设备获取待显示图像,所述待显示图像包括第一类图层和第二类图层;第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;所述第一电子设备将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。本实施例中,通过对不同类型的图层采用不同的编码参数进行编码,使得第一电子设备可以针对每种图层类型,采用适合该种图层类型的编码参数,避免因采用同一种编码参数导致的图像不清晰的问题,从而能够在一定程序上解决投屏显示效果不佳的问题,提升用户的使用体验。
图6为本申请一个实施例提供的数据传输方法的交互示意图。如图6所示,本实施例的方法,包括:
S601:第一电子设备获取待显示图像,所述待显示图像包括UI图层和非UI图层。
本实施例中,按照图层中的内容是否属于UI中的元素进行划分。示例性的,第一类图层为UI图层,第二类图层为非UI图层。也就是说,针对待显示图像中的每个图层,若该图层中的内容属于UI界面中的元素(包括但不限于:文字、控件、菜单、通知消息、提示信息等),则将该图层划分为第一类图层(即UI图层),若该图层中的内容不属于UI界面中的元素(例如:图像、视频帧、游戏帧等),则将该图层划分为第二类图层(即非UI图层)。
UI图层中的内容通常为文字、线条、控件等,这些内容纹理信息较少。而非UI图层中的内容纹理信息较多。现有技术中,对UI图层和非UI图层进行合并后,采用统一的编码参数进行编码压缩,使得UI图层损失的信息较多,因此,容易导致UI图层中的内容(例如文字)显示不清晰。本实施例中,对UI图层和非UI图层分别采用不同的编码参数进行编码压缩,使得对UI图层的编码失真度小于非UI图层的编码失真度,从而解决UI图层中的内容不清晰的问题。
S602:第一电子设备获取传输信道参数,并根据所述传输信道参数,确定UI图层对应的第一编码参数和非UI图层对应的第二编码参数,所述第一编码参数对UI图层的编码失真度小于所述第二编码参数对非UI图层的编码失真度。
示例性的,第一电子设备可以通过与第二电子设备的交互情况,探测获取传输信道参数。可以理解的,第一电子设备和第二电子设备之间的传输信道可以为有线信道或者无线信道。例如:第一电子设备向第二电子设备发送探测请求,根据第二电子设备反馈的探测响应,确定出当前的传输信道参数。参数信道参数包括但不限于:传输速率、传输时延、传输带宽等。
若当前的传输信道参数指示传输条件较佳,能够满足全部优质体验要求,则针对UI图层,将适用于UI图层的最优编码参数(能够使得UI图层在第二电子设备中的显示效果最好的编码参数)作为第一编码参数;针对非UI图层,将适用于非UI图层的最优编码参数(能够使得非UI图层在第二电子设备中的显示效果最好的编码参数)作为第二编码参数。
若当前的传输信道参数指示传输条件不佳,则针对UI图层和非UI图层采用不同的编码参数以获得不同的保障。例如:在传输信道条件不满足全部优质体验要求时,针对非UI图层采用压缩率更高、量化步长更长的编码参数,针对UI图层,可以采用压缩率较低、量化步长较短的编码参数。也就是说,使得UI图层的编码参数与非UI图层相比更加友好,这样可以避免UI图层被过度压缩导致的清晰度较差的问题。
可选的,本实施例中,UI图层可以采用屏幕内容编码(screen content coding,SCC)编码标准。SCC编码标准是基于HEVC(high efficiency video coding)精度扩展的新一代视频编码标准。由于投屏等新兴应用中包含大量的文字和图像混合内容,如果依然采用HEVC标准或基于HEVC精度扩展标准进行编码,难免造成严重的图像失真。而SCC标准之所以不会造成图像失真,主要是因为SCC还采用了帧内块拷贝和调色板等编码技术,保证了一定的视频编码效率。
S603:第一电子设备对UI图层进行合并,得到第一合并图层,对非UI图层进行合并,得到第二合并图层。
S604:第一电子设备根据第一编码参数对第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对第二合并图层进行编码,得到第二编码结果。
S605:第一电子设备将所述第一编码结果和所述第二编码结果发送给第二电子设备。
S606:第二电子设备对所述第一编码结果和所述第二编码结果分别进行解码,得到第一合并图层和第二合并图层,并对第一合并图层和第二合并图层进行合并得到所述待显示图像。
S607:第二电子设备对所述待显示图像进行显示。
本实施例中,S603至S607的具体实施可以参见图4和图5所示的实施例的描述。
本实施例提供的数据传输方法,可以由第一电子设备和第二电子设备中的不同模块进行协作交互完成。作为一种可能的实施方式,图7为本申请一个实施例提供的第一电子设备和第二电子设备的数据传输流图。图8为本申请一个实施例提供的第一电子设备和第二电子设备的数据传输交互示意图。下面结合图7和图8对本实施例的数据传输的具体过程进行描述。
如图7所示,第一电子设备包括:图形处理器(GPU)、应用程序(APP)、图层管理子系统(SurfaceFlinger)、显示子系统(display subsystem,DSS)、编码器(Encoder)、发送子系统(TX)。第二电子设备包括:接收子系统(RX)、解码器(Decoder)、图层缓存区、显示子系统(DSS)、显示屏幕(例如:liquid-crystal display,LCD)。
结合图7和图8,第一电子设备对待显示图像进行编码的过程如下:
(1)第一电子设备的处理器执行应用程序(APP),例如:视频播放应用程序、视频通话应用程序、游戏应用程序等。应用程序(APP)在运行过程中,需要绘制或者渲染图层时,向图形处理器(GPU)发送绘制/渲染请求。图形处理器(GPU)绘制/渲染得到待显示图像中的图层。对于有些应用程序(例如:视频播放软件等),还可以不经过图形处理器(GPU)渲染绘制,而是由应用程序自身生成或者从外部设备接收待显示图像中的图层。这些图层被放入图层管理子系统(SurfaceFlinger)提供的共享缓存(buffer)中。
(2)显示子系统(DSS)从共享缓存(buffer)中读取图层,将读取到的UI图层进行合并,得到第一合并图层,将读取到的非UI图层进行合并,得到第二合并图层。
(3)显示子系统(DSS)通过发送子系统(TX)获取传输信道参数,并根据传输信道参数,确定出UI图层对应的第一编码参数和非UI图层对应的第二编码参数。
(4)显示子系统(DSS)向编码器(Encoder)发送编码请求,编码请求中携带UI图层对应的第一合并图层、第一编码参数,以及非UI图层对应的第二合并图层、第二编码参数。
(5)编码器(Encoder)采用第一编码参数对第一合并图层进行编码得到第一编码结果,采用第二编码参数对第二合并图层进行编码得到第二编码结果。
(6)编码器(Encoder)将第一编码结果和第二编码结果通过发送子系统(TX)发送给第二电子设备。
应理解,图7和图8示例的是由显示子系统(DSS)负责获取传输信道参数,实际应用中,还可以由显示子系统(DSS)之外的其他模块/单元负责获取传输信道参数,本实施例对此不作限定。
结合图7和图8,第二电子设备对待显示图像进行解码的过程如下:
(7)接收子系统(RX)从第一电子设备接收第一编码结果和第二编码结果,并将第一编码结果和第二编码结果分别送入解码器(Decoder)。
(8)解码器(Decoder)对第一编码结果进行解码,得到第一合并图层,对第二编码结果进行解码,得到第二合并图层,解码后得到的第一合并图层和第二合并图层被放入图层缓存区中。
(9)显示子系统(DSS)从图层缓存区中读取第一合并图层和第二合并图层,并对第一合并图层和第二合并图层进行合并,得到待显示图像。
(10)第二电子设备通过显示屏幕(LCD)对待显示图像进行显示。
本实施例提供的数据传输方法,通过根据传输信道参数对UI图层和非UI图层分别采用不同的编码参数进行编码,使得在传输信道条件受限时,针对UI图层和非UI图层进行不同程度的清晰度保障,使得第二电子设备显示的投屏图像中的UI图层和非UI图层均能够保证清晰度,提升投屏显示效果。
在上述各实施例的基础上,本实施例还提供一种数据传输方法,第一电子设备在对第一类图层和第二类图层进行编码之前,先对投屏图像中的各图层之间的被遮挡区域进行预处理,以消除图层之间的被遮挡区域产生的不必要的编码,从而进一步提高传输信道的数据速率。下面结合图9至图10进行描述。
图9为本申请一个实施例提供的数据传输方法的流程示意图,由第一电子设备执行,如图9所示,包括:
S901:第一电子设备获取待显示图像,所述待显示图像中包括第一类图层和第二类图层。
S902:第一电子设备获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序。
在图像处理领域,通常以图像的宽度方向为X轴,以图像的高度方向为Y轴建立图像坐标系,采用X轴坐标和Y轴坐标表示图层在图像中的显示区域。以垂直图像平面朝外的方向为Z轴,采用Z轴坐标(即Z-order)表示图层之间的叠放顺序。在待显示图像中的各个图层之间均无重叠的情况下,无需关注Z-order,也就是说,无论图层之间的叠放顺序是怎样的,最终叠放显示的效果都是相同的。但是,当待显示图像中的任意两层之间出现重叠时,就需要通过一个标准来确定图层之间的显示顺序。这个标准就是Z-order。
图10为本申请一个实施例提供的投屏图像的示意图。如图10中的(a)所示,该投屏图像包括4个图层,分别为图层1、图层2、图层3和图层4。4个图层的Z-order顺序是:图层1-图层2-图层3-图层4。其中,图层2和图层3为第一类图层(UI图层),图层1和图层4为第二类图层(非UI图层)。根据各个图层的顶点在投屏图像中的坐标参数可以确定出各个图层的显示区域。
S903:第一电子设备根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域。
S904:第一电子设备对所述被遮挡区域进行预处理,所述预处理包括:裁剪处理,或者,纯色填充处理。
具体的,根据各个图层的显示区域以及各图层之间的叠放顺序,可以确定出每个图层中的被遮挡区域。可以理解的,被遮挡区域是指在投屏图像中不被直观显示出来的区域。参见图10中的(a),图层1被图层3遮挡了部分区域,图层2被图层4遮挡了部分区域,其他图层之间不存在遮挡关系。图层1中的被遮挡区域和图层2中的被遮挡区域如图10中的(b)所示,图层3和图层4不存在被遮挡区域。
可以理解的,由于被遮挡区域是在投屏图像中不被显示的区域,被遮挡区域中的显示内容属于冗余信息。本实施例中,为了避免对被遮挡区域中的冗余信息进行不必要的编解码,第一电子设备在对图层进行编码之前,可以对确定出的遮挡区域进行一些预处理。
一种可能的预处理方式为:对被遮挡区域进行裁剪,这样,可以避免对被遮挡区域中的冗余信息进行不必要的编码。
另一种可能的预处理方式为:对被遮挡区域进行纯色填充。可以理解的,将被遮挡区域进行纯色填充,能够大大减少被遮挡区域中的信息量。对被遮挡区域进行纯色填充之后,再对图层进行编码时,也能够降低编码信息量。
S905:第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同。
S906:第一电子设备将所述第一编码结果和所述第二编码结果发送给第二电子设备。
可以理解的,S905和S906的具体实施过程与图4所示实施例类似,此处不再赘述。第二电子设备收到编码结果之后的处理过程与图4所示实施例类似,此处也不再赘述。
本实施例中,第一电子设备先确定出各个图层之间的被遮挡区域,并对被遮挡区域进行预处理,然后,再对第一类图层和第二类图层分别进行编码。可以理解的,由于第一电子设备在对图层编码之前对被遮挡区域进行了预处理,使得第二电子设备解码得到的第一类图层和/或第二类图层中的被遮挡区域为空洞,或者,被遮挡区域为纯色填充。由于被遮挡区域是投屏图像中不被显示的区域,即使为空洞或者纯色填充,也不会影响第二电子设备对投屏图像的显示效果。
不难理解,本实施例的对被遮挡区域进行预处理的过程(S902至S904)也可应用于图6所示实施例,可以在S603之前执行,还可以在S603之后执行。也就是说,可以先确定出各个图层之间的被遮挡区域,并对被遮挡区域进行预处理,然后,再对经过预处理后的第一类图层(UI图层)进行合并、对经过预处理后的第二类图层(非UI图层)进行合并。或者,还可以先对第一类图层(UI图层)进行合并得到第一合并图层,并对第二类图层(非UI图层)进行合并得到第二合并图层。然后,再确定出第一合并图层被第二合并图层遮挡的区域,和/或,第二合并图层被第一合并图层被遮挡的区域,并对确定出的被遮挡区域进行预处理。可以理解的,上述这两种实施方式的处理效果是相同的。
本实施例中,通过第一电子设备确定出第一类图层和/或第二类图层中的被遮挡区域,并对被遮挡区域进行预处理,减少了对被遮挡区域的冗余信息的不必要的编码,节省了数据传输带宽,有利于提升数据传输速率;另外,第二电子设备接收到编码数据后,也避免了对被遮挡区域的不必要的解码,提高了解码效率。
图11为本申请一个实施例提供的数据传输装置的结构示意图。本实施例的数据传输装置可应用于第一电子设备中。如图11所示,本实施例的数据传输装置1100,包括:处理模块1101、编码模块1102和发送模块1103。
其中,所述处理模块1101,用于获取待显示图像,所述待显示图像包括第一类图层和第二类图层;所述编码模块1102,用于根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;所述发送模块1103,用于将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。
在一种可能的实现方式中,所述处理模块1101还用于:获取传输信道参数,并根据所述传输信道参数,确定所述第一类图层对应的第一编码参数和所述第二类图层对应的第二编码参数。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述处理模块1101还用于:获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序;根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域;对所述被遮挡区域进行预处理。
在一种可能的实现方式中,所述处理模块1101具体用于:对所述被遮挡区域进行裁剪处理;或者,对所述被遮挡区域进行纯色填充处理。
在一种可能的实现方式中,所述处理模块1101还用于:若所述待显示图像中的第一类图层的数量有多个,则对所述多个第一类图层进行合并,得到第一合并图层;若所述待显示图像中的第二类图层的数量有多个,则对所述多个第二类图层进行合并,得到第二合并图层;所述编码模块1102具体用于:根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
本实施例的数据传输装置,可用于执行上述任一方法实施例中第一电子设备侧的数据传输方法,其实现原理和技术效果类似,此处不再赘述。
图12为本申请一个实施例提供的数据传输装置的结构示意图。本实施例的数据传输装置可应用于第二电子设备中。如图12所示,本实施例的数据传输装置1200,包括:接收模块1201、解码模块1202和显示模块1203;其中,所述接收模块1201,用于从第一电子设备接收待显示图像对应的第一编码结果和第二编码结果,所述第一编码结果为所述第一电子设备根据第一编码参数对所述待显示图像中的第一类图层进行编码得到的,所述第二编码结果为所述第一电子设备根据第二编码参数对所述待显示图像中的第二类图层进行编码得到的,所述第一编码参数和所述第二编码参数不同;所述解码模块1202,用于对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像;所述显示模块1203,用于对所述待显示图像进行显示。
在一种可能的实现方式中,所述第一编码参数和所述第二编码参数是所述第一电子设备根据传输信道参数确定的。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述第一类图层和/或所述第二类图层中的被遮挡区域为空洞,或者,所述第一类图层和/或所述第二类图层中的被遮挡区域为纯色填充。
在一种可能的实现方式中,所述解码模块1202具体用于:对所述第一编码结果进行解码,得到所述待显示图像中的多个第一类图层对应的第一合并图层;对所述第二编码结果进行解码,得到所述待显示图像中的多个第二类图层对应的第二合并图层;所述电子设备还包括处理模块1204,所述处理模块1204用于对所述第一合并图层和所述第二合并图层进行合并,得到所述待显示图像。
本实施例的数据传输装置,可用于执行上述任一方法实施例中第二电子设备侧的技术方案,其实现原理和技术效果类似,此处不再赘述。
图13为本申请一个实施例提供的电子设备的结构示意图。本实施例的电子设备可以作为第一电子设备。如图13所示,本实施例的电子设备1300,包括:处理器1301、编码器1302、发送器1303和存储器1304,所述处理器1301、所述编码器1302、所述发送器1303、所述存储器1304可以通过通信总线1305连接。所述处理器1301执行存储器1304中的程序指令。
其中,所述处理器1301,用于获取待显示图像,所述待显示图像包括第一类图层和第二类图层;所述编码器1302,用于根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;所述发送器1303,用于将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。
在一种可能的实现方式中,所述处理器1301还用于:获取传输信道参数,并根据所述传输信道参数,确定所述第一类图层对应的第一编码参数和所述第二类图层对应的第二编码参数。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述处理器1301还用于:获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序;根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域;对所述被遮挡区域进行预处理。
在一种可能的实现方式中,所述处理器1301具体用于:对所述被遮挡区域进行裁剪处理;或者,对所述被遮挡区域进行纯色填充处理。
在一种可能的实现方式中,所述处理器1301还用于:若所述待显示图像中的第一类图层的数量有多个,则对所述多个第一类图层进行合并,得到第一合并图层;若所述待显示图像中的第二类图层的数量有多个,则对所述多个第二类图层进行合并,得到第二合并图层;所述编码器1302具体用于:根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
本实施例的电子设备,可用于执行上述任一方法实施例中第一电子设备侧的技术方案,其实现原理和技术效果类似,此处不再赘述。
图14为本申请一个实施例提供的电子设备的结构示意图。本实施例的电子设备可以作为第二电子设备。如图14所示,本实施例的电子设备1400,包括:接收器1401、解码器1402、显示器1403、处理器1404和存储器1405。所述接收器1401、解码器1402、显示器1403、处理器1404和存储器1405均通过总线1406连接。所述处理器1404执行存储器1405中的计算机程序。
其中,所述接收器1401,用于从第一电子设备接收待显示图像对应的第一编码结果和第二编码结果,所述第一编码结果为所述第一电子设备根据第一编码参数对所述待显示图像中的第一类图层进行编码得到的,所述第二编码结果为所述第一电子设备根据第二编码参数对所述待显示图像中的第二类图层进行编码得到的,所述第一编码参数和所述第二编码参数不同;所述解码器1402,用于对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像;所述显示器1403,用于对所述待显示图像进行显示。
在一种可能的实现方式中,所述第一编码参数和所述第二编码参数是所述第一电子设备根据传输信道参数确定的。
在一种可能的实现方式中,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
在一种可能的实现方式中,所述第一类图层和/或所述第二类图层中的被遮挡区域为空洞,或者,所述第一类图层和/或所述第二类图层中的被遮挡区域为纯色填充。
在一种可能的实现方式中,所述解码器1402具体用于:对所述第一编码结果进行解码,得到所述待显示图像中的多个第一类图层对应的第一合并图层;对所述第二编码结果进行解码,得到所述待显示图像中的多个第二类图层对应的第二合并图层;所述处理器1404用于对所述第一合并图层和所述第二合并图层进行合并,得到所述待显示图像。
本实施例的电子设备,可用于执行上述任一方法实施例中的第二电子设备侧的技术方案,其实现原理和技术效果类似,此处不再赘述。
本申请实施例提供一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序用于实现上述方法实施例中第一电子设备执行的数据传输方法,或者,实现上述方法实施例中第二电子设备执行的数据传输方法。
本申请实施例提供一种芯片,该芯片用于支持电子设备(例如方法实施例中的第一电子设备)实现本申请实施例所示的功能,该芯片具体用于芯片系统,该芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。当实现上述方法的为电子设备内的芯片时,芯片包括处理单元、编码单元,进一步的,芯片还可以包括通信单元,所述处理单元例如可以是处理器,所述编码单元例如可以是编码器。当芯片包括通信单元时,所述通信单元例如可以是输入/输出接口、管脚或电路等。
本申请实施例提供一种芯片,该芯片用于支持电子设备(例如方法实施例中的第二电子设备)实现本申请实施例所示的功能,该芯片具体用于芯片系统,该芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。当实现上述方法的为电子设备内的芯片时,芯片包括处理单元、解码单元,进一步的,芯片还可以包括通信单元,所述处理单元例如可以是处理器,所述解码单元例如可以是解码器。当芯片包括通信单元时,所述通信单元例如可以是输入/输出接口、管脚或电路等。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储器(存储介质)包括:只读存储器(read-only memory,ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)及其任意组合。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
在本申请中,术语“包括”及其变形可以指非限制性的包括;术语“或”及其变形可以指“和/或”。本本申请中术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。本申请中,“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
Claims (20)
1.一种数据传输方法,其特征在于,包括:
第一电子设备获取待显示图像,所述待显示图像为多个图层按序叠放得到的,所述待显示图像中的图层按照图层属性分为第一类图层和第二类图层;
所述第一电子设备获取传输信道参数,并根据所述传输信道参数,确定所述第一类图层对应的第一编码参数和所述第二类图层对应的第二编码参数;
所述第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;
所述第一电子设备将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。
2.根据权利要求1所述的方法,其特征在于,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
3.根据权利要求1或2所述的方法,其特征在于,所述第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果之前,还包括:
所述第一电子设备获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序;
所述第一电子设备根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域;
所述第一电子设备对所述被遮挡区域进行预处理。
4.根据权利要求3所述的方法,其特征在于,所述第一电子设备对所述被遮挡区域进行预处理,包括:
所述第一电子设备对所述被遮挡区域进行裁剪处理;
或者,
所述第一电子设备对所述被遮挡区域进行纯色填充处理。
5.根据权利要求1或2或4所述的方法,其特征在于,所述第一电子设备根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,包括:
若所述待显示图像中的第一类图层的数量有多个,则所述第一电子设备对所述多个第一类图层进行合并,得到第一合并图层;
若所述待显示图像中的第二类图层的数量有多个,则所述第一电子设备对所述多个第二类图层进行合并,得到第二合并图层;
所述第一电子设备根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
6.一种数据传输方法,其特征在于,包括:
第二电子设备从第一电子设备接收待显示图像对应的第一编码结果和第二编码结果,所述第一编码结果为所述第一电子设备根据第一编码参数对所述待显示图像中的第一类图层进行编码得到的,所述第二编码结果为所述第一电子设备根据第二编码参数对所述待显示图像中的第二类图层进行编码得到的,所述第一编码参数和所述第二编码参数不同;所述待显示图像为多个图层按序叠放得到的,所述待显示图像中的图层按照图层属性分为所述第一类图层和所述第二类图层,所述第一编码参数和所述第二编码参数是所述第一电子设备根据传输信道参数确定的;
所述第二电子设备对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像;
所述第二电子设备对所述待显示图像进行显示。
7.根据权利要求6所述的方法,其特征在于,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
8.根据权利要求6或7所述的方法,其特征在于,所述第一类图层和/或所述第二类图层中的被遮挡区域为空洞,或者,所述第一类图层和/或所述第二类图层中的被遮挡区域为纯色填充。
9.根据权利要求6或7所述的方法,其特征在于,所述第二电子设备对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像,包括:
所述第二电子设备对所述第一编码结果进行解码,得到所述待显示图像中的多个第一类图层对应的第一合并图层;
所述第二电子设备对所述第二编码结果进行解码,得到所述待显示图像中的多个第二类图层对应的第二合并图层;
所述第二电子设备对所述第一合并图层和所述第二合并图层进行合并,得到所述待显示图像。
10.一种电子设备,其特征在于,包括:处理器、编码器和发送器;
所述处理器,用于获取待显示图像,所述待显示图像为多个图层按序叠放得到的,所述待显示图像中的图层按照图层属性分为第一类图层和第二类图层;
获取传输信道参数,并根据所述传输信道参数,确定所述第一类图层对应的第一编码参数和所述第二类图层对应的第二编码参数;
所述编码器,用于根据第一编码参数对所述第一类图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二类图层进行编码,得到第二编码结果,所述第一编码参数和所述第二编码参数不同;
所述发送器,用于将所述第一编码结果和所述第二编码结果发送给第二电子设备,以使所述第二电子设备根据所述第一编码结果和所述第二编码结果获取所述待显示图像,并对所述待显示图像进行显示。
11.根据权利要求10所述的电子设备,其特征在于,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
12.根据权利要求10或11所述的电子设备,其特征在于,所述处理器还用于:
获取所述待显示图像中的所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序;
根据所述第一类图层的显示区域、所述第二类图层的显示区域,以及各图层之间的叠放顺序,确定出所述第一类图层和/或第二类图层中的被遮挡区域,其中,所述被遮挡区域是指在所述待显示图像中不被显示的区域;
对所述被遮挡区域进行预处理。
13.根据权利要求12所述的电子设备,其特征在于,所述处理器具体用于:
对所述被遮挡区域进行裁剪处理;
或者,
对所述被遮挡区域进行纯色填充处理。
14.根据权利要求10或11或13所述的电子设备,其特征在于,所述处理器还用于:
若所述待显示图像中的第一类图层的数量有多个,则对所述多个第一类图层进行合并,得到第一合并图层;若所述待显示图像中的第二类图层的数量有多个,则对所述多个第二类图层进行合并,得到第二合并图层;
所述编码器具体用于:根据第一编码参数对所述第一合并图层进行编码,得到第一编码结果,并根据第二编码参数对所述第二合并图层进行编码,得到第二编码结果。
15.一种电子设备,其特征在于,包括:接收器、解码器和显示器;
所述接收器,用于从第一电子设备接收待显示图像对应的第一编码结果和第二编码结果,所述第一编码结果为所述第一电子设备根据第一编码参数对所述待显示图像中的第一类图层进行编码得到的,所述第二编码结果为所述第一电子设备根据第二编码参数对所述待显示图像中的第二类图层进行编码得到的,所述第一编码参数和所述第二编码参数不同;所述待显示图像为多个图层按序叠放得到的,所述待显示图像中的图层按照图层属性分为所述第一类图层和所述第二类图层,所述第一编码参数和所述第二编码参数是所述第一电子设备根据传输信道参数确定的;
所述解码器,用于对所述第一编码结果和所述第二编码结果分别进行解码,得到所述第一类图层和所述第二类图层,并对所述第一类图层和所述第二类图层进行合并得到所述待显示图像;
所述显示器,用于对所述待显示图像进行显示。
16.根据权利要求15所述的电子设备,其特征在于,所述第一类图层为用户界面UI图层,所述第二类图层为非UI图层,所述第一编码参数对所述第一类图层的编码失真度小于所述第二编码参数对所述第二类图层的编码失真度。
17.根据权利要求15或16所述的电子设备,其特征在于,所述第一类图层和/或所述第二类图层中的被遮挡区域为空洞,或者,所述第一类图层和/或所述第二类图层中的被遮挡区域为纯色填充。
18.根据权利要求15或16所述的电子设备,其特征在于,所述解码器具体用于:
对所述第一编码结果进行解码,得到所述待显示图像中的多个第一类图层对应的第一合并图层;对所述第二编码结果进行解码,得到所述待显示图像中的多个第二类图层对应的第二合并图层;
所述电子设备还包括处理器,所述处理器用于对所述第一合并图层和所述第二合并图层进行合并,得到所述待显示图像。
19.一种存储介质,其特征在于,所述存储介质用于存储计算机程序,所述计算机程序用于实现如权利要求1至5任一项所述的方法,或者,实现如权利要求6至9任一项所述的方法。
20.一种数据传输系统,其特征在于,包括:如权利要求10至14任一项所述的电子设备,和如权利要求15至18任一项所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910933989.4A CN110865782B (zh) | 2019-09-29 | 2019-09-29 | 数据传输方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910933989.4A CN110865782B (zh) | 2019-09-29 | 2019-09-29 | 数据传输方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110865782A CN110865782A (zh) | 2020-03-06 |
CN110865782B true CN110865782B (zh) | 2024-01-30 |
Family
ID=69652456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910933989.4A Active CN110865782B (zh) | 2019-09-29 | 2019-09-29 | 数据传输方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110865782B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114189946A (zh) * | 2020-09-15 | 2022-03-15 | 华为技术有限公司 | 数据分享的方法、电子设备和系统 |
CN114579068B (zh) * | 2020-11-30 | 2024-06-25 | 华为技术有限公司 | 一种多屏协同的显示方法及电子设备 |
CN115134603A (zh) * | 2021-03-24 | 2022-09-30 | 阿里巴巴新加坡控股有限公司 | 一种图像编码、解码方法、装置、电子设备及存储介质 |
CN116781968A (zh) * | 2022-03-11 | 2023-09-19 | 华为技术有限公司 | 投屏方法、终端设备及计算机可读存储介质 |
CN116033158B (zh) * | 2022-05-30 | 2024-04-16 | 荣耀终端有限公司 | 投屏方法和电子设备 |
CN116737097B (zh) * | 2022-09-30 | 2024-05-17 | 荣耀终端有限公司 | 一种投屏图像处理方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103986935A (zh) * | 2014-04-30 | 2014-08-13 | 华为技术有限公司 | 编码方法、编码器、屏幕共享设备及系统 |
WO2016165375A1 (zh) * | 2015-09-11 | 2016-10-20 | 中兴通讯股份有限公司 | 屏幕投射的视频数据传输方法、装置及系统 |
CN106375841A (zh) * | 2015-07-23 | 2017-02-01 | 阿里巴巴集团控股有限公司 | 无线投屏数据处理、视频数据显示方法、装置及电子设备 |
CN109104610A (zh) * | 2017-06-20 | 2018-12-28 | 微软技术许可有限责任公司 | 实时屏幕共享 |
-
2019
- 2019-09-29 CN CN201910933989.4A patent/CN110865782B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103986935A (zh) * | 2014-04-30 | 2014-08-13 | 华为技术有限公司 | 编码方法、编码器、屏幕共享设备及系统 |
CN106375841A (zh) * | 2015-07-23 | 2017-02-01 | 阿里巴巴集团控股有限公司 | 无线投屏数据处理、视频数据显示方法、装置及电子设备 |
WO2016165375A1 (zh) * | 2015-09-11 | 2016-10-20 | 中兴通讯股份有限公司 | 屏幕投射的视频数据传输方法、装置及系统 |
CN109104610A (zh) * | 2017-06-20 | 2018-12-28 | 微软技术许可有限责任公司 | 实时屏幕共享 |
Also Published As
Publication number | Publication date |
---|---|
CN110865782A (zh) | 2020-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110865782B (zh) | 数据传输方法、装置及设备 | |
EP3972262A1 (en) | Screencasting display method, and electronic apparatus | |
EP4199523A1 (en) | Multi-window screen projection method and electronic device | |
JP7324311B2 (ja) | オーディオ及びビデオ再生方法、端末、並びにオーディオ及びビデオ再生装置 | |
WO2022022019A1 (zh) | 投屏数据处理方法和装置 | |
CN114610253A (zh) | 一种投屏方法及设备 | |
CN108400956A (zh) | 视频数据流的分配方法、装置和系统 | |
EP4250074A1 (en) | Screen projection display method and electronic device | |
CN116170629A (zh) | 一种传输码流的方法、电子设备及计算机可读存储介质 | |
WO2024012345A1 (zh) | 一种投屏画面的处理方法及相关装置 | |
US20230350629A1 (en) | Double-Channel Screen Mirroring Method and Electronic Device | |
CN101247490A (zh) | 便携式异地视频转播系统 | |
WO2023011408A1 (zh) | 一种多窗口视频通信方法、设备及系统 | |
CN202957933U (zh) | 一种3d视频通讯装置 | |
CN114845078B (zh) | 通话方法及电子设备 | |
CN117193685A (zh) | 投屏数据的处理方法、电子设备及存储介质 | |
CN115550683A (zh) | 一种视频数据的传输方法及装置 | |
CN114697731A (zh) | 投屏方法、电子设备及存储介质 | |
CN117082295B (zh) | 图像流处理方法、设备及存储介质 | |
CN102868901A (zh) | 一种3d视频通讯装置 | |
WO2024109044A1 (zh) | 游戏数据传输及处理方法、服务器和终端设备 | |
CN118540546A (zh) | 视频播放方法及电子设备 | |
WO2022174664A1 (zh) | 一种直播方法、装置及系统 | |
WO2024067432A1 (zh) | 一种音频传输方法、系统以及相关装置 | |
CN117193897A (zh) | 跨终端的屏幕交互方法、装置、终端设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |