CN112905132B - 投屏方法及设备 - Google Patents

投屏方法及设备 Download PDF

Info

Publication number
CN112905132B
CN112905132B CN201911136119.0A CN201911136119A CN112905132B CN 112905132 B CN112905132 B CN 112905132B CN 201911136119 A CN201911136119 A CN 201911136119A CN 112905132 B CN112905132 B CN 112905132B
Authority
CN
China
Prior art keywords
original image
feature
sink
sink device
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911136119.0A
Other languages
English (en)
Other versions
CN112905132A (zh
Inventor
石伟
聂鹏程
刘晓蕾
黄崖松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911136119.0A priority Critical patent/CN112905132B/zh
Publication of CN112905132A publication Critical patent/CN112905132A/zh
Application granted granted Critical
Publication of CN112905132B publication Critical patent/CN112905132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供一种投屏系统，所述系统包括源设备和汇设备，包括：所述源设备用于：接收到投屏指令，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；将所述原始图像发送给所述汇设备；将所述原始图像输入第一卷积神经网络，得到所述原始图像的a个特征图；将所述a个特征图发送给所述汇设备；所述汇设备用于：将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b；显示所述处理后的原始图像。

Description

投屏方法及设备
技术领域
本申请涉及计算机领域，具体涉及一种设备间交互方法。
背景技术
投屏是设备之间交互的一个重要场景，是将源设备(source device)上的内容或整个显示界面投射到汇设备(sink device)上。如图1所示，源设备101将图像或视频等多媒体内容103投射到汇设备102上，例如手机将视频投射到电视上。相比于源设备101，汇设备102通常具有更大的屏幕与更高的分辨率，因此对于图像或视频这类媒体内容，将图像投射到汇设备102上时，如果直接对图像进行拉伸以适应汇设备的屏幕大小，会导致图像的显示质量严重下降。显示质量是电视产品的核心卖点之一，因此在投屏场景下需要对投屏的内容进行画质增强。画质增强主要依赖于本机图像处理芯片，现有技术通常在本地进行图像处理等操作，例如在源设备进行图像处理，源设备将处理后的图像发送给汇设备。然而处理后的图像数据量大，会导致投屏过程耗时过长，用户体验较差。
发明内容
本申请提供了一种投屏方法和设备，通过减少源设备和汇设备之间的数据传输，从而减少投屏过程所占用的时间的同时也能对图像进行超分处理，提高图像的分辨率，使得投屏后的图像仍能保证较好的画质。
第一方面，本申请提高一种投屏系统，该系统包括源设备和汇设备，其特征在于，包括：
所述源设备用于：接收到投屏指令，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；将所述原始图像发送给所述汇设备；将所述原始图像输入第一卷积神经网络，得到所述原始图像的a个特征图；将所述a个特征图发送给所述汇设备；
所述汇设备用于：将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b；显示所述处理后的原始图像。
本申请将投屏过程中的图像处理过程拆分，将对原始图像的特征图提取分成两部分，源设备承担其中一些数量的特征图提取的计算量，输出a个特征图。汇设备承担剩余数量的特征图提取的计算量，输出b个特征图，并且对源设备输出的特征图以及自身输出的特征图进行亚像素卷积操作，生成相对于原始图像超分c倍的图像。源设备和汇设备可同步对原始图像进行特征图的提取，能够提高处理效率。并且源设备向汇设备传输的中间结果包括a个特征图，而特征图是与原始图像一样大小的图像，相比于现有技术将超分后的图像传输给汇设备，本申请在投屏中的数据传输量大幅度的减少，能够减少传输时间。
在一种实现方式中，亚像素卷积操作具体为：
将所述a个特征图和所述b个特征图中每个特征图在相同位置的像素组成所述处理后的原始图像中c×c大小的像素区域。换句话说，将a个特征图和b个特征图中对应于原始图像中同一个像素所在的位置的像素组成处理后的原始图像的一部分像素区域，该像素区域为c×c大小。
在一种实现方式中，源设备还用于：
将所述a个特征图中的一个特征图的数据以及所述a个特征图中除所述特征图之外的其余特征图与所述特征图之间的差值数据发送给所述汇设备。
第二方面，本申请提供一种投屏方法，方法应用于源设备和汇设备，包括：
所述源设备接收到投屏指令，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；
所述源设备将所述原始图像发送给所述汇设备，以使所述汇设备将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；
所述源设备将所述原始图像输入第一卷积神经网络，得到所述原始图像的a个特征图；
所述源设备将所述a个特征图发送给所述汇设备，以使所述汇设备对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到并显示处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b。
在一种实现方式中，所述亚像素卷积操作具体为：
将所述a个特征图和所述b个特征图中每个特征图在相同位置的像素组成所述处理后的原始图像中c×c大小的像素区域。
在一种实现方式中，所述源设备将所述原始图像发送给所述汇设备，包括：
所述源设备将所述a个特征图中的一个特征图的数据以及所述a个特征图中除所述特征图之外的其余特征图与所述特征图之间的差值数据发送给所述汇设备。
第三方面，本申请提供一种投屏方法，所述方法应用于源设备和汇设备，包括：
所述汇设备接收所述源设备发送的原始图像，所述原始图像为所述源设备接收到投屏指令后，发送给所述汇设备的，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；
所述汇设备接收a个特征图，所述a个特征图为所述源设备将所述原始图像输入第一卷积神经网络得到的，并由所述源设备发送给所述汇设备的；
所述汇设备将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；
所述汇设备对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b；
所述汇设备显示所述处理后的原始图像。
第四方面，本申请提供一种电子设备，包括：接收单元、处理单元、发送单元，
所述接收单元用于接收到投屏指令，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；
所述处理单元用于将所述原始图像输入第一卷积神经网络，得到所述原始图像的a个特征图；
所述发送单元用于将所述原始图像发送给所述汇设备，以使所述汇设备将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；将所述a个特征图发送给所述汇设备，以使所述汇设备对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到并显示处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b。
第五方面，本申请提供一种电子设备，包括：接收单元、处理单元、显示单元，
所述接收单元用于接收所述源设备发送的原始图像，所述原始图像为所述源设备接收到投屏指令后，发送给所述汇设备的，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；接收a个特征图，所述a个特征图为所述源设备将所述原始图像输入第一卷积神经网络得到的，并由所述源设备发送给所述汇设备的；
所述处理单元用于将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b；
所述显示单元用于显示所述处理后的原始图像。
第六方面，本申请提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器执行所述计算机程序以实现前述第二方面及其任一种实现方式以及第三方面及其任一种实现方式中任一项所述的方法。
第七方面，本申请提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括计算机程序，处理器执行所述计算机程序以实现前述第二方面及其任一种实现方式以及第三方面及其任一种实现方式中任一项所述的方法。
第八方面，本申请提供一种计算机程序产品，其特征在于，计算机程序产品中包括计算机程序，处理器执行所述计算机程序以实现前述第二方面及其任一种实现方式以及第三方面及其任一种实现方式中任一项所述的方法。
附图说明
图1为本申请实施例提供了投屏系统的架构图；
图2为本申请实施例提供了投屏方法的流程图
图3为本申请实施例提供了投屏方法的流程图；
图4为本申请实施例提供了EPSCN算法示意图；
图5为本申请实施例提供了投屏方法的流程图；
图6为本申请实施例提供了亚像素卷积操作的示意图；
图7为本申请实施例提供了通道拆分管理模块的示意图；
图8为本申请实施例提供了模型拆分动态管理模型的示意图；
图9为本申请实施例提供了视频通话时手机侧的显示样式；
图10为本申请实施例提供了手机侧显示样式的裁剪示意图；
图11为本申请实施例提供了手机侧显示示意图和大屏示意图；
图12为本申请实施例提供了视频通话中的人像在大屏上的显示示意图；
图13为本申请实施例提供了视频通话中的人像在大屏上的显示示意图；
图14为本申请实施例提供了视频通话中的人像在大屏上的显示示意图；
图15为本申请实施例提供了视频通话中的人像在大屏上的显示示意图；
图16为本申请实施例提供了视频通话中的人像在大屏上的显示示意图；
图17为本申请实施例提供了多方视频通话进行投屏时，手机侧和大屏侧的显示样式；
图18为本申请实施例提供了多方视频通话进行投屏时，手机侧和大屏侧的显示样式；
图19为本申请实施例提供了电子设备的结构示意图；
图20为本申请实施例提供了神经网络处理器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语″和/或″，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语″第一″和″第二″等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
在本申请实施例中，″示例性的″或者″例如″等词用于表示作例子、例证或说明。本申请实施例中被描述为″示例性的″或者″例如″的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用″示例性的″或者″例如″等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，″多个″的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。
在对本申请实施例的技术方案说明之前，首先结合附图对本申请实施例的应用场景进行说明。如图1所示，本申请实施例提供了一种计算机系统，该计算机系统包括源设备101和汇设备102。源设备101或汇设备102为一种具有通信功能的电子设备，具体的，源设备101或汇设备102可以为手机、平板电脑、笔记本电脑、台式机电脑、车载电脑、电视、虚拟现实技术(Virtual Reality，VR)设备等。源设备101可以将源设备101上显示的媒体内容103投射至汇设备102上显示，其中媒体内容可以为图像、视频和音频中的一个或多个。投射还可以称为投屏或投影或屏幕镜像，表示将一个设备上显示的内容传递至另一个设备上显示。源设备和汇设备是相对的概念，一个电子设备既可以作为源设备将媒体内容投射至另一个设备(汇设备)，也可以作为汇设备接收其他设备的投射来的媒体内容。
以源设备为手机，汇设备为电视为例，投屏的场景可以具体包括：用户将手机上播放的视频投屏至电视上显示；用户使用手机与好友进行视频通话时，用户将手机上的视频通话界面投屏到电视上显示；用户将手机上播放的图像投屏至电视上显示，从小屏幕投屏至大屏幕的操作可以营造沉浸式体验。
然而当图像或视频帧(在视频领域，电影、电视、数字视频等可视为随时间连续变换的许多张画面，其中帧是指每一张画面)从小屏幕投屏至大屏幕时，同样的媒体内容在分辨率为1080P(1920×1080)的手机上显示较为清晰，但是投射到具有4K分辨率(4Kresolution)的大屏幕后，对图像的简单拉伸所产生的锯齿等失真效果在高清大屏幕上一览无余，导致图像或视频等投射内容的显示效果较差。因此，在投屏过程中通常需要对媒体内容进行处理以增强媒体内容的呈现质量。
这种将低分辨率(kow resolution，LR)图像转换至高分辨率(high resolution，HR)图像的图像处理方法可以称为超分辨率图像重建(Super resolution imagereconstruction，SRIR)，或简称为超分。超分这类画质增强技术对设备的图像处理能力要求较高，在投屏场景下，由单一的电视侧执行超分时，超分的效果会受限于电视的图像处理能力。而手机的更新周期明显短于电视类产品，并且手机相比于电视一般拥有更强的软硬件配置，例如最新的手机产品一般都拥有较强的图像处理器(Graphics Processing Unit，GPU)与神经网络处理器(Neural-network Processing Unit，NPU)。但是超分处理后的图像的数据量相比于处理前的原始图像的数据量会成倍增加，例如视频内容的分辨率从480P(704×480)提升至720P(1280×720)后，数据量增加了2倍多。数据量的增长会造成手机与电视之间的数据传输延迟过大，从而导致投屏的媒体内容的延迟显示甚至卡顿，影响用户体验。
本申请在投屏过程中使用源设备与汇设备共同对媒体内容进行超分处理，将超分过程拆分成两部分分别部署在源设备和汇设备上，源设备将超分处理的中间结果发送至汇设备，由汇设备进行后续的超分处理。
本申请使用基于深度学习的超分算法对投屏的媒体内容进行处理：
在一种实施例中，如图2所示，本申请在源设备和汇设备上分别设置一个卷积神经网络，源设备和汇设备上的卷积神经网络均具有一个或多个卷积层。源设备和汇设备均将LR图像输入卷积神经网络，分别输出a个和b个LR图像的特征图，其中a与b的和为LR图像的超分的倍数c，且c2＝a+b。源设备将中间结果发送给汇设备，其中，中间结果为源设备上卷积神经网络输出的a个特征图。汇设备根据a个特征图与b个特征图生成HR图像，HR图像的分辨率是LR图像的分辨率的c倍。这种图像处理策略可以被称为通道拆分策略。
在另一种实施例中，如图3所示本申请将超分算法模型从执行顺序上划分成两部分，前半部分部署在源设备上，后半部分部署在汇设备上。源设备使用源设备上部署这一部分超分算法模型处理LR图像，将中间结果发送给汇设备，其中，中间结果为源设备上部署的这部分超分算法模型的输出结果。汇设备使用汇设备上部署的另一部分超分算法模型处理接收到中间结果，输出HR图像。这种图像处理策略可以被称为模型拆分策略。
本申请提供的投屏方法能显著降低源设备与汇设备之间的传输的数据量，减少投屏过程端到端时延，从而提升用户体验。
高效亚像素卷积神经网络(Efficient Sub-Pixel Convolutional NeuralNetwork，ESPCN)是一种可用于图像处理的模型，高效亚像素卷积神经网络可以将低分辨率(low resolution，LR)的图像或视频转换成高分辨率(high resolution，HR)的图像或视频。卷积神经网络(CNN，Convolutional neuron nrtwork)是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元对输入其中的图像中的重叠区域作出响应。
如图4所示为ESPCN将大小为H×W×1低分辨率图像转换成大小为rH×rW×1的高分辨率图像的过程；其中r是图像的目标放大倍数；H×W×1中的H代表图像的高度，W代表图像的宽度，1代表图像的通道数。通常图像的通道数为3，这里为了方便描述，仅从1个通道的图像来描述ESPCN的超分过程，对于多通道的LR图像，每个通道的超分过程是相同的。ESPCN可包括隐藏层和亚像素卷积层，其中隐藏层可以包括多个卷积层。
卷积层：
卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素......这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作，提取的特征就可称为特征图。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用维度相同的多个权重矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化......该多个权重矩阵维度相同，经过该多个维度相同的权重矩阵提取后的特征图维度也相同，再将提取到的多个维度相同的特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以从输入图像中提取信息，从而帮助卷积神经网络进行正确的预测。
当卷积神经网络有多个卷积层的时候，初始的卷积层往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
如图4所示，ESPCN中隐藏层的输入是大小为H×W×1低分辨率图像。每个卷积层输出的特征图作为下一个卷积层的输入。卷积层有多少个卷积核，则该卷积层就输出多少个特征图。如图4所示，第l层卷积层输出了r2个特征图(或称为通道)，即r2＝9，且亚像素卷积层的输入r2个特征图。也就是说，对多低分辨率图像的超分倍数(放大倍数)为3倍。由于第l层卷积层输出了9个特征图，因此可知第l卷积层中的卷积核的数量为9。
亚像素卷积层：
如果要把原始图像放大3倍，则需要生成32＝9个与原始图像同样大小的特征图。将这9个特征图″拼成″一个大小为原始图像3倍的高分辨率图像，这就是亚像素卷积层的对图像的处理操作。这是一种抽样的思想，如果把一张原始图像3倍大小的图，每隔三个点抽样一个，那就会得到9张低分辨率的图像。于是可以通过卷积神经网络来获得9张低分辨率图像，那么就可以组成一张高分辨率的大图。
亚像素卷积层用于将r2个特征图(或称为通道)中相同位置的像素重新排列成一个r×r的区域，对应于高分辨率图像中的一个r×r大小的子块，从而r2个大小为H×W×1的特征图被重新排列成大小为rH×rW×1的高分辨率图像。重新排列的过程可以被称为亚像素卷积操作，但实际上并没有卷积操作。
本申请提供了一种投屏方法，该方法应用于源设备和汇设备，如流程图图5以及图2所示，本方法包括以下步骤：
步骤S301：源设备接收到投屏指令，投屏指令用于请求将原始图像投射至汇设备；
投屏指令可以是用户在源设备上输入的；也可以是源设备检测到汇设备后触发的。
可选的，在接收到投屏指令后，获取源设备和汇设备的设备信息。其中，设备信息用于描述设备的图像处理能力或设备的分辨率。
可选的，根据设备信息确认超分倍数，超分倍数为汇设备相比于源设备的分辨率放大倍数c。源设备输出的原始图像的特征图数量a、汇设备输出的原始图像的特征图的数量b与分辨率放大倍数c之间的关系为c2＝a+b。
步骤S302：源设备将原始图像发送给汇设备；
源设备和汇设备之间原始图像的传输的具体实现方式可以参考已有的投屏技术中两设备之间的数据传输。源设备与汇设备之间的投屏技术可包括AirPlay、数字生活网络联盟(Digital Living Network Alliance，DLNA)、和Miracast。AirPlay是苹果公司推出的一种无线投屏技术，可以通过WiFi将iPhone等iOS设备上的媒体数据(或称为媒体文件或媒体内容，例如图像或音视频)通过无线的方式投射到支持AirPlay的其他设备上，例如appleTV的盒子。DNLA是索尼、英特尔、微软等提出的一种支持在PC、移动设备和消费电器之间互联互通的协议。DLNA与苹果的AirPlay功能比较类似，协议也大体相同，均可以实现将手机中的媒体内容投射到电视屏幕上。Miracast是由Wi-Fi联盟于2012年所制定的、以Wi-Fi直连为基础的无线显示标准；支持此标准的设备可通过无线方式分享视频画面，例如手机可通过Miracast将影片或照片在电视或其他装置播放，Android4.2版本以后系统标配此功能。
步骤S303：源设备将原始图像输入第一卷积神经网络，得到原始图像的a个特征图；
源设备使用第一卷积神经网络提取原始图像的特征，源设备将原始图像输入源设备中的存储的第一卷积神经网络。在本实施例中，第一卷积神经网络最终输出原始图像的4个特征图，即a为4。第一卷积神经网络表示前述图4中隐藏层，可以包括前述图4中所述的一个或多个卷积层，第一卷积神经网络中的卷积层对原始图像进行卷积操作，经过一个或多个卷积层的处理，得到原始图像的多个特征图。
步骤S304：汇设备将原始图像输入第二卷积神经网络，得到原始图像的b个特征图；
汇设备使用第二卷积神经网络提取原始图像的特征，汇设备将原始图像输入汇设备中的存储的第二卷积神经网络。在本实施例中，第二卷积神经网络最终输出原始图像的5个特征图，即b为5。第二卷积神经网络表示前述图4中隐藏层，可以包括前述图4中所述的一个或多个卷积层。第二卷积神经网络中的卷积层对原始图像进行卷积操作，经过一个或多个卷积层的处理，得到原始图像的多个特征图。
也就是说，以亚像素卷积操作的输入为9个特征图为例，源设备和汇设备均对低分辨率图像进行如图4所示的卷积操作，源设备输出其中4个特征，汇设备输出其中5个特征图。
步骤S305：源设备将得到的原始图像的a个特征图发送给汇设备；
可选的，源设备将a个特征图中一个特征图的数据以及其余特征图中每个特征图与该特征图的差值数据发送给汇设备。
步骤S306：汇设备对接收到的源设备发送的a个特征图以及汇设备输出的b个特征图进行亚像素卷积操作，得到超分c倍后的原始图像，c2＝a+b。
如图6所示，假设原始图像为2×2×1，需要放大的倍数为3倍，或者说超分的倍数为3倍，汇设备中的亚像素卷积层的输入需为原始图像的9个特征图，即接收到的源设备发送的4个特征图以及汇设备输出的5个特征图。对着9个特征图执行亚像素卷积操作，即为：将9个特征图中每个特征图相同位置的像素组成一个3×3的区域，则4个3×3的区域组成超分3倍后的原始图像。例如将9个特征图中每个特征图的左上角的像素(即像素1-9)组成3×3的区域，该3×3的区域为超分3倍后的原始图像的左上角的像素区域。
步骤S307：汇设备显示处理后的原始图像。
基于现有技术方案ESPCN，该方法将低像素图像到高像素图像的转换过程放到了超分过程最后的亚像素卷积层中，从而减少了输入卷积神经网络的数据量，降低了处理时延。例如使用ESPCN进行3倍图像超分，则最终需要输出的是9通道原大小图像，这里假定通道的编号是0-8。通道拆分策略将0-3通道(4个特征图)的计算过程置于源设备侧，并将4-8通道(5个特征图)的计算过程置于汇设备侧，同时将原图像从源设备侧传输至汇设备侧，并源设备和汇设备同步执行计算过程。源设备完成计算后将0-3通道的计算结果使用差量传输的方式传输至汇设备侧，汇设备侧在得到完整9通道后使用亚像素卷积计算获得原先分辨率3倍的超分图像。
可选的，在步骤303之前，源设备可确认通道拆分策略，即确认源设备和汇设备各自需要输出多少个特征图。源设备中可设置通道拆分动态管理模块，用于动态管理通道拆分的策略，加入该模块后的通道拆分流程如图7所示。该模块初始化时获取源设备和汇设备状态信息，之后以帧为单位获取源设备和汇设备的计算延迟等数据。依据获取到的信息，以视频帧为粒度，对通道拆分的策略进行动态调整，并将拆分策略在源设备与汇设备间进行同步，保证通道拆分策略可以随着负载变化而变化。即源设备针对每一帧图像，根据源设备和汇设备的实时负载情况，判断源设备和汇设备需要计算该帧图像的特征图的数量。
可选的，当不存在通道拆分动态管理模块时，初始的拆分策略根据源设备与汇设备硬件资源进行设定，设定后不再更改。例如对于超分倍数为2倍，需要原始图像的4个特征图进行亚像素卷积操作，则源设备输出原始图像的1个特征图，汇设备输出原始图像的3个特征图。
本申请还提供了一种投屏方法，该方法应用于源设备和汇设备，如图3所示，本方法包括以下步骤：
步骤S401：源设备将原始图像输入神经网络的前半部分，输出原始图像的中间结果；
将该神经网络(超分处理模型)以层为粒度进行拆分，假设某一神经网络具有Conv卷积层、BN(Batch Normalization)层、ReLU(Rectifie Linear Units)激活层、Conv卷积层、BN层和Addition六层，如图3所示，模型拆分方案将神经网络前四层置于源设备侧，后两层置于汇设备侧进行计算，即Conv，BN，ReLU，Conv在源设备侧进行计算，BN和Addition在汇设备侧进行计算。该超分处理模型可以为现有技术中的超分算法模型，例如SRCNN(Super-Resolution Convolutional Neural Network)和FSRCNN(Fast Super-ResolutionConvolutional Neural Network)。
步骤402：汇设备将接收到的源设备发送的中间结果输入神经网络的后半部分，输出超分处理后的原始图像。
可选的，神经网络模型的拆分策略由模型拆分动态管理模块进行动态调整。如图8所示。模型拆分动态管理模块针对源汇设备资源的动态变化。该模块初始化时获取源设备和汇设备的状态信息，之后以帧为单位获取源设备和汇设备的计算延迟等数据。依据获取到的信息，以视频帧为粒度，对模型拆分的策略进行动态调整，并将拆分策略在源设备与汇设备间进行同步，保证模型拆分策略可以随着负载变化而变化；
可选的，不存在模型拆分动态管理模块时，初始的模型拆分策略根据源设备与汇设备硬件资源进行设定，设定后不再更改。
本申请实施例还提供了一种投屏方法，该方法可以根据源设备和汇设备的算力或者处理能力，确定使用通道拆分策略还是使用模型拆分策略，即确定执行步骤S301-307或步骤S401-402。
本申请主要解决了智能终端投屏应用中的画质增强问题，使用一种在源设备与汇设备两侧分布式处理的方式改进内容画质的方法。对于模型拆分方案和通道拆分方案，通过在源设备汇设备两侧进行计算，增加了计算流水度，降低了单帧图像的处理延迟，从而提升了画面处理速度并增加帧率。模型拆分方案充分利用源设备和汇设备的算力资源，通常源设备(手机)上配备有NPU神经网络处理器，可以很大程度提高计算速度，而汇设备一般拥有较强的图像处理器GPU，可以很好的处理后期的计算层。通道拆分方案中，源设备仅需要对部分通道进行计算，可以降低数据传输量，从而降低投屏应用过程中的网络负载，降低延迟并提高吞吐。
本申请实施例提供了一种投屏显示界面。用户正在手机上使用某一社交APP(如微信、QQ等)与好友进行视频通话时，用户可以通过投屏到大屏设备(汇设备)上显示，这样观看起来更加清晰、更加沉浸。
1、触发投屏
如图9中a和b是用户在手机(源设备)上的正常视频通话过程界面，a和b是两种可能的显示样式，图中的人像表示视频通话中的发起方和接收方。图9中a部分表示发起方和接收方的人像分别位于源设备显示界面中央呈较大化显示和显示界面的拐角处呈缩小化显示。图9中b部分表示发起方和接收方的人像在显示界面上显示的大小相近，并列或并排呈现在显示界面上。
用户点击1101″投屏cast″按钮触发投屏动作后，在手机上弹出图9中c部分图像，显示附近的大屏列表(可用的汇设备列表)供用户选择。
用户选择具体的大屏设备(汇设备)后，建立连接并根据目标大屏设备能力选择通道拆分策略或者模型拆分策略。
2、画面比例处理
由于大屏的尺寸、长宽比例和摆放形式与使用手机不同，因此，将手机上的画图投到大屏上以后，如果是将手机上的画面直接投放上去，手机上的画面比较小，大屏尺寸大，就会有大量的空白，体验不佳；如果是将手机上的画面直接放大(以适应大屏的尺寸)投放上去，则会像现有技术描述的一样造成画面模糊不清，而采用本发明的方案，可以使投到大屏上以后的画面比较大也比较清晰。
本发明优选的显示样式是将视频画面处理成正方形填满大屏。
处理的方式包括，如果手机上的显示是图9中a的情形，将手机上呼叫方(发起方)或被叫方(接收方)的人像画面，以原画面中心点为中心做正方形裁切，裁切后的人像画面如图10右边所示；如果手机上的显示是图9中b的情形，由于手机上已经按正方形画面来摄取，则不需要做裁切；或者为了体验更好，如果手机上的显示本来是图9中a，先自动为用户转换为图9中b的样式，再直接采用图9中b的正方形画面。
3、画面处理成正方形后，执行超分处理，填充到大屏
由于大屏的长宽比不一定是2：1，不能刚刚好填满超分后的正方形视频画面，因此可以采用正方形边长＝大屏长度的一半，或者正方形边长＝大屏宽度的方式来填满，如图11所示的手机画面和大屏示意，最后的结果可能是以下几种情况之一：
①如图12所示，超分后的正方形视频画面边长等于大屏宽度，正方形的一边(左右边)被裁切；
②如图13所示，超分后的正方形视频画面边长等于大屏宽度，大屏左右边缘会留白；
③如图14所示，超分后的正方形视频画面边长等于大屏长度的一半，大屏上下边缘会留白；
④如图15所示，超分后的正方形视频画面边长等于大屏长度的一半，正方形的一边(上下边)被裁切；
可选的，大屏一般都是横向摆放，如果仅仅是将手机上的画面原封不动的直接超分显示在大屏上(如图16所示，虚线代表大屏边缘)，也是可以的，观看体验会差一些。
本申请实施例提供一种电子设备，该电子设备的结构示意图如图所示。该电子设备可以为图1中源设备101或汇设备102。
4、结束投屏：用户点击手机上的挂断图标挂断电话结束投屏，或主动再次点击1101″投屏cast″按钮结束投屏(仅是投屏结束，但是通话还可以在手机上继续)，结束投屏后大屏恢复投屏前的状态。
多路视频通话时的显示样式：
如图17所示，4方通话时，手机侧的显示样式如图17中a所示，大屏侧的显示样式如图17中b所示。如图18所示，9方通话时，手机侧的显示样式如图18中a所示，大屏侧的显示样式如图18中b所示。
本申请实施例提供一种电子设备，该电子设备可以为前述源设备101或者汇设备102，具体的电子设备可以包括移动终端或大屏电视，移动终端可以包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等。
以移动终端为例，图19示出的是与本发明实施例相关的手机500的部分结构的框图。参考图19，手机500包括、RF(Radio Frequency，射频)电路510、存储器520、其他输入设备530、显示屏540、传感器550、音频电路560、I/O子系统570、处理器580、以及电源590等部件。本领域技术人员可以理解，图19中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。本领领域技术人员可以理解显示屏540属于用户界面(UI，UserInterface)，且手机500可以包括比图示或者更少的用户界面。
下面结合图19对手机500的各个构成部件进行具体的介绍：
RF电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器580处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路510还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobilecommunication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(Code Division Multipie Access，码分多址)、WCDMA(Wideband CodeDivision Multiple Access，宽带码分多址)、LTE(Long Term Evolution，长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。
存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行手机500的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图象播放功能等)等；存储数据区可存储根据手机500的使用所创建的数据(比如音频数据、电话本等)等。存储器520中存储有计算机程序。处理器580被配置用于执行存储器520中的计算机程序，从而实现该计算机程序定义的功能。存储器520为非易失性存储介质，一般包括内存和外存。内存包括但不限于随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read-Only Memory，ROM)，或高速缓存(cache)等。外存包括但不限于闪存(flash memory)、硬盘、光盘、通用串行总线(universal serial bus，USB)盘等。计算机程序通常被存储在外存上，处理器在执行计算机程序前会将该程序从外存加载到内存。存储器520可以是独立的，通过总线与处理器580相连接；存储器520也可以和处理器580集成到一个芯片子系统。
其他输入设备530可用于接收输入的数字或字符信息，以及产生与手机500的用户设置以及功能控制有关的键信号输入。具体地，其他输入设备530可包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。其他输入设备530与I/O子系统570的其他输入设备控制器571相连接，在其他设备输入控制器571的控制下与处理器580进行信号交互。
显示屏540可用于显示由用户输入的信息或提供给用户的信息以及手机500的各种菜单，还可以接受用户输入，在投屏场景中，用于显示媒体内容。具体的显示屏540可包括显示面板541，以及触控面板542。其中显示面板541可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板541。触控面板542，也称为触摸屏、触敏屏等，可收集用户在其上或附近的接触或者非接触操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板542上或在触控面板542附近的操作，也可以包括体感操作；该操作包括单点控制操作、多点控制操作等操作类型。)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板542可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位、姿势，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成处理器能够处理的信息，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板542，也可以采用未来发展的任何技术实现触控面板542。进一步的，触控面板542可覆盖显示面板541，用户可以根据显示面板541显示的内容(该显示内容包括但不限于，软键盘、虚拟鼠标、虚拟按键、图标等等)，在显示面板541上覆盖的触控面板542上或者附近进行操作，触控面板542检测到在其上或附近的操作后，通过I/O子系统570传送给处理器580以确定用户输入，随后处理器580根据用户输入通过I/O子系统570在显示面板541上提供相应的视觉输出。虽然在图19中，触控面板542与显示面板541是作为两个独立的部件来实现手机500的输入和输入功能，但是在某些实施例中，可以将触控面板542与显示面板541集成而实现手机500的输入和输出功能。
手机500还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在手机500移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机500还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路560、扬声器561，麦克风562可提供用户与手机500之间的音频接口。音频电路560可将接收到的音频数据转换后的信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，麦克风562将收集的声音信号转换为信号，由音频电路560接收后转换为音频数据，再将音频数据输出至RF电路508以发送给比如另一手机，或者将音频数据输出至存储器520以便进一步处理。
I/O子系统570用来控制输入输出的外部设备，可以包括其他设备输入控制器571、传感器控制器572、显示控制器573。可选的，一个或多个其他输入控制设备控制器171从其他输入设备530接收信号和/或者向其他输入设备530发送信号，其他输入设备530可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)。值得说明的是，其他输入控制设备控制器571可以与任一个或者多个上述设备连接。所述I/O子系统570中的显示控制器573从显示屏540接收信号和/或者向显示屏540发送信号。显示屏540检测到用户输入后，显示控制器573将检测到的用户输入转换为与显示在显示屏540上的用户界面对象的交互，即实现人机交互。传感器控制器572可以从一个或者多个传感器550接收信号和/或者向一个或者多个传感器550发送信号。
处理器580是手机500的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行手机500的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器580可包括一个或多个处理单元；优选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。处理器580可以是中央处理单元(Central Processing Unit，CPU)，该处理器580还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器580也可以是任何常规的处理器等。处理器还可以为图像处理器(Graphics Processing Unit，GPU)，或者神经网络处理器(Neural-networkProcessing Unit，NPU)
手机500还包括给各个部件供电的电源590(比如电池)，优选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
尽管未示出，手机500还可以包括摄像头、蓝牙模块等，在此不再赘述。
图20，是本发明实施例提供的一种芯片硬件结构图。
前述步骤S301-S306或步骤S401-402等方法以及图4所示ESPCN算法可以在图20所示的NPU芯片中实现。
神经网络处理器NPU 600作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU通过控制器604控制运算电路603提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路603内部包括多个处理单元(Process Engine，PE)。在一些实现中，运算电路603是二维脉动阵列。运算电路603还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路603是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器602中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器601中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器608accumulator中。
统一存储器606用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器605Direct Memory Access Controller，DMAC被搬运到权重存储器602中。输入数据也通过DMAC被搬运到统一存储器606中。
BIU为Bus Interface Unit即，总线接口单元610，用于AXI总线与DMAC和取指存储器609lnstruction Fetch Buffer的交互。
总线接口单元610(Bus Interface Unit，简称BIU)，用于取指存储器609从外部存储器获取指令，还用于存储单元访问控制器605从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器606或将权重数据搬运到权重存储器602中或将输入数据数据搬运到输入存储器601中。
向量计算单元607多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/FC层网络计算，如Pooling(池化)，Batch Normalization(批归一化)，Local Response-Normalization(局部响应归一化)等。
在一些实现种，向量计算单元能607将经处理的输出的向量存储到统一缓存器606。例如，向量计算单元607可以将非线性函数应用到运算电路603的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元607生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路603的激活输入，例如用于在神经网络中的后续层中的使用。
控制器604连接的取指存储器(instruction fetch buffer)609，用于存储控制器604使用的指令；
统一存储器606，输入存储器601，权重存储器602以及取指存储器609均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，图4所示的ESPCN中各层的运算可以由矩阵计算单元或向量计算单元607执行。
本申请实施例提供了一种计算机系统，该计算机系统包括存储器和处理器，其中存储器用于存储计算机程序，处理器用于执行该计算机程序实现本申请任一个实施例提供的投屏方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器调用时执行本申请任一个实施例提供的投屏方法。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器调用时执行本申请任一个实施例提供的投屏方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种投屏系统，所述系统包括源设备和汇设备，其特征在于，包括：
所述源设备用于：接收到投屏指令，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；将所述原始图像发送给所述汇设备；将所述原始图像输入第一卷积神经网络，得到所述原始图像的a个特征图；将所述a个特征图发送给所述汇设备；
所述汇设备用于：将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b；显示所述处理后的原始图像。
2.根据权利要求1所述的系统，其特征在于，所述亚像素卷积操作具体为：
将所述a个特征图和所述b个特征图中每个特征图在相同位置的像素组成所述处理后的原始图像中c×c大小的像素区域。
3.根据权利要求1所述的系统，其特征在于，所述源设备还用于：
将所述a个特征图中的一个特征图的数据以及所述a个特征图中除所述特征图之外的其余特征图与所述特征图之间的差值数据发送给所述汇设备。
4.一种投屏方法，所述方法应用于源设备和汇设备，其特征在于，包括：
所述源设备接收到投屏指令，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；
所述源设备将所述原始图像发送给所述汇设备，以使所述汇设备将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；
所述源设备将所述原始图像输入第一卷积神经网络，得到所述原始图像的a个特征图；
所述源设备将所述a个特征图发送给所述汇设备，以使所述汇设备对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到并显示处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b。
5.根据权利要求4所述的方法，其特征在于，所述亚像素卷积操作具体为：
将所述a个特征图和所述b个特征图中每个特征图在相同位置的像素组成所述处理后的原始图像中c×c大小的像素区域。
6.根据权利要求4所述的方法，其特征在于，所述源设备将所述原始图像发送给所述汇设备，包括：
所述源设备将所述a个特征图中的一个特征图的数据以及所述a个特征图中除所述特征图之外的其余特征图与所述特征图之间的差值数据发送给所述汇设备。
7.一种投屏方法，所述方法应用于源设备和汇设备，其特征在于，包括：
所述汇设备接收所述源设备发送的原始图像，所述原始图像为所述源设备接收到投屏指令后，发送给所述汇设备的，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；
所述汇设备接收a个特征图，所述a个特征图为所述源设备将所述原始图像输入第一卷积神经网络得到的，并由所述源设备发送给所述汇设备的；
所述汇设备将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；
所述汇设备对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b；
所述汇设备显示所述处理后的原始图像。
8.一种电子设备，其特征在于，包括：接收单元、处理单元、发送单元，
所述接收单元用于接收到投屏指令，所述投屏指令用于请求将原始图像投射至汇设备上显示；所述处理单元用于将所述原始图像输入第一卷积神经网络，得到所述原始图像的a个特征图；所述发送单元用于将所述原始图像发送给所述汇设备，以使所述汇设备将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；将所述a个特征图发送给所述汇设备，以使所述汇设备对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到并显示处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b。
9.一种电子设备，其特征在于，包括：接收单元、处理单元、显示单元，
所述接收单元用于接收源设备发送的原始图像，所述原始图像为所述源设备接收到投屏指令后，发送给汇设备的，所述投屏指令用于请求将原始图像投射至所述汇设备上显示；接收a个特征图，所述a个特征图为所述源设备将所述原始图像输入第一卷积神经网络得到的，并由所述源设备发送给所述汇设备的；
所述处理单元用于将所述原始图像输入第二卷积神经网络，得到所述原始图像的b个特征图；对所述a个特征图和所述b个特征图进行亚像素卷积操作，得到处理后的原始图像，所述处理后的原始图像的分辨率为所述原始图像的分辨率的c倍，其中，a、b和c均为正整数，且c2＝a+b；
所述显示单元用于显示所述处理后的原始图像。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器执行所述计算机程序以实现如权利要求4-7任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括计算机程序，处理器执行所述计算机程序以实现如权利要求4-7任一项所述的方法。
CN201911136119.0A 2019-11-19 2019-11-19 投屏方法及设备 Active CN112905132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911136119.0A CN112905132B (zh) 2019-11-19 2019-11-19 投屏方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911136119.0A CN112905132B (zh) 2019-11-19 2019-11-19 投屏方法及设备

Publications (2)

Publication Number Publication Date
CN112905132A CN112905132A (zh) 2021-06-04
CN112905132B true CN112905132B (zh) 2023-07-18

Family

ID=76104246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911136119.0A Active CN112905132B (zh) 2019-11-19 2019-11-19 投屏方法及设备

Country Status (1)

Country Link
CN (1) CN112905132B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024060064A1 (en) * 2022-09-21 2024-03-28 Qualcomm Incorporated Miracast end to end (e2e) stream transmission

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
EP3625765B1 (en) * 2017-12-29 2024-03-20 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
CN109829855B (zh) * 2019-01-23 2023-07-25 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法
CN109831638B (zh) * 2019-01-23 2021-01-08 广州视源电子科技股份有限公司 视频图像传输方法、装置、交互智能平板和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端

Also Published As

Publication number Publication date
CN112905132A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US11431784B2 (en) File transfer display control method and apparatus, and corresponding terminal
WO2020187157A1 (zh) 一种控制方法和电子设备
US11711623B2 (en) Video stream processing method, device, terminal device, and computer-readable storage medium
US20210173549A1 (en) Method for icon display, terminal, and storage medium
JP7230055B2 (ja) アプリケーションプログラムの表示適応方法及びその装置、端末、記憶媒体、並びにコンピュータプログラム
CN109002243B (zh) 一种图像参数调节方法及终端设备
US8605048B2 (en) Method and apparatus for controlling multimedia contents in realtime fashion
WO2020063091A1 (zh) 一种图片处理方法及终端设备
US9720567B2 (en) Multitasking and full screen menu contexts
WO2019174628A1 (zh) 拍照方法及移动终端
CN110502293B (zh) 一种截屏方法及终端设备
US10698579B2 (en) Method, device for displaying reference content and storage medium thereof
CN110865758B (zh) 一种显示方法及电子设备
CN110244884B (zh) 一种桌面图标管理方法及终端设备
CN110944236B (zh) 一种群组创建方法及电子设备
WO2020181956A1 (zh) 应用标识的显示方法及终端设备
WO2021169885A1 (zh) 显示方法及电子设备
CN109068063B (zh) 一种三维图像数据的处理、显示方法、装置及移动终端
CN108804628B (zh) 一种图片显示方法及终端
WO2021128929A1 (zh) 一种全景应用中图像渲染的方法及终端设备
WO2023093169A1 (zh) 拍摄的方法和电子设备
CN110941378B (zh) 视频内容显示方法及电子设备
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN112905132B (zh) 投屏方法及设备
WO2021104162A1 (zh) 显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant