CN116996649A - 投屏方法、装置、存储介质及电子设备 - Google Patents
投屏方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116996649A CN116996649A CN202310393760.2A CN202310393760A CN116996649A CN 116996649 A CN116996649 A CN 116996649A CN 202310393760 A CN202310393760 A CN 202310393760A CN 116996649 A CN116996649 A CN 116996649A
- Authority
- CN
- China
- Prior art keywords
- screen
- throwing
- data
- delay
- receiving end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009467 reduction Effects 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种投屏方法、装置、存储介质及电子设备，涉及投屏技术领域，该方法包括：接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。本申请可以有效提升投屏延迟的降低效果，提升用户体验。
Description
技术领域
本申请涉及投屏技术领域，具体涉及一种投屏方法、装置、存储介质及电子设备。
背景技术
通过镜像投屏协议可以在投屏发送端(例如手机)和投屏接收端(例如电视)之间建立投屏传输通道，将投屏发送端的界面录屏后进行编码为投屏数据并发送到投屏接收端进行解码播放，在这个过程中，若投屏传输通道的网络环境质量较差、投屏数据传输负载较高时，会造成接收端的数据包堆积，接收端无法快速解析出视频数据导致发送端和接收端之间的投屏延迟越来越大。
目前，相关技术中降低投屏延迟的方式，存在通过投屏接收端对接收的投屏数据包中帧数据进行丢弃的策略来降低投屏延迟，或者，投屏接收端根据任意一帧数据的延迟指示投屏发送端简单降帧率来降低投屏延迟。
目前的方式下，一方面以投屏接收端为主导进行降低投屏延迟控制，另一方面，是否需要降低投屏延迟的判断通常不够准确，导致投屏延迟的降低效果较差，导致用户体验较差。
发明内容
本申请实施例提供一种投屏方案，可以有效提升投屏延迟的降低效果，提升用户体验。
本申请实施例提供以下技术方案：
根据本申请的一个实施例，一种投屏方法，其包括：接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
在本申请的一些实施例中，所述接收投屏接收端分周期返回的反馈包，包括：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的发送时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的发送时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述接收投屏接收端分周期返回的反馈包，包括：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的预定接收时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的预定接收时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：确定预定数目个周期的所述反馈包中的延迟时间是否持续增长；若延迟时间持续增长，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为延迟持续增长。
在本申请的一些实施例中，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：从预定数目个周期的所述反馈包中的延迟时间中，获取高于预定阈值的延迟时间；计算高于预定阈值的延迟时间的均值；若所述均值高于预定均值，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为所述均值与所述预定均值的均值差。
在本申请的一些实施例中，所述延迟持续增长对应的所述降维策略为丢弃非关键帧；所述待投屏数据为对视频画面数据编码后的关键帧和非关键帧；所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：从待发送的帧队列中确定顺序方向的至少一帧的关键帧；将所述至少一帧的关键帧之前的非关键帧丢弃，得到降维帧队列；将所述降维帧队列中帧数据向所述投屏接收端发送。
在本申请的一些实施例中，所述均值差对应的所述降维策略为画面丢弃量；所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：对待发送的视频画面数据进行识别处理，得到低于预定重要性的视频画面数据；将待发送的视频画面数据中所述画面丢弃量的低于预定重要性的视频画面数据丢弃，得到候选视频画面数据；将所述候选视频画面数据编码后向所述投屏接收端发送。
根据本申请的一个实施例，一种投屏装置，所述装置包括：接收模块，用于接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；判断模块，用于根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；确定模块，用于根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；发送模块，用于根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
在本申请的一些实施例中，所述接收模块，用于：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的发送时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的发送时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述接收模块，用于：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的预定接收时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的预定接收时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述判断模块，用于：确定预定数目个周期的所述反馈包中的延迟时间是否持续增长；若延迟时间持续增长，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为延迟持续增长。
在本申请的一些实施例中，所述判断模块，用于：从预定数目个周期的所述反馈包中的延迟时间中，获取高于预定阈值的延迟时间；计算高于预定阈值的延迟时间的均值；若所述均值高于预定均值，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为所述均值与所述预定均值的均值差。
在本申请的一些实施例中，所述延迟持续增长对应的所述降维策略为丢弃非关键帧；所述待投屏数据为对视频画面数据编码后的关键帧和非关键帧；所述发送模块，用于：从待发送的帧队列中确定顺序方向的至少一帧的关键帧；将所述至少一帧的关键帧之前的非关键帧丢弃，得到降维帧队列；将所述降维帧队列中帧数据向所述投屏接收端发送。
在本申请的一些实施例中，所述均值差对应的所述降维策略为画面丢弃量；所述发送模块，用于：对待发送的视频画面数据进行识别处理，得到低于预定重要性的视频画面数据；将待发送的视频画面数据中所述画面丢弃量的低于预定重要性的视频画面数据丢弃，得到候选视频画面数据；将所述候选视频画面数据编码后向所述投屏接收端发送。
根据本申请的另一实施例，一种存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本申请实施例所述的方法。
根据本申请的另一实施例，一种电子设备可以包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本申请实施例所述的方法。
根据本申请的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。
本申请实施例中，接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
以这种方式，一方面以投屏发送端为主导进行降低投屏延迟控制，另一方面，通过预定数目个周期的延时时间确定延迟持续增长状态，根据延迟持续增长状态确定是否需要降低投屏延迟的判断准确性提升，进而，有效提升投屏延迟的降低效果，提升用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请的一个实施例的投屏方法的流程图。
图2示出了根据本申请的一个实施例的投屏装置的框图。
图3示出了根据本申请的一个实施例的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示意性示出了根据本申请的一个实施例的投屏方法的流程图。该投屏方法的执行主体可以是任意具有投屏功能的投屏发送端，例如电视、电脑、手机、智能手表以及家电设备等。
如图1所示，该投屏方法可以包括步骤S110至步骤S140。
步骤S110，接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；步骤S120，根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；步骤S130，根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；步骤S140，根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
投屏发送端可以持续向投屏接收端发送投屏数据包，投屏接收端可以分周期计算投屏接收端发送的投屏数据包对应的延迟时间，投屏接收端分周期向投屏发送端返回反馈包，每个周期的反馈包包括对应周期的投屏数据包的延迟时间，该周期可以根据实际情况指定，投屏数据包中还可以携带投屏数据及数据包序列号等数据。
根据预定数目个周期的所述反馈包中的延迟时间，可以确定投屏接收端与投屏发送端之间在该预定数目个周期的时间段内的延迟持续增长状态，预定数目可以根据实际需求设定，延迟持续增长状态可以反映投屏延迟是否持续增长。
进一步的，根据延迟持续增长状态确定投屏发送端中待投屏数据的降维策略后，根据降维策略将待投屏数据降维处理后向投屏接收端发送，降维后向投屏接收端发送避免投屏数据包在投屏接收端的堆积，降低投屏延迟。
其中，投屏发送端与投屏接收端之间可以建立预定协议的投屏通道进行数据传输，预定协议例如Wifi P2p协议(Wi-Fi Peer-to-Peer，由WiFi联盟发布的设备间点对点连接协议)，投屏数据包可以是RTP(Real-time Transport Protocol)数据包，反馈包可以是RTCP(Real-time Transport Control Protocol)数据包。投屏数据和待投屏数据可以是对投屏发送端的视频画面数据编码后的关键帧和非关键帧，编码的方式可以根据实际情况选定，编码方式例如H.264视频压缩编码。
以这种方式，基于步骤S110至步骤S140，一方面以投屏发送端为主导进行降低投屏延迟控制，另一方面，通过预定数目个周期的延时时间确定延迟持续增长状态，根据延迟持续增长状态确定是否需要降低投屏延迟的判断准确性提升，进而，有效提升投屏延迟的降低效果，提升用户体验。
下面描述图1实施例下进行投屏时，所进行的各步骤下进一步可选的具体实施例。
一种实施例中，所述接收投屏接收端分周期返回的反馈包，包括：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的发送时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的发送时间及投屏数据包的实际接收时间计算得到的。
该实施例下，投屏发送端向投屏接收端发送的投屏数据包中还包括投屏数据及对应的发送时间，发送时间即投屏数据包的发送时间。投屏接收端可以确定其接收到投屏数据包的时间即实际接收时间，投屏接收端计算投屏数据包的发送时间T1与实际接收时间T2的差值即投屏数据包的延迟时间ΔT。
一种实施例中，所述接收投屏接收端分周期返回的反馈包，包括：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的预定接收时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的预定接收时间及投屏数据包的实际接收时间计算得到的。
该实施例下，投屏发送端向投屏接收端发送的投屏数据包中还包括投屏数据及对应的预定接收时间，预定接收时间即投屏发送端中预定的投屏接收端接收投屏数据包的时间。预定接收时间可以是发送时间与预定传输耗时之和。投屏接收端可以确定其接收到投屏数据包的时间即实际接收时间，投屏接收端计算投屏数据包的预定接收时间T2与实际接收时间T2的差值即投屏数据包的延迟时间ΔT。
一种实施例中，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：确定预定数目个周期的所述反馈包中的延迟时间是否持续增长；若延迟时间持续增长，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为延迟持续增长。
该实施例下，延迟持续增长状态为延迟持续增长，根据预定数目个周期的反馈包中的延迟时间是否持续增长，来确定延迟持续增长状态，具体地，若ΔT1、ΔT2及ΔT3依次增大则延迟时间持续增长，进一步的，依此，确定投屏接收端与投屏发送端之间的延迟持续增长状态为延迟持续增长。
一种实施例中，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：从预定数目个周期的所述反馈包中的延迟时间中，获取高于预定阈值的延迟时间；计算高于预定阈值的延迟时间的均值；若所述均值高于预定均值，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为所述均值与所述预定均值的均值差。
该实施例下，延迟持续增长状态为均值差，其中，从预定数目个周期的反馈包中的延迟时间中，获取高于预定阈值的延迟时间，根据高于预定阈值的延迟时间计算均值，若该均值高于预定均值，则投屏接收端与投屏发送端之间的延迟持续增长状态为均值与预定均值的均值差。
一种实施例中，根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略，包括：若延迟持续增长状态为延迟持续增长，延迟持续增长对应的所述降维策略为丢弃非关键帧。
一种实施例中，根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略，包括：若延迟持续增长状态为均值差，均值差对应的所述降维策略为画面丢弃量。
一种实施例中，所述延迟持续增长对应的所述降维策略为丢弃非关键帧；所述待投屏数据为对视频画面数据编码后的关键帧和非关键帧；所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：从待发送的帧队列中确定顺序方向的至少一帧的关键帧；将所述至少一帧的关键帧之前的非关键帧丢弃，得到降维帧队列；将所述降维帧队列中帧数据向所述投屏接收端发送。
若延迟持续增长状态为延迟持续增长，则延迟持续增长对应的降维策略为丢弃非关键帧，其中，关键帧具体可以是I帧，非关键帧具体可以是P帧和B帧等非I帧。具体地，待投屏数据为对视频画面数据编码后的关键帧和非关键帧，投屏发送端中可以实时维持一个待发送的帧队列，待发送的帧队列中必须包含至少一帧关键帧。例如，一段时间内的帧队列包括以下7个帧ABCEDFG，其中，A帧和D帧为关键帧，若A帧已发送，从待发送的帧队列BCEDFG中确定顺序方向的至少一帧的关键帧则为D帧，将D帧之前的非关键帧丢弃，得到降维帧队列DFG，降维帧队列DFG中帧数据向投屏接收端可以继续发送。
一种实施例中，所述均值差对应的所述降维策略为画面丢弃量；所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：对待发送的视频画面数据进行识别处理，得到低于预定重要性的视频画面数据；将待发送的视频画面数据中所述画面丢弃量的低于预定重要性的视频画面数据丢弃，得到候选视频画面数据；将所述候选视频画面数据编码后向所述投屏接收端发送。
若延迟持续增长状态为均值差，均值差对应的所述降维策略为画面丢弃量，画面丢弃量为视频画面数据的丢弃数量。通过预先训练好的机器学习模型可以对投屏发送端中待发送的每个视频画面对应的视频画面数据进行识别处理，得到每个视频画面对应的视频画面数据的重要性的评分。根据重要性的评分，可以选定低于预定评分的视频画面数据作为低于预定重要性的视频画面数据。进一步的，将待发送的视频画面数据中低于预定重要性的视频画面数据中该画面丢弃量个视频画面数据丢弃，得到候选视频画面数据，将候选视频画面数据编码为关键帧和非关键帧后向投屏接收端发送。
为便于更好的实施本申请实施例提供的投屏方法，本申请实施例还提供一种基于上述投屏方法的投屏装置。其中名词的含义与上述投屏方法中相同，具体实现细节可以参考方法实施例中的说明。图2示出了根据本申请的一个实施例的投屏装置的框图。
如图2所示，投屏装置200中可以包括：接收模块210可以用于接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；判断模块220可以用于根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；确定模块230可以用于根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；发送模块240可以用于根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
在本申请的一些实施例中，所述接收模块，用于：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的发送时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的发送时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述接收模块，用于：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的预定接收时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的预定接收时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述判断模块，用于：确定预定数目个周期的所述反馈包中的延迟时间是否持续增长；若延迟时间持续增长，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为延迟持续增长。
在本申请的一些实施例中，所述判断模块，用于：从预定数目个周期的所述反馈包中的延迟时间中，获取高于预定阈值的延迟时间；计算高于预定阈值的延迟时间的均值；若所述均值高于预定均值，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为所述均值与所述预定均值的均值差。
在本申请的一些实施例中，所述延迟持续增长对应的所述降维策略为丢弃非关键帧；所述待投屏数据为对视频画面数据编码后的关键帧和非关键帧；所述发送模块，用于：从待发送的帧队列中确定顺序方向的至少一帧的关键帧；将所述至少一帧的关键帧之前的非关键帧丢弃，得到降维帧队列；将所述降维帧队列中帧数据向所述投屏接收端发送。
在本申请的一些实施例中，所述均值差对应的所述降维策略为画面丢弃量；所述发送模块，用于：对待发送的视频画面数据进行识别处理，得到低于预定重要性的视频画面数据；将待发送的视频画面数据中所述画面丢弃量的低于预定重要性的视频画面数据丢弃，得到候选视频画面数据；将所述候选视频画面数据编码后向所述投屏接收端发送。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，本申请实施例还提供一种电子设备，该电子设备可以为终端或者服务器，如图3所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解，图3中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器301是该电子设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行计算机设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器301可包括一个或多个处理核心；优选的，处理器301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。
存储器302可用于存储软件程序以及模块，处理器301通过运行存储在存储器302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器302还可以包括存储器控制器，以提供处理器301对存储器302的访问。
电子设备还包括给各个部件供电的电源303，优选的，电源303可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元304，该输入单元304可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器301会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现本申请前述实施例中各种功能，如处理器301可以执行下述步骤：
接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
在本申请的一些实施例中，所述接收投屏接收端分周期返回的反馈包，包括：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的发送时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的发送时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述接收投屏接收端分周期返回的反馈包，包括：持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的预定接收时间；接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的预定接收时间及投屏数据包的实际接收时间计算得到的。
在本申请的一些实施例中，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：确定预定数目个周期的所述反馈包中的延迟时间是否持续增长；若延迟时间持续增长，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为延迟持续增长。
在本申请的一些实施例中，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：从预定数目个周期的所述反馈包中的延迟时间中，获取高于预定阈值的延迟时间；计算高于预定阈值的延迟时间的均值；若所述均值高于预定均值，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为所述均值与所述预定均值的均值差。
在本申请的一些实施例中，所述延迟持续增长对应的所述降维策略为丢弃非关键帧；所述待投屏数据为对视频画面数据编码后的关键帧和非关键帧；所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：从待发送的帧队列中确定顺序方向的至少一帧的关键帧；将所述至少一帧的关键帧之前的非关键帧丢弃，得到降维帧队列；将所述降维帧队列中帧数据向所述投屏接收端发送。
在本申请的一些实施例中，所述均值差对应的所述降维策略为画面丢弃量；所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：对待发送的视频画面数据进行识别处理，得到低于预定重要性的视频画面数据；将待发送的视频画面数据中所述画面丢弃量的低于预定重要性的视频画面数据丢弃，得到候选视频画面数据；将所述候选视频画面数据编码后向所述投屏接收端发送。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种方法中的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的实施例，而可以在不脱离其范围的情况下进行各种修改和改变。
Claims (10)
1.一种投屏方法，其特征在于，应用于投屏发送端，所述方法包括：
接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；
根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；
根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；
根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
2.根据权利要求1所述的方法，其特征在于，所述接收投屏接收端分周期返回的反馈包，包括：
持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的发送时间；
接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的发送时间及投屏数据包的实际接收时间计算得到的。
3.根据权利要求1所述的方法，其特征在于，所述接收投屏接收端分周期返回的反馈包，包括：
持续向投屏接收端发送投屏数据包，每个所述投屏数据包中携带投屏数据及对应的预定接收时间；
接收所述投屏接收端分周期返回的反馈包，所述延迟时间为所述投屏接收端根据接收的投屏数据包中的预定接收时间及投屏数据包的实际接收时间计算得到的。
4.根据权利要求1所述的方法，其特征在于，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：
确定预定数目个周期的所述反馈包中的延迟时间是否持续增长；
若延迟时间持续增长，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为延迟持续增长。
5.根据权利要求1所述的方法，其特征在于，所述根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态，包括：
从预定数目个周期的所述反馈包中的延迟时间中，获取高于预定阈值的延迟时间；
计算高于预定阈值的延迟时间的均值；
若所述均值高于预定均值，则所述投屏接收端与所述投屏发送端之间的延迟持续增长状态为所述均值与所述预定均值的均值差。
6.根据权利要求4所述的方法，其特征在于，所述延迟持续增长对应的所述降维策略为丢弃非关键帧；所述待投屏数据为对视频画面数据编码后的关键帧和非关键帧；
所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：
从待发送的帧队列中确定顺序方向的至少一帧的关键帧；
将所述至少一帧的关键帧之前的非关键帧丢弃，得到降维帧队列；
将所述降维帧队列中帧数据向所述投屏接收端发送。
7.根据权利要求5所述的方法，其特征在于，所述均值差对应的所述降维策略为画面丢弃量；
所述根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送，包括：
对待发送的视频画面数据进行识别处理，得到低于预定重要性的视频画面数据；
将待发送的视频画面数据中所述画面丢弃量的低于预定重要性的视频画面数据丢弃，得到候选视频画面数据；
将所述候选视频画面数据编码后向所述投屏接收端发送。
8.一种投屏装置，其特征在于，包括：
接收模块，用于接收投屏接收端分周期返回的反馈包，每个所述反馈包中包括对应周期的投屏数据包的延迟时间；
判断模块，用于根据预定数目个周期的所述反馈包中的延迟时间，确定所述投屏接收端与所述投屏发送端之间的延迟持续增长状态；
确定模块，用于根据所述延迟持续增长状态，确定投屏发送端中待投屏数据的降维策略；
发送模块，用于根据所述降维策略将所述待投屏数据降维处理后向所述投屏接收端发送。
9.一种存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7任一项所述的方法。
10.一种电子设备，其特征在于，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310393760.2A CN116996649B (zh) | 2023-04-04 | 2023-04-04 | 投屏方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310393760.2A CN116996649B (zh) | 2023-04-04 | 2023-04-04 | 投屏方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116996649A true CN116996649A (zh) | 2023-11-03 |
| CN116996649B CN116996649B (zh) | 2024-04-30 |
Family
ID=88522078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310393760.2A Active CN116996649B (zh) | 2023-04-04 | 2023-04-04 | 投屏方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116996649B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050084237A1 (en) * | 2003-10-16 | 2005-04-21 | Kellner Charles R.Jr. | Systems and methods for managing frame rates during multimedia playback |
| JP2014160911A (ja) * | 2013-02-19 | 2014-09-04 | Nippon Telegr & Teleph Corp <Ntt> | パケット処理装置、方法及びプログラム |
| CN105306888A (zh) * | 2015-10-03 | 2016-02-03 | 上海大学 | 基于丢包区分的移动视频监控带宽自适应方法 |
| CN108462896A (zh) * | 2018-03-23 | 2018-08-28 | 北京潘达互娱科技有限公司 | 直播数据流处理方法、装置及电子设备 |
| CN111615006A (zh) * | 2020-05-29 | 2020-09-01 | 高小翎 | 基于网络状态自评估的视频编码转换传输控制系统 |
| CN111741249A (zh) * | 2020-06-04 | 2020-10-02 | 北京佳讯飞鸿电气股份有限公司 | 一种网络拥塞检测方法及装置 |
| CN112584189A (zh) * | 2020-12-08 | 2021-03-30 | 深圳创维新世界科技有限公司 | 直播数据处理方法、装置、系统与计算机可读存储介质 |
| CN113490055A (zh) * | 2021-07-06 | 2021-10-08 | 三星电子（中国）研发中心 | 数据处理方法和装置 |
| CN114025389A (zh) * | 2021-11-01 | 2022-02-08 | 网易（杭州）网络有限公司 | 数据传输方法、装置、计算机设备及存储介质 |
| CN115086779A (zh) * | 2021-12-17 | 2022-09-20 | 浙江大华技术股份有限公司 | 视频传输系统 |
-
2023
- 2023-04-04 CN CN202310393760.2A patent/CN116996649B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050084237A1 (en) * | 2003-10-16 | 2005-04-21 | Kellner Charles R.Jr. | Systems and methods for managing frame rates during multimedia playback |
| JP2014160911A (ja) * | 2013-02-19 | 2014-09-04 | Nippon Telegr & Teleph Corp <Ntt> | パケット処理装置、方法及びプログラム |
| CN105306888A (zh) * | 2015-10-03 | 2016-02-03 | 上海大学 | 基于丢包区分的移动视频监控带宽自适应方法 |
| CN108462896A (zh) * | 2018-03-23 | 2018-08-28 | 北京潘达互娱科技有限公司 | 直播数据流处理方法、装置及电子设备 |
| CN111615006A (zh) * | 2020-05-29 | 2020-09-01 | 高小翎 | 基于网络状态自评估的视频编码转换传输控制系统 |
| CN111741249A (zh) * | 2020-06-04 | 2020-10-02 | 北京佳讯飞鸿电气股份有限公司 | 一种网络拥塞检测方法及装置 |
| CN112584189A (zh) * | 2020-12-08 | 2021-03-30 | 深圳创维新世界科技有限公司 | 直播数据处理方法、装置、系统与计算机可读存储介质 |
| CN113490055A (zh) * | 2021-07-06 | 2021-10-08 | 三星电子（中国）研发中心 | 数据处理方法和装置 |
| CN114025389A (zh) * | 2021-11-01 | 2022-02-08 | 网易（杭州）网络有限公司 | 数据传输方法、装置、计算机设备及存储介质 |
| CN115086779A (zh) * | 2021-12-17 | 2022-09-20 | 浙江大华技术股份有限公司 | 视频传输系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙为;王伟;: "大数据量实时视频流传输拥塞控制研究", 《计算机工程与应用》, no. 10, 1 April 2007 (2007-04-01) * |
| 孙元波;王睿伯;彭宇行;: "实时视频流自适应速率传输策略", 《计算机工程与科学》, no. 03, 28 March 2006 (2006-03-28) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116996649B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111628847B (zh) | 数据传输方法及装置 | |
| CN111263153B (zh) | 视频编码方法、装置、设备及存储介质 | |
| CN110913245A (zh) | 一种控制视频转码码率的方法和装置 | |
| CN111093094A (zh) | 视频转码方法、装置、系统及电子设备及可读存储介质 | |
| CN113891175B (zh) | 直播推流方法、装置及系统 | |
| CN113490055B (zh) | 数据处理方法和装置 | |
| CN108235075B (zh) | 视频质量等级匹配方法、计算机可读存储介质及终端 | |
| CN111601178B (zh) | 视频数据处理方法、装置和电子设备 | |
| WO2023174254A1 (zh) | 视频发布方法、装置、设备及存储介质 | |
| CN114466194A (zh) | 视频编码的调整方法和装置、存储介质及电子设备 | |
| JP2008005108A (ja) | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム | |
| CN114245196B (zh) | 一种录屏推流方法、装置、电子设备及存储介质 | |
| CN107566795A (zh) | 一种提高实时画面流畅度的方法、装置及系统 | |
| CN116996649B (zh) | 投屏方法、装置、存储介质及电子设备 | |
| CN117336534A (zh) | 数据传输方法、装置、电子设备及存储介质 | |
| CN115278289B (zh) | 一种云应用渲染视频帧处理方法与装置 | |
| CN112261354B (zh) | 基于多个网络摄像机的数据传输方法及相关装置 | |
| CN115001632A (zh) | 一种信息传输方法、装置、电子设备及可读存储介质 | |
| CN114416013A (zh) | 数据发送方法、装置、电子设备及计算机可读存储介质 | |
| CN112449209B (zh) | 视频存储方法、装置、云服务器及计算机可读存储介质 | |
| CN113765886B (zh) | 多媒体播放方法、装置、存储介质及电子设备 | |
| CN117411990A (zh) | 视频通话处理方法、装置、存储介质及电子设备 | |
| CN113747100B (zh) | 音视频通话方法、装置、存储介质及电子设备 | |
| CN112600683B (zh) | 一种云会议信令控制方法、系统和可读存储介质 | |
| CN117176203A (zh) | 音频传输方法、装置、存储介质、电子设备及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |