CN112468855A - 数据传输方法及装置、非易失性存储介质 - Google Patents

数据传输方法及装置、非易失性存储介质 Download PDF

Info

Publication number
CN112468855A
CN112468855A CN202011255553.3A CN202011255553A CN112468855A CN 112468855 A CN112468855 A CN 112468855A CN 202011255553 A CN202011255553 A CN 202011255553A CN 112468855 A CN112468855 A CN 112468855A
Authority
CN
China
Prior art keywords
resolution
data stream
multimedia data
code rate
transmission code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011255553.3A
Other languages
English (en)
Other versions
CN112468855B (zh
Inventor
朱小航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN202011255553.3A priority Critical patent/CN112468855B/zh
Publication of CN112468855A publication Critical patent/CN112468855A/zh
Application granted granted Critical
Publication of CN112468855B publication Critical patent/CN112468855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种数据传输方法及装置、非易失性存储介质。其中，该方法包括：获取采集端设备在发送多媒体数据流时的第一传输码率；在第一传输码率大于带宽阈值时，对多媒体数据流的编码策略进行调整，得到目标编码策略；采用目标编码策略对多媒体数据流进行编码，并继续检测采用目标编码策略对多媒体数据流进行编码后，多媒体数据流的第二传输码率；在第二传输码率小于或等于带宽阈值时，停止对编码策略进行调整，并继续发送多媒体数据流。本申请解决了图像传输过程中由于网络传输带宽不够，导致用户接收端无法接收画面完整帧的数据包而造成视频卡顿或者黑屏，影响用户使用体验的技术问题。

Description

数据传输方法及装置、非易失性存储介质
技术领域
本申请涉及数据传输领域，具体而言，涉及一种数据传输方法及装置、非易失性存储介质。
背景技术
目前在图像编码、传输和解码的过程中，采集端通常是以固定的帧率进行图像采集，采集完成的图像全部进入编码器进行编码；编码完成后，按照编码顺序将编码图像传输到接收端，再由接收端进行解码显示。这种情况下，数据的传输情况受到传输网络带宽的影响比较大，如果传输带宽不够，容易导致接收端因接收不到图像完整帧的数据包而造成视频卡顿或者黑屏，从而影响用户体验，甚至导致用户不能正常使用。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据传输方法及装置、非易失性存储介质，以至少解决图像传输过程中由于网络传输带宽不够，导致用户接收端无法接收画面完整帧的数据包而造成视频卡顿或者黑屏，影响用户使用体验的技术问题。
根据本申请实施例的一个方面，提供了一种数据传输方法，包括：获取采集端设备在发送多媒体数据流时的第一传输码率，其中，所述多媒体数据流为所述采集端设备基于从视频源设备中采集的画面数据生成的；在所述第一传输码率大于带宽阈值时，对所述多媒体数据流的编码策略进行调整，得到目标编码策略；采用所述目标编码策略对所述多媒体数据流进行编码，并继续检测采用所述目标编码策略对所述多媒体数据流进行编码后，所述多媒体数据流的第二传输码率；在所述第二传输码率小于或等于所述带宽阈值时，停止对所述编码策略进行调整，并继续发送所述多媒体数据流。
可选地，所述编码策略用于指示对所述画面数据的至少一个或多个属性进行调整。
可选地，对所述多媒体数据流的编码策略进行调整，得到目标编码策略，包括：在所述画面数据有多个属性时，从所述多个属性中选择一个属性作为指定属性；对所述指定属性进行调整，以使得所述第二传输码率小于或等于所述带宽阈值；在对所述指定属性进行调整后，如果所述第二传输码率仍然大于所述带宽阈值，则继续对所述多个属性中的其他属性进行调整，其中，所述其他属性为除所述指定属性之外的属性。
可选地，从所述多个属性中选择一个属性作为指定属性；对所述指定属性进行调整，包括：从所述多个属性中选择所述画面数据的分辨率作为所述指定属性，保持当前画面的采集帧率和画面分量的完整性，并将所述画面数据的分辨率由第一分辨率逐步调整为第二分辨率，其中，第一分辨率大于第二分辨率。
可选地，在对所述指定属性进行调整后，如果所述第二传输码率仍然大于所述带宽阈值，则继续对所述多个属性中的其他属性进行调整，包括：在将所述画面数据的分辨率由第一分辨率调整为第二分辨率后，如果所述第二传输码率仍然大于所述带宽阈值，则将所述画面数据对应的彩色图像转换为灰度图像；采用所述第一分辨率继续传输基于所述灰度图像采集的画面数据，并确定基于所述画面数据生成的多媒体数据流的传输码率；如果所述传输码率仍然大于所述带宽阈值，则将所述画面数据的分辨率由第一分辨率逐步调整为第二分辨率；在将所述画面数据的分辨率由第一分辨率调整为第二分辨率后，如果所述传输码率仍然大于所述带宽阈值，则将所述画面数据对应的灰色图像恢复为彩色图像，并将所述画面的采集帧率由第一采集帧率调整为第二采集帧率。
可选地，所述第一分辨率通过以下方式确定：获取所述采集端设备和接收端设备共同支持的所有分辨率；将所述所有分辨率中的最大分辨率作为所述第一分辨率。
根据本申请实施例的另一方面，还提供了一种数据传输方法，包括：获取采集端设备在发送多媒体数据流时的传输码率，其中，所述多媒体数据流为所述采集端设备从视频源设备中采集的多媒体数据；在所述传输码率大于带宽阈值时，对所述多媒体数据流的编码策略进行调整，得到目标编码策略；依据所述目标编码策略对所述采集端设备采集的多媒体数据流进行编码，并将编码后的多媒体数据流发送至接收端设备。
根据本申请实施例的另一方面，还提供了一种数据传输装置，包括：获取模块，用于获取采集端设备在发送多媒体数据流时的第一传输码率，其中，所述多媒体数据流为所述采集端设备基于从视频源设备中采集的画面数据生成的；调整模块，用于在所述第一传输码率大于带宽阈值时，对所述多媒体数据流的编码策略进行调整，得到目标编码策略；编码检测模块，用于采用所述目标编码策略对所述多媒体数据流进行编码，并继续检测采用所述目标编码策略对所述多媒体数据流进行编码后，所述多媒体数据流的第二传输码率；发送模块，用于在所述第二传输码率小于或等于所述带宽阈值时，停止对所述编码策略进行调整，并继续发送所述多媒体数据流。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述的数据传输方法。
在本申请实施例中，通过获取采集端设备在发送多媒体数据流时的第一传输码率；在第一传输码率大于带宽阈值时，对多媒体数据流的编码策略进行调整，得到目标编码策略；采用目标编码策略对多媒体数据流进行编码，并继续检测采用目标编码策略对多媒体数据流进行编码后，多媒体数据流的第二传输码率；在第二传输码率小于或等于带宽阈值时，停止对编码策略进行调整，并继续发送多媒体数据流。由于本申请实施例是对图像传输过程中的传输码率实时进行检测并与带宽阈值比较，一旦传输码率超过带宽阈值，即采用降低画面分辨率、去除画面UV分量、降低画面采集帧率等方式以降低传输码率使其小于带宽阈值，从而保证将采集端采集图像的编码数据完整传输至接收端，进而解决了图像传输过程中由于网络传输带宽不够，导致用户接收端无法接收画面完整帧的数据包而造成视频卡顿或者黑屏，影响用户使用体验的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种数据传输方法的流程示意图；
图2是根据本申请实施例的一种图像传输的流程示意图；
图3是根据本申请实施例的一种数据传输方法的流程示意图；
图4是根据本申请实施例的一种数据传输装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本申请实施例，提供了一种数据传输方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种数据传输方法的流程示意图，如图1所示，该方法至少包括步骤S102-S108，其中：
步骤S102，获取采集端设备在发送多媒体数据流时的第一传输码率。
其中，多媒体数据流为采集端设备基于从视频源设备中采集的画面数据生成的。
在网络传输中，带宽可以根据需要进行设置，当限制带宽比较小时，称之为窄带，窄带情况下，带宽不能超过预设的限制带宽，此时若传输码率过大，超过限制带宽，就会造成无法实时传输图像完整帧的数据包，出现视频卡顿或黑屏等状况。
在本申请的一些实施例中，可以预设一个带宽阈值，当检测到当前限制带宽小于或等于预设的带宽阈值，则确定当前网络处于窄带状态，在窄带状态下，不断对采集端发送数据的传输码率进行监测，以便对当前编码策略进行实时调整，其中，所述编码策略用于指示对所述画面数据的至少一个或多个属性进行调整。
步骤S104，在第一传输码率大于带宽阈值时，对多媒体数据流的编码策略进行调整，得到目标编码策略。上述编码策略用于对画面数据的属性(例如，画面分辨率，画面YUV分量等)或者对多媒体数据流的属性(例如传输速度、帧率等)进行调整。
在本申请的一些实施例中，对多媒体数据流的编码策略进行调整，得到目标编码策略，包括：在画面数据有多个属性时，从多个属性中选择一个属性作为指定属性；对指定属性进行调整，以使得第二传输码率小于或等于带宽阈值；在对指定属性进行调整后，如果第二传输码率仍然大于带宽阈值，则继续对多个属性中的其他属性进行调整，其中，其他属性为除指定属性之外的属性。
可选地，画面数据的属性至少包括：画面分辨率，画面YUV分量，画面采集帧率，其中：
画面分辨率：影响图像的大小，与图像大小成正比；分辨率越高，图像越大；分辨率越低，图像越小；
画面YUV分量：影响图像的色彩亮度，Y表示明亮度，也就是灰阶值，UV表示色度，描述的是色调和饱和度；对于YUV编码格式的图像，Y和UV分量是分离的，如果只有Y分量而没有UV分量，那么图像表示的就是灰度图像；
画面采集帧率：帧率就是1秒钟内传输的图像的帧数，其影响画面的流畅度，与画面流畅度成正比；帧率越大，画面越流畅；帧率越小，画面越有跳动感。
在本申请的一些实施例中，从多个属性中选择一个属性作为指定属性，对指定属性进行调整，包括：从多个属性中选择画面数据的分辨率作为指定属性，保持当前画面的采集帧率和画面分量的完整性，并将画面数据的分辨率由第一分辨率逐步调整为第二分辨率，其中，第一分辨率大于第二分辨率。
具体地，在图像传输过程中，首先需要确保画面的流畅度以及完整性，因此，选择画面数据的分辨率作为第一调整目标。首先获取采集端设备和接收端设备共同支持的所有分辨率，假设有n个，对这n个分辨率按照大小进行排序，将其中最大的分辨率作为第一分辨率。
可选地，用户可以从所有分辨率中预设自己可容忍的分辨率阈值，则此时可供调整的分辨率有m个，其中，m≤n。
当检测到当前传输码率大于带宽阈值时，在保持画面采集帧率和画面完整性的同时，将画面分辨率由第一分辨率降低一个等级，然后对此时的传输码率进行检测；若调整后的传输码率仍大于带宽阈值，则继续将当前画面分辨率降低一个等级；当调整后的传输码率小于或等于带宽阈值时，则确定当前的分辨率为第二分辨率。
需要说明的是，当画面分辨率已经降低至最低分辨率(分辨率阈值)时，当前传输码率仍然大于带宽阈值，则确定该最小分辨率(分辨率阈值)为第二分辨率。
在本申请的一些实施例中，在对指定属性进行调整后，如果第二传输码率仍然大于带宽阈值，则继续对多个属性中的其他属性进行调整，包括：在将画面数据的分辨率由第一分辨率调整为第二分辨率后，如果第二传输码率仍然大于带宽阈值，则将画面数据对应的彩色图像转换为灰度图像；采用第一分辨率继续传输基于灰度图像采集的画面数据，并确定基于画面数据生成的多媒体数据流的传输码率，如果传输码率仍然大于带宽阈值，则将画面数据的分辨率由第一分辨率逐步调整为第二分辨率；在将画面数据的分辨率由第一分辨率调整为第二分辨率后，如果传输码率仍然大于带宽阈值，则将画面数据对应的灰色图像恢复为彩色图像，并将画面的采集帧率由第一采集帧率逐步调整为第二采集帧率。
具体地，如果通过调整分辨率无法满足传输码率小于或等于带宽阈值，此时就需要在保证画面流畅度的前提下牺牲画面的细节，去除采集画面中的UV分量，只对Y分量进行传输，即将画面数据对应的彩色图像转换为灰度图像。在此情况下，保持画面的采集帧率，检测以第一分辨率传输的灰度图像画面数据的传输码率，若当前传输码率仍大于带宽阈值，则逐步将灰度图像画面的分辨率由第一分辨率调整至第二分辨率，具体过程同上。
如果通过去除画面UV分量以及调整分辨率仍然无法满足传输码率小于或等于带宽阈值，就只能牺牲部分画面的流畅性以保证画面传输数据的完整性。为了优化用户的观看体验，此时将画面数据对应的灰色图像恢复为彩色图像，并将画面的采集帧率由第一采集帧率逐步调整为第二采集帧率。
在本申请的一些实施例中，可以预设画面采集帧率的等级，例如可以设置正常传输时的采集帧率为一级：1s采集30帧画面、二级为1s采集15帧画面、三级为1s采集1帧画面……其中一级为第一采集帧率。将画面采集帧率由第一采集帧率降低一级，检测以第一分辨率传输彩色图像画面数据时的传输码率；若传输码率仍大于带宽阈值，则将第一分辨率逐步调整至第二分辨率；若将第一分辨率调整至第二分辨率时传输码率仍大于带宽阈值，则将传输码率再次降低一个等级，继续该过程；当检测到传输码率小于或等于带宽阈值时，确定当前画面采集帧率为第二采集帧率。
可选地，调整画面采集帧率时，可以预设一个保证画面清晰的分辨率作为第三分辨率，以第三分辨率传输彩色图像画面数据，并逐步将画面采集帧率由第一采集帧率调整为第二采集帧率。
步骤S106，采用目标编码策略对多媒体数据流进行编码，并继续检测采用目标编码策略对多媒体数据流进行编码后，多媒体数据流的第二传输码率。
步骤S108，在第二传输码率小于或等于带宽阈值时，停止对编码策略进行调整，并继续发送多媒体数据流。
在本申请的一些实施例中，采用上述的编码策略对多媒体数据流进行编码，持续检测调整编码策略后的传输码率，若传输码率小于等于带宽阈值，则确认当前传输码率为第二传输码率，采用当前编码策略对多媒体数据流进行编码传输；若传输码率大于带宽阈值，则继续对编码策略进行调整，直至传输码率达到第二传输码率。
以实际图像传输过程为例，具体过程如图2所示，该过程包括：
步骤S202，采集端从视频源电脑显卡口采集画面数据。
步骤S204，采集端与接收端建立连接，两端显示器协商共同分辨率并通知采集端。
在本申请的一些实施例中，采集端与接收端建立连接后，接收端读取显示器DDC(Direct Digital Control，直接数字控制)存储器中的存储的EDID(Extended DisplayIdentification Data，扩展显示标识数据)，将读取到的EDID通过采集端上报给视频源电脑；视频源电脑根据上报的EDID和自己显示器的EDID协商，得到两台显示器都支持的所有分辨率(常见的分辨率有1920*1080、1600*900、1366*768、1280*1024等)，并将其中的最大分辨率确定为当前协商分辨率，以这个当前协商分辨率共同显示画面；然后，将两台显示器都支持的所有分辨率以及当前协商分辨率通知给采集端。
步骤S206，采集端以最大分辨率进行图像采集，并对采集到的图像进行编码，然后通过网络发送给接收端。
步骤S208，在窄带情况下，不断监测当前传输码率，并在当前传输码率大于当前带宽时，按照预设的规则对编码策略进行调整。
局域网中的带宽可以根据需要进行设置，当限制带宽比较小时，称之为窄带，在本申请中可以预设一个带宽阈值，当检测到当前限制带宽小于等于预设的带宽阈值，则确定当前处于窄带状态，在窄带状态下，不断对采集端发送的码率进行监测，当码率大于限制带宽时，则自动按照预设的规则对编码策略进行调整。
具体的，所述按照预设的规则对编码策略进行调整，包括：
1)首先按照最大的分辨率进行图像采集，编码后采集端发送的码率如果大于限制带宽，则将分辨率降低一个等级；然后再根据新的分辨率进行图像采集，编码后发送的码率如果还大于限制带宽，则再将分辨率降低一个等级，以此类推，直到编码后的分辨率小于或等于限制带宽，则一直按当前分辨率进行图像采集；
2)如果当前分辨率已经降到最低，但发送的码率仍然大于限制带宽，则按照下述方式进行处理：采集端以最大分辨率进行图像采集，针对采集到的图像，只对Y分量进行编码，将编码后的图像发送到接收端；同时，在此过程中，仍然对发送的码率进行监测，如果码率仍大于限制带宽，则将分辨率降低一个等级，直到码率小于等于限制带宽时停止降分辨率；
3)如果在只发送Y分量的情况下，将分辨率降低到最低，采集端发送的码率仍然大于限制带宽，则降低采集帧率(此时传输完整图像，即，YUV所有分量都进行编码)，在将帧率降低一个等级后，如果不能满足要求，则再降低一个等级，直到满足要求为止。
例如，局域网限制带宽为M，视频源电脑和投屏显示器协商的分辨率为1920*1080，采集端以这个分辨率采集，编码后上传给网络，采集端发送的码率小于M时，默认以1920*1080显示画面；若采集端发送的码率大于M时，采集端修改EDID中的显示器分辨率，降低一个分辨率，如1600*900，再将新的EDID传给视频源电脑协商分辨率，协商完成后视频源以最新的低分辨率显示，采集端采集最新低分辨率的画面，编码后上传给网络，采集端发送的码率小于M时，以最新的低分辨率显示画面；若采集端发送的码率大于M时，再通过上述循环降低一个分辨率。
当分辨率从已经降到最低但采集端发送的码率仍然大于M时，视频源电脑默认以1920*1080的分辨率显示画面，采集端采集显卡画面后只对Y分量进行编码，U和V分量直接丢弃，采集端发送的码率小于M时，默认以1920*1080显示画面；若采集端发送的码率大于M时，采集端修改EDID中的显示器分辨率，降低一个分辨率如1600*900，再将新的EDID传给视频源电脑协商分辨率，协商完成后视频源以最新的低分辨率显示，采集端采集最新低分辨率的画面，编码后上传给网络，采集端发送的码率小于M时，以最新的低分辨率显示画面；若采集端发送的码率大于M时，再通过上述循环降低一个分辨率；
当分辨率从已经降到最低并且采集端只编码Y分量的画面但采集端发送的码率仍然大于M时，采集端调整采集策略，1s采集10帧画面，采集端发送的码率小于M时，接收端解码显示1s 10帧的画面；若采集端发送的码率大于M时，采集端调整采集策略，1s采集1帧画面，采集端发送的码率小于M时，接收端解码显示1s 1帧的画面；若采集端发送的码率大于M时，采集端调整采集策略3s采集1帧画面，采集端发送的码率小于M时，接收端解码显示3s 1帧的画面；若采集端发送的码率大于M时，采集端调整采集策略5s采集1帧画面，采集端发送的码率小于M时，接收端解码显示5s 1帧的画面。
本申请实施例通过对图像传输过程中的传输码率进行实时检测并与带宽阈值比较，一旦传输码率超过带宽阈值，即对编码策略进行调整，通过降低画面分辨率、去除画面UV分量、降低画面采集帧率等方式以降低传输码率使其小于带宽阈值，从而保证将采集端采集图像的编码数据完整传输至接收端，从而解决了图像传输过程中由于网络传输带宽不够，导致用户接收端无法接收画面完整帧的数据包而造成视频卡顿或者黑屏，影响用户使用体验的技术问题。
实施例2
根据本申请实施例，还提供了一种数据传输方法，如图3所示，该方法至少包括步骤S302-S306：
步骤S302，获取采集端设备在发送多媒体数据流时的传输码率。
其中，多媒体数据流为采集端设备从视频源设备中采集的多媒体数据。
步骤S304，在传输码率大于带宽阈值时，对多媒体数据流的编码策略进行调整，得到目标编码策略。
步骤S306，依据目标编码策略对采集端设备采集的多媒体数据流进行编码，并将编码后的多媒体数据流发送至接收端设备。
需要说明的是，本申请实施例中对多媒体数据流的编码策略进行调整，得到目标编码策略的过程与实施例1相同，由于实施例1已进行过详细的说明，在此不再过多赘述。
实施例3
根据本申请实施例，还提供了一种数据传输装置，如图4所示，该装置至少包括：获取模块40、调整模块42、编码检测模块44及发送模块46，其中：
获取模块40，用于获取采集端设备在发送多媒体数据流时的第一传输码率，其中，多媒体数据流为采集端设备基于从视频源设备中采集的画面数据生成的；
调整模块42，用于在第一传输码率大于带宽阈值时，对多媒体数据流的编码策略进行调整，得到目标编码策略；
编码检测模块44，用于采用目标编码策略对多媒体数据流进行编码，并继续检测采用目标编码策略对多媒体数据流进行编码后，多媒体数据流的第二传输码率；
发送模块46，用于在第二传输码率小于或等于带宽阈值时，停止对编码策略进行调整，并继续发送多媒体数据流。
本申请实施例的数据传输装置中的各模块与实施例1的数据传输方法中的各步骤是一一对应的，因此对其不再过多赘述。
实施例4
根据本申请实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的设备控制方法。
可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取采集端设备在发送多媒体数据流时的第一传输码率，其中，多媒体数据流为采集端设备基于从视频源设备中采集的画面数据生成的；在第一传输码率大于带宽阈值时，对多媒体数据流的编码策略进行调整，得到目标编码策略；采用目标编码策略对多媒体数据流进行编码，并继续检测采用目标编码策略对多媒体数据流进行编码后，多媒体数据流的第二传输码率；在第二传输码率小于或等于带宽阈值时，停止对编码策略进行调整，并继续发送多媒体数据流。
可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取采集端设备在发送多媒体数据流时的传输码率，其中，多媒体数据流为采集端设备从视频源设备中采集的多媒体数据；在传输码率大于带宽阈值时，对多媒体数据流的编码策略进行调整，得到目标编码策略；依据目标编码策略对采集端设备采集的多媒体数据流进行编码，并将编码后的多媒体数据流发送至接收端设备。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据传输方法，其特征在于，包括：
获取采集端设备在发送多媒体数据流时的第一传输码率，其中，所述多媒体数据流为所述采集端设备基于从视频源设备中采集的画面数据生成的；
在所述第一传输码率大于带宽阈值时，对所述多媒体数据流的编码策略进行调整，得到目标编码策略；
采用所述目标编码策略对所述多媒体数据流进行编码，并继续检测采用所述目标编码策略对所述多媒体数据流进行编码后，所述多媒体数据流的第二传输码率；
在所述第二传输码率小于或等于所述带宽阈值时，停止对所述编码策略进行调整，并继续发送所述多媒体数据流。
2.根据权利要求1所述的方法，其特征在于，所述编码策略用于指示对所述画面数据的至少一个或多个属性进行调整。
3.根据权利要求2所述的方法，其特征在于，对所述多媒体数据流的编码策略进行调整，得到目标编码策略，包括：
在所述画面数据有多个属性时，从所述多个属性中选择一个属性作为指定属性；对所述指定属性进行调整，以使得所述第二传输码率小于或等于所述带宽阈值；
在对所述指定属性进行调整后，如果所述第二传输码率仍然大于所述带宽阈值，则继续对所述多个属性中的其他属性进行调整，其中，所述其他属性为除所述指定属性之外的属性。
4.根据权利要求3所述的方法，其特征在于，
从所述多个属性中选择一个属性作为指定属性；对所述指定属性进行调整，包括：从所述多个属性中选择所述画面数据的分辨率作为所述指定属性，保持当前画面的采集帧率和画面分量的完整性，并将所述画面数据的分辨率由第一分辨率逐步调整为第二分辨率，其中，所述第一分辨率大于所述第二分辨率；
在对所述指定属性进行调整后，如果所述第二传输码率仍然大于所述带宽阈值，则继续对所述多个属性中的其他属性进行调整，包括：在将所述画面数据的分辨率由第一分辨率调整为第二分辨率后，如果所述第二传输码率仍然大于所述带宽阈值，则将所述画面数据对应的彩色图像转换为灰度图像。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
采用所述第一分辨率继续传输基于所述灰度图像采集的画面数据，并确定基于所述画面数据生成的多媒体数据流的传输码率；
如果所述传输码率仍然大于所述带宽阈值，则将所述画面数据的分辨率由第一分辨率逐步调整为第二分辨率。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在将所述画面数据的分辨率由第一分辨率调整为第二分辨率后，如果所述传输码率仍然大于所述带宽阈值，则将所述画面数据对应的灰色图像恢复为彩色图像，并将所述画面的采集帧率由第一采集帧率逐步调整为第二采集帧率，其中，所述第二采集帧率小于所述第一采集帧率。
7.根据权利要求4所述的方法，其特征在于，所述第一分辨率通过以下方式确定：
获取所述采集端设备和接收端设备共同支持的所有分辨率；将所述所有分辨率中的最大分辨率作为所述第一分辨率。
8.一种数据传输方法，其特征在于，包括：
获取采集端设备在发送多媒体数据流时的传输码率，其中，所述多媒体数据流为所述采集端设备从视频源设备中采集的多媒体数据；
在所述传输码率大于带宽阈值时，对所述多媒体数据流的编码策略进行调整，得到目标编码策略；
依据所述目标编码策略对所述采集端设备采集的多媒体数据流进行编码，并将编码后的多媒体数据流发送至接收端设备。
9.一种数据传输装置，其特征在于，包括：
获取模块，用于获取采集端设备在发送多媒体数据流时的第一传输码率，其中，所述多媒体数据流为所述采集端设备基于从视频源设备中采集的画面数据生成的；
调整模块，用于在所述第一传输码率大于带宽阈值时，对所述多媒体数据流的编码策略进行调整，得到目标编码策略；
编码检测模块，用于采用所述目标编码策略对所述多媒体数据流进行编码，并继续检测采用所述目标编码策略对所述多媒体数据流进行编码后，所述多媒体数据流的第二传输码率；
发送模块，用于在所述第二传输码率小于或等于所述带宽阈值时，停止对所述编码策略进行调整，并继续发送所述多媒体数据流。
10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的数据传输方法。
CN202011255553.3A 2020-11-11 2020-11-11 数据传输方法及装置、非易失性存储介质 Active CN112468855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011255553.3A CN112468855B (zh) 2020-11-11 2020-11-11 数据传输方法及装置、非易失性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011255553.3A CN112468855B (zh) 2020-11-11 2020-11-11 数据传输方法及装置、非易失性存储介质

Publications (2)

Publication Number Publication Date
CN112468855A true CN112468855A (zh) 2021-03-09
CN112468855B CN112468855B (zh) 2023-01-24

Family

ID=74826542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011255553.3A Active CN112468855B (zh) 2020-11-11 2020-11-11 数据传输方法及装置、非易失性存储介质

Country Status (1)

Country Link
CN (1) CN112468855B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132684A (zh) * 2021-03-17 2021-07-16 浙江大华技术股份有限公司 一种数据传输方法、电子设备和存储介质
CN113242469A (zh) * 2021-04-21 2021-08-10 南京大学 一种自适应视频传输配置方法和系统
CN113840269A (zh) * 2021-08-06 2021-12-24 深圳Tcl新技术有限公司 一种多媒体数据传输方法、装置、电子设备和存储介质
CN114124309A (zh) * 2022-01-27 2022-03-01 南京大鱼半导体有限公司 一种数据传输方法及设备
CN115623216A (zh) * 2021-07-15 2023-01-17 广州迈聆信息科技有限公司 视频编码方法、装置、智能设备及存储介质
WO2023024832A1 (zh) * 2021-08-24 2023-03-02 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN116193163A (zh) * 2021-11-29 2023-05-30 广州迈聆信息科技有限公司 视频流分辨率动态切换的方法及装置、设备及存储介质
CN116489361A (zh) * 2023-06-25 2023-07-25 之江实验室 一种基于fpga的jpeg编码码流控制方法和装置
CN116634089A (zh) * 2023-07-24 2023-08-22 苏州浪潮智能科技有限公司 视频传输方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932656A (zh) * 2011-08-08 2013-02-13 中兴通讯股份有限公司 视频数据传输方法及装置
CN104702922A (zh) * 2013-12-10 2015-06-10 中国电信股份有限公司 一种视频传输方法和系统
WO2017020664A1 (zh) * 2015-08-03 2017-02-09 腾讯科技（深圳）有限公司 直播视频的视频编码参数设置方法、装置、视频编码设备及存储介质
CN107623851A (zh) * 2017-09-01 2018-01-23 苏州科达科技股份有限公司 视频码流传输控制装置及控制方法
CN109756692A (zh) * 2019-01-08 2019-05-14 Oppo广东移动通信有限公司 视频数据处理方法、装置、移动设备、计算机可读存储介质
US10349059B1 (en) * 2018-07-17 2019-07-09 Wowza Media Systems, LLC Adjusting encoding frame size based on available network bandwidth
CN111107382A (zh) * 2018-10-29 2020-05-05 阿里巴巴集团控股有限公司 数据流的控制方法、装置和系统
CN111225240A (zh) * 2020-01-19 2020-06-02 安徽文香信息技术有限公司 自动调整占用带宽的方法、装置、存储介质与电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932656A (zh) * 2011-08-08 2013-02-13 中兴通讯股份有限公司 视频数据传输方法及装置
CN104702922A (zh) * 2013-12-10 2015-06-10 中国电信股份有限公司 一种视频传输方法和系统
WO2017020664A1 (zh) * 2015-08-03 2017-02-09 腾讯科技（深圳）有限公司 直播视频的视频编码参数设置方法、装置、视频编码设备及存储介质
CN107623851A (zh) * 2017-09-01 2018-01-23 苏州科达科技股份有限公司 视频码流传输控制装置及控制方法
US10349059B1 (en) * 2018-07-17 2019-07-09 Wowza Media Systems, LLC Adjusting encoding frame size based on available network bandwidth
CN111107382A (zh) * 2018-10-29 2020-05-05 阿里巴巴集团控股有限公司 数据流的控制方法、装置和系统
CN109756692A (zh) * 2019-01-08 2019-05-14 Oppo广东移动通信有限公司 视频数据处理方法、装置、移动设备、计算机可读存储介质
CN111225240A (zh) * 2020-01-19 2020-06-02 安徽文香信息技术有限公司 自动调整占用带宽的方法、装置、存储介质与电子设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132684A (zh) * 2021-03-17 2021-07-16 浙江大华技术股份有限公司 一种数据传输方法、电子设备和存储介质
CN113242469A (zh) * 2021-04-21 2021-08-10 南京大学 一种自适应视频传输配置方法和系统
CN115623216A (zh) * 2021-07-15 2023-01-17 广州迈聆信息科技有限公司 视频编码方法、装置、智能设备及存储介质
CN113840269A (zh) * 2021-08-06 2021-12-24 深圳Tcl新技术有限公司 一种多媒体数据传输方法、装置、电子设备和存储介质
CN113840269B (zh) * 2021-08-06 2023-11-14 深圳Tcl新技术有限公司 一种多媒体数据传输方法、装置、电子设备和存储介质
WO2023024832A1 (zh) * 2021-08-24 2023-03-02 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN116193163A (zh) * 2021-11-29 2023-05-30 广州迈聆信息科技有限公司 视频流分辨率动态切换的方法及装置、设备及存储介质
CN114124309A (zh) * 2022-01-27 2022-03-01 南京大鱼半导体有限公司 一种数据传输方法及设备
CN114124309B (zh) * 2022-01-27 2022-06-14 南京大鱼半导体有限公司 一种数据传输方法及设备
CN116489361A (zh) * 2023-06-25 2023-07-25 之江实验室 一种基于fpga的jpeg编码码流控制方法和装置
CN116489361B (zh) * 2023-06-25 2023-09-26 之江实验室 一种基于fpga的jpeg编码码流控制方法和装置
CN116634089A (zh) * 2023-07-24 2023-08-22 苏州浪潮智能科技有限公司 视频传输方法、装置、设备及存储介质
CN116634089B (zh) * 2023-07-24 2023-11-03 苏州浪潮智能科技有限公司 视频传输方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112468855B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN112468855B (zh) 数据传输方法及装置、非易失性存储介质
CN102625106B (zh) 场景自适应的屏幕编码码率控制方法及其系统
US8891934B2 (en) Video display control using embedded metadata
US10277901B2 (en) Encoding a video stream having a privacy mask
US20090234919A1 (en) Method of Transmitting Data in a Communication System
CN105072345B (zh) 视频编码方法和装置
WO2014176019A1 (en) Transmitting display management metadata over hdmi
EP2272237B1 (en) Method of transmitting data in a communication system
US8630500B2 (en) Method for the encoding by segmentation of a picture
CN111641804A (zh) 视频数据处理方法和装置、终端、摄像头及视频会议系统
WO2014045507A1 (ja) 動画像符号化装置
CN111464811A (zh) 图像的处理方法、装置和系统
AU5190698A (en) Method for the transmission of video images
CN111416979B (zh) 一种自适应解码方法及装置
CN110740316A (zh) 数据编码方法及装置
CN111654660B (zh) 一种基于图像分割的视频会议系统编码传输方法
CN111770347A (zh) 一种视频传输方法及系统
US9357170B2 (en) Device and method for managing bandwidth of video conference
CN110740326A (zh) 图像编码方法及装置
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
CN111093076A (zh) 编码方式确定方法及装置
CN113542859A (zh) 智能投屏系统及方法
CN112399173A (zh) 一种通道解码测试方法、系统及可读存储介质
KR20040049425A (ko) 이동통신 단말기
KR101251879B1 (ko) 멀티미디어 클라우드 시스템에서 화면변화에 따른 광고영상 출력 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Data transmission methods and devices, non-volatile storage media

Granted publication date: 20230124

Pledgee: Pudong Development Bank of Shanghai Limited by Share Ltd. Xi'an branch

Pledgor: XI'AN VANXVM ELECTRONICS TECHNOLOGY Co.,Ltd.

Registration number: Y2024610000022