CN110912922A - 一种图像传输方法、装置、电子设备及存储介质 - Google Patents

一种图像传输方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110912922A
CN110912922A CN201911221365.6A CN201911221365A CN110912922A CN 110912922 A CN110912922 A CN 110912922A CN 201911221365 A CN201911221365 A CN 201911221365A CN 110912922 A CN110912922 A CN 110912922A
Authority
CN
China
Prior art keywords
image
signal
noise ratio
current
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911221365.6A
Other languages
English (en)
Other versions
CN110912922B (zh
Inventor
陈小芬
游乔贝
林旭
刘映辉
何耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruijie Networks Co Ltd
Original Assignee
Ruijie Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruijie Networks Co Ltd filed Critical Ruijie Networks Co Ltd
Priority to CN201911221365.6A priority Critical patent/CN110912922B/zh
Publication of CN110912922A publication Critical patent/CN110912922A/zh
Application granted granted Critical
Publication of CN110912922B publication Critical patent/CN110912922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种图像传输方法、装置、电子设备及存储介质,当码率较低时,针对不同的场景采用不同的图像传输策略,其中,对于视频观看场景,为了保证帧率,在码率有限时,可能会损失较大的质量,导致画面直接模糊,为了提高图像质量,在传输图像时,降低待传输的第二图像的分辨率并传输,这样保持一定帧率,把图像分辨率缩小,则图像平均像素能获取的码率就更多,图像质量可以在一定程度上提升,在保证流畅度的同时,保证图像质量;对于文字操作场景,采用丢帧策略保证图像的质量,当待传输的第三图像的第一信噪比小于第一信噪比阈值时,丢弃所述第三图像,否则,传输所述第三图像,从而保证图像质量。

Description

一种图像传输方法、装置、电子设备及存储介质
技术领域
本发明涉及图像传输技术领域,尤其涉及一种图像传输方法、装置、电子设备及存储介质。
背景技术
近年来,随着虚拟化技术的快速发展,VDI(Virtual Desktop Infrastructure,虚拟桌面基础架构)云桌面越来越普及,云桌面具备部署快、易管理、维护效率高、安全可靠、能耗低等优点。用户在使用云桌面时,更加期望能随时随地快速接入云桌面进行办公区域办公、家里办公或出差地办公等,这就需要云桌面具备支持跨广域网图像数据的能力。而广域网的网络状态相比局域网差很多,常出现如带宽抖动,延迟大,丢包率忽高忽低等问题。当广域网的网络状态较差时,云桌面显示画面的流畅度会受到影响,现有技术中,为了解决上述由于广域网的网络状态较差带来的问题,一般是在图像传输系统中增加一个网络自动检测模块,网络自动检测模块的作用是实时检测出当前的网络状态,根据网络状态来调整上层编码码率,或者根据实时探测出的网络状态来决策是否降低帧率或增加帧率,从而提高显示画面的流畅度。
现有技术存在的问题是,在网络状态较差时,只考虑如何提高显示画面的流畅度,没有考虑显示的图像内容的清晰度。虽然可以使得显示画面更流畅,但是显示画面的内容的清晰度会较低,无法保证图像的显示质量。
发明内容
本发明实施例提供了一种图像传输方法、装置、电子设备及存储介质,用以解决现有技术中无法兼顾视频画面流畅度以及图像显示质量的问题。
本发明实施例提供了一种图像传输方法,所述方法包括:
确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;
若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;
若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
进一步地,若当前的图像传输场景为视频观看场景,所述方法还包括:
确定所述第二图像的第二信噪比以及当前的第二信噪比阈值,判断所述第二信噪比是否小于所述第二信噪比阈值,如果是,丢弃所述第二图像,如果否,传输所述第二图像。
进一步地,所述丢弃所述第二图像之前,所述方法还包括:
根据当前帧率和预设的第一帧率阈值确定可丢弃的第一帧数;
确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数;
判断所述第二帧数是否达到所述第一帧数,如果否,丢弃所述第二图像。
进一步地,确定当前的第一信噪比阈值,包括:
根据所述当前码率和预先保存的文字操作场景下码率与信噪比阈值的对应关系,确定当前的第一信噪比阈值;
确定当前的第二信噪比阈值,包括:
根据所述当前码率和预先保存的视频观看场景下码率与信噪比阈值的对应关系,确定当前的第二信噪比阈值。
进一步地,所述降低待传输的第二图像的分辨率,包括:
按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像;并将所述第二图像的分辨率降低次数增加1;
判断当前帧率是否大于所述第五图像的分辨率对应的第二帧率阈值;
若所述当前帧率大于所述第二帧率阈值,则停止降低分辨率,若所述当前帧率未大于所述第二帧率阈值,则判断所述第二图像的累计的分辨率降低次数是否达到预设的次数阈值,若所述累计的分辨率降低次数未达到所述次数阈值,则将所述第五图像作为第二图像,执行所述按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像的步骤,若所述累计的分辨率降低次数达到所述次数阈值,则降低所述第五图像的质量参数。
另一方面,本发明实施例提供了一种图像传输装置,所述装置包括:
第一确定模块,用于确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;
第一传输模块,用于若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;
第二传输模块,用于若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
进一步地,所述装置还包括:
第二确定模块,用于确定所述第二图像的第二信噪比以及当前的第二信噪比阈值,判断所述第二信噪比是否小于所述第二信噪比阈值,如果是,丢弃所述第二图像,如果否,传输所述第二图像。
进一步地,所述装置还包括:
第三确定模块,用于根据当前帧率和预设的第一帧率阈值确定可丢弃的第一帧数;确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数;判断所述第二帧数是否达到所述第一帧数,如果否,触发所述第二确定模块,使所述第二确定模块丢弃所述第二图像。
进一步地,所述第二传输模块,具体用于根据所述当前码率和预先保存的文字操作场景下码率与信噪比阈值的对应关系,确定当前的第一信噪比阈值;
所述第二确定模块,具体用于根据所述当前码率和预先保存的视频观看场景下码率与信噪比阈值的对应关系,确定当前的第二信噪比阈值。
进一步地,所述第一传输模块具体用于按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像;并将所述第二图像的分辨率降低次数增加1;判断当前帧率是否大于所述第五图像的分辨率对应的第二帧率阈值;若所述当前帧率大于所述第二帧率阈值,则停止降低分辨率,若所述当前帧率未大于所述第二帧率阈值,则判断所述第二图像的累计的分辨率降低次数是否达到预设的次数阈值,若所述累计的分辨率降低次数未达到所述次数阈值,则将所述第五图像作为第二图像,执行所述按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像的步骤,若所述累计的分辨率降低次数达到所述次数阈值,则降低所述第五图像的质量参数。
另一方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一项所述的方法步骤。
另一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种图像传输方法、装置、电子设备及存储介质,所述方法包括:确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
由于在本发明实施例中,当码率较低时,针对不同的场景采用不同的图像传输策略,其中,对于视频观看场景,为了保证帧率,在码率有限时,可能会损失较大的质量,导致画面直接模糊,为了提高图像质量,在传输图像时,降低待传输的第二图像的分辨率并传输,这样保持一定帧率,把图像分辨率缩小,则图像平均像素能获取的码率就更多,图像质量可以在一定程度上提升,在保证流畅度的同时,保证图像质量;对于文字操作场景,采用丢帧策略保证图像的质量,当待传输的第三图像的第一信噪比小于第一信噪比阈值时,丢弃所述第三图像,否则,传输所述第三图像,从而保证图像质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像传输过程示意图;
图2为本发明实施例提供的图像传输装置结构示意图;
图3为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1:
图1为本发明实施例提供的图像传输过程示意图,该过程包括以下步骤:
S101:确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景。
本发明实施例提供的图像传输方法应用于电子设备,该电子设备具备图像传输功能。
在本发明实施例中,电子设备根据当前的网络状态可以确定当前码率,其中,当前的网络状态包括丢包率、延迟、抖动等状态,根据当前的网络状态确定当前码率。电子设备中预先保存有预设的码率阈值,该预设的码率阈值用于表征图像传输是带宽满足要求的临界值,如果当前码率小于预设的码率阈值,则需要对待传输的图像进行相应处理。
具体的,对于屏幕显示的内容来说,常常会出现场景的切换,其中,屏幕显示包括普通显示器显示以及云桌面显示等。比如,从视频场景,切换到网页浏览的场景,再切换到文档浏览或编辑的场景,再切换到游戏场景等。其中,可以将视频场景和游戏场景认为是视频观看场景,将网页浏览的场景、文档浏览或编辑的场景认为是文字操作场景。
用户对于视频观看场景和文字操作场景的观看需求是不同的,对应视频观看场景,用户更关心屏幕显示内容的流畅度,对于文字操作场景,用户更关心屏幕显示内容的清晰度。
在本发明实施例中,电子设备根据屏幕显示的第一图像,采用预设的算法确定出当前的图像传输场景,也就是说确定出当前是视频观看场景还是文字操作场景。其中,电子设备确定当前的图像传输场景的过程属于现有技术,在此不再对该过程进行赘述。
S102:若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输。
如果确定出当前的图像传输场景为视频观看场景,则图像传输以保证帧率为主。为了保证帧率,在码率有限时,可能会损失较大的质量,导致画面直接模糊,为了提高图像质量,在传输图像时,降低待传输的第二图像的分辨率并传输,这样保持一定帧率,把图像分辨率缩小,则图像平均像素能获取的码率就更多,编解码后的图像质量可以在一定程度上提升,在保证流畅度的同时,保证图像质量。另外,可以对编码后的图像的分辨率还原为初始分辨率状态,保证图像的正常显示。
S103:若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
如果当前的图像传输场景为文字操作场景,则以保证图像质量为主,对画面的流畅度要求较低,因此可以采用丢帧策略进行图像的传输,也就是传输质量较好的图像,丢弃质量较差的图像。具体的,电子设备中可以预先保存信噪比阈值作为当前的第一信噪比阈值,然后计算待传输的第三图像的第一信噪比,如果第三图像的第一信噪比小于第一信噪比阈值,则说明待传输的第三图像的质量较差,丢弃第三图像,如果第三图像的第一信噪比不小于第一信噪比阈值,则说明当前待传输的第三图像的质量较好,传输第三图像。从而可以保证传输的图像质量较好。
由于在本发明实施例中,当码率较低时,针对不同的场景采用不同的图像传输策略,其中,对于视频观看场景,为了保证帧率,在码率有限时,可能会损失较大的质量,导致画面直接模糊,为了提高图像质量,在传输图像时,降低待传输的第二图像的分辨率并传输,这样保持一定帧率,把图像分辨率缩小,则图像平均像素能获取的码率就更多,图像质量可以在一定程度上提升,在保证流畅度的同时,保证图像质量;对于文字操作场景,采用丢帧策略保证图像的质量,当待传输的第三图像的第一信噪比小于第一信噪比阈值时,丢弃所述第三图像,否则,传输所述第三图像,从而保证图像质量。
实施例2:
为了进一步保证视频观看场景下传输的图像质量,在上述实施例的基础上,在本发明实施例中,若当前的图像传输场景为视频观看场景,所述方法还包括:
确定所述第二图像的第二信噪比以及当前的第二信噪比阈值,判断所述第二信噪比是否小于所述第二信噪比阈值,如果是,丢弃所述第二图像,如果否,传输所述第二图像。
电子设备中可以预先保存第二信噪比阈值,其中,第二信噪比阈值与第一信噪比阈值可以相同也可以不同,然后计算待传输的第二图像的第二信噪比,如果第二图像的第二信噪比小于第二信噪比阈值,则说明当前待传输的第二图像的质量较差,丢弃第二图像,如果第二图像的第一信噪比不小于第二信噪比阈值,则说明当前待传输的第二图像的质量较好,传输第二图像。从而进一步提高传输的图像质量。
实施例3:
对于视频观看场景,为了保证流畅度,只能采取轻微的丢帧策略,因此,为了综合考虑流畅度和图像质量,在上述各实施例的基础上,在本发明实施例中,所述丢弃所述第二图像之前,所述方法还包括:
根据当前帧率和预设的第一帧率阈值确定可丢弃的第一帧数;
确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数;
判断所述第二帧数是否达到所述第一帧数,如果否,丢弃所述第二图像。
如果所述第二帧数达到所述第一帧数,保留所述第二图像。
电子设备中可以保存预设的第一帧率阈值,该预设的第一帧率阈值用于表征保证流畅度的最低帧率标准。例如,预设的第一帧率阈值为25帧/秒,则传输图像的帧率小于25帧/秒时,则认为无法保证流畅度。
电子设备可以确定当前帧率,根据当前帧率和预设的第一帧率阈值确定可丢弃的第一帧数。例如,预设的第一帧率阈值为25帧/秒,电子设备确定当前帧率为30帧/秒,则可以确定出单位时间长度内可丢弃的第一帧数为5帧。
电子设备中可以安装计时器,例如计时器以1秒为单位时间长度统计丢弃图像的帧数。电子设备在判断出待传输的第二图像的第二信噪比小于第二信噪比阈值时,确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数,如果第二帧数未达到第一帧数,则说明丢弃第二图像仍能保证图像的流畅度,此时丢弃第二图像。这样既能保证图像的流畅度,也能进一步保证图像的质量。如果第二帧数达到第一帧数,则说明丢弃第二图像会导致帧率不足,从而影响图像的流畅度,因此,以流畅度为高优先级考虑,保留第二图像。
例如,电子设备确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数为4帧,单位时间长度内可丢弃的第一帧数为5帧,当判断出当前待传输的第二图像的第二信噪比小于第二信噪比阈值时,判断已丢弃的第四图像的第二帧数小于第一帧数,此时,丢弃第二图像。如果电子设备确定单位时间长度内已丢弃的第四图像的第二帧数为5帧,说明已达到第一帧数,此时保留第二图像。
实施例4:
为了使确定的当前的第一信噪比阈值和第二信噪比阈值更准确,在上述各实施例的基础上,在本发明实施例中,所述确定当前的第一信噪比阈值包括:
根据所述当前码率和预先保存的文字操作场景下码率与信噪比阈值的对应关系,确定当前的第一信噪比阈值;
所述确定当前的第二信噪比阈值包括:
根据所述当前码率和预先保存的视频观看场景下码率与信噪比阈值的对应关系,确定当前的第二信噪比阈值。
在本发明实施例中,电子设备根据当前的网络状态确定当前码率,电子设备中可以预先保存文字操作场景下码率与信噪比阈值的对应关系,其中,码率越高,信噪比阈值越高。电子设备实时确定当前的码率,针对当前码率和预先保存的文字操作场景下码率与信噪比阈值的对应关系,确定当前的第一信噪比阈值。
例如,当前码率为10Mb时,第一信噪比阈值psnr可以为45;如果当前码率为5Mb时,第一信噪比阈值psnr可以为30等等。
同理,在确定当前的第二信噪比阈值时,根据当前的网络状态确定当前码率,根据码率和预先保存的视频观看场景下码率与信噪比阈值的对应关系,确定当前的第二信噪比阈值。确定当前的第二信噪比阈值的过程与确定当前的第一信噪比阈值的过程类似,在此不再进行赘述。需要说明的是,视频观看场景和文字操作场景下对应的预先保存的码率与信噪比阈值的对应关系可以相同也可以不同,也就是说,相同的码率下,确定的第一信噪比阈值和第二信噪比阈值可以相同或不同。
实施例5:
在上述各实施例的基础上,在本发明实施例中,所述降低待传输的第二图像的分辨率包括:
按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像;并将所述第二图像的分辨率降低次数增加1;
判断当前帧率是否大于所述第五图像的分辨率对应的第二帧率阈值;
若所述当前帧率大于所述第二帧率阈值,则停止降低分辨率,若所述当前帧率未大于所述第二帧率阈值,则判断所述第二图像的累计的分辨率降低次数是否达到预设的次数阈值,若所述累计的分辨率降低次数未达到所述次数阈值,则将所述第五图像作为第二图像,执行所述按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像的步骤,若所述累计的分辨率降低次数达到所述次数阈值,则降低所述第五图像的质量参数。
在本发明实施例中,不同的分辨率对应不同的第二帧率阈值。按照预设的分辨率降低梯度,降低第二图像的分辨率,得到第五图像之后,根据第五图像的分辨率确定第五图像的分辨率对应的第二帧率阈值,判断当前帧率是否大于第二帧率阈值,如果是,停止降低分辨率,如果否,判断分辨率降低次数是否达到预设的次数阈值,如果未达到预设的次数阈值,则将第五图像作为第二图像,继续降低第二图像的分辨率。本发明实施例中降低分辨率的目的,在于保障图像质量的同时增加流畅度,就是提高帧率。比如,假设刚开始帧率是30帧/秒,但是带宽不够时画面可能很模糊。通过降低分辨率来保障每帧图像能拿到的带宽更高,从而提高了图像质量,又可以保障带宽。
在本发明实施例中,当第二图像的分辨率降低次数达到预设的次数阈值,当前帧率仍不大于第二帧率阈值时,降低第五图像的质量参数。
在本发明实施例中,如果第二图像的分辨率降低次数达到预设的次数阈值,当前帧率仍不大于第二帧率阈值,此时通过降低第五图像的质量参数来满足码率以最终满足流畅度要求,即牺牲一定的图像质量来满足流畅度要求。其中,图像的质量参数可以是图像的信噪比参数、清晰度参数等。
实施例6:
图2为本发明实施例提供的图像传输装置结构示意图,该装置包括:
第一确定模块21,用于确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;
第一传输模块22,用于若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;
第二传输模块23,用于若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
所述装置还包括:
第二确定模块24,用于确定所述第二图像的第二信噪比以及当前的第二信噪比阈值,判断所述第二信噪比是否小于所述第二信噪比阈值,如果是,丢弃所述第二图像,如果否,传输所述第二图像。
所述装置还包括:
第三确定模块25,用于根据当前帧率和预设的第一帧率阈值确定可丢弃的第一帧数;确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数;判断所述第二帧数是否达到所述第一帧数,如果否,触发所述第二确定模块,使所述第二确定模块丢弃所述第二图像。
所述装置还包括:
保留模块26,用于保留所述第二图像。
所述第二传输模块23,具体用于根据所述当前码率和预先保存的文字操作场景下码率与信噪比阈值的对应关系,确定当前的第一信噪比阈值;
所述第二确定模块24,具体用于根据所述当前码率和预先保存的视频观看场景下码率与信噪比阈值的对应关系,确定当前的第二信噪比阈值。
所述第一传输模块22具体用于按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像;并将所述第二图像的分辨率降低次数增加1;判断当前帧率是否大于所述第五图像的分辨率对应的第二帧率阈值;若所述当前帧率大于所述第二帧率阈值,则停止降低分辨率,若所述当前帧率未大于所述第二帧率阈值,则判断所述第二图像的累计的分辨率降低次数是否达到预设的次数阈值,若所述累计的分辨率降低次数未达到所述次数阈值,则将所述第五图像作为第二图像,执行所述按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像的步骤,若所述累计的分辨率降低次数达到所述次数阈值,则降低所述第五图像的质量参数。
实施例7:
在上述各实施例的基础上,本发明实施例中还提供了一种电子设备,如图3所示,包括:处理器301、通信接口302、存储器303和通信总线304,其中,处理器301,通信接口302,存储器303通过通信总线304完成相互间的通信;
所述存储器303中存储有计算机程序,当所述程序被所述处理器301执行时,使得所述处理器301执行如下步骤:
确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;
若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;
若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
基于同一发明构思,本发明实施例中还提供了一种电子设备,由于上述电子设备解决问题的原理与图像传输方法相似,因此上述电子设备的实施可以参见方法的实施,重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect,PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时,实现确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
由于在本发明实施例中,当码率较低时,针对不同的场景采用不同的图像传输策略,其中,对于视频观看场景,为了保证帧率,在码率有限时,可能会损失较大的质量,导致画面直接模糊,为了提高图像质量,在传输图像时,降低待传输的第二图像的分辨率并传输,这样保持一定帧率,把图像分辨率缩小,则图像平均像素能获取的码率就更多,图像质量可以在一定程度上提升,在保证流畅度的同时,保证图像质量;对于文字操作场景,采用丢帧策略保证图像的质量,当待传输的第三图像的第一信噪比小于第一信噪比阈值时,丢弃所述第三图像,否则,传输所述第三图像,从而保证图像质量。
实施例8:
在上述各实施例的基础上,本发明实施例还提供了一种计算机存储可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:
确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;
若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;
若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
基于同一发明构思,本发明实施例中还提供了一种计算机可读存储介质,由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与图像传输方法相似,因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施,重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序,计算机程序被处理器执行时实现确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
由于在本发明实施例中,当码率较低时,针对不同的场景采用不同的图像传输策略,其中,对于视频观看场景,为了保证帧率,在码率有限时,可能会损失较大的质量,导致画面直接模糊,为了提高图像质量,在传输图像时,降低待传输的第二图像的分辨率并传输,这样保持一定帧率,把图像分辨率缩小,则图像平均像素能获取的码率就更多,图像质量可以在一定程度上提升,在保证流畅度的同时,保证图像质量;对于文字操作场景,采用丢帧策略保证图像的质量,当待传输的第三图像的第一信噪比小于第一信噪比阈值时,丢弃所述第三图像,否则,传输所述第三图像,从而保证图像质量。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种图像传输方法,其特征在于,所述方法包括:
确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;
若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;
若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
2.如权利要求1所述的方法,其特征在于,若当前的图像传输场景为视频观看场景,所述方法还包括:
确定所述第二图像的第二信噪比以及当前的第二信噪比阈值,判断所述第二信噪比是否小于所述第二信噪比阈值,如果是,丢弃所述第二图像,如果否,传输所述第二图像。
3.如权利要求2所述的方法,其特征在于,所述丢弃所述第二图像之前,所述方法还包括:
根据当前帧率和预设的第一帧率阈值确定可丢弃的第一帧数;
确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数;
判断所述第二帧数是否达到所述第一帧数,如果否,丢弃所述第二图像。
4.如权利要求2所述的方法,其特征在于,确定当前的第一信噪比阈值,包括:
根据所述当前码率和预先保存的文字操作场景下码率与信噪比阈值的对应关系,确定当前的第一信噪比阈值;
确定当前的第二信噪比阈值,包括:
根据所述当前码率和预先保存的视频观看场景下码率与信噪比阈值的对应关系,确定当前的第二信噪比阈值。
5.如权利要求1-4任一项所述的方法,其特征在于,所述降低待传输的第二图像的分辨率,包括:
按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像;并将所述第二图像的分辨率降低次数增加1;
判断当前帧率是否大于所述第五图像的分辨率对应的第二帧率阈值;
若所述当前帧率大于所述第二帧率阈值,则停止降低分辨率,若所述当前帧率未大于所述第二帧率阈值,则判断所述第二图像的累计的分辨率降低次数是否达到预设的次数阈值,若所述累计的分辨率降低次数未达到所述次数阈值,则将所述第五图像作为第二图像,执行所述按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像的步骤,若所述累计的分辨率降低次数达到所述次数阈值,则降低所述第五图像的质量参数。
6.一种图像传输装置,其特征在于,所述装置包括:
第一确定模块,用于确定当前码率小于预设的码率阈值后,根据屏幕显示的第一图像确定当前的图像传输场景是视频观看场景还是文字操作场景;
第一传输模块,用于若确定当前的图像传输场景为视频观看场景,则降低待传输的第二图像的分辨率后传输;
第二传输模块,用于若确定当前的图像传输场景为文字操作场景,则确定待传输的第三图像的第一信噪比以及当前的第一信噪比阈值,判断所述第一信噪比是否小于所述第一信噪比阈值,如果是,丢弃所述第三图像,如果否,传输所述第三图像。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于确定所述第二图像的第二信噪比以及当前的第二信噪比阈值,判断所述第二信噪比是否小于所述第二信噪比阈值,如果是,丢弃所述第二图像,如果否,传输所述第二图像。
8.如权利要求7所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于根据当前帧率和预设的第一帧率阈值确定可丢弃的第一帧数;确定包含所述第二图像在内的单位时间长度内已丢弃的第四图像的第二帧数;判断所述第二帧数是否达到所述第一帧数,如果否,触发所述第二确定模块,使所述第二确定模块丢弃所述第二图像。
9.如权利要求7所述的装置,其特征在于,所述第二传输模块,具体用于根据所述当前码率和预先保存的文字操作场景下码率与信噪比阈值的对应关系,确定当前的第一信噪比阈值;
所述第二确定模块,具体用于根据所述当前码率和预先保存的视频观看场景下码率与信噪比阈值的对应关系,确定当前的第二信噪比阈值。
10.如权利要求6-9任一项所述的装置,其特征在于,所述第一传输模块具体用于按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像;并将所述第二图像的分辨率降低次数增加1;判断当前帧率是否大于所述第五图像的分辨率对应的第二帧率阈值;若所述当前帧率大于所述第二帧率阈值,则停止降低分辨率,若所述当前帧率未大于所述第二帧率阈值,则判断所述第二图像的累计的分辨率降低次数是否达到预设的次数阈值,若所述累计的分辨率降低次数未达到所述次数阈值,则将所述第五图像作为第二图像,执行所述按照预设的分辨率降低梯度、降低所述第二图像的分辨率,得到第五图像的步骤,若所述累计的分辨率降低次数达到所述次数阈值,则降低所述第五图像的质量参数。
11.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-5任一项所述的方法步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法步骤。
CN201911221365.6A 2019-12-03 2019-12-03 一种图像传输方法、装置、电子设备及存储介质 Active CN110912922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911221365.6A CN110912922B (zh) 2019-12-03 2019-12-03 一种图像传输方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911221365.6A CN110912922B (zh) 2019-12-03 2019-12-03 一种图像传输方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110912922A true CN110912922A (zh) 2020-03-24
CN110912922B CN110912922B (zh) 2022-09-16

Family

ID=69821664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911221365.6A Active CN110912922B (zh) 2019-12-03 2019-12-03 一种图像传输方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110912922B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245196A (zh) * 2021-12-08 2022-03-25 卓米私人有限公司 一种录屏推流方法、装置、电子设备及存储介质
CN115442408A (zh) * 2022-09-13 2022-12-06 脉冲视觉(北京)科技有限公司 图像数据的传输处理方法、装置、介质以及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159862A (zh) * 2007-11-29 2008-04-09 北京中星微电子有限公司 帧率控制方法及装置
US8456993B1 (en) * 2008-05-19 2013-06-04 Meru Networks Differential signal-to-noise ratio based rate adaptation
CN103414915A (zh) * 2013-08-22 2013-11-27 合一网络技术(北京)有限公司 一种网站上传视频质量评价方法及装置
CN105491461A (zh) * 2014-10-11 2016-04-13 成都鼎桥通信技术有限公司 一种视频传输方法
CN107222748A (zh) * 2017-06-12 2017-09-29 西安万像电子科技有限公司 图像数据码率的处理方法和装置
CN107659827A (zh) * 2017-09-25 2018-02-02 北京小鱼易连科技有限公司 基于内容分析的桌面视频编码控制系统
CN109729439A (zh) * 2019-01-11 2019-05-07 北京三体云联科技有限公司 实时视频传输方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159862A (zh) * 2007-11-29 2008-04-09 北京中星微电子有限公司 帧率控制方法及装置
US8456993B1 (en) * 2008-05-19 2013-06-04 Meru Networks Differential signal-to-noise ratio based rate adaptation
CN103414915A (zh) * 2013-08-22 2013-11-27 合一网络技术(北京)有限公司 一种网站上传视频质量评价方法及装置
CN105491461A (zh) * 2014-10-11 2016-04-13 成都鼎桥通信技术有限公司 一种视频传输方法
CN107222748A (zh) * 2017-06-12 2017-09-29 西安万像电子科技有限公司 图像数据码率的处理方法和装置
CN107659827A (zh) * 2017-09-25 2018-02-02 北京小鱼易连科技有限公司 基于内容分析的桌面视频编码控制系统
CN109729439A (zh) * 2019-01-11 2019-05-07 北京三体云联科技有限公司 实时视频传输方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245196A (zh) * 2021-12-08 2022-03-25 卓米私人有限公司 一种录屏推流方法、装置、电子设备及存储介质
CN114245196B (zh) * 2021-12-08 2024-04-19 卓米私人有限公司 一种录屏推流方法、装置、电子设备及存储介质
CN115442408A (zh) * 2022-09-13 2022-12-06 脉冲视觉(北京)科技有限公司 图像数据的传输处理方法、装置、介质以及电子设备

Also Published As

Publication number Publication date
CN110912922B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
US10659847B2 (en) Frame dropping method for video frame and video sending apparatus
CN110636346B (zh) 一种码率自适应切换方法、装置、电子设备及存储介质
CN109640179B (zh) 视频解码控制方法、装置以及电子设备
CN114222194A (zh) 一种视频码流调整方法、装置及系统
CN110912922B (zh) 一种图像传输方法、装置、电子设备及存储介质
EP3886447A1 (en) Video enhancement control method and apparatus, electronic device, and storage medium
CN113068001B (zh) 基于级联摄像机的数据处理方法、装置、设备和介质
US11412311B2 (en) Methods and systems for saving data while streaming video
US10681400B2 (en) Method and device for transmitting video
CN115834556B (zh) 数据传输方法、系统、设备、存储介质及程序产品
CN104053002A (zh) 视频解码方法和视频解码装置
US20130286227A1 (en) Data Transfer Reduction During Video Broadcasts
CN114245196B (zh) 一种录屏推流方法、装置、电子设备及存储介质
CN111836092A (zh) 一种虚拟桌面的数据处理方法、装置及相关组件
CN103036808A (zh) 一种去除网络抖动的方法及系统
US20150078431A1 (en) Method and apparatus of temporary image frame compression
WO2020107970A1 (zh) 视频解码方法、装置、电子设备及存储介质
CN109120979B (zh) 视频增强控制方法、装置以及电子设备
CN108668166B (zh) 一种编码方法、装置及终端设备
CN111510703B (zh) 一种视频播放方法、装置及系统
CN117061827B (zh) 图像帧处理方法、装置、设备及存储介质
CN111083413B (zh) 一种图像显示方法、装置、电子设备及存储介质
CN115037701B (zh) 视频处理方法、装置、服务器及介质
CN117395463A (zh) 一种视频播放方法及装置
CN117097904A (zh) 一种视频编码方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant