CN117499720A - 一种用于提高图像直播质量的方法及系统 - Google Patents

一种用于提高图像直播质量的方法及系统 Download PDF

Info

Publication number
CN117499720A
CN117499720A CN202311496767.3A CN202311496767A CN117499720A CN 117499720 A CN117499720 A CN 117499720A CN 202311496767 A CN202311496767 A CN 202311496767A CN 117499720 A CN117499720 A CN 117499720A
Authority
CN
China
Prior art keywords
real
image
time scene
scene image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311496767.3A
Other languages
English (en)
Inventor
肖海滨
苏兴
袁穗婷
刘显炎
张朝文
李勇志
黄震
林加浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kaidi Cloud Information Technology Co ltd
Original Assignee
Guangzhou Kaidi Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kaidi Cloud Information Technology Co ltd filed Critical Guangzhou Kaidi Cloud Information Technology Co ltd
Priority to CN202311496767.3A priority Critical patent/CN117499720A/zh
Publication of CN117499720A publication Critical patent/CN117499720A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种用于提高图像直播质量的方法及系统，通过基于WebRTC技术将编码处理后的实时场景图像发送至服务器中，以及将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，能够有效实现点对点的即时通信，减少因服务器传输引起的延迟，同时，通过获取用户设备所处网络环境，基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率，能够有效适应不同用户的带宽状况，解决现有技术所存在的带宽要求高的问题。

Description

一种用于提高图像直播质量的方法及系统
技术领域
本发明涉及图像直播技术领域，尤其涉及一种用于提高图像直播质量的方法及系统。
背景技术
在移动互联网和高速网络的迅速发展下，互联网用户对实时信息和即时互动的需求不断增加,图像直播作为一种新兴的网络技术，旨在满足用户对于实时观看重要活动、事件或场景的需求，并通过实时互动增加用户参与感和身临其境的感觉，然而，尽管图像直播技术已经取得了一定的进展，但仍然存在以下缺点：
(1)传输延迟：图像直播的主要缺点之一是传输延迟，由于图像需要经过编码、传输和解码等过程，加上网络环境的影响，导致图片直播与实际事件存在一定的时间差，这种延迟会降低实时观看的效果，影响用户体验；
(2)带宽要求高：对于大规模的图片直播活动或同时有大量用户观看的情况，图片直播对带宽的需求较高，高清图像的传输需要更大的带宽支持，这对于一些网络条件较差或带宽有限的用户来说可能会导致视频卡顿或加载缓慢。
发明内容
有鉴于此，本发明提出一种用于提高图像直播质量的方法及系统，可以解决现有技术所存在的传输延迟和带宽要求高的缺陷。
本发明的技术方案是这样实现的：
一种用于提高图像直播质量的方法，具体包括：
依据采集设备获取实时场景图像；
对实时场景图像进行编码处理；
基于WebRTC技术将编码处理后的实时场景图像发送至服务器中；
获取用户设备所处网络环境；
基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率；
将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，从而实现图像直播质量的提高。
作为所述用于提高图像直播质量的方法的进一步可选方案，所述对实时场景图像进行编码处理，具体包括：
利用颜色空间转换，将实时场景图像转换为YCbCr图像；
将转换后的YCbCr图像进行分块处理，得到多块YCbCr图像；
对每块YCbCr图像进行二维DCT变换；
使用量化表对DCT变换结果进行量化，得到量化后的二维数据；
将量化后的二维数据转换为一维数据；
利用哈夫曼编码对一维数据进行编码。
作为所述用于提高图像直播质量的方法的进一步可选方案，所述基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率，具体包括：
将实时场景图像按照不同的比特率预先编码成多个版本，并按时间切割为多段的小片段；
基于自适应码率技术和用户设备所处网络环境，匹配出相应比特率的小片段。
作为所述用于提高图像直播质量的方法的进一步可选方案，所述方法还包括基于内容分发网络技术将编码处理后的实时场景图像缓存到分布式的边缘服务器上。
作为所述用于提高图像直播质量的方法的进一步可选方案，所述方法还包括在对实时场景图像进行编码处理之前，基于深度学习模型对实时场景图像进行图像增强处理。
作为所述用于提高图像直播质量的方法的进一步可选方案，所述方法还包括用户设备基于音视频技术与服务器进行互动连接。
一种用于提高图像直播质量的系统，包括：
采集设备，用于获取实时场景图像；
编码模块，用于对实时场景图像进行编码处理；
发送模块，用于基于WebRTC技术将编码处理后的实时场景图像发送至服务器中；
获取模块，用于获取用户设备所处网络环境；
调整模块，用于基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率；
传输模块，用于将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，从而实现图像直播质量的提高。
作为所述用于提高图像直播质量的系统的进一步可选方案，所述编码模块包括：
第一转换模块，用于利用颜色空间转换，将实时场景图像转换为YCbCr图像；
分块模块，用于将转换后的YCbCr图像进行分块处理，得到多块YCbCr图像；
变换模块，用于对每块YCbCr图像进行二维DCT变换；
量化模块，用于使用量化表对DCT变换结果进行量化，得到量化后的二维数据；
第二转换模块，用于将量化后的二维数据转换为一维数据；
执行模块，用于用哈夫曼编码对一维数据进行编码。
作为所述用于提高图像直播质量的系统的进一步可选方案，所述调整模块包括：
切割模块，用于将实时场景图像按照不同的比特率预先编码成多个版本，并按时间切割为多段的小片段；
匹配模块，用于基于自适应码率技术和用户设备所处网络环境，匹配出相应比特率的小片段。
作为所述用于提高图像直播质量的系统的进一步可选方案，所述系统还包括：
缓存模块，用于基于内容分发网络技术将编码处理后的实时场景图像缓存到分布式的边缘服务器上；
图像增强模块，用于在对实时场景图像进行编码处理之前，基于深度学习模型对实时场景图像进行图像增强处理；
用户互动模块，用于用户设备基于音视频技术与服务器进行互动连接。
本发明的有益效果是：通过基于WebRTC技术将编码处理后的实时场景图像发送至服务器中，以及将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，能够有效实现点对点的即时通信，减少因服务器传输引起的延迟，同时，通过获取用户设备所处网络环境，基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率，能够有效适应不同用户的带宽状况，解决现有技术所存在的带宽要求高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种用于提高图像直播质量的方法的流程示意图；
图2为本发明一种用于提高图像直播质量的系统的组成示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参考图1-2，一种用于提高图像直播质量的方法，具体包括：
依据采集设备获取实时场景图像；
对实时场景图像进行编码处理；
基于WebRTC技术将编码处理后的实时场景图像发送至服务器中；
获取用户设备所处网络环境；
基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率；
将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，从而实现图像直播质量的提高。
在本实施例中，通过基于WebRTC技术将编码处理后的实时场景图像发送至服务器中，以及将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，能够有效实现点对点的即时通信，减少因服务器传输引起的延迟，同时，通过获取用户设备所处网络环境，基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率，能够有效适应不同用户的带宽状况，解决现有技术所存在的带宽要求高的问题。
优选的，所述对实时场景图像进行编码处理，具体包括：
利用颜色空间转换，将实时场景图像转换为YCbCr图像；
将转换后的YCbCr图像进行分块处理，得到多块YCbCr图像；
对每块YCbCr图像进行二维DCT变换；
使用量化表对DCT变换结果进行量化，得到量化后的二维数据；
将量化后的二维数据转换为一维数据；
利用哈夫曼编码对一维数据进行编码。
在本实施例中，通过对实时场景图像进行编码处理，能够减少图像质量损失的程度，具体包括以下几个步骤：
颜色空间变换：在某些压缩算法中，可能会先将图像从RGB色彩空间变换到另一个色彩空间，如YCrCb或者HSV等，这样可以帮助将颜色信息和亮度信息分开处理，增加压缩效率；
下采样：在有些压缩算法中，例如JPEG，可能会对Cr和Cb通道进行下采样，即降低这些通道的分辨率，这是因为人眼对亮度信息更敏感，而对色彩信息则不那么敏感；
变换编码：对图像数据进行某种数学变换，如离散余弦变换(DCT)，将图像从空间域变换到频域，便于进行进一步压缩；
量化：在频域将变换后的数据进行量化，即按一定的步长进行舍入，以减少数据的精度，这步通常会造成信息的丢失，是压缩过程中的有损步骤；
熵编码：对量化后的数据进行编码，如Huffman编码或者算术编码等，将频繁出现的模式用较短的码字表示，而不常出现的模式用较长的码字表示，进一步减少数据量；
封装：最后，将压缩后的数据和一些必要的头信息、元信息等封装成具体的图像文件格式，如JPEG、PNG等。
需要说明的是，解码过程就是编码过程的逆向，具体包括：
哈夫曼解码：进行反哈夫曼解码，得到Z字排序后的数据。
Z字反排序和DC反差分：对哈夫曼解码后的数据进行反Z字排序和DC反差分处理。
反量化和反DCT：用量化表对数据进行反量化，然后再对数据进行反DCT变换。
颜色空间还原：使用反色彩空间转换，将YCbCr颜色空间还原为RGB颜色空间。
优选的，所述基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率，具体包括：
将实时场景图像按照不同的比特率预先编码成多个版本，并按时间切割为多段的小片段；
基于自适应码率技术和用户设备所处网络环境，匹配出相应比特率的小片段。
在本实施例中，自适应码率技术(Adapt iveBitrateStreaming,ABR)是流媒体技术的一种，能够根据用户设备的网络条件实时调整媒体的质量，这种技术的主要步骤包括：
内容准备：将视频按照不同的比特率预先编码成多个版本，并按时间切割为一段段的小片段，每个版本的每片段都被存储和索引；
连接建立：客户端请求播放时，服务器先检测客户端的网络状况包括带宽、延迟等，选择适合的版本开始播放；
持续监测：客户端在播放过程中持续监测网络状况和播放器缓冲区的状况，如果检测到带宽有所变化，或者缓冲区数据低于某个阈值，就考察调整播放版本；
版本切换：如果选择切换版本，客户端在获取下一个或者接下来的一些片段时，会请求新版本，因为每个版本的视频都是相同的内容，只是比特率不同，所以这个切换对用户来说应该是无缝的；
收尾：当客户端完成播放或者停止请求时，断开连接，结束流程。
优选的，所述方法还包括基于内容分发网络技术将编码处理后的实时场景图像缓存到分布式的边缘服务器上。
在本实施例中，使用CDN(内容分发网络)等技术，将图像缓存到分布式的边缘服务器上，减轻服务器负载并提高传输效率。CDN技术将图像缓存到分布式的边缘服务器的具体步骤是：
内容上传：在CDN网络中，原始图像首先需要上传到CDN的源站服务器。这可以是原始服务器也可以是CDN提供的存储服务；
节点分发：一旦源站服务器接收到图像内容，CDN的核心网络会将图像内容分发到全球各地的边缘节点上；
缓存与同步：边缘节点接收到源站数据后，将数据存储在边缘服务器的缓存中，当数据在源站更新时，CDN网络也会负责将新内容同步到各边缘节点；
请求重定向：当用户请求图像内容时，CDN网络的智能路由系统会基于用户的地理位置、冗余路由、拥塞、负载均衡等因素将请求重定向到距离用户最近的或者是最佳的边缘节点；
内容提供：边缘节点会直接将存储在其缓存中的图像提供给用户，由于用户与边缘节点的距离比原始服务器要近得多，因此可以大幅度提高传输速度和效率，降低延迟；
缓存更新与失效：在数据更新或者边缘服务器缓存满时，缓存策略会决定哪些数据被替换或者保留，保证用户始终能够获得最新和最热门的内容。
优选的，所述方法还包括在对实时场景图像进行编码处理之前，基于深度学习模型对实时场景图像进行图像增强处理。
在本实施例中，通过对实时场景图像进行实时增强和修复，能够提升图像质量，具体步骤如下：
数据准备：收集大量的图像数据，可能包括原始图像和增强或修复后的图像，这些数据将用于训练和验证深度学习模型，数据也需要进行预处理，例如规范化大小、归一化像素值、增强数据，例如旋转、剪裁、翻转等；
模型设计：选择或设计适合图像增强和修复的深度学习模型，例如，对于图像修复任务，常常使用卷积神经网络或生成对抗网络；
模型训练：使用训练数据来训练模型，这个过程通常涉及到前向传播和反向传播，不断调整模型参数以最小化预测错误；
模型验证/测试：在验证集和测试集上测试模型的性能，包括泛化能力，以确保模型的有效性；
图像增强和修复：将训练好的模型应用于需要增强或修复的新图像上，这个过程通常包括下列步骤：
使用模型对输入图像进行预测；
处理模型的输出结果，得到增强或修复后的图像；
结果评估：评估增强或修复后的图像质量，通常会使用诸如PSNR、SSIM等定量指标，或者进行人工干预和修改。
优选的，所述方法还包括用户设备基于音视频技术与服务器进行互动连接。
在本实施例中，结合音频和视频技术，实现实时的语音和视频通话功能，提升用户之间的交流和互动能力，集成点赞、分享等功能，让用户能够实时互动。
一种用于提高图像直播质量的系统，包括：
采集设备，用于获取实时场景图像；
编码模块，用于对实时场景图像进行编码处理；
发送模块，用于基于WebRTC技术将编码处理后的实时场景图像发送至服务器中；
获取模块，用于获取用户设备所处网络环境；
调整模块，用于基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率；
传输模块，用于将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，从而实现图像直播质量的提高。
优选的，所述编码模块包括：
第一转换模块，用于利用颜色空间转换，将实时场景图像转换为YCbCr图像；
分块模块，用于将转换后的YCbCr图像进行分块处理，得到多块YCbCr图像；
变换模块，用于对每块YCbCr图像进行二维DCT变换；
量化模块，用于使用量化表对DCT变换结果进行量化，得到量化后的二维数据；
第二转换模块，用于将量化后的二维数据转换为一维数据；
执行模块，用于用哈夫曼编码对一维数据进行编码。
优选的，所述调整模块包括：
切割模块，用于将实时场景图像按照不同的比特率预先编码成多个版本，并按时间切割为多段的小片段；
匹配模块，用于基于自适应码率技术和用户设备所处网络环境，匹配出相应比特率的小片段。
优选的，所述系统还包括：
缓存模块，用于基于内容分发网络技术将编码处理后的实时场景图像缓存到分布式的边缘服务器上；
图像增强模块，用于在对实时场景图像进行编码处理之前，基于深度学习模型对实时场景图像进行图像增强处理；
用户互动模块，用于用户设备基于音视频技术与服务器进行互动连接。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于提高图像直播质量的方法，其特征在于，具体包括：
依据采集设备获取实时场景图像；
对实时场景图像进行编码处理；
基于WebRTC技术将编码处理后的实时场景图像发送至服务器中；
获取用户设备所处网络环境；
基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率；
将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，从而实现图像直播质量的提高。
2.根据权利要求1所述的一种用于提高图像直播质量的方法，其特征在于，所述对实时场景图像进行编码处理，具体包括：
利用颜色空间转换，将实时场景图像转换为YCbCr图像；
将转换后的YCbCr图像进行分块处理，得到多块YCbCr图像；
对每块YCbCr图像进行二维DCT变换；
使用量化表对DCT变换结果进行量化，得到量化后的二维数据；
将量化后的二维数据转换为一维数据；
利用哈夫曼编码对一维数据进行编码。
3.根据权利要求2所述的一种用于提高图像直播质量的方法，其特征在于，所述基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率，具体包括：
将实时场景图像按照不同的比特率预先编码成多个版本，并按时间切割为多段的小片段；
基于自适应码率技术和用户设备所处网络环境，匹配出相应比特率的小片段。
4.根据权利要求3所述的一种用于提高图像直播质量的方法，其特征在于，所述方法还包括基于内容分发网络技术将编码处理后的实时场景图像缓存到分布式的边缘服务器上。
5.根据权利要求4所述的一种用于提高图像直播质量的方法，其特征在于，所述方法还包括在对实时场景图像进行编码处理之前，基于深度学习模型对实时场景图像进行图像增强处理。
6.根据权利要求5所述的一种用于提高图像直播质量的方法，其特征在于，所述方法还包括用户设备基于音视频技术与服务器进行互动连接。
7.一种用于提高图像直播质量的系统，其特征在于，包括：
采集设备，用于获取实时场景图像；
编码模块，用于对实时场景图像进行编码处理；
发送模块，用于基于WebRTC技术将编码处理后的实时场景图像发送至服务器中；
获取模块，用于获取用户设备所处网络环境；
调整模块，用于基于自适应码率技术和用户设备所处网络环境，调整实时场景图像传输的质量和码率；
传输模块，用于将调整后的实时场景图像基于WebRTC技术传输至相对应的用户设备中，从而实现图像直播质量的提高。
8.根据权利要求7所述的一种用于提高图像直播质量的系统，其特征在于，所述编码模块包括：
第一转换模块，用于利用颜色空间转换，将实时场景图像转换为YCbCr图像；
分块模块，用于将转换后的YCbCr图像进行分块处理，得到多块YCbCr图像；
变换模块，用于对每块YCbCr图像进行二维DCT变换；
量化模块，用于使用量化表对DCT变换结果进行量化，得到量化后的二维数据；
第二转换模块，用于将量化后的二维数据转换为一维数据；
执行模块，用于用哈夫曼编码对一维数据进行编码。
9.根据权利要求8所述的一种用于提高图像直播质量的系统，其特征在于，所述调整模块包括：
切割模块，用于将实时场景图像按照不同的比特率预先编码成多个版本，并按时间切割为多段的小片段；
匹配模块，用于基于自适应码率技术和用户设备所处网络环境，匹配出相应比特率的小片段。
10.根据权利要求9所述的一种用于提高图像直播质量的系统，其特征在于，所述系统还包括：
缓存模块，用于基于内容分发网络技术将编码处理后的实时场景图像缓存到分布式的边缘服务器上；
图像增强模块，用于在对实时场景图像进行编码处理之前，基于深度学习模型对实时场景图像进行图像增强处理；
用户互动模块，用于用户设备基于音视频技术与服务器进行互动连接。
CN202311496767.3A 2023-11-10 2023-11-10 一种用于提高图像直播质量的方法及系统 Pending CN117499720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311496767.3A CN117499720A (zh) 2023-11-10 2023-11-10 一种用于提高图像直播质量的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311496767.3A CN117499720A (zh) 2023-11-10 2023-11-10 一种用于提高图像直播质量的方法及系统

Publications (1)

Publication Number Publication Date
CN117499720A true CN117499720A (zh) 2024-02-02

Family

ID=89672275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311496767.3A Pending CN117499720A (zh) 2023-11-10 2023-11-10 一种用于提高图像直播质量的方法及系统

Country Status (1)

Country Link
CN (1) CN117499720A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118354108A (zh) * 2024-06-18 2024-07-16 北京宏数科技有限公司 一种通过5g公网推送直播视频流的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995187A (zh) * 2017-11-30 2018-05-04 上海哔哩哔哩科技有限公司 基于html5浏览器的视频主播、直播方法、终端和系统
US20180183696A1 (en) * 2016-12-28 2018-06-28 Naver Corporation Bandwidth estimation based on buffer and adaptive bitrate publish in real-time live environment
CN115278302A (zh) * 2022-07-29 2022-11-01 腾讯科技（深圳）有限公司 直播流媒体数据处理方法、系统、装置和计算机设备
CN116264619A (zh) * 2021-12-15 2023-06-16 腾讯科技（深圳）有限公司 资源处理方法、装置、服务器、终端、系统及存储介质
CN116980662A (zh) * 2023-02-09 2023-10-31 腾讯科技（深圳）有限公司 流媒体播放方法、装置、电子设备、存储介质及程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180183696A1 (en) * 2016-12-28 2018-06-28 Naver Corporation Bandwidth estimation based on buffer and adaptive bitrate publish in real-time live environment
CN107995187A (zh) * 2017-11-30 2018-05-04 上海哔哩哔哩科技有限公司 基于html5浏览器的视频主播、直播方法、终端和系统
CN116264619A (zh) * 2021-12-15 2023-06-16 腾讯科技（深圳）有限公司 资源处理方法、装置、服务器、终端、系统及存储介质
CN115278302A (zh) * 2022-07-29 2022-11-01 腾讯科技（深圳）有限公司 直播流媒体数据处理方法、系统、装置和计算机设备
CN116980662A (zh) * 2023-02-09 2023-10-31 腾讯科技（深圳）有限公司 流媒体播放方法、装置、电子设备、存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118354108A (zh) * 2024-06-18 2024-07-16 北京宏数科技有限公司 一种通过5g公网推送直播视频流的方法

Similar Documents

Publication Publication Date Title
US7835439B2 (en) Video compression system
US9762917B2 (en) Quantization method and apparatus in encoding/decoding
US5847760A (en) Method for managing video broadcast
US6788740B1 (en) System and method for encoding and decoding enhancement layer data using base layer quantization data
US8510458B2 (en) Method and device for sharing bandwidth of a communication network
US20230104270A1 (en) Dynamic Parameter Selection for Quality-Normalized Video Transcoding
US8571027B2 (en) System and method for multi-rate video delivery using multicast stream
WO2017036070A1 (zh) 一种自适应媒体业务的处理方法及其装置、编码器及解码器
US8594442B2 (en) Method and device for performing image compression coding
CN117499720A (zh) 一种用于提高图像直播质量的方法及系统
US20220124345A1 (en) Methods and systems for providing variable bitrate content
CN114363649A (zh) 视频处理方法、装置、设备及存储介质
CN113573140A (zh) 一种支持人脸检测与实时超分辨率的码率自适应决策方法
CN111556315A (zh) 数据传输方法及装置
CN102349296A (zh) 用于处理编码比特流的方法和装置
Majid et al. Visual saliency based redundancy allocation in HEVC compatible multiple description video coding
US20020154331A1 (en) Image data transmission apparatus and image data receiving apparatus
RU2651241C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
Huang et al. A cloud computing based deep compression framework for UHD video delivery
CN117692650A (zh) 图像编码/解码方法、电子设备和计算机可读存储介质
CN113630576A (zh) 自适应视频流式传输系统和方法
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
WO2023011044A1 (zh) 数据处理方法、装置、计算机设备、存储介质及程序产品
Jung Comparison of video quality assessment methods
Doutsi et al. Retina-inspired video codec

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination