CN116708793A - 视频的传输方法、装置、设备及存储介质 - Google Patents
视频的传输方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116708793A CN116708793A CN202310994239.4A CN202310994239A CN116708793A CN 116708793 A CN116708793 A CN 116708793A CN 202310994239 A CN202310994239 A CN 202310994239A CN 116708793 A CN116708793 A CN 116708793A
- Authority
- CN
- China
- Prior art keywords
- image frame
- image
- video
- resolution
- code rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 222
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000007906 compression Methods 0.000 claims abstract description 114
- 230000006835 compression Effects 0.000 claims abstract description 113
- 238000012545 processing Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 235000005121 Sorbus torminalis Nutrition 0.000 description 1
- 244000152100 Sorbus torminalis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频的传输方法、装置、设备、存储介质及程序产品，涉及视频传输技术领域。该方法包括：以第一传输码率接收第一编码数据，所述第一传输码率低于预设码率阈值，所述第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，所述第一图像帧是对所述视频中的第二图像帧进行下采样得到的图像帧；对所述第一编码数据进行解码得到第三图像帧，所述第三图像帧是所述第一图像帧对应的压缩图像；对所述第三图像帧进行超分辨率重建得到第四图像帧，所述第四图像帧用于还原所述视频中的所述第二图像帧，能够降低高分辨率视频的传输码率，同时在低码率传输中提高视频画质。
Description
技术领域
本申请涉及视频传输技术领域，特别涉及一种视频的传输方法、装置、设备及存储介质。
背景技术
在当今数字时代，视频传输成为了人们重要的通讯方式之一。但是，传输视频需要大量的带宽和存储空间，而且在网络传输过程中，视频数据容易受到各种噪声和干扰的影响，导致视频质量下降。因此，压缩视频传输技术应运而生。
相关技术中，通过采用高效率视频编码（High Efficiency Video Coding，HEVC）标准（也称H.265标准）等视频编码方法对视频数据进行压缩编码并传输，将视频信号转换为数字信号，并通过空间和时间上的冗余性去除不必要的信息，从而实现视频数据的压缩。
然而，上述方法中对于图像压缩的编解码的复杂性较高，实时视频传输中延迟较大，并且上述视频压缩技术在低码率区间传输时，整体的画质较差。
发明内容
本申请实施例提供了一种视频的传输方法、装置、设备及存储介质，能够在低码率传输时提高图像质量。所述技术方案如下。
一方面，提供了一种视频的传输方法，所述方法包括：
以第一传输码率接收第一编码数据，所述第一传输码率低于预设码率阈值，所述第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，所述第一图像帧是对所述视频中的第二图像帧进行下采样得到的图像帧；
对所述第一编码数据进行解码得到第三图像帧，所述第三图像帧是所述第一图像帧对应的压缩图像；
对所述第三图像帧进行超分辨率重建得到第四图像帧，所述第四图像帧用于还原所述视频中的所述第二图像帧。
另一方面，提供了一种视频的传输方法，所述方法包括：
获取第二图像帧，所述第二图像帧是所述视频中待传输的视频图像帧；
对所述第二图像帧进行下采样得到第一图像帧；
对所述第一图像帧进行压缩编码得到第一编码数据；
以第一传输码率向终端发送所述第一编码数据，所述终端用于接收所述第一编码数据并对所述第一编码数据进行解码得到第三图像帧，对所述第三图像帧进行超分辨率重建得到第四图像帧；所述第一传输码率低于预设码率阈值，所述第三图像帧是所述第一图像帧对应的压缩图像，所述第四图像帧用于还原所述视频中的所述第二图像帧。
另一方面，提供了一种视频的传输装置，所述装置包括：
接收模块，用于以第一传输码率接收第一编码数据，所述第一传输码率低于预设码率阈值，所述第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，所述第一图像帧是对所述视频中的第二图像帧进行下采样得到的图像帧；
处理模块，用于对所述第一编码数据进行解码得到第三图像帧，所述第三图像帧是所述第一图像帧对应的压缩图像；
所述处理模块，还用于对所述第三图像帧进行超分辨率重建得到第四图像帧，所述第四图像帧用于还原所述视频中的所述第二图像帧。
另一方面，提供了一种视频的传输装置，所述装置包括：
处理模块，用于获取第二图像帧，所述第二图像帧是所述视频中待传输的视频图像帧；
所述处理模块，还用于对所述第二图像帧进行下采样得到第一图像帧；
所述处理模块，还用于对所述第一图像帧进行压缩编码得到第一编码数据；
发送模块，用于以第一传输码率向终端发送所述第一编码数据，所述终端用于接收所述第一编码数据并对所述第一编码数据进行解码得到第三图像帧，对所述第三图像帧进行超分辨率重建得到第四图像帧；所述第一传输码率低于预设码率阈值，所述第三图像帧是所述第一图像帧对应的压缩图像，所述第四图像帧用于还原所述视频中的所述第二图像帧。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的视频的传输方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的视频的传输方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的视频的传输方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过以第一传输码率接收第一编码数据，其中，第一传输码率低于预设码率阈值，第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，对第一编码数据进行解码得到第三图像帧，第三图像帧是第一图像帧对应的压缩图像，对第三图像帧进行超分辨率重建得到第四图像帧，第四图像帧用于还原视频中的第二图像帧，实现以第一传输码率对视频的传输，由于第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，减少了第一编码数据的数据量，简化了压缩过程中编解码的复杂性，从而降低了传输延迟。并且，在保障以第一传输码率进行视频传输的同时，通过对第三图像帧进行超分辨率重建得到第四图像帧还原了视频中的第二图像帧，而第一传输码率低于预设码率阈值，从而在基于视频压缩的低码率传输中，提高了视频画质。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的实施环境示意图；
图2是本申请一个示例性实施例提供的视频的传输方法的流程图；
图3是本申请一个示例性实施例提供的无效区域示意图；
图4是本申请另一个示例性实施例提供的无效区域示意图；
图5是本申请一个示例性实施例提供的图像超分辨网络结构示意图；
图6是本申请一个示例性实施例提供的视频的传输流程示意图；
图7是本申请一个示例性实施例提供的压缩感知超分辨率模型训练方法流程图；
图8是本申请一个示例性实施例提供的下采样示意图；
图9是本申请一个示例性实施例提供的图像压缩示意图；
图10是本申请一个示例性实施例提供的模型训练示意图；
图11是本申请另一个示例性实施例提供的视频的传输方法的流程图；
图12是本申请一个示例性实施例提供的视频画质对比图；
图13是本申请一个示例性实施例提供的视频的传输装置的结构框图；
图14是本申请一个示例性实施例提供的视频的传输装置模块的结构框图；
图15是本申请另一个示例性实施例提供的视频的传输装置的结构框图；
图16是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
应当理解，尽管在本公开可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在当今数字时代，视频传输成为了人们重要的通讯方式之一。但是，传输视频需要大量的带宽和存储空间，而且在网络传输过程中，视频数据容易受到各种噪声和干扰的影响，导致视频质量下降。因此，压缩视频传输技术应运而生。相关技术中，通过采用H.265标准等视频编码方法对视频数据进行压缩编码并传输，将视频信号转换为数字信号，并通过空间和时间上的冗余性去除不必要的信息，从而实现视频数据的压缩。然而，上述方法中对于图像压缩的编解码的复杂性较高，实时视频传输中延迟较大，并且上述视频压缩技术在低码率区间传输时，整体的画质较差。
本申请实施例中提供的视频的传输方法，通过以第一传输码率接收第一编码数据，其中，第一传输码率低于预设码率阈值，第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，对第一编码数据进行解码得到第三图像帧，第三图像帧是第一图像帧对应的压缩图像，对第三图像帧进行超分辨率重建得到第四图像帧，第四图像帧用于还原视频中的第二图像帧，实现以第一传输码率对视频的传输，由于第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，减少了第一编码数据的数据量，简化了压缩过程中编解码的复杂性，从而降低了传输延迟。并且，在保障以第一传输码率进行视频传输的同时，通过对第三图像帧进行超分辨率重建得到第四图像帧还原了视频中的第二图像帧，而第一传输码率低于预设码率阈值，从而在基于视频压缩的低码率传输中，提高了视频画质。
首先，对本申请实施环境进行介绍。请参考图1，其示出了本申请一个示例性实施例提供的实施环境示意图，该实施环境中包括：终端110。
在一些实施例中，终端110实现为视频传输的接收方，用于接收发送方发送的视频进行显示。
在一些实施例中，为了减少视频传输所需要的带宽和存储空间，并减少传输过程中视频数据收到的干扰，发送方通过对视频进行压缩编码，将压缩编码得到的编码数据进行传输，从而降低传输码率，终端110通过接收编码数据，对编码数据进行解码得到对应的视频，再通过超分辨率重建提高视频画质，实现对视频中图像帧的还原。可选地，终端110可以以不同的传输码率接收视频，该传输码率用于指示视频传输过程中单位时间内传输的数据量，传输码率越低，单位时间内传输的数据量越少，终端110使用的带宽越少。
在一些实施例中，终端110以第一传输码率接收第一编码数据，第一传输码率低于预设码率阈值，第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，终端110对第一编码数据进行解码得到第三图像帧，第三图像帧是第一图像帧对应的压缩图像，对第三图像帧进行超分辨率重建得到第四图像帧，第四图像帧用于还原视频中的第二图像帧。
可选地，终端110在得到上述第四图像帧后可以直接显示第四图像帧，也可以显示对第四图像帧进行下采样得到的第五图像帧。
在一些实施例中，该实施环境中还包括服务器120和通信网络130。终端110和服务器120通过通信网络130进行视频传输。
在一些实施例中，服务器120实现为视频传输中的发送方，用于对视频进行压缩传输。
在一些实施例中，服务器120用于获取第二图像帧，第二图像帧是视频中的图像帧，服务器120对第二图像帧进行下采样得到第一图像帧，对第一图像帧进行压缩编码得到第一编码数据，服务器120通过通信网络130以第一传输码率向终端110发送第一编码数据，终端110用于以第一传输码率接收第一编码数据并对第一编码数据进行解码得到第三图像帧，对第三图像帧进行超分辨率重建得到第四图像帧。
上述终端是可选的，终端可以是台式计算机、膝上型便携计算机、手机、平板电脑、电子书阅读器、动态影像专家压缩标准音频层面3（Moving Picture Experts Group AudioLayer III，MP3）播放器、动态影像专家压缩标准音频层4（Moving Picture Experts GroupAudio Layer IV，MP4）播放、智能电视、智能车载等多种形式的终端设备，本申请实施例对此不加以限定。
值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云安全、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（ContentDelivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术（Cloud Technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
在一些实施例中，上述服务器还可以实现为区块链系统中的节点。
需要说明的是，本申请所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准。例如，本申请中涉及到视频图像帧等都是在充分授权的情况下获取的。
结合上述实施环境，本申请实施例提供的视频的传输方法可以用于如下应用场景：
1.移动通信网络：在移动通信网络，如第二代移动通信系统（Second GenerationCommunications System，2G）、第三代移动通信系统（Third Generation CommunicationsSystem，3G）、第四代移动通信系统（Fourth Generation Communications System，4G）和第五代移动通信系统（Fifth Generation Communications System，5G）等网络环境中，带宽和网络资源都是有限的，低码率视频传输可以有效地降低视频数据的带宽需求，减少网络拥塞和数据传输延迟，提高视频传输的稳定性和可靠性。基于上述低码率传输需求，为提高低码率传输中的视频画质，可以通过移动通信发送方对视频中的第二图像帧进行下采样，大幅度减少数据量以使高分辨率图像帧能够以低码率进行传输，对下采样得到的第一图像帧进行压缩编码进一步降低对传输码率的要求，将压缩编码得到的第一编码数据以低于预设码率阈值的第一传输码率进行传输，由移动通信接收方以第一传输码率接收第一编码数据并进行解码得到第三图像帧，对第三图像帧进行超分辨率重建，得到第四图像帧，在保障低码率传输要求的同时，提高视频画质。
2.视频会议：视频会议是一种实时的远程协作方式，要求视频传输能够高效、稳定地传输视频数据，低码率视频传输可以有效地降低视频数据的带宽需求，减少视频传输过程中出现的卡顿和延迟，提高视频会议的效率和质量。基于上述低码率传输需求，为提高低码率传输中的视频画质，可以通过视频会议应用对应的服务器对视频中的第二图像帧进行下采样，大幅度减少数据量以使高分辨率图像帧能够以低码率进行传输，对下采样得到的第一图像帧进行压缩编码进一步降低对传输码率的要求，将压缩编码得到的第一编码数据以低于预设码率阈值的第一传输码率进行传输，由视频会议应用对应的客户端以第一传输码率接收第一编码数据并进行解码得到第三图像帧，对第三图像帧进行超分辨率重建，得到第四图像帧，在保障低码率传输要求的同时，提高视频画质。
3.视频观察：在视频观察领域，需要将大量的视频数据传输到中心观察服务器进行存储和处理，低码率视频传输可以降低视频数据的传输成本和存储成本，提高视频观察的效率和可靠性。基于上述低码率传输需求，为提高低码率传输中的视频画质，可以通过视频观察设备对视频中的第二图像帧进行下采样，大幅度减少数据量以使高分辨率图像帧能够以低码率进行传输，对下采样得到的第一图像帧进行压缩编码进一步降低对传输码率的要求，将压缩编码得到的第一编码数据以低于预设码率阈值的第一传输码率进行传输，由中心观察服务器以第一传输码率接收第一编码数据并进行解码得到第三图像帧，对第三图像帧进行超分辨率重建，得到第四图像帧，在保障低码率传输要求的同时，提高视频画质。
4.视频直播：在视频直播中，需要将高清的视频数据传输到观众端，低码率视频传输可以有效地降低视频数据的带宽需求，提高视频直播的流畅度和观看体验。基于上述低码率传输需求，为提高低码率传输中的视频画质，可以通过主播端对视频中的第二图像帧进行下采样，大幅度减少数据量以使高分辨率图像帧能够以低码率进行传输，对下采样得到的第一图像帧进行压缩编码进一步降低对传输码率的要求，将压缩编码得到的第一编码数据以低于预设码率阈值的第一传输码率进行传输，由观众端以第一传输码率接收第一编码数据并进行解码得到第三图像帧，对第三图像帧进行超分辨率重建，得到第四图像帧，在保障低码率传输要求的同时，提高视频画质。
值得注意的是，上述应用场景仅为示意性举例，本申请对此不加以限定，本申请实施例提供的视频的传输方法可以用于任意带宽和网络资源有限的场景，用于提高在低码率传输中提高视频画质。
示意性的，请参考图2，其示出了本申请一个示例性实施例提供的视频的传输方法的流程图，该方法可以应用于终端，也可以应用于服务器，也可以由终端和服务器共同执行，本申请实施例以该方法应用于终端为例进行说明，如图2所示，该方法包括如下步骤：
步骤210，以第一传输码率接收第一编码数据。
其中，第一传输码率低于预设码率阈值，第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧。
在一些实施例中，传输码率用于指示视频传输过程中单位时间内传输的数据量，传输码率越低，单位时间内传输的数据量越少，设备在传输过程中使用的带宽资源越少。示意性的，传输码率实现为比特率，用于表示单位时间内传输的比特数目。
在一些实施例中，第一传输码率用于指示终端在单位时间内接收的第一编码数据的数据量，预设码率阈值用于指示终端在视频传输过程中的传输码率上限，终端以低于预设码率阈值的第一传输码率接收第一编码数据可以确保终端进行低码率的视频传输。
可选地，第一传输码率可以是固定的，也可以是实时变化的。
可选地，第一传输码率可以是预设的，也可以是终端基于视频传输过程中的可用带宽确定的，还可以是基于视频传输过程中发送方的传输码率确定的。
在一些实施例中，第一编码数据是第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，可选地，可以通过MPEG（运动图像专家组，Moving Picture ExpertsGroup）标准、高等视频编码（Advanced Video Coding，ADC）标准（又称H.264标准）、H.265标准等视频压缩编码标准指示的压缩编码方法对第一图像帧进行压缩编码。
在一些实施例中，为确保第一编码数据在以第一传输码率进行传输的过程中不发生卡顿或丢失等现象，基于第一传输码率确定压缩编码中采用的压缩系数，或者，基于压缩编码中采用的压缩系数确定第一传输码率。其中，压缩系数用于指示对第一图像帧的压缩程度，即压缩系数用于指示第一编码数据的数据量。
在一些实施例中，第二图像帧的图像分辨率高于预设分辨率阈值。
可选地，当视频中第二图像帧的图像分辨率高于第一分辨率阈值时，对第二图像帧进行下采样得到第一图像帧，当视频中第二图像帧的图像分辨率低于第二分辨率阈值时，将第二图像帧确定为第一图像帧，其中，第一分辨率阈值和第二分辨率阈值是预设的图像分辨率，第一分辨率阈值不低于第二分辨率阈值。
在一些实施例中，第一图像帧是对视频中的第二图像帧按照预设下采样系数进行下采样得到的图像帧，其中，第一图像帧的图像尺寸小于第二图像帧的图像尺寸，第一图像帧的图像分辨率低于第二图像帧的图像分辨率，预设下采样系数用于指示第二图像帧与第一图像帧之间的图像尺寸比例。
示意性的，假设第二图像帧宽为W，高为H，预设下采样系数为s，用于指示对第二图像帧进行s倍下采样，得到宽为W/s，高为H/s的第一图像帧。
可选地，可以采用棋盘（checkboard）下采样策略对第二图像帧进行下采样。在一些实施例中，当采用棋盘下采样策略时，按照预设的棋格尺寸对第二图像帧进行棋盘划分，得到多个棋格区域，按照预设规律确定多个棋格区域中的部分棋格区域为无效区域，通过删除第二图像帧中无效区域的像素，实现对第二图像帧的下采样，压缩得到第一图像帧。
可选地，相对于视频中的多个图像帧，预设规律可以用于指示将图像帧固定位置的棋格区域确定为无效区域，也可以用于指示针对不同图像帧将不同位置的棋格区域确定为无效区域。
在一些实施例中，预设规律实现为将第二图像帧中位于预设行或预设列的棋格区域确定为无效区域。
示意性的，假设预设的棋格尺寸为n*n个像素，第二图像帧尺寸为N*N个像素，第二图像帧中包括m行m列共m*m个棋格区域，将第二图像帧中位于奇数行或奇数列的棋格区域确定为无效区域，其中，n、m、N为正整数。
示意性的，假设预设的棋格尺寸为n*n个像素，第二图像帧尺寸为N*N个像素，第二图像帧中包括m行m列共m*m个棋格区域，视频中包括多个第二图像帧，将视频中第i个第二图像帧中位于奇数行或奇数列的棋格区域确定为第i个第二图像帧的无效区域，第i+1个第二图像帧中位于偶数行或偶数列的棋格区域确定为第i+1个第二图像帧的无效区域，其中，n、m、N为正整数，i为奇数。
在一些实施例中，预设规律实现为以矩形棋盘形状按照预设棋格数量对第二图像帧中多个棋格区域进行棋盘分组，得到多个子棋盘区域，将每个子棋盘区域中预设位置的棋格区域确定为无效区域，其中，每个子棋盘区域符合矩形棋盘形状，每个子棋盘区域包括预设棋格数量的棋格区域。可选地，每个子棋盘区域对应的预设位置可以相同，也可以不同。
示意性的，请参考图3，图3是本申请一个示例性实施例提供的无效区域示意图，如图3所示，第二图像帧310中包括多个棋格区域，以矩形棋盘形状320按照4个棋格数量对第二图像帧310中多个棋格区域进行棋盘分组，得到多个子棋盘区域，每个子棋盘区域中包括4个棋格区域，将每个子棋盘区域中同一预设位置的棋格区域确定为无效区域，例如，将每个子棋盘区域中第1个棋格区域以外的棋格区域确定为无效区域（子图a阴影部分）；或者，将每个子棋盘区域中不同预设位置的棋格区域确定为无效区域（子图b阴影部分），例如，将第i个子棋盘区域中除第i个棋格区域以外的棋格区域确定为无效区域，将第i+1个子棋盘区域中除第i+1个棋格区域以外的棋格区域确定为无效区域，将第i+2个子棋盘区域中除第i+2个棋格区域以外的棋格区域确定为无效区域，将第i+3个子棋盘区域中除第i+3个棋格区域以外的棋格区域确定为无效区域，其中，i=4*k+1，k为自然数。
示意性的，视频中包括多个第二图像帧，假设每个第二图像帧中包括4个棋格区域，将第i个第二图像帧中除i个棋格区域以外的棋格区域确定为无效区域，将第i+1个第二图像帧中除第i+1个棋格区域以外的棋格区域确定为无效区域，将第i+2个第二图像帧中除第i+2个棋格区域以外的棋格区域确定为无效区域，将第i+3个第二图像帧中除第i+3个棋格区域以外的棋格区域确定为无效区域，其中，i=4*k+1，k为自然数，请参考图4，图4是本申请另一个示例性实施例提供的无效区域示意图，如图4所示，将视频中第i个第二图像帧记作帧1，第i+1个第二图像帧记作帧2，第i+2个第二图像帧记作帧3，第i+3个第二图像帧记作帧4，其中，无效区域1、无效区域2、无效区域3、无效区域4分别为帧1、帧2、帧3、帧4中的无效区域。
值得注意的是，上述下采样方式仅为示例性举例，本申请对此不加以限定。
在一些实施例中，步骤210可以实现为，以第一传输码率接收服务器传输的第一编码数据。
其中，服务器用于获取第二图像帧，并对第二图像帧进行下采样得到第一图像帧，对第一图像帧进行压缩编码得到第一编码数据，并以第一传输码率向终端发送第一编码数据。
可选地，服务器可以以不同于第一传输码率的第二传输码率向终端发送第一编码数据。
在一些实施例中，服务器基于预设的压缩系数对第一图像帧进行压缩编码，服务器基于该压缩系数确定向终端发送第一编码数据的传输码率。
步骤220，对第一编码数据进行解码得到第三图像帧。
其中，第三图像帧是第一图像帧对应的压缩图像。
在一些实施例中，第三图像帧与第一图像帧的图像尺寸一致。
在一些实施例中，第三图像帧与第一图像帧的图像分辨率一致，或者，第三图像帧的图像分辨率低于第一图像帧。
在一些实施例中，采用预设的解码方式对第一编码数据进行解码得到第三图像帧，该编码方式是终端与传输视频的发送方预先约定的。
可选地，可以通过MPEG标准、H.264标准、H.265标准等视频压缩编码标准指示的解码方法对第一编码数据进行解码得到第三图像帧。
步骤230，对第三图像帧进行超分辨率重建得到第四图像帧。
其中，第四图像帧用于还原视频中的第二图像帧。
可选地，可以通过预设的插值算法、重建算法和深度学习模型算法中至少一种超分辨率重建方式对第三图像帧进行超分辨率重建。
示意性的，请参考图5，图5是本申请一个示例性实施例提供的图像超分辨网络结构示意图，如图5所示，可以将连续的多张低分辨率图像帧510通过预设的图像超分辨网络520进行超分辨率重建得到高分辨率图像帧530，低分辨率图像帧510可以是某一视频中第t-1秒、第t秒、第t+1秒等任意时刻对应的低分辨率图像帧，其中t为正整数，通过图像超分辨网络520对低分辨率图像帧510进行编码对齐，得到特征向量图521，基于特征向量图521进行特征提取和融合得到提取后的特征图像522，基于特征图像522进行超分辨率重建得到重建特征图像523，最后基于重建特征图像523生成得到重建后的高分辨率图像帧530。
在一些实施例中，通过预先训练的压缩感知超分辨率模型对第三图像帧进行超分辨率重建，得到第四图像帧。其中，压缩感知超分辨率模型用于对压缩后的图像进行超分辨率重建，压缩感知超分辨率模型是基于视频中的视频图像帧与对应的重建图像之间的差异训练得到的，重建图像是压缩感知超分辨率模型在训练过程中基于视频图像帧对应的压缩图像进行超分辨率重建得到的图像。
示意性的，将第三图像帧输入预先训练的压缩感知超分辨率模型（Compression-Informed Video Super-Resolution，COMISR），输出得到第四图像帧，其中，第四图像帧的图像尺寸和图像分辨率均与第二图像帧相同，预先训练的COMISR将超分辨率和压缩结合，考虑到输入图像为压缩后的图像，在恢复高分辨率图像时不会引入由压缩引起的伪影等降低图像质量的因素。
在一些实施例中，在得到第四图像帧之后，终端基于第四图像帧进行视频的还原显示，可选地，至少包括如下显示方式：
第一种，显示第四图像帧。
在一些实施例中，当终端的显示分辨率不低于第四图像帧的图像分辨率时，终端可以直接显示第四图像帧以还原视频中的第二图像帧。
第二种，获取终端分辨率参数，按照终端分辨率参数对第四图像帧进行下采样得到第五图像帧，并显示第五图像帧。
其中，终端分辨率参数指示的分辨率低于第四图像帧的图像分辨率。
在一些实施例中，终端分辨率参数用于指示终端的显示分辨率，当终端分辨率参数指示的分辨率低于第四图像帧的图像分辨率时，终端不支持以第四图像帧当前的图像分辨率显示第四图像帧，因此可以通过下采样的方式降低图像分辨率来适应终端的显示分辨率，避免由于直接显示第四图像帧造成显示效果差的问题。
可选地，可以按照终端分辨率参数对第四图像帧进行下采样，也可以按照低于终端分辨率参数的预设分辨率对第四图像进行下采样。即，第五图像帧的图像分辨率不高于终端分辨率参数指示的分辨率。
可选地，可以通过checkboard下采样策略对第四图像帧进行下采样。在一些实施例中，当采用棋盘下采样策略时，按照预设的棋格尺寸对第四图像帧进行棋盘划分，得到多个棋格区域，按照终端分辨率参数确定无效区域数量，并按照无效区域数量和预设规律确定多个棋格区域中的部分棋格区域为无效区域，通过删除第四图像帧中无效区域的像素，实现对第四图像帧的下采样，压缩得到第五图像帧。
示意性的，请参考图6，图6是本申请一个示例性实施例提供的视频的传输流程示意图，如图6所示，在传统的视频传输方法中，通常由服务器对视频的原始图像601进行压缩编码得到原始图像601对应的编码数据，由服务器以预设的传输码率向终端传输该编码数据，终端基于该编码数据进行解压（也即解码），得到对原始图像601进行解码还原得到的还原图像602，还原图像602用于在终端还原视频中的原始图像601，可以通过对原始图像601和还原图像602进行比对，进行画质评价，该过程中由于当前视频对清晰度要求较高，通常原始图像601的图像分辨率较高，对于图像压缩的编解码的复杂性较高，实时视频传输中延迟较大，并且上述视频压缩技术在低码率区间传输时，整体的画质较差。本申请实施例提供的视频的传输方法通过服务器获取第二图像帧610，第二图像帧610是视频中的图像帧，由服务器对第二图像帧610进行下采样得到第一图像帧620，对第一图像帧620进行压缩编码得到第一编码数据，以第一传输码率向终端发送第一编码数据，终端以第一传输码率接收第一编码数据，对第一编码数据进行解码得到第三图像帧630，对第三图像帧630进行超分辨率重建得到第四图像帧640，其中，第四图像帧640用于还原视频中的第二图像帧610，可以通过比对第二图像帧610和第四图像帧640对终端视频画质进行评价。若终端通过预先训练的压缩感知超分辨率模型对第三图像帧630进行超分辨率重建，在模型训练过程中可以基于第二图像帧610和第四图像帧640之间的差异对压缩感知超分辨率模型进行训练。
综上所述，本申请实施例提供的方法，通过以第一传输码率接收第一编码数据，其中，第一传输码率低于预设码率阈值，第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，对第一编码数据进行解码得到第三图像帧，第三图像帧是第一图像帧对应的压缩图像，对第三图像帧进行超分辨率重建得到第四图像帧，第四图像帧用于还原视频中的第二图像帧，实现以第一传输码率对视频的传输，由于第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，减少了第一编码数据的数据量，简化了压缩过程中编解码的复杂性，从而降低了传输延迟。并且，在保障以第一传输码率进行视频传输的同时，通过对第三图像帧进行超分辨率重建得到第四图像帧还原了视频中的第二图像帧，而第一传输码率低于预设码率阈值，从而在基于视频压缩的低码率传输中，提高了视频画质。
本申请实施例提供的方法，通过预先训练的压缩感知超分辨率模型对第三图像帧进行超分辨率重建，得到第四图像帧，该压缩感知超分辨率模型用于对压缩后的图像进行超分辨率重建，压缩感知超分辨率模型是基于视频中的视频图像帧与对应的重建图像之间的差异训练得到的，由于重建图像是压缩感知超分辨率模型在训练过程中基于视频图像帧对应的压缩图像进行超分辨率重建得到的图像，因此预先训练的压缩感知超分辨率模型在进行超分辨率图像重建时，可以在保障图像分辨率的同时，避免由于压缩造成的图像质量问题。
本申请实施例提供的方法，明确了两种视频还原显示方式，在得到第四图像帧之后显示第四图像帧以还原显示视频中的第二图像帧，或者，获取终端分辨率参数，按照终端分辨率参数对第四图像帧进行下采样得到第五图像帧，并显示第五图像帧，其中，终端分辨率参数指示的分辨率低于第四图像帧的图像分辨率，以不同的显示方式适应终端的显示分辨率，避免由于显示分辨率与图像分辨率之间的冲突造成显示效果差的问题。
在一些实施例中，在通过预先训练的压缩感知超分辨率模型对第三图像帧进行超分辨率重建，得到第四图像帧之前，还包括对压缩感知超分辨率模型的训练过程。请参考图7，图7是本申请一个示例性实施例提供的压缩感知超分辨率模型训练方法流程图，该方法可以应用于终端，也可以应用于服务器，也可以由终端和服务器共同执行，本申请实施例以该方法应用于终端为例进行说明，如图7所示，该方法包括如下步骤：
步骤710，获取第一样本图像。
在一些实施例中，第一样本图像是终端预先存储的图像，或者实时接收或采集得到图像。
可选地，第一样本图像可以是样本视频中的视频图像帧，该样本视频是终端预先存储或实时接收的视频，第一样本图像也可以是终端获取的任意图像，例如，终端相册中存储的静态图像、终端显示界面的截图、终端通过摄像设备实时采集得到的照片图像等。
步骤720，对第一样本图像进行下采样得到第二样本图像。
其中，第二样本图像的图像尺寸小于第一样本图像，第二样本图像的图像分辨率低于第一样本图像。
可选地，可以采用checkboard下采样策略对第一样本图像进行下采样。
在一些实施例中，步骤720包括如下步骤：
第一步，按照预设的棋格尺寸对第一样本图像进行棋盘划分，得到棋盘样本图像。
其中，棋盘样本图像中包括多个棋格区域。
在一些实施例中，棋格区域是符合棋格尺寸的矩形区域，棋格尺寸用于指示棋格区域中的像素数量。
示意性的，按照1*1像素的棋格尺寸对N*N像素的第一样本图像进行棋盘划分，得到包括N2个棋格区域的棋盘样本图像，N为正整数。
第二步，按照预设规律确定多个棋格区域中的部分棋格区域为无效区域。
在一些实施例中，预设规律实现为将棋盘样本图像中位于预设行或预设列的棋格区域确定为无效区域。
示意性的，假设预设的棋格尺寸为n*n个像素，第一样本图像尺寸为N*N个像素，对第一样本图像进行棋盘划分得到的棋盘样本图像中包括m行m列共m*m个棋格区域，将棋盘样本图像中位于奇数行或奇数列的棋格区域确定为无效区域，其中，n、m、N为正整数。
示意性的，假设存在多个不同的第一样本图像，预设的棋格尺寸为n*n个像素，每个第一样本图像尺寸为N*N个像素，对第一样本图像进行棋盘划分得到的棋盘样本图像中包括m行m列共m*m个棋格区域，将第i个棋盘样本图像中位于奇数行或奇数列的棋格区域确定为第i个棋盘样本图像的无效区域，第i+1个棋盘样本图像中位于偶数行或偶数列的棋格区域确定为第i+1个棋盘样本图像的无效区域，其中，n、m、N为正整数，i为奇数。
在一些实施例中，预设规律实现为以矩形棋盘形状按照预设棋格数量对棋盘样本图像中多个棋格区域进行棋盘分组，得到多个子棋盘区域，将每个子棋盘区域中预设位置的棋格区域确定为无效区域，其中，每个子棋盘区域符合矩形棋盘形状，每个子棋盘区域包括预设棋格数量的棋格区域。可选地，每个子棋盘区域对应的预设位置可以相同，也可以不同。
第三步，通过删除棋盘样本图像中无效区域的像素，压缩棋盘样本图像得到第二样本图像。
示意性的，请参考图8，图8是本申请一个示例性实施例提供的下采样示意图，如图8所示，棋盘样本图像810中包括无效区域811，删除棋盘样本图像中无效区域811的像素，压缩棋盘样本图像810得到第二样本图像820。
值得注意的是，上述下采样方式仅为示例性举例，本申请对此不加以限定。具体实施细节可参照步骤210中的下采样方式，此处不再赘述。
步骤730，对第二样本图像进行压缩得到第三样本图像。
可选地，可以通过MPEG标准、H.264标准、H.265标准等视频压缩编码标准指示的压缩方法对第二样本图像进行压缩。
在一些实施例中，步骤730实现为对第二样本图像进行压缩编码得到第二编码数据，对第二编码数据进行解码得到第三样本图像。
在一些实施例中，采用同一视频压缩编码标准对第二样本图像进行压缩编码和解码。
在一些实施例中，按照不同的压缩系数对第二样本图像进行压缩，得到不同压缩程度的第三样本图像，使候选压缩感知超分辨率模型能够对不同压缩程度的图像进行超分辨率重建。
在一些实施例中，对第二样本图像的压缩过程包括如下两个步骤：
第一步，获取预设的多个压缩系数。
其中，压缩系数用于指示传输码率。
在一些实施例中，压缩系数用于指示压缩程度，也即，第三样本图像中的图像数据量，可选地，压缩系数与压缩程度呈正比，压缩系数越大，压缩程度越高，第三样本图像中的图像数据量越少。
在一些实施例中，压缩系数是视频传输过程中发送方基于可用带宽确定的，因此，压缩系数可以指示传输码率，通过获取不同压缩系数下的第三样本图像作为模型输入，可以使候选压缩感知超分辨率模型适应基于不同的传输码率下接收的编码数据解码得到的压缩图像。
示意性的，采用固定速率系数（Constant Rate Factor，CRF）作为压缩系数，获取预设的多个CRF。
第二步，按照多个压缩系数分别对第二样本图像进行压缩得到多个第三样本图像。
示意性的，按照CRF=15、CRF=25、CRF=35分别对第二样本图像进行压缩得到三个不同压缩程度下的第三样本图像。
示意性的，请参考图9，图9是本申请一个示例性实施例提供的图像压缩示意图，如图9所示，获取原始图像910，对原始图像910下采样4倍并分别采用压缩系数为15、25、35对下采样得到的图像进行压缩，分别得到压缩图像921、压缩图像922、压缩图像923，其中，压缩系数越高，压缩图像对应的压缩程度越高。将压缩图像921、压缩图像922、压缩图像923作为三个不同压缩程度下的第三样本图像输入候选压缩感知超分辨率模型参与模型训练，使模型适应不同的压缩系数。
步骤740，将第三样本图像输入候选压缩感知超分辨率模型，输出得到第四样本图像。
其中，第四样本图像的图像尺寸和图像分辨率与第一样本图像相同。
在一些实施例中，采用COMISR模型作为候选压缩感知超分辨率模型，将第三样本图像输入COMISR模型，输出得到图像尺寸和图像分辨率与第一样本图像相同的第四样本图像。
步骤750，基于第一样本图像和第四样本图像之间的差异对候选压缩感知超分辨率模型进行训练，得到压缩感知超分辨率模型。
在一些实施例中，基于第一样本图像和第四样本图像之间的差异，确定预测损失值，基于预测损失值对候选压缩感知超分辨率模型进行训练，得到压缩感知超分辨率模型。
在一些实施例中，基于第一样本图像和第四样本图像之间的像素差值确定预测损失值，例如，获取第一样本图像和第四样本图像同一位置的像素差值，对每个位置分别对应的像素差值求和得到预测损失值。
在一些实施例中，基于预测损失值对候选压缩感知超分辨率模型进行训练，直到符合训练要求，得到压缩感知超分辨率模型。
可选地，训练要求包括如下至少一种：预测损失值收敛、预测损失值达到预设损失范围、训练轮数达到预设数量阈值等。
示意性的，请参考图10，图10是本申请一个示例性实施例提供的模型训练示意图，如图10所示，获取第一样本图像1010，对第一样本图像进行下采样得到第二样本图像1020，对第二样本图像1020进行压缩得到第三样本图像1030，通过候选压缩感知超分辨率模型对第三样本图像1030进行超分辨率重建得到第四样本图像1040，基于第一样本图像1010和第四样本图像1040之间的差异对候选压缩感知超分辨率模型进行训练。
综上所述，本申请实施例提供的方法，通过获取第一样本图像，对第一样本图像进行下采样得到第二样本图像，其中，第二样本图像的图像尺寸小于第一样本图像，第二样本图像的图像分辨率低于第一样本图像，对第二样本图像进行压缩得到第三样本图像，将第三样本图像输入候选压缩感知超分辨率模型，输出得到第四样本图像，其中，第四样本图像的图像尺寸和图像分辨率与第一样本图像相同，基于第一样本图像和第四样本图像之间的差异对候选压缩感知超分辨率模型进行训练，得到压缩感知超分辨率模型，明确了压缩感知超分辨率模型的训练方法，使压缩感知超分辨率模型能够基于压缩后的图像还原视频中的图像，提高了视频画质。
本申请实施例提供的方法，通过按照预设的棋格尺寸对第一样本图像进行棋盘划分，得到棋盘样本图像，按照预设规律确定多个棋格区域中的部分棋格区域为无效区域，通过删除棋盘样本图像中无效区域的像素，压缩棋盘样本图像得到第二样本图像，实现对第一样本图像的下采样，大幅度降低第二样本图像的图像数据量，为适应低码率传输提供基础。
本申请实施例提供的方法，通过获取预设的多个压缩系数，按照多个压缩系数分别对第二样本图像进行压缩得到多个第三样本图像，使训练过程中的模型输入包括不同压缩程度的压缩图像，使模型在应用过程中能够适应不同传输码率下对应的不同压缩程度的压缩图像，提高还原质量。
示意性的，请参考图11，其示出了本申请另一个示例性实施例提供的视频的传输方法的流程图，该方法可以应用于终端，也可以应用于服务器，也可以由终端和服务器共同执行，本申请实施例以该方法应用于服务器为例进行说明，如图11所示，该方法包括如下步骤：
步骤1110，获取第二图像帧。
其中，第二图像帧是视频中待传输的视频图像帧。
在一些实施例中，待传输的视频可以是服务器中预先存储的视频，也可以是服务器中实时采集生成或接收到的视频。
示意性的，以视频直播为例，由主播端实时采集视频数据传输至服务器，由服务器对视频中第二图像帧进行处理并传输给观众端。
步骤1120，对第二图像帧进行下采样得到第一图像帧。
可选地，可以采用棋盘（checkboard）下采样策略对第二图像帧进行下采样。在一些实施例中，当采用棋盘下采样策略时，按照预设的棋格尺寸对第二图像帧进行棋盘划分，得到多个棋格区域，按照预设规律确定多个棋格区域中的部分棋格区域为无效区域，通过删除第二图像帧中无效区域的像素，实现对第二图像帧的下采样，压缩得到第一图像帧。
可选地，相对于视频中的多个图像帧，预设规律可以用于指示将图像帧固定位置的棋格区域确定为无效区域，也可以用于指示针对不同图像帧将不同位置的棋格区域确定为无效区域。
在一些实施例中，预设规律实现为将第二图像帧中位于预设行或预设列的棋格区域确定为无效区域。
示意性的，假设预设的棋格尺寸为n*n个像素，第二图像帧尺寸为N*N个像素，第二图像帧中包括m行m列共m*m个棋格区域，将第二图像帧中位于奇数行或奇数列的棋格区域确定为无效区域，其中，n、m、N为正整数。
示意性的，假设预设的棋格尺寸为n*n个像素，第二图像帧尺寸为N*N个像素，第二图像帧中包括m行m列共m*m个棋格区域，视频中包括多个第二图像帧，将视频中第i个第二图像帧中位于奇数行或奇数列的棋格区域确定为第i个第二图像帧的无效区域，第i+1个第二图像帧中位于偶数行或偶数列的棋格区域确定为第i+1个第二图像帧的无效区域，其中，n、m、N为正整数，i为奇数。
在一些实施例中，预设规律实现为以矩形棋盘形状按照预设棋格数量对第二图像帧中多个棋格区域进行棋盘分组，得到多个子棋盘区域，将每个子棋盘区域中预设位置的棋格区域确定为无效区域，其中，每个子棋盘区域符合矩形棋盘形状，每个子棋盘区域包括预设棋格数量的棋格区域。可选地，每个子棋盘区域对应的预设位置可以相同，也可以不同。
值得注意的是，上述下采样方式仅为示例性举例，本申请对此不加以限定。
步骤1130，对第一图像帧进行压缩编码得到第一编码数据。
在一些实施例中，第一编码数据是第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，可选地，可以通过MPEG（运动图像专家组，Moving Picture ExpertsGroup）标准、高等视频编码（Advanced Video Coding，ADC）标准（又称H.264标准）、H.265标准等视频压缩编码标准指示的压缩编码方法对第一图像帧进行压缩编码。
步骤1140，以第一传输码率向终端发送第一编码数据。
其中，终端用于以第一传输码率接收第一编码数据并对第一编码数据进行解码得到第三图像帧，对第三图像帧进行超分辨率重建得到第四图像帧。第一传输码率低于预设码率阈值，第三图像帧是第一图像帧对应的压缩图像，第四图像帧用于还原视频中的第二图像帧。
在一些实施例中，第一传输码率用于指示服务器在单位时间内发送的第一编码数据的数据量，预设码率阈值用于指示服务器在视频传输过程中的传输码率上限，服务器以低于预设码率阈值的第一传输码率发送第一编码数据可以确保服务器进行低码率的视频传输。
可选地，第一传输码率可以是固定的，也可以是实时变化的。
可选地，第一传输码率可以是预设的，也可以是服务器基于视频传输过程中的可用带宽确定的，还可以是基于视频传输过程中接收方的传输码率确定的。
综上所述，本申请实施例提供的方法，通过获取视频中待传输的第二图像帧，对第二图像帧进行下采样得到第一编码数据，以第一传输码率向终端发送第一编码数据，通过下采样较少第一编码数据的数据量，简化压缩编码的复杂性，降低了传输延迟，提高了视频的传输效率，并且通过用于接收第一编码数据的终端对第一编码数据进行解码得到第三图像帧，对第三图像帧进行超分辨率重建得到第四图像帧，实现了对视频中第二图像帧的还原，由于第一传输码率低于预设码率阈值，从而在基于视频压缩的低码率传输中，提高了视频画质。
本申请实施例提供的视频的传输方法可以用于任意带宽和网络资源有限的场景，用于提高在低码率传输中提高视频画质，在一些实施例中，可以根据实际带宽的情况，选择相应的视频传输方法，示意性的，请参考图12，图12是本申请一个示例性实施例提供的视频画质对比图，如图12所示，采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）评估视频画质，折线1用于指示本申请实施例提供的视频的传输方法在给定传输码率区间内的视频画质，折线2用于指示采用H.264标准在给定传输码率区间内的视频画质，折线3用于指示采用H.265标准在给定传输码率区间内的视频画质，折线4用于指示采用传统超分辨率重建方法在给定传输码率区间内的视频画质，其中，在低码率区间1210中，折线1高于其他折线，即，本申请实施例提供的视频的传输方法在低码率区间1210中视频画质最佳。可选地，本申请实施例中采用的第一传输码率属于低码率区间1210。
图13是本申请一个示例性实施例提供的视频的传输装置的结构框图，如图13所示，该装置包括如下部分：
接收模块1310，用于以第一传输码率接收第一编码数据，所述第一传输码率低于预设码率阈值，所述第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，所述第一图像帧是对所述视频中的第二图像帧进行下采样得到的图像帧；
处理模块1320，用于对所述第一编码数据进行解码得到第三图像帧，所述第三图像帧是所述第一图像帧对应的压缩图像；
所述处理模块1320，还用于对所述第三图像帧进行超分辨率重建得到第四图像帧，所述第四图像帧用于还原所述视频中的所述第二图像帧。
在一些实施例中，所述处理模块1320用于：
通过预先训练的压缩感知超分辨率模型对所述第三图像帧进行超分辨率重建，得到所述第四图像帧，所述压缩感知超分辨率模型用于对压缩后的图像进行超分辨率重建，所述压缩感知超分辨率模型是基于所述视频中的视频图像帧与对应的重建图像之间的差异训练得到的，所述重建图像是所述压缩感知超分辨率模型在训练过程中基于所述视频图像帧对应的压缩图像进行超分辨率重建得到的图像。
请参考图14，图14是本申请一个示例性实施例提供的视频的传输装置模块的结构框图，如图14所示，在一些实施例中，所述处理模块1320，包括：
第一处理单元1321，用于获取第一样本图像；
第二处理单元1322，用于对所述第一样本图像进行下采样得到第二样本图像，所述第二样本图像的图像尺寸小于所述第一样本图像，所述第二样本图像的图像分辨率低于所述第一样本图像；
第三处理单元1323，用于对所述第二样本图像进行压缩得到第三样本图像；
第四处理单元1324，用于将所述第三样本图像输入候选压缩感知超分辨率模型，输出得到第四样本图像，所述第四样本图像的图像尺寸和图像分辨率与所述第一样本图像相同；
第五处理单元1325，用于基于所述第一样本图像和所述第四样本图像之间的差异对所述候选压缩感知超分辨率模型进行训练，得到所述压缩感知超分辨率模型。
在一些实施例中，第二处理单元1322，包括：
划分子单元1301，用于按照预设的棋格尺寸对所述第一样本图像进行棋盘划分，得到棋盘样本图像，所述棋盘样本图像中包括多个棋格区域；
确定子单元1302，用于按照预设规律确定所述多个棋格区域中的部分棋格区域为无效区域；
压缩子单元1303，用于通过删除所述棋盘样本图像中所述无效区域的像素，压缩所述棋盘样本图像得到所述第二样本图像。
在一些实施例中，所述确定子单元1302用于：
将所述棋盘样本图像中位于预设列或预设行的所述部分棋格区域确定为所述无效区域；或者，
以矩形棋盘形状按照预设的棋格数量对所述棋盘样本图像中所述多个棋格区域进行棋盘分组，得到多个子棋盘区域，将每个子棋盘区域中预设位置的棋格区域确定为所述无效区域，所述每个子棋盘区域符合所述矩形棋盘形状，所述每个子棋盘区域包括所述棋格数量的棋格区域。
在一些实施例中，所述第三处理单元1323用于：
对所述第二样本图像进行压缩编码得到第二编码数据；
对所述第二编码数据进行解码得到所述第三样本图像。
在一些实施例中，所述第三处理单元1323用于：
获取预设的多个压缩系数，所述压缩系数用于指示传输码率；
按照所述多个压缩系数分别对所述第二样本图像进行压缩得到多个第三样本图像。
在一些实施例中，所述处理模块1320，还用于：
显示所述第四图像帧；或者，
获取终端分辨率参数，按照所述终端分辨率参数对所述第四图像帧进行下采样得到第五图像帧，并显示所述第五图像帧，所述终端分辨率参数指示的分辨率低于所述第四图像帧的图像分辨率。
在一些实施例中，所述接收模块1310用于：
以第一传输码率接收服务器传输的第一编码数据，所述服务器用于获取所述第二图像帧，并对所述第二图像帧进行下采样得到所述第一图像帧；所述服务器还用于对所述第一图像帧进行压缩编码得到所述第一编码数据，并以所述第一传输码率向终端发送所述第一编码数据。
综上所述，本申请实施例提供的装置，通过以第一传输码率接收第一编码数据，其中，第一传输码率低于预设码率阈值，第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，对第一编码数据进行解码得到第三图像帧，第三图像帧是第一图像帧对应的压缩图像，对第三图像帧进行超分辨率重建得到第四图像帧，第四图像帧用于还原视频中的第二图像帧，实现以第一传输码率对视频的传输，由于第一图像帧是对视频中的第二图像帧进行下采样得到的图像帧，减少了第一编码数据的数据量，简化了压缩过程中编解码的复杂性，从而降低了传输延迟。并且，在保障以第一传输码率进行视频传输的同时，通过对第三图像帧进行超分辨率重建得到第四图像帧还原了视频中的第二图像帧，而第一传输码率低于预设码率阈值，从而在基于视频压缩的低码率传输中，提高了视频画质。
图15是本申请另一个示例性实施例提供的视频的传输装置的结构框图，如图15所示，该装置包括如下部分：
处理模块1510，用于获取第二图像帧，所述第二图像帧是所述视频中待传输的视频图像帧；
所述处理模块1510，还用于对所述第二图像帧进行下采样得到第一图像帧；
所述处理模块1510，还用于对所述第一图像帧进行压缩编码得到第一编码数据；
发送模块1520，用于以第一传输码率向终端发送所述第一编码数据，所述终端用于接收所述第一编码数据并对所述第一编码数据进行解码得到第三图像帧，对所述第三图像帧进行超分辨率重建得到第四图像帧；所述第一传输码率低于预设码率阈值，所述第三图像帧是所述第一图像帧对应的压缩图像，所述第四图像帧用于还原所述视频中的所述第二图像帧。
综上所述，本申请实施例提供的装置，通过获取视频中待传输的第二图像帧，对第二图像帧进行下采样得到第一编码数据，以第一传输码率向终端发送第一编码数据，通过下采样较少第一编码数据的数据量，简化压缩编码的复杂性，降低了传输延迟，提高了视频的传输效率，并且通过用于接收第一编码数据的终端对第一编码数据进行解码得到第三图像帧，对第三图像帧进行超分辨率重建得到第四图像帧，实现了对视频中第二图像帧的还原，由于第一传输码率低于预设码率阈值，从而在基于视频压缩的低码率传输中，提高了视频画质。
需要说明的是：上述实施例提供的视频的传输装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
图16示出了本申请一个示例性实施例提供的终端1600的结构框图。该终端1600可以是：智能手机、平板电脑、MP3播放器、MP4播放器、笔记本电脑或台式电脑。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1600包括有：处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1601可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（CentralProcessing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1601可以在集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1601还可以包括人工智能（Artificial Intelligence，AI）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的视频的传输方法。
在一些实施例中，终端1600还包括其他组件，本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请的实施例还提供了一种计算机设备，该计算机设备可以实现为如图1所示的终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的视频的传输方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的视频的传输方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的视频的传输方法。
可选地，该计算机可读存储介质可以包括：只读存储器（Read Only Memory，ROM）、随机存取记忆体（Random Access Memory，RAM）、固态硬盘（Solid State Drives，SSD）或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体（Resistance Random AccessMemory，ReRAM）和动态随机存取存储器（Dynamic Random Access Memory，DRAM）。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (14)
1.一种视频的传输方法，其特征在于，所述方法包括：
以第一传输码率接收第一编码数据，所述第一传输码率低于预设码率阈值，所述第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，所述第一图像帧是对所述视频中的第二图像帧进行下采样得到的图像帧；
对所述第一编码数据进行解码得到第三图像帧，所述第三图像帧是所述第一图像帧对应的压缩图像；
对所述第三图像帧进行超分辨率重建得到第四图像帧，所述第四图像帧用于还原所述视频中的所述第二图像帧。
2.根据权利要求1所述的方法，其特征在于，所述对所述第三图像帧进行超分辨率重建得到第四图像帧，包括：
通过预先训练的压缩感知超分辨率模型对所述第三图像帧进行超分辨率重建，得到所述第四图像帧；
所述压缩感知超分辨率模型用于对压缩后的图像进行超分辨率重建，所述压缩感知超分辨率模型是基于所述视频中的视频图像帧与对应的重建图像之间的差异训练得到的，所述重建图像是所述压缩感知超分辨率模型在训练过程中基于所述视频图像帧对应的压缩图像进行超分辨率重建得到的图像。
3.根据权利要求2所述的方法，其特征在于，所述通过预先训练的压缩感知超分辨率模型对所述第三图像帧进行超分辨率重建，得到所述第四图像帧之前，还包括：
获取第一样本图像；
对所述第一样本图像进行下采样得到第二样本图像，所述第二样本图像的图像尺寸小于所述第一样本图像，所述第二样本图像的图像分辨率低于所述第一样本图像；
对所述第二样本图像进行压缩得到第三样本图像；
将所述第三样本图像输入候选压缩感知超分辨率模型，输出得到第四样本图像，所述第四样本图像的图像尺寸和图像分辨率与所述第一样本图像相同；
基于所述第一样本图像和所述第四样本图像之间的差异对所述候选压缩感知超分辨率模型进行训练，得到所述压缩感知超分辨率模型。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一样本图像进行下采样得到第二样本图像，包括：
按照预设的棋格尺寸对所述第一样本图像进行棋盘划分，得到棋盘样本图像，所述棋盘样本图像中包括多个棋格区域；
按照预设规律确定所述多个棋格区域中的部分棋格区域为无效区域；
通过删除所述棋盘样本图像中所述无效区域的像素，压缩所述棋盘样本图像得到所述第二样本图像。
5.根据权利要求4所述的方法，其特征在于，所述按照预设规律确定所述多个棋格区域中的部分棋格区域为无效区域，包括：
将所述棋盘样本图像中位于预设列或预设行的所述部分棋格区域确定为所述无效区域；或者，
以矩形棋盘形状按照预设的棋格数量对所述棋盘样本图像中所述多个棋格区域进行棋盘分组，得到多个子棋盘区域，将每个子棋盘区域中预设位置的棋格区域确定为所述无效区域，所述每个子棋盘区域符合所述矩形棋盘形状，所述每个子棋盘区域包括所述棋格数量的棋格区域。
6.根据权利要求3所述的方法，其特征在于，所述对所述第二样本图像进行压缩得到第三样本图像，包括：
对所述第二样本图像进行压缩编码得到第二编码数据；
对所述第二编码数据进行解码得到所述第三样本图像。
7.根据权利要求3所述的方法，其特征在于，所述对所述第二样本图像进行压缩得到第三样本图像包括：
获取预设的多个压缩系数，所述压缩系数用于指示传输码率；
按照所述多个压缩系数分别对所述第二样本图像进行压缩得到多个第三样本图像。
8.根据权利要求1至7任一所述的方法，其特征在于，所述对所述第三图像帧进行超分辨率重建得到第四图像帧之后，还包括：
显示所述第四图像帧；或者，
获取终端分辨率参数，按照所述终端分辨率参数对所述第四图像帧进行下采样得到第五图像帧，并显示所述第五图像帧，所述终端分辨率参数指示的分辨率低于所述第四图像帧的图像分辨率。
9.根据权利要求1至7任一所述的方法，其特征在于，所述以第一传输码率接收第一编码数据，包括：
以第一传输码率接收服务器传输的第一编码数据，所述服务器用于获取所述第二图像帧，并对所述第二图像帧进行下采样得到所述第一图像帧；所述服务器还用于对所述第一图像帧进行压缩编码得到所述第一编码数据，并以所述第一传输码率向终端发送所述第一编码数据。
10.一种视频的传输方法，其特征在于，所述方法包括：
获取第二图像帧，所述第二图像帧是所述视频中待传输的视频图像帧；
对所述第二图像帧进行下采样得到第一图像帧；
对所述第一图像帧进行压缩编码得到第一编码数据；
以第一传输码率向终端发送所述第一编码数据，所述终端用于以所述第一传输码率接收所述第一编码数据并对所述第一编码数据进行解码得到第三图像帧，对所述第三图像帧进行超分辨率重建得到第四图像帧；所述第一传输码率低于预设码率阈值，所述第三图像帧是所述第一图像帧对应的压缩图像，所述第四图像帧用于还原所述视频中的所述第二图像帧。
11.一种视频的传输装置，其特征在于，所述装置包括：
接收模块，用于以第一传输码率接收第一编码数据，所述第一传输码率低于预设码率阈值，所述第一编码数据是对第一图像帧进行压缩编码后得到的编码数据，所述第一图像帧是对所述视频中的第二图像帧进行下采样得到的图像帧；
处理模块，用于对所述第一编码数据进行解码得到第三图像帧，所述第三图像帧是所述第一图像帧对应的压缩图像；
所述处理模块，还用于对所述第三图像帧进行超分辨率重建得到第四图像帧，所述第四图像帧用于还原所述视频中的所述第二图像帧。
12.一种视频的传输装置，其特征在于，所述装置包括：
处理模块，用于获取第二图像帧，所述第二图像帧是所述视频中待传输的视频图像帧；
所述处理模块，还用于对所述第二图像帧进行下采样得到第一图像帧；
所述处理模块，还用于对所述第一图像帧进行压缩编码得到第一编码数据；
发送模块，用于以第一传输码率向终端发送所述第一编码数据，所述终端用于接收所述第一编码数据并对所述第一编码数据进行解码得到第三图像帧，对所述第三图像帧进行超分辨率重建得到第四图像帧；所述第一传输码率低于预设码率阈值，所述第三图像帧是所述第一图像帧对应的压缩图像，所述第四图像帧用于还原所述视频中的所述第二图像帧。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至10任一所述的视频的传输方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至10任一所述的视频的传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310994239.4A CN116708793B (zh) | 2023-08-09 | 2023-08-09 | 视频的传输方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310994239.4A CN116708793B (zh) | 2023-08-09 | 2023-08-09 | 视频的传输方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116708793A true CN116708793A (zh) | 2023-09-05 |
| CN116708793B CN116708793B (zh) | 2024-01-30 |
Family
ID=87843744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310994239.4A Active CN116708793B (zh) | 2023-08-09 | 2023-08-09 | 视频的传输方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116708793B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103096049A (zh) * | 2011-11-02 | 2013-05-08 | 华为技术有限公司 | 一种视频处理方法及系统、相关设备 |
| CN106412575A (zh) * | 2016-09-13 | 2017-02-15 | 广州视源电子科技股份有限公司 | 检测显示器的方法及装置 |
| CN108182694A (zh) * | 2017-12-29 | 2018-06-19 | 浙江大学 | 一种基于插值的运动估计与自适应视频重建方法 |
| CN111314335A (zh) * | 2020-02-10 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 数据传输方法、装置、终端、存储介质和系统 |
| CN111798422A (zh) * | 2020-06-29 | 2020-10-20 | 福建汇川物联网技术科技股份有限公司 | 棋盘格角点识别方法、装置、设备及存储介质 |
| CN111970513A (zh) * | 2020-08-14 | 2020-11-20 | 成都数字天空科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113382242A (zh) * | 2021-05-20 | 2021-09-10 | 北京大学深圳研究生院 | 码率控制方法、装置、设备及计算机可读存储介质 |
| CN114157863A (zh) * | 2022-02-07 | 2022-03-08 | 浙江智慧视频安防创新中心有限公司 | 基于数字视网膜的视频编码方法、系统及存储介质 |
-
2023
- 2023-08-09 CN CN202310994239.4A patent/CN116708793B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103096049A (zh) * | 2011-11-02 | 2013-05-08 | 华为技术有限公司 | 一种视频处理方法及系统、相关设备 |
| CN106412575A (zh) * | 2016-09-13 | 2017-02-15 | 广州视源电子科技股份有限公司 | 检测显示器的方法及装置 |
| CN108182694A (zh) * | 2017-12-29 | 2018-06-19 | 浙江大学 | 一种基于插值的运动估计与自适应视频重建方法 |
| CN111314335A (zh) * | 2020-02-10 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 数据传输方法、装置、终端、存储介质和系统 |
| CN111798422A (zh) * | 2020-06-29 | 2020-10-20 | 福建汇川物联网技术科技股份有限公司 | 棋盘格角点识别方法、装置、设备及存储介质 |
| CN111970513A (zh) * | 2020-08-14 | 2020-11-20 | 成都数字天空科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113382242A (zh) * | 2021-05-20 | 2021-09-10 | 北京大学深圳研究生院 | 码率控制方法、装置、设备及计算机可读存储介质 |
| CN114157863A (zh) * | 2022-02-07 | 2022-03-08 | 浙江智慧视频安防创新中心有限公司 | 基于数字视网膜的视频编码方法、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王路 等: "浅析第II代DTV平台中几项关键技术", 《中国有线电视》, pages 3 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116708793B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111970513A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112102212B (zh) | 一种视频修复方法、装置、设备及存储介质 | |
| CN110049336B (zh) | 视频编码方法和视频解码方法 | |
| CN112954398B (zh) | 编码方法、解码方法、装置、存储介质及电子设备 | |
| CN113747242B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110969572B (zh) | 换脸模型训练方法、人脸互换方法、装置及电子设备 | |
| CN111510739B (zh) | 一种视频传输方法及装置 | |
| KR20200050284A (ko) | 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법 | |
| CN116233445B (zh) | 视频的编解码处理方法、装置、计算机设备和存储介质 | |
| CN111464812B (zh) | 编码解码的方法、系统、装置、存储介质及处理器 | |
| WO2023050720A1 (zh) | 图像处理方法、图像处理装置、模型训练方法 | |
| CN113747160B (zh) | 视频编码配置方法、装置、设备及计算机可读存储介质 | |
| CN113852816A (zh) | 视频帧处理方法、装置、计算机设备和可读存储介质 | |
| CN113574886B (zh) | 图像传输方法及装置 | |
| CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 | |
| CN108668169B (zh) | 图像信息处理方法及装置、存储介质 | |
| CN116170636A (zh) | 直播视频播放方法及其装置、设备、介质 | |
| CN116320395A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN115643406A (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| CN104104958A (zh) | 图像解码方法及其图像解码装置 | |
| US20230016302A1 (en) | Task-oriented dynamic mesh compression using occupancy networks | |
| CN114205646B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN117915106A (zh) | 编码方法及装置、电子设备及计算机可读存储介质 | |
| CN116708863A (zh) | 直播视频编码方法、视频直播方法、设备及存储介质 | |
| CN116419032A (zh) | 一种视频播放方法、装置、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40093256 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |