CN113347421B - 视频编码和解码方法、装置和计算机设备 - Google Patents

视频编码和解码方法、装置和计算机设备 Download PDF

Info

Publication number
CN113347421B
CN113347421B CN202110615456.9A CN202110615456A CN113347421B CN 113347421 B CN113347421 B CN 113347421B CN 202110615456 A CN202110615456 A CN 202110615456A CN 113347421 B CN113347421 B CN 113347421B
Authority
CN
China
Prior art keywords
key frame
video
image
frame image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110615456.9A
Other languages
English (en)
Other versions
CN113347421A (zh
Inventor
曹文锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Priority to CN202110615456.9A priority Critical patent/CN113347421B/zh
Publication of CN113347421A publication Critical patent/CN113347421A/zh
Priority to US17/728,347 priority patent/US20220394283A1/en
Application granted granted Critical
Publication of CN113347421B publication Critical patent/CN113347421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种视频编码和解码方法、装置、计算机设备和存储介质。所述方法包括：针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别；视频帧序列包括以预定帧率采集的多个非关键帧图像；根据预存的不同重要级别与不同分辨率之间的第一对应关系，将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率；其中，在第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有目标最高分辨率；对视频帧序列执行视频编码，以得到视频编码后的视频数据。采用本方法能够降低视频占用的内存和带宽。

Description

视频编码和解码方法、装置和计算机设备
技术领域
本申请涉及视频编解码技术领域，特别是涉及一种视频编码方法、视频解码方法、装置、计算机设备和存储介质。
背景技术
视频是由连续的帧图像构成的视频帧序列。原始的视频帧序列需要占用很大的内存或带宽，导致存储和传输困难。由于连续的帧图像之间具有相似性，为便于储存和传输，可以通过视频编码技术对原始的视频进行编码压缩，将原始视频格式的文件转换成另一种视频格式文件，以去除空间、时间维度的冗余。在需要使用原始视频时，可以通过视频解码还原得到原始的视频帧序列。
常见的视频的编解码标准例如有国际电联的H.261、H.263、H.264等等。然而上述现有视频编解码方法中，仍然需要占用较多的内存和带宽，存在着优化的空间。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低内存或带宽占用量的视频编码方法、视频解码方法、装置、计算机设备和存储介质。
在一方面，提供一种视频编码方法，包括：
针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别；视频帧序列包括以预定帧率采集的多个非关键帧图像；根据预存的不同重要级别与不同分辨率之间的第一对应关系，将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率；其中，在第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有目标最高分辨率；对视频帧序列执行视频编码，以得到视频编码后的视频数据。
在一个实施例中，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别，包括：针对视频帧序列中的每一非关键帧图像，获取当前非关键帧图像中的对象和对象占据的对象区域；根据对象和对象占据的对象区域的信息，以及预存的不同对象与不同重要级别之间的第二对应关系，确定非关键帧图像中各个对象区域对应的重要级别；根据预定的子图像块尺寸，将非关键帧图像划分为多个子图像块；根据各个对象区域对应的重要级别，确定多个子图像块中每个子图像块对应的重要级别。
在一个实施例中，对视频帧序列执行视频编码，以得到视频编码后的视频数据包括：针对视频帧序列中各个分辨率转换后的非关键帧图像，将当前非关键帧图像中每个子图像块依照该子图像块所具有的重要级别的不同以不同的码率执行视频编码，以得到视频编码后的视频数据；其中，同一非关键帧图像中，重要级别越高的子图像块被以越高的码率执行视频编码。
在一个实施例中，视频帧序列还包括以可变帧率采集的多个关键帧图像；视频编码方法还包括：在将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率时，还使得每一关键帧图像具有目标最高分辨率；对视频帧序列执行视频编码，以得到视频编码后的视频数据包括：针对视频帧序列中各个分辨率转换后的非关键帧图像和关键帧图像，执行视频编码，以得到视频编码后的视频数据。
在一个实施例中，可变帧率根据采集所述视频帧序列的载体设备的运动速度和/或位置而实时变化。
在另一方面，提供一种视频解码方法，其用于对如上任一实施例的视频编码方法得到的视频数据执行视频解码，该视频解码方法包括：对视频数据执行视频解码，以得到解码后的视频帧序列，解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率；将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
在一个实施例中，将每一非关键帧图像重建为具有目标最高分辨率的图像包括：通过双线性差值法，将每一非关键帧图像中各个对象区域的分辨率统一为具有目标最高分辨率。
在一个实施例中，解码后的视频帧序列还包括以可变帧率采集的多个关键帧图像；将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列，包括：针对每一非关键帧图像，获取当前非关键帧图像被采集的时刻以及采集当前非关键帧图像的载体设备在时刻的位置；从多个关键帧图像中，确定与被采集的时刻最接近的第一关键帧图像和与时刻的位置最接近的第二关键帧图像；基于第一关键帧图像和第二关键帧图像，以及预先训练好的超分辨率模型，确定当前非关键帧图像中低于目标最高分辨率的区域的插值数据，以将当前非关键帧图像重建为具有目标最高分辨率的非关键帧图像；其中，超分辨模型数据由对具有低于目标最高分辨率的重要级别的对象所采集的预定数量的帧图像训练得到；组合针对每一非关键帧图像重建的具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
在一个实施例中，将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像之后，还包括：对具有目标最高分辨率的非关键帧图像执行去块滤波。
在另一方面，提供一种视频编码装置，包括：
子图块级别划分模块，用于针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别；视频帧序列包括以预定帧率采集的多个非关键帧图像；
分辨率转换模块，用于根据预存的不同重要级别与分辨率之间的第一对应关系，将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率；其中，在第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有目标最高分辨率；
视频编码模块，用于对视频帧序列执行视频编码，以得到视频编码后的视频数据。
在另一方面，提供一种视频解码装置，包括：
视频解码模块，用于对视频数据执行视频解码，以得到解码后的视频帧序列，解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率；
视频重建模块，用于将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
在另一方面，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现如上任一实施例的视频编码方法的步骤。
在另一方面，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现如上任一实施例的视频解码方法的步骤。
在另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上任一实施例的视频编码方法的步骤。
在另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上任一实施例的视频解码方法的步骤。
上述视频编码方法、视频解码方法、装置、计算机设备和存储介质，在视频编码时，按照各个非关键帧图像中的对象的重要程度，将非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别，并将重要级别更高的子图像块按照更高的分辨率进行编码，而重要级别更低的子图像块按照更多的呃分辨率进行编码，从而在优先确保重要级别较高的图像区域的高编码质量的同时，降低重要级别较低的图像区域占用的内存和带宽，从而在保证所需的编码质量的情况下，有效降低了编码得到的视频数据占用的内存和带宽。在视频解码时，通过将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，提升了分辨率较低的图像区域的分辨率和清晰度，保证了解码得到的视频帧序列具有良好的目标最高分辨率。
附图说明
图1为一个实施例中视频编码方法和视频解码方法的应用环境图；
图2为一个实施例中视频编码方法的流程示意图；
图3为一个实施例中第一对应关系和第二对应关系的示意图；
图4为一个实施例中根据图3所示的第一对应关系和第二对应关系确定了对象和对象区域的帧图像的示意图；
图5为一个实施例中基于图4所示的帧图像分割确定的子图像块以及各个子图像块对应的重要级别的示意谱图；
图6为另一个实施例中视频编码方法的流程示意图；
图7为一个实施例中视频解码方法的流程示意图；
图8为一个实施例中视频编码装置的结构框图；
图9为一个实施例中视频解码装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的视频编码方法和视频解码方法，可以应用于图1中所示的应用环境中，其中，第一设备101对其周边某区域的景象进行实时采集得到原始的视频帧序列，或者从其他设备获取实时采集的原始视频帧序列，并通过本申请任一实施例的视频编码方法对采集的视频帧序列执行编码得到编码后的视频数据，然后第一设备101可以存储该视频数据(例如可以存储为视频文件)或者将该视频数据(例如可以是视频流)传输给第二设备102，第二设备102读取或接收到编码后的视频数据后，通过本申请任一实施例的视频解码方法对视频数据进行解码得到具有目标最高分辨率的视频帧序列，然后第二设备102可以播放该视频帧序列构成的视频。
其中，第一设备101和第二设备102均可以但不限于是各种车辆、车载行程记录仪、安防监控设备和便携式可穿戴设备等设备，或者是这些设备的部件等等。第一设备101和第二设备102可以属于同一设备，或者分属于不同的设备。
例如，第一设备101和第二设备102可以分别是安装于同一车辆内的行程记录仪(或车载相机)和显示设备，该行程记录仪通过视频编码方法对采集的视频流进行实时编码并将编码后的视频数据(视频流)传输至显示设备以及存储编码后的视频数据到本地，显示设备通过视频解码方法对接收的视频流进行解码并播放。又例如，第一设备101和第二设备102可以分别是位于监控地点的监控设备和位于管理地点的管理终端，监控设备通过视频编码方法对采集的视频流进行实时编码并将编码后的视频数据(视频流)通过网络传输至管理终端以及存储编码后的视频数据到本地，管理终端通过视频解码方法对接收的视频流进行解码并播放。
在一个实施例中，如图2所示，提供了一种视频编码方法，以该方法应用于图1中的第一设备101为例进行说明，包括以下步骤：
步骤S210，针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别；视频帧序列包括以预定帧率采集的多个非关键帧图像。
其中，视频帧序列由连续的若干帧图像构成，视频帧序列可以由第一设备101采集得到。在本实施例中，视频帧序列包括以预定帧率采集的多个非关键帧图像。非关键帧图像是指的视频帧序列中未被定义为关键帧图像的帧图像。如下文将描述的，在其他实施例中，视频帧序列中除了包括多个非关键帧图像外，还可以包括多个关键帧图像。其中，预定帧率可以根据实际需要设定，例如可以是20帧/秒或30帧/秒或其他数值。
对象是指的被采集的第一设备视野范围内的元素，以第一设备为车载相机为例，则对象例如可以是其他车辆、行人、道路、道路标识、道路周边物体、树木、蓝天等等。
重要级别是指的对象需要被关注的重要程度，其可以根据应用场景的实际需求而被预先指定。例如对于第一设备为车载相机而言，道路标识、车牌、距离装载第一设备的车辆较近的行人或物体等为较重要的信息，而蓝天、树木等背景、以及远处的行人或物体等为较不重要的信息。可以划分有两个以上的重要级别，每个重要级别可以对应有一个或多个对象，重要级别的个数和各个重要级别对应对象的个数根据实际需要确定。
管理员或用户可以预先指定不同对象对应的不同重要级别并存储。从而在此步骤中，第一设备可以根据从当前非关键帧图像中识别出的对象的信息，将当前非关键帧图像划分为多个子图像块，同时根据每个子图像块包括的对象确定每个子图像块对应具有的重要级别。
步骤S220，根据预存的不同重要级别与不同分辨率之间的第一对应关系，将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率；其中，在第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有目标最高分辨率。
分辨率是表征图像中横向和纵向方向上的像素数量的参数，其可以由水平像素数量×垂直像素数量来衡量。目标最高分辨率是解码得到的帧图像所期望具有的分辨率，目标最高分辨率可以根据需要而指定，例如目标最高分辨率可以是1920×1080、1280×720或其他数值。
管理员或用户可以预先指定对不同重要级别的对象占据的图像区域进行编码所对应使用的不同分辨率并存储。其中，最高重要级别对应具有目标最高分辨率，而除最高重要级别外的其他重要级别所对应的分辨率随着重要级别的降低而依次递减，相邻的两个重要级别中，较低的重要级别的分辨率小于或等于较高的重要级别的分辨率，并使得预设的所有重要级别对应有至少两种不同的分辨率。
图3中以第一设备为车载相机为例，示出了一个第一对应关系的示例，图3中示例的7个重要级别对应设定有3种不同的分辨率，其中0-1级按小于或等于1/16目标最高分辨率(如256×144)进行编码，2-5级按1/4目标最高分辨率进行编码，而6-7级则按照目标最高分辨率进行编码。图3仅为示例，重要级别对应的分辨率种类个数也可以根据需要设定和调整，可以理解，7个重要级别可以至少对应有2种不同的分辨率或至多对应有7种不同的分辨率。
步骤S230，对视频帧序列执行视频编码，以得到视频编码后的视频数据。
在本步骤中，对经前述步骤处理后的视频帧序列中的每帧图像执行视频编码。具体地，如果视频帧序列包括非关键帧图像，则依次对每一非关键帧图像执行视频编码，而如果视频帧序列既包括非关键帧图像又包括关键帧图像，则依次对每一非关键帧图像和关键帧图像执行视频编码。其中，本步骤中的视频编码可以结合现有的编码技术来实现，例如按照H.264/H.265SVC(Scalable Video Coding)编码框架来整合上述步骤中得到的视频帧序列，从而得到视频编码后的视频数据。
上述视频编码方法中，在视频编码时，按照各个非关键帧图像中的对象的重要程度，将非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别，并将重要级别更高的子图像块按照更高的分辨率进行编码，而重要级别更低的子图像块按照更多的呃分辨率进行编码，从而在优先确保重要级别较高的图像区域的高编码质量的同时，降低重要级别较低的图像区域占用的内存和带宽，从而在保证所需的编码质量的情况下，有效降低了编码得到的视频数据占用的内存和带宽。
在一个实施例中，步骤S210中的根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别，包括：
步骤S211，针对视频帧序列中的每一非关键帧图像，获取当前非关键帧图像中的对象和对象占据的对象区域的信息；
其中，可以使用例如图像语义分割、卷积神经网络(Convolutional NeuralNetwork，CNN)图像识别、超声雷达深度信息、激光雷达点云信息、对象跟踪(ObjectTracking)等技术中的一种或多种组合，来识别各个非关键帧图像中具有的一个或多个对象以及每一对象在图像中占据的对象区域，某一对象的对象区域可以是该对象在非关键帧图像中占据的所有像素所在的区域。具体地，图像语义分割、CNN图像识别可以识别帧图像中对象是什么物体，即对象的标识信息；对象跟踪可以对连续帧图像中的对象进行动态追踪，获取对象的移动轨迹；超声雷达深度信息、激光雷达点云信息可以确定对象所处的深度信息，即对象与采集帧图像的第一设备之间的距离信息。从而可以结合对象的标识信息、移动轨迹以及距离信息来区分不同的对象以及各个对象占据的对象区域。
可以理解，对帧图像进行识别以得到各个非关键帧图像中具有的一个或多个对象以及每一对象在图像中占据的对象区域的过程，可以由本端第一设备直接执行，或者也可以由第一设备之外的其他外部设备执行，然后第一设备从该外部设备接收该当前非关键帧图像中的对象和对象占据的对象区域的信息。
如图4所示，示出了一个实施例中的对某一非关键帧图像识别确定的不同对象占据的对象区域，其中用多个线和框示意性地标示出了多个对象区域。可以理解，图4中的线和框仅为示意性的，实际的对象区域可以以像素或像素块为精度来分割，相应地，对象区域可以具有不规则的形状。
步骤S212，根据对象和对象占据的对象区域，以及预存的不同对象与不同重要级别之间的第二对应关系，确定非关键帧图像中各个对象区域对应的重要级别；
管理员或用户可以预先指定不同对象对应的不同重要级别并存储。以第一设备为车载相机为例，图3中示出了一个第二对应关系的示例，图3中示例的7个重要级别中，每个重要级别对应有一个或多个对象。其中，0级对应有天空，1级对应有道路外远景，2级对应有道路最远路段，3级对应有道路较远路段，4级对应有道路较近路段，5级对应有道路最近路段，6级对应有道路上车辆、道路上较远行人，7级对应有车牌、路标、道路上较近行人。
示例地，根据图3中所示的第二对应关系，可以确定如图4所示的每个对象区域对应的重要级别，在图4中用数字标注出了各个线和框标示的对象区域所对应的重要级别。
步骤S213，根据预定的子图像块尺寸，将非关键帧图像划分为多个子图像块；
示例地，子图像块尺寸可以是16×16像素，或者是其它合适的尺寸。
在本步骤中，第一设备根据预定的子图像块尺寸，将非关键帧图像划分为多个具有该子图像块尺寸的子图像块。
步骤S214，根据各个对象区域对应的重要级别，确定多个子图像块中每个子图像块对应的重要级别。
其中，如果步骤S213中划分的某一子图像块中所有像素均属于同一重要级别的对象区域，则直接确定该子图像块对应该重要级别；而如果某一子图像块中的像素分属多种不同重要级别的对象区域，则需要进一步确定该子图像块应划归为哪一重要级别。
在一个实施例中，如果某一子图像块中的像素分属多种不同重要级别的对象区域，则可以选择占数量比最多的像素对应的重要级别作为该子图像块的重要级别。
在另一个实施例中，如果某一子图像块中的像素分属多种不同重要级别的对象区域，则在占数量比大于第一预定值或绝对数量大于第二预定值的像素对应的重要级别中，选择最高的重要级别作为该子图像块的重要级别，从而优先确保对高重要级别的像素的编码质量。
示例地，对如图4所示的标示出每个对象区域对应的重要级别的非关键帧图像，按照16×16子图像块尺寸划分子图像块并确定每个子图像块对应的重要级别后，得到的图谱如图5所示，其中示出了划分的各个子图像块以及每个子图像块对应的重要级别。
在一个实施例中，步骤S240中对视频帧序列执行视频编码，以得到视频编码后的视频数据包括：针对视频帧序列中各个分辨率转换后的非关键帧图像，将当前非关键帧图像中每个子图像块依照该子图像块所具有的重要级别的不同以不同的码率执行视频编码，以得到视频编码后的视频数据；其中，同一非关键帧图像中，重要级别越高的子图像块被以越高的码率执行视频编码。
其中，对子图像块编码码率的调节，可以通过调节分配给该子图像块的量化参数(Quantizer Parameter，QP)来实现。量化参数的值越大，则相应的码率则越小。在本申请实施例中，可以通过动态比特率(variable bit-rate，VBR)来实时确定分配给每一帧图像的编码码率。在确定了分配给某一帧非关键帧图像的码率的情况下，可以进一步将该码率在该帧非关键帧图像帧内按照每个子图像块具有的重要级别进行分配，重要级别越高的子图像块将分配有越小的QP，以使得该帧非关键帧图像中，重要级别越高的子图像块被以越高的码率执行视频编码。而如果视频帧序列除了包括非关键帧图像之外还包括关键帧图像，则关键帧图像可以直接按照VBR实时确定分配给该关键帧图像的编码码率来编码。
其中，同一帧非关键帧图像中，重要级别所对应的码率随着重要级别的降低而依次递减，相邻的两个重要级别中，较低的重要级别的码率小于或等于较高的重要级别的码率，并使得同一帧非关键帧图像中所有重要级别对应有至少两种不同的码率。
在本示例中，同一帧非关键帧图像中，重要级别的数量与分配的码率种类的数量相同，例如图3所示的7个重要级别对应分配7种不同的码率。然而可以理解，7个重要级别也可以对应有例如至少2种不同的码率。
在一个实施例中，如图6所示，步骤S210包括步骤S2101，步骤S2101在步骤S210的基础上，视频帧序列还包括以可变帧率采集的多个关键帧图像。也即，在原始采集的视频帧序列所包含的连续帧图像中，以可变帧率取帧图像作为关键帧图像，其余的帧图像即为非关键帧图像。其中，可变帧率可以根据采集视频帧序列的载体设备的运动速度和/或位置而实时变化。可变帧率的取值，或者可变帧率的取值范围，可以根据实际需要确定，可变帧率的大小例如可以是在1帧/20秒左右根据载体设备的运动速度和/或位置而实时上下波动等，或者以其它的数值为基础上下波动。
步骤S220包括步骤S2201，步骤S2201在步骤S220的基础上，在将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率时，还使得每一关键帧图像具有目标最高分辨率；
其中，第一设备采集的原始非关键帧图像和原始关键帧图像，可以具有目标最高分辨率，从而，可以无需对关键帧图像执行步骤S210和S220的子图像块划分和调整分辨率的处理，而是直接依照采集时序，将原始的关键帧图像与经过分辨率转换后的非关键帧图像组合即构成待执行视频编码的视频帧序列。
步骤S230中对视频帧序列执行视频编码，以得到视频编码后的视频数据包括：步骤S2301，针对视频帧序列中各个分辨率转换后的非关键帧图像和关键帧图像，执行视频编码，以得到视频编码后的视频数据。
在本步骤中，针对视频帧序列中各个分辨率转换后的非关键帧图像，可以按照如上各个实施例中所讨论的细节进行编码，而针对视频帧序列中各个关键帧图像，则可以直接按照H.264/H.265IDR等常规编码方法进行编码。
在一个实施例中，可变帧率根据采集视频帧序列的载体设备的运动速度而实时变化；其中，当载体设备的运动速度越大时，可变帧率越大。其中，载体设备可以是第一设备，例如车载相机，或者是装载第一设备的设备，例如车辆。从而可以在运动速度较快时以更高帧率采集的关键帧图像，保证载体设备，例如车辆高速运动时编码的视频数据的质量。
在一个实施例中，可变帧率根据采集视频帧序列的载体设备的位置而实时变化；其中，相较于处于非重要区域，当检测到载体设备的位置处于预定的重要区域时，可变帧率更大。
重要区域可以预先指定，并在本步骤中由第一设备实施获取。例如以载体设备为车辆为例，重要区域可以是事故高发路段。在载体设备到达重要区域中时，提升采集关键帧图像的帧率，可以优先确保在重要区域采集的视频的编码质量。
在一个实施例中，如图7所示，提供了一种视频解码方法，其用于对如上任一实施例的视频编码方法得到的视频数据执行视频解码。以该视频解码方法应用于图1中的第二设备102为例进行说明，该视频解码方法包括：
步骤S710，对视频数据执行视频解码，以得到解码后的视频帧序列，解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率；
步骤S720，将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
上述视频解码方法，在视频解码时，通过将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，提升了分辨率较低的图像区域的分辨率和清晰度，保证了解码得到的视频帧序列具有良好的目标最高分辨率。
在一个实施例中，步骤S720将每一非关键帧图像重建为具有目标最高分辨率的图像包括：通过双线性差值法，将每一非关键帧图像中各个对象区域的分辨率统一为具有目标最高分辨率。
本实施例中，通过双线性差值法提升当前非关键帧图像中低于目标最高分辨率的区域的分辨率，能够较为简单快速地将当前非关键帧图像重建为具有目标最高分辨率的非关键帧图像。
在另一个实施例中，解码后的视频帧序列还包括以可变帧率采集的多个关键帧图像；步骤S720将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列，包括：针对每一非关键帧图像，获取当前非关键帧图像被采集的时刻以及采集当前非关键帧图像的载体设备在该时刻的位置；从多个关键帧图像中，确定与被采集的时刻最接近的第一关键帧图像和与时刻的位置最接近的第二关键帧图像；基于第一关键帧图像和第二关键帧图像，以及预先训练好的超分辨率模型，确定当前非关键帧图像中低于目标最高分辨率的区域的插值数据，以将当前非关键帧图像重建为具有目标最高分辨率的非关键帧图像；其中，超分辨模型数据由载体设备在各个预定位置处所预先采集的预定数量的具有大于或等于目标最高分辨率的帧图像训练得到；组合针对每一非关键帧图像重建的具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
其中，位置可以通过采集帧图像的载体设备上的定位设备来获取，定位设备例如可以是全球定位系统(GPS)、惯性导航系统(INS)等等。
在本实施例中，第二设备中可以获取预先训练好的超分辨率模型，或者第二设备可以从其他设备或服务器中调用预先训练好的超分辨率模型，该超分辨率模型可以通过由载体设备在各个位置处预先收集的帧图像训练得到，这些预先收集的帧图像具有大于或等于目标最高分辨率的分辨率，并且具有足够高的解析度(即高于等于预定的所需解析度)。进一步地，可以预先缩小这些预先收集的帧图像然后用于训练超分辨率模型。以第一设备为车载相机为例，服务器可以收集各个道路上不同位置处的不同车辆上的车载相机采集的具有目标最高分辨率的帧图像。然后服务器可以利用各个位置对应的具有目标最高分辨率的帧图像进行训练得到超分辨率模型并存储。从而在此实施例中，第二设备可以将当前非关键帧图像被采集的位置输入超分辨率模型中，得到估计的在该位置处具有目标最高分辨率的估计帧图像，然后可以基于第一关键帧图像和第二关键帧图像，以及该估计帧图像，确定当前非关键帧图像中低于目标最高分辨率的区域的插值数据，以将当前非关键帧图像重建为具有目标最高分辨率的非关键帧图像。
本实施例中，通过结合第一关键帧图像和第二关键帧图像和预先训练好的超分辨率模型，确定当前非关键帧图像中低于目标最高分辨率的区域的插值数据，以将当前非关键帧图像重建为具有目标最高分辨率的非关键帧图像，能够较高质量地重建和提升非关键帧图像的分辨率和清晰度。
在一个实施例中，步骤S720将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列，包括：将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，对具有目标最高分辨率的非关键帧图像执行去块滤波，以得到重建后的具有目标最高分辨率的视频帧序列。
本实施例中，通过执行去块滤波，可以减少子图像块边界的突变和瑕疵，使相邻子图像间过渡更平滑，有效提升了重建得到的视频帧序列的显示效果。
应该理解的是，虽然图2、图6、图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图6、图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种视频编码装置800，包括：子图块级别划分模块810、分辨率转换模块820和视频编码模块830，其中：
子图块级别划分模块810，用于针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别；视频帧序列包括以预定帧率采集的多个非关键帧图像；
分辨率转换模块820，用于根据预存的不同重要级别与分辨率之间的第一对应关系，将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率；其中，在第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有目标最高分辨率；
视频编码模块830，用于对视频帧序列执行视频编码，以得到视频编码后的视频数据。
在一个实施例中，如图9所示，提供一种视频解码装置900，该视频解码装置900用于对上述任一实施例所述的视频编码方法得到的视频数据执行视频解码，该视频解码装置900包括：
视频解码模块910，用于对视频数据执行视频解码，以得到解码后的视频帧序列，解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率；
视频重建模块920，用于将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
关于视频编码装置800的具体限定可以参见上文中对于视频编码方法的限定，关于视频解码装置900的具体限定可以参见上文中对于视频解码方法的限定，在此不再赘述。上述视频编码装置800和视频解码装置900中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备的内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频编码方法或视频解码方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别；视频帧序列包括以预定帧率采集的多个非关键帧图像；
根据预存的不同重要级别与不同分辨率之间的第一对应关系，将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率；其中，在第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有目标最高分辨率；
对视频帧序列执行视频编码，以得到视频编码后的视频数据。
在其他实施例中，处理器执行计算机程序时还实现如上任一实施例的视频编码方法的步骤，并具有相应的有益效果。
在一个实施例中，提供了一种计算机设备，用于对上述任一实施例的视频编码方法得到的视频数据执行视频解码，该计算机设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时，实现以下步骤：
对视频数据执行视频解码，以得到解码后的视频帧序列，解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率；
将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
在其他实施例中，处理器执行计算机程序时还实现如上任一实施例的视频解码方法的步骤，并具有相应的有益效果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个子图像块具有的重要级别；视频帧序列包括以预定帧率采集的多个非关键帧图像；
根据预存的不同重要级别与不同分辨率之间的第一对应关系，将每一非关键帧图像中各个子图像块转换为具有与该子图像块的重要级别对应的分辨率；其中，在第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有目标最高分辨率；
对视频帧序列执行视频编码，以得到视频编码后的视频数据。
在其他实施例中，计算机程序被处理器执行时还实现如上任一实施例的视频编码方法的步骤，并具有相应的有益效果。
在一个实施例中，提供了一种计算机可读存储介质，用于对上述任一实施例的视频编码方法得到的视频数据执行视频解码，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对视频数据执行视频解码，以得到解码后的视频帧序列，解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率；
将每一非关键帧图像重建为具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
在其他实施例中，计算机程序被处理器执行时还实现如上任一实施例的视频解码方法的步骤，并具有相应的有益效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种视频编码和解码方法，所述方法包括：
对采集到的视频帧序列进行视频编码，包括：
针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将所述当前非关键帧图像划分为多个子图像块，并确定每个所述子图像块具有的重要级别；其中，所述视频帧序列包括以预定帧率采集的多个非关键帧图像和以可变帧率采集的多个关键帧图像；
根据预存的不同重要级别与不同分辨率之间的第一对应关系，将每一所述非关键帧图像中各个所述子图像块转换为具有与该子图像块的重要级别对应的分辨率；并且，使得每一所述关键帧图像具有目标最高分辨率；其中，在所述第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有所述目标最高分辨率；
对所述视频帧序列执行视频编码，以得到视频编码后的视频数据；以及
对所述视频编码后的视频数据进行视频解码，包括：
对所述视频数据执行视频解码，以得到解码后的视频帧序列；其中，所述解码后的视频帧序列包括以预定帧率采集的多个非关键帧图像和以可变帧率采集的多个关键帧图像，所述解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率，并且所述解码后的视频帧序列中的每一关键帧图像具有所述目标最高分辨率；
针对每一非关键帧图像，获取当前非关键帧图像被采集的时刻以及采集所述当前非关键帧图像的载体设备在所述时刻的位置；
从所述多个关键帧图像中，确定与被采集的所述时刻最接近的第一关键帧图像和与所述时刻的所述位置最接近的第二关键帧图像；
基于所述第一关键帧图像和所述第二关键帧图像，以及预先训练好的超分辨率模型，确定所述当前非关键帧图像中低于目标最高分辨率的区域的插值数据，以将所述当前非关键帧图像重建为具有目标最高分辨率的非关键帧图像；其中，所述超分辨率模型数据由对具有低于目标最高分辨率的重要级别的对象所采集的预定数量的帧图像训练得到；
组合针对每一非关键帧图像重建的具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
2.根据权利要求1所述的视频编码和解码方法，其特征在于，所述根据当前非关键帧图像中所具有的对象的信息，将所述当前非关键帧图像划分为多个子图像块，并确定每个所述子图像块具有的重要级别，包括：
针对视频帧序列中的每一非关键帧图像，获取当前非关键帧图像中的对象和所述对象占据的对象区域的信息；
根据所述对象和所述对象占据的对象区域，以及预存的不同对象与不同重要级别之间的第二对应关系，确定所述非关键帧图像中各个所述对象区域对应的重要级别；
根据预定的子图像块尺寸，将所述非关键帧图像划分为多个子图像块；
根据各个所述对象区域对应的重要级别，确定所述多个子图像块中每个子图像块对应的重要级别。
3.根据权利要求1所述的视频编码和解码方法，其特征在于，所述对所述视频帧序列执行视频编码，以得到视频编码后的视频数据包括：
针对所述视频帧序列中各个分辨率转换后的非关键帧图像，将当前非关键帧图像中每个子图像块依照该子图像块所具有的重要级别的不同以不同的码率执行视频编码，以得到视频编码后的视频数据；其中，同一非关键帧图像中，重要级别越高的子图像块被以越高的码率执行视频编码。
4.根据权利要求1至3任一项所述的视频编码和解码方法，其特征在于，所述可变帧率根据采集所述视频帧序列的载体设备的运动速度和/或位置而实时变化；所述对所述视频帧序列执行视频编码，以得到视频编码后的视频数据包括：
针对所述视频帧序列中各个分辨率转换后的非关键帧图像和关键帧图像，执行视频编码，以得到视频编码后的视频数据。
5.根据权利要求1至3任一项所述的视频编码和解码方法，其特征在于，在将每一所述非关键帧图像重建为具有目标最高分辨率的非关键帧图像之后，且在所述组合针对每一非关键帧图像重建的具有目标最高分辨率的非关键帧图像之前，还包括：对所述具有目标最高分辨率的非关键帧图像执行去块滤波。
6.一种视频编码和解码装置，其特征在于，所述装置包括：
子图块级别划分模块，用于针对视频帧序列中的每一非关键帧图像，根据当前非关键帧图像中所具有的对象的信息，将当前非关键帧图像划分为多个子图像块，并确定每个所述子图像块具有的重要级别；其中，所述视频帧序列包括以预定帧率采集的多个非关键帧图像和以可变帧率采集的多个关键帧图像；
分辨率转换模块，用于根据预存的不同重要级别与分辨率之间的第一对应关系，将每一所述非关键帧图像中各个所述子图像块转换为具有与该子图像块的重要级别对应的分辨率；并且，使得每一所述关键帧图像具有目标最高分辨率；其中，在所述第一对应关系中，越高的重要级别对应具有越高的分辨率，且最高重要级别对应具有所述目标最高分辨率；
视频编码模块，用于对所述视频帧序列执行视频编码，以得到视频编码后的视频数据；
视频解码模块，用于对所述视频数据执行视频解码，以得到解码后的视频帧序列；其中，所述解码后的视频帧序列包括以预定帧率采集的多个非关键帧图像和以可变帧率采集的多个关键帧图像，所述解码后的视频帧序列中的每一非关键帧图像中，重要级别越高的对象区域具有越高的分辨率，并且所述解码后的视频帧序列中的每一关键帧图像具有所述目标最高分辨率；
视频重建模块，用于针对每一非关键帧图像，获取当前非关键帧图像被采集的时刻以及采集所述当前非关键帧图像的载体设备在所述时刻的位置；从所述多个关键帧图像中，确定与被采集的所述时刻最接近的第一关键帧图像和与所述时刻的所述位置最接近的第二关键帧图像；基于所述第一关键帧图像和所述第二关键帧图像，以及预先训练好的超分辨率模型，确定所述当前非关键帧图像中低于目标最高分辨率的区域的插值数据，以将所述当前非关键帧图像重建为具有目标最高分辨率的非关键帧图像；其中，所述超分辨率模型数据由对具有低于目标最高分辨率的重要级别的对象所采集的预定数量的帧图像训练得到；组合针对每一非关键帧图像重建的具有目标最高分辨率的非关键帧图像，以得到重建后的具有目标最高分辨率的视频帧序列。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的视频编码和解码方法的步骤。
CN202110615456.9A 2021-06-02 2021-06-02 视频编码和解码方法、装置和计算机设备 Active CN113347421B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110615456.9A CN113347421B (zh) 2021-06-02 2021-06-02 视频编码和解码方法、装置和计算机设备
US17/728,347 US20220394283A1 (en) 2021-06-02 2022-04-25 Video encoding and decoding method, apparatus and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110615456.9A CN113347421B (zh) 2021-06-02 2021-06-02 视频编码和解码方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN113347421A CN113347421A (zh) 2021-09-03
CN113347421B true CN113347421B (zh) 2023-07-14

Family

ID=77473036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110615456.9A Active CN113347421B (zh) 2021-06-02 2021-06-02 视频编码和解码方法、装置和计算机设备

Country Status (2)

Country Link
US (1) US20220394283A1 (zh)
CN (1) CN113347421B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466224B (zh) * 2022-01-26 2024-04-16 广州繁星互娱信息科技有限公司 视频数据的编解码方法和装置、存储介质及电子设备
CN114567814A (zh) * 2022-04-28 2022-05-31 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法、视频渲染方法、处理器及存储介质
CN115834926B (zh) * 2022-11-21 2023-11-21 深圳市超时代软件有限公司 基于h.265熵编码二值化的视频加密方法
US11936700B1 (en) * 2023-02-16 2024-03-19 GM Global Technology Operations LLC Vehicle video streaming system and method
CN116320536B (zh) * 2023-05-16 2023-08-18 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质
CN117440167B (zh) * 2023-09-28 2024-05-28 书行科技(北京)有限公司 一种视频解码方法、装置、计算机设备、介质及产品
CN117812392B (zh) * 2024-01-09 2024-05-31 广州巨隆科技有限公司 可视化屏幕的分辨率自适应调节方法、系统、介质及设备
CN117556082B (zh) * 2024-01-12 2024-03-22 广东启正电子科技有限公司 基于序列编码的远程人脸识别视频存储方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918876A (ja) * 1995-06-27 1997-01-17 Sharp Corp 動画像符号化装置及び動画像復号装置
US7792190B2 (en) * 2004-09-09 2010-09-07 Media Tek Singapore Pte Ltd. Inserting a high resolution still image into a lower resolution video stream
US8184712B2 (en) * 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression
KR100999818B1 (ko) * 2008-10-06 2010-12-08 인하대학교 산학협력단 프레임 분류를 사용한 스케러블 부호화기, 복호화기 및 그 방법
US8917765B2 (en) * 2010-07-20 2014-12-23 Vixs Systems, Inc. Video encoding system with region detection and adaptive encoding tools and method for use therewith
US20130188045A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
JP2013247522A (ja) * 2012-05-25 2013-12-09 Toshiba Corp 画像処理装置及び画像処理方法
JP6513941B2 (ja) * 2014-12-04 2019-05-15 株式会社東芝 画像処理方法、画像処理装置及びプログラム
US20170359596A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Video coding techniques employing multiple resolution
WO2018004317A1 (ko) * 2016-07-01 2018-01-04 에스케이텔레콤 주식회사 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US10846551B2 (en) * 2019-02-06 2020-11-24 Apical Limited Video data processing
US11223667B2 (en) * 2019-04-30 2022-01-11 Phantom Auto Inc. Low latency wireless communication system for teleoperated vehicle environments
CN110493600B (zh) * 2019-08-23 2023-07-04 腾讯科技（深圳）有限公司 图像编码方法、装置、计算机设备及存储介质
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN110519607B (zh) * 2019-09-27 2022-05-20 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN111402126B (zh) * 2020-02-15 2023-12-22 北京中科晶上科技股份有限公司 一种基于分块的视频超分辨率方法和系统
CN113810763A (zh) * 2020-06-15 2021-12-17 深圳市中兴微电子技术有限公司 一种视频处理方法、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Super resolution of video using key frames;Fernanda Brandi;《 2008 IEEE International Symposium on Circuits and Systems》;全文 *
基于二分K均值聚类和最近特征线的视频超分辨率重建方法;渠慎明;王青博;刘珊;张东生;;河南大学学报(自然科学版)(第03期);全文 *

Also Published As

Publication number Publication date
CN113347421A (zh) 2021-09-03
US20220394283A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
CN113347421B (zh) 视频编码和解码方法、装置和计算机设备
CN110268450B (zh) 图像处理装置和图像处理方法
JP3528548B2 (ja) 車両用動画像処理方法および車両用動画像処理装置
US11687773B2 (en) Learning method and recording medium
JP7237007B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20120218416A1 (en) Dynamically Reconfigurable Intelligent Video Surveillance System
WO2019240286A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
KR20210020924A (ko) 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
WO2019235366A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN114586359A (zh) 一种图像处理方法及装置
CN108924461B (zh) 视频图像处理方法及装置
WO2020156420A1 (zh) 交通图像的拼接
CN115943422A (zh) 视频处理方法、装置、设备、解码器、系统及存储介质
KR20140075791A (ko) 비디오 분석 인코딩
CN112702607B (zh) 一种基于光流决策的智能视频压缩方法及装置
CN112383778B (zh) 一种视频编码方法、装置及解码方法、装置
CN112219228A (zh) 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
CN110796003B (zh) 车道线检测方法、装置及电子设备
US11973981B2 (en) Coding and decoding of an omnidirectional video
CN116723183A (zh) 一种基于轻量化的视频文件设备及处理方法
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质
CN113727073A (zh) 一种基于云计算实现车载视频监控的方法及系统
CN117176979B (zh) 多源异构视频的内容帧提取方法、装置、设备及存储介质
CN115565134B (zh) 球机监控盲区诊断方法、系统、设备及存储介质
WO2023117534A1 (en) Image compression by means of artificial neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant