CN110636294A - 视频解码方法及装置，视频编码方法及装置 - Google Patents

视频解码方法及装置，视频编码方法及装置 Download PDF

Info

Publication number
CN110636294A
CN110636294A CN201910927111.XA CN201910927111A CN110636294A CN 110636294 A CN110636294 A CN 110636294A CN 201910927111 A CN201910927111 A CN 201910927111A CN 110636294 A CN110636294 A CN 110636294A
Authority
CN
China
Prior art keywords
resolution
video
region
interest
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910927111.XA
Other languages
English (en)
Other versions
CN110636294B (zh
Inventor
高欣玮
李蔚然
谷沉沉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910927111.XA priority Critical patent/CN110636294B/zh
Publication of CN110636294A publication Critical patent/CN110636294A/zh
Priority to PCT/CN2020/116664 priority patent/WO2021057689A1/zh
Priority to US17/469,710 priority patent/US20210409729A1/en
Application granted granted Critical
Publication of CN110636294B publication Critical patent/CN110636294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频解码方法及装置，视频编码方法及装置。其中，该方法包括：获取待解码视频帧；确定待解码视频帧的感兴趣区域；采用第一分辨率对感兴趣区域进行解码，采用第二分辨率对待解码视频帧的至少除感兴趣区域之外的其他区域进行解码，其中，第一分辨率高于第二分辨率。本发明解决了相关技术中采用相同分辨率对视频进行编解码导致峰值信噪比波动较大的技术问题。

Description

视频解码方法及装置，视频编码方法及装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种视频解码方法及装置，视频编码方法及装置。
背景技术
在现有的视频编码过程中，如图1所示，如果对于视频中的一帧中的不同块都采用了高分辨率进行编码，则在传输的带宽比较小(例如，小于图1中所示的带宽阈值Th)的情况下，对于视频中的一帧中的不同块采用高分辨率进行编码时所对应的峰值信噪比PSNR1要低于对于视频中的一帧中的不同块采用低分辨率进行编码时所对应的峰值信噪比PSNR2，也就是说，在传输带宽较小时采用高分辨率进行编码时的峰值信噪比PSNR1相对较小，失真相对较大。
同理，如果对于视频中的一帧中的不同块都采用了低分辨率进行编码，则在传输的带宽比较大(例如，大于图1中所示的带宽阈值Th)的情况下，对于视频中的一帧中的不同块采用低分辨率进行编码时所对应的峰值信噪比PSNR3要低于对于视频中的一帧中的不同块采用高分辨率进行编码时所对应的峰值信噪比PSNR4，也就是说，在传输带宽较大时采用低分辨率进行编码时的峰值信噪比PSNR3相对较小，失真相对较大。
此外，对于不同类型的视频或者同一视频中的不同帧或者同一帧中的不同块，上述交点D会移动，从而增加了现有技术中选择哪种分辨率对视频中的帧进行编码的选择难度。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视频解码方法及装置，视频编码方法及装置，以至少解决相关技术中采用相同分辨率对视频进行编解码导致峰值信噪比波动较大的技术问题。
根据本发明实施例的一个方面，提供了一种视频解码方法，包括：
获取待解码视频帧；
确定所述待解码视频帧的感兴趣区域；
采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，其中，所述第一分辨率高于所述第二分辨率。
根据本发明实施例的另一方面，还提供了一种视频编码方法，包括：
获取待编码视频帧；
在所述待编码视频帧上确定感兴趣区域；
采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
根据本发明实施例的另一方面，还提供了一种视频解码装置，包括：
第一获取模块，用于获取待解码视频帧；
第一确定模块，用于确定所述待解码视频帧的感兴趣区域；
解码模块，用于采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，其中，所述第一分辨率高于所述第二分辨率。
可选地，所述第一解码单元用于：
采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述第二分辨率包括所述多个分辨率。
根据本发明实施例的另一方面，还提供了一种视频编码装置，包括：
第二获取模块，用于获取待编码视频帧；
第二确定模块，用于在所述待编码视频帧上确定感兴趣区域；
编码模块，用于采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
可选地，所述处理单元用于：
采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码，其中，所述第二分辨率包括所述多个分辨率。
可选地，所述装置还包括：
添加模块，用于在采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码之后，为所述目标视频块对应的第一编码数据添加第一语法元素，为所述其他视频块对应的第二编码数据添加第二语法元素，其中，所述第一编码数据是采用所述第一分辨率对所述目标视频块进行编码得到的数据，所述第二编码数据是采用所述第二分辨率对所述其他视频块进行编码得到的数据，所述第一语法元素用于指示所述第一分辨率，所述第二语法元素用于指示所述第二分辨率。
根据本发明实施例的另一方面，还提供了一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项中所述的方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行上述任一项中所述的方法。
在本发明实施例中，采用获取待解码视频帧；确定待解码视频帧的感兴趣区域；采用第一分辨率对感兴趣区域进行解码，采用第二分辨率对待解码视频帧的至少除感兴趣区域之外的其他区域进行解码，其中，第一分辨率高于第二分辨率的方式，对于视频中的一帧中的不同块自适应采用对应的分辨率进行编码，这样无论是在传输的带宽比较小的情况下，还是在传输的带宽比较大的情况下，对应的峰值信噪比都相对较大，失真相对较小，从而保证了峰值信噪比能够在一个较小的范围内变化，并且峰值信噪比都相对较大，从而实现了避免对视频进行编解码的峰值信噪比波动较大的技术效果，进而解决了相关技术中采用相同分辨率对视频进行编解码导致峰值信噪比波动较大的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是相关技术中编解码方式的峰值信噪比的示意图；
图2是根据本发明实施例的一种可选的视频解码方法的示意图；
图3是根据本发明实施例的一种可选的视频解码方法的应用环境示意图；
图4是根据本发明可选的实施方式的一种可选的视频解码方法的示意图一；
图5是根据本发明实施例的一种可选的视频解码方法的示意图；
图6是根据本发明实施例的一种可选的视频解码方法的应用环境示意图；
图7是根据本发明实施例的一种可选的视频解码装置的示意图；
图8是根据本发明实施例的一种可选的视频编码装置的示意图；
图9是根据本发明实施例的一种可选的视频编解码方法的应用场景示意图一；
图10是根据本发明实施例的一种可选的视频编解码方法的应用场景示意图二；以及
图11是根据本发明实施例的一种可选的电子装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种视频解码方法，如图2所示，该方法包括：
S202，获取待解码视频帧；
S204，确定所述待解码视频帧的感兴趣区域；
S206，采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，其中，所述第一分辨率高于所述第二分辨率。
可选地，在本实施例中，上述视频解码方法可以应用于如图3所示的服务器302和客户端304所构成的硬件环境中。如图3所示，服务器302获取待解码视频帧；确定待解码视频帧的感兴趣区域；采用第一分辨率对感兴趣区域进行解码，采用第二分辨率对待解码视频帧的至少除感兴趣区域之外的其他区域进行解码，其中，第一分辨率高于第二分辨率。服务器302将解码后得到的视频发送给客户端304进行播放。
可选地，在本实施例中，上述视频解码方法可以但不限于应用于音视频处理的场景中。比如：客户端A与客户端B进行视频通话，客户端A侧和客户端B侧分别采集视频画面，对采集到的视频画面进行编码，将编码后的视频发送给对方，在对方对接收到的视频进行解码，并播放解码后的视频。
可选地，在本实施例中，上述视频解码方法还可以但不限于应用于视频文件的播放、视频直播等场景中。
其中，上述客户端可以但不限于为各种类型的应用，例如，在线教育应用、即时通讯应用、社区空间应用、游戏应用、购物应用、浏览器应用、金融应用、多媒体应用、直播应用等。具体的，可以但不限于应用于在上述即时通讯应用中对音视频进行处理的场景中，或还可以但不限于应用于在上述多媒体应用中对音视频进行处理的场景中，以避免对视频进行编解码的峰值信噪比波动较大。上述仅是一种示例，本实施例中对此不做任何限定。
可选地，在本实施例中，待解码视频帧上包括感兴趣区域(ROI区域)和非感兴趣区域(非ROI区域)，即可以将待解码视频帧上除感兴趣区域之外的其他区域成为非感兴趣区域。采用较高的分辨率对感兴趣区域进行解码，从而保证感兴趣区域的画面质量，采用较低的分辨率对待解码视频帧上除感兴趣区域之外的其他区域进行解码，从而能够更加保证峰值信噪比的稳定。
可选地，在本实施例中，对于感兴趣区域(Region of Interest，简称为ROI)，在机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。可以在Halcon、OpenCV、Matlab等机器视觉软件上使用各种算子(Operator)和函数来求得感兴趣区域ROI。
在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个图像区域，这个区域是对图像进行分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定想读的目标，可以减少处理时间，增加精度。
在一个可选的实施方式中，如图4所示，获取待解码视频帧，确定所述待解码视频帧的感兴趣区域(ROI区域)，采用分辨率1对感兴趣区域(ROI区域)进行解码，采用分辨率2对待解码视频帧的至少除感兴趣区域之外的其他区域(非ROI区域)进行解码，其中，分辨率1高于分辨率2。
可见，通过上述步骤，对于视频中的一帧中的不同区域自适应采用对应的分辨率进行编码，这样无论是在传输的带宽比较小的情况下，还是在传输的带宽比较大的情况下，对应的峰值信噪比都相对较大，失真相对较小，从而保证了峰值信噪比能够在一个较小的范围内变化，并且峰值信噪比都相对较大，从而实现了避免对视频进行编解码的峰值信噪比波动较大的技术效果，进而解决了相关技术中采用相同分辨率对视频进行编解码导致峰值信噪比波动较大的技术问题。
作为一种可选的方案，采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，包括：
S1，采用所述第一分辨率对多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行解码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述待解码视频帧被划分为所述多个视频块。
可选地，在本实施例中，对于待解码视频帧来说，可以将位于视频帧中心的区域确定为感兴趣区域，或者将视频帧上出现的主要人物或者事物的区域作为感兴趣区域，又或者将视频帧上存在运动的画面区域作为感兴趣区域。
作为一种可选的方案，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，包括：
S1，采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述第二分辨率包括所述多个分辨率。
可选地，在本实施例中，解码非感兴趣区域上的视频块时采用的分辨率可以相同也可以不同。当采用不同分辨率解码时，可以根据视频块距离感兴趣区域的中心的距离确定采用的分辨率的大小，比如：距离较远则采用较小的分辨率，距离较近则采用较大的分辨率。
作为一种可选的方案，采用第一分辨率对所述待解码视频帧上的感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧上除所述感兴趣区域之外的其他区域进行解码，包括：
S1，从多个视频块的待解码数据中的每个待解码数据中获取语法元素，其中，所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块对应的语法元素指示了解码所述目标视频块所采用的分辨率为所述第一分辨率，所述多个视频块中除所述目标视频块之外的其他视频块对应的语法元素指示了解码所述其他视频块所采用的分辨率为所述第二分辨率；
S2,采用所述每个待解码数据对应的语法元素所指示的分辨率对所述每个待解码数据进行解码。
可选地，在本实施例中，解码的过程可以但不限于是按照待解码视频帧所划分的视频块进行的。
可选地，在本实施例中，解码过程中使用的分辨率可以但不限于是通过待解码数据中提供的语法元素来指示的。
可选地，在本实施例中，每个区域对应的分辨率可以但不限于是由编码端添加在语法元素中传递给解码端的。通过语法元素中的标志位数据来指示区域和分辨率之间的对应关系，从而使得解码端使用区域对应的分辨率对其进行解码。
可选地，在本实施例中，用于指示解码每个区域所采用的分辨率的语法元素可以是位于待解码视频帧的固定位置上的一段数据，在该位置上不同的数据值代表了不同的分辨率。可以将代表区域对应的分辨率的语法元素添加在该位置上。
可选地，在本实施例中，在视频的重构过程中，从当前待解码视频帧中，确定所要重构的至少一对解码区域，其中，在至少一对解码区域中的每对解码区域包括采用分辨率A的第一解码区域和采用分辨率B的第二解码区域，第一解码区域与第二解码区域为位置邻接的解码区域；
将第一解码区域的分辨率A调整为目标分辨率，并将第二解码区域的分辨率B调整为目标分辨率；
从第一解码区域中确定出第一边缘像素点集，并从第二解码区域中确定出第二边缘像素点集，其中，第一边缘像素点集的位置与第二边缘像素点集的位置邻接；
对第一边缘像素点集进行滤波处理，得到滤波后的第一边缘像素点集，并对第二边缘像素点集进行滤波处理，得到滤波后的第二边缘像素点集，其中，滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
滤波后的第一边缘像素点集中第i个像素点的像素值与滤波后的第二边缘像素点集中与第i个像素点对应的第j个像素点的像素值之间的第一差值，小于第一边缘像素点集中第i个像素点的像素值与第二边缘像素点集中第j个像素点的像素值之间的第二差值，i为正整数，且小于等于第一边缘像素点集中像素点的总数，j为正整数，且小于等于第二边缘像素点集中像素点的总数。
其中，调整为目标分辨率包括：
1)在目标分辨率等于分辨率A的情况下，将分辨率B调整为分辨率A；
2)在目标分辨率等于分辨率B的情况下，将分辨率A调整为分辨率B；
3)在目标分辨率等于分辨率C的情况下，将分辨率A调整为分辨率C，并将分辨率B调整为分辨率C，其中，该分辨率C与分辨率A不同，且与分辨率B不同。
在分辨率统一后，才可以边缘滤波。通过对上述解码区域进行分辨率调整，并对解码区域中确定出的边缘像素点集进行边缘滤波处理，以使得在重构过程中可以避免在视频中出现明显接缝，从而保证准确地还原出视频中的内容，进而解决了分辨率不一致导致的视频失真的技术问题。
根据本发明实施例的一个方面，提供了一种视频编码方法，如图5所示，该方法包括：
S502，获取待编码视频帧；
S504，在所述待编码视频帧上确定感兴趣区域；
S506，采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
可选地，在本实施例中，上述视频编码方法可以应用于如图6所示的服务器602、服务器302、客户端604和客户端304所构成的硬件环境中。如图6所示，服务器602获取到客户端604采集的待编码视频帧；在所述待编码视频帧上确定感兴趣区域；采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。服务器602将编码后得到的视频发送给服务器302进行解码。服务器302将解码后的视频发送给客户端304进行播放。
可选地，在本实施例中，上述视频编码方法可以但不限于应用于音视频处理的场景中。比如：客户端A与客户端B进行视频通话，客户端A侧和客户端B侧分别采集视频画面，对采集到的视频画面进行编码，将编码后的视频发送给对方，在对方对接收到的视频进行解码，并播放解码后的视频。
可选地，在本实施例中，上述视频编码方法还可以但不限于应用于视频文件的播放、视频直播等场景中。
其中，上述客户端可以但不限于为各种类型的应用，例如，在线教育应用、即时通讯应用、社区空间应用、游戏应用、购物应用、浏览器应用、金融应用、多媒体应用、直播应用等。具体的，可以但不限于应用于在上述即时通讯应用中对音视频进行处理的场景中，或还可以但不限于应用于在上述多媒体应用中对音视频进行处理的场景中，以避免对视频进行编解码的峰值信噪比波动较大。上述仅是一种示例，本实施例中对此不做任何限定。
可选地，在本实施例中，待编码视频帧中的不同类型的区域采用不同分辨率进行编码。比如：待编码视频帧被划分为2种类型的区域，分别是区域1为感兴趣区域，区域2为非感兴趣区域，其中，对于区域1采用较高的分辨率1进行编码，对于区域2采用较低的分辨率2进行编码。
可选地，在本实施例中，待编码视频帧被划分为一组视频块，落入感兴趣区域的视频块可以采用一个分辨率进行编码，落入非感兴趣区域的视频块可以采用另一个分辨率进行编码。
可选地，在本实施例中，对于感兴趣区域(Region of Interest，简称为ROI)，在机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。可以在Halcon、OpenCV、Matlab等机器视觉软件上使用各种算子(Operator)和函数来求得感兴趣区域ROI。
在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个图像区域，这个区域是对图像进行分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定想读的目标，可以减少处理时间，增加精度。
可见，通过上述步骤，对于视频中的一帧中的不同块自适应采用对应的分辨率进行编码，这样无论是在传输的带宽比较小的情况下，还是在传输的带宽比较大的情况下，对应的峰值信噪比都相对较大，失真相对较小，从而保证了峰值信噪比能够在一个较小的范围内变化，并且峰值信噪比都相对较大，从而实现了避免对视频进行编解码的峰值信噪比波动较大的技术效果，进而解决了相关技术中采用相同分辨率对视频进行编解码导致峰值信噪比波动较大的技术问题。
作为一种可选的方案，采用所述第一分辨率对所述感兴趣区域进行编码，采用所述第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，包括：
S1，将所述待编码视频帧划分为多个视频块；
S2,采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码。
可选地，在本实施例中，待编码视频帧被划分为视频块，对于与感兴趣区域有重叠的目标视频块采用第一分辨率进行编码，对于其他视频块采用第二分辨率进行编码。也就是说，只要视频块有落入感兴趣区域的部分，就会采用较高的第一分辨率进行编码。
作为一种可选的方案，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码，包括：
S1，采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码，其中，所述第二分辨率包括所述多个分辨率。
可选地，在本实施例中，编码非感兴趣区域上的视频块时采用的分辨率可以相同也可以不同。当采用不同分辨率编码时，可以根据视频块距离感兴趣区域的中心的距离确定采用的分辨率的大小，比如：距离较远则采用较小的分辨率，距离较近则采用较大的分辨率。
作为一种可选的方案，在采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码之后，还包括：
S1，为所述目标视频块对应的第一编码数据添加第一语法元素，为所述其他视频块对应的第二编码数据添加第二语法元素，其中，所述第一编码数据是采用所述第一分辨率对所述目标视频块进行编码得到的数据，所述第二编码数据是采用所述第二分辨率对所述其他视频块进行编码得到的数据，所述第一语法元素用于指示所述第一分辨率，所述第二语法元素用于指示所述第二分辨率。
可选地，在本实施例中，可以通过添加标志位数据的方式来指示每个视频块编码时使用的分辨率。
可选地，在本实施例中，用于指示编码每个视频块所采用的分辨率的语法元素可以是位于待解码视频帧的固定位置上的一段数据，在该位置上不同的数据值代表了不同的分辨率。可以将代表区域对应的分辨率的语法元素添加在该位置上。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述视频解码方法的视频解码装置，如图7所示，该装置包括：
1)第一获取模块72，用于获取待解码视频帧；
2)第一确定模块74，用于确定所述待解码视频帧的感兴趣区域；
3)解码模块76，用于采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，其中，所述第一分辨率高于所述第二分辨率。
可选地，所述解码模块，包括：
第一解码单元，用于采用所述第一分辨率对多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行解码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述待解码视频帧被划分为所述多个视频块。
可选地，所述第一解码单元用于：
采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述第二分辨率包括所述多个分辨率。
可选地，所述解码模块，包括：
获取单元，用于从多个视频块的待解码数据中的每个待解码数据中获取语法元素，其中，所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块对应的语法元素指示了解码所述目标视频块所采用的分辨率为所述第一分辨率，所述多个视频块中除所述目标视频块之外的其他视频块对应的语法元素指示了解码所述其他视频块所采用的分辨率为所述第二分辨率；
第二解码单元，用于采用所述每个待解码数据对应的语法元素所指示的分辨率对所述每个待解码数据进行解码。
根据本发明实施例的另一个方面，还提供了一种用于实施上述视频编码方法的视频编码装置，如图8所示，该装置包括：
1)第二获取模块82，用于获取待编码视频帧；
2)第二确定模块84，用于在所述待编码视频帧上确定感兴趣区域；
3)编码模块86，用于采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧上除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
可选地，所述编码模块，包括：
划分单元，用于将所述待编码视频帧划分为多个视频块；
第三处理单元，用于采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码。
可选地，所述处理单元用于：
采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码，其中，所述第二分辨率包括所述多个分辨率。
可选地，所述装置还包括：
添加模块，用于在采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码之后，为所述目标视频块对应的第一编码数据添加第一语法元素，并为所述其他视频块对应的第二编码数据添加第二语法元素，其中，所述第一编码数据是采用所述第一分辨率对所述目标视频块进行编码得到的数据，所述第二编码数据是采用所述第二分辨率对所述其他视频块进行编码得到的数据，所述第一语法元素用于指示所述第一分辨率，所述第二语法元素用于指示所述第二分辨率。
本发明实施例的应用环境可以但不限于参照上述实施例中的应用环境，本实施例中对此不再赘述。本发明实施例提供了用于实施上述实时通信的连接方法的一种可选的具体应用示例。
作为一种可选的实施例，上述视频编解码的方法可以但不限于应用于如图9所示的对视频进行编解码处理的场景中。在本场景中，对于视频中待编码的第t帧，将第t帧中的区域划分为ROI和非ROI，如图9所示。作为一种可选的方式，ROI可以位于帧的正中间区域、且为正方形或长方形。然而，这只是一种示例，本发明不限于此，ROI还可以位于其他位置和为其他形状，例如，可以根据帧中的画面内容确定ROI和非ROI，ROI的位置和形状对应于画面中的目标人脸。
然后，为ROI中的块选择高分辨率，对于非ROI中的块选择低分辨率。作为一种可选的示例，ROI中的块采用同一个分辨率(例如，分辨率1)进行编码，非ROI中的块采用同一个分辨率(例如，分辨率2)进行编码，其中，分辨率1高于分辨率2。
作为一种可选的示例，上述分辨率1和分辨率2都是从预先确定的分辨率集合中选择得到的。
如图10所示，在本发明的视频编码过程中，对于视频中的一帧中的不同块自适应采用对应的分辨率进行编码，这样无论是在传输的带宽比较小(例如，小于图10中所示的带宽阈值Th)的情况下，还是在传输的带宽比较大(例如，大于图10中所示的带宽阈值Th)的情况下，对应的峰值信噪比都相对较大，失真相对较小。
此外，由于对于视频中的一帧中的不同块自适应采用对应的分辨率进行编码，从而不需要在对视频中的帧进行编码时根据不同类型的视频或同一视频的不同帧或同一帧中不同的块所对应的交点(如，图1中的交点)来选择对应的分辨率，降低了编码复杂度。
根据本发明实施例的又一个方面，还提供了一种用于实施上述视频解码方法或者视频编码方法的电子装置，如图11所示，该电子装置包括：一个或多个(图中仅示出一个)处理器1102、存储器1104、传感器1106、编码器1108以及传输装置1110，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取待解码视频帧；
S2，确定所述待解码视频帧的感兴趣区域；
S3，采用第一分辨率对感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，其中，所述第一分辨率高于所述第二分辨率。
可选地，在本实施例中，上述处理器还可以被设置为通过计算机程序执行以下步骤：
S1，获取待编码视频帧；
S2，在所述待编码视频帧上确定感兴趣区域；
S3，采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图11中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图11所示不同的配置。
其中，存储器1104可用于存储软件程序以及模块，如本发明实施例中的视频解码或者编码方法和装置对应的程序指令/模块，处理器1102通过运行存储在存储器1104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标组件的控制方法。存储器1104可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1104可进一步包括相对于处理器1102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1110用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1110包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1110为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器1104用于存储应用程序。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取待解码视频帧；
S2，确定所述待解码视频帧的感兴趣区域；
S3，采用第一分辨率对感兴趣区域进行解码，采用第二分辨率对待解码视频帧的至少除感兴趣区域之外的其他区域进行解码，其中，第一分辨率高于第二分辨率。
可选地，在本实施例中，上述存储介质还可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取待编码视频帧；
S2，在所述待编码视频帧上确定感兴趣区域；
S3，采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
可选地，存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序，本实施例中对此不再赘述。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种视频解码方法，其特征在于，包括：
获取待解码视频帧；
确定所述待解码视频帧的感兴趣区域；
采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，其中，所述第一分辨率高于所述第二分辨率。
2.根据权利要求1所述的方法，其特征在于，采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，包括：
采用所述第一分辨率对多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行解码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述待解码视频帧被划分为所述多个视频块。
3.根据权利要求1所述的方法，其特征在于，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，包括：
采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述第二分辨率包括所述多个分辨率。
4.根据权利要求1所述的方法，其特征在于，采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧上除所述感兴趣区域之外的其他区域进行解码，包括：
从多个视频块的待解码数据中的每个待解码数据中获取语法元素，其中，所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块对应的语法元素指示了解码所述目标视频块所采用的分辨率为所述第一分辨率，所述多个视频块中除所述目标视频块之外的其他视频块对应的语法元素指示了解码所述其他视频块所采用的分辨率为所述第二分辨率；
采用所述每个待解码数据对应的语法元素所指示的分辨率对所述每个待解码数据进行解码。
5.一种视频编码方法，其特征在于，包括：
获取待编码视频帧；
在所述待编码视频帧上确定感兴趣区域；
采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
6.根据权利要求5所述的方法，其特征在于，采用所述第一分辨率对所述感兴趣区域进行编码，采用所述第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，包括：
将所述待编码视频帧划分为多个视频块；
采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码。
7.根据权利要求6所述的方法，其特征在于，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码，包括：
采用多个分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码，其中，所述第二分辨率包括所述多个分辨率。
8.根据权利要求6所述的方法，其特征在于，在采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码之后，所述方法还包括：
为所述目标视频块对应的第一编码数据添加第一语法元素，为所述其他视频块对应的第二编码数据添加第二语法元素，其中，所述第一编码数据是采用所述第一分辨率对所述目标视频块进行编码得到的数据，所述第二编码数据是采用所述第二分辨率对所述其他视频块进行编码得到的数据，所述第一语法元素用于指示所述第一分辨率，所述第二语法元素用于指示所述第二分辨率。
9.一种视频解码装置，其特征在于，包括：
第一获取模块，用于获取待解码视频帧；
第一确定模块，用于确定所述待解码视频帧的感兴趣区域；
解码模块，用于采用第一分辨率对所述感兴趣区域进行解码，采用第二分辨率对所述待解码视频帧的至少除所述感兴趣区域之外的其他区域进行解码，其中，所述第一分辨率高于所述第二分辨率。
10.根据权利要求9所述的装置，其特征在于，所述解码模块，包括：
第一解码单元，用于采用所述第一分辨率对多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行解码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行解码，其中，所述待解码视频帧被划分为所述多个视频块。
11.根据权利要求9所述的装置，其特征在于，所述第一解码模块，包括：
获取单元，用于从多个视频块的待解码数据中的每个待解码数据中获取语法元素，其中，所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块对应的语法元素指示了解码所述目标视频块所采用的分辨率为所述第一分辨率，所述多个视频块中除所述目标视频块之外的其他视频块对应的语法元素指示了解码所述其他视频块所采用的分辨率为所述第二分辨率；
第二解码单元，用于采用所述每个待解码数据对应的语法元素所指示的分辨率对所述每个待解码数据进行解码。
12.一种视频编码装置，其特征在于，包括：
第二获取模块，用于获取待编码视频帧；
第二确定模块，用于在所述待编码视频帧上确定感兴趣区域；
编码模块，用于采用第一分辨率对所述感兴趣区域进行编码，采用第二分辨率对所述待编码视频帧的至少除所述感兴趣区域之外的其他区域进行编码，其中，所述第一分辨率高于所述第二分辨率。
13.根据权利要求12所述的装置，其特征在于，所述编码模块，包括：
划分单元，用于将所述待编码视频帧划分为多个视频块；
处理单元，用于采用所述第一分辨率对所述多个视频块中与所述感兴趣区域具有重叠部分的目标视频块进行编码，采用所述第二分辨率对所述多个视频块中除所述目标视频块之外的其他视频块进行编码。
14.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN201910927111.XA 2019-09-27 2019-09-27 视频解码方法及装置，视频编码方法及装置 Active CN110636294B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910927111.XA CN110636294B (zh) 2019-09-27 2019-09-27 视频解码方法及装置，视频编码方法及装置
PCT/CN2020/116664 WO2021057689A1 (zh) 2019-09-27 2020-09-22 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置
US17/469,710 US20210409729A1 (en) 2019-09-27 2021-09-08 Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927111.XA CN110636294B (zh) 2019-09-27 2019-09-27 视频解码方法及装置，视频编码方法及装置

Publications (2)

Publication Number Publication Date
CN110636294A true CN110636294A (zh) 2019-12-31
CN110636294B CN110636294B (zh) 2024-04-09

Family

ID=68973206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927111.XA Active CN110636294B (zh) 2019-09-27 2019-09-27 视频解码方法及装置，视频编码方法及装置

Country Status (3)

Country Link
US (1) US20210409729A1 (zh)
CN (1) CN110636294B (zh)
WO (1) WO2021057689A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372088A (zh) * 2020-03-30 2020-07-03 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
WO2021057689A1 (zh) * 2019-09-27 2021-04-01 腾讯科技（深圳）有限公司 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN113347421A (zh) * 2021-06-02 2021-09-03 黑芝麻智能科技(上海)有限公司 视频编码和解码方法、装置和计算机设备
CN113873246A (zh) * 2021-08-27 2021-12-31 深圳市视晶无线技术有限公司 视频图像变分辨率处理系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519607B (zh) * 2019-09-27 2022-05-20 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN113011210B (zh) * 2019-12-19 2022-09-16 北京百度网讯科技有限公司 视频处理方法和装置
US11317137B2 (en) * 2020-06-18 2022-04-26 Disney Enterprises, Inc. Supplementing entertainment content with ambient lighting

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007561A1 (en) * 2001-06-26 2003-01-09 Hiroshi Kajiwara Image encoding apparatus and method, program code, and storage medium
CN101282479A (zh) * 2008-05-06 2008-10-08 武汉大学 基于感兴趣区域的空域分辨率可调整编解码方法
US20100158136A1 (en) * 2008-12-24 2010-06-24 Hsin-Yuan Peng Video processing method, encoding device, decoding device, and data structure for facilitating layout of a restored image frame
US20130051478A1 (en) * 2011-08-31 2013-02-28 Microsoft Corporation Memory management for video decoding
US20150201198A1 (en) * 2014-01-15 2015-07-16 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
US20160021380A1 (en) * 2014-07-21 2016-01-21 Cisco Technology Inc. Resolution Robust Video Quality Metric
US20170127074A1 (en) * 2015-10-29 2017-05-04 Microsoft Technology Licensing, Llc Video bit stream decoding
US20170302719A1 (en) * 2016-04-18 2017-10-19 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
CN108476324A (zh) * 2015-10-08 2018-08-31 皇家Kpn公司 增强视频流的视频帧中的感兴趣区域
CN108737724A (zh) * 2017-04-17 2018-11-02 英特尔公司 用于360视频捕获和显示的系统和方法
CN108833923A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
CN110087081A (zh) * 2019-05-05 2019-08-02 腾讯科技（深圳）有限公司 视频编码方法、装置、服务器及存储介质

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292713B1 (en) * 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US20060256867A1 (en) * 2002-09-06 2006-11-16 Turaga Deepak S Content-adaptive multiple description motion compensation for improved efficiency and error resilience
JP2008507229A (ja) * 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
US8437405B1 (en) * 2004-12-08 2013-05-07 Nvidia Corporation System and method for intra refresh implementation
US7965902B1 (en) * 2006-05-19 2011-06-21 Google Inc. Large-scale image processing using mass parallelization techniques
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
KR20080102668A (ko) * 2007-05-21 2008-11-26 삼성전자주식회사 화상 통화 송수신 방법 및 이를 이용하는 화상 통화 장치
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera
US8406297B2 (en) * 2008-10-17 2013-03-26 Futurewei Technologies, Inc. System and method for bit-allocation in video coding
US9516346B2 (en) * 2009-09-01 2016-12-06 Manipal Institute Of Technology Image processing system and method
US20120215095A1 (en) * 2011-02-22 2012-08-23 Amit Mordechai Av-Shalom X-Ray radiation reduction system
US8681866B1 (en) * 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US8780987B1 (en) * 2011-04-28 2014-07-15 Google Inc. Method and apparatus for encoding video by determining block resolution
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US8951200B2 (en) * 2012-08-10 2015-02-10 Chison Medical Imaging Co., Ltd. Apparatuses and methods for computer aided measurement and diagnosis during ultrasound imaging
EP2888883B1 (en) * 2012-08-21 2020-01-22 Planet Labs Inc. Multi-resolution pyramid for georeferenced video
GB2496015B (en) * 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
WO2014069103A1 (ja) * 2012-10-29 2014-05-08 株式会社日立国際電気 画像処理装置
TW201419846A (zh) * 2012-11-09 2014-05-16 Inst Information Industry 動態解析度調節方法系統與動態解析度調節方法
JP6165491B2 (ja) * 2013-04-12 2017-07-19 株式会社メガチップス 画像処理装置および画像処理方法
US20150181168A1 (en) * 2013-12-20 2015-06-25 DDD IP Ventures, Ltd. Interactive quality improvement for video conferencing
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US20150237356A1 (en) * 2014-02-18 2015-08-20 Microsoft Corporation Host encoder for hardware-accelerated video encoding
CN104105006B (zh) * 2014-07-23 2017-12-26 北京永新视博信息技术有限公司 一种视频图像处理方法和系统
US9785817B2 (en) * 2015-05-29 2017-10-10 Datalogic Usa, Inc. Region of interest location and selective image compression
JP6431245B1 (ja) * 2015-11-05 2018-11-28 グーグル エルエルシー エッジ認識双方向画像処理
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
CN108463765A (zh) * 2016-04-08 2018-08-28 谷歌有限责任公司 基于姿势信息在头戴式显示装置处编码图像数据
EP3466083B1 (en) * 2016-05-25 2020-09-16 Koninklijke KPN N.V. Spatially tiled omnidirectional video streaming
US20170359596A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Video coding techniques employing multiple resolution
KR101915037B1 (ko) * 2016-07-01 2018-11-06 에스케이 텔레콤주식회사 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
CN109716769B (zh) * 2016-07-18 2023-09-05 格莱德通讯有限公司 在多媒体信息中提供面向对象的缩放的系统和方法
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
WO2018093182A1 (en) * 2016-11-16 2018-05-24 Samsung Electronics Co., Ltd. Image management method and apparatus thereof
US20180167634A1 (en) * 2016-12-09 2018-06-14 Nokia Technologies Oy Method and an apparatus and a computer program product for video encoding and decoding
WO2018125579A1 (en) * 2016-12-29 2018-07-05 Sony Interactive Entertainment Inc. Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking
WO2018213812A2 (en) * 2017-05-18 2018-11-22 Synaptics Incorporated Display interface with foveal compression
US20190098347A1 (en) * 2017-09-25 2019-03-28 General Electric Company System and method for remote radiology technician assistance
US10528240B2 (en) * 2017-11-08 2020-01-07 General Electric Company System and method for image post-processing and viewing utilizing a region of interest
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
US10997951B2 (en) * 2018-04-13 2021-05-04 Qualcomm Incorporated Preserving sample data in foveated rendering of graphics content
US10748290B2 (en) * 2018-10-31 2020-08-18 Fei Company Smart metrology on microscope images
US11030719B2 (en) * 2019-01-22 2021-06-08 Varjo Technologies Oy Imaging unit, display apparatus and method of displaying
KR102699657B1 (ko) * 2019-07-26 2024-08-29 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN110572579B (zh) * 2019-09-30 2021-09-14 联想(北京)有限公司 图像处理方法、装置及电子设备
US20210383534A1 (en) * 2020-06-03 2021-12-09 GE Precision Healthcare LLC System and methods for image segmentation and classification using reduced depth convolutional neural networks
KR20230148519A (ko) * 2022-04-18 2023-10-25 키네마스터 주식회사 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007561A1 (en) * 2001-06-26 2003-01-09 Hiroshi Kajiwara Image encoding apparatus and method, program code, and storage medium
CN101282479A (zh) * 2008-05-06 2008-10-08 武汉大学 基于感兴趣区域的空域分辨率可调整编解码方法
US20100158136A1 (en) * 2008-12-24 2010-06-24 Hsin-Yuan Peng Video processing method, encoding device, decoding device, and data structure for facilitating layout of a restored image frame
US20130051478A1 (en) * 2011-08-31 2013-02-28 Microsoft Corporation Memory management for video decoding
US20150201198A1 (en) * 2014-01-15 2015-07-16 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
US20150201197A1 (en) * 2014-01-15 2015-07-16 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
US20160021380A1 (en) * 2014-07-21 2016-01-21 Cisco Technology Inc. Resolution Robust Video Quality Metric
CN108476324A (zh) * 2015-10-08 2018-08-31 皇家Kpn公司 增强视频流的视频帧中的感兴趣区域
US20170127074A1 (en) * 2015-10-29 2017-05-04 Microsoft Technology Licensing, Llc Video bit stream decoding
US20170302719A1 (en) * 2016-04-18 2017-10-19 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
CN108737724A (zh) * 2017-04-17 2018-11-02 英特尔公司 用于360视频捕获和显示的系统和方法
CN108833923A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
CN110087081A (zh) * 2019-05-05 2019-08-02 腾讯科技（深圳）有限公司 视频编码方法、装置、服务器及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057689A1 (zh) * 2019-09-27 2021-04-01 腾讯科技（深圳）有限公司 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置
CN111372088A (zh) * 2020-03-30 2020-07-03 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN113347421A (zh) * 2021-06-02 2021-09-03 黑芝麻智能科技(上海)有限公司 视频编码和解码方法、装置和计算机设备
CN113873246A (zh) * 2021-08-27 2021-12-31 深圳市视晶无线技术有限公司 视频图像变分辨率处理系统及方法

Also Published As

Publication number Publication date
CN110636294B (zh) 2024-04-09
WO2021057689A1 (zh) 2021-04-01
US20210409729A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
CN110636294B (zh) 视频解码方法及装置，视频编码方法及装置
CN110519607B (zh) 视频解码方法及装置，视频编码方法及装置
CN110139113B (zh) 视频资源的传输参数分发方法及装置
CN108063946B (zh) 图像编码方法和装置、存储介质及电子装置
CN110650357B (zh) 视频解码方法及装置
CN113098946A (zh) 云桌面场景的识别方法和装置、存储介质及电子装置
CN110572673B (zh) 视频编解码方法和装置、存储介质及电子装置
CN109246431B (zh) 一种基于量化参数配置的视频编码方法、装置和电子设备
CN106658095A (zh) 一种直播视频传输的方法、服务器和用户设备
CN110662071B (zh) 视频解码方法和装置、存储介质及电子装置
CN110677692B (zh) 视频解码方法及装置、视频编码方法及装置
CN110572672A (zh) 视频编解码方法和装置、存储介质及电子装置
CN110677676A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN110545431B (zh) 视频解码方法及装置、视频编码方法及装置
CN110572677A (zh) 视频编解码方法和装置、存储介质及电子装置
CN110582022A (zh) 视频编解码方法和装置及存储介质
CN113014905B (zh) 图像帧的生成方法及装置、存储介质、电子设备
CN110636295B (zh) 视频编解码方法和装置、存储介质及电子装置
US10986337B2 (en) Systems and methods for selective transmission of media content
CN114466224A (zh) 视频数据的编解码方法和装置、存储介质及电子设备
CN110572674A (zh) 视频编解码方法和装置、存储介质及电子装置
CN110636293A (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN110677690A (zh) 视频处理方法和装置、存储介质
CN110572654B (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN110572653B (zh) 视频编码、解码方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018341

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant