CN109218725B - 一种视频编码器、视频解码器及视频处理系统 - Google Patents

一种视频编码器、视频解码器及视频处理系统 Download PDF

Info

Publication number
CN109218725B
CN109218725B CN201711019318.4A CN201711019318A CN109218725B CN 109218725 B CN109218725 B CN 109218725B CN 201711019318 A CN201711019318 A CN 201711019318A CN 109218725 B CN109218725 B CN 109218725B
Authority
CN
China
Prior art keywords
video frame
video
merged
input
syntax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711019318.4A
Other languages
English (en)
Other versions
CN109218725A (zh
Inventor
吴明隆
吴东兴
陈立恒
林亭安
黄翊鑫
蔡宗桦
郑佳韵
周汉良
张永昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co.,Ltd.
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109218725A publication Critical patent/CN109218725A/zh
Application granted granted Critical
Publication of CN109218725B publication Critical patent/CN109218725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频编码器，包括处理电路和通用二进制熵(UBE)语法编码器。处理电路用于处理视频帧的像素数据以产生编码相关数据，其中所述编码相关数据至少包括量化后的变换系数。通用二进制熵(UBE)语法编码器用于处理多个语法元素以产生UBE语法数据。其中，所述编码相关数据由所述多个语法元素表示，所述处理电路根据视频编码标准进行操作，所述视频编码标准支持算术编码，并且所述UBE语法数据不包含算术编码的语法数据。本发明还提供对应的视频解码器及视频处理系统。本发明可以降低延时和视频编码成本。

Description

一种视频编码器、视频解码器及视频处理系统
技术领域
本发明的所公开实施例涉及视频数据处理，且更具体而言，涉及一种视频编码器、视频解码器及视频处理系统。
背景技术
一个传统的视频系统设计包括视频发送系统(或视频记录系统)和视频接收系统(或视频播放系统)。关于视频发送系统/视频记录系统，其包括视频编码器、音频/视频多路复用电路、发送电路等。关于视频接收系统/视频播放系统，其包括接收电路、音频/视频多路解复用电路、视频解码器、显示器等。然而，由于视频发送系统/视频记录系统中长记录延时以及视频接收系统/视频播放系统中长播放延时，传统的视频系统设计无法满足某些超低延时应用的要求。一般地，熵解码是视频解码的性能瓶颈，并且熵解码的性能对比特率比较敏感。高比特率实现更好质量，但是导致较大延时。另外，当存在多个视频源时，一个视频源使用一组视频编码器和解码器，成本较高。
发明内容
根据本发明的实施例，本发明提出一种视频编码器、视频解码器及视频处理系统来解决上述问题。
根据本发明的第一方面，公开一种实例性的视频编码器。所述实例性的视频编码器包括处理电路和通用二进制熵(universal binary entropy，UBE)语法编码器。处理电路用于处理视频帧的像素数据以产生编码相关数据(encoding-related data)，其中所述编码相关数据至少包括量化后的变换系数(quantized transform coefficients)。通用二进制熵语法编码器用于处理多个语法元素以产生通用二进制熵语法数据。所述编码相关数据由所述多个语法元素表示，所述处理电路根据视频编码标准进行操作，所述视频编码标准支持算术编码，并且所述通用二进制熵语法数据不包含算术编码的语法数据。
根据本发明的第二方面，公开一种实例性的视频解码器。所述实例性的视频解码器包括通用二进制熵语法解码器和处理电路，通用二进制熵语法解码器用于处理通用二进制熵语法数据以产生多个解码语法元素，其中所述多个解码语法元素表示编码相关数据，且所述编码相关数据至少包括量化后的变换系数。处理电路用于处理所述编码相关数据以重构视频帧的像素数据。所述处理电路根据视频编码标准进行操作，所述视频编码标准支持算术编码，并且所述通用二进制熵语法数据不包含算术编码的语法数据。
根据本发明的第三方面，公开一种实例性的视频处理系统。所述实例性的视频处理系统包括合并电路和视频编码器。合并电路用于接收多个输入视频帧，并将多个视频帧进行合并以创建合并视频帧(merged video frame)，其中所述多个视频帧分别从所述多个输入视频帧中获得。视频编码器用于编码所述合并视频帧以输出比特流。
本发明通过使用UBE语法编码器，处理速度快，且硬件实现简单，从而降低延时和视频编码成本。并且通过使用UBE语法解码器，实现更高的解码性能，处理速度快，且硬件实现简单，视频解码无需缓存器，降低成本。
对于已经阅读以下各图式及内容所例示的优选实施例的本领域的技术人员来说，本发明的各目的是明显的。
附图说明
图1是例示根据本发明实施例的视频发送系统和视频接收系统的结构示意图。
图2是例示根据本发明实施例的视频解码器的示意图。
图3是例示根据本发明实施例的具有两阶段语法解析(two-phase syntaxparsing)的视频解码器第一示例的示意图。
图4是例示根据本发明实施例的具有两阶段语法解析的视频解码器第二示例的示意图。
图5是例示根据本发明实施例的视频帧的第一分区设计的示意图。
图6是例示根据本发明实施例的视频帧的第二分区设计的示意图。
图7是例示根据本发明实施例的视频编码器的示意图。
图8是例示根据本发明实施例的修改后的视频编码器的示意图。
图9是例示根据本发明实施例的修改后的视频解码器的示意图。
图10是例示根据本发明实施例的视频处理系统的示意图。
图11是例示根据本发明实施例的第一合并方案(merging scheme)的示意图。
图12是例示根据本发明实施例的第二合并方案的示意图。
图13是例示根据本发明实施例的第三合并方案的示意图。
图14是例示根据本发明实施例的第四合并方案的示意图。
图15是例示根据本发明实施例的第五合并方案的示意图。
图16是例示根据本发明实施例的第六合并方案的示意图。
图17是例示根据本发明实施例的第七合并方案的示意图。
图18是例示根据本发明实施例的第八合并方案的示意图。
具体实施方式
本说明书及权利要求书通篇中所用的某些用语指代特定部件。如所属领域的技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个部件。本文并非以名称来区分部件，而是以功能来区分部件。在以下说明书及权利要求书中，用语“包括”是开放式的限定词语，因此其应被解释为意指“包括但不限于…”。另外，用语“耦接”旨在意指间接电连接或直接电连接。因此，当一个装置耦接到另一装置时，则这种连接可以是直接电连接或通过其他装置及连接部而实现的间接电连接。
图1是根据本发明实施例的视频发送系统和视频接收系统的结构示意图。通过举例但不用于限制本发明，视频发送系统100和视频接收系统120可以应用于超低延时应用，如虚拟现实(virtual reality，VR)应用。在本实施例中，该视频发送系统100包括源缓存器102、视频编码器104、比特流缓存器106、音频数据路径108、音频/视频多路复用电路(用“A/V MUX”表示)110和发送(transmitting，TX)电路112。视频接收系统120包括接收(receiving，RX)电路122、音频/视频解多路复用电路(用“A/V DEMUX”表示)124、比特流缓存器126、视频解码器128、显示缓存器130、显示引擎132和音频数据路径134。视频发送系统100可用作视频记录系统，其用于编码来自视频源10的视频帧，并产生编码视频帧数据(encoded video frame data)，通过通信链路15传输到视频接收系统120。视频接收系统120可用作视频播放系统，其用于通过通信链路15接收编码视频帧数据并产生解码视频帧(decoded video frame)至显示设备20，以用于视频播放。例如，视频源10可以是摄像机或者服务器，显示设备20可以是VR头盔的显示器。此外，通信链路15可以通过使用有线链路或者无线链路来实现。
视频源10提供待编码的视频帧。源缓存器102接收待编码的视频帧的像素的像素数据。视频编码器104编码来自源缓存器102的视频帧的像素的像素数据，并产生编码视频比特流。比特流缓存器106接收来自于视频编码器104的编码视频比特流。A/V MUX 110接收来自比特流缓存器106的编码视频比特流以及来自音频数据路径108的编码音频比特流，并对该编码视频比特流和编码音频比特流执行音频/视频多路复用，以产生单个比特流(single bitstream)至TX电路112。TX电路112输出该单个比特流(其由编码视频比特流和编码音频比特流构成)，通过通信链路15传输至视频接收系统120的RX电路122。
A/V DEMUX 120接收该单个比特流(其由视频编码器104所生产的编码视频比特流和音频数据路径108所产生的编码音频比特流构成)，并对该单个比特流执行音频/视频解多路复用，以分离出编码视频比特流和编码音频比特流，进而分别将该编码视频比特流和该编码音频比特流发送到比特流缓存器126和音频数据路径134。比特流缓存器126接收该编码视频比特流，并将该编码视频比特流提供给视频解码器128。音频数据路径134解码该编码音频比特流，以获得用于音频播放的音频数据。关于视频处理和播放，视频解码器128解码该编码视频比特流，以重构视频帧。显示缓存器130接收来自视频编码器128的视频帧的解码像素数据，并将该视频帧的解码像素数据提供给显示引擎132。显示引擎132是驱动电路，用于根据该视频帧的解码像素数据驱动显示设备20。最后，在显示设备20上显示该视频帧。
源缓存器102、比特流缓存器106和显示缓存器130中的任何一个可以通过使用内部存储设备、外部存储设备或者其结合来实现。例如，内部存储设备可以是静态随机存取存储器(static random access memory，SRAM)或者触发器(flip-flop)。外部存储设备可以是动态随机存取存储器(dynamic random access memory，DRAM)或者闪存。
通常，熵解码是视频解码的性能瓶颈。在本发明的一些实施例中，视频解码器128可以使用两阶段语法解析方案(two-phase syntax parsing scheme)。图2是根据本发明实施例的视频解码器的示意图。如图1所示的视频解码器128可以由图2所示的视频解码器200来实现。视频解码器200使用两阶段语法解析方案，并包括语法解析(syntax parsing)电路202和后解码电路204。语法解析电路202将算术编码比特流(例如，数据依赖(data-dependency)上下文自适应二进制算术编码(context-adaptive binary arithmeticcoding，CABAC)熵编码比特流)变换成非数据依赖通用二进制熵(universal binaryentropy，UBE)语法比特流，并且在后解码电路204内UBE语法解码可以执行并行的UBE语法解码，以实现更高的解码性能。
编码视频比特流BS是视频编码器(例如，视频发送系统100的视频编码器104)的熵编码输出。例如，视频编码器104可以使用算术编码技术，如CABAC。这样，编码视频比特流BS是算术编码比特流(例如，CABAC编码比特流)。算术编码经常应用于在预测和/或量化之后所产生的比特串(bit string)。并且，需要传输各种的编码参数和系统配置信息。这些编码参数和系统配置信息将被二值化成码元串(bin string)，并被算术编码。总之，算术编码通常应用于与一些语法元素相关的码元串，语法元素如运动向量差(motion vectordifference，MVD)、用于编码单元(coding unit，CU)的分区模式、预测残差的量化后的变换系数(quantized transform coefficient)的符号和绝对值等。如图2所示，语法解析电路202具有算术解码器203。根据两阶段语法解析方案，算术解码器203用作超前比特流重新格式化处理电路(look-ahead bitstream reformatting processing circuit)。将编码视频比特流BS馈入到算术解码器203内，然后对编码视频比特流BS进行算术解码，以恢复码元串(其为算术解码码元串)。该算术解码的码元串也可指非算术的码元串，或者UBE语法数据。
将UBE语法数据存储在UBE语法数据缓存器206内。当UBE语法数据缓存器206内已经缓存足够的UBE语法数据(算术解码码元串)时，从UBE语法数据缓存器206内读取该UBE语法数据，并且后解码电路204对该UBE语法数据进行后解码。如图2所示，后解码电路204包括UBE语法解码器(例如，可变长度解码器(variable length decoder，VLD)或者表查找电路(table look-up circuit))212和处理电路213。UBE语法解码器212解码UBE语法数据以输出表示预测残差的解码语法数据、各种编码参数和系统配置信息。也就是说，解码语法数据包括多个解码语法元素，其中编码相关数据用解码语法元素来表示。例如，编码相关数据可以包括量化后的变换系数、帧内预测数据、运动数据、控制数据等。将该解码语法数据提供给处理电路213以重构视频帧的像素数据。例如，处理电路213可以包括逆量化电路(用“IQ”表示)214、逆变换电路(用“IT”表示)216、重构电路(用“REC”表示)218、运动向量计算电路(用“MV产生”表示)220、运动补偿电路(用“MC”表示)222、帧内预测电路(用“IP”表示)224、帧间/帧内模式选择电路226、环路滤波器(例如，去块滤波器(deblocking filter，DF)228)以及参考帧缓存器230。由于本领域的技术人员很容易理解包含在处理电路213内的这些电路元件214-230，为了简洁，此处将不作进一步描述。
上述两阶段语法解析方案可以通过使用专利申请号为2016/0241854 A1的美国专利申请所提出的算术解码器来实现，该美国专利申请的名称为“METHOD AND APPARATUSFOR ARITHMETIC DECODING”，在此合并参考该专利申请案的申请标的。该美国专利申请的发明人也是本申请的共同发明人。
在一个示例设计中，语法解析电路202所产生的UBE语法数据是算术解码的码元串。例如，在HEVC标准中，语法元素last_sig_coeff_x_prefix指定了变换块内在扫描顺序上的最后一个重要系数(last significant coefficient)的列位置的前缀。根据HEVC标准，对语法元素last_sig_coeff_x_prefix进行算术编码。一元编码可以用于对语法元素last_sig_coeff_x_prefix进行二值化。如表1所示，为用于语法元素last_sig_coeff_x_prefix的示例性的一元编码，其中最长编码有6比特，并且码元位置用binIdx表示。
表1
Figure BDA0001447092760000071
Figure BDA0001447092760000081
在编码器侧，用于扫描顺序上的最后一个重要系数的列位置的前缀值prefixVal被二值化为各自的码元串。例如，等于3的前缀值prefixVal被二值化为“1110”。使用算术编码对二值化后的码元串进行进一步编码。根据本发明实施例，在如图3所示的解码器侧，算术解码器203(或超前比特流重新格式化处理电路)处理算术编码比特流。将来自于算术解码器203(或超前比特流重新格式化处理电路)的算术编码的码元串“1110”存储到UBE语法数据缓存器206内。在有足够多的码元串可用之后，将该存储的码元串“1110”提供给UBE语法解码器(例如，不具有算术解码的VLD)212，以恢复语法值，即last_sig_coeff_x_prefix＝3。
可选地，语法解析电路202所产生的UBE语法数据可以包括UBE语法数据缓存器206内的具有特定数据结构的解码语法值(即，解码语法元素值)。例如，在HEVC标准中，语法元素last_sig_coeff_x_prefix指定了变换块内在扫描顺序上的最后一个重要系数的列位置的前缀，语法元素last_sig_coeff_y_prefix指定了变换块内在扫描顺序上的最后一个重要系数的行位置的前缀，语法元素last_sig_coeff_x_suffix指定了变换块内在扫描顺序上的最后一个重要系数的列位置的后缀，以及语法元素last_sig_coeff_y_suffix指定了变换块内在扫描顺序上的最后一个重要系数的行位置的后缀。根据HEVC标准，对语法元素last_sig_coeff_x_prefix,last_sig_coeff_y_prefix,last_sig_coeff_x_suffix和last_sig_coeff_y_suffix进行算术编码。根据本发明的实施例，在如图4所示的解码器侧，算术解码器203(其用作超前比特流重新格式化处理电路)处理算术编码比特流。算术解码器203(其用作超前比特流重新格式化处理电路)获得语法元素last_sig_coeff_x_prefix,last_sig_coeff_y_prefix,last_sig_coeff_x_suffix和last_sig_coeff_y_suffix的算术解码语法值“3”,“2”,“4”和“5”，并根据特定的数据结构将其存储到UBE语法数据缓存器206内指定的存储位置。也就是说，UBE语法数据缓存器206内所分配的第一特定存储空间用于记录语法元素last_sig_coeff_x_prefix的解码前缀值，UBE语法数据缓存器206内所分配的第二特定存储空间用于记录语法元素last_sig_coeff_y_prefix的解码前缀值，UBE语法数据缓存器206内所分配的第三特定存储空间用于记录语法元素last_sig_coeff_x_suffix的解码后缀值，UBE语法数据缓存器206内所分配的第四特定存储空间用于记录语法元素last_sig_coeff_y_suffix的解码后缀值。在有足够多的语法值可用之后，将存储的语法值“3”,“2”,“4”和“5”提供给UBE语法解码器(例如，表查找电路)212，以最终恢复该语法，即，last_sig_coeff_x_prefix＝3,last_sig_coeff_y_prefix＝2,last_sig_coeff_x_suffix＝4和last_sig_coeff_y_suffix＝5。
算术编码过程是有数据依存性的，并且常常引起解码吞吐量的问题。为了解决这个问题，两阶段语法解析方案通过将UBE语法数据(其包括非算术编码的语法数据)存储到UBE语法数据缓存器206内，以将算术解码与UBE语法解码(其为非算术解码)进行分离。相对于算术解码器203，由于UBE语法解码器212相对简单，系统设计仅需要考虑到用于语法解析电路202的吞吐量问题。
编码块是视频编码标准的基本处理单元。例如，当视频编码标准为H.264时，一个编码块为一个宏块(macroblock，MB)。又例如，当视频编码标准是VP9时，一个编码块为一个超级块(super block，SB)。还例如，当视频编码标准为高效视频编码(HEVC，HighEfficiency Video Coding)时，一个编码块是一个编码树单元(coding tree unit，CTU)。一个视频帧可以被分区成多个切片(slice)，从而每个切片包括视频帧的一部分。由于通用术语“切片”在不同的视频编码标准中均已定义，为了简洁此处不在作进一步说明。图5是根据本发明实施例的视频帧的第一分区设计。一个视频帧IMG具有多个编码块行(例如，MB行，SB行或者CTU行)：行0,行1,行2,…,行n，每行具有多个编码块(例如，MB，SB或者CTU)。在第一分区设计中，每个编码块行是一个切片。因此，视频帧IMG被分区成切片0,切片1,切片2,…,切片n。图6是根据本发明实施例的视频帧的第二分区设计。一个视频帧IMG具有多个编码块行(例如，MB行，SB行或者CTU行)：行0,行1,行2,…,行n，每行具有多个编码块(例如，MB，SB或者CTU)。在第二分区设计中，每个编码块行包括多个切片。因此，视频帧IMG被分区成切片0,0-切片0,m,切片1,0-切片1,m,切片2,0-切片2,m,…,切片n,0-切片n,m。在一个视频帧被分区成多个切片的前提下，可以使用视频发送系统100和视频接收系统120，其中，切片可以包含一个编码块行(例如，MB/SB/CTU行)的部分或者全部编码数据，但是不能包含多个编码块行(例如，MB/SB/CTU行)的部分或者全部编码数据。
包含在视频发送系统100内的视频编码器104使用基于流水线结构(pipelinestructure)的编码块(例如，基于流水线结构的CTU行)，以有效降低编码延时。例如，当一个CTU行的像素数据准备好时，视频编码器104可以开始编码视频帧内的该CTU行。图7是根据本发明实施例的视频编码器的示意图。图1中的视频编码器104可以由图7中的视频编码器700来实现，图1中的源缓存器102可以由图7中的基于CTU行的环形缓存器701来实现，并且图1中的比特流缓存器106可以由图7中的基于切片的环形缓存器705来实现。基于CTU行的环形缓存器701能够存储至少一个CTU行的源数据，并且基于切片的环形缓存器705能够存储至少一个切片的编码数据。视频编码器700包括处理电路702和熵编码器703。由于环形缓存器的内部特性，基于CTU行的环形缓存器701内的存储空间用于存储视频帧内的一个CTU行的像素数据，并可重用于存储同一视频帧内的另一个CTU行的像素数据。基于切片的环形缓存器705内的存储空间用于存储视频帧内的一个切片的编码像素数据，并可重用于存储同一视频帧内另一切片的编码像素数据。处理电路702用于处理视频帧的像素数据D_IN(特别是视频帧内的一个CTU的像素数据)以产生编码相关数据(encoding-related data)D_OUT，其中编码相关数据D_OUT至少包括量化后的变换系数。根据所使用的编码标准，编码相关数据D_OUT进一步包括帧内预测数据、环路滤波器控制数据、运动数据和/或控制数据。在本实例中，处理电路702包括残差产生电路712、变换电路(用“T”表示)714、量化电路(用“Q”表示)716、码率失真优化和模式决策电路(用“RDO/模式决策”表示)718、逆量化电路(用“IQ”表示)720、逆变换电路(用“IT”表示)722、重构电路724、环路滤波器(例如，去块滤波器(deblocking filter，DF)726)、参考帧缓存器728、运动估计和运动补偿电路(用ME/MC表示)730、帧内预测电路(用“IP”表示)732和帧间/帧内模式选择电路734。由于本领域的技术人员很容易理解包含在处理电路702内的这些电路元件712-734，为了简洁，此处将不作进一步描述。
熵编码器703具有算术编码引擎704，其用于对处理电路702所产生的编码相关数据D_OUT(其至少包括量化的变换系数)进行算术编码。例如，算术编码引擎704可以是CABAC编码器。因此，熵编码器703所产生的编码视频比特流BS是算术编码比特流(例如，CABAC编码比特流)。编码视频比特流BS的数据存储在基于切片的环形缓存器705内。
为了实现更好的解码性能，上述在解码器部分的两阶段语法解析方案将算术解码与UBE语法解码(其是非算术解码，如霍夫曼(Huffman)解码、一元解码或者指数哥伦布(Exp-Golomb)解码)进行分离。然而，由两阶段语法解析方案的算术解码所引起的延时是不可避免的。为了进一步减低解码延时以满足超低延时应用的严格要求，如VR应用，本发明进一步提出修改后的视频编码器设计和修改后的视频解码器设计。
图8是根据本发明实施例的修改后的视频编码器的示意图。图1中的视频编码器104可以由图8中的视频编码器800来实现。图7中的视频编码器700与图8中的视频编码器800的主要区别在于视频编码器800使用UBE语法编码器803。这样，UBE语法编码器803用于处理多个语法元素以产生视频比特流BSUBE，该视频比特流BSUBE由UBE语法数据构成。处理电路702所产生的编码相关数据D_OUT(其至少包括量化后的变换系数)用语法元素表示。UBE语法编码器通过使用非算术编码(如霍夫曼编码、一元编码或者指数哥伦布编码)来产生UBE语法数据。应注意，处理电路702根据视频编码标准(例如HEVC)进行操作，其中视频编码标准支持算术编码(例如CABAC)。但是由于使用非算术编码，UBE语法编码器803所产生的UBE语法数据不包含算术编码后的语法数据。
相对于熵编码器703所使用的算术编码，UBE语法编码器803所使用的非算术编码(例如，霍夫曼编码、一元解码或者指数哥伦布编码)具有更快的处理速度，并且需要更简单的硬件实现。因此，相对于视频编码器700，视频编码器800的成本更低，延时更低。
图9是根据本发明实施例的修改后的视频解码器的示意图。图1中的视频解码器128可以由图9中的视频解码器900来实现，图1中的比特流缓存器126可以由图9中的比特流缓存器901来实现。图2中的视频解码器200与图9中的视频解码器900的主要区别在于，视频解码器900省去了语法解析电路202(其使用算术解码器203)和UBE语法数据缓存器206。因此，视频解码器900直接接收来自于比特流缓存器901(例如，图8中的基于切片的环形缓存器)且由UBE语法数据所构成的视频比特流BSUBE。UBE语法解码器212处理视频比特流BSUBE的UBE语法数据以产生多个解码语法元素，其中编码相关数据用编码语法元素来表示，并且至少包括量化后的变换系数。根据所采用的编码标准，编码相关数据可以进一步包括帧内预测数据、环路滤波器控制数据、运动数据和/或控制数据。处理电路213处理该编码相关数据以重构视频帧的像素数据。应注意，处理电路213根据视频编码标准(如HEVC)进行操作。然而，馈入到UBE语法编码器212的UBE语法数据不包含算术编码的语法数据。
相对于语法解析电路202(其使用算术解码器203)所使用的算术解码，UBE语法解码器212所使用的非算术解码(例如，霍夫曼解码、一元解码或者指数哥伦布解码)具有更快的处理速度，并且需要更简单的硬件实现。进一步地，由于视频解码器900没有使用两阶段语法解析方案，视频解码器900无需位于语法解析器与后解码器之间的UBE语法数据缓存器。因此，相对于视频解码器200，视频解码器900的成本更低，延时更低。
当特殊应用(如VR应用)采用图1中的视频发送系统100和视频接收系统120时，视频发送系统100有可能接收来自不止一个视频源10的视频帧。若视频发送系统100具有一个用于视频编码一个视频源的视频编码器104，视频接收系统120具有一个拥有视频解码一个视频源的视频解码器128，则使用多组视频编解码器(encoder and decoder，CODEC)。但是，这样成本高。本发明提出将多个视频帧合并成单个视频帧，然后编码该单个视频帧以用于数据传输。这样，单组视频编解码器能够同时对多个视频源进行视频编码和视频解码。
图10是根据本发明实施例的视频处理系统的示意图。视频处理系统1000可以是视频发送系统的一部分。如图10所示，视频处理系统100包括合并电路1002和视频编码器1004。在一个示例设计中，视频编码器1004可以由图7中的视频编码器700来实现。在另一示例设计中，视频编码器1004可以由图8中的视频编码器800来实现。视频处理系统1000耦接到多个视频源10_1-10_N(例如，摄像机或者服务器)。视频源10_1-10_N提供多个输入视频帧IMG_1-IMG_N给合并电路1002。例如，输入视频帧IMG_1-IMG_N存储在多个源缓存器(未示出)内，并且合并电路1002从源缓存器内获取输入视频帧IMG_1-IMG_N。合并电路1002将多个视频帧进行合并以创建一个合并视频帧IMGM，其中包含在该合并视频帧IMGM的视频帧分别来自于输入视频帧IMG_1-IMG_N。例如，包含在该合并视频帧IMGM的一个视频帧可以是由一个视频源所开始提供的输入视频帧，或者可以是通过缩放由一个视频源所开始提供的输入视频帧所产生的缩放视频帧。
合并视频帧IMGM是由从输入视频帧IMG_1-IMG_N所提取的像素数据构成的单个视频帧，并且被馈入到视频编码器1004。当视频编码器1004由图7中的视频编码器700来实现时，产生包含算术编码数据的编码视频比特流BS，以用于该合并视频帧IMGM。当视频编码器1004由图8中的视频编码器800来实现时，产生不包含算术编码数据的视频比特流BSUBE，以用于该合并视频帧IMGM。
在本发明的一些实施例中，视频源10_1-10_N可以是同时捕获输入视频帧IMG_1-IMG_N的摄像机。这样，待合并成单个视频帧的输入视频帧IMG_1-IMG_N可以具有相同的时间戳。由于每个合并视频帧由具有相同时间戳的输入视频帧所构成，很容易在不同视频源之间进行时间同步。
不同的视频源10_1-10_N提供输入视频帧。这样，输入视频帧IMG_1-IMG_N的大小无需相同。合并电路1002采用合并方案以组合输入视频帧IMG_1-IMG_N。
图11是根据本发明实施例的第一合并方案的示意图。如图11所示，包含在合并视频帧IMGM内的视频帧是视频源10_1-10_N所开始提供的输入视频帧IMG1-IMGN。此外，输入视频帧IMG1-IMGN的底部与该合并视频帧IMGM的底部对齐。如图11所示，包含在该合并视频帧IMGM内的第一视频帧(例如输入视频帧IMG1)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第一部分，包含在该合并视频帧IMGM内的第二视频帧(例如输入视频帧IMG2)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第二部分，包含在该合并视频帧IMGM内的第三视频帧(例如输入视频帧IMG3)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第三部分，以及包含在该合并视频帧IMGM内的第N视频帧(例如输入视频帧IMGN)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第N部分。由于输入视频帧IMG1-IMGN的高度无需相同，该合并视频帧IMGM具有没有被输入视频帧IMG1-IMGN中任何一个所占用的区域1102，为了改善编码效率，填充到该区域1102内的所有虚拟像素均可以有目的地设置成相同的像素值。
图12是根据本发明实施例的第二合并方案的示意图。如图12所示，包含在该合并视频帧IMGM内的视频帧包括缩放视频帧，每个缩放视频帧由合并电路1002通过缩放一个由一个视频源初始提供的输入视频帧而产生的。此外，视频帧(其包括缩放视频帧)的底部与该合并视频帧IMGM的底部对齐。如图12所示，包含在该合并视频帧IMGM内的第一视频帧(例如输入视频帧IMG1)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第一部分，包含在该合并视频帧IMGM内的第二视频帧(例如输入视频帧IMG2)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第二部分，包含在该合并视频帧IMGM内的第三视频帧(例如，由缩放视频帧IMG3所产生的缩放视频帧IMG3’)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第三部分，以及包含在该合并视频帧IMGM内的第N视频帧(例如，由缩放视频帧IMGN所产生的缩放视频帧IMGN’)的最底像素行是该合并视频帧IMGM的最底像素行Row_B的第N部分。在本实例中，每个缩放视频帧的高度等于该合并视频帧IMGM的高度。但是，此仅用作示例目的，并不用于限制本发明。实际上，根据实际设计考虑，可以调整输入视频帧的缩放比例。
图13是根据本发明实施例的第三合并方案的示意图。如图13所示，包含在合并视频帧IMGM内的视频帧是由视频源10_1-10_N初始提供的输入视频帧IMG1-IMGN。此外，输入视频帧IMG1-IMGN的顶部与该合并视频帧IMGM的顶部对齐。如图13所示，包含在该合并视频帧IMGM内的第一视频帧(例如输入视频帧IMG1)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第一部分，包含在该合并视频帧IMGM内的第二视频帧(例如输入视频帧IMG2)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第二部分，包含在该合并视频帧IMGM内的第三视频帧(例如输入视频帧IMG3)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第三部分，以及包含在该合并视频帧IMGM内的第N视频帧(例如输入视频帧IMGN)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第N部分。由于输入视频帧IMG1-IMGN的高度无需相同，该合并视频帧IMGM具有没有被输入视频帧IMG1-IMGN中任何一个所占用的区域1302，为了改善编码效率，填充到该区域1302内的所有虚拟像素均可以有目的地设置成相同的像素值。
图14是根据本发明实施例的第四合并方案的示意图。如图14所示，包含在该合并视频帧IMGM内的视频帧包括缩放视频帧，每个缩放视频帧由合并电路1002通过缩放一个由一个视频源初始提供的输入视频帧而产生。此外，视频帧(其包括缩放视频帧)的顶部与该合并视频帧IMGM的顶部对齐。如图14所示，包含在该合并视频帧IMGM内的第一视频帧(例如输入视频帧IMG1)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第一部分，包含在该合并视频帧IMGM内的第二视频帧(例如输入视频帧IMG2)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第二部分，包含在该合并视频帧IMGM内的第三视频帧(例如，通过缩放视频帧IMG3所产生的缩放视频帧IMG3’)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第三部分，以及包含在该合并视频帧IMGM内的第N视频帧(例如，通过缩放视频帧IMGN所产生的缩放视频帧IMGN’)的最上像素行是该合并视频帧IMGM的最上像素行Row_T的第N部分。在本实例中，每个缩放视频帧的高度等于该合并视频帧IMGM的高度。但是，此仅用作示例目的，并不用于限制本发明。实际上，根据实际设计考虑，可以调整输入视频帧的缩放比例。
图15是根据本发明实施例的第五合并方案的示意图。如图15所示，包含在合并视频帧IMGM内的视频帧是由视频源10_1-10_N初始提供的输入视频帧IMG1-IMGN。在第五合并方案中，对视频帧打补丁(patch)以形成该合并视频帧IMGM。这样，该合并视频帧IMGM的垂直方向上合并了一些视频帧。在本实例中，输入视频帧IMG1-IMGN中的一些的左侧与该合并视频帧IMGM的同一像素列对齐。如图15所示，包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG3)的最左像素列是该合并视频帧IMGM的第一像素列Column_1的第一部分，以及包含在该合并视频帧IMGM内的另一个视频帧(例如输入视频帧IMG4)的最左像素列是该合并视频帧IMGM的第一像素列Column_1的第二部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG5)的最左像素列是该合并视频帧IMGM的第二像素列Column_2的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如输入视频帧IMG6)的最左像素列是该合并视频帧IMGM的第二像素列Column_2的第二部分，以及包含在该合并视频帧IMGM内的还另一个视频帧(例如输入视频帧IMG7)的最左像素列是该合并视频帧IMGM的第二像素列Column_2的第三部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMGN-2)的最左像素列是该合并视频帧IMGM的第三像素列Column_3的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如输入视频帧IMGN-1)的最左像素列是该合并视频帧IMGM的第三像素列Column_3的第二部分，以及包含在该合并视频帧IMGM内的还另一个视频帧(例如输入视频帧IMGN)的最左像素列是该合并视频帧IMGM的第三像素列Column_3的第三部分。由于输入视频帧IMG1-IMGN的宽度无需相同，该合并视频帧IMGM具有没有被输入视频帧IMG1-IMGN中任何一个所占用的区域1502，为了改善编码效率，填充到该区域1502内的所有虚拟像素均可以有目的地设置成相同的像素值。
图16是根据本发明实施例的第六合并方案的示意图。如图16所示，包含在该合并视频帧IMGM内的视频帧包括缩放视频帧，每个缩放视频帧由合并电路1002通过缩放一个由一个视频源初始提供的输入视频帧而产生。在第六合并方案中，对视频帧(其包括缩放视频帧)打补丁以形成该合并视频帧IMGM。这样，该合并视频帧IMGM的垂直方向上合并了一些视频帧(其包括缩放视频帧)。在本实例中，输入视频帧IMG1-IMGN中的一些的左侧与该合并视频帧IMGM的同一像素列对齐。如图16所示，包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG3)的最左像素列是该合并视频帧IMGM的第一像素列Column_1的第一部分，以及包含在该合并视频帧IMGM内的另一个视频帧(例如，由缩放输入视频帧IMG4所产生的缩放视频帧IMG4’)的最左像素列是该合并视频帧IMGM的第一像素列Column_1的第二部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG5)的最左像素列是该合并视频帧IMGM的第二像素列Column_2的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如，通过缩放输入视频帧IMG6所产生的缩放视频帧IMG6’)的最左像素列是该合并视频帧IMGM的第二像素列Column_2的第二部分，以及包含在该合并视频帧IMGM内的还另一个视频帧(例如，通过缩放输入视频帧IMG7所产生的缩放视频帧IMG7’)的最左像素列是该合并视频帧IMGM的第二像素列Column_2的第三部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMGN-2)的最左像素列是该合并视频帧IMGM的第N像素列Column_3的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如，通过缩放输入视频帧IMGN-1所产生的缩放视频帧IMGN-1’)的最左像素列是该合并视频帧IMGM的第三像素列Column_3的第二部分，以及包含在该合并视频帧IMGM内的另一个视频帧(例如，通过缩放输入视频帧IMGN所产生的缩放视频帧IMGN’)的最左像素列是该合并视频帧IMGM的第三像素列Column_3的第三部分。在本实例中，关于左侧与该合并视频帧IMGM的同一像素列对齐的视频帧，每个缩放视频帧的宽度等于一个视频源所开始提供的一个输入视频帧的宽度。但是，此仅用作示例目的，并不用于限制本发明。实际上，根据实际设计考虑，可以调整输入视频帧的缩放比例。
图17是根据本发明实施例的第七合并方案的示意图。如图17所示，包含在合并视频帧IMGM内的视频帧是由视频源10_1-10_N初始提供的输入视频帧IMG1-IMGN。在第七合并方案中，对视频帧打补丁以形成该合并视频帧IMGM。这样，该合并视频帧IMGM的垂直方向上合并了一些视频帧。在本实例中，输入视频帧IMG1-IMGN中的一些的右侧与该合并视频帧IMGM的同一像素列对齐。如图17所示，包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG3)的最右像素列是该合并视频帧IMGM的第一像素列Column_1的第一部分，以及包含在该合并视频帧IMGM内的另一个视频帧(例如输入视频帧IMG4)的最右像素列是该合并视频帧IMGM的第一像素列Column_1的第二部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG5)的最右像素列是该合并视频帧IMGM的第二像素列Column_2的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如输入视频帧IMG6)的最右像素列是该合并视频帧IMGM的第二像素列Column_2的第二部分，以及包含在该合并视频帧IMGM内的还另一个视频帧(例如输入视频帧IMG7)的最右像素列是该合并视频帧IMGM的第二像素列Column_2的第三部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMGN-2)的最右像素列是该合并视频帧IMGM的第三像素列Column_3的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如输入视频帧IMGN-1)的最右像素列是该合并视频帧IMGM的第三像素列Column_3的第二部分，以及包含在该合并视频帧IMGM内的还另一个视频帧(例如输入视频帧IMGN)的最右像素列是该合并视频帧IMGM的第三像素列Column_3的第三部分。由于输入视频帧IMG1-IMGN的宽度无需相同，该合并视频帧IMGM具有没有被输入视频帧IMG1-IMGN中任何所占用的区域1702，为了改善编码效率，填充到该区域1702内的所有虚拟像素均可以有目的地设置成相同的像素值。
图18是根据本发明实施例的第八合并方案的示意图。如图18所示，包含在该合并视频帧IMGM内的视频帧包括缩放视频帧，每个缩放视频帧由合并电路1002通过缩放一个由一个视频源初始提供的输入视频帧而产生。在第八合并方案中，对视频帧(其包括缩放视频帧)打补丁以形成该合并视频帧IMGM。这样，该合并视频帧IMGM的垂直方向上合并了一些视频帧(其包括缩放视频帧)。在本实例中，输入视频帧IMG1-IMGN中的一些的右侧与该合并视频帧IMGM的同一像素列对齐。如图18所示，包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG3)的最右像素列是该合并视频帧IMGM的第一像素列Column_1的第一部分，以及包含在该合并视频帧IMGM内的另一个视频帧(例如，由缩放输入视频帧IMG4所产生的缩放视频帧IMG4’)的最右像素列是该合并视频帧IMGM的第一像素列Column_1的第二部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMG5)的最右像素列是该合并视频帧IMGM的第二像素列Column_2的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如，由缩放输入视频帧IMG6所产生的缩放视频帧IMG6’)的最右像素列是该合并视频帧IMGM的第二像素列Column_2的第二部分，以及包含在该合并视频帧IMGM内的还另一个视频帧(例如，由缩放输入视频帧IMG7所产生的缩放视频帧IMG7’)的最右像素列是该合并视频帧IMGM的第二像素列Column_2的第三部分；包含在该合并视频帧IMGM内的一个视频帧(例如输入视频帧IMGN-2)的最右像素列是该合并视频帧IMGM的第N像素列Column_3的第一部分，包含在该合并视频帧IMGM内的另一个视频帧(例如，由缩放输入视频帧IMGN-1所产生的缩放视频帧IMGN-1’)的最右像素列是该合并视频帧IMGM的第三像素列Column_3的第二部分，以及包含在该合并视频帧IMGM内的还另一个视频帧(例如，由缩放输入视频帧IMGN所产生的缩放视频帧IMGN’)的最右像素列是该合并视频帧IMGM的第三像素列Column_3的第三部分。在本实例中，关于右侧与该合并视频帧IMGM的同一像素列对齐的视频帧，每个缩放视频帧的宽度等于一个视频源所开始提供的一个输入视频帧的宽度。但是，此仅用作示例目的，并不用于限制本发明。实际上，根据实际设计考虑，可以调整输入视频帧的缩放比例。
所属领域的技术人员易知，可在保持本发明的教示内容的同时对装置及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书的范围的限制。

Claims (20)

1.一种视频处理系统，其特征在于，包括：
合并电路，用于接收多个输入视频帧，并将多个视频帧进行合并以创建合并视频帧，其中所述多个视频帧分别从所述多个输入视频帧中获得；以及
视频编码器，用于编码所述合并视频帧以输出比特流；
其中，所述多个输入视频帧包括具有第一分辨率的第一输入视频帧以及具有第二分辨率的第二输入视频帧，并且所述第一分辨率与所述第二分辨率不同；以及
所述多个视频帧包括从所述第一输入视频帧中获得的第一视频帧以及从所述第二输入视频帧中获得的第二视频帧；包含在所述合并视频帧内的所述第一视频帧的最上像素行是所述合并视频帧的最上像素行的第一部分，以及包含在所述合并视频帧内的所述第二视频帧的最上像素行是所述合并视频帧的最上像素行的第二部分。
2.如权利要求1中所述的视频处理系统，其特征在于，所述合并电路进一步用于缩放所述第一输入视频帧和所述第二输入视频帧中的至少一个以产生至少一个缩放视频帧，且所述第一视频帧和所述第二视频帧包括所述至少一个缩放视频帧。
3.如权利要求1中所述的视频处理系统，其特征在于，所述合并电路分别接收来自不同的视频源的所述多个输入视频帧。
4.如权利要求1中所述的视频处理系统，其特征在于，所述多个输入视频帧具有相同的时间戳。
5.如权利要求1中所述的视频处理系统，其特征在于，所述视频编码器包括：
处理电路，用于处理所述合并视频帧的像素数据以产生编码相关数据，其中所述编码相关数据至少包括量化后的变换系数；
通用二进制熵语法编码器，用于处理多个语法元素以产生通用二进制熵语法数据；
其中，所述编码相关数据由所述多个语法元素表示，所述处理电路根据视频编码标准进行操作，所述视频编码标准支持算术编码，并且所述通用二进制熵语法数据不包含算术编码的语法数据。
6.一种视频处理系统，其特征在于，包括：
合并电路，用于接收多个输入视频帧，并将多个视频帧进行合并以创建合并视频帧，其中所述多个视频帧分别从所述多个输入视频帧中获得；以及
视频编码器，用于编码所述合并视频帧以输出比特流；
其中，所述多个输入视频帧包括具有第一分辨率的第一输入视频帧以及具有第二分辨率的第二输入视频帧，并且所述第一分辨率与所述第二分辨率不同；以及
所述多个视频帧包括从所述第一输入视频帧中获得的第一视频帧以及从所述第二输入视频帧中获得的第二视频帧；包含在所述合并视频帧内的所述第一视频帧的最底像素行是所述合并视频帧的最底像素行的第一部分，以及包含在所述合并视频帧内的所述第二视频帧的最底像素行是所述合并视频帧的最底像素行的第二部分。
7.如权利要求6中所述的视频处理系统，其特征在于，所述合并电路进一步用于缩放所述第一输入视频帧和所述第二输入视频帧中的至少一个以产生至少一个缩放视频帧，且所述第一视频帧和所述第二视频帧包括所述至少一个缩放视频帧。
8.如权利要求6中所述的视频处理系统，其特征在于，所述合并电路分别接收来自不同的视频源的所述多个输入视频帧。
9.如权利要求6中所述的视频处理系统，其特征在于，所述多个输入视频帧具有相同的时间戳。
10.如权利要求6中所述的视频处理系统，其特征在于，所述视频编码器包括：
处理电路，用于处理所述合并视频帧的像素数据以产生编码相关数据，其中所述编码相关数据至少包括量化后的变换系数；
通用二进制熵语法编码器，用于处理多个语法元素以产生通用二进制熵语法数据；
其中，所述编码相关数据由所述多个语法元素表示，所述处理电路根据视频编码标准进行操作，所述视频编码标准支持算术编码，并且所述通用二进制熵语法数据不包含算术编码的语法数据。
11.一种视频处理系统，其特征在于，包括：
合并电路，用于接收多个输入视频帧，并将多个视频帧进行合并以创建合并视频帧，其中所述多个视频帧分别从所述多个输入视频帧中获得；以及
视频编码器，用于编码所述合并视频帧以输出比特流；
其中，所述多个输入视频帧包括具有第一分辨率的第一输入视频帧以及具有第二分辨率的第二输入视频帧，并且所述第一分辨率与所述第二分辨率不同；以及
所述多个视频帧包括从所述第一输入视频帧中获得的第一视频帧以及从所述第二输入视频帧中获得的第二视频帧；包含在所述合并视频帧内的所述第一视频帧的最左像素列是所述合并视频帧的像素列的第一部分，以及包含在所述合并视频帧内的所述第二视频帧的最左像素列是所述合并视频帧的像素列的第二部分。
12.如权利要求11中所述的视频处理系统，其特征在于，所述合并电路进一步用于缩放所述第一输入视频帧和所述第二输入视频帧中的至少一个以产生至少一个缩放视频帧，且所述第一视频帧和所述所述第二视频帧包括所述至少一个缩放视频帧。
13.如权利要求11中所述的视频处理系统，其特征在于，所述合并电路分别接收来自不同的视频源的所述多个输入视频帧。
14.如权利要求11中所述的视频处理系统，其特征在于，所述多个输入视频帧具有相同的时间戳。
15.如权利要求11中所述的视频处理系统，其特征在于，所述视频编码器包括：
处理电路，用于处理所述合并视频帧的像素数据以产生编码相关数据，其中所述编码相关数据至少包括量化后的变换系数；
通用二进制熵语法编码器，用于处理多个语法元素以产生通用二进制熵语法数据；
其中，所述编码相关数据由所述多个语法元素表示，所述处理电路根据视频编码标准进行操作，所述视频编码标准支持算术编码，并且所述通用二进制熵语法数据不包含算术编码的语法数据。
16.一种视频处理系统，其特征在于，包括：
合并电路，用于接收多个输入视频帧，并将多个视频帧进行合并以创建合并视频帧，其中所述多个视频帧分别从所述多个输入视频帧中获得；以及
视频编码器，用于编码所述合并视频帧以输出比特流；
其中，所述多个输入视频帧包括具有第一分辨率的第一输入视频帧以及具有第二分辨率的第二输入视频帧，并且所述第一分辨率与所述第二分辨率不同；以及
所述多个视频帧包括从所述第一输入视频帧中获得的第一视频帧以及从所述第二输入视频帧中获得的第二视频帧；包含在所述合并视频帧内的所述第一视频帧的最右像素列是所述合并视频帧的像素列的第一部分，以及包含在所述合并视频帧内的所述第二视频帧的最右像素列是所述合并视频帧的像素列的第二部分。
17.如权利要求16中所述的视频处理系统，其特征在于，所述合并电路进一步用于缩放所述第一输入视频帧和所述第二输入视频帧中的至少一个以产生至少一个缩放视频帧，且所述第一视频帧和所述第二视频帧包括所述至少一个缩放视频帧。
18.如权利要求16中所述的视频处理系统，其特征在于，所述合并电路分别接收来自不同的视频源的所述多个输入视频帧。
19.如权利要求16中所述的视频处理系统，其特征在于，所述多个输入视频帧具有相同的时间戳。
20.如权利要求16中所述的视频处理系统，其特征在于，所述视频编码器包括：
处理电路，用于处理所述合并视频帧的像素数据以产生编码相关数据，其中所述编码相关数据至少包括量化后的变换系数；
通用二进制熵语法编码器，用于处理多个语法元素以产生通用二进制熵语法数据；
其中，所述编码相关数据由所述多个语法元素表示，所述处理电路根据视频编码标准进行操作，所述视频编码标准支持算术编码，并且所述通用二进制熵语法数据不包含算术编码的语法数据。
CN201711019318.4A 2016-07-12 2017-10-26 一种视频编码器、视频解码器及视频处理系统 Active CN109218725B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662361113P 2016-07-12 2016-07-12
US15/641,224 2017-07-04
US15/641,224 US10412390B2 (en) 2016-07-12 2017-07-04 Video processing system using low-cost video encoding/decoding architecture

Publications (2)

Publication Number Publication Date
CN109218725A CN109218725A (zh) 2019-01-15
CN109218725B true CN109218725B (zh) 2021-01-26

Family

ID=60940805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711019318.4A Active CN109218725B (zh) 2016-07-12 2017-10-26 一种视频编码器、视频解码器及视频处理系统

Country Status (3)

Country Link
US (1) US10412390B2 (zh)
CN (1) CN109218725B (zh)
TW (1) TWI652933B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572353A (zh) * 2016-10-21 2017-04-19 上海拆名晃信息科技有限公司 用于虚拟现实的无线传输方法、装置、终端和头显设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102177705A (zh) * 2008-09-04 2011-09-07 晶像股份有限公司 用于平滑图像边缘以去除不规则的系统、方法和装置
CN102375978A (zh) * 2010-08-17 2012-03-14 富士通株式会社 处理图像的方法和设备
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
WO2014006267A1 (en) * 2012-07-02 2014-01-09 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623308A (en) * 1995-07-07 1997-04-22 Lucent Technologies Inc. Multiple resolution, multi-stream video system using a single standard coder
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
EP2362653A1 (en) * 2010-02-26 2011-08-31 Panasonic Corporation Transport stream packet header compression
US8768069B2 (en) * 2011-02-24 2014-07-01 Sony Corporation Image enhancement apparatus and method
EP2629247B1 (en) * 2012-02-15 2014-01-08 Alcatel Lucent Method for mapping media components employing machine learning
US9264706B2 (en) 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
WO2014058280A1 (ko) 2012-10-12 2014-04-17 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US9819849B1 (en) * 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
TW201501516A (zh) 2013-06-24 2015-01-01 Taiwan Secom Co Ltd 多訊源影像串流顯示系統、多訊源影像串流顯示裝置及其方法
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
US9344626B2 (en) * 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9866878B2 (en) * 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10250912B2 (en) 2015-02-17 2019-04-02 Mediatek Inc. Method and apparatus for entropy decoding with arithmetic decoding decoupled from variable-length decoding
CN104754366A (zh) * 2015-03-03 2015-07-01 腾讯科技（深圳）有限公司 音视频文件直播方法、装置和系统
WO2016142738A1 (en) * 2015-03-09 2016-09-15 Synaptive Medical (Barbados) Inc. A surgical camera system with automatic alternation between two depths of field
CN104811622B (zh) * 2015-04-30 2017-03-15 努比亚技术有限公司 图像色彩移植方法及装置
US10063790B2 (en) * 2015-10-05 2018-08-28 Woncheol Choi Virtual flying camera system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102177705A (zh) * 2008-09-04 2011-09-07 晶像股份有限公司 用于平滑图像边缘以去除不规则的系统、方法和装置
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
CN102375978A (zh) * 2010-08-17 2012-03-14 富士通株式会社 处理图像的方法和设备
WO2014006267A1 (en) * 2012-07-02 2014-01-09 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高效视频编码;沈燕飞等;《计算机学报》;20131130;第2340-2355页 *

Also Published As

Publication number Publication date
CN109218725A (zh) 2019-01-15
TW201813384A (zh) 2018-04-01
US10412390B2 (en) 2019-09-10
TWI652933B (zh) 2019-03-01
US20180020221A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
US6917310B2 (en) Video decoder and encoder transcoder to and from re-orderable format
JP6527877B2 (ja) ビデオコーディングプロセスにおける係数レベルコーディング
US9167245B2 (en) Method of determining binary codewords for transform coefficients
CA2788754C (en) Parallel entropy coding and decoding methods and devices
US9635358B2 (en) Method of determining binary codewords for transform coefficients
US8532192B2 (en) Video processing apparatus and a method of processing video data
CN109218822B (zh) 一种视频处理系统
US10250912B2 (en) Method and apparatus for entropy decoding with arithmetic decoding decoupled from variable-length decoding
CN103634598A (zh) 视频处理的转置缓冲
CA2794261A1 (en) Methods and devices for reordered parallel entropy coding and decoding
KR100298397B1 (ko) 비디오디코딩시스템
EP1292152B1 (en) Image processing apparatus, and image processing method
JP2023530470A (ja) ディープニューラルネットワークを符号化／復号するためのシステム及び方法
US20140321528A1 (en) Video encoding and/or decoding method and video encoding and/or decoding apparatus
JPH07222164A (ja) ディジタルビデオ・ビットストリームコーダ
US20210344900A1 (en) Image processing device
CN109218725B (zh) 一种视频编码器、视频解码器及视频处理系统
JP2002112268A (ja) 圧縮画像データ復号装置
JP2004501531A (ja) ビデオ・データをランレングス符号化するための方法と装置
KR20200107745A (ko) 임베디드 이미지 코덱을 위한 서브-블록 기반 엔트로피 코딩
KR20060027831A (ko) 신호를 비트 스트림으로 인코딩하는 방법
WO2011080851A1 (ja) 画像符号化装置および集積回路
US20180184090A1 (en) Binary arithmetic coding apparatus and method
JP2013219611A (ja) 符号化装置および符号化方法、ならびに、復号装置および復号方法
JP2008113348A (ja) 符号化復号装置、復号方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211011

Address after: Room 100, 1891 Robertson Road, Ottawa, Ontario, Canada

Patentee after: Xueshan Technology Co.,Ltd.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu Chinese Dusing 1

Patentee before: MEDIATEK Inc.

TR01 Transfer of patent right