CN114270834A - 图像转换装置以及图像解码装置 - Google Patents

图像转换装置以及图像解码装置 Download PDF

Info

Publication number
CN114270834A
CN114270834A CN202080058622.3A CN202080058622A CN114270834A CN 114270834 A CN114270834 A CN 114270834A CN 202080058622 A CN202080058622 A CN 202080058622A CN 114270834 A CN114270834 A CN 114270834A
Authority
CN
China
Prior art keywords
slice
encoded
image
brick
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058622.3A
Other languages
English (en)
Inventor
竹原英树
中村博哉
坂爪智
福岛茂
熊仓彻
仓重宏之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN114270834A publication Critical patent/CN114270834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像转换装置，将图像分割为预定尺寸的块，并对包含条带的编码图片进行转换，所述条带包含整数个矩形区域，所述矩形区域是将1个块行以上的所述块合成。在该装置中，如果所述编码图片是否应用环路滤波器在条带边界和矩形区域边界是相同的，则以重建所述编码图片中包含的所述条带与所述矩形区域的关系的方式转换所述编码图片，如果所述编码图片是否应用环路滤波器在所述条带边界和所述矩形区域边界是不同的，则以不改变所述编码图片中包含的所述条带与所述矩形区域的关系的方式转换所述编码图片。

Description

图像转换装置以及图像解码装置
技术领域
本发明涉及能够并行处理的图像编码和解码技术。
背景技术
在HEVC中，矩形(tile)和熵同步编码被定义为并行处理的工具。在JVET(JointVideo Expert Team，联合视频专家组)中制定的作为下一代视频编码标准VVC(VersatileVideo Coding，通用视频编码)中，正在讨论并行处理工具的改进。
在先技术文献
非专利文献
Versatile Video Coding(Draft 6)
发明内容
非专利文献1的技术正处于标准制定过程中，并行处理工具的处理效率存在问题。
为了解决上述问题，本发明的一个方式的图像转换装置，将图像分割为预定尺寸的块，并对包含条带的编码图片进行转换，所述条带包含整数个矩形区域，所述矩形区域是将1个块行以上的所述块合成，如果所述编码图片是否应用环路滤波器在条带边界和矩形区域边界是相同的，则以重建所述编码图片中包含的所述条带与所述矩形区域的关系的方式转换所述编码图片，如果所述编码图片是否应用环路滤波器在所述条带边界和所述矩形区域边界是不同的，则以不改变所述编码图片中包含的所述条带与所述矩形区域的关系的方式转换所述编码图片。
本发明的另一方式是图像解码装置。该装置是以下图像解码装置，将图像分割为预定尺寸的块，并对条带的码串进行解码，所述条带包含整数个矩形区域，所述矩形区域是将1个块行以上的所述块合成，所述条带的码串被包含在NAL单元中，从与包含所述条带的NAL单元不同的NAL单元中解码入口点，所述入口点表示所述条带中包含的第二个以后的所述矩形区域的起始字节位置。。
本发明的又一方式也是图像解码装置。该装置是以下图像解码装置，将图像分割为预定尺寸的块，并对条带的码串进行解码，所述条带包含整数个矩形区域，所述矩形区域是将1个块行以上的所述块合成，当用于表示存在所述条带包含2个以上的所述矩形区域的可能性的标记表示存在所述条带包含2个以上的所述矩形区域的可能性时，从设定图片参数的图片参数集中解码表示在条带头中是否包含入口点的标记，所述入口点表示所述条带中包含的第二个以后的所述矩形区域的起始字节位置。
根据本发明，能够高效地实现并行处理工具。
附图说明
图1是说明第一实施方式的构成的图；
图2是说明编码流中的图片被分割成砖块(brick)的例子的图；
图3是说明与针对矩形的CTU的分配信息和针对砖块的CTU行的分配信息有关的PPS的句法的图；
图4是说明砖块索引的例子的图；
图5是说明PPS的一部分的句法的图；
图6是说明条带头的一部分的句法的图；
图7是说明转换部的动作的流程图；
图8是示出SEI消息的句法的图；
图9是示出SEI有效载荷的句法的图；
图10是说明入口点(entry point)SEI消息的句法的图；
图11是说明转换部输出的编码流的图；
图12是说明实施方式1的变形例的PPS的一部分的句法的图；
图13是说明第二实施方式的构成的图；
图14是用于说明第一实施方式的编解码装置的硬件构成的一个例子的图。
具体实施方式
本发明的实施方式基于在JVET(Joint Video Expert Team，联合视频专家组)中制定的作为下一代视频编码标准VVC(Versatile Video Coding，通用视频编码)中讨论的技术。在VVC中，与现有的AVC或HEVC同样地使用块分割、帧内预测、帧间预测、转换、量化、熵编码、环路滤波器等技术。
以下，对本发明的实施方式中使用的技术以及技术用语进行定义。以下，除非另有说明，图像和图片以相同的意思使用。在本发明的实施方式中，在图像编码部中实施编码，在图像解码部中实施解码。
<编码树单元和编码块>
以预定大小的块(block)均匀地分割图片。将该预定尺寸的块定义为编码树块(CTB)。各编码树块的内部能够进行递归地分割。将编码树块分割后的作为编码/解码对象的块定义为编码块(CU)。帧内预测和帧间预测以编码块为单位进行编码(解码)。另外，将编码树块、编码块统称而定义为块。通过进行适当的块分割，能够进行有效的编码(解码)。编码树块的大小可以是由编码器和解码器预先确定的固定值，也可以采用将编码器确定的编码树块的大小传送给解码器的构成。
另外，在图片中，将1个亮度的编码树块和2个色差的编码树块作为编码单位而定义为编码树单元(CTU)。CTU以1个亮度的编码树块为单位，或以3个颜色平面的编码树块为单位。CTU(CTB)的尺寸在SPS(Sequence Parameter Set，序列参数集)中被编码(解码)。
<矩形和砖块>
矩形(Tile)是由图片中的多个CTU构成的矩形区域。砖块(Brick)是由矩形内的1个以上的CTU行构成的矩形区域。1个CTU不属于多个矩形，仅属于1个矩形。1个CTU不属于多个砖块，仅属于1个砖块。1个砖块不属于多个矩形，仅属于1个矩形。针对矩形的CTU的分配和针对砖块的CTU行的分配分别在图片单位中被设定。而且，针对矩形的CTU的分配信息和针对砖块的CTU行的分配信息分别在PPS(Picture Parameter Set，图片参数集)中被编码(解码)。如上所述，图片被分割成区域不重叠的多个矩形。另外，矩形被分割成区域不重叠的多个砖块。之后，虽然将由图片内的多个CTU构成的矩形区域表示为砖块，但是，是由矩形内的1个以上的CTU行构成的矩形区域，只要是1个CTU不属于多个矩形而仅属于1个矩形、1个CTU不属于多个矩形区域而仅属于1个矩形区域这样的矩形区域即可。
如果存在对编码流的参数进行设定的SPS、对编码图片的参数进行设定的PPS的参数信息和条带头，则各编码砖块能够单独进行解码。因此，如果存在SPS、PPS、条带头，则能够同时并行地对多个编码砖块进行编码(解码)。编码砖块是对砖块进行编码而生成的砖块的码串。以下，编码图片是对图片进行编码而生成的图片的码串，编码条带是对条带(slice)进行编码而生成的条带的码串。
图3是说明与针对矩形的CTU的分配信息和针对砖块的CTU行的分配信息有关的PPS的句法的图。brick_splitting_present_flag是表示是否将矩形分割成2个以上的砖块的标记。如果brick_splitting_present_flag为1，则1个以上的矩形被分割成2个以上的砖块。如果brick_splitting_present_flag为0，则所有的矩形不被分割成2个以上的砖块。如果brick_splitting_present_flag为1，则针对每个矩形将对砖块的分割信息编码(解码)。
在矩形未被砖块分割的情况下，1个矩形作为1个砖块而被进行处理。矩形索引是按照光栅扫描顺序分配给图片中的矩形的索引。砖块索引是分配给图片内的砖块的索引。在图片被分割为多个矩形的情况下，砖块索引是对图片内的矩形按照光栅扫描顺序分配给矩形索引顺序的矩形内的各砖块的索引。砖块索引是大于等于0且小于图片内的砖块数(NumBricksInPi c)的整数值。光栅扫描顺序是指先在水平方向上扫描，然后在垂直方向上移动并在水平方向上扫描的顺序。图4是说明砖块索引的例子的图。图4的(a)示出图片内的砖块数8的例子，图4的(b)示出图片内的砖块数5的例子。
<CTU的处理顺序>
CTU在砖块内按光栅扫描顺序被进行处理，砖块在矩形内按光栅扫描顺序被进行处理。
<条带和条带模式>
条带是合并整数个砖块而得的区域。作为在条带中合并块的模式，有矩形条带模式和光栅扫描条带模式。图5是说明PPS的一部分的句法的图。使用图5对矩形条带模式和光栅扫描条带模式进行说明。当表示存在条带包含2个以上的砖块的可能性的标记(single_brick_per_slice_flag)表示存在条带包含2个以上的砖块的可能性时(single_brick_per_slice_flag为0)，对rect_slice_flag进行编码(解码)。当条带仅包含1个砖块时(single_brick_per_slice_flag为1)，rect_slice_flag为0。如果rect_slice_flag为1则为矩形条带模式，如果rect_slice_flag为0则为光栅扫描条带模式。
<矩形条带模式>
在矩形条带模式中，合并矩形区域内的砖块而设为条带。在矩形条带模式中，由于砖块的处理的顺序不是光栅扫描顺序，因此条带与砖块的对应关系不是唯一确定的。因此，通过表示条带与砖块的对应关系的信息在PPS内被进行编码(解码)，能够获取条带与砖块的对应关系。
在PPS内对从图片内的条带数减去1而得到的值即num_slices_in_pic_minus1进行编码(解码)，获取图片内的条带数。表示图片内的各条带所包含的右下的砖块索引的bottom_right_brick_idx_delta和brick_idx_delta_sign_flag在PPS内被进行编码(解码)，导出图片内的条带与砖块的对应关系。
如上所述，在矩形条带模式中，通过将表示条带与砖块的对应关系的信息在PPS进行编码(解码)，能够对砖块的处理顺序给予自由度。例如，如图4的(b)所示，通过向砖块0和砖块1所属的矩形分配大画面，向其他的砖块分配小画面，能够优先大画面的处理顺序。
<光栅扫描条带模式>
光栅扫描条带模式按照光栅扫描顺序将砖块设为条带。因此，在光栅扫描条带模式中，也可以不在PPS中对砖块和条带的位置的对应关系进行编码(解码)。在光栅扫描条带模式中，通过不将表示条带与砖块的对应关系的信息在PPS中进行编码(解码)，能够对条带和砖块的对应关系给予自由度。例如，在图4的(b)中，能够在编码时调整条带中包含的砖块的数量，例如是仅由砖块0构成条带，还是由砖块0和砖块1这两个构成条带。由此，能够调整条带的编码量。
<条带ID>
条带ID是用于唯一识别条带的ID。在光栅扫描条带模式的情况下，按照光栅扫描顺序排列的第i个条带[i]的条带ID为i，条带ID为大于等于0且小于等于num_slices_in_pic_minus1的值。在矩形条带模式的情况下，条带ID也能够在PPS内作为任意值明确地编码(解码)。在矩形条带模式的情况下，如果条带ID在PPS内没有明确地编码(解码)，则按照光栅扫描顺序排列的第i个条带[i]的条带ID为i，条带ID为大于等于0且小于等于num_slices_in_pic_minus1的值。
<环路滤波器的边界控制标记>
这里，使用图5的句法来说明环路滤波器的边界控制标记。loop_filter_across_bricks_enabled_flag是表示是否在砖块边界应用环路滤波器的标记，如果是1则应用环路滤波器，如果是0则不应用环路滤波器。loop_filter_across_slices_enabled_flag是表示是否在条带边界应用环路滤波器的标记，如果是1则应用环路滤波器，如果是0则不应用环路滤波器。当砖块边界和条带边界重叠时，如果二者的标记为1则应用环路滤波器，如果任一个标记或二者的标记为0则不应用环路滤波器。
<条带头>
接着，对条带头进行说明。图6是说明条带头的一部分的句法的图。如果是矩形条带模式、或者图片内的砖块数即NumBricksInPic大于1时，对条带地址(slice_address)进行编码(解码)。另外，如果是光栅扫描条带模式、并且single_brick_per_slice_flag为0，则对表示条带所包含的条带数的num_bricks_in_slice_minus1进行编码(解码)。
光栅扫描条带模式的情况下，条带地址表示条带所包含的最初的砖块ID。砖块ID是分配给图片中的各砖块所包含的CTU的ID。属于相同的砖块的CTU具有相同的砖块ID。砖块ID是大于等于0且小于图片内的砖块数(NumBricksInPic)的整数值。在光栅扫描条带模式的情况下，由于图片内的砖块的位置由PPS定义，因此通过将条带地址设为条带所包含的最初的砖块ID，能够最快地确定图片中的条带的起始位置。slice_address的比特长度为Ceil(Log2(NumBricksInPic))，slice_address为大于等于0且小于等于(NumBricksInPic-1)的值。这里，在光栅扫描条带模式的情况下，由于表示条带与砖块的对应关系的信息在PPS中未被编码(解码)，因此将条带地址设为条带所包含的最初的砖块ID。在光栅扫描条带模式的情况下，由于按照光栅扫描顺序将砖块连续地包含在条带中，因此只要知道最初的砖块ID和条带所包含的条带数，就能够唯一地确定条带与砖块的关系。另外，Ceil(x)是设为大于等于x的最小整数值的函数。
在矩形条带模式的情况下，表示条带与砖块的对应关系的信息在PPS中被编码(解码)。因此，能够从条带ID导出砖块ID，条带地址表示条带ID。这里，在矩形条带模式的情况下，将条带地址设为条带ID，但也可以与光栅扫描条带模式同样地设为条带所包含的最初的砖块ID。在矩形条带模式的情况下，也与光栅扫描条带模式同样地将条带地址设为条带所包含的最初的砖块ID，从而不需要多余的电路或模砖块等，能够削减编码器、解码器的内存量和电路规模。另外，如果PPS的signalled_slice_id_flag为0，则不需要进行条带ID的管理，能够进一步削减编码器或解码器的内存量。
<入口点>
接着，使用图6对条带数据中的编码砖块的起始字节位置进行说明。如图6所示，条带数据中的编码砖块的起始字节位置作为入口点(entry_point_offset_minus1[i])而被编码(解码)到条带头中，因此，在解码器中，通过对条带头进行解码，能够获取编码砖块的起始字节位置。这里，NumEntryPoints是从条带内的砖块数中减去1而得到的值。由于条带数据内的最初的编码砖块的起始字节位置为0是显而易见的，所以不进行编码(解码)，对条带数据内的第二个以后的编码砖块的起始字节位置进行编码(解码)。entry_point_offset_present_flag是用于确定是否将入口点编码(解码)到条带头的标记。如果entry_point_offset_present_flag为1，则对入口点进行编码(解码)，如果entry_point_offset_present_flag为0，则不对入口点进行编码(解码)。offset_len_minus1是表示entry_point_offset_minus1的比特长度的值。此外，如图5所示，当single_tile_in_pic_flag为0或entropy_coding_sync_enabled_flag为1时，entry_point_offset_present_flag在PPS中被编码(解码)。这里，single_tile_in_pic_flag是表示图片是否是1个矩形的标记。如果single_tile_in_pic_flag为1，则图片由1个矩形构成，如果single_tile_in_pic_flag为0，则图片由多个矩形构成。当图片由1个矩形构成时，不允许由多个砖块构成矩形，1个矩形由1个砖块构成。entropy_coding_sync_enabad_flag是表示是否允许砖块内的CTU列的并行处理的标记。如果entropy_coding_sync_enabad_flag为1，则允许砖块内的CTU列并行处理，如果entropy_coding_sync_enabad_flag为0，则不允许砖块内的CTU列的并行处理。
<SEI>
SEI(Supplemental enhancement information，附加增强信息)是在用于生成解码图像的像素的进程中不需要的信息，但是是在解码器的动作中所需的信息。例如，SEI包括Buffering Period SEI(缓存周期附加增强信息)和Picture Timing SEI(图像定时附加增强信息)，Buffering Period SEI是用于使虚拟参考解码器即HRD(HypotheticalReference Decoder)准确地工作的信息，Picture Timing SEI确定解码图像的输出定时。SEI被编码(解码)为SEI消息。
<NAL单元>
NAL单元由头部和有效载荷构成。在头部中有效载荷类型被进行编码(解码)，有效载荷类型所示的类型的码串被包含在有效载荷中。有效载荷类型包括SPS、PPS、编码条带、SEI消息等。例如，如果有效载荷类型是表示包含条带的有效载荷类型，则条带的码串被保存在有效载荷中，如果有效载荷类型是表示包含SEI消息的有效载荷类型，则SEI消息的码串被保存在有效载荷中。
<编码流>
在VVC或HEVC中，SPS、PPS、编码条带、SEI消息等被保存在NAL单元中而成为编码流。编码条带由条带头和条带数据构成。在条带数据中编码树块被编码。编码流中包含1个以上的编码图片。
<HRD>
HRD是虚拟参考解码器，该虚拟参考解码器用于检查编码流是否符合编码标准。HRD被定义为CPB(编码图片缓冲器)和DPB(解码图片缓冲器)，CPB用于解码编码流，DPB用于输出解码后的图片。在HRD中，在根据编码流中编码的CPB和DPB的输入输出定时解码了编码流的情况下，检查CPB和DPB没有发生故障。如果CPB和DPB没有故障，则编码流符合编码标准。在HRD的类型1中，检查编码流的编码条带的标准匹配度。在HRD的类型1中，包含SPS、PPS、SEI消息的NAL不在检查对象内。CPB和DPB的输入输出定时在SEI消息中被编码(解码)。
(第一实施方式)
<第一实施方式的构成>
对本发明的第一实施方式进行说明。首先，对本实施方式的构成进行说明。图1是说明第一实施方式的构成的图。本实施方式由数据服务器2000和图像解析装置3000构成。数据服务器2000由存储部2001、转换部2002和发送部2003构成。数据服务器2000具有对编码流进行转换的功能，因此也称为图像转换装置。图像解析装置3000由接收部3001、图像解码部3002和图像解析部3003构成。
在存储部2001中存储有编码流。图像解码部3002能够对存储部2001中存储的编码流进行解码。图像解码部3002将能够并行处理的砖块的最大数(以下称为最大砖块并行处理数)设为8。
＜第一实施方式的动作＞
接下来，对本实施方式的动作进行说明。基于图1对各构成要素的动作进行说明。首先，对数据服务器2000和图像解析装置3000的动作进行说明。
数据服务器2000根据图像解析装置3000的请求，从存储部2001读取编码流和图像解码部3002的特性参数，输入到转换部2002。特性参数是图像解码部3002是否与支持入口点SEI的信息，特性参数被预先保持在存储部2001中。转换部2002对被输入的编码流进行转换，并将转换后的编码流输入到发送部2003。转换部2002的详细动作将在后面叙述。发送部2003将被输入的编码流发送到图像解析装置3000。
接收部3001将由发送部2003输入的编码流输入到图像解码部3002。图像解码部3002将输入的编码流以最大砖块并行处理数并行地解码，并且输出解码图像，输入到图像解析部3003。这里，图像解码部3002即使在对输入的编码流设定了输出解码图像的帧率的情况下，也不受帧率限制地输出解码图像。图像解析部3003对输入的解码图像进行解析并输出解析结果。例如，图像解析部3003对输入的解码图像进行画质的测量、面部或人物等的识别等。
如上所述，在图像解析部3003解析解码图像的情况下，通过从图像解码部3002输出解码图像而不受编码流的帧率的限制，能够在短时间内获取从图像解析部3003输出的解析结果。
<编码流>
对存储部2001中存储的编码流进行说明。图2是说明编码流中的图片被分割成砖块的例子的图。这里，为了简化说明，将图片分割成矩形，而矩形不分割成砖块。即，1个矩形为1个砖块。图2的(a)是针对每1CTU行将画面在水平方向上分割为B0(T0)到B7(T7)的8个砖块(矩形)的例子。图2的(b)是针对每1CTU列将画面在垂直方向上分割为B0(T0)到B7(T7)的8个砖块(矩形)的例子。从砖块B0到砖块B7分别分配0到7作为砖块ID。这里，图片内的砖块数NumBricksInPic为8。
这里，假设1张图片由1个条带构成。因此，在条带0中包含B0至B7的8个砖块。因此，PPS的single_brick_per_slice_flag为0。编码流可以是光栅扫描条带模式，也可以是矩形条带模式。但是，将是否在条带头中编码入口点的标记、即entry_point_offset_present_flag设为0。
这里，对entry_point_offset_present_flag为0的效果进行说明。如果将entry_point_offset_present_flag设为1，则需要在条带头中对在砖块的编码后的结果中得到的入口点进行编码，即使对条带内的砖块进行并行编码而生成编码流，也在确定表示砖块的尺寸的字节数之前无法发送编码流。因此，需要以条带为单位发送编码流，只能以条带为单位降低延迟。另一方面，当将entry_point_offset_present_flag设置为0时，不需要在条带头中对砖块的入口点进行编码，能够以砖块为单位发送编码流，能够以砖块为单位来降低延迟。
<转换部的详细动作>
接着，对转换部2002的详细动作进行说明。图7是说明转换部的动作的流程图。图7针对编码流中包含的所有编码图片而被执行。
检查是否应用环路滤波器在条带边界和砖块边界是否相同(S100)。具体地，检查loop_filter_across_bricks_enabled_flag和loop_filter_across_slices_enabled_flag的值是否相同。当是否应用环路滤波器在条带边界和砖块边界不相同时(S100的“是”)，检查是否是支持入口点SEI的解码器(S101)。当是否应用环路滤波器在条带边界和砖块边界相同时(S100的“否”)，重建条带(S104)。
如果是支持入口点SEI的解码器(S101的“是”)，则将入口点追加到入口点SEI中(S102)。在之后描述将入口点追加到入口点SEI中的详细动作。如果不是支持入口点SEI的解码器(S101的“否”)，则将入口点追加到条带头中(S103)。
这里，当是否应用环路滤波器在条带边界和砖块边界不相同时，若改变各条带所包含的砖块，则解码图像会变化，因此需要重编码。因此，当是否应用环路滤波器在条带边界和砖块边界不相同时，以避免改变各条带中所包含的砖块的构成的方式转换编码流。
另一方面，当是否应用环路滤波器在条带边界和砖块边界相同时，即使改变各条带中所包含的砖块，解码图像也不会变化，因此不需要重编码。因此，当是否应用环路滤波器在条带边界和砖块边界相同时，以改变砖块和条带的构成的方式转换编码流。
这里，考虑适合条带的并行处理的解码器，设置检查loop_filter_across_bricks_enabled_flag和loop_filter_across_slices_enabled_flag的值是否相同(S100)的步骤。在以一般的解码器为对象的情况下，也可以不进行检查loop_filter_across_bricks_enabled_flag和loop_filter_across_slices_enabled_flag的值是否相同(S100)的处理，最好从检查是否是支持入口点SEI的解码器(S101)的处理开始。
<将入口点添加至条带头>
这里，对将入口点添加到条带头的动作进行说明。根据图6的句法，将入口点添加到条带头是将砖块B1到砖块B7的入口点信息编码(解码)到编码流中。
<条带的重建>
接着，对重建条带的详细动作进行说明。在存储部2001中存储的编码流中，1个条带包含8个砖块。将其重建为1个条带包含1个砖块。此外，将PPS的single_brick_per_slice_flag设为1。
<将入口点添加至入口点SEI>
接着，对将入口点添加至入口点SEI的详细的动作进行说明。根据图8、图9、图10的句法，将入口点添加到入口点SEI是将砖块B1到砖块B7的入口点信息编码(解码)。
图8是示出SEI消息的句法的图。有效载荷类型(payloadType)从payload_type_byte被导出。当有效载荷类型为128时，将入口点SEI消息编码(解码)为SEI有效载荷(sei_payload)。入口点SEI消息与入口点SEI是相同意思。
图9是示出SEI有效载荷的句法的图。在SEI有效载荷中，除了入口点SEI消息以外，还对Buffering Period SEI消息、Picture Timing、Picture Timing SEI消息等SEI消息进行编码(解码)。保存SEI消息的NAL单元类型具有两种，一种是在编码条带之前进行编码(解码)的PREFIX_SEI_NUT，另一种是在编码条带之后进行编码(解码)的SUFFIX_SEI_NUT。
图10是说明入口点SEI消息的句法的图。使用图10对入口点SEI消息的句法进行说明。NumSlicesInPic是图片内的条带数，在矩形条带模式的情况下能够通过PPS获取，在光栅扫描条带模式的情况下能够通过对条带数进行计数来获取。对与第S个条带相关的offset_len_minus1[s]和NumEntryPoints个的entry_point_offset_1进行编码(解码)。offset_len_minus1和entry_point_offset_minus1与前述是相同意思。
<转换后的编码流>
图11是说明转换部2002输出的编码流的图。图11的(i)是输入的编码流的一个例子。按照构成SPS、PPS、编码图片0(picture 0)的编码条带、构成编码图片1的编码条带0(Slice 0)、……、构成编码图片N(picture N)的编码条带的顺序进行编码。
图11的(a)是将入口点添加到条带头的编码流的一个例子。以下，对图11的(a)进行说明。SPS、PPS、编码条带0的各自的NAL单元成为编码流。编码条带0由条带数据构成，条带数据包含添加了入口点的条带头(图11的(a)的Modified S-Header)和从编码砖块0(图11的(a)的Brick 0)到编码砖块7(图11的(a)的Brick 7)这8个编码砖块。这里，添加了入口点的条带头与所输入的编码流的条带头不同。此外，为了对编码砖块0至编码砖块7进行解码，需要添加了入口点的条带头。
图11的(b)是重建条带的编码流的一个例子。以下，对图11的(b)进行说明。SPS、PPS、编码条带0到编码条带7的各自的NAL单元成为编码流。编码条带i(i＝0、1、……7)分别由条带数据构成，条带数据包括条带头i(图11的(b)的New S-Header i)和编码砖块i(图11的(b)的Brick i)。这里，条带头i与所输入的编码流的条带头不同。此外，为了对编码砖块i进行解码而需要条带头i。
这样，通过将1个编码条带转换为包含1个编码砖块的编码图片，并将PPS的single_brick_per_slice_flag设为1，能够容易地实现以编码条带为单位的并行化。在这种情况下，不需要入口点，只要能够以NAL单元为单位进行访问即可。
这里，虽然对编码图片进行转换以使得1个编码条带包含1个编码砖块，但并不限于此，只要根据图像解码部3002的最大砖块并行处理数来重建条带所包含的砖块即可。也可以对编码图片进行转换，以使得1个编码条带包含多个砖块。例如，当图像解码部3002的最大砖块并行处理数为4时，对编码图片进行转换，以使得1个编码条带包含2个砖块。
图11的(c)是将入口点添加到入口点(EntryPoint)SEI的编码流的一个例子。以下，对图11的(c)进行说明。SPS、PPS、编码条带0、SEI的各自的NAL单元成为编码流。编码条带0由条带数据构成，条带数据包含条带头(图11的(c)的S-Header)和从编码砖块0(图11的(c)的Brick 0)到编码砖块7(图11的(c)的Brick 7)这8个编码砖块。这里，条带头与所输入的编码流的条带头相同。此外，为了对编码砖块0至编码砖块7进行解码而需要条带头。
与其他方法相比，将入口点添加到条带头的编码流的转换后的编码流的大小为最小。但是，需要以比特精度对条带头进行重编码，编码条带的大小改变。
重建编码条带的编码流由8个编码条带构成，因此转换后的编码流的大小与其他方法相比变大，但由于不需要入口点，所以编码流的结构变得简单。因此，虽然不支持以编码砖块为单位的并行化，但也可以通过支持以编码条带为单位的并行化的解码器进行并行解码。
在将入口点添加到入口点SEI的编码流中，输入的编码流不变，仅在编码图片内的最后的编码条带之后插入入口点SEI即可，能够预先生成转换后的编码流。这样，通过在编码条带之后对入口点SEI进行编码(解码)，能够在光栅扫描条带模式下一边对条带与砖块的关系给予自由度，一边将编码条带内的入口点通知给解码器。另外，由于不改变编码流，所以不会影响HRD的类型1的编码流性能。因此，无需在验证HRD的兼容性的同时转换编码流，能够可靠且容易地转换编码流。
<变形例>
接着，对实施方式1的变形例进行说明。本变形例与本实施方式相比PPS的句法不同。图12是说明实施方式1的变形例的PPS的一部分的句法的图。与实施方式1的图5相比，对entry_point_offset_present_flag进行编码(解码)的条件不同。如图12所示，当表示存在条带包含2个以上的砖块可能性的标记表示存在条带包含2个以上的砖块的可能性时(single_brick_per_slice_flag为0)或entropy_coding_sync_enabled_flag为1时，entry_point_offset_present_flag在PPS中被编码(解码)。
如上所述，当single_brick_per_slice_flag为0时对entry_point_offset_present_flag进行编码(解码)，从而即使在图片由多个矩形构成的情况下(single_tile_in_pic_flag为0)，当条带仅包括1个时也无需对entry_point_offset_present_flag进行编码。因此，当条带仅包含1个砖块时，消除entry_point_offset_present_flag为1的状态，能够减少代码量。另外，如果entry_point_offset_present_flag不存在，则暗示entry_point_offset_present_flag为0，由此，当条带仅包含1个砖块时，能够定义不存在入口点。另外，如果在条带头中entry_point_offset_present_flag为0，则不需要检查条带所包含的砖块的数量，因此能够减少处理量。
(第二实施方式)
<第二实施方式的构成>
对本发明的第二实施方式进行说明。图13是说明第二实施方式的构成的图。本发明的第二实施方式与第一实施方式的不同点在于数据服务器2000是图像编码装置1000。以下，仅对与第一实施方式不同的点进行说明。
图像解码部3002能够对图像编码部1002中编码的编码流进行解码。
图像编码装置1000根据图像解析装置3000的请求，从存储部1001读取图像数据和图像解码部3002的特性参数，并输入到图像编码部1002。图像编码部1002对被输入的图像数据进行编码，并将编码后的编码流输入到发送部1003。
图像编码部1002与转换部2002的不同之处在于：根据图像数据对输出的编码流进行编码。图像编码部1002输出的编码流的结构与转换部2002输出的编码流相同。
以下，对图像编码部1002的动作进行说明。在转换部2002中，从编码流中解码并获取loop_filter_across_bricks_enabled_flag和loop_filter_across_slices_enabled_flag，但在图像编码部1002中，图像编码部1002确定loop_filter_across_bricks_enabled_flag和loop_filter_across_slices_enabled_flag。
当是否应用环路滤波器在条带边界和砖块边界不相同时，图像解码3002检查是否是支持入口点SEI的解码器。当是否应用环路滤波器在条带边界和砖块边界相同时，对编码图片进行编码，以使1个条带包含1个砖块。
如果图像解码部3002是支持入口点SEI的解码器，则将入口点作为入口点SEI来对编码图片进行编码。如果图像解码部3002不是支持入口点SEI的解码器，则将入口点编码至条带头中来对编码图片进行编码。
如上所述，图像编码装置1000能够输出基于图像解析装置3000的请求的图像解码部3002可解码的编码流。此外，编码流的结构具有的效果在实施方式中也与第一实施方式相同。
在以上所述的全部实施方式中，图像编码装置输出的编码流具有特定的数据格式，以能够根据实施方式中使用的编码方法进行解码。编码流可以被记录在例如HDD、SSD、闪存、光盘等的计算机等可读记录介质中来提供，也可以通过有线或无线网络由服务器提供。因此，与该图像编码装置对应的图像解码装置能够解码该特定的数据格式的编码流而与提供方式无关。
为了在图像编码装置和图像解码装置之间交换编码流，在使用有线或无线的网络的情况下，也可以将编码流转换为适合于通信路径传输方式的数据形式进行传输。在这种情况下，设置有发送装置和接收装置，发送装置将图像编码装置输出的编码流转换为适合于通信路径传输方式的数据形式的编码数据并发送给网络，接收装置从网络接收编码数据复原到编码流并提供给图像解码装置。发送装置包括存储器、分组处理部和发送部，存储器缓冲图像编码装置输出的编码流，分组处理部对编码流进行分组，发送部经由网络发送分组后的编码数据。接收装置包括接收部、存储器和分组处理部，接收部经由网络接收分组后的编码数据，存储器缓冲接收到的编码数据，分组处理部对编码数据进行分组处理并生成编码流，并提供给图像解码装置。
为了在图像编码装置和图像解码装置之间交换编码流，在使用有线或无线的网络的情况下，除了发送装置、接收装置以外，还可以设置中继装置，中继装置接收由发送装置发送的编码数据，并提供给接收装置。中继装置包括接收部、存储器和发送部，接收部接收由发送装置发送的分组后的编码数据，存储器缓冲接收到的编码数据，发送部将分组后的编码数据发送至网络。此外，中继装置可以包括接收分组处理部、记录介质和发送分组处理部，接收分组处理部对分组后的编码数据进行分组处理并生成编码流，记录介质存储编码流，发送分组处理部对编码流进行分组。
另外，也可以通过在构成中追加显示部作为显示装置，该显示部显示由图像解码装置解码的图像。
另外，也可以通过在构成中追加摄像部、将拍摄的图像输入图像编码装置，来作为摄像装置。
图14示出本发明的编解码装置的硬件构成的一个例子。编解码装置包含本发明的实施方式的图像编码装置和图像解码装置的构成。该编解码装置9000具有CPU 9001、编解码器IC 9002、I/O接口9003、存储器9004、光盘驱动器9005、网络接口9006以及视频接口9009，各部分通过总线9010连接。
图像编码部9007和图像解码部9008通常被实现为编解码器IC 9002。本发明的实施方式的图像编码装置的图像编码处理由图像编码部9007执行，本发明的实施方式的图像解码装置中的图像解码处理由图像解码部9008执行。I/O接口9003例如通过USB接口实现，与外部的键盘9104、鼠标9105等连接。CPU 9001基于经由I/O接口9003输入的用户操作，控制编解码装置9000，以执行用户期望的动作。用户通过键盘9104、鼠标9105等进行的操作包括执行编码还是解码的功能的选择、编码质量的设定、编码流的输入输出目的地、图像的输入输出目的地等。
当用户希望进行再现磁盘记录介质9100中记录的图像这样的操作时，光盘驱动器9005从被插入的磁盘记录介质9100中读取编码比特流，将读取的编码流经由总线9010发送到编解码器IC9002的图像解码部9008。图像解码部9008对输入的编码比特流执行本发明的实施方式的图像解码装置中的图像解码处理，将解码图像通过视频接口9009发送到外部的监视器9103。另外，编解码装置9000具有网络接口9006，能够经由网络9101与外部的分发服务器9106、便携式终端9107连接。当用户希望改变磁盘记录介质9100中记录的图像、再现分发服务器9106或便携式终端9107中记录的图像时，网络接口9006改变从磁盘记录介质9100读取输入的编码比特流，通过网络9101获取编码流。另外，当用户希望再现存储器9004中记录的图像时，对存储器9004中记录的编码流执行本发明的实施方式的图像解码装置中的图像解码处理。
当用户希望进行对由外部的相机9102拍摄到的图像进行编码并记录到存储器9004中这样的操作时，视频接口9009从相机9102输入图像，经由总线9010发送到编解码器IC 9002的图像编码部9007。图像编码部9007对通过视频接口9009输入的图像执行本发明的实施方式的图像编码装置中的图像编码处理，并生成编码比特流。然后，将编码比特流通过总线9010发送到存储器9004。当用户希望将编码流记录在磁盘记录介质9100中而不是存储器9004时，光盘驱动器9005对插入的磁盘记录介质9100进行编码流的写入。
也可以实现具有图像编码装置而没有图像解码装置的硬件结构，或者具有图像解码装置而没有图像编码装置的硬件结构。这样的硬件结构例如通过将编解码器IC 9002分别替换为图像编码部9007或图像解码部9008来实现。
以上的与编码以及解码有关的处理当然也可以作为使用了硬件的传输、存储、接收装置来实现，也可以通过存储在ROM(只读存储器)、闪存等中的固件或计算机等软件来实现。可以将固件程序、软件程序记录在计算机等可读记录介质中并来提供，也可以通过有线或无线的网络由服务器提供，也可以作为地面波或卫星数字广播的数据广播来提供。
以上，基于实施方式对本发明进行了说明。上述实施方式是例示，能够对这些各构成要素和各处理过程的组合进行各种变形，本领域技术人员应当理解这样的变形例也在本发明的范围内。
产业应用性
本发明能够用于图像编码以及解码技术。
符号说明
1000 图像编码装置
1001 存储部
1002 图像编码部
1003 发送部
2000 图像转换装置
2001 存储部
2002 转换部
2003 发送部
3000 图像解析装置
3001 发送部
3002 图像解码部
3003 图像解析部

Claims (3)

1.一种图像转换装置，将图像分割为预定尺寸的块，并对包含条带的编码图片进行转换，所述条带包含整数个矩形区域，所述矩形区域是将1个块行以上的所述块合成，其特征在于：
如果所述编码图片是否应用环路滤波器在条带边界和矩形区域边界是相同的，则以重建所述编码图片中包含的所述条带与所述矩形区域的关系的方式转换所述编码图片，如果所述编码图片是否应用环路滤波器在所述条带边界和所述矩形区域边界是不同的，则以不改变所述编码图片中包含的所述条带与所述矩形区域的关系的方式转换所述编码图片。
2.一种图像解码装置，将图像分割为预定尺寸的块，并对条带的码串进行解码，所述条带包含整数个矩形区域，所述矩形区域是将1个块行以上的所述块合成，其特征在于：
所述条带的码串被包含在NAL单元中，
从与包含所述条带的NAL单元不同的NAL单元中解码入口点，所述入口点表示所述条带中包含的第二个以后的所述矩形区域的起始字节位置。
3.一种图像解码装置，将图像分割为预定尺寸的块，并对条带的码串进行解码，所述条带包含整数个矩形区域，所述矩形区域是将1个块行以上的所述块合成，其特征在于：
当用于表示存在所述条带包含2个以上的所述矩形区域的可能性的标记表示存在所述条带包含2个以上的所述矩形区域的可能性时，从设定图片参数的图片参数集中解码表示在条带头中是否包含入口点的标记，所述入口点表示所述条带中包含的第二个以后的所述矩形区域的起始字节位置。
CN202080058622.3A 2019-09-20 2020-09-18 图像转换装置以及图像解码装置 Pending CN114270834A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019171791 2019-09-20
JP2019-171791 2019-09-20
PCT/JP2020/035430 WO2021054439A1 (ja) 2019-09-20 2020-09-18 画像変換装置及び画像復号装置

Publications (1)

Publication Number Publication Date
CN114270834A true CN114270834A (zh) 2022-04-01

Family

ID=74884323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058622.3A Pending CN114270834A (zh) 2019-09-20 2020-09-18 图像转换装置以及图像解码装置

Country Status (4)

Country Link
US (1) US12096007B2 (zh)
JP (1) JPWO2021054439A1 (zh)
CN (1) CN114270834A (zh)
WO (1) WO2021054439A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
US11134273B2 (en) * 2019-02-14 2021-09-28 Qualcomm Incorporated Regular coded bin reduction for coefficient coding

Also Published As

Publication number Publication date
WO2021054439A1 (ja) 2021-03-25
US12096007B2 (en) 2024-09-17
JPWO2021054439A1 (zh) 2021-03-25
US20220217362A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
KR102717190B1 (ko) 비디오 인코더, 비디오 디코더, 인코딩 및 디코딩을 위한 방법 및 고급 비디오 코딩 개념을 실현하기 위한 비디오 데이터 스트림
JP2014116733A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US12034927B2 (en) Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and non-transitory computer-readable storage medium
US20240007635A1 (en) Video coding apparatus and video decoding apparatus
US20100290537A1 (en) Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same
US8902981B2 (en) Video signal generation apparatus, video signal generation method, video signal generation program, and computer readable recording medium recording the program
US20240163432A1 (en) Picture decoding device, picture decoding method, and picture decoding program
WO2020130139A1 (ja) 動画像符号化装置および動画像復号装置
JP7302700B2 (ja) 映像符号化又は映像復号装置、映像符号化又は映像復号方法、プログラム、及び記録媒体
US20220116640A1 (en) Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and non-transitory computer-readable storage medium
CN114270834A (zh) 图像转换装置以及图像解码装置
JP2018125882A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2021048569A (ja) 画像復号装置、画像復号方法及び画像復号プログラム
CN113994695B (zh) 图像编码设备和方法、图像解码设备和方法以及存储介质
TWI853577B (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
JP6886825B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP2019208121A (ja) 情報処理装置及び情報処理方法
KR20070014927A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination