CN103974090A - 图像编码装置 - Google Patents

图像编码装置 Download PDF

Info

Publication number
CN103974090A
CN103974090A CN201410022969.9A CN201410022969A CN103974090A CN 103974090 A CN103974090 A CN 103974090A CN 201410022969 A CN201410022969 A CN 201410022969A CN 103974090 A CN103974090 A CN 103974090A
Authority
CN
China
Prior art keywords
coding
frame
entropy coding
intermediate data
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410022969.9A
Other languages
English (en)
Other versions
CN103974090B (zh
Inventor
海野恭平
小味弘典
谷田部祐介
冈田光弘
小岛弘
柏原义昌
柳原利一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Information and Telecommunication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Telecommunication Engineering Ltd filed Critical Hitachi Information and Telecommunication Engineering Ltd
Publication of CN103974090A publication Critical patent/CN103974090A/zh
Application granted granted Critical
Publication of CN103974090B publication Critical patent/CN103974090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Abstract

本发明提供一种图像编码装置。其没有画面内的边界部分的画质劣化，且实现高比特率的编码处理。图像编码装置（1）具备对从图像数据的语法元素生成的中间数据进行熵编码而生成比特流的多个熵编码部（105、106），和向多个熵编码部中的任意个提供中间数据的编码控制部（104）。编码控制部（104）根据各熵编码部的处理状况，以帧为单位决定进行熵编码的熵编码部。

Description

图像编码装置
技术领域
本发明涉及抑制画质劣化且高效率地对图像数据编码的图像编码装置。
背景技术
为了应对图像编码处理的高速化，提出了使多个编码装置并行地动作的结构。日本特开平9-238334号公报中，公开了将输入视频信号分割为每个画面多个块，用N个（N是2以上的自然数）编码装置对各块的同一像素位置的视频信号分别且同时编码并输出的结构。日本特开平11-346366号公报中，公开了将编码对象数据分割为多个部分数据，将分割后的多个部分数据分配到多个编码单元，对于完成了针对分配的部分数据的编码的编码单元，进而依次分配下一个部分的数据的结构。
发明内容
在上述日本特开平9-238334号公报中，叙述了将1个画面分割为多个块，生成由各块的同一像素位置构成的N个视频信号，分别用N个编码装置编码。由此，各编码图像数据的相关性较高，解码时的图像畸变不明显。但是，不能避免画面分割引起的画面内的边界部分上的画质劣化。
此外，上述日本特开平11-346366号公报中，叙述了使用将1帧内的M个（例如M=5）宏块置乱（shuffling）形成的视频片段（videosegment）作为编码并行处理的处理单位（部分数据）。该情况下，不产生视频片段之间的数据依赖关系，所以并行处理是有利的。但是该情况下，也不能避免画面分割引起的画面内的边界部分上的画质劣化。
本发明鉴于该技术问题，目的在于提供一种没有画面内的边界部分的画质劣化且实现高比特率的编码处理的图像编码装置。
为了解决上述技术问题，本发明的图像编码装置包括：语法元素生成部，其从图像数据生成语法元素；中间数据生成部，其从语法元素生成中间数据；多个熵编码部，其对中间数据进行熵编码生成比特流；复用部，其将编码得到的多个比特流复用为1个比特流；和编码控制部，其将从中间数据生成部输出的中间数据写入存储器，从该存储器读取中间数据提供给多个熵编码部中的任意个。该编码控制部根据各熵编码部的处理状况，以帧为单位决定进行熵编码的熵编码部，从存储器读取相应的帧的中间数据提供给该决定的熵编码部。决定的熵编码部对相应的帧的全部中间数据进行熵编码，其他熵编码部不进行该帧的中间数据的熵编码。
此外，本发明的图像编码装置包括：语法元素生成部，其从图像数据生成语法元素；多个编码部，其对语法元素进行编码生成比特流；复用部，其将编码得到的多个比特流复用为1个比特流；和编码控制部，其将从语法元素生成部输出的语法元素写入存储器，从该存储器读取语法元素提供给多个编码部中的任意个。编码控制部根据各编码部的处理状况，以帧为单位决定进行编码的编码部，从存储器读取相应的帧的语法元素提供给该决定的编码部。决定的编码部对相应的帧的全部语法元素进行编码，其他编码部不进行该帧的语法元素的编码。
根据本发明，能够提供一种没有画面内的边界部分的画质劣化且实现高比特率的编码处理的图像编码装置。
附图说明
图1是表示实施例1的图像编码装置的结构的图。
图2是说明CABAC处理的图。
图3是表示存储器108的存储器映射的图。
图4是表示复用控制信息400的例子的图。
图5是表示实施例1的编码处理动作的定时的图。
图6是表示对存储器108的数据读写定时的图。
图7是表示中间数据的编码分配的决定方法的流程图。
图8是表示实施例2中的编码处理动作的定时的图。
图9是表示实施例3的图像编码装置的结构的图。
具体实施方式
以下实施例中，表示对于Full HD尺寸（1920×1080像素）的30fps图像，按照ITU-T Rec.H.264|ISO/IEC14496-10Advanced Video Coding（高级图像编码）（以下称为H.264）的CABAC（Context-based AdaptiveBinary Arithmetic Coding，上下文自适应二进制算术编码）方式，以80Mbps的比特率进行编码处理的例子。此外，设进行编码处理时图像结构是使用I帧、P帧、B帧全部3种。
【实施例1】
图1是表示实施例1的图像编码装置的结构的图。图像编码装置1由图像输入部101、语法元素生成部102、中间数据生成部103、编码控制部104、第一熵编码部105、第二熵编码部106、复用部107、存储器108、总线109构成，从图像输入部101输入编码对象图像数据，从复用部107输出编码后的比特流。本实施例中，因为进行编码的并行处理，所以设置了2个熵编码部105、106。此外，虚线200是进行CABAC处理的结构部分，相当于中间数据生成部103、编码控制部104、第一熵编码部105、第二熵编码部106。
图2是说明本实施例中使用的CABAC（上下文自适应二进制算术编码）处理的图。CABAC处理部200在功能上由二值化部201、上下文计算部202和二值算术编码部203构成。
二值化部201用H.264中规定的语法元素（头信息、运动矢量、量子化后的正交变换系数等）作为输入，用规格中决定的方法实施二值化处理，输出二值化数据。上下文计算部202每处理1比特（bit）的上述二值化数据就更新概率模型。二值算术编码部203，基于用上下文计算部202计算的概率模型，对输入的二值化数据按每1比特进行二值算术编码并输出比特流。这样，CABAC处理在每处理1比特的二值化数据就更新概率模型的同时进行编码，所以能够将输入数据压缩至理论极限地编码。
编码对象图像的图像结构，由I帧、P帧、B帧构成。I帧是利用图像的空间方向的关联，使用同一帧内的已经结束编码的区域的解码图像进行预测编码的帧。P、B帧是也利用图像的时间方向的关联，使用已经结束编码的时间上过去或未来的帧的解码图像进行预测编码的帧，同时能够参考的帧数为1的称为P帧，为2的称为B帧。一般而言，与I帧相比，P、B帧的编码效率更好。因此，I帧、P帧、B帧全部使用进行编码的情况下，因为帧的种类生成的编码量中会产生不均。
图3是表示存储器108的存储器映射的图。存储器108例如采用SDRAM。存储器108具有多个缓存器301～305，存储编码处理的各种数据。
以下，参考图1～图3说明图像编码装置1的各部的动作。
图像输入部101输入编码对象的图像数据，经由总线109写入存储器108内的编码对象图像用缓存器301。
语法元素生成部102对于输入的图像数据，按每个16×16像素尺寸的宏块（以下称为MB）进行预测编码和离散余弦变换、量子化等处理。然后，生成头信息、运动矢量、量子化后的变换系数等H.264中规定的语法元素。此时，预测编码处理所需的图像数据中，编码对象图像从编码对象图像用缓存器301读取使用，参考图像即解码图像从解码图像用缓存器302读取使用。此外，基于生成的语法元素生成该MB的解码图像，写入解码图像用缓存器302。生成的语法元素向中间数据生成部103输出。
中间数据生成部103相当于图2的二值化部201，用CABAC中规定的方法对语法元素进行二值化，生成编码中间数据（以下简称为中间数据）。生成的中间数据向编码控制部104输出。
编码控制部104对于从中间数据生成部103输出的中间数据，以帧为单位输出至第一熵编码部105或第二熵编码部106中的任意方。此时，对于中间数据，先暂时经由总线109写入存储器108内的中间数据用缓存器303，决定进行下一帧的编码处理的熵编码部，再从缓存器303读取相应的帧的中间数据输出至上述决定的熵编码部。如后所述，本实施例中，将编码处理较早结束的熵编码部分配为进行下一帧的编码处理的熵编码部。
此外，编码控制部104生成与向熵编码部105、106输出的帧相关的复用控制信息，向复用部107通知。该复用控制信息中，包括下一个输出的帧是第几个向编码控制部104输入的帧（编码顺序信息），和下一个输出的帧用哪一个熵编码部处理（编码分配信息）。此外，关于对下一帧的熵编码部的决定方法和复用控制信息的具体例在后文中叙述。
第一熵编码部105和第二熵编码部106是相同的结构，相当于图2的上下文计算部202和二进制算术编码部203。此处，对于从编码控制部104输出的中间数据（二值化数据），基于概率模型进行熵编码（二进制算术编码），分别生成第一和第二比特流并向复用部107输出。本实施例中，各熵编码部105、106都具有最大50Mbps的编码处理能力，通过使两者并行处理而实现目标的80Mbps的比特率。
复用部107将用第一和第二熵编码部105、106编码得到的第一和第二比特流复用处理为1个比特流。为此，将从熵编码部105、106输出的第一和第二比特流经由总线109写入存储器108的第一和第二比特流用缓存器304、305。此外，从缓存器304、305读取第一和第二比特流，进行复用处理。此时，按照从编码控制部104接收的复用控制信息，将比特流以帧为单位进行区分而写入缓存器304、305，或者以帧为单位按顺序进行读取。
图4是表示从编码控制部104对复用部107发送的复用控制信息400的例子的图。复用控制信息400由编码顺序信息401和编码分配信息402构成，分别用1字节（共2字节）描述。编码顺序信息401是每次对编码控制部104输入1帧的量的上述中间数据就增加1（递增）的值。此外，编码分配信息402在使用第一熵编码部105的情况下赋值“0”，使用第二熵编码部106的情况下赋值“1”。复用部107，通过参考复用控制信息400，能够按帧顺序读取分别写入缓存器304、305的第一和第二比特流，并变换为原本顺序的比特流。
接着，用具体例说明本实施例中的编码处理。
图5是表示实施例1的编码处理动作的定时（时机，timing）的图。此处，表示语法元素生成部102、第一和第二熵编码部105、106、复用部107的处理定时。横轴是时间轴，以1帧处理期间TF为单位表示。1帧处理期间TF，是对编码对象图像实时编码的情况下能够对1帧的处理分配的时间，例如帧率是30fps的图像的情况下，TF=约0.033sec。F0、F1……表示帧编号，其图像结构设为F0编码为I帧，F1、F4编码为P帧，F2、F3、F5、F6编码为B帧。
语法元素生成部102在1帧处理期间TF内依次生成各帧的语法元素。语法元素生成部102的处理时间依赖于编码对象图像的像素数，各帧的处理时间恒定。其中，关于1帧的编码量，以I帧为5.7Mbits、P帧为3.8Mbits、B帧为1.9Mbits的方式进行码率控制。各帧的语法元素对中间数据生成部103输出，变换为中间数据。
第一熵编码部105和第二熵编码部106进行各帧的中间数据的熵编码（以下简称编码）变换为比特流。此时，编码控制部104对编码处理较早结束的熵编码部分配下一帧的编码。
此外，第一和第二熵编码部105、106中的编码处理时间，依赖于各帧的编码量的大小。熵编码部105、106的处理能力都是最大50Mbps，在1帧处理期间TF中最大能够处理约1.7Mbits。因此，各帧的编码所需的时间为I帧（5.7Mbits）约3.4TF、P帧（3.8Mbits）约2.3TF、B帧（1.9Mbits）约1.1TF。
在编码处理中，分配的熵编码部对分配的帧的所有中间数据进行编码处理，完全不用其他熵编码部进行该帧的中间数据的处理。此外，各熵编码部中，在分配的帧的中间数据的编码处理完成之前，不进行其他帧的中间数据的编码处理。即，1帧的中间数据不会在2个熵编码部中处理，并且1帧的中间数据的处理不会在途中休止而切换至其他帧的处理。
结果，各帧F0、F1……的中间数据用各熵编码部105、106如下所述地进行编码处理。
帧F0在时间t1的定时对第一熵编码部105供给，从时间t1起进行编码处理。因为帧F0是I帧，所以编码处理时间是约3.4TF。帧F0的编码后的比特流写入存储器108的第一比特流用缓存器304。
帧F1在时间t2的定时对未在进行编码处理的第二熵编码部106供给，从时间t2起进行编码处理。因为帧F1是P帧，所以编码处理时间是约2.3TF。帧F1的编码后的比特流写入存储器108的第二比特流用缓存器305。
帧F2在时间t3的定时被供给，但2个熵编码部105、106都在进行编码处理，等待至任一个的处理结束。本例中，处理帧F1的第二熵编码部106在超过时间t4时先结束处理，所以帧F2向第二熵编码部106供给。结果，第二熵编码部106，在帧F1后继续进行帧F2的处理。因为帧F2是B帧，所以编码处理时间是约1.1TF。帧F2的编码得到的比特流写入存储器108的第二比特流用缓存器305。
帧F3在时间t4的定时被供给，但因为先前的帧F2处于等待处理状态，所以等待至F2的处理开始。然后，在F2的处理开始后，向处理先结束的第一熵编码部105供给。结果，第一熵编码部105，在帧F0后继续进行帧F3的处理。
之后的帧F4、F5……也同样地向编码处理较早结束的熵编码部供给，由此连续地执行各帧的编码。
复用部107，从起始帧F0的比特流生成后的时间t5的定时起开始复用处理。基于图4的复用控制信息400，从存储器108的缓存器304和缓存器305按帧顺序读取比特流，变换为复用比特流并输出。
图6是表示对存储器108的数据读写的定时的图。纵轴是存储器地址，横轴是时间轴，此处表示帧F0和F1的中间数据和比特流的读写。存储器地址中，下方区域（32～48MB）是中间数据用缓存器303，中间区域（48～64MB）是第一比特流用缓存器304，上方区域（64MB～）是第二比特流用缓存器305。
首先，从中间数据的写入开始说明。编码控制部104在缓存器303中使地址连续地写入从中间数据生成部103输出的帧F0、F1的中间数据（用实线表示）。写入定时是帧F0从时间t0开始，帧F1从时间t1开始，分别在1帧处理时间TF中进行。中间数据的量在帧F0和帧F1中不同，所以写入速度（曲线图的斜率）不同。此时，编码控制部104在每1帧的写入结束时存储编码顺序信息和终端的地址。
中间数据的读取中，编码控制部104从缓存器303读取帧F0和F1的中间数据（用虚线表示）。此时，基于上述写入时存储的各帧的编码顺序信息和终端的地址，按编码处理顺序地以1帧单位读取中间数据。对于读取的中间数据，帧F0向第一熵编码部105输出，帧F1向第二熵编码部106输出。本实施例中，设想为熵编码部105、106中的中间数据的缓存器容量较少的情况，使读取定时与熵编码部105、106中的编码开始一致，帧F0从时间t1开始，帧F1从时间t2开始。此外，使读取速度（曲线图的斜率）与熵编码部105、106的处理速度一致且为恒定的。因此，帧F0、F1的读取时间与各自的中间数据的量相应地不同。如果熵编码部105、106具备充分的缓存器容量，则也可以连续地读取1帧的量并保存在缓存器中之后进行编码处理。
接着说明比特流的写入。复用部107将从第一熵编码部105输出的帧F0的比特流写入缓存器304，将从第二熵编码部106输出的帧F1的比特流写入缓存器305（用点划线表示）。写入定时与各熵编码部105、106中的编码处理同步，帧F0从时间t1开始，帧F1从时间t2开始。复用部107基于从编码控制部104接收的复用控制信息（编码顺序信息），存储写入的比特流是第几个输出的帧，此外存储写入了缓存器304、305的何处（起始地址信息）和各帧的大小信息。
比特流的读取中，复用部107从缓存器304读取帧F0的比特流，接着从缓存器305读取帧F1的比特流（用点线表示）。读取的定时按照从编码控制部104接收的复用控制信息（编码顺序信息），参考写入时存储的各帧的起始地址信息，进行相当于该帧的大小的量的读取处理。图中，从时间t5开始帧F0的读取，其结束时接着开始帧F1的读取。由此，能够按照向编码控制部104输入中间数据的顺序对比特流进行复用，输出符合规格的比特流。
接着，说明在编码控制部104中，决定用第一熵编码部105和第二熵编码部106中的哪一个对各帧的中间数据进行编码的方法。
图7是表示中间数据的编码分配的决定方法的流程图。
S701中，判定在存储器108的中间数据用缓存器303中保存的中间数据中，是否存在尚未用熵编码部105、106开始熵编码处理的帧的中间数据（未编码帧数据）。此处，只有在1帧的语法元素生成部102中的处理结束时，才认为是未编码帧数据。即，即使存在语法元素生成部102中正在处理的帧的数据，也不认为是未编码帧数据。
S701的判定中判定为不存在未编码帧数据（否）的情况下，反复循环处理直到判定存在未编码帧数据。另一方面，判定存在未编码帧数据（是）的情况下前进至S702。
S702中，判定第一熵编码部105是否正在对其他帧数据进行编码处理。正在处理（是）的情况下前进至S704，不在处理（否）的情况下前进至S703。
S703中，决定用第一熵编码部105进行未编码帧数据的编码处理。然后，向复用部107通知该帧的复用控制信息之后，从存储器108读取未编码帧数据，向第一熵编码部105输出。
S704中，判定第二熵编码部106是否正在对其他帧数据进行编码处理。正在处理（是）的情况下返回S702，循环处理直到S702或S704中的任一个判定成为不在处理（否）。S704的判定是不在处理（否）的情况下前进至S705。
S705中，决定用第二熵编码部106进行未编码帧数据的编码处理。然后，向复用部107通知相应的帧的复用控制信息之后，从存储器108读取未编码帧数据，向第二熵编码部106输出。
S706中，判定编码分配的流程（序列，sequence）是否结束。未结束的情况下，返回S701重复上述处理。
根据上述流程图，存在未编码帧数据的情况下，能够使用编码处理较早结束的熵编码部连续地进行下一帧的编码处理。由此，能够使第一和第二熵编码部105、106的休止期间最小，最大限度地发挥处理性能。
将其与现有的方法进行比较。例如，考虑如上述日本特开平9-238334号公报所述，将1帧分割为N个区域，对各区域预先分配编码装置的情况。该情况下，各区域的编码难易度不同时，每个编码装置的生成编码量不均。因此，为了保证实时处理，需要将各编码装置的处理能力设定为比目标比特率的1/N更高的值。与此相对，本实施例的方法中，根据各熵编码部的处理状况，分配进行下一帧的编码的熵编码部。由此，即使每帧编码量不同，各熵编码部也以大致100%的工作效率工作，所以对熵编码部要求的处理能力为最小限度的比特率的值即充分。
实施例1的变形例能够如下所述。
上述例子中是具备2个熵编码部105、106的结构，但熵编码部的数量为3个以上也能够同样地工作，能够进一步减轻1个熵编码部中的处理负担。该情况下，编码控制部104也根据各熵编码部的处理状况，以帧为单位决定下一个进行编码处理的熵编码部。
虽然采用了H.264的CABAC作为编码方式，但不限于此，也能够采用每次编码都变更概率表的上下文自适应熵编码方式（CAVLC）。
虽然使用了SDRAM作为存储编码处理中的数据的存储器108，但也可以使缓存器的一部分为SRAM，成为不经由总线109而直接在SRAM中缓存数据的结构。
设图像结构是使用I、P、B帧的全部，但也可以是仅有I帧、仅有I帧和P帧这样的其他图像结构。
在存储器108的中间数据用缓存器303中直接记录中间数据，但也可以在各处理部与总线109之间设置压缩解压部，在存储器108中记录压缩处理后的压缩数据，对从存储器108读取的压缩数据进行解压处理。该情况下，能够削减存储器108的存储容量和总线109的带宽。
根据实施例1，设置分担目标编码处理能力（比特率）的多个熵编码部，编码控制部根据各熵编码部的处理状况，按每帧决定进行下一个编码处理的熵编码部。此时，用决定的熵编码部对相应的帧的所有中间数据进行熵编码，完全不用其他熵编码部进行该帧的中间数据的熵编码。由此，不用将1个画面（1帧）分割为多个区域，所以从原理上避免了在画面内的边界部分上发生的画质劣化，并且能够实现高比特率的编码处理。
特别是，编码控制部使多个熵编码部中较早结束编码处理的熵编码部进行下一个编码处理，由此，各熵编码部的处理休止期间最小，能够最大限度地利用各熵编码部的处理性能实现高效率的编码处理。
【实施例2】
实施例1中，第一和第二熵编码部105、106在语法元素生成部102（和中间数据生成部103）中1帧的量的数据生成结束后，开始该帧的熵编码。即，在图7的S701的判定中，编码控制部104在语法元素生成部102结束1帧的处理时识别为存在未编码帧数据。
与此相对，实施例2中，在语法元素生成部102（和中间数据生成部103）生成了在1帧内编码所需的最小限度的数据时，使第一或第二熵编码部105、106开始该帧的熵编码。具体而言，在帧起始的1MB（宏块）的处理结束时，开始该帧的编码。图7的S701的判定也改为在生成了帧起始的1MB时，识别为未编码帧。由此，能够缩短从编码对象图像数据输入到输出复用比特流的延迟时间。
图8是表示实施例2中的编码处理动作的定时的图。设语法元素生成部102中的1MB的处理时间为TMB。
语法元素生成部102开始帧F0的处理，起始的1MB的处理结束时，即从时间t0起经过TMB之后，编码控制部104判定缓存器303中保存了未编码帧F0，开始向第一熵编码部105输出帧F0的中间数据。第一熵编码部105接收该数据，开始对帧F0进行编码。
同样的，语法元素生成部102对于帧F1结束了起始（先前）的1MB的处理时，即从时间t1起经过TMB之后，编码控制部104开始对第二熵编码部106输出帧F1的中间数据。第二熵编码部106接收该数据，开始对帧F1进行编码。
对于帧F5、F7，也分别在从时间t5、t7起经过TMB之后开始编码，但其他帧F2、F3、F4、F6的情况下，等待先前的帧的编码处理结束再用第一或第二熵编码部105、106开始编码。
此外，复用部107中，在从用第一熵编码部105开始帧F0的编码处理起经过TMB之后，开始从帧F0起按顺序输出复用比特流。但是，各帧的复用比特流的输出结束是在各帧的编码处理结束之后。
根据实施例2，与上述实施例1（图5）相比，通过使各处理部的处理时刻提前，相对于编码对象图像数据的输入时刻能够缩短复用比特流的输出时刻的延迟时间。
【实施例3】
上述实施例1、2中，是编码控制部104将用中间数据生成部103进行二值化处理后的中间数据写入存储器108，读取该数据并向第一和第二熵编码部105、106输出的结构。与此相对，实施例3中，是在存储器108中写入二值化处理前的语法元素，读取该语法元素并进行编码处理的结构。
图9是表示实施例3的图像编码装置的结构的图。图像编码装置2中，删除实施例1（图1）中的中间数据生成部103，设置编码控制部114、第一编码部115、第二编码部116。其他处理部与图1相同，附加相同的符号。虚线200是进行CABAC处理的结构部分，在实施例3中对应于第一编码部115和第二编码部116，其内部是图2的结构。
该情况下，用语法元素生成部102生成的语法元素向编码控制部114输入。编码控制部114与图1的编码控制部104同样地工作，但对存储器108的缓存器303读写的数据不是中间数据而是语法元素。编码控制部114按每帧决定对下一个语法元素进行编码的编码部，并输出语法元素。第一和第二编码部115、116对从编码控制部114供给的语法元素实施编码处理（CABAC处理），输出第一和第二比特流。其他处理部的动作与实施例1同样，省略说明。
实施例3中，也准备2个编码部115、116，在编码控制部114中与各编码部115、116的处理状况相应地，按每帧决定进行下一个编码处理的编码部。由此，原理上避免画面内的边界部分上发生画质劣化，并且能够实现高比特率且高效率的编码处理。
此外，实施例3的结构中，第一和第二编码部115、116中的编码方式不限定于CABAC处理，也能够应用CAVLC等其他方式，此外也能够进行实施例1中叙述的各种变形。
符号说明
1、2：图像编码装置
101：图像输入部
102：语法元素生成部
103：中间数据生成部
104：编码控制部
105：第一熵编码部
106：第二熵编码部
107：复用部
108：存储器
109：总线
114：编码控制部
115：第一编码部
116：第二编码部
200：CABAC处理部
201：二值化部
202：上下文计算部
203：二进制算术编码部
301：编码对象图像用缓存器
302：解码图像用缓存器
303：中间数据用缓存器
304：第一比特流用缓存器
305：第二比特流用缓存器
400：复用控制信息
401：编码顺序信息
402：编码分配信息

Claims (6)

1.一种图像编码装置，其对图像数据进行编码处理，其特征在于，包括：
语法元素生成部，其从所述图像数据生成语法元素；
中间数据生成部，其从所述语法元素生成中间数据；
多个熵编码部，其对所述中间数据进行熵编码生成比特流；
复用部，其将所述编码得到的多个比特流复用为1个比特流；和
编码控制部，其将从所述中间数据生成部输出的所述中间数据写入存储器，从该存储器读取所述中间数据提供给所述多个熵编码部中的任意个，
该编码控制部根据所述各熵编码部的处理状况，以帧为单位决定进行熵编码的熵编码部，从所述存储器读取相应的帧的中间数据提供给该决定的熵编码部，
所述决定的熵编码部对相应的帧的全部中间数据进行熵编码，其他熵编码部不进行该帧的中间数据的熵编码。
2.如权利要求1所述的图像编码装置，其特征在于：
所述决定的熵编码部，在完成相应的帧的中间数据的熵编码之前，不进行其他帧的中间数据的熵编码。
3.如权利要求1所述的图像编码装置，其特征在于：
所述编码控制部，在所述各熵编码部中，将下一帧的熵编码分配给此前的帧的熵编码最早结束的熵编码部。
4.如权利要求1所述的图像编码装置，其特征在于：
所述编码处理部，在所述中间数据生成部中生成了1帧内的起始的1宏块的量的中间数据时，将该中间数据提供给所述熵编码部并使熵编码开始。
5.一种图像编码装置，其对图像数据进行编码处理，其特征在于，包括：
语法元素生成部，其从所述图像数据生成语法元素；
多个编码部，其对所述语法元素进行编码生成比特流；
复用部，其将所述编码得到的多个比特流复用为1个比特流；和
编码控制部，其将从所述语法元素生成部输出的所述语法元素写入存储器，从该存储器读取所述语法元素提供给所述多个编码部中的任意个，
该编码控制部根据所述各编码部的处理状况，以帧为单位决定进行编码的编码部，从所述存储器读取相应的帧的语法元素提供给该决定的编码部，
所述决定的编码部对相应的帧的全部语法元素进行编码，其他编码部不进行该帧的语法元素的编码。
6.如权利要求1或5所述的图像编码装置，其特征在于：
所述复用部，以帧为单位对所述多个比特流进行区分并将所述多个比特流写入所述存储器和从所述存储器读取，令读取的顺序为所述中间数据或所述语法元素输入到所述编码控制部时的帧的顺序。
CN201410022969.9A 2013-01-24 2014-01-17 图像编码装置 Active CN103974090B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-010807 2013-01-24
JP2013010807A JP6023596B2 (ja) 2013-01-24 2013-01-24 画像符号化装置

Publications (2)

Publication Number Publication Date
CN103974090A true CN103974090A (zh) 2014-08-06
CN103974090B CN103974090B (zh) 2017-05-24

Family

ID=50030058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410022969.9A Active CN103974090B (zh) 2013-01-24 2014-01-17 图像编码装置

Country Status (4)

Country Link
US (1) US9020284B2 (zh)
EP (1) EP2760211B1 (zh)
JP (1) JP6023596B2 (zh)
CN (1) CN103974090B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071494A (zh) * 2017-05-09 2017-08-18 珠海市杰理科技股份有限公司 视频图像帧的二进制语法元素的生成方法和系统
CN112823516A (zh) * 2018-10-18 2021-05-18 索尼公司 编码设备、编码方法和解码设备
CN114424549A (zh) * 2019-10-31 2022-04-29 株式会社索思未来 运动图像编码方法、编码处理方法、运动图像编码装置及编码处理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123028B2 (en) * 2014-09-17 2018-11-06 Mediatek Inc. Syntax parsing apparatus with multiple syntax parsing circuits for processing multiple image regions within same frame or processing multiple frames and related syntax parsing method
KR102459734B1 (ko) * 2017-08-30 2022-10-28 삼성전자 주식회사 영상처리장치 및 그 제어방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295616A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体
US20080152313A1 (en) * 2006-12-25 2008-06-26 Hitachi, Ltd. Image processing apparatus
CN102687512A (zh) * 2009-12-28 2012-09-19 松下电器产业株式会社 图像编码装置以及集成电路

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238334A (ja) 1996-02-29 1997-09-09 Nec Corp 階層符号化装置
JPH11346366A (ja) 1998-06-01 1999-12-14 Sony Corp 符号化装置とその方法および復号化装置とその方法
US7929776B2 (en) * 2005-03-10 2011-04-19 Qualcomm, Incorporated Method and apparatus for error recovery using intra-slice resynchronization points
WO2007114586A1 (en) * 2006-03-31 2007-10-11 Humax Co., Ltd. Device and method for unified codecs
US8194736B2 (en) * 2008-04-15 2012-06-05 Sony Corporation Video data compression with integrated lossy and lossless compression
JP2011015322A (ja) * 2009-07-06 2011-01-20 Renesas Electronics Corp 半導体装置
US8660177B2 (en) * 2010-03-24 2014-02-25 Sony Computer Entertainment Inc. Parallel entropy coding
JP5682387B2 (ja) * 2011-03-15 2015-03-11 富士通株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295616A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体
US20080152313A1 (en) * 2006-12-25 2008-06-26 Hitachi, Ltd. Image processing apparatus
CN102687512A (zh) * 2009-12-28 2012-09-19 松下电器产业株式会社 图像编码装置以及集成电路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HENRYYK RICHTER: "Architectural decomposition of video decoders for many core architectures", 《DESIG AND ARCHITECTURES FOR SIGNAL AND IMAGE PROCESSING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071494A (zh) * 2017-05-09 2017-08-18 珠海市杰理科技股份有限公司 视频图像帧的二进制语法元素的生成方法和系统
CN107071494B (zh) * 2017-05-09 2019-10-11 珠海市杰理科技股份有限公司 视频图像帧的二进制语法元素的生成方法和系统
CN112823516A (zh) * 2018-10-18 2021-05-18 索尼公司 编码设备、编码方法和解码设备
CN114424549A (zh) * 2019-10-31 2022-04-29 株式会社索思未来 运动图像编码方法、编码处理方法、运动图像编码装置及编码处理装置

Also Published As

Publication number Publication date
JP2014143572A (ja) 2014-08-07
JP6023596B2 (ja) 2016-11-09
US9020284B2 (en) 2015-04-28
EP2760211A3 (en) 2015-09-02
EP2760211A2 (en) 2014-07-30
EP2760211B1 (en) 2019-07-24
US20140205198A1 (en) 2014-07-24
CN103974090B (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
US5416520A (en) Multiple encoder output buffer apparatus for differential coding of video information
CN103974090A (zh) 图像编码装置
US20040260739A1 (en) System and method for accelerating arithmetic decoding of video data
EP2556667A2 (en) Video transmission system having reduced memory requirements
US20160301945A1 (en) Image compression/decompression device
US20200304837A1 (en) Adaptive syntax grouping and compression in video data
US20190356911A1 (en) Region-based processing of predicted pixels
KR102238091B1 (ko) 3d 모델 압축 및 압축해제 시스템 및 방법
CN112290953B (zh) 多道数据流的阵列编码装置和方法、阵列解码装置和方法
US10595033B2 (en) Variable length coding of header data for image compression
CN1117484C (zh) 存储器要求降低的已压缩视频数据流的解码与编码方法
CN105791819B (zh) 一种图像的帧压缩方法、图像的解压缩方法及装置
US20140301719A1 (en) Processing cache for multiple bit precisions
US20030147468A1 (en) Image data coding apparatus capable of promptly transmitting image data to external memory
CN114339263A (zh) 一种针对视频数据的无损处理方法
CN111372085B (zh) 影像解码装置与方法
JP5632328B2 (ja) 符号量予測装置及びプログラム
WO2020263438A1 (en) Features of range asymmetric number system encoding and decoding
EP1298937A1 (en) Video encoding or decoding using recompression of reference frames
TWI565303B (zh) 影像處理系統及影像處理方法
JP5884062B2 (ja) ストリーム生成装置、ストリーム生成方法、ストリーム処理装置、およびストリーム処理方法
WO2020255940A1 (ja) 画像処理装置および画像処理方法
JP2001217722A (ja) 情報符号化装置及び情報符号化方法及びコンピュータ読み取り可能な記憶媒体
CN102687512A (zh) 图像编码装置以及集成电路
CN115118999A (zh) 熵上下文处理方法、片上系统及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant