CN106063269A - 动态图像编码装置、动态图像解码装置以及动态图像编码/解码方法 - Google Patents

动态图像编码装置、动态图像解码装置以及动态图像编码/解码方法 Download PDF

Info

Publication number
CN106063269A
CN106063269A CN201580011234.9A CN201580011234A CN106063269A CN 106063269 A CN106063269 A CN 106063269A CN 201580011234 A CN201580011234 A CN 201580011234A CN 106063269 A CN106063269 A CN 106063269A
Authority
CN
China
Prior art keywords
parallel processing
row
image
processing portion
tupe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580011234.9A
Other languages
English (en)
Other versions
CN106063269B (zh
Inventor
谷田部佑介
小味弘典
柏原义昌
齐藤和则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Information and Telecommunication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Telecommunication Engineering Ltd filed Critical Hitachi Information and Telecommunication Engineering Ltd
Publication of CN106063269A publication Critical patent/CN106063269A/zh
Application granted granted Critical
Publication of CN106063269B publication Critical patent/CN106063269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在使用了CABAC编码处理时，也能够以低功耗来进行动态图像编码、解码。对每个MB执行用于对图像进行编码的预处理，并按照所述MB的处理顺序向存储部中写入作为该处理结果的MB信息，按照光栅顺序读出在存储部中存储的MB信息来对MB进行编码。在对编码后的图像进行解码时，按照光栅顺序对构成编码后的图像的MB进行解码，在存储部中存储作为解码后的处理结果的MB信息，并按照MB的处理顺序执行用于对图像进行解码的后处理即解码信息读出处理。

Description

动态图像编码装置、动态图像解码装置以及动态图像编码/解 码方法
技术领域
本发明涉及以低功耗对动态图像进行编码/解码的动态图像编码/解码装置及其方法。
背景技术
在专利文献1中公开了为了低功耗且高画质地对动态图像进行编码，不将动态图像分割为多片，而针对每个MB(宏模块)行并行地进行编码处理的技术。并且，在专利文献2中公开了在对每个MB行并行地进行编码处理时，关于量化参数(MB_qp_delta)，当在MB行进行了并行处理时，也能够按照由H.264标准(ITU-T H.264)规定的编码MB顺序进行流化的技术。
现有技术文献
专利文献
专利文献1：日本特开2008-042571号公报
专利文献2：日本特开2009-239565号公报
发明内容
发明所要解决的课题
在H.264标准中，作为除了量化参数以外按照编码MB顺序进行流化所需要的处理，具有CABAC(Context-based Adaptive Binary Arithmetic Coding基于上下文的自适应二进制算术编码)编码处理，但是在专利文献1、2中没有公开将该处理并行化来低功耗地对动态图像进行编码、解码的方法。
本发明是鉴于上述问题而提出的，其目的在于提供一种在使用CABAC编码处理时，也能够以低功耗进行动态图像编码、解码的动态图像编码装置、动态图像解码装置以及动态图像编码/解码方法。
解决课题的手段
为了解决上述的课题并且达成目的，本发明的动态图像编码装置将图像分割为MB来进行编码，其具备：MB并行处理部，其针对每个所述MB执行用于对所述图像进行编码的预处理，并按照所述MB的处理顺序在存储部中写入作为该处理结果的MB信息；以及编码部，其按照光栅顺序读出在所述存储部中存储的所述MB信息来对所述MB进行编码。
另外，本发明的动态图像解码装置针对每个MB对编码后的图像进行解码，其具备：解码部，其按照光栅顺序对构成所述图像的MB行中包含的所述MB进行解码，并在存储部中存储作为解码后的处理结果的MB信息；多个解码信息读出部，其按照所述MB的每个处理顺序执行用于对所述图像进行解码的后处理即解码信息读出处理。
另外，还能够作为由上述动态图像编码装置、动态图像解码装置进行的动态图像编码/解码方法来掌握本发明。
发明效果
通过本发明，在使用CABAC编码处理时，也能够以低功耗来进行动态图像编码、解码。
附图说明
图1是本实施方式的动态图像编码装置的结构图。
图2表示本动态图像编码装置的编码对象单位即动态图像中的帧结构。
图3表示本动态图像编码装置中的流水线处理的概要。
图4表示一般的动态图像编码的产生码量的例子。
图5表示本动态图像编码装置进行处理的帧单位的流水线处理。
图6表示不同的MB行中的搜索范围的例子。
图7表示在通过图1的结构并行处理两个MB行时的流水线的例子(编码)。
图8表示在本动态图像编码装置中设想的三个处理模式中的模式1、模式2的例子。
图9表示在本动态图像编码装置中设想的三个处理模式中的模式3的例子。
图10表示在本动态图像编码装置中设想的三个处理模式的设定例子。
图11表示处理模式1时的流水线的例子。
图12表示处理模式2时的流水线的例子。
图13表示本实施方式中的动态图像解码装置的结构例子。
图14表示在通过图13的结构并行处理两个MB行时的流水线的例子(解码)。
具体实施方式
以下参照附图详细说明本发明的动态图像编码装置、动态图像解码装置、以及动态图像编码/解码方法的实施方式。
(关于编码装置的结构)
图1是本实施方式的动态图像编码装置的结构图。如图1所示，动态图像解码装置1000具有：将每一帧输入的原图像存储到SDRAM107中的原图像写入部101、从SDRAM107读出每个MB的原图像，并将其提供给粗搜索部104、第一MB行并行处理部105、第二MB行并行处理部106的原图像读出部102、从SDRAM107读出并保存由运动检测部使用的参照图像的搜索存储器读出部103、根据原图像和参照图像计算表示MB的移动量和移动方向的运动矢量的粗搜索部104、针对每个MB行进行并行处理的多个MB行并行处理部(第一MB行并行处理部105、第二MB行并行处理部106)、保存参照图像和原图像的外部存储器即SDRAM107、担任与SDRAM107之间接口的SDRAM接口108、按照光栅顺序从SDRAM接口108读出并行处理后的MB或MB信息、编码信息等来生成流，并将其传送给SDRAM接口108的多个编码部(第一编码部109、第二编码部110)、按照编码顺序从SDRAM接口108读出流的流输出部111。
并且，第一MB行并行处理部105具有：针对每个MB取得粗搜索结果和参照图像，为了决定更详细的矢量而进行细搜索的细搜索部1051、从原图像读出部102取得原图像，决定画面内预测的预测模式的IE部1052、针对每个MB进行并行处理的多个MB并行处理部(第一MB并行处理部1053、第二MB并行处理部1054)、把从各个MB并行处理部输出的编码信息捆绑为MB行后传送给SDRAM接口108的编码信息写入部1055、对从各个MB并行处理部输出的解码图像实施解块过滤后传送给SDRAM接口108的解块部1056。因为第二MB行并行处理部106具有与第一MB行并行处理部105相同的结构，所以在这里省略其说明。
并且，第一MB并行处理部1053具备：计算画面内预测(Intra)或画面间预测(Inter)中的任意一个的预测残差，此外取得从频率变换量化部10532输出的解码残差数据生成解码图像的预测误差生成部10531、针对预测误差进行频率变换并进行量化来生成用于编码的编码信息，此外将量化后的数据进行逆量化并进行逆频率变换来生成解码残差数据的频率变换量化部10532、捆绑从频率变换量化部10532输出的数据和用于在编码流中存储的块分割信息或预测模式、量化值等信息的编码信息生成部10533。因为第二MB并行处理部1054具有与第一MB并行处理部1053相同的结构，所以在这里省略其说明。
在图1所示的例子中，各MB行并行处理部具有针对每个MB行并行处理偶数MB和奇数MB的两个MB并行处理部，各MB并行处理部一边相互参照需要的MB的信息一边并行地进行编码。例如，在第一MB行并行处理部105中，第一MB并行处理部1053处理偶数MB行的偶数MB，第二MB并行处理部1054处理偶数MB行的奇数MB。在第二MB行并行处理部106中，第一MB并行处理部1063处理奇数MB行的偶数MB，第二MB并行处理部1064处理奇数MB行的奇数MB。
第一编码部109以及第二编码部110是在H.264中例如通过CABAC、CAVLC(Context-based Adaptive VLC基于上下文的自适应可变长编码)等方法执行编码处理的处理部，针对每个帧执行并行处理。例如，在分别对两个帧进行编码时，通过各个编码部并行执行处理。此外，控制部112承担构成动态图像编码装置的各部的流水线动作的控制和编码信息的计算、运送。
(关于上述动态图像编码装置的动作)
下面对本动态图像编码装置的动态图像编码的详细动作进行说明。图2表示本动态图像编码装置的编码对象单位即动态图像中的帧结构。在H.264等动态图像编码的国际标准方式中，将帧201分割为矩形的编码单位即MB202，从图中的左上开始按照向右的光栅顺序203进行流化。在H.264标准中，在进行每个MB的编码时，存在参照已经编码完的MB信息来进行流化的处理。这里所示的MB信息例如是量化系数(MB_qp_delta)、CABAC编码处理中的各系数的概率推定表的更新(context index上下文索引)、算术编码中的区间宽度的更新(codIRange、codIOffset、valMPS)等信息。
在上述的专利文献1以及专利文献2中，针对帧201不按光栅顺序进行处理，将帧201中包含的MB行分别定义为处理MB行204，并对它们并行地进行处理。在为2并行时，在第一并行处理207以及第二并行处理208中，将各个MB行并行化，同时执行处理。
此时，在第二并行处理208中执行的MB行的先头MB(例如MB205)需要参照在第一并行处理207中执行的前一个MB行的末端MB206的MB信息来执行流化209。但是，在并行处理的流水线中，在进行末端MB206的处理之前，必须进行下一个MB行的先头MB205的处理，因此无法参照上述紧前的MB信息。
另外，在专利文献2中，针对本课题叙述了对于量化系数的解决对策，但是没有叙述对于CABAC编码处理的解决对策。如果不解决本课题，就无法对动态图像编码处理进行并行处理。
在本专利中，与在各部执行的处理的特性相匹配地将动态图像编码分割为两个处理部分，关于前半部分进行MB单位的并行处理，并将其结果暂时存储在存储器中，按照帧的顺序并按照编码顺序读出该数据来对该帧中包含的MB进行编码，由此谋求克服上述课题。
(通过CABAC编码处理将MB行处理并行化的方法)
在本动态图像编码装置中，如图1所示，通过各个MB行并行处理部同时处理多个MB行。将关于偶数MB行以及奇数MB行的各MB行的编码信息暂时存储在SDRAM106中，各编码部按照进行编码的帧中包含的MB顺序读出MB的编码信息来进行编码。图3表示本动态图像编码装置中的流水线处理的概要。在图3中，第一MB行并行处理部105执行处理偶数MB行的第一MB行并行处理301，第二MB行并行处理部106执行处理奇数MB行的第二MB行并行处理302，对MB行进行并行处理。各MB行并行处理部处理MB行，将处理后的MB行中包含的编码信息依次保存到SDRAM107。然后，如图3的下部所示，各编码部按照进行编码的MB顺序读出编码信息对SDRAM107中保存的MB行进行编码。在图3的下部，表示了第一编码部执行第一编码处理303的例子。即，在本动态图像编码装置中，当并行处理了MB行时，依次在SDRAM107中写入处理后的编码信息，当各编码部进行编码时，按照帧的顺序，并以构成该帧的MB顺序进行读出来进行编码。由此，在并行处理MB行以及MB时也能够进行CABAC编码处理。
(关于高画质化)
通过使动态图像编码装置成为上述的结构，还能够实现高画质。以下，对高画质化进行说明。
图4表示一般的动态图像编码的产生码量的例子。为了进行编码而成为高画质，如图4上部所示，有效的是对成为参照基点的I图像401分配大量的码量等，根据进行编码的图像的类型来改变码量。
另一方面，粗搜索部、MB行并行化处理部等硬件电路根据像素数能够以大体固定的周期数来进行设计，与此相对，执行CABAC处理的编码部的硬件电路一般成为处理周期数根据产生码量进行变动的设计。由此，编码部的硬件电路如图4下部所示存在以下的问题：当每个帧产生码量不同时，处理时间对于每个帧进行伸缩。图4的下部表示了对于产生码量多的I图像花费处理时间的情况。如此当在相同的流水线中进行处理周期数大体固定的处理(前半处理)和处理周期数扩张的处理(后半处理)时，如果在该处理的中断时不通过SDRAM等缓冲存储器暂时保存中间信息，则在后半处理的处理周期延长的情况下，在后半处理结束之前需要停止前半处理，因此难以实时地进行编码。
由此，在本动态图像编码装置中，在帧处理周期内使粗搜索部和MB行并行处理部并行进行处理，将其结果暂时存储在SDRAM107这样的大容量的外部缓冲存储器中，读出该结果由编码部进行处理，由此即使各帧中的码量有大的变动也能够进行处理进行高画质的编码。
图5表示本动态图像编码装置进行的帧单位的流水线处理。图5的上部是编码部为一个时的例子，第一MB行并行处理部105、第二MB行并行处理部106按照在一帧期间内进行编码的帧顺序(f0→f1→f2)执行MB行的并行处理。第一编码部109或第二编码部110按照编码帧顺序(f0→f1→f2)执行与产生码量对应的处理。在图5的上部，可知在I图像即最初的帧f0，产生码量多花费处理时间，另一方面，在下一个B图像产生码量少与I图像相比处理时间短。
图5的下部是针对每个帧并行地进行编码部的编码处理时的例子，各编码部按照MB行并行处理部的处理已经结束的帧单位依次执行并行处理，将针对每个帧生成的流再次存储到作为外部存储器的SDRAM107中，以成为编码帧顺序的方式通过流输出部111读出流，并作为最终的流输出到外部。关于编码部，可以根据来自用户的设定，与需要的比特率对应地来决定驱动的个数。例如，在需要40Mbps时如图5上部那样使编码部为一个，在需要80Mbps时如图5下部那样使编码部为两个。
(关于中间缓存存储信息)
接下来，对SDRAM107中存储的编码信息进行说明。从各MB行并行处理部输出的，存储到SDRAM107中的编码信息例如是量化后的像素数据、量化信息、表示是否为量化后的非零系数的信息、表示是画面间编码还是画面内编码的信息、在选择了画面间编码时的矢量信息、分割信息、预测方向信息、频率变化尺寸信息等信息、在选择了画面内编码时的预测信息、块分割信息等信息。这些信息规定应该在SDRAM107中存储的MB的数据量，始终在存储器中存储固定量，各编码部每次读出固定数，或者管理MB数据的写入地址由编码部来读出。另外，可以使SDRAM107中保存的数据为在CABAC处理中对上述所示的信息进行了二值化处理后的数据。
(关于前半部并行处理)
其次，关于执行上述说明的CABAC编码处理的各编码部和执行CABAC编码处理以前的处理的各MB行并行处理部，说明在经由SDRAM107那样的外部存储器的结构中，能够实现低功耗的并行处理。在专利文献1中公开了对每个MB行进行并行处理的方法。但是，在想要达成高处理性能时，需要根据提高处理能力的程度来并行处理MB行。此时，因为是分别将需要很大电路规模的粗搜索部104、或需要保存很多参照图像的搜索存储器读出部103并联的结构，因此需要很大的电路规模和与之相伴的很多的消耗电量。
对于这样的问题，在本动态图像编码装置中，为了使多个MB行并行处理部共享粗搜索部104和搜索存储器读出部103，同时进一步减少各MB行并行处理部处理的MB行的数量，针对属于要进行处理的MB行的每个MB(例如，分为偶数号码的MB和奇数号码的MB)来执行并行处理。粗搜索部104根据并行处理的MB的数量来决定处理时间，依次向各MB行并行处理部输出在该处理时间处理的结果。例如，粗搜索部104分成成为处理对象的MB行中的偶数号码的MB行和奇数号码的MB行，并且在将各MB行分为偶数号码的MB和奇数号码的MB来并行处理时，粗搜索部104预先决定MB并行处理部中的处理时间，将该决定的时间的1/4的时间分配给各MB的处理，并按顺序向各MB行并行处理部输出该处理结果。
(关于搜索范围)
如图1所示，在本动态图像编码装置中，针对多个MB行并行处理部，具备一个搜索存储器读出部103和一个粗搜索部104。以下，对于搜索存储器读出部103的共享进行说明。图6表示不同的MB行中的搜索范围的例子。在图6中，在编码对象帧600中，表示了属于某个MB行的MBa601和属于下一个MB行的MBb604的搜索范围，来分别作为MBa的搜索范围603、进行MBb的运动搜索时的搜索范围605。
在这里，运动搜索是指为了在图像编码中消除各帧间的多余长度，搜索编码对象帧的MB图案与参照帧的哪里最近并决定该位置(矢量)的处理。搜索范围是指进行该运动搜索时的参照帧中的搜索范围。通常，关于该搜索范围，在参照帧上设定比MB大的范围，通过在该范围计算原图像与参照图像的像素值的差来决定其矢量。在图6中可知MBa601和MBb604的搜索范围包含大体相同的区域。
由此，搜索存储器读出部103仅保存参照帧中的并行的MB行中的在该搜索范围内包含的像素，通过粗搜索部104进行粗搜索，由此与分别保持搜索存储器读出部103以及粗搜索部104的情况相比能够大幅削减保持数。
(粗搜索部)
粗搜索部104具有：从搜索存储器读出部103读出参照图像，计算编码对象图像的像素和参照图像的像素之间的差分值的电路、累计该差分值决定最小的差分值的电路。关于计算误差的差分的电路，并行具有搜索数的全部像素量的运算器导致电路规模的增大，因此一般具有某种小规模的运算电路，使该电路进行多个时钟动作来进行所需要的搜索次数的处理。该运算电路根据需要搜索数和需要结束搜索的时钟数来决定所有数。关于需要的时钟数，如后所述。
(并行化流水线)
使用流水线对粗搜索部104向多个MB行的MB提供数据的处理进行说明。图7表示针对帧内的处理，通过图1的结构并行处理两个MB行时的流水线的例子。在该例子中，图1所示的第一MB行并行处理部105处理偶数号码的MB行，第二MB行并行处理部106处理奇数号码的MB行。并且，第一MB并行处理部1053处理MB行中包含的MB中的偶数号码的MB，第二MB并行处理部1054处理奇数号码的MB。
在图7中，表示了将先头的MB行的MB号码从左到右设为0→1→2→3，将属于并行处理的下一段的MB行的MB号码从左到右设为n→n+1→n+2→n+3(参照图2所示的MB的处理顺序)，图1所示的各部在某时间正处理哪个MB。在图中，向右表示时间轴701，将根据帧率、图像尺寸和动作时钟数计算出的处理1MB所需要的时间定义为时隙702。
另外，在本例中，MB并行处理部通过4并行(第一MB行并行处理部105的第一MB并行处理部1053以及第二MB并行处理部1054、第二MB行并行处理部106的第一MB并行处理部1063以及第二MB并行处理部1064)执行处理，因此表示4MB的处理时间来作为基本时隙703。此时，各处理部根据将处理并行连接的数量，应进行处理的时隙的期间不同。例如，在通过4并行进行动作的处理中，一个电路需要在四个时隙(基本时隙)的期间完成动作，通过2并行进行动作的电路需要两个时隙的期间，并且在一个时隙内使一个电路结束动作。
在将进行编码的原图像和在画面间预测中使用的参照图像已保存在SDRAM107中的前提下，对帧内的处理进行详细说明。
在帧处理的开头，原图像读出部102和搜索存储器读出部103至少预读704从此开始进行处理的先头MB的原图像的像素和进行粗搜索所需要的搜索范围的参照图像的像素，并作为所需要的数据保存在粗搜索部104和各MB行并行处理部的IE部。在本结构中，始终依次地进行在流水线中进行处理的MB的数据的预读704，来对本数据进行补充。如果所需要的数据的保存结束，则粗搜索部104开始先头MB的处理。
粗搜索部104基本上针对每个时隙交互地处理包含0MB706的行的处理和包含nMB707的行的处理。例如，粗搜索部104按照编码顺序交互地处理由第一MB行并行处理部105执行预处理的偶数MB行的MB和由第二MB行并行处理部106执行预处理的奇数MB行的MB。
但是，在动态图像编码中，多存在在某个MB的编码中参照属于该MB之上的MB行的MB来进行编码的情况。因此，关于该MB的处理，至少在存在参照关系的MB的处理已结束的时间点以后开始处理。在本例子中，在包含0MB706的行和包含nMB707的行中，关于nMB707的nMB处理，作为一个例子在包含0MB706的行的3MB处理结束后开始。
然后，细搜素部1051从粗搜索部104取得矢量和参照图像，并从原图像读出部102取得原图像，以更细致的精度进行矢量搜索。在本例子中，针对各MB行并行处理部设置一个细搜索部，因为针对每个MB行具有一个电路，因此成为在两个时隙的期间结束处理的电路结构。例如，因为在第一MB行并行处理部105中设置了一个细搜索部1051，因此在细搜索部1051中在通过虚线表示的两个时隙的期间708中处理包含0MB706的MB行的各MB。在为第二MB行并行处理部106时，也同样设置了一个细搜索部1061，因此在细搜索部1061中在两个时隙的期间处理包含nMB707的MB行的各MB。
第一MB行并行处理部105的IE部1052从原图像读出部102取得原图像，决定图面内预测的模式。IE部也与细搜索部相同，针对每个MB行具有一个电路，在两个时隙期间709中进行处理。关于第二MB行并行处理部106的IE部1062也是同样的。
在各个MB并行处理部中各构成了一个MB并行处理部的预测误差生成部和一个频率变换量化部。在图1所示的例子中，第一MB行并行处理部105具有对偶数MB行的偶数号码的MB进行处理的第一MB并行处理部1053、对奇数号码的MB进行处理的第二MB并行处理部1054。关于第二MB行并行处理部106，也同样具有对奇数MB行的偶数号码的MB进行处理的第一MB并行处理部1063、对奇数号码的MB进行处理的第二MB并行处理部1064。为了使它们并行处理，最多错开基本时隙的一半的期间来并行地进行处理。此时，由于各MB的处理需要参照周围的MB信息，因此在该一半的时隙内决定下一个MB的处理所需要的信息。该周围的需要参照的数据是通过各种动画压缩标准定义的信息，例如是编码信息、在画面内预测中需要的解块过滤执行前的解码图像等。
关于该错开了半个时隙的并行处理，在本例子中基本时隙的期间为四个时隙，因此MB并行处理部的预测误差生成部、频率变换量化部分别最多错开两个时隙的期间710、711来进行处理。
各预测误差生成部在画面间预测时根据从细搜索部取得的矢量信息和参照图像生成预测图像。然后，各频率变换量化部从原图像取得差分，对该误差图像进行频率变换和量化，并将结果传送给各编码信息生成部。各编码信息生成部针对每个MB行捆绑MB信息来向SDRAM107传送编码信息。各解块部针对从各预测图像生成部输出的解码图像执行循环内过滤，向SDRAM107传送执行了该过滤后的解码图像。此外，虽然没有进行图示，但是与频率变换量化部的处理时间同时间地进行预测误差生成部的在画面内预测时的预测图像的生成和解码图像的生成。
通过进行这样的控制，能够不大幅增加粗搜索所需要的向搜索存储器存储的参照图像的读出数据量以及不大幅增大搜索电路来进行每个MB的并行处理，因此能够实现低功耗。在本实施例中，采用暂时向SDRAM107存储的方式说明了各MB行并行处理部的处理结果和各编码处理部的处理结果，但是在使用不保存到SDRAM107的方式时，通过在各MB行并行处理部中包含各编码处理部并将其连接起来的结构，能够将来自各MB行并行处理部的处理结果直接输入到各编码处理部，与上述同样地实现并行化。
(并行时的画质劣化问题)
然后，对通过本动态图像编码装置进行的MB行的并行处理中的高画质化进行说明。对于高画质化在专利文献2中进行了记载，在进行MB行的并行处理时，需要将属于正在进行并行处理的MB行的先头MB的QP固定为与画质无关地预先决定的某个值。但是，在采用该方法时，并行度越增加进行固定的行也越增加，画质降低。另外，规定了属于MB行的MB内的进行固定的MB的位置，因此存在在该位置产生画质上的不均匀的问题。以下进行具体的说明。
如图2所示，在使MB行并行化时，需要按照MB编码顺序先行对未来的MB进行编码。此时，在专利文献2中，通过以下的方式进行叙述。首先作为第一是以下的方法：使MB先头行的先头MB的QP固定，并强制地使CBP(Coded Block Pattern编码块模式)有效。然后，第二是以下的方法：使MB行的末端的MB(MBl)和下一个MB行的先头的MB(MBn)的QP固定，强制使MBl的CBP有效。此外，强制使CBP有效的理由在于，在H.264标准中，当CBP为无效时具有不对QP进行编码这样的决定，因此只要不强制使CBP有效就无法使QP固定。
在上述两个的方法中，使MBl和MBn的双方的QP固定。但是，例如只在MBn的CBP无效时使QP固定等，在MBn的CBP有效时未必需要使QP固定。另外，使该QP固定的位置也不必固定在MB行的先头或末端。
这样一来，在本实施例中，成为CBP的强制有效的位置和QP固定的位置可以是MB行的任意MB的方式。即，在已使位于MB行的途中的MB的QP固定时，也可以针对从固定了QP的MB到MB行的末端MB为止的MB，将预先决定的QP值设定给从该MB到末端的MB。此时，从进行了CBP的强制有效的MB开始到该MB行的末端MB的QP值使用预先决定的QP值，下一个MB行的先头的MB只在CBP为无效的情况下使用该QP来进行编码。
此外，关于QP的固定，既可以是预先决定的固定值也可以通过周围MB的最小值、介质值、平均值等来计算使用。如此，能够变更使QP固定的位置，并能够进行抑制了画质不均匀的编码。
(高功能化)
一般在搭载了动态图像编码装置的设备中，为了应对用户的喜好或各种应用，设置了各种能够调整画质和录像时间的处理模式。因此，在本动态图像编码装置中，也设想分辨率和帧率发生变化的情况，谋求动态图像编码装置的低功耗设计。以下，对在本动态图像编码装置中设想的三个处理模式的例子进行说明。调整模式是根据输出图像的性能来变更并行处理数的设定信息。
图8表示在本动态图像编码装置中设想的三个处理模式中的模式1、模式2的例子。图8的上部表示第一个成为基本的处理模式。本处理模式例如是对于FHD(Full HighDefinition全高清)尺寸的图像，在帧率为30fps时，使用IBBPBB的M＝3的编码类型进行编码的模式。此时，在P图像中，参照三张前的图像，将I图像中的搜索范围801设为基本搜索范围。
然后，图8下部表示第二处理模式。本处理模式是针对上述基本处理将帧率设为两倍的处理模式。在此时，通过将帧率设为两倍，帧间的距离成为一半。在本处理模式中当假设上述基本处理和影像的运动量为固定时，可知在P图像中，通过基本搜索范围的1/2的搜索范围802即可。但是，在本处理模式中需要处理两倍的帧数，因此在使处理时钟数为相同值时，要求两倍的处理速度(处理性能)。
最后，对第三个处理模式进行说明。图9表示在本动态图像编码装置中设想的三个处理模式中的模式3的例子。图9上部所示的本例是与基本的处理模式相比将图像尺寸设为四倍的例子。该例子例如是与4k 2k的图像对应的情况，设为IPPP的M＝1的编码类型。此时，由于图像尺寸为四倍，因此与上述同样地当使处理时钟数为相同值时，要求四倍的处理性能。
此时，虽然图像尺寸为四倍，但是计算运动矢量的MB的大小未变化，所以如果是M＝3的编码类型，则在P图像中的搜索范围成为与基本搜索范围相同的范围。但是，因为在该模式3下设为M＝1的情况，所以与上述的模式1的基本图案相比，使I图像或者P图像的周期成为1/3，因此搜索范围成为基本搜索范围的1/3。
对于上述各模式的设定例进行说明。图10表示在本动态图像编码装置中设想的三个处理模式的设定例子。在图10中，将编码的处理模式、图像尺寸、帧率、需要的动态图像编码装置的性能以及该性能下的处理时间、表示I图像或P图像的周期的M值、需要的I图像的搜索范围对应起来进行存储。
如图10所示，可知针对每个处理模式性能为1、2、4倍，与之相伴相同动作频率下的处理时间为1、1/2、1/4。并且，可知需要的搜索范围为1、1/2、1/3。
上述说明的动态图像编码装置是应用了图9所示的模式3时的例子，表示与模式1的情况相比达成四倍的性能时的结构。在图1所示的本动态图像编码装置中，构成为粗搜索部104向多个MB行并行处理部提供数据的结构，只要具有相对于基本的处理模式以1/4的处理时间至少能够处理1/3的搜索的能力即可。
然后，如果具有该处理能力，与四倍的性能时相比，在两倍的性能时(模式2)处理时间延长为两倍，在一倍的处理性能(模式1)时，处理时间延长为四倍，因此能够在同一个电路中实现处理时间不同的三个模式。
此外，除了上述处理模式1～处理模式3，作为处理模式4还能够设定以下的模式：对于FHD尺寸的图像，在帧率为120fps时，能够使用IPP的M＝1的编码类型进行编码。此时，由于帧率变为四倍，因此与上述同样地在使处理时钟数为相同值时，要求四倍的处理性能，其处理时间变为1/4。并且，由于帧率变为四倍，M值变为1/3，因此搜索范围变为1/12。
图11、图12分别表示处理模式1、处理模式2时的流水线。在图11所示的处理模式1的流水线中，可以在图7所示的四个时隙的期间即基本时隙进行各个处理。此时不需要进行并行处理，所以例如通过使图1所示的第一MB行并行处理部105、该第一MB行并行处理部105具有的第一MB并行处理部1053在图11所示那样的流水线进行动作来执行处理。
另外，在图12所示的处理模式2中，可以在图7所示的两个时隙的期间进行处理，成为2并行处理的动作。在这种情况下，使用图1所示的第一MB行并行处理部105、该第一MB行并行处理部105具有的第一MB并行处理部1053、第二MB并行处理部1054，在图12所示的流水线执行处理。在这两者的情况下，也使搜索存储器读出部103、粗搜索部104、原图像读出部102各自为一个电路来向MB行并行处理部提供数据。
另外，在该结构中，能够应对需要处理模式3的四倍的处理性能的使模式3的帧率成为四倍的处理模式等，根据图像分辨率、帧率的关系也能够应对在本例中没有表示的其他处理模式。另外，在本动态图像编码装置中，能够根据用户的设定，将该流水线切换为期望的处理模式。通过采用这样的结构，本动态图像编码装置在执行多个并行处理时也能够实现低功耗化。
(进一步节省电力)
然后，对进一步节省电力进行说明。本动态图像编码装置中的细搜索部是只在编码对象的MB为画面间编码模式(Inter编码模式)时需要的处理，在为画面内编码模式(Intra编码模式)时不需要进行该处理。本动态图像编码装置的流水线的细搜索处理是在画面间编码的粗搜索和画面内编码的IE部已经结束后的处理。即，在MB行并行处理部中，判定进行处理的图像是通过画面内编码模式和画面间编码模式中的哪一个编码模式来进行处理，并只在判定为画面间编码模式时，细搜索部针对由粗搜索部104求出的MB的移动量以及移动方向求出更加详细的移动量以及移动方向。
在本动态图像编码装置中，MB行并行处理或控制部根据粗搜索部和IE部的处理结果判定是画面内编码还是画面间编码，在判定为画面内编码时，进行控制从而不使细搜索部进行动作，能够消减进行细搜索所需要的消耗电力。此时，能够通过不传送用于进行细搜索的处理开始信号、或者停止时钟的方法来实现。另外，关于画面内编码和画面间编码的决定，通过原图像与各个预测图像之间的误差、用于传送该误差的加入了编码的值来进行比较。
(CABAC并行化的效果)
因此，即使在使用了CABAC编码时，也可以进行MB行单位的并行处理，能够实现低功耗和高画质。
(解码的结构)
通过本动态图像编码装置使用的并行化能够应用到解码装置中。图13表示本实施方式的动态图像解码装置2000的结构例子。在本动态图像编码装置2000中，通过流输入部1301取得用于进行再生的流，通过流解析部1302进行各帧的先头位置的解析。向SDRAM接口1303传送该解析结果，并保存在SDRAM1304中。执行该解析处理的理由在于，因为各解码部(第一解码部1305、第二解码部1306)针对每帧执行并行处理，所以需要检查帧的开始代码来掌握成为流中包含的帧的划分的先头位置。然后，从SDRAM1304以帧为单位通过第一解码部1305、第二解码部1306读出帧来进行并行处理，针对每个MB行将MB的解码信息(与编码信息相同的内容)保存在SDRAM1304中。
将该每个MB行的MB解码信息从SDRAM1304读出到第一MB行并行处理部1307、第二MB行并行处理部1308，与动态图像编码装置同样地，以MB行为单位并行地进行处理。在第一MB行并行处理部1307中，解码信息读出部13071读出解码信息，并将其提供给第一MB并行处理部13073、第二MB并行处理部13074，并且向预测图像生成部13075提供生成预测图像所需要的信息。然后，对于各MB并行处理部生成的图像，通过解块部13072实施解块过滤，然后保存在SDRAM1304中。
在各MB行并行处理部的MB并行处理部中，各个逆频率变换部对于解码信息读出部取得的数据执行逆量化以及逆频率变换，各预测误差加法运算部针对画面内预测时的预测图像的生成，将逆量化以及逆频率变换后的数据与预测图像进行加法运算后输出到解块部。
参照图像读出部1309从SDRAM1304读出参照图像，并向生成画面间预测时的预测图像的预测图像生成部13075提供参照图像数据。再生图像读出部1310从SDRAM1304按照显示顺序读出解码图像。控制部1311进行全体动作的控制和编码参数的共享。
本解码装置与动态图像编码装置相同，具有多个MB并行处理部和多个MB行并行处理部，如图7所示的流水线那样，为了使它们进行并行处理，最多错开基本时隙的一半的期间来并行地进行处理，由此能够进行低功耗下的解码。在本例子中由于基本时隙的期间为四个时隙，因此MB并行处理部的逆量化逆频率变换部以及预测误差加法运算部分别成为与图7一样最大将时间错开两个时隙的期间的处理。
图14对于帧内的处理，表示了在通过图13的结构并行处理两个MB行时的流水线的例子。在该例子中，与图所示的情况相同，第一MB行并行处理部1307处理偶数号码的MB行，第二MB行处理部1308处理奇数号码的MB行，第一MB并行处理部13073处理MB行中包含的MB中的偶数号码的MB，第二MB并行处理部13074处理奇数号码的MB。由于与图7相同，因此省略了关于MB行的MB号码的计数、时间轴、时隙、基本时隙的定义的说明。
在解码装置中，与编码装置相反，解码信息读出部13071从SDRAM1304读出通过第一解码部1305、第二解码部1306存储的解码信息。在本例子中，针对各MB行并行处理部设置一个解码信息读出部，由于对每个MB行具有一个电路，因此与编码装置中的细搜索部和IE部相同，成为在两个时隙的期间结束处理的电路结构。例如，在第一MB行并行处理部1307中设置了一个解码信息读出部13071，因此在解码信息读出部13071中与编码装置相同地在两个时隙的期间处理MB行的各MB。在为第二MB行并行处理部1308时也同样设置了一个解码信息读出部，因此同样地进行处理。
在各个MB并行处理部中各构成了一个MB并行处理部的逆量化逆频率变换部和一个预测误差加法运算部。在图14所示的例子中，第一MB行并行处理部1307具有处理偶数MB行的偶数号码MB的第一MB并行处理部13073、处理该奇数号码MB的第二MB并行处理部13074。关于第二MB行并行处理部1308也同样具有处理奇数MB行的偶数号码MB的第一MB并行处理部13083、处理该奇数号码MB的第二MB并行处理部13084。与编码装置同样地，为了使它们并行进行处理，最多错开基本时隙的一半的期间来并行进行处理。关于该处理，在本例子中基本时隙的期间为四个时隙，因此使MB并行处理部的逆量化逆频率变换部、预测误差加法运算部分别为将时间最大错开两个时隙的期间的处理。
各逆量化逆频率变换部针对从编码信息读出部取得的编码信息执行逆量化以及逆频率变换。各预测误差加法运算部将逆量化以及逆频率变换后的数据与预测图像进行加法运算后输入到解块部。各预测图像生成部根据从编码信息读出部13071取得的编码信息和从参照图像读出部1309接收到的参照图像生成预测图像，并将其输出给各MB并行处理部的预测误差换算部。
然后，解码的情况也与编码的情况相同，参照图像读出部1309进行参照图像的预读。再生图像读出部1310按照显示顺序从SDRAM读出生成的解码图像，并与显示侧的同步相匹配地进行输出。在本例子中，在包含0MB的行和包含nMB的行中，作为一个例子，在包含0MB的行的3MB的处理结束后开始进行nMB的处理。
另外，如图11、图12所示，根据所需要的流水线的并行度(处理模式)来使并行处理部的一部分进行动作，由此在多个并行处理中也能够实现低功耗化。另外，在本解码装置中，与动态图像编码装置相同，在流的比特率、分辨率、帧率已知时，能够根据用户的设定来变更MB并行处理部、MB行并行处理部、解码部的并行度(处理模式)。
符号的说明
1000：动态图像编码装置
101：原图像写入部
102：原图像读出部
103：搜索存储器读出部
104：粗搜索部
105、106：MB行并行处理部
107：SDRAM
108：SDRAM接口
109、110：编码部
111：流输出部
112：控制部
2000：动态图像解码装置
1301：流输入部
1302：流解析部
1303：SDRAM接口
1304：SDRAM
1305：第一解码部
1306：第二解码部
1307、1308：行并行处理部
13071：解码信息读出部
13072：解块部
13073、13074：MB并行处理部
13075：预测图像生成部
1309：参照图像读出部
1310：再生图像读出部
1311：控制部。

Claims (16)

1.一种动态图像编码装置，其将图像分割为MB来进行编码，该动态图像编码装置的特征在于，具备：
MB并行处理部，其针对每个所述MB执行用于对所述图像进行编码的预处理，并将作为该处理结果的MB信息按照所述MB的处理顺序写入存储部中；以及
编码部，其按照光栅顺序读出在所述存储部中存储的所述MB信息来对所述MB进行编码。
2.根据权利要求1所述的动态图像编码装置，其特征在于，
具有MB行并行处理部，其将在水平方向上排列的所述MB构成为MB行，对每个所述MB行执行所述预处理，并且该MB行并行处理部具有多个所述MB并行处理部，
所述MB行并行处理部具有多个所述MB并行处理部，
能够切换所述MB行并行处理部具有的一个或多个所述MB并行处理部执行的模式和多个MB行并行处理部具有的一个或多个MB并行处理部执行的模式。
3.根据权利要求2所述的动态图像编码装置，其特征在于，
具备求出所述MB的移动量以及移动方向的粗搜索部，
所述粗搜索部向具有所述MB并行处理部的MB行并行处理部输出在根据并联连接所述MB并行处理部的数量而分割后的处理时间中执行的处理结果。
4.根据权利要求3所述的动态图像编码装置，其特征在于，
所述粗搜索部对由所述MB行并行处理部执行预处理的所述MB行中包含的所述MB和由其他的所述MB行并行处理部执行预处理的所述MB行中包含的所述MB交互地执行编码。
5.根据权利要求1所述的动态图像编码装置，其特征在于，
所述编码部具有按照光栅顺序读出所述图像中包含的所述MB来进行编码的处理部，所述处理部并行处理不同的图像。
6.根据权利要求2所述的动态图像编码装置，其特征在于，
所述粗搜索部根据将所述MB行并行处理部或所述MB并行处理部并联连接的数量，切换第一处理模式、第二处理模式和第三处理模式来执行处理，第一处理模式是所述图像的总像素数为n像素，表示I图像或P图像的周期的M值为3，帧率为p的处理模式，所述第二处理模式是所述总像素数为n像素，所述M值为3，帧率为2p的处理模式，所述第三处理模式为所述总像素数为4n像素，所述M值为1，帧率为p的处理模式，
所述一个MB行并行处理部以及所述一个MB并行处理部通过所述第一处理模式执行所述预处理，
所述一个MB行并行处理部以及所述多个MB并行处理部通过所述第二处理模式执行所述预处理，
所述多个MB行并行处理部以及所述多个MB并行处理部通过所述第三处理模式执行所述预处理。
7.根据权利要求2所述的动态图像编码装置，其特征在于，
所述粗搜索部根据将所述MB行并行处理部或所述MB并行处理部并联连接的数量，切换第一处理模式、第二处理模式和第三处理模式来执行处理，第一处理模式是所述图像的总像素数为n像素，表示I图像或P图像的周期的M值为3，帧率为p的处理模式，所述第二处理模式是所述总像素数为n像素，所述M值为3，帧率为2p的处理模式，所述第三处理模式为所述总像素数为n像素，所述M值为1，帧率为4p的处理模式，
所述一个MB行并行处理部以及所述一个MB并行处理部通过所述第一处理模式执行所述预处理，
所述一个MB行并行处理部以及所述多个MB并行处理部通过所述第二处理模式执行所述预处理，
所述多个MB行并行处理部以及所述多个MB并行处理部通过所述第三处理模式执行所述预处理。
8.根据权利要求1所述的动态图像编码装置，其特征在于，
各个所述MB行并行处理部对于所述MB行中包含的所述MB，使CBP或量化系数有效，并通过预先决定的量化系数对从所述有效的所述MB到所述MB行的末端的所述MB为止的MB进行编码，对于通过所述量化系数编码后的MB行的下一个所述MB行的先头的所述MB，在CBP为无效时，通过所述预先决定的量化系数进行编码，
其中，所述CBP为编码块模式。
9.根据权利要求1所述的动态图像编码装置，其特征在于，
各个所述MB行并行处理部对于所述MB行的末端的所述MB，使CBP或量化系数有效，通过预先决定的量化系数对所述末端的MB进行编码，对于通过所述量化系数编码后的MB行的下一个所述MB行的先头的所述MB，在CBP为无效时，通过所述预先决定的量化系数进行编码。
10.根据权利要求2所述的动态图像编码装置，其特征在于，
所述MB并行处理部具有：
预测误差生成部，其生成基于所述MB的画面内的预测误差或基于所述MB的画面间的预测误差；
频率变换量化部，其将针对生成的预测误差进行频率变换后的预测误差进行量化；以及
编码信息生成部，其生成用于对量化后的所述MB进行编码的编码信息，
所述MB行并行处理部具有：
IE部，其决定画面内编码模式或画面间编码模式；
编码信息写入部，其按照编码顺序向所述存储部写入针对每个所述MB生成的编码信息；
细搜索部，在判定为画面内编码模式时，其对于所述粗搜索部求出的MB移动量以及移动方向求出更详细的移动量以及移动方向；以及
解块部，其针对解码图像应用解块过滤，
所述MB行并行处理部或所述MB并行处理部将与进行并行处理的数量对应的期间错开作为所述MB行的所述MB的处理时间的时隙来进行并行处理。
11.根据权利要求10所述的动态图像编码装置，其特征在于，
所述IE部判定进行处理的画像是通过画面内编码模式和画面间编码模式中的哪个编码模式来进行处理，在判定为画面内编码模式时，不执行求出比所述粗搜索部求出的所述MB的移动量以及移动方向更详细的移动量以及移动方向的细搜索部。
12.一种动态图像解码装置，其针对每个MB对编码后的图像进行解码，该动态图像解码装置的特征在于，具备：
解码部，其按照光栅顺序对构成所述图像的MB行中包含的所述MB进行解码，并在存储部中存储作为解码后的处理结果的MB信息；
多个解码信息读出部，其按照所述MB的每个处理顺序执行用于对所述图像进行解码的后处理即解码信息读出处理。
13.根据权利要求12所述的动态图像解码装置，其特征在于，
能够切换所述MB行并行处理部具有的一个或多个所述MB并行处理部执行的模式和多个MB行并行处理部具有的一个或多个MB并行处理部执行的模式。
14.根据权利要求12所述的动态图像解码装置，其特征在于，
具备流解析部，其解析在流中包含的所述图像的划分位置，
所述解码部具有多个以图像为单位对所述MB进行解码的处理部，所述处理部对通过解析出的划分位置划分的不同的帧并行地进行处理。
15.根据权利要求12所述的动态图像解码装置，其特征在于，
具备：多个MB并行处理部，其具有逆量化逆频率变换部和预测误差加法运算部，所述逆量化逆频率变换部针对所述MB行中包含的每个所述MB，在对所述图像进行逆量化后进行逆频率变换，所述预测误差加法运算部将预测图像与残差误差相加来生成解码图像；以及
多个MB行并行处理部，其具有所述MB并行处理部、对解码图像进行解块过滤的解块部、以及生成预测图像的预测图像生成部，
所述MB行并行处理部或所述MB并行处理部将与进行并行处理的数量对应的期间错开作为MB行的MB的处理时间的时隙错。
16.一种动态图像编码/解码方法，其将图像分割为MB来进行编码，该动态图像编码/解码方法的特征在于，
包含动态图像编码步骤和动态图像解码步骤，
所述动态图像编码步骤包含：
粗搜索步骤，其求出所述MB的移动量以及移动方向；
多个MB并行处理步骤，其针对构成所述图像的MB行中包含的、求出了移动量以及移动方向的每个所述MB执行用于对所述图像进行编码的预处理，并将作为该处理结果的MB信息按照MB的处理顺序写入存储部；以及
编码步骤，其按照光栅顺序读出在所述存储部中存储的所述MB信息来对所述MB进行编码，
所述动态图像解码步骤包含：
解码步骤，其按照光栅顺序对构成编码后的所述图像的所述MB行中包含的所述MB进行解码，并将作为解码后的处理结果的MB信息存储在存储部中；
多个编码信息读出步骤，其针对每个所述MB执行用于对所述图像进行解码的预处理即编码信息读出处理。
CN201580011234.9A 2014-09-24 2015-08-28 动态图像编码装置、动态图像解码装置以及动态图像编码/解码方法 Active CN106063269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014193391A JP6272194B2 (ja) 2014-09-24 2014-09-24 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法
JP2014-193391 2014-09-24
PCT/JP2015/074454 WO2016047375A1 (ja) 2014-09-24 2015-08-28 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法

Publications (2)

Publication Number Publication Date
CN106063269A true CN106063269A (zh) 2016-10-26
CN106063269B CN106063269B (zh) 2019-11-15

Family

ID=55580904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580011234.9A Active CN106063269B (zh) 2014-09-24 2015-08-28 动态图像编码装置、动态图像解码装置以及动态图像编码/解码方法

Country Status (5)

Country Link
US (1) US10116936B2 (zh)
EP (1) EP3200458B1 (zh)
JP (1) JP6272194B2 (zh)
CN (1) CN106063269B (zh)
WO (1) WO2016047375A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791408A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 一种拍摄预览装置、终端及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200192932A1 (en) * 2018-12-13 2020-06-18 Sap Se On-demand variable feature extraction in database environments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2290985A1 (en) * 2008-06-10 2011-03-02 Panasonic Corporation Image decoding device and image encoding device
CN102754437A (zh) * 2009-10-29 2012-10-24 松下电器产业株式会社 图像编码方法及图像解码方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10163351C1 (de) * 2001-12-14 2003-06-26 Heimann Biometric Systems Gmbh Verfahren und Anordnung zur verzerrungsarmen Aufnahme von an einer Kontaktfläche durch gestörte Totalreflexion entstehenden Intensitätsmustern
US20060187794A1 (en) * 2004-10-14 2006-08-24 Tim Harvey Uses of wave guided miniature holographic system
US7859574B1 (en) * 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
JP4789200B2 (ja) 2006-08-07 2011-10-12 ルネサスエレクトロニクス株式会社 動画符号化と動画復号とのいずれかを実行する機能モジュールおよびそれを含む半導体集積回路
JP5172267B2 (ja) * 2007-10-09 2013-03-27 富士フイルム株式会社 撮像装置
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
JP5007259B2 (ja) 2008-03-27 2012-08-22 ルネサスエレクトロニクス株式会社 画像符号化装置
JP5390794B2 (ja) * 2008-06-05 2014-01-15 キヤノン株式会社 動きベクトル探索装置および動きベクトル探索方法
JP2009284208A (ja) * 2008-05-22 2009-12-03 Renesas Technology Corp 動画像符号化装置及び動画像記録装置
JP5309700B2 (ja) * 2008-06-03 2013-10-09 富士通株式会社 動画像復号装置および符号化装置
JP5241622B2 (ja) * 2008-07-02 2013-07-17 キヤノン株式会社 符号化装置および符号化方法
US20100215104A1 (en) * 2009-02-26 2010-08-26 Akira Osamoto Method and System for Motion Estimation
US9877033B2 (en) * 2009-12-21 2018-01-23 Qualcomm Incorporated Temporal and spatial video block reordering in a decoder to improve cache hits
US9307260B2 (en) * 2010-07-30 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, image decoding method, image coding apparatus, and image coding method
JP2013150215A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US8698922B2 (en) * 2012-02-14 2014-04-15 Omni Vision Technologies, Inc. Black level correction for imaging pixels
US20140003532A1 (en) * 2012-06-29 2014-01-02 Qualcomm Incorporated Wavefront parallel processing for video coding
KR20150057790A (ko) * 2013-11-20 2015-05-28 삼성전자주식회사 웨이브-프런트 어프로치에 기초한 비디오 프레임의 병렬 처리 방법
KR101834237B1 (ko) * 2014-02-12 2018-03-06 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2290985A1 (en) * 2008-06-10 2011-03-02 Panasonic Corporation Image decoding device and image encoding device
CN102754437A (zh) * 2009-10-29 2012-10-24 松下电器产业株式会社 图像编码方法及图像解码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHI CHING CHI, MAURICIO ALVAREZ-MESA，ET.AL.: "Parallel Scalability and Efficiency of HEVC Parallelization Approaches", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
JIKE CHONG，NADATHUR SATISH，ET.AL.: "EFFICIENT PARALLELIZATION OF H.264 DECODING WITH MACRO BLOCK LEVEL SCHEDULING", 《IEEE INTERNATIONAL CONFERENCE ON 1 JULY 2007》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791408A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 一种拍摄预览装置、终端及方法

Also Published As

Publication number Publication date
JP2016066850A (ja) 2016-04-28
EP3200458B1 (en) 2020-02-19
CN106063269B (zh) 2019-11-15
EP3200458A1 (en) 2017-08-02
WO2016047375A1 (ja) 2016-03-31
US10116936B2 (en) 2018-10-30
JP6272194B2 (ja) 2018-01-31
EP3200458A4 (en) 2018-05-23
US20170180730A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN109997361B (zh) 用于视频译码的低复杂度符号预测
JP7098805B2 (ja) ニューラルネットワークを利用したコーデック
CN104737542B (zh) 用于下一代视频的内容自适应熵编码
KR101941955B1 (ko) 재귀적 블록 파티셔닝
EP2324639B1 (en) System and method for decoding using parallel processing
US8416857B2 (en) Parallel or pipelined macroblock processing
TWI520584B (zh) 用信號發送用於一葉層級編碼單元之子集的轉換係數的語法元素
CN104012096A (zh) 执行视频译码的运动向量预测
GB2519514A (en) Method and apparatus for displacement vector component prediction in video coding and decoding
CN103765903B (zh) 图像解码装置、图像编码装置、图像解码方法及图像编码方法
JP2024045200A (ja) 復号器、プログラム及び方法
US20170041606A1 (en) Video encoding device and video encoding method
US20180199058A1 (en) Video encoding and decoding method and device
CN101707716B (zh) 视频编码器和编码方法
KR20110047700A (ko) 복호화 가속화를 위한 엔트로피 부호화 방법과 그 장치 및 엔트로피 복호화 방법과 그 장치
CN106063269A (zh) 动态图像编码装置、动态图像解码装置以及动态图像编码/解码方法
KR100999505B1 (ko) 매크로블록 기반의 데이터 병렬 처리를 수행하는 동영상 인코딩/디코딩 장치
CN102238385A (zh) 编码器和/或解码器中垂直和/或水平高速缓存设备和方法
Tsai et al. Encoder hardware architecture for HEVC
CN102907099A (zh) 适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性运动检索区域的决定方法
JP2009017472A (ja) 画像復号装置および画像復号方法
US20120147972A1 (en) Image decoding apparatus, image decoding method, image encoding apparatus, image encoding method, and program
US8284836B2 (en) Motion compensation method and apparatus to perform parallel processing on macroblocks in a video decoding system
CN112073729B (zh) 模型更新方法、装置、电子设备及计算机可读存储介质
JP4847423B2 (ja) 動画像符号化装置、および、コンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant