CN105409222A - 图像处理装置及方法 - Google Patents

图像处理装置及方法 Download PDF

Info

Publication number
CN105409222A
CN105409222A CN201480039153.5A CN201480039153A CN105409222A CN 105409222 A CN105409222 A CN 105409222A CN 201480039153 A CN201480039153 A CN 201480039153A CN 105409222 A CN105409222 A CN 105409222A
Authority
CN
China
Prior art keywords
image
image processing
information
processing apparatus
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480039153.5A
Other languages
English (en)
Inventor
名云武文
安藤裕司
泉伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105409222A publication Critical patent/CN105409222A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本发明涉及使更高效率的高图像品质处理成为可能的图像处理装置及其方法。除解码图像以外，解码部将CU、PU和TU的分层区块分割信息作为运动向量信息和图像分割信息输出至图像处理部，所述运动向量信息和图像分割信息为包括在解码中所使用的比特流中的编码信息。图像处理部使用分层区块分割信息从自解码部提供的解码图像中指定动态本体区域，所述分层区块分割信息为来自解码部的编码信息，并执行高图像品质处理。本发明可适用于例如对已经解码的解码图像执行高图像品质处理的图像处理装置。

Description

图像处理装置及方法
技术领域
本发明涉及图像处理装置及方法，特定地，涉及使更高效率的高图像品质处理成为可能的图像处理装置及方法。
背景技术
在对通过广播、DVD等传送的比特流进行解码之后，对其执行高图像品质处理，诸如降噪、帧号插补处理(高帧速率处理)或多帧超分辨率处理。对于所述高图像品质处理，对解码图像执行运动检测或动态本体区域识别，所述解码图像为比特流的解码结果。
换言之，动态图像数据一般以比特流形式进行发送并通过解码器解码为图像信息。所述解码器根据指定图像解码方法(诸如MPEG-2、MPEG-4、MPEG-4AVC或HEVC)对动态图像的比特流进行解码以生成图像。然后，通过运动检测器对解码图像执行运动检测，执行动态本体区域检测，并且结果被提供给后一级的高图像品质处理部(参见专利文献1)。
引文列表
专利文献
专利文献：JP3700195B
发明内容
技术问题
这里，虽然各种编码信息实际上通过解码器进行解码，但是在大多数情况下，在解码器的后一级中再次执行运动检测、动态本体区域检测等。
本发明考虑到以上情况，且目的在于使更加高效地执行高图像品质处理成为可能。
解决问题的方法
根据本发明的一个方面，一种图像处理装置包括：图像处理部，被配置为使用在以具有分层结构的区块为单位执行编码中将使用的编码参数对通过以具有分层结构的区块为单位对比特流执行解码处理而生成的图像执行图像处理。
所述编码参数为表示区块大小的参数。
所述编码参数为表示层深的参数。
所述编码参数为split-flag。
所述编码参数为自适应补偿滤波器的参数。
所述编码参数为表示边缘补偿或带状补偿的参数。
所述图像处理部可使用由所述编码参数生成的编码区块大小图来执行图像处理。
所述图像处理部可包括：区域检测部，被配置为通过检测区域边界由所述编码参数生成区域信息；及高图像品质处理部，被配置为基于通过所述区域检测部检测到的区域信息对所述图像执行高图像品质处理。
所述区域检测部可生成区域信息，所述区域信息包括表示动态本体区域或静止区域的信息。
所述区域检测部可使用通过对所述比特流执行解码处理而获得的运动向量信息来生成所述区域信息。
所述图像处理部还可包括区域确定部，被配置为由所述编码参数生成表示遮挡区域或过度变形区域的区域信息。所述高图像品质处理部可基于通过所述区域检测部检测到的区域信息和通过所述区域确定部生成的区域信息对所述图像执行高图像品质处理。
所述高图像品质处理为使用画面内相关性的处理。
所述高图像品质处理为降噪、高帧速率处理或多帧超分辨率处理。
所述图像处理部可包括：区域确定部，被配置为由所述编码参数生成表示遮挡区域或过度变形区域的区域信息；及高图像品质处理部，被配置为基于通过所述区域确定部确定的区域信息对所述图像执行高图像品质处理。
所述图像处理装置还可包括：解码部，被配置为对所述比特流执行解码处理以生成所述图像并输出所述编码参数。所述图像处理部可使用通过所述解码部输出的编码参数对通过所述解码部生成的图像执行图像处理。
所述解码部还可包括：自适应补偿滤波部，被配置为对所述图像执行自适应补偿处理。
根据本发明的一个方面，一种图像处理方法包括以下步骤：通过图像处理装置，使用在以具有分层结构的区块为单位执行编码中将使用的编码参数对通过以具有分层结构的区块为单位对比特流执行解码处理而生成的图像执行图像处理。
根据本发明的一个方面，使用在以具有分层结构的区块为单位执行编码中将使用的编码参数，对通过以具有分层结构的区块为单位对比特流执行解码处理而生成的图像执行图像处理。
此外，上述图像处理装置可为独立装置或构成一个图像解码装置的内部方块。
本发明的有益效果
根据本发明，可对图像进行解码。特定地，可更加高效地执行高图像品质处理。
应当注意，本说明书中所述的效果只是说明性的，本技术的效果并不限于本说明书中所述的效果，且可能有另外效果。
附图说明
图1为方块图，示出了具有运动检测器的图像处理装置的构成实例；
图2为方块图，示出了使用编码信息的另一个图像处理装置的构成实例；
图3为图解，用于说明分层结构；
图4为方块图，示出了解码部的构成实例；
图5为图解，示出了CTU的语法实例；
图6为图解，示出了coding_quadtree的语法实例；
图7为图解，示出了split_cu_flag的语义实例；
图8为图解，用于说明PU大小的解析方法；
图9为图解，用于说明PU大小的解析方法；
图10为图解，示出了part_mode的语义实例；
图11为图解，用于说明TU大小的解析方法；
图12为图解，示出了split_transform_flag的语义实例；
图13为方块图，示出了动态本体区域检测器的构成实例；
图14为图解，示出了区块分割实例和边界候补；
图15为流程图，说明图像处理；
图16为流程图，说明解码处理；
图17为流程图，说明动态本体区域检测处理；
图18为图解，用于说明动态本体区域特色处理；
图19为图解，用于说明动态本体区域特色处理；
图20为图解，用于说明遮挡区域；
图21为图解，用于说明SAO；
图22为方块图，示出了使用编码信息的图像处理装置的另一个构成实例；
图23为方块图，示出了区域分割部的构成实例；
图24为方块图，示出了对象边界检测器的构成实例；
图25为流程图，说明图像处理；
图26为流程图，说明区域分割处理；
图27为图解，用于说明区域分割处理；
图28为图解，用于说明区域分割处理；
图29为流程图，说明对象边界检测处理；
图30为流程图，说明时间轴处理非自适应区域检测处理；
图31为流程图，说明时间轴处理区域确定处理；
图32为图解，用于说明时间轴处理区域确定处理；
图33为图解，用于说明使用时间处理区域图的方法；
图34为方块图，示出了计算机的主要构成实例；
图35为方块图，示出了电视机的示意构成实例；
图36为方块图，示出了移动电话的示意构成实例；
图37为方块图，示出了记录和再现装置的示意构成实例；
图38为方块图，示出了成像装置的示意构成实例；
图39为方块图，示出了录像机的示意构成实例；
图40为方块图，示出了视频处理器的示意构成实例；
图41为方块图，示出了视频处理器的另一个示意构成实例。
具体实施方式
下文中，将说明用于实现本发明的实施例(下文将称为实施例)。应当注意，将以以下顺序进行说明。
1.第一实施例(使用分层区块分割信息的图像处理装置实例)
2.第二实施例(使用SAO参数的图像处理装置实例)
3.第三实施例(计算机)
4.应用实例
5.第四实施例(机组、单元、模块和处理器)
<第一实施例>
【图像处理装置的构成实例】
图1为方块图，示出了具有运动检测器的图像处理装置的构成实例。在图1实例中，图像处理装置1为在对通过广播、DVD等传送的比特流进行解码之后执行高图像品质处理的图像处理装置。
图像处理装置1包括解码部11和图像处理部12。图像处理部12包括运动检测器21、动态本体区域检测器22和动态图像处理器23。
解码部11接收比特流输入，根据指定图像解码方法对输入比特流进行解码，由此生成解码图像。所述图像解码方法包括运动图像专家组(MPEG)-2、MPEG-4、MPEG-4高级视频编码(AVC；下文将简称为AVC)、高效率视频编码(HEVC)等。通过解码部11生成的解码图像被输出至运动检测器21、动态本体区域检测器22和动态图像处理器23中各者。
运动检测器21从自解码部11提供的解码图像中执行运动向量检测。作为运动向量检测方法，有多个算法，诸如区块匹配和光流。在图1实例中对运动向量检测方法没有限制。通过运动检测器21检测到的运动向量被输出至动态本体区域检测器22。
动态本体区域检测器22使用通过运动检测器21检测到的运动向量和来自解码部11的解码图像来执行动态本体区域指定。例如，动态本体区域检测器22在帧号插补处理(高帧速率处理)中识别区域，诸如在图像中运动的球。动态本体区域检测器22将指定动态本体区域的信息提供给动态图像处理器23。
动态图像处理器23执行使用画面内相关性的处理，诸如降噪、帧号插补处理或多帧超分辨率处理，作为高图像品质处理。动态图像处理器23将已经处理成具有高图像品质的图像输出至后一级(未示出)。
应当注意，虽然未示出，但是当图1实例中的运动检测器21、动态本体区域检测器22和动态图像处理器23需要帧缓冲器等以累加过去帧时，所述方块各者被假定为包括帧缓冲器等。
如上所述，在图像处理装置1中，对通过解码部11进行解码的图像执行高图像品质处理。此外，虽然各种编码信息实际上通过解码部11进行解码，但是所述信息未被使用，且在图像处理装置1中，在解码部11的后一级中再次通过运动检测器21来检测运动向量等，这增加了成本。
【另一个图像处理装置的构成实例】
图2为方块图，示出了使用编码信息的另一个图像处理装置的构成实例。在图2实例中，与图1的图像处理装置相同，图像处理装置101为在对通过广播、DVD等传送的比特流进行解码之后执行高图像品质处理的图像处理装置。
在图2实例中，图像处理装置101包括解码部111和图像处理部112。
解码部111为基于例如高效率视频编码(HEVC)标准的解码器，并从外部(未示出)接收根据HEVC进行编码的比特流输入。解码部111根据HEVC标准对输入比特流进行解码。
图1的解码部11只输出解码图像至后一级的图像处理部12。另一方面，除解码图像以外，图2的解码部111输出运动向量信息(所述运动向量信息为包括在解码中所使用的比特流中的编码信息)和作为图像分割信息的分层区块分割信息(诸如编码单元(CU)、预测单元(PU)或变换单元(TU)(下文也将称为四叉树信息))至图像处理部112。在解码部111中，包括在解码中所使用的比特流中的编码信息换言之为当以具有分层结构的区块为单位进行编码时使用的编码信息(参数)。
分层区块分割信息为表示区块大小和表示层深的参数。具体地，分层区块分割信息为split_flag，下文将进行说明。这里，将参考图3说明CU、PU和TU。
在AVC方案中，定义基于宏区块和子宏区块的分层结构。然而，对于大图像帧，诸如作为下一代编码方案目标的超高清晰度(UHD)(4000×2000像素)，16×16像素的宏区块不是最佳的。
另一方面，在HEVC中，定义编码单元(CU)，如图3所示。当AVC的分层结构被称为区块编码结构时，HEVC的分层结构被称为四叉树编码结构。
CU也被称为编码树区块(CTB)，并充当承担与在AVC方案中的宏区块相同作用的传真装置的图像的局部区域。后者被固定为16×16像素大小，而前者未被固定为某个大小，但在每个序列中在图像压缩信息中进行指定。
例如，CU的最大编码单元(LCU)和最小编码单元(SCU)在包括在将输出的编码数据中的序列参数集(SPS)中进行指定。
当在每个LCU不小于SCU的范围内设定split_flag＝1时，编码单元可被分成具有更小尺寸的多个CU，且可以知道所述单元可被分成多少尺寸。在图3实例中，LCU的大小为128，且最大可缩放深度为5。当split_flag的值为1时，2N×2N大小的CU被分成具有N×N大小的多个CU，充当更低一级的层。
此外，CU被分成多个预测单元(PU)，所述预测单元(PU)为充当帧内或帧间预测处理单元的区域(传真装置的图像的局部区域)。PU被分成多个变换单元(TU)，所述变换单元(TU)为充当正交变换处理单元的区域(传真装置的图像的局部区域)。目前，在HEVC方案中，除4×4和8×8以外，可使用16×16和32×32的正交变换。换言之，CU以区块为单位进行分层分割，TU根据CU进行分层分割。
在定义CU并以CU为单位执行各种处理的编码方案中，如在HEVC方案中，可以认为，AVC方案的宏区块对应于LCU，且区块(子区块)对应于CU。此外，可以认为，AVC方案的运动补偿区块对应于PU。这里，因为CU具有分层结构，所以最顶层的LCU的大小通常被设定为大于AVC方案的宏区块，例如，诸如128×128像素。
因此，下文中，LCU被假定为包括在AVC方案中的宏区块，且CU被假定为包括在AVC方案中的区块(子区块)。换言之，在以下说明中使用的“区块”表示包括在图像中的任意局部区域，且例如其大小、形状和特性没有限制。换言之，“区块”包括任意区域(处理单元)，诸如TU、PU、SCU、CU、LCU、子区块、宏区块或片层。当然，“区块”也包括其他局部区域(处理单元)。当需要限制大小、处理单元等时，将会进行适当地说明。
此外，在本说明书中，编码树单元(CTU)被假定为包括LCU(具有最大值的CU)的编码树区块(CTB)及当利用其LCU基(等级)来执行处理时使用的参数的单元。此外，构成CTU的编码单元(CU)被假定为包括编码区块(CB)及当利用其CU基(等级)来执行处理时使用的参数的单元。
回到图2，图像处理部112指定动态本体区域并使用来自解码部111的编码图像对来自解码部111的解码图像执行高图像品质处理。图像处理部112包括运动向量转换器121、动态本体区域检测器122和动态图像处理器123。应当注意，虽然图中未示出，但是当图2实例中的动态本体区域检测器122和动态图像处理器123需要帧缓冲器等以累加过去帧时，所述方块各者被假定为包括帧缓冲器等。
运动向量转换器121基于来自解码部111的运动向量信息沿编码顺序至显示顺序方向等执行归一化，执行信号处理，由此将所述信息转换为运动向量，所述运动向量可用于在后一级中的相应部。运动向量转换器121将经转换的运动向量提供给动态本体区域检测器122和动态图像处理器123。
来自解码部111的解码图像被输入至动态本体区域检测器122和动态图像处理器123。此外，来自解码部111的图像分割信息(分层区块分割信息)被输入至动态本体区域检测器122。
动态本体区域检测器122使用来自解码部111的编码信息(即，分层区块分割信息、运动向量及解码图像的信息)来执行动态本体区域指定。
对于一般在HEVC编码时选定的CU大小或TU大小，当图像的特征量为均匀时，可能选择大区块，且在图像的特征不均匀的点(诸如对象边界部分)中可能选择小区块大小。
动态本体区域检测器122使用HEVC码流的以上属性来执行区域判定。动态本体区域检测器122使用作为分层区块分割信息而获得的CU大小的信息来创建区块大小图，所述区块大小图在图像中示出了分割位置。
动态本体区域检测器122基于所创建的区块大小图的信息来指定以固定大小或更小尺寸分割的区块位置，将所述区块与相邻小尺寸区块联系起来，由此生成对象边界位置信息。然后，动态本体区域检测器122基于所生成的对象边界位置信息将剩余区块进行整合，从而以对象(单个对象)为单位执行标记，由此以对象为单位生成区域信息。
应当注意，当需要更加详细且精确的分层区块分割信息时，解码图像的信息可与运动向量信息进行组合以提高分割精度。
此外，虽然上文基于CU大小已经进行说明，但是可甚至使用TU大小的信息来执行相同分割。此外，通过使用CU大小和TU大小的信息，可实现检测精度提高。
此外，因为PU大小基于图像的运动信息进行分割，如上参考图3所述，所以不同运动的区的边界可通过查看PU大小来估计。为此，通过使用PU大小执行相同图像分割，图像可根据运动均匀性进行分割，因此，对于每个动态本体和非运动(静止)对象可执行区域分割。换言之，在PU大小的情况下，指定动态本体区域，并生成动态本体区域的信息。
动态本体区域检测器122执行动态本体区域指定，并使用上述CU、TU或PU大小，利用帧的单一或组合分割信息将指定动态本体区域的信息提供给动态图像处理器123。
动态图像处理器123基于来自动态本体区域检测器122的动态实体区域的信息和来自运动向量转换器121的运动向量使用画面内相关性对来自解码部111的解码图像执行高图像品质处理，诸如降噪、帧号插补处理或多帧超分辨率处理。动态图像处理器123输出高品质图像至外部，所述高品质图像为高图像品质处理的结果。
【解码部的构成实例】
图4为方块图，示出了解码部111的构成实例。
图4所示的解码部111具有累加缓冲器141、无损解码部142、反量化部143、反正交变换部144、计算部145、去区块滤波器146、自适应补偿滤波器147和画面重排缓冲器148。此外，解码部111具有帧存储器150、选择部151、帧内预测部152、运动补偿部153和预测图像选择部154。
累加缓冲器141还充当接收部，所述接收部接收所发送的编码数据。累加缓冲器141接收和累加所发送的编码数据，并在预定时间将编码数据提供给无损解码部142。解码所需的信息(诸如四叉树信息、预测模式信息、运动向量信息、宏区块信息和SAO参数)已被添加至此编码数据。
无损解码部142在与编码方案对应的解码方案中对自累加缓冲器141提供且在编码侧(未示出)进行编码的信息进行解码。无损解码部142将由解码获得的差分图像的量化系数数据提供给反量化部143。
此外，无损解码部142判定帧内预测模式已经选定为最佳预测模式或帧间预测模式已经选定为最佳预测模式，并将关于最佳预测模式的信息提供给帧内预测部152和运动补偿部153中一者，所述信息对应于已经判定为选定的模式。换言之，例如，当帧内预测模式被选定为编码侧上最佳预测模式时，关于最佳预测模式的信息被提供给帧内预测部152。此外，例如，当帧间预测模式被选定为编码侧上最佳预测模式时，关于最佳预测模式的信息与运动向量信息一起被提供给运动补偿部153。
此外，无损解码部142将后一级的高图像品质处理所需的信息提供给图2的图像处理部112，例如，上述四叉树信息(分层区块分割信息)、预测模式信息、运动向量信息、宏区块信息及在采样点自适应补偿(SAO；自适应补偿滤波器)中使用的参数(下文将称为SAO参数)等。
反量化部143在与编码侧的量化部的量化方案对应的方案中对通过无损解码部142由解码获得的量化系数数据进行反量化。应当注意，此反量化部143为与编码侧的反量化部相同的处理部。
反量化部143将所获得的系数数据提供给反正交变换部144。
必要时，反正交变换部144在与编码侧的正交变换部的正交变换方案对应的方案中对自反量化部143提供的正交变换系数执行反正交变换。应当注意，此反正交变换部144为与编码侧的反正交变换部相同的处理部。
差分图像的图像数据通过此反正交变换处理进行恢复。经恢复的差分图像的图像数据对应于在图像编码装置中进行正交变换之前的差分图像的图像数据。由编码侧的反正交变换处理获得的此经恢复的差分图像的图像数据在下文中也将称为解码残留数据。反正交变换部144将此解码残留数据提供给计算部145。此外，计算部145接收经由预测图像选择部154自帧内预测部152或运动补偿部153提供的预测图像的图像数据。
计算部145使用解码残留数据及预测图像的图像数据来获得通过将差分图像和预测图像相加而获得的重构图像的图像数据。此重构图像对应于在通过编码侧减去预测图像之前的输入图像。计算部145将此重构图像提供给去区块滤波器146。
去区块滤波器146通过对所提供的重构图像执行去区块滤波处理来消除区块失真。去区块滤波器146将已经进行滤波处理的图像提供给自适应补偿滤波器147。
自适应补偿滤波器147对来自去区块滤波器146的去区块滤波处理结果(解码图像已经消除区块失真)执行自适应补偿滤波(采样点自适应补偿或SAO)处理，用于主要消除振铃。
自适应补偿滤波器147自无损解码部142接收每个最大编码单元(LCU)的补偿值及关于自适应补偿滤波处理类型(所述处理为边缘补偿模式或带状补偿模式)的信息，所述最大编码单元(LCU)为最大编码单元。自适应补偿滤波器147使用所接收的补偿值对已经进行自适应去区块滤波处理的图像执行所接收类型的自适应补偿滤波处理。然后，自适应补偿滤波器147将已经进行自适应补偿滤波处理的图像(下文称为解码图像)提供给画面重排缓冲器148和帧存储器150。
应当注意，自计算部145输出的解码图像可被提供给画面重排缓冲器148和帧存储器150，而不通过去区块滤波器146和自适应补偿滤波器147。即，通过去区块滤波器146的滤波处理的一部分或全部可以省略。此外，自适应环路滤波器可设置在自适应补偿滤波器147的后一级中。
自适应补偿滤波器147将解码图像(或重构图像)提供给画面重排缓冲器148和帧存储器150，所述解码图像为滤波处理的结果。
画面重排缓冲器148执行解码图像的帧序重排。换言之，画面重排缓冲器148以原始显示顺序对通过编码侧以编码顺序重排的相应帧的图像进行重排。即，画面重排缓冲器148以此顺序存储以编码顺序提供的相应帧的解码图像的图像数据，读取以编码顺序存储的相应帧的解码图像的图像数据，并将图像数据输出至图2的图像处理部112。
帧存储器150存储所提供的解码图像，并在预定时间或基于外部请求(诸如来自帧内预测部152、运动补偿部153等)经由选择部151将所存储的解码图像作为参考图像提供给帧内预测部152和运动补偿部153。
帧内预测部152适当地接收自无损解码部142提供的帧内预测模式信息等。帧内预测部152在由编码侧的帧内预测部使用的帧内预测模式(最佳帧内预测模式)下执行帧内预测以生成预测图像。此时，帧内预测部152使用经由选择部151自帧存储器150提供的重构图像的图像数据来执行帧内预测。换言之，帧内预测部152使用此重构图像作为参考图像(外围像素)。帧内预测部152将所生成的预测图像提供给预测图像选择部154。
运动补偿部153适当地接收自无损解码部142提供的最佳预测模式信息、运动向量信息等。运动补偿部153在由自无损解码部142获取的最佳预测模式信息表示的帧间预测模式(最佳帧间预测模式)下使用自帧存储器150获取的解码图像(参考图像)来执行帧间预测，以生成预测图像。
预测图像选择部154将自帧内预测部152提供的预测图像或自运动补偿部153提供的预测图像提供给计算部145。然后，计算部145自反正交变换部144获得通过将预测图像和解码残留数据(差分图像信息)相加而获得的重构图像。
【分层区块分割信息实例】
接着，将参考图5至图7说明作为分层区块分割信息(四叉树信息)的CU大小的解析方法。图5为图解，示出了编码树单元(CTU)的语法实例。应当注意，图中每行左端处示出以下语法的编号为为了说明而给出的行号。
在图5第6行中，为CTU的语法设置了coding_quadtree。
图6为图解，示出了在图5第6行中的coding_quadtree的语法实例。
在图6第3行中，示出了split_cu_flag。这里，当split_cu_flag＝1时，它表示此CU被分成更小尺寸的多个CU。
如图6第8行至第18行所示，根据分割情况，递归调用coding_quadtree。在第19行中，设置coding_unit。
CU大小可通过参考包括在如上所述设定的CTU的coding_quadtree中的split_cu_flag进行解析。
图7为图解，示出了在图6第3行中的split_cu_flag的语义实例。
split_cu_flag[x0][y0]表示cu是否已经被垂直和水平分成其一半大小的多个cu。x0和y0的数组索引表示被认为与在图像左上侧的亮度像素有关在区块左上侧的亮度像素的位置(x0，y0)。
当split_cu_flag[x0][y0]不存在时，以下适用：
-如果log2CbSize大于MinCbLog2SizeY，那么split_cu_flag[x0][y0]的值被推断为等于1。
-如果情况不是这样且log2CbSize等于MinCbLog2SizeY，那么split_cu_flag[x0][y0]的值被推断为等于0。
CtDepth[x][y]的数组表示覆盖位置(x，y)的亮度区块的编码树的深度。当split_cu_flag[x0][y0]等于0时，CtDepth[x][y]被认为等于cqtDepth，其中x＝x0..x0+nCbS-1和y＝y0..y0+nCbS1。
此外，将参考图8至图10说明作为分层区块分割信息的PU大小的解析方法。图8和图9为图解，示出了在上述图6第19行中的CU(coding_unit)的语法实例。
在图8第13行中，设定part_mode。此外，在图9第67行中，设定transform_tree。
这里，PU大小可通过参考接下来将说明包括在如上所述设定的CTU的coding_quadtree中的coding_unit的part_mode进行解析。
图10为图解，示出了图8第13行的part_mode的语义实例。
part_mode的语义表示当前CU的分割模式。part_mode的语义取决于CuPredMode[x0][y0]。PartMode和IntraSplitFlag各自由图中下部的表中定义的part_mode的值得出。
part_mode的值被限制如下：
.如果CuPredMode[x0][y0]等于Mode_INTRA，那么part_mode等于0或1。
.如果情况不是这样且CuPredMode[x0][y0]等于Mode_IINTER，那么以下适用：
.如果log2CbSize大于MinCbLog2SizeY且amp_enabled_flag等于1，那么part_mode包括在自0至2的范围或自4至7的范围内。
.如果情况不是这样且log2CbSize大于MinCbLog2SizeY且amp_enabled_flag等于1或log2CbSize等于3，那么part_mode包括在自0至2的范围内。
.如果情况不是这样且log2CbSize大于3且等于或小于MinCbLog2SizeY，那么part_mode的值包括在自0至3的范围内。
当part_mode不存在时，PartMode和IntraSplitFlag各自由以下得出：
.PartMode被设定为PART_2N×2N。
.IntraSplitFlag被设定为0。
图10所示的表示出了以下。换言之，据显示，当CuPredMode[x0][y0]为Mode_INTRA，part_mode为0以及IntraSplitFlag为0时，PartMode为PART2N×2N。据显示，当CuPredMode[x0][y0]为Mode_INTRA，part_mode为1以及IntraSplitFlag为1时，PartMode为PARTN×N。
据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为0以及IntraSplitFlag为0时，PartMode为PART2N×2N。据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为1以及IntraSplitFlag为1时，PartMode为PARTN×N。
据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为2以及IntraSplitFlag为0时，PartMode为PARTN×2N。据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为3以及IntraSplitFlag为0时，PartMode为PARTN×N。
据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为4以及IntraSplitFlag为0时，PartMode为PART2N×nU。据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为5以及IntraSplitFlag为0时，PartMode为PART2N×nD。
据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为6以及IntraSplitFlag为0时，PartMode为PARTnL×2N。据显示，当CuPredMode[x0][y0]为Mode_INTER，part_mode为7以及IntraSplitFlag为0时，PartMode为PARTnR×2N。
此外，将参考图11和图12说明作为分层区块分割信息的TU大小的解析方法。图11为图解，示出了在上述图9第67行中的transform_tree的语法实例。
在图11第3行中，设定split_transform_flag。如图11第13行至第16行所示，transform_tree被配置为递归调用。
这里，TU大小可通过参考接下来将说明包括在如上所述设定的CTU的coding_quadtree中的coding_unit的transform_tree的split_transform_flag进行解析。
图12为图解，示出了在图11第3行中的split_transform_flag的语义实例。
split_transform_flag[x0][y0][trafoDepth]表示为了变换编码，一个区块是否已经被垂直和水平分成其一半大小的4个区块。x0和y0的数组索引表示被认为与在图像左上侧的亮度像素有关在区块左上侧的亮度像素的位置(x0，y0)。trafoDepth的数组索引表示为了变换编码分成多个区块的编码区块的当前分割等级。trafoDepth等于0，因为它为与编码区块相一致的区块。
interSpritFlag各自由以下得出：
-如果maxtransform_hierarchy_depth_inter等于0，CuPredMode[x0][y0]为MODE_INTER，PartMode不是PART_2N×2N以及trafoDepth等于0，那么interSplitFlag被设定为等于1。
-否则，interSplitFlag被设定为等于0。
当split_transform_flag[x0][y0][trafoDepth]不存在时，得出如下：
-如果以下条件中一个或一个以上条件为真，那么split_transform_flag[x0][y0][trafoDepth]被推断为等于1。
-Log2TrafoSize大于Log2MaxTrafoSize。
-IntraSplitFlag等于1且trafoDepth等于0。
-IntraSplitFlag等于1。
-否则，split_transform_flag[x0][y0][trafoDepth]的值等于0。
【动态本体区域检测器的构成实例】
图13为方块图，示出了图2的动态本体区域检测器的构成实例。图13实例示出了PU分割信息作为分层区块分割信息被输入。
动态本体区域检测器122被配置为包括边界区块判定部181、标记部182和动态本体静止判定部183。
边界区块判定部181接收来自解码部111的输入解码图像及作为分层区块分割信息的PU分割信息。
边界区块判定部181使用PU分割信息来创建区块大小图，并参考所创建的图来判定边界区块。换言之，边界区块判定部181设定边界初始值，判定对象边界的收敛性，以及更新对象边界信息，作为边界区块的判定。此外，边界区块判定部181基于对象边界信息将在边界上或接近于边界的区块指定为边界(边缘)区块。
边界区块判定部181将解码图像、所创建的区块大小图及指定边界区块的信息提供给标记部182。
标记部182基于通过边界区块判定部181指定的边界区块将图像中彼此接近的区块进行整合，以对象为单位执行标记，以及以对象为单位将区块分成多个区域。标记部182将解码图像及关于每个对象的区域的信息输出至动态本体静止判定部183。
此外，动态本体静止判定部183接收来自运动向量转换器121的运动向量信息的输入。
动态本体静止判定部183计算每个对象的区域的运动向量平均值，并根据所计算的运动向量平均值等于或大于阈值来判定所述区域为动态本体区域或静止区域。通过动态本体静止判定部183的判定结果被作为动态本体区域信息提供给动态图像处理器123。
【对象边界线检测】
如上所述，在动态本体区域检测器122中，应用以SNAKE为代表的区域分割方法，然后以对象为单位执行标记。这里，将说明一种方法，用于根据基于分层区块分割信息生成的区块大小图的信息来检测对象边界线。
首先，自在区块分割中分割的每个区块的边缘和对角线选择边界线。在图14A所示的区块分割中，边界线候补为图14B所示的一组最小矩形。
这里，根据预确定能量(成本)计算方法来计算成本，并获得最小能量的边界线以在后续处理中使用。
例如，如下式(1)所示，假定通过设定边缘边界的能量并获得最小能量的边界条件来获得边缘边界。
【数学公式1】
E＝Eint+Eext···(1)
Eint被定义为内部能量，一般地，边界线的长度等被应用于Eint。例如，边界线的距离总和等被用作Eint。
此外，Eext被定义为外部能量，例如，大能量被分配给接近于或经过大区块的边界线，小能量被分配给接近于小区块的边界线。
如上所述，通过定义能量并获得最小能量的边界线，可计算经过小区块且不沿着无用路径行进的边界线。
应当注意，通过还使用解码图像的信息，分割边界可以提高至像素精度。
【图像处理】
接着，将参考图15流程图说明通过图2的图像处理装置101的图像处理。
解码部111接收通过外部装置(未示出)根据HEVC标准进行编码的比特流的输入。在步骤S101中，解码部111根据HEVC标准对输入比特流进行解码。下文将参考图16说明此解码处理。解码部111将在步骤S101中已经解码的解码图像输出至动态本体区域检测器122和动态图像处理器123。
此外，解码部111输出运动向量信息至运动向量转换器121，所述运动向量信息为包括在解码中所使用的比特流中的编码信息。解码部111输出PU的分层区块分割信息至动态本体区域检测器122，所述分层区块分割信息为包括在解码中所使用的比特流中的编码信息。
在步骤S102中，运动向量转换器121基于来自解码部111的运动向量信息沿编码顺序至显示顺序方向等执行归一化，执行信号处理，由此将所述信息转换为运动向量，所述运动向量可用于在后一级中的相应部。运动向量转换器121将经转换的运动向量提供给动态本体区域检测器122和动态图像处理器123。
在步骤S103中，动态本体区域检测器122使用分层区块分割信息、运动向量、解码图像的信息等来执行动态本体区域指定处理。下文将参考图17说明此动态本体区域检测处理。
在步骤S103中指定动态本体区域，且指定动态本体区域的信息被提供给动态图像处理器123。
在步骤S104中，动态图像处理器123基于来自动态本体区域检测器122的动态实体区域的信息及来自运动向量转换器121的运动向量对来自解码部111的解码图像执行高图像品质处理，诸如帧号插补处理(高帧速率处理)或降噪。动态图像处理器123输出高品质图像至外部，所述高品质图像为高图像品质处理的结果。
【解码处理流程】
接着，将参考图16说明在图15的步骤S101中由解码部111执行的解码处理流程实例。
当解码处理开始时，在步骤S121中，累加缓冲器141对所发送的比特流(编码数据)进行累加。在步骤S122中，无损解码部142对自累加缓冲器141提供的比特流(编码数据)进行解码。换言之，对在编码侧进行编码的图像数据(诸如I-图像、P-图像、B-图像等)进行解码。
此时，还对除包括在比特流中的图像数据以外的各种信息(诸如报头信息)进行解码。然后，无损解码部142将在各种解码信息中的必要信息提供给各对应部。此外，无损解码部142将在各种解码信息中后一级的高图像品质处理所需的信息(例如，上述分层区块分割信息、预测模式信息、运动向量信息、宏区块信息、SAO参数等)提供给图2的图像处理部112。
在步骤S123中，反量化部143对由步骤S122的处理获得的量化系数进行反量化。在步骤S124中，反正交变换部144对在步骤S123中进行反量化的系数执行反正交变换。
在步骤S215中，帧内预测部152或运动补偿部153执行预测处理并生成预测图像。换言之，在通过无损解码部142判定为在编码时已经应用的预测模式下执行预测处理。更具体地，例如，当在编码时应用帧内预测时，帧内预测部152在帧内预测模式下生成预测图像，所述帧内预测模式被认为在编码时为最佳。此外，例如，当在编码时应用帧间预测时，运动补偿部153在帧间预测模式下生成预测图像，所述帧间预测模式被认为在编码时为最佳。
在步骤S126中，计算部145将在步骤S125中生成的预测图像与在步骤S124中通过反正交变换获得的差分图像进行相加。因此，获得重构图像的图像数据。
在步骤S127中，去区块滤波器146对由步骤S126的处理获得的重构图像的图像数据执行去区块滤波处理。因此，区块失真等得到消除。在步骤S128中，自适应补偿滤波器147对自去区块滤波器146提供的去区块滤波处理结果执行自适应补偿滤波处理，用于主要消除振铃。此时，使用来自无损解码部142的SAO参数。
在步骤S129中，画面重排缓冲器148对在步骤S128中已经进行自适应补偿滤波处理的重构图像的相应帧执行重排。换言之，在编码时进行重排的帧以原始显示顺序进行重排。
在步骤S130中，画面重排缓冲器148将相应帧的解码图像输出至图2的图像处理部112。
在步骤S131中，帧存储器150存储由步骤S128的处理获得的解码图像、由步骤S127的处理获得的重构图像等的数据。
当步骤S131的处理结束时，解码处理结束，且所述处理返回至图15的处理。
【动态本体区域指定处理】
接着，将参考图17及图18和图19的流程图说明图15的步骤S103的动态本体区域检测处理。
边界区块判定部181接收来自解码部111的解码图像及作为分层区块分割信息的PU分割信息的输入。
在步骤S151中，边界区块判定部181使用PU分割信息来创建区块大小图。例如，如图18A所示，大区块(例如，PU)倾向于分配给具有均匀特征量的区域，诸如天空和山脉，小区块倾向于分配给特征量显著变化的局部区域，诸如山脊。
使用HEVC流的此属性，边界区块判定部181根据PU分割信息来创建区块大小图，所述区块大小图表示位于图像中的哪个位置已经进行分割。因此，可容易识别在空间上彼此接近且因此在PU分割信息中很难识别的区块的状态。
在步骤S152中，边界区块判定部181设定边界初始值。例如，图像帧被设定为边界，如图18B所示。请注意，图18和图19的实例示出了利用粗线设定的边界。
在步骤S153中，边界区块判定部181执行对象边界信息的更新。换言之，作为对象边界信息的更新，边界区块判定部181执行使对象边界收敛的处理以更新对象边界信息。
具体地，边界区块判定部181只改变在步骤S152中设定的边界初始值的一个点(在图18C的左上部由粗线表示)，以计算具有较低能量的边界线。当有多个可变点时，改变能量下降最大的点(边界)。
在步骤S154中，边界区块判定部181判定所述边界是否已经收敛。当仍有边界线候补待改变且在步骤S154中判定所述边界还未收敛时，所述处理返回至步骤S153，且重复所述处理及随后处理。
例如，当如图19的A所示无边界线候补待改变且在步骤S154中判定所述边界已经收敛时，所述处理继续执行步骤S155。
在步骤S155中，边界区块判定部181基于在步骤S153中更新的对象边界信息将存在边界线上或接近于边界线的区块指定为边界区块EB，所述边界线在图19B中由粗线表示。
边界区块判定部181将解码图像、所创建的区块大小图及指定边界区块EB的信息提供给标记部182。
在步骤S156中，标记部182基于通过边界区块判定部181指定的边界区块EB将图像中彼此接近的区块进行整合，并以对象为单位将标签添加至所述区块。换言之，如图19C中由不同类型的阴影线所示，标签被添加至每个对象的区域。标记部182将解码图像及每个对象的区域信息输出至动态本体静止判定部183。
在步骤S157中，动态本体静止判定部183执行动态本体静止判定。换言之，动态本体静止判定部183计算对象的每个区域的运动向量平均值，并根据所计算的运动向量平均值等于或高于阈值来判定所述区域为动态本体区域或静止区域。通过动态本体静止判定部183的判定结果被作为动态本体区域信息提供给动态图像处理器123。
请注意，当有多个对象时，还可通过设定不同初始值并执行收敛算术运算，对所述多个对象进行分割。
因为使用编码信息来生成动态本体区域信息，所述编码信息已经进行解码且设定为在高图像品质处理中将使用，所以可以低成本高效地执行高图像品质处理。此外，可执行区域检测及高图像品质处理以提高精度。
此外，可实现抗压缩噪声的鲁棒性。换言之，一般压缩失真(诸如区块噪声)通常对对象区域判定等有不利影响。为了解决这个问题，通过使用比特流信息(已经进行解码的编码信息)而不直接使用图像信息，压缩失真对图像的不利影响可得到抑制。
请注意，虽然上文已经说明分层区块分割信息和运动向量信息被用作已经进行解码的编码信息的实例，但是还可使用其他参数。接着，将说明宏区块类型和SAO参数被用作例如另一个参数的实例。
<第二实施例>
【概述】
首先，将说明遮挡区域及使用关于SAO的信息的变形对象检测。
有以下几种情况，其中，在图像处理中，诸如帧号插补处理、检测遮挡区域的处理(由于对象运动而出现，如图20所示)、检测过度变形对象的处理等，需要限制参考邻近帧等。
在图像编码中，通常执行相对于未有效使用运动预测的区块使用帧内宏区块的编码。换言之，对于在对象运动之后的背景部分(即，遮挡区域)或过度变形对象，或在场景变化之后，通常立即选择帧内宏区块并以图像内预测进行编码。
因此，通过使用宏区块类型，所述宏区块类型为已经进行解码的编码信息，可检测遮挡区域和过度变形区域。
然而，有以下几种情况，其中在不包括边缘的平坦背景区域而不是遮挡区域和过度变形区域中选择帧内宏区块。当噪声在暗处拍摄期间重叠平坦部分(诸如白墙)时，由于噪声影响，帧内预测被判定为编码效率比帧间预测更有利，由此可使用帧内预测。
如上所述，通过关注帧内宏区块(宏区块的信息)，可检测遮挡区域和过度变形区域；然而，鉴于编码效率，需要排除选定平坦部分。
因此，在本技术中，除宏区块类型的信息以外，所述宏区块类型为已经进行解码的编码信息，通过使用在上述图4所示的自适应补偿滤波器147的SAO中所使用的SAO参数，可检测遮挡区域和过度变形区域。
SAO被用来抑制在解码图像中出现的DC分量误差及在边缘周围的失真，诸如蚊式噪声。有两种SAO，包括带状补偿和边缘补偿。带状补偿被用来校正在解码图像上的DC分量误差，如图21A所示。另一方面，边缘补偿被用来校正在边缘周围出现的蚊式噪声，如图21B所示。
因为蚊式噪声出现在边缘周围，所以在边缘附近大多数选择边缘补偿。相反，因为在平坦部分中很少选择边缘补偿，所以边缘部分和平坦部分可使用SAO模式进行分类，所述SAO模式表示它是边缘补偿模式还是带状补偿模式。
通过使用这些特性来确定宏区块模式和SAO模式两者，可检测遮挡区域和过度变形区域。
换言之，自比特流获取宏区块类型的标志和SAO模式的标志，且可以推断，宏区块类型为帧内且已经选择边缘补偿模式的宏区块为遮挡区域或过度变形区域。
为此，所述区域可能不适合时间轴处理，诸如帧号插补处理(高帧速率处理)。因此，通过使用以上信息，所述区域可被设定为时间轴处理的无处理区域。因此，可防止由时间轴处理引起的图像损坏。
【图像处理装置的构成实例】
图22为方块图，示出了使用编码信息的图像处理装置的另一个构成实例。在图2实例中，图像处理装置201包括解码部111和图像处理部211。
具体地，图像处理装置201与图2的图像处理装置101的相同之处在于它们具有解码部111。另一方面，图像处理装置201与图2的图像处理装置101的不同之处在于图像处理部112被图像处理部211替换。
图像处理部211与图2的图像处理部112的相同之处在于包括运动向量转换器121和动态图像处理器123。图像处理部211与图2的图像处理部112的不同之处在于动态本体区域检测器122被区域分割部221替换。
即，来自解码部111的解码图像被输入至区域分割部221和动态图像处理器123。来自解码部111已经进行解码的编码信息(流数据)被输入至区域分割部221。对于编码信息，例如，举例说明分层区块分割信息、宏区块类型、SAO模式等。来自运动向量转换器121经转换的运动向量被提供给区域分割部221和动态图像处理器123。
区域分割部221使用来自解码部111的编码信息(分层区块分割信息、宏区块类型、SAO模式等)、来自运动向量转换器121的运动向量信息及解码图像的信息来确定时间轴处理区域。区域分割部221将所确定的区域的信息提供给动态图像处理器123。
请注意，当只检测到遮挡区域和过度变形区域时，区域分割部221可具有宏区块类型和SAO模式作为编码信息，且在这种情况下，无需分层区块分割信息和运动向量。
【区域分割部的构成实例】
图23为方块图，示出了图22的区域分割部的详细构成实例。
在图23实例中，区域分割部221被配置为包括对象边界检测器231、图2的动态本体区域检测器122、时间轴处理非自适应区域确定部232和时间轴处理区域确定部233。
来自解码部111的解码图像被输入至对象边界检测器231、动态本体区域检测器122和时间轴处理非自适应区域确定部232。此外，包括在来自解码部111的编码信息中的CU/TU分割信息被输入至对象边界检测器231。包括在来自解码部111的编码信息中的PU分割信息被输入至动态本体区域检测器122。包括在来自解码部111的编码信息中的宏区块类型和SAO模式的信息被提供给时间轴处理非自适应区域确定部232。
对象边界检测器231基于解码图像和CU/TU分割信息来检测对象边界信息。对象边界检测器231将所检测到的对象边界信息提供给时间轴处理区域确定部233。
动态本体区域检测器122被配置为与图2的动态本体区域检测器122基本相同。动态本体区域检测器122基于解码图像、PU分割信息和运动向量信息来检测对象边界，在每个区域分割之后对每个区域执行运动或静止判定，然后检测动态本体区域。通过动态本体区域检测器122检测到的动态本体区域的信息被提供给时间轴处理区域确定部233。
时间轴处理非自适应区域确定部232基于解码图像、宏区块类型和SAO模式来执行区域检测，诸如时间轴处理不适用的遮挡区域或过度变形对象。通过时间轴处理非自适应区域确定部232进行解码的信息被提供给时间轴处理区域确定部233。
时间轴处理区域确定部233基于对象边界信息、动态本体区域和时间轴处理非自适应区域生成与时间轴处理有关的最终区域图，并将所生成的区域图的信息提供给图22的动态图像处理器123。
请注意，图23的实例示出了一起使用宏区块类型、SAO模式和分层区块分割信息。因此，当只使用宏区块类型和SAO模式时，对象边界检测器231和动态本体区域检测器122可从区域分割部221中去除。
【对象边界检测器的构成实例】
图24为方块图，示出了图23的对象边界检测器231的构成实例。图24的实例示出了CU/TU分割信息作为分层区块分割信息被输入。
在图24实例中，对象边界检测器231与图13的动态本体区域检测器122的相同之处在于它们具有边界区块判定181和标记部182。对象边界检测器231与图13的动态本体区域检测器122的不同之处在于动态本体静止判定部183已经去除，且输入至边界区块判定部181的分层区块分割信息为CU/TU分割信息而不是PU分割信息。
即，边界区块判定部181使用CU/TU分割信息来创建区块大小图，并参考所创建的图来判定边界区块。即，边界区块判定部181设定边界初始值，判定对象边界的收敛性，并根据边界区块判定来更新对象边界信息。然后，边界区块判定部181基于对象边界信息将在边界上或接近于边界的区块指定为边界(边缘)区块。
边界区块判定部181将解码图像、所创建的区块大小图及指定边界区块的信息提供给标记部182。
标记部182基于通过边界区块判定部181指定的边界区块将图像中彼此接近的区块进行整合，以对象为单位执行标记，以及以对象为单位将区块分成多个区域。标记部182将解码图像及关于相应对象的区域的信息提供给时间轴处理区域确定部233。
【图像处理】
接着，将参考图25说明通过图22的图像处理装置201的图像处理。
解码部111接收通过外部(未示出)根据HEVC标准进行编码的比特流输入。在步骤S201中，解码部111根据HEVC标准对输入比特流进行解码。由于此解码处理重复，因为它与上文参考图16所述的处理基本相同，所以其说明将省略。解码部111将在步骤S201中进行解码的图像输出至区域分割部221和动态图像处理器123。
此外，解码部111输出运动向量信息至运动向量转换器121，所述运动向量信息为包括在解码中所使用的比特流中的编码信息。解码部111将包括在解码中所使用的比特流中的编码信息(分层区块分割信息、宏区块类型、SAO模式信息等)输出至区域分割部221。
在步骤S202中，运动向量转换器121基于来自解码部111的运动向量信息沿编码顺序至显示顺序方向等执行归一化，执行信号处理，由此将所述信息转换为运动向量，所述运动向量可用于在后一级中的相应部。运动向量转换器121将经转换的运动向量提供给区域分割部221和动态图像处理器123。
在步骤S203中，区域分割部221使用分层区块分割信息、运动向量、解码图像的信息等来执行区域分割处理。下文将参考图26说明此区域分割处理。
通过步骤S203来执行区域分割处理，且分割区域的信息被提供给动态图像处理器123。
在步骤S204中，动态图像处理器123基于来自区域分割部221关于分割区域的信息及来自运动向量转换器121的运动向量对来自解码部111的解码图像执行高图像品质处理，诸如帧号插补处理或降噪。动态图像处理器123输出高品质图像至外部，所述高品质图像为高图像品质处理的结果。
【区域分割处理】
接着，将参考图26及图27和图28的流程图说明图25的步骤S203的区域分割处理。例如，将说明使用如图27所示两个车辆正在并列行驶的动态图像的帧n的信息对帧n+1执行任何高图像品质处理的实例。
来自解码部111的解码图像被输入至对象边界检测器231、动态本体区域检测器122和时间轴处理非自适应区域确定部232。此外，包括在来自解码部111的编码信息中的CU/TU分割信息被输入至对象边界检测器231。包括在来自解码部111的编码信息中的PU分割信息被输入至动态本体区域检测器122。包括在来自解码部111的编码信息中的宏区块类型和SAO模式的信息被提供给时间轴处理非自适应区域确定部232。
在步骤S221中，对象边界检测器231基于解码图像和CU/TU分割信息来检测对象边界信息。下文将参考图29说明检测对象边界的处理。通过步骤S221，使用CU/TU分割信息由帧n+1的解码图像获取对象边界信息。例如，以对象1(标志)、对象2(车辆)和对象3(车辆)为单位获取对象边界信息，如图28A所示。所获取的对象边界信息被提供给时间轴处理区域确定部233。
在步骤S222中，动态本体区域检测器122使用分层区块分割信息、运动向量、解码图像的信息等来执行动态本体区域指定处理。因为此动态本体区域指定处理与上文参考图16所述的处理基本相同，所以其重复说明将省略。
通过步骤S222，使用PU分割信息和运动向量，从帧n+1的解码图像检测具有均匀运动的区域的边界信息。例如，所述图像被分成静止区域和动态本体区域，如图28B所示。通过步骤S222，指定动态本体区域的信息被提供给时间轴处理区域确定部233。
在步骤S223中，时间轴处理非自适应区域确定部232基于宏区块类型和SAO模式的信息从解码图像检测时间轴处理不适用的区域，诸如遮挡区域或过度变形区域。下文将参考图30说明检测时间轴处理非自适应区域的处理。通过步骤S223，在帧N+1中可检测到由于车辆运动而出现的遮挡区域等，如图28C所示。
通过时间轴处理非自适应区域确定部232检测到的遮挡区域或过度变形区域的信息被作为时间轴处理非自适应区域的感觉提供给时间轴处理区域确定部233。
在步骤S224中，时间轴处理区域确定部233基于对象边界信息、动态本体区域的信息及时间轴处理非自适应区域的信息来确定最终时间轴处理区域，并为时间轴处理非自适应区域的确定生成区域图。
由步骤S224生成的区域图的信息被提供给图22的动态图像处理器123。因此，当时间轴处理不适合时，动态图像处理器123可在无处理区域中禁止时间轴处理，从而可防止由时间轴处理引起的图像损坏。
【对象边界检测处理】
接着，将参考图29的流程图说明图26的步骤S221的对象边界检测处理。因为图29的步骤S241至S245与图17的步骤S151至S156基本相同，所以其说明将省略。
因此，在步骤S245中，标签被添加至相应对象的区域，然后已经添加标签的相应对象的区域的信息被提供给时间轴处理区域确定部233。
请注意，当在图29的处理中也有多个对象时，可通过设定不同初始值并执行收敛算术运算，对所述多个对象进行分割。
【时间轴处理非自适应区域检测处理】
接着，将参考图30的流程图说明图26的步骤S223的时间轴处理非自适应区域检测处理。
在步骤S261中，时间轴处理非自适应区域确定部232判定来自解码部111的宏区块类型是否为帧内宏区块。当在步骤S261中判定为帧内宏区块时，所述处理继续执行步骤S262。
在步骤S262中，时间轴处理非自适应区域确定部232判定来自解码部111的SAO模式是否为边缘补偿模式。当在步骤S262中判定为边缘补偿模式时，所述处理继续执行步骤S263。
在步骤S263中，时间轴处理非自适应区域确定部232假定宏区块为遮挡区域或过度变形区域。
另一方面，当在步骤S261中判定宏区块不是帧内宏区块(即，为帧间宏区块)时，所述处理继续执行步骤S264。此外，当在步骤S262中判定SAO模式不是边缘补偿模式(即，为带状补偿模式)时，所述处理继续执行步骤S264。
在步骤S264中，时间轴处理非自适应区域确定部232假定宏区块为时间轴处理适用区域。
【时间轴处理区域确定处理】
接着，将参考图31和图32的流程图说明图26的步骤S224的时间轴处理区域确定处理的另一个实例。换言之，上文在步骤S224中，时间轴处理区域确定部233被说明为只执行时间轴处理非自适应区域确定；然而，时间轴处理区域确定部233还可确定其他区域并提供确定区域的信息。
在步骤S281中，时间轴处理区域确定部233将来自对象边界检测器231的对象边界信息与来自动态本体区域检测器122的动态本体区域信息进行组合。换言之，参考由PU和运动向量检测到的动态本体区域的分割，根据如图32A所示由CU/TU检测到的对象边界信息，每个对象被认为是动态本体对象(动态实体)和静止对象(静止实体)。
在步骤S282中，根据在步骤S281中进行组合的区域信息，时间轴处理区域确定部233覆盖来自时间轴处理非自适应区域确定部232的时间轴处理非自适应区域。因此，生成时间轴处理区域图，其中相应对象被分成动态实体区域、静止实体区域和时间轴处理非自适应区域，如图32B所示。
时间轴处理区域图被提供给动态图像处理器123。例如，在帧号插补处理(高帧速率处理)中，根据分类区域的结果，除标准高图像品质处理以外，动态图像处理器123应用图33所示的处理。
换言之，当区域为动态实体区域时，动态图像处理器123应用考虑每个动态本体的运动的插补处理。当区域为静止实体区域时，动态图像处理器123在时间方向上不执行插补处理。当区域为时间轴处理非自适应区域时，应用避免损坏的处理。
因为如上所述对处理区域不同地执行高图像品质处理，所以可进一步提高图像品质。
请注意，虽然上文已经说明构成HEVC标准的解码器的图像处理装置实例，但是解码器的编码方法并不限于HEVC标准。当编码参数被用于使用具有例如分层结构且执行滤波(诸如边缘补偿、带状补偿等)的编码方法执行编码时，本技术可适用。
<3.第三实施例>
【计算机】
上述一系列处理可由硬件执行或可由软件执行。当一系列处理由软件执行时，形成软件的程序被安装在计算机中。这里，计算机包括例如并入专用硬件中的计算机或可通过安装各种程序至计算机中来执行各种功能的通用个人计算机(PC)。
图34为方块图，示出了通过程序来执行上述一系列处理的计算机的硬件构成实例。
在计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804相互连接。
输入和输出接口805还连接至总线804。输入部806、输出部807、存储部808、通信部809和驱动器810连接至输入和输出接口805。
输入部806由键盘、鼠标、麦克风等组成。输出部807由显示器、扬声器等组成。存储部808由硬盘、RAM磁盘、非易失性存储器等组成。通信部809由网络接口等组成。驱动器810驱动可移除记录介质811，诸如磁盘、光盘、磁光盘或半导体存储器。
在如上所述构成的计算机中，CPU801经由输入和输出接口805及总线804将存储于存储部808中的程序加载至RAM803，并执行所述程序，使得执行上述一系列处理。
由计算机800(CPU801)执行的程序可通过记录在可移除记录介质811(作为小型介质等)上来提供。也可经由有线或无线传输介质(诸如局域网、因特网或数字卫星广播)来施加程序。
在计算机中，通过加载可移除记录介质811至驱动器810中，程序可经由输入和输出接口805安装至存储部808中。也可使用通信部809从有线或无线传输介质接收程序，并将程序安装于存储部808中。可选择地，程序可被预先安装至ROM802或存储部808中。
应当注意，由计算机执行的程序可为根据本说明书中所述的顺序串行处理的程序或并行或必要时(诸如调用时)处理的程序。
在本发明中，说明程序将记录于记录介质上的步骤可包括根据说明顺序串行执行的处理及不是串行执行而是并行或单独执行的处理。
此外，在本说明书中，“系统”是指由多个装置组成的整个装置。
此外，上文说明为单个装置(或处理单元)的元件可被划分和配置为多个装置(或处理单元)。相反，上文说明为多个装置(或处理单元)的元件可被共同配置为单个装置(或处理单元)。此外，除上述元件以外的元件可被添加至每个装置(或处理单元)。此外，只要系统的构成或操作整体上基本相同，给定装置(或处理单元)的元件的一部分就可包括在另一个装置(或另一个处理单元)的元件中。本技术并不限于上述实施例，且在不脱离本技术的范围的情况下，可进行各种改变和修改。
本发明的实施例并不限于上述实施例，且在不脱离本技术的范围的情况下，可进行各种改变和修改。
例如，本技术可采用云计算的构成，所述云计算通过经由网络分配一个功能给多个装置和与多个装置共享一个功能来执行处理。
此外，通过上述流程图说明的每个步骤可由一个装置执行或通过与多个装置共享来执行。
此外，在一个步骤中包括多个处理的情况下，包括在所述一个步骤中的所述多个处理可由一个装置执行或通过与多个装置共享来执行。
根据上述实施例的图像编码装置和图像解码装置可适用于各种电子设备，诸如发送器和接收器，用于卫星广播、有线电视的有线广播、因特网分发、经由蜂窝通信的终端分发等；记录装置，所述记录装置将图像记录在介质中，诸如光盘、磁盘或快闪存储器；再现装置，所述再现装置再现来自所述存储介质的图像。下文将说明四个应用实例。
<应用实例>
【第一应用实例：电视接收器】
图35示出了上述实施例适用的电视装置的示意构成实例。电视装置900包括天线901、调谐器902、多路信号分离器903、解码器904、视频信号处理部905、显示器906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。
调谐器902从通过天线901接收的广播信号提取所需信道的信号并对所提取的信号进行解调制。调谐器902然后将通过解调制而获得的编码比特流输出至多路信号分离器903。即，调谐器902在电视装置900中起着发送构件作用，接收图像经编码的编码流。
多路信号分离器903从编码比特流中分离将观看的节目的视频流和音频流，并将经分离的各码流输出至解码器904。多路信号分离器903还从编码比特流提取辅助数据，诸如电子节目指南(GEP)，并将所提取的数据提供给控制部910。这里，当编码比特流被加扰时，多路信号分离器903可对编码比特流进行解扰。
解码器904对从多路信号分离器903输入的视频流和音频流进行解码。解码器904然后将由解码处理生成的视频数据输出至视频信号处理部905。此外，解码器904将在解码处理中生成的音频数据输出至音频信号处理部907。
视频信号处理部905再现从解码器904输入的视频数据并在显示器906上显示视频。视频信号处理部905还可在显示器906上显示通过网络提供的应用画面。视频信号处理部905还可根据设定对视频数据执行附加处理，例如降噪(抑制)。此外，视频信号处理部905可生成图形用户界面(GUI)的图像，诸如菜单、按钮或光标，并将所生成的图像叠加至输出图像上。
显示器906通过从视频信号处理部905提供的驱动信号来驱动，并在显示装置(诸如液晶显示器、等离子显示器或有机电致发光显示器(OELD)(有机EL显示器)等)的显示屏上显示视频或图像。
音频信号处理部907对从解码器904输入的音频数据执行再现处理，诸如D-A转换和放大，并从扬声器908输出音频。音频信号处理部907还可对音频数据执行附加处理，诸如降噪(抑制)。
外部接口909为用于连接电视装置900与外部装置或网络的接口。例如，解码器904可对通过例如外部接口909接收的视频流或音频流进行解码。换言之，外部接口909在电视装置900中还起着发送构件作用，接收图像经编码的编码流。
控制部910包括：处理器，诸如中央处理单元(CPU)；和存储器，诸如随机存取存储器(RAM)和只读存储器(ROM)。存储器存储由CPU执行的程序、程序数据、EPG数据及通过网络获取的数据。存储于存储器中的程序例如在电视装置900启动时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口911输入的操作信号来控制电视装置900的操作。
用户接口911连接至控制部910。用户接口911包括例如用于用户操作电视装置900的按钮和开关以及远程控制信号的接收部分。用户接口911通过这些组件来检测用户操作，生成操作信号，并将所生成的操作信号输出至控制部910。
总线912将调谐器902、多路信号分离器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910相互连接。
在如上所述构成的电视装置900中，解码器904具有根据实施例使用编码信息的图像处理装置的功能。因此，当在电视装置900中对图像进行解码时，可更加高效地执行高图像品质处理。
【第二应用实例：移动电话】
图36示出了上述实施例适用的移动电话的示意构成实例。移动电话920包括天线921、通信部922、音频编码解码器923、扬声器924、麦克风925、摄像头部926、图像处理部927、多路复用和分离部928、记录和再现部929、显示器930、控制部931、操作部932和总线933。
天线921连接至通信部922。扬声器924和麦克风925连接至音频编码解码器923。操作部932连接至控制部931。总线933将通信部922、音频编码解码器923、摄像头部926、图像处理部927、多路复用和分离部928、记录和再现部929、显示器930和控制部931相互连接。
移动电话920在包括音频呼叫模式、数据通信模式、拍摄模式和视像电话模式的各种操作模式下执行操作，诸如发送/接收音频信号、发送/接收电子邮件或图像数据、对图像进行成像及记录数据。
在音频呼叫模式下，由麦克风925生成的模拟音频信号被提供给音频编码解码器923。音频编码解码器923然后将模拟音频信号转换为音频数据，对经转换的音频数据执行A-D转换，并所述数据进行压缩。音频编码解码器923之后将压缩音频数据输出至通信部922。通信部922对音频数据进行编码和调制以生成发送信号。通信部922然后将所生成的发送信号通过天线921发送至基站(未示出)。此外，通信部922对通过天线921接收的无线电信号进行放大，转换所述信号的频率，并获取接收信号。通信部922之后对接收信号进行解调制和解码以生成音频数据，并将所生成的音频数据输出至音频编码解码器923。音频编码解码器923对音频数据进行解压缩，对所述数据执行D-A转换，并生成模拟音频信号。音频编码解码器923然后通过将所生成的音频信号提供给扬声器924来输出音频。
此外，在数据通信模式下，例如，控制部931根据用户操作通过操作部932生成构成电子邮件的字符数据。控制部931还使字符显示在显示器930上。此外，控制部931根据用户发送指令通过操作部932生成电子邮件数据，并将所生成的电子邮件数据输出至通信部922。通信部922对电子邮件数据进行编码和调制以生成发送信号。然后，通信部922将所生成的发送信号通过天线921发送至基站(未示出)。通信部922还对通过天线921接收的无线电信号进行放大，转换所述信号的频率，并获取接收信号。通信部922之后对接收信号进行解调制和解码，恢复电子邮件数据，并将所恢复的电子邮件数据输出至控制部931。控制部931使电子邮件的内容显示在显示器930上以及使电子邮件数据存储于记录和再现部929的存储介质中。
记录和再现部929包括任意可读和可写存储介质。例如，存储介质可为内置存储介质，诸如RAM或快闪存储器，或可为外装式存储介质，诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储卡。
在拍摄模式下，例如，摄像头部926对对象进行成像，生成图像数据，并将所生成的图像数据输出至图像处理部927。图像处理部927对从摄像头部926输入的图像数据进行编码，并将编码流存储于记录和再现部929的存储介质中。
此外，在视像电话模式下，例如，多路复用和分离部928对通过图像处理部927进行编码的视频流和来自音频编码解码器923的音频流进行多路复用，并将多路复用码流输出至通信部922。通信部922对所述码流进行编码和调制以生成发送信号。通信部922然后将所生成的发送信号通过天线921发送至基站(未示出)。此外，通信部922对通过天线921接收的无线电信号进行放大，转换所述信号的频率，并获取接收信号。发送信号和接收信号可包括编码比特流。然后，通信部922对接收信号进行解调制和解码以恢复码流，并将所恢复的码流输出至多路复用和分离部928。多路复用和分离部928对来自输入码流的视频流和音频流进行分离，并将视频流和音频流分别输出至图像处理部927和音频编码解码器923。图像处理部927对视频流进行解码以生成视频数据。视频数据然后被提供给显示器930，由此显示器930显示一系列图像。音频编码解码器923对音频流进行解压缩并执行D-A转换，以生成模拟音频信号。音频编码解码器923然后将所生成的音频信号提供给扬声器924以输出音频。
在如上所述构成的移动电话920中，图像处理部927具有根据实施例具有运动检测器的图像处理装置和使用编码信息的图像处理装置的功能。因此，当在移动电话920中对图像进行编码和解码时，可更加高效地执行高图像品质处理。
【第三应用实例：记录和再现装置】
图37示出了上述实施例适用的记录和再现装置的示意构成实例。记录和再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并将数据记录至例如记录介质中。记录和再现装置940还可对从另一个装置获取的音频数据和视频数据进行编码，并将数据记录至例如记录介质中。此外，响应于用户指令，例如，记录和再现装置940在监视器上和从扬声器再现记录于记录介质中的数据。记录和再现装置940此时对音频数据和视频数据进行解码。
记录和再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、磁盘驱动器945、选择器946、解码器947、屏显显示器(OSD)948、控制部949和用户接口950。
调谐器941从通过天线(未示出)接收的广播信号提取所需信道的信号，并对所提取的信号进行解调制。调谐器941然后将由解调制获得的编码比特流输出至选择器946。即，调谐器941在记录和再现装置940中起着发送构件作用。
外部接口942为用于连接记录和再现装置940与外部装置或网络的接口。外部接口942可为例如IEEE1394接口、网络接口、USB接口或快闪存储器接口。通过外部接口942接收的视频数据和音频数据被输入至例如编码器943。即，外部接口942在记录和再现装置940中起着发送构件作用。
当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。编码器943之后将编码比特流输出至选择器946。
HDD944将内容数据(诸如视频和音频)经压缩的编码比特流、各种程序及其他数据记录至内部硬盘中。此外，当再现视频和音频时，HDD944从硬盘读取这些数据。
磁盘驱动器945记录数据至记录介质中和从记录介质读取数据，所述记录介质被安装至磁盘驱动器。安装至磁盘驱动器945的记录介质可为例如DVD光盘(诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(Blu-ray；注册商标)磁盘。
当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将所选定的编码比特流输出至HDD944或磁盘驱动器945。此外，当记录视频和音频时，选择器946将从HDD944或磁盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD948。此外，解码器947将所生成的音频数据输出至外部扬声器。
OSD948再现从解码器947输入的视频数据并显示视频。OSD948还可将GUI图像(例如菜单、按钮或光标)叠加在显示视频上。
控制部949包括处理器(诸如CPU)和存储器(诸如RAM和ROM)。存储器存储由CPU执行的程序以及程序数据。存储于存储器中的程序例如在记录和再现装置940启动时由CPU读取并执行。通过执行程序，CPU根据从例如用户接口950输入的操作信号来控制记录和再现装置940的操作。
用户接口950连接至控制部949。用户接口950包括例如用于用户操作记录和再现装置940的按钮和开关以及远程控制信号的接收部分。用户接口950通过这些组件来检测用户操作，生成操作信号，并将所生成的操作信号输出至控制部949。
在如上所述构成的记录和再现装置940中，编码器943具有根据上述实施例具有运动检测器的图像处理装置的功能。此外，解码器947具有根据上述实施例的图像解码装置的功能。因此，当在记录和再现装置940中对图像进行编码和解码时，可更加高效地执行高图像品质处理。
【第四应用实例：成像装置】
图38示出了上述实施例适用的成像装置的示意构成实例。成像装置960对对象进行成像，生成图像数据，对图像数据进行编码，并将数据记录至记录介质中。
成像装置960包括聚光装置961、成像部962、信号处理部963、图像处理部964、显示器965、外部接口966、存储器967、介质驱动器968、OSD969、控制部970、用户接口971和总线972。
聚光装置961连接至成像部962。成像部962连接至信号处理部963。显示器965连接至图像处理部964。用户接口971连接至控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD969和控制部970相互连接。
聚光装置961包括聚焦透镜和光阑结构。聚光装置961在成像部962的成像表面上形成对象的光学图像。成像部962包括图像传感器，诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)，并执行光电转换以将形成于成像表面上的光学图像作为电信号转换为图像信号。然后，成像部962将图像信号输出至信号处理部963。
信号处理部963对从成像部962输入的图像信号执行各种摄像头信号处理，诸如拐点校正、伽马校正和颜色校正。信号处理部963将已经执行摄像头信号处理的图像数据输出至图像处理部964。
图像处理部964对从信号处理部963输入的图像数据进行编码以生成编码数据。图像处理部964然后将所生成的编码数据输出至外部接口966或介质驱动器968。图像处理部964还对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。图像处理部964然后将所生成的图像数据输出至显示器965。此外，图像处理部964可将从信号处理部963输入的图像数据输出至显示器965以显示图像。此外，图像处理部964还将从OSD969获取的显示数据叠加在显示器965上输出的图像上。
OSD969生成GUI图像，例如菜单、按钮或光标，并将所生成的图像输出至图像处理部964。
外部接口966被配置为例如USB输入和输出终端。当例如打印图像时，外部接口966连接成像装置960与打印机。此外，根据需要，驱动器连接至外部接口966。可移除介质(诸如磁盘或光盘)被安装至例如驱动器，使得从可移除介质读取的程序可被安装于成像装置960中。外部接口966还可被配置为网络接口，所述网络接口连接至网络，诸如LAN或因特网。即，外部接口966在成像装置960中起着发送构件作用。
安装至介质驱动器968的记录介质可为任意可读和可写可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可被固定地安装至介质驱动器968，使得例如构成不可传输存储单元，诸如内置硬盘驱动器或固态驱动器(SSD)。
控制部970包括处理器(诸如CPU)和存储器(诸如RAM和ROM)。存储器存储由CPU执行的程序以及程序数据。存储于存储器中的程序在例如成像装置960启动时由CPU读取并然后执行。通过执行程序，CPU根据从例如用户接口971输入的操作信号来控制成像装置960的操作。
用户接口971连接至控制部970。用户接口971包括例如用于用户操作成像装置960的按钮和开关。用户接口971通过这些组件来检测用户操作，生成操作信号，并将所生成的操作信号输出至控制部970。
在如上所述构成的成像装置960中，图像处理部964具有根据上述实施例具有运动检测器的图像处理装置和使用编码信息的图像处理装置的功能。因此，当在成像装置960中对图像进行编码和解码时，可更加高效地执行高图像品质处理。
<第四实施例>
【其他实例】
虽然上文已经说明本技术适用的装置、系统等的实例，但是本技术并不限于所述装置、系统等，且它们可被实现为安装于构成所述装置或系统的装置中的所有构成，例如，作为大规模集成(LSI)系统的处理器；使用多个处理器等的模块；使用多个模块等的单元；以及通过将其他功能添加至所述单元而获得的机组(即，装置的局部构成)等。
【录像机】
下文将参考图39说明本技术被实现为机组的实例。图39示出了本技术适用的录像机的示意构成实例。
随着近年来电子装置已经变为多功能，开发和制造有许多情况，其中，当所述电子装置的局部构成易受销售、提供等影响时，所述构成不仅被实现为具有一个功能的构成，而且通过将多个构成与相关功能进行组合，被实现为具有多个功能的一个机组。
通过将具有与图像编码和解码(它们中任一者或两者都可能可行)有关的功能的装置与具有与前述功能有关的另一个功能的装置进行组合，图39所示的录像机1300被配置为如上所述多功能的。
如图39所示，录像机1300具有模块组，所述模块组包括视频模块1311、外部存储器1312、电源管理模块1313以及前端模块1314和具有与连线1321、摄像头1322、传感器1323等有关的功能的装置。
模块为具有彼此相关的几个组件功能聚集在一起的组织化功能的组件。虽然其具体物理配置为例如任意的，但是考虑以下物理构成，其中具有不同功能的多个处理器、电子电路元件(诸如电阻器或电容器)及其他装置被配置在配线基板中进行集成。此外，还可考虑通过将模块与另一个模块或处理器进行组合来构成新模块。
在图39实例中，视频模块1311为具有与图像处理有关的功能的构成的组合，且具有应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
处理器为通过片上系统(SoC)将集成于半导体芯片上具有预定功能的构成的整合，且被称为例如大规模集成(LSI)系统。具有预定功能的构成可为逻辑电路(硬件构成)，可为CPU、ROM或RAM及使用它们执行的程序(软件构成)，或可为两种构成的组合。例如，处理器可具有逻辑电路、CPU、ROM和RAM，利用逻辑电路(硬件构成)实现其一些功能，以及利用在CPU中执行的程序(软件构成)实现其其他功能。
图39的应用处理器1331为执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用可不仅执行算术处理，而且控制在视频模块1311内部和外部的另一个构成，例如视频处理器1332，以实现预定功能。
视频处理器1332为具有与图像编码和解码(任一者或两者)有关的功能的处理器。
宽带调制解调器1333为执行与通过宽带线路(诸如因特网或公共电话网络)进行的有线或无线宽带通信(或两者)有关的处理的处理器(或模块)。宽带调制解调器1333例如通过执行数字调制等将发送数据(数字信号)转换为模拟信号，或对所接收的模拟信号进行解码并将所接收的模拟信号转换为数据(数字信号)。宽带调制解调器1333例如可对任意信息执行数字调制和解调制，诸如由视频处理器1332处理的图像数据或通过对图像数据进行编码而获得的码流、应用程序、设定数据等。
RF模块1334为对经由天线发送或接收的射频(RF)信号执行频率转换、调制和解调制、放大、滤波处理等的模块。RF模块1334例如通过对通过宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。此外，RF模块1334例如通过对经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。
请注意，如图39中由虚线1341所示，应用处理器1331和视频处理器1332可进行整合并配置为一个处理器。
外部存储器1312为设置在视频模块1311外部且具有由视频模块1311使用的存储装置的模块。外部存储器1312的存储装置可利用任何物理构成实现，但通常被用于存储大体积数据，诸如一般以帧为单位的图像数据，因此，期望使所述装置实现为比较廉价的大容量半导体存储器，例如，动态随机存取存储器(DRAM)。
电源管理模块1313管理和控制供电给视频模块1311(包括在视频模块1311中的每个构成)。
前端模块1314为提供前端功能(在天线侧的发送和接收终端电路)给RF模块1334的模块。如图39所示，前端模块1314具有例如天线部1351、滤波器1352和放大部1353。
天线部1351具有天线及其周围构成，所述天线发送和接收无线电信号。天线部1351将自放大部1353提供的信号作为无线电信号进行发送，并将所接收的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线部1351接收的RF信号执行滤波处理等，并将经处理的RF信号提供给RF模块1334。放大部1353对自RF模块1334提供的RF信号进行放大，然后将信号提供给天线部1351。
连线1321为具有与与外部连接有关的功能的模块。连线1321的物理配置为任意的。连线1321例如具有具有除适用于宽带调制解调器1333、外部输入和输出终端等的通信标准以外的通信标准的通信功能的构成。
连线1321可具有例如模块，所述模块具有基于无线通信标准的通信功能，诸如蓝牙(Bluetooth；注册商标)、IEEE802.11(例如，无线保真(Wi-Fi；注册商标))、近场通信(NFC)或红外数据协会(IrDA)、基于所述标准发送和接收信号的天线等。此外，连线1321可具有例如模块，所述模块具有基于有线通信标准的通信功能，诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI；注册商标)或基于所述标准的终端。此外，连线1321可具有例如另一个数据(信号)发送功能，诸如模拟输入和输出终端。
请注意，连线1321可包括数据(信号)发送目的地的装置。连线1321可具有例如驱动器，所述驱动器在记录介质上读取和写入数据，诸如磁盘、光盘、磁光盘或半导体存储器(不仅包括可移除介质的驱动器，而且包括硬盘、固态驱动器(SSD)、网络连接存储装置(NAS)等)。此外，连线1321可具有图像和声音的输出装置(监视器、扬声器等)。
摄像头1322为模块，所述模块具有用于对对象进行成像并获得对象的图像数据的功能。由摄像头1322的成像获得的图像数据被例如提供给视频处理器1332并通过视频处理器1332进行编码。
传感器1323为模块，所述模块具有例如声音传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾角传感器、磁性识别传感器、碰撞传感器或温度传感器的任意传感器功能。通过传感器1323检测到的数据被例如提供给应用处理器1331以被应用程序使用。
上文说明为模块的构成可被实现为处理器，相反，说明为处理器的构成可被实现为模块。
在如上所述构成的录像机1300中，本技术可适用于视频处理器1332，下文将进行说明。因此，录像机1300可被实现为本技术已经适用的机组。
【视频处理器的构成实例】
图40示出了本技术已经适用的视频处理器1332(图39)的示意构成实例。
在图40实例中，视频处理器1332具有以预定方案对所接收的视频信号和音频信号的输入进行编码的功能以及对经编码的视频数据和音频数据进行解码并再现和输出视频信号和音频信号的功能。
如图40所示，视频处理器1332具有视频输入处理部1401、第一图像放大和缩小部1402、第二图像放大和缩小部1403、视频输出处理部1404、帧存储器1405和存储器控制部1406。此外，视频处理器1332具有编码器/解码器引擎1407、视频基本码流(ES)缓冲器1408A和1408B及音频ES缓冲器1409A和1409B。此外，视频处理器1332具有音频编码器1410、音频解码器1411、多路复用器(MUX)1412、多路信号分离器(DMUX)1413和码流缓冲器1414。
视频输入处理部1401获取从例如连线1321(图39)等输入的视频信号，并将它们转换为数字图像数据。第一图像放大和缩小部1402对图像数据执行格式转换、图像放大和缩小处理等。第二图像放大和缩小部1403根据目的地的格式对图像数据执行图像放大和缩小处理，所述数据经由视频输出处理部1404输出至所述目的地，或执行与第一图像放大和缩小部1402相同的格式转换、图像放大和缩小处理等。视频输出处理部1404对图像数据执行格式转换、转换为模拟信号等，并将数据作为再现视频信号输出至例如连线1321(图39)。
帧存储器1405为由视频输入处理部1401、第一图像放大和缩小部1402、第二图像放大和缩小部1403、视频输出处理部1404和编码器/解码器引擎1407共享的图像数据存储器。帧存储器1405被实现为半导体存储器，例如DRAM等。
存储器控制部1406从编码器/解码器引擎1407接收同步信号，并根据对帧存储器1405的存取排程来控制对帧存储器1405的写入和读取的存取，所述存取排程被写在存取管理表1406A上。存取管理表1406A通过存储器控制部1406根据由编码器/解码器引擎1407、第一图像放大和缩小部1402、第二图像放大和缩小部1403等执行的处理来更新。
编码器/解码器引擎1407执行图像数据的编码处理及视频流的解码处理，所述视频流为通过对图像数据进行编码而获得的数据。编码器/解码器引擎1407例如对从帧存储器1405读取的图像数据进行编码并将数据作为视频流按顺序写入视频ES缓冲器1408A中。此外，编码器/解码器引擎1407例如从视频ES缓冲器1408B按顺序读取视频流以对码流进行解码，然后将码流作为图像数据按顺序写入帧存储器1405中。编码器/解码器引擎1407在编码和解码期间使用帧存储器1405。此外，编码器/解码器引擎1407在例如对每个宏区块开始处理时输出同步信号至存储器控制部1406。
视频ES缓冲器1408A对通过编码器/解码器引擎1407生成的视频流执行缓冲，然后将数据提供给多路复用器(MUX)1412。视频ES缓冲器1408B对自多路信号分离器(DMUX)1413提供的视频流执行缓冲，然后将数据提供给编码器/解码器引擎1407。
音频ES缓冲器1409A对通过音频编码器1410生成的音频流执行缓冲，然后将数据提供给多路复用器(MUX)1412。音频ES缓冲器1409B对自多路信号分离器(DMUX)1413提供的音频流执行缓冲，然后将数据提供给音频解码器1411。
音频编码器1410对从例如连线1321(图39)等输入的音频信号执行例如数字转换，并以预定方案(例如，MPEG音频方案、音频编码编号3(AC3)方案等)对信号进行编码。音频编码器1410将音频流按顺序写入音频ES缓冲器1409A中，所述音频流为通过对音频信号进行编码而获得的数据。音频解码器1411对自音频ES缓冲器1409B提供的音频流进行解码，执行转换为例如模拟信号，并将结果作为再现音频信号提供给例如连线1321(图39)等。
多路复用器(MUX)1412对视频流和音频流进行多路复用。多路复用方法(即，由多路复用生成的比特流的格式)为任意的。此外，在多路复用期间，多路复用器(MUX)1412还可将预定报头信息等添加至比特流。即，多路复用器(MUX)1412可通过多路复用来转换码流的格式。多路复用器(MUX)1412例如对视频流和音频流进行多路复用以将码流转换为传输流，所述传输流为传送格式比特流。此外，多路复用器(MUX)1412例如对视频流和音频流进行多路复用以将码流转换为文件格式数据(文件数据)，用于记录。
多路信号分离器(DMUX)1413使用与通过多路复用器(MUX)1412的多路复用对应的方法对通过对视频流和音频流进行多路复用而获得的比特流进行多路信号分离。换言之，多路信号分离器(DMUX)1413从从码流缓冲器1414读取的比特流提取视频流和音频流(将比特流分离成视频流和音频流)。换言之，多路信号分离器(DMUX)1413可通过多路信号分离(通过多路复用器(MUX)1412的转换的反向转换)来转换码流的格式。多路信号分离器(DMUX)1413可例如经由码流缓冲器1414获取自例如连线1321、宽带调制解调器1333等(全部都在图27中)提供的传输流，并通过多路信号分离将码流转换为视频流和音频流。此外，多路信号分离器(DMUX)1413可例如通过码流缓冲器1414获取通过连线1321(图39)从各种记录介质读取的文件数据，并通过多路信号分离将数据转换为视频流和音频流。
码流缓冲器1414对比特流执行缓冲。码流缓冲器1414例如对自多路复用器(MUX)1412提供的传输流执行缓冲，并在预定时间或基于外部请求等将结果提供给例如连线1321或宽带调制解调器1333(全部都在图39中)。
此外，码流缓冲器1414例如对自多路复用器(MUX)1412提供的文件数据执行缓冲，并在预定时间或基于外部请求等将结果提供给例如连线1321(图39)等，以记录在各种记录介质中。
此外，码流缓冲器1414例如对经由例如连线1321或宽带调制解调器1333(两者都在图39中)获取的传输流执行缓冲，并在预定时间或基于外部请求等将结果提供给多路信号分离器(DMUX)1413。
此外，码流缓冲器1414例如对例如从各种记录介质读取的连线1321(图39)的文件数据执行缓冲，并在预定时间或基于外部请求等将结果提供给多路信号分离器(DMUX)1413。
接着，将说明如上构成的视频处理器1332的操作实例。例如，自连线1321(图39)输入至视频处理器1332的视频信号通过视频输入处理部1401以预定格式转换为数字图像数据，诸如4∶2∶2的Y∶Cb∶Cr格式，然后按顺序写入帧存储器1405中。数字图像数据由第一图像放大和缩小部1402或第二图像放大和缩小部1403读取，进行格式转换为预定格式(诸如4∶2∶0的Y∶Cb∶Cr格式)及放大和缩小处理，并再次写入帧存储器1405中。此图像数据通过编码器/解码器引擎1407进行编码，并被作为视频流写入视频ES缓冲器1408A中。
此外，自连线1321(图39)输入至视频处理器1332的音频信号通过音频编码器1410进行编码，然后被作为音频流写入音频ES缓冲器1409A中。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被读取且通过多路复用器(MUX)1412进行多路复用，并被转换为传输流、文件数据等。通过多路复用器(MUX)1412生成的传输流通过码流缓冲器1414进行缓冲，然后经由例如连线1321或宽带调制解调器1333(全部都在图39中)输出至外部网络。此外，通过多路复用器(MUX)1412生成的文件数据通过码流缓冲器1414进行缓冲，然后输出至例如连线1321(图39)并记录在各种记录介质中。
此外，经由例如连线1321或宽带调制解调器1333(全部都在图39中)自外部网络输入至视频处理器1332的传输流通过码流缓冲器1414进行缓冲，然后通过多路信号分离器(DMUX)1413进行多路信号分离。此外，通过例如连线1321(图39)等从各种记录介质读取且输入至视频处理器1332的文件数据在码流缓冲器1414中进行缓冲，然后通过多路信号分离器(DMUX)1413进行多路信号分离。即，输入至视频处理器1332的传输流或文件数据通过多路信号分离器(DMUX)1413被分离成视频流和音频流。
音频流经由音频ES缓冲器1409B提供给音频解码器1411并进行解码，由此再现音频信号。此外，视频流被写入视频ES缓冲器1408B中，然后按顺序读取并通过编码器/解码器引擎1407进行解码，并写入帧存储器1405中。解码图像数据通过第二图像放大和缩小部1403进行放大或缩小处理，并写入帧存储器1405中。然后，解码图像由视频输出处理部1404读取，进行格式转换为预定格式(诸如4∶2∶2的Y∶Cb∶Cr格式)，并还进行转换为模拟信号，由此再现视频信号，用于输出。
当本技术适用于如上所述构成的视频处理器1332时，根据上述每个实施例的本技术可适用于编码器/解码器引擎1407。即，例如，编码器/解码器引擎1407可具有图像处理装置11(图1)、根据第一实施例的图像处理装置101(图2)等的功能。由此，视频处理器1332可获得与上文参考图1至图33所述的效果相同的效果。
请注意，对于编码器/解码器引擎1407，本技术(即，根据上述每个实施例的图像处理装置的功能)可通过硬件(诸如逻辑电路等)、通过软件(诸如嵌入式程序等)或通过两者来实现。
【视频处理器的其他构成实例】
图41示出了本技术已经适用的视频处理器1332(图39)的另一个示意构成实例。在图41实例中，视频处理器1332具有以预定方案对视频数据进行编码和解码的功能。
更具体地，视频处理器1332具有控制部1511、显示器接口1512、显示器引擎1513、图像处理引擎1514和内部存储器1515，如图41所示。此外，视频处理器1332具有编码解码器引擎1516、存储器接口1517、多路复用/多路信号分离部(MUX/DMUX)1518、网络接口1519和视频接口1520。
控制部1511控制包括在视频处理器1332中的各处理部的操作，诸如显示器接口1512、显示器引擎1513、图像处理引擎1514、编码解码器引擎1516等。
控制部1511具有例如主CPU1531、副CPU1532和系统控制器1533，如图41所示。主CPU1531执行用于控制包括在视频处理器1332中的各处理部的操作的程序等。主CPU1531根据程序等生成控制信号，并将所述信号提供给各处理部(即，控制各处理部的操作)。副CPU1532起着主CPU1531的辅助作用。例如，副CPU1532执行由主CPU1531执行的程序等的子进程、子例程等。系统控制器1533控制主CPU1531和副CPU1532的操作，诸如指定将由主CPU1531和副CPU1532执行的程序。
显示器接口1512在控制部1511的控制下将图像数据(例如，连线1321(图39)的图像数据)转换为模拟信号，并将信号作为再现视频信号或作为数字数据的图像数据输出至连线1321(图39)的监视装置等。
显示器引擎1513在控制部1511的控制下对图像数据执行各种转换处理，诸如格式转换、大小转换、色域转换等，以满足硬件规格，诸如显示图像的监视装置等。
图像处理引擎1514在控制部1511的控制下对图像数据执行预定图像处理，例如滤波处理等，用于提高图像品质。
内部存储器1515为设置在视频处理器1332内部的存储器，所述存储器由显示器引擎1513、图像处理引擎1514和编码解码器引擎1516共享。内部存储器1515被用于例如在显示器引擎1513、图像处理引擎1514和编码解码器引擎1516之间交换数据。内部存储器1515例如存储自显示器引擎1513、图像处理引擎1514或编码解码器引擎1516提供的数据，并且必要时(例如，根据请求)，将数据提供给显示器引擎1513、图像处理引擎1514或编码解码器引擎1516。此内部存储器1515可通过任何存储装置实现；然而，它主要用来存储小体积数据，诸如以区块为单位的图像数据或参数，因此期望利用半导体存储器来实现所述存储器，所述半导体存储器具有相对小容量(相比于例如外部存储器1312)但具有高响应速度，例如静态随机存取存储器(SRAM)。
编码解码器引擎1516执行与图像数据的编码和解码有关的处理。适用于此编码解码器引擎1516的编码和解码方案为任意的，且其数目可为1或多个。编码解码器引擎1516例如可具有多个编码和解码方案的编码解码器功能，并可使用从中选定的一个编码和解码方案来执行图像数据的编码或编码数据的解码。
在图41所示的实例中，编码解码器引擎1516具有例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551，作为编码解码器相关处理的功能方块。
MPEG-2视频1541为用于以MPEG-2方案对图像数据进行编码或解码的功能方块。AVC/H.2641542为用于以AVC方案对图像数据进行编码或解码的功能方块。HEVC/H.2651543为用于以HEVC方案对图像数据进行编码或解码的功能方块。HEVC/H.265(可缩放)1544为用于以HEVC方案对图像数据进行可缩放编码或解码的功能方块。HEVC/H.265(多视图)1545为用于以HEVC方案对图像数据执行多视图编码或解码的功能方块。
MPEG-DASH1551为用于以MPEG-HTTP动态自适应流媒体(MPEG-DASH)方案发送和接收图像数据的功能方块。MPEG-DASH为超文本传输协议(HTTP)视频流媒体技术，其一个特征在于从处理数据中具有不同分辨率的多个编码片段以分段为单位选择适当片段并进行传输。MPEG-DASH1551基于所述标准执行码流生成及传输码流的控制，并将上述MPEG-2视频1541至HEVC/H.265(多视图)1545用于图像数据的编码和解码。
存储器接口1517为外部存储器1312的接口。自图像处理引擎1514和编码解码器引擎1516提供的数据经由存储器接口1517提供给外部存储器1312。此外，从外部存储器1312读取的数据经由存储器接口1517提供给视频处理器1332(图像处理引擎1514或编码解码器引擎1516)。
多路复用/多路信号分离部(MUX/DMUX)1518执行与图像有关的各种数据的多路复用和多路信号分离，诸如编码数据、图像数据和视频信号的比特流。用于此类多路复用和多路信号分离的方法为任意的。多路复用/多路信号分离部(MUX/DMUX)1518例如不仅可将多个数据片段组织成一个数据，而且可在多路复用期间将预定报头信息等添加至所述数据。此外，在多路信号分离期间，多路复用/多路信号分离部(MUX/DMUX)1518不仅可将一条数据分成多个片段，而且可将预定报头信息等添加至所划分数据的每个片段。即，多路复用/多路信号分离部(MUX/DMUX)1518可通过多路复用和多路信号分离来转换数据的格式。多路复用/多路信号分离部(MUX/DMUX)1518例如可对比特流进行多路复用以将它们转换为传输流，用于记录，所述传输流为传输格式比特流或文件格式数据(文件数据)。当然，也可通过多路信号分离进行所述转换的反向转换。
网络接口1519为例如宽带调制解调器1333和连线1321(两者都在图39中)等的接口。视频接口1520为例如连线1321和摄像头1322(两者都在图39中)等的接口。
接着，将说明如上构成的视频处理器1332的操作实例。当经由连线1321或宽带调制解调器1333(全部都在图39中)从外部网络接收传输流时，例如，传输流经由网络接口1519提供给多路复用/多路信号分离部(MUX/DMUX)1518并进行多路信号分离，然后通过编码解码器引擎1516进行解码。由编码解码器引擎1516的解码获得的图像数据通过图像处理引擎1514进行预定图像处理，通过显示器引擎1513进行预定转换，并经由显示器接口1512提供给例如连线1321(图39)，且在监视器上显示其图像。此外，由编码解码器引擎1516的解码获得的图像数据例如通过编码解码器引擎1516再次进行编码，通过多路复用/多路信号分离部(MUX/DMUX)1518进行多路复用以转换为文件数据，经由视频接口1520输出至例如连线1321(图39)，然后记录在各种记录介质中。
此外，通过对通过连线1321(图39)从记录介质(未示出)读取的图像数据进行编码而获得的编码数据的文件数据例如经由视频接口1520提供给多路复用/多路信号分离部(MUX/DMUX)1518以进行多路信号分离，并通过编码解码器引擎1516进行解码。由编码解码器引擎1516的解码获得的图像数据通过图像处理引擎1514进行预定图像处理，通过显示器引擎1513进行预定转换，并经由显示器接口1512提供给例如连线1321(图39)，然后在监视器上显示其图像。此外，由编码解码器引擎1516的解码获得的图像数据例如通过编码解码器引擎1516再次进行编码，通过多路复用/多路信号分离部(MUX/DMUX)1518进行多路复用以转换为传输流，经由网络接口1519提供给例如连线1321、宽带调制解调器1333(全部都在图39中)等，然后发送至另一个装置(未示出)。
请注意，使用例如内部存储器1515和外部存储器1312，执行在包括在视频处理器1322中的各处理部之间的图像数据和其他数据的交换。此外，电源管理模块1313控制供电给例如控制部1511。
当本技术适用于如上构成的视频处理器1332时，根据上述每个实施例的本技术可适用于编码解码器引擎1516。即，编码解码器引擎1516可被设定为例如具有功能方块，所述功能方块实现图像编码装置1(图1)及根据第一实施例的图像解码装置101(图2)。由此，视频处理器1332可获得与上文参考图1至图33所述的效果相同的效果。
请注意，在编码解码器引擎1516中，本技术(即，根据上述每个实施例的图像编码装置和图像解码装置的功能)可通过硬件(诸如逻辑电路等)、通过软件(诸如嵌入式程序等)或通过两者来实现。
虽然上文已经举例说明视频处理器1332的两个构成，但是视频处理器1332的配置为任意的，且可为除上述两个实例以外的构成。此外，视频处理器1332可被配置为一个半导体芯片或多个半导体芯片。例如，多个半导体可进行层叠以形成三维层叠LSI芯片。此外，所述处理器可通过多个LSI芯片来实现。
【装置的应用实例】
录像机1300可并入处理图像数据的各种装置。例如，录像机1300可并入电视装置900(图35)、移动电话920(图36)、记录和再现装置940(图37)、成像装置960(图38)等。通过与录像机1300进行合并，这些装置可获得与上文参考图1至图33所述的效果相同的效果。
请注意，就连上述录像机1300的每个构成的一部分也可实现为本技术适用的构成，只要所述部分包括视频处理器1332。例如，视频处理器1332单独可实现为本技术适用的视频处理器。此外，上述由虚线1341表示的处理器、视频模块1311等例如可实现为本技术适用的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314的组合也可实现为本技术适用的视频单元1361。所述构成都可获得与上文参考图1至图33所述的效果相同的效果。
即，与录像机1300相同，包括视频处理器1332的任何构成可并入处理图像数据的各种装置。例如，视频处理器1332、由虚线表示的处理器1341、视频模块1311或视频单元1361可与电视装置900(图35)、移动电话920(图36)、记录和再现装置940(图37)、成像装置960(图38)等进行合并。此外，与录像机1300相同，通过与本技术已经适用的任何构成进行合并，这些装置可获得与上文参考图1至图33所述的效果相同的效果。
请注意，在本说明书中，已经说明各种信息(例如，四叉树信息(分层区块分割信息)、预测模式信息、运动向量信息、宏区块信息、SAO参数等)被多路复用为编码流并从编码侧发送至解码侧的情况。用于发送这些信息片段的方法然而并不限于此实例。例如，这些信息片段在未被多路复用为编码比特流的情况下可作为与编码比特流相关联的独立数据进行发送或记录。这里，术语“相关联”是指当解码时允许包括在比特流中的图像(所述图像可为图像的一部分，诸如片层或区块)及与所述图像对应的信息建立链路。即，所述信息可藉由与所述图像(或所述比特流)的发送路径不同的发送路径进行发送。此外，所述信息还可记录在与所述图像(或所述比特流)的记录介质不同的记录介质(或同一记录介质中的不同记录区域)中。此外，在任意单元(诸如多个帧、一个帧或帧内一部分)中，所述信息和所述图像(或所述比特流)可能彼此相关联。
上文已经参考附图说明本发明的优选实施例，但本发明当然并不限于以上实例。本领域技术人员可以找到在所附权利要求的范围内的各种替换和修改，且应当理解，它们自然会归入本发明的技术范围。
(1)一种图像处理装置，所述图像处理装置包括：
图像处理部，被配置为使用在以具有分层结构的区块为单位执行编码中将使用的编码参数对通过以具有分层结构的区块为单位对比特流执行解码处理而生成的图像执行图像处理。
(2)根据(1)所述的图像处理装置，
其中所述编码参数为表示区块大小的参数。
(3)根据(2)所述的图像处理装置，
其中所述编码参数为表示层深的参数。
(4)根据(3)所述的图像处理装置，
其中所述编码参数为split_flag。
(5)根据(1)所述的图像处理装置，
其中所述编码参数为自适应补偿滤波器的参数。
(6)根据(5)所述的图像处理装置，
其中所述编码参数为表示边缘补偿或带状补偿的参数。
(7)根据(1)至(4)中任一项所述的图像处理装置，
其中所述图像处理部使用由所述编码参数生成的编码区块大小图来执行图像处理。
(8)根据(1)至(4)及(7)中任一项所述的图像处理装置，
其中所述图像处理部包括：
区域检测部，被配置为通过检测区域边界由所述编码参数生成区域信息，及
高图像品质处理部，被配置为基于通过所述区域检测部检测到的区域信息对所述图像执行高图像品质处理。
(9)根据(8)所述的图像处理装置，
其中所述区域检测部生成区域信息，所述区域信息包括表示动态本体区域或静止区域的信息。
(10)根据(9)所述的图像处理装置，
其中所述区域检测部使用通过对所述比特流执行解码处理而获得的运动向量信息来生成所述区域信息。
(11)根据(8)至(10)中任一项所述的图像处理装置，
其中所述图像处理部还包括区域确定部，被配置为由所述编码参数生成表示遮挡区域或过度变形区域的区域信息，以及
其中所述高图像品质处理部基于通过所述区域检测部检测到的区域信息和通过所述区域确定部生成的区域信息对所述图像执行高图像品质处理。
(12)根据(8)至(11)中任一项所述的图像处理装置，
其中所述高图像品质处理为使用画面内相关性的处理。
(13)根据(8)至(12)中任一项所述的图像处理装置，
其中所述高图像品质处理为降噪、高帧速率处理或多帧超分辨率处理。
(14)根据(1)所述的图像处理装置，
其中所述图像处理部包括：
区域确定部，被配置为由所述编码参数生成表示遮挡区域或过度变形区域的区域信息，及
高图像品质处理部，被配置为基于通过所述区域确定部确定的区域信息对所述图像执行高图像品质处理。
(15)根据(1)至(14)中任一项所述的图像处理装置，所述图像处理装置还包括：
解码部，被配置为对所述比特流执行解码处理以生成所述图像并输出所述编码参数，
其中所述图像处理部使用通过所述解码部输出的编码参数对通过所述解码部生成的图像执行图像处理。
(16)根据(15)所述的图像处理装置，
其中所述解码部还包括：
自适应补偿滤波部，被配置为对所述图像执行自适应补偿处理。
(17)一种图像处理方法，所述图像处理方法包括以下步骤：
通过图像处理装置，使用在以具有分层结构的区块为单位执行编码中将使用的编码参数对通过以具有分层结构的区块为单位对比特流执行解码处理而生成的图像执行图像处理。
附图标记列表
101图像处理装置
111解码部
112图像处理部
121运动向量转换器
122动态本体区域检测器
123动态图像处理器
181边界区块判定部
182标记部
183动态本体静止判定部
201图像处理装置
211图像处理部
221区域分割部
231对象边界检测器
232时间轴处理非自适应区域确定部
233时间轴处理区域解码部

Claims (17)

1.一种图像处理装置，所述图像处理装置包括：
图像处理部，被配置为使用在以具有分层结构的区块为单位执行编码中将使用的编码参数对通过以具有分层结构的区块为单位对比特流执行解码处理而生成的图像执行图像处理。
2.根据权利要求1所述的图像处理装置，
其中所述编码参数为表示区块大小的参数。
3.根据权利要求2所述的图像处理装置，
其中所述编码参数为表示层深的参数。
4.根据权利要求3所述的图像处理装置，
其中所述编码参数为split-flag。
5.根据权利要求1所述的图像处理装置，
其中所述编码参数为自适应补偿滤波器的参数。
6.根据权利要求5所述的图像处理装置，
其中所述编码参数为表示边缘补偿或带状补偿的参数。
7.根据权利要求1所述的图像处理装置，
其中所述图像处理部使用由所述编码参数生成的编码区块大小图来执行图像处理。
8.根据权利要求1所述的图像处理装置，
其中所述图像处理部包括：
区域检测部，被配置为通过检测区域边界由所述编码参数生成区域信息，及
高图像品质处理部，被配置为基于通过所述区域检测部检测到的区域信息对所述图像执行高图像品质处理。
9.根据权利要求8所述的图像处理装置，
其中所述区域检测部生成区域信息，所述区域信息包括表示动态本体区域或静止区域的信息。
10.根据权利要求9所述的图像处理装置，
其中所述区域检测部使用通过对所述比特流执行解码处理而获得的运动向量信息来生成所述区域信息。
11.根据权利要求8所述的图像处理装置，
其中所述图像处理部还包括区域确定部，被配置为由所述编码参数生成表示遮挡或过度变形区域的区域信息，以及
其中所述高图像品质处理部基于通过所述区域检测部检测到的区域信息和通过所述区域确定部生成的区域信息对所述图像执行高图像品质处理。
12.根据权利要求8所述的图像处理装置，
其中所述高图像品质处理为使用画面内相关性的处理。
13.根据权利要求12所述的图像处理装置，
其中所述高图像品质处理为降噪、高帧速率处理或多帧超分辨率处理。
14.根据权利要求1所述的图像处理装置，
其中所述图像处理部包括：
区域确定部，被配置为由所述编码参数生成表示遮挡或过度变形区域的区域信息，及
高图像品质处理部，被配置为基于通过所述区域确定部确定的区域信息对所述图像执行高图像品质处理。
15.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
解码部，被配置为对所述比特流执行解码处理以生成所述图像并输出所述编码参数，
其中所述图像处理部使用通过所述解码部输出的编码参数对通过所述解码部生成的图像执行图像处理。
16.根据权利要求15所述的图像处理装置，
其中所述解码部还包括：
自适应补偿滤波部，被配置为对所述图像执行自适应补偿处理。
17.一种图像处理方法，所述图像处理方法包括以下步骤：
通过图像处理装置，使用在以具有分层结构的区块为单位执行编码中将使用的编码参数对通过以具有分层结构的区块为单位对比特流执行解码处理而生成的图像执行图像处理。
CN201480039153.5A 2013-07-17 2014-07-08 图像处理装置及方法 Pending CN105409222A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013148437 2013-07-17
JP2013-148437 2013-07-17
PCT/JP2014/068124 WO2015008652A1 (ja) 2013-07-17 2014-07-08 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN105409222A true CN105409222A (zh) 2016-03-16

Family

ID=52346120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039153.5A Pending CN105409222A (zh) 2013-07-17 2014-07-08 图像处理装置及方法

Country Status (4)

Country Link
US (1) US20160165246A1 (zh)
JP (1) JP6365540B2 (zh)
CN (1) CN105409222A (zh)
WO (1) WO2015008652A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017167194A1 (zh) * 2016-03-29 2017-10-05 万维数码有限公司 一种提升视频分辨率和视频质量的方法、编码器及解码器
CN107404653A (zh) * 2017-05-23 2017-11-28 南京邮电大学 一种hevc码流的停车事件快速检测方法
CN110999295A (zh) * 2017-07-04 2020-04-10 华为技术有限公司 边界强制分区的改进
CN112004090A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 目标边界确定方法、计算机设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
KR102520957B1 (ko) * 2016-04-15 2023-04-12 삼성전자주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법
CN111345039B (zh) * 2017-11-16 2024-04-02 松下电器（美国）知识产权公司 解码装置和解码方法
WO2019151284A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
US11190777B2 (en) * 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding
US11317090B2 (en) * 2019-08-12 2022-04-26 Tencent America LLC Method and apparatus for video coding
KR102266996B1 (ko) * 2019-12-10 2021-06-18 성균관대학교산학협력단 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
CN113436175B (zh) * 2021-06-30 2023-08-18 平安科技（深圳）有限公司 车图像分割质量的评估方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279478A1 (en) * 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
US20100080472A1 (en) * 2008-09-26 2010-04-01 Kabushiki Kaisha Toshiba Image processing apparatus, moving image decoding apparatus, moving image encoding apparatus and method
CN102905055A (zh) * 2011-07-27 2013-01-30 索尼公司 图像处理装置和图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW293227B (zh) * 1994-11-24 1996-12-11 Victor Company Of Japan
JP2924691B2 (ja) * 1995-01-26 1999-07-26 日本ビクター株式会社 量子化ノイズの低減方法及び画像データの復号化装置
JP2940422B2 (ja) * 1994-11-24 1999-08-25 日本ビクター株式会社 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
JP2000209589A (ja) * 1999-01-11 2000-07-28 Matsushita Electric Ind Co Ltd ビデオデ―タの適応的後処理装置および方法
JP2001285876A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
EP1816870A4 (en) * 2004-11-19 2009-07-29 Panasonic Corp VIDEO CODING METHOD AND VIDEO CODING METHOD
WO2007136094A1 (ja) * 2006-05-24 2007-11-29 Panasonic Corporation 動画像復号装置
JP2009017509A (ja) * 2007-07-09 2009-01-22 Panasonic Corp 画像復号化装置及び画像復号化方法
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101676830B1 (ko) * 2010-08-16 2016-11-17 삼성전자주식회사 영상 처리 장치 및 방법
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US10382753B2 (en) * 2011-06-20 2019-08-13 Sun Patent Trust Simplified pipeline for filtering
CA2844593A1 (en) * 2011-08-09 2013-02-14 Byeong-Doo Choi Multiview video data encoding method and device, and decoding method and device
ITTO20120413A1 (it) * 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
ES2764989T3 (es) * 2012-07-02 2020-06-05 Samsung Electronics Co Ltd Codificación por entropía de un vídeo y decodificación por entropía de un vídeo

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279478A1 (en) * 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
US20100080472A1 (en) * 2008-09-26 2010-04-01 Kabushiki Kaisha Toshiba Image processing apparatus, moving image decoding apparatus, moving image encoding apparatus and method
CN102905055A (zh) * 2011-07-27 2013-01-30 索尼公司 图像处理装置和图像处理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHIH-MING FU: "Picture Quadtree Adaptive Offset", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
CHIH-MING FU: "Sample adaptive offset for HEVC", 《MULTIMEDIA SIGNAL PROCESSING (MMSP)》 *
FARSIU. S ET AL: "Fast and robust multi-frame super resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
MCCANN ET AL.: "Samsung’s Response to the Call for Proposals on Video Compression Technology", 《 JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETIN》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017167194A1 (zh) * 2016-03-29 2017-10-05 万维数码有限公司 一种提升视频分辨率和视频质量的方法、编码器及解码器
CN109196859A (zh) * 2016-03-29 2019-01-11 万维数码有限公司 一种提升视频分辨率和视频质量的方法、编码器及解码器
CN107404653A (zh) * 2017-05-23 2017-11-28 南京邮电大学 一种hevc码流的停车事件快速检测方法
CN107404653B (zh) * 2017-05-23 2019-10-18 南京邮电大学 一种hevc码流的停车事件快速检测方法
CN110999295A (zh) * 2017-07-04 2020-04-10 华为技术有限公司 边界强制分区的改进
CN110999295B (zh) * 2017-07-04 2024-03-26 华为技术有限公司 边界强制分区的改进
CN112004090A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 目标边界确定方法、计算机设备及存储介质

Also Published As

Publication number Publication date
US20160165246A1 (en) 2016-06-09
JP6365540B2 (ja) 2018-08-01
WO2015008652A1 (ja) 2015-01-22
JPWO2015008652A1 (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
CN105409222A (zh) 图像处理装置及方法
US11695941B2 (en) Image processing device and method
JP6823151B2 (ja) 符号化装置および符号化方法
US10764574B2 (en) Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
CN102484712B (zh) 用于数字视频记录器的视频格式
US20190238839A1 (en) Image processing apparatus and image processing method
CN104380738A (zh) 图像处理装置及方法
JP6883219B2 (ja) 符号化装置及び符号化方法、並びに、システム
WO2017191749A1 (ja) 画像処理装置及び画像処理方法
CN103583045A (zh) 图像处理装置以及图像处理方法
CN104956675A (zh) 图像处理装置和图像处理方法
JP6824034B2 (ja) 画像復号装置および方法
US20190020877A1 (en) Image processing apparatus and method
CN104104967A (zh) 图像处理设备及图像处理方法
CN104255028A (zh) 图像处理设备及图像处理方法
CN103636211A (zh) 图像处理设备以及图像处理方法
WO2018131524A1 (ja) 画像処理装置及び画像処理方法
CN104170383A (zh) 图像处理装置和方法
CN104704823A (zh) 图像处理装置和方法
WO2018173873A1 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
US20210297687A1 (en) Encoding apparatus, encoding method, decoding apparatus, and decoding method
US11423578B2 (en) Encoding device, encoding method, decoding device, and decoding method
JP2015008359A (ja) 画像符号化装置および方法、並びに、画像復号装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20201127