CN112352425B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN112352425B
CN112352425B CN201980039781.6A CN201980039781A CN112352425B CN 112352425 B CN112352425 B CN 112352425B CN 201980039781 A CN201980039781 A CN 201980039781A CN 112352425 B CN112352425 B CN 112352425B
Authority
CN
China
Prior art keywords
image
fisheye
intra prediction
prediction mode
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980039781.6A
Other languages
English (en)
Other versions
CN112352425A (zh
Inventor
松本润一
坪井厚
上野弘道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112352425A publication Critical patent/CN112352425A/zh
Application granted granted Critical
Publication of CN112352425B publication Critical patent/CN112352425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Geometry (AREA)

Abstract

块位置计算单元411在根据鱼眼信息确定输入图像是鱼眼图像时计算要被处理的块相对于鱼眼中心的位置，并且将指示所计算的位置的位置信息输出到表选择单元412。当根据鱼眼信息确定输入图像是鱼眼图像时，表选择单元412基于位置信息从多个帧内预测模式表中选择与要处理的块的位置对应的帧内预测模式表，并将所选择的帧内预测模式表输出到预测图像生成单元413。预测图像生成单元413通过使用从表选择单元412提供的帧内预测模式表和经由选择单元37从帧存储器36读出的参考图像数据来执行方向性预测，并且生成帧内预测模式表中指示的预测模式的预测图像数据。可以有效地执行失真图像的编码或解码。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法。
背景技术
可以与对通过使用具有比鱼眼镜头的视角窄的视角的标准镜头等执行图像捕获而获得的图像(普通图像)的编码/解码处理类似地，对通过使用鱼眼镜头执行图像捕获而获得的鱼眼图像执行编码/解码处理。然而，鱼眼图像具有鱼眼失真，具体地，当位于远离中心的对象更朝向中心失真时，出现该鱼眼失真。因此，在PTL1中，根据镜头的特征来决定图像的特征，基于通过以预定的第一尺寸进行划分而产生的第一块中的图像的特征来决定块尺寸，以决定的块的尺寸进一步划分第一块，并且对每个块执行预测编码，从而试图提高编码效率。
引用列表
专利文献
[PTL 1]
JP 2015-050661A
发明内容
技术问题
同时，在PTL 1中，在不考虑根据镜头的特征决定的图像的特征的情况下，对通过基于图像的特征的块尺寸的划分而产生的块执行预测编码。因此，存在不能有效地执行划分块的预测编码的风险。
因此，本技术的目的在于，提供一种能够对产生了失真的图像高效地执行编码或解码处理的图像处理装置以及图像处理方法。
问题的解决方案
根据该技术的第一方面，图像处理装置包括帧内预测部，该帧内预测部通过使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测，从而生成预测图像，该鱼眼图像是通过使用鱼眼镜头捕获的。
在该技术中，使用根据在通过使用鱼眼镜头捕获的鱼眼图像中的处理目标块的位置的帧内预测模式表。根据处理目标块的位置的帧内预测模式表可以包括其中预定的多个预测方向是根据处理目标块相对于鱼眼图像的鱼眼中心的位置而变化的表，或者可以包括其中预测方向是基于用于校正在处理目标块的位置处生成的鱼眼失真的校正率而变化的表。另外，根据处理目标块的位置的帧内预测模式表可以包括表示根据处理目标块相对于鱼眼图像的鱼眼中心的位置从预定的多个预测方向中选择的预测方向的表，可以包括表示与处理目标块相对于鱼眼中心的方向正交的周向被设置为密集方向并从预定的多个预测方向中选择的预测方向的表，或者可以包括表示密集程度随着从鱼眼中心到处理目标块的距离增加而增加并从预定的多个预测方向中选择的预测方向的表。
帧内预测部通过使用根据处理目标块的位置的帧内预测模式表来执行帧内预测，并且生成预测图像。另外，帧内预测部可以通过使用鱼眼图像的鱼眼中心作为参考点，在径向和周向上分成多个区域，针对每个区域提供帧内预测模式表，并且帧内预测部可以通过使用与包括处理目标块的区域对应的帧内预测模式表来执行帧内预测。关于分割区域，对关于作为目标点的鱼眼中心点对称的区域，提供相同的帧内预测模式表。另外，包括鱼眼中心的区域的帧内预测模式表包括表示预定的多个预测方向的表。另外，根据鱼眼镜头的镜头特征来设置径向上的分割区域的数量或径向上的区域分割间隔。
另外，还包括可逆编码部，在输入图像是鱼眼图像的情况下，可逆编码部在输入图像的编码流中包括鱼眼信息。鱼眼信息至少包括表示输入图像是鱼眼图像以及表示鱼眼图像的鱼眼中心的信息。另外，鱼眼信息可以包括关于用于获取鱼眼图像的鱼眼镜头的信息。
另外，还包括对鱼眼图像的编码流进行解码的可逆解码部，可逆解码部解析编码流中包括的鱼眼信息和最佳帧内预测模式，并且帧内预测部基于由可逆解码部获得的鱼眼信息和最佳帧内预测模式，通过使用根据处理目标块的位置的帧内预测模式表来生成预测图像。另外，鱼眼信息至少包括表示输入图像是鱼眼图像以及表示鱼眼图像的鱼眼中心的信息，并且帧内预测部根据处理目标块相对于鱼眼图像的鱼眼中心的位置来使用帧内预测模式表。另外，鱼眼信息包括关于用于获取鱼眼图像的鱼眼镜头的信息，并且帧内预测部根据关于鱼眼镜头的信息和处理目标块的位置来使用帧内预测模式表。
根据该技术的第二方面，图像处理方法包括通过使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测，从而通过帧内预测部生成预测图像，鱼眼图像是通过使用鱼眼镜头捕获的。
发明的有利效果
根据该技术，通过使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测，并且生成预测图像，鱼眼图像是使用鱼眼镜头捕获的。因此，可以有效地对产生了失真的图像执行编码或解码处理。注意，本说明书中描述的优点仅作为示例示出，并且本技术的优点不限于本说明书中描述的优点。可能存在附加的优点。
附图说明
[图1]图1是示出图像编码装置的配置的示例的图。
[图2]图2是示出帧内预测部的配置的示例的图。
[图3]图3描绘了用于说明鱼眼图像与普通图像的失真之间的差异的图。
[图4]图4描绘了示出鱼眼镜头的投影方法的图。
[图5]图5是示出了对于每种投影方法，用于将鱼眼图像校正为普通图像的校正率的图。
[图6]图6描绘了用于说明校正率的导出的图。
[图7]图7是示出用于普通图像的帧内预测模式表的图。
[图8]图8是示出在其上产生失真的帧内预测模式表的图。
[图9]图9是用于说明失真表的生成的图。
[图10]图10描绘了示出说明用于普通图像的帧内预测模式表(基本表)中的预测模式与倾斜之间的关系的图。
[图11]图11描绘了用于说明帧内预测的预测方向的图。
[图12]图12是示出鱼眼图像所使用的帧内预测模式表(失真表)的预测模式与倾斜(在θ1＝π/4、Km＝1.3的情况下)之间的关系的图。
[图13]图13描绘了用于说明鱼眼图像的区域划分的图。
[图14]图14是示出图像编码装置的编码处理操作的示例的流程图。
[图15]图15是示出帧内预测处理的示例的流程图。
[图16]图16是示出在层数＝4的情况下每层中的校正率与间隔比之间的关系的示例的图。
[图17]图17是示出图像解码装置的配置的示例的图。
[图18]图18是示出图像解码装置的操作的示例的流程图。
[图19]图19是示出帧内预测中的预测图像生成处理的流程图。
[图20]图20描绘了示出在基于处理目标块相对于鱼眼中心的取向来生成选择表的情况下的操作的示例的图。
[图21]图21描绘了示出处理目标块相对于鱼眼中心的取向和预测模式选择结果的示例的图。
[图22]图22描绘了示出在基于处理目标块相对于鱼眼中心的取向和距鱼眼中心的距离来生成选择表情况下的操作的示例的图。
[图23]图23描绘了示出根据处理目标块相对于鱼眼中心的取向和从鱼眼中心到处理目标块的距离的预测模式选择结果的示例的图。
[图24]图24是示出帧内预测处理的流程图。
具体实施方式
以下，将描述用于执行本技术的模式。本申请中公开的范围不仅包括本说明书和附图中描述的内容，而且包括在提交本申请时已知的以下文献中描述的内容。
文献1：AVC标准(“用于一般视听服务的高级视频编码(Advanced video codingfor generic audiovisual services)”，ITU-T H.264(2017年4月))
文献2：HEVC标准(“高效视频编码(High efficiency video coding)”，ITU-TH.265(2016年12月))
文献3：FVC算法描述(联合探索测试模型7(JEM7)算法描述(FVC algorithmdescription(Algorithm description of Joint Exploration Test Model7(JEM7))，2017-08-19)
也就是说，上述文献中描述的内容也成为确定支持要求的基础。例如，即使在实施方式中没有直接描述，文献1中描述的四叉树块结构以及文献3中描述的QTBT(四叉树加二叉树)和块结构也在本技术的公开内容的范围内，并且被认为满足权利要求的支持要求。另外，例如，即使在实施方式中没有直接描述，诸如解析、语法或语义的技术术语类似地在本技术的公开内容的范围内，并且被认为满足权利要求的支持要求。
另外，在本说明书中，用于说明图像(图片)的部分区域和处理单元的“块”(不是表示处理部的块)只要没有特别说明，就表示图片内的任何部分区域，其尺寸、形状、特征等没有限制。例如，“块”包括任何部分区域(处理单元)，例如，如在上述文献1至3中所描述的TB(变换块)、TU(变换单元)、PB(预测块)、PU(预测单元)、SCU(最小编码单元)、CU(编码单元)、LCU(最大编码单元)、CTB(编码树块)、CTU(编码树单元)、变换块、子块、宏块、图块、切片等。
另外，在指定这样的块的尺寸时，不仅可以直接指定块尺寸，还可以间接指定块尺寸。例如，可以通过使用标识尺寸的标识信息来指定块尺寸。另外，例如，可以通过与用作参考块尺寸的块(例如，LCU、SCU等)的尺寸的比率或与其的差来指定块尺寸。例如，在发送将块尺寸指定为语法元素等的信息的情况下，可以使用间接指定上述尺寸的信息作为该信息。通过这样做，可以减少信息的信息量，并且在一些情况下可以提高编码效率。另外，块尺寸的指定还包括块尺寸的范围的指定(例如，块尺寸的容许范围的指定等)。
下面，按照以下顺序描述本技术：
1.关于图像处理装置
2.第一实施方式
2-1.图像编码装置的配置
2-2.图像编码装置的操作
2-2-1.关于帧内预测表
2-2-2.关于编码处理操作
2-3.图像解码装置的配置
2-4.图像解码装置的操作
3.第二实施方式
3-1.图像编码装置的配置
3-2.图像编码装置的操作
3-2-1.关于帧内预测表
3-2-2.关于编码处理操作
4.应用示例
<1.关于图像处理装置>
图像处理装置对通过使用鱼眼镜头执行图像捕获所获取的运动图像(以下，也称为“鱼眼图像”)执行编码处理，或者对通过编码处理所生成的编码流执行解码处理。另外，图像处理装置还被配置成能够对通过使用不产生鱼眼失真的镜头(以下，也称为“普通镜头”)执行图像捕获所获取的运动图像(以下，也称为“普通图像”)执行编码处理，或者对通过编码处理所生成的编码流执行解码处理。
<2.第一实施方式>
在第一实施方式中，通过根据镜头失真特征切换帧内预测表来提高帧内预测的编码效率。
<2-1.图像编码装置的配置>
图1示出了对鱼眼图像执行编码处理的图像编码装置的配置的示例。图像编码装置10通过使用预测处理来执行图像数据的编码，并且生成符合例如H.265/HEVC标准的编码流。
图像编码装置10具有屏幕重新布置缓冲器21、计算部22、正交变换部23、量化部24、可逆编码部25、累积缓冲器26和速率控制部27。另外，图像编码装置10具有逆量化部31、逆正交变换部32、计算部33、去块滤波器34、SAO(样本自适应偏移)滤波器35、帧存储器36和选择部37。此外，图像编码装置10具有帧内预测部41、帧间预测部42和预测选择部43。
鱼眼图像作为输入图像被输入到屏幕重新布置缓冲器21。另外，关于鱼眼图像的鱼眼信息被输入到帧内预测部41、帧间预测部42和可逆编码部25。该鱼眼信息至少包括表示输入图像是鱼眼图像的信息和表示鱼眼图像的鱼眼中心在哪里的信息。例如，包括表示输入图像是鱼眼图像的标志信息、以及表示二维图像中的鱼眼中心的位置、鱼眼图像的半径等的信息。另外，鱼眼信息还可以包括关于用于获取鱼眼图像的镜头的信息(例如，投影方法、镜头的名称等)。关于用于获取鱼眼图像的镜头的信息可以用作表示输入图像是鱼眼图像的信息。
屏幕重新布置缓冲器21存储输入图像，并根据GOP(图像组)结构，按照用于编码的顺序(编码顺序)重新布置按照显示顺序布置的存储的帧图像。屏幕重新布置缓冲器21将按照编码顺序重新布置的帧图像的图像数据(原始图像数据)输出到计算部22。另外，屏幕重新布置缓冲器21将原始图像数据输出到SAO滤波器35、帧内预测部41和帧间预测部42。
计算部22针对每个像素从由屏幕重新布置缓冲器21提供的原始图像数据中减去经由预测选择部43从帧内预测部41或帧间预测部42提供的预测图像数据，并将表示预测残差的残差数据输出到正交变换部23。
例如，在执行帧内编码的图像的情况下，计算部22从原始图像数据中减去由帧内预测部41生成的预测图像数据。另外，例如，在对图像执行帧间编码的情况下，计算部22从原始图像数据中减去由帧间预测部42生成的预测图像数据。
正交变换部23对从计算部22提供的残差数据执行正交变换处理。例如，对于在每个CTU(编码树单元)中设置的一个或更多个TU中的每一个，正交变换部23执行正交变换，例如，离散余弦变换、离散正弦变换或Karhunen–Loève变换。正交变换部23将通过执行正交变换处理而获得的频域中的变换系数输出到量化部24。
量化部24量化由正交变换部23输出的变换系数。量化部24将变换系数的量化数据输出到可逆编码部25。另外，量化部24还将所生成的量化数据输出到逆量化部31。
对于每个CTU，可逆编码部25对从量化部24输入的量化数据执行可逆编码处理，例如CABAC(上下文自适应二进制算术编码)的可逆编码处理。另外，可逆编码部25获取关于由预测选择部43选择的预测模式的信息，例如，帧内预测信息、帧间预测信息等。此外，可逆编码部25从下面提到的SAO滤波器35获取关于滤波处理的滤波器信息。此外，可逆编码部25获取表示应该如何为图像设置CTU、CU、TU和PU的块信息。可逆编码部25除了对量化数据进行编码之外，还将所获取的关于编码处理的参数信息作为H.265/HEVC标准的语法元素，作为编码流的报头信息的一部分累积在累积缓冲器26中。另外，可逆编码部25将输入到图像编码装置10的鱼眼信息包括在编码流中作为编码流的语法元素或作为附加信息的SEI(补充增强信息)。
累积缓冲器26临时地保存从可逆编码部25提供的数据，并且作为已经编码的编码图像，在预定定时将数据作为编码流输出到例如位于下游侧的未示出的记录装置、传输路径等。
基于累积在累积缓冲器26中的压缩图像，速率控制部27控制量化部24的量化操作的速率，使得不会发生上溢或下溢。
逆量化部31通过与在量化部24执行的量化对应的方法，对从量化部24提供的变换系数的量化数据执行逆量化。逆量化部31将获得的逆量化数据输出到逆正交变换部32。
逆正交变换部32通过与在正交变换部23执行的正交变换处理对应的方法，对所提供的逆量化数据执行逆正交变换。逆正交变换部32向计算部33输出逆正交变换的结果，也就是说，所恢复的残差数据。
计算部33将从帧内预测部41或帧间预测部42经由预测选择部43提供的预测图像数据加到从逆正交变换部32提供的残差数据，并且获得局部解码图像(解码图像)。例如，在残差数据对应于要被执行帧内编码的图像的情况下，计算部33将从帧内预测部41提供的预测图像数据添加到残差数据。另外，例如，在残差数据对应于要被执行帧间编码的图像的情况下，计算部33将从帧间预测部42提供的预测图像数据添加到残差数据。作为添加的结果的解码图像数据被输出到去块滤波器34。另外，解码图像数据作为参考图像数据被输出到帧存储器36。
去块滤波器34通过适当地执行去块滤波处理来消除解码图像数据中的块失真。去块滤波器34将滤波处理的结果输出到SAO滤波器35。
SAO滤波器35对经过由去块滤波器34滤波的解码图像数据执行自适应偏移滤波处理(也称为SAO(采样自适应偏移)处理)。SAO滤波器35将SAO处理之后的图像输出到帧存储器36。
在帧存储器36中累积的参考图像数据在预定定时经由选择部37被输出到帧内预测部41或帧间预测部42。例如，在对其执行帧内编码的图像的情况下，从帧存储器36读出尚未由去块滤波器34等执行滤波处理的参考图像数据，并且其经由选择部37被输出到帧内预测部41。另外，例如，在执行帧间编码的情况下，从帧存储器36读出已经由去块滤波器34等执行滤波处理的参考图像数据，并且其经由选择部37被输出到帧间预测部42。
在输入图像是通过使用鱼眼镜头捕获的鱼眼图像的情况下，帧内预测部41通过使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测。假定处理目标块的位置是处理目标块中的左上像素的位置。另外，在输入图像是普通图像的情况下，通过使用预定的帧内预测模式表来执行帧内预测。
图2示出了帧内预测部41的配置的示例。帧内预测部41具有块位置计算部411、表选择部412、预测图像生成部413和最佳模式决定部414。
在基于鱼眼信息识别出输入图像是鱼眼图像的情况下，块位置计算部411计算处理目标块相对于鱼眼中心的位置(处理目标块中左上像素的位置)，并且将表示所计算的位置信息输出到表选择部412。
在基于鱼眼信息识别出输入图像是鱼眼图像的情况下，表选择部412基于位置信息从由外部提供的或预先存储在其中的多个帧内预测模式表中选择根据处理目标块的位置的帧内预测模式表，并将所选择的帧内预测模式表输出到预测图像生成部413。另外，在针对鱼眼镜头的每种类型的镜头特征(例如，投影方法)提供帧内预测模式表的情况下，表选择部412根据鱼眼信息中表示的镜头特征和处理目标块的位置来选择帧内预测模式表，并且将所选择的帧内预测模式表输出到预测图像生成部413。另外，在输入图像是普通图像的情况下，表选择部412将其中预定的多个预测方向被设置为方向预测的预测模式的帧内预测模式表(以下，也称为“基本表”)输出到预测图像生成部413。
预测图像生成部413通过使用从表选择部412提供的帧内预测模式表和经由选择部37从帧存储器36读出的参考图像数据，执行方向预测，并且生成帧内预测模式表所表示的所有预测模式的预测图像数据。另外，预测图像生成部413通过将处理目标块设定成预测块尺寸，按每个预测块尺寸执行每个预测模式的预测图像数据的生成。预测图像生成部413将生成的预测图像数据输出到最佳模式决定部414。
最佳模式决定部414通过使用从屏幕重新布置缓冲器21提供的原始图像数据和针对每个预测块尺寸和针对每个预测模式的预测图像数据来计算成本函数值。另外，最佳模式决定部414在将使成本函数值最小、也就是说使压缩率最大的帧内预测模式和预测块尺寸的组合决定为最佳帧内预测模式和最佳预测块尺寸的同时，生成表示最佳帧内预测模式等的帧内预测信息。最佳模式决定部414将在最佳帧内预测模式和最佳预测块尺寸中生成的预测图像数据和成本函数值以及将帧内预测信息输出到预测选择部43。
返回图1，基于原始图像数据和解码图像数据，帧间预测部42对设置在每个CTU中的一个或更多个PU中的每个PU执行帧间预测处理(运动感测和运动补偿)。例如，对于包括在例如HEVC的规范中定义的搜索范围中的预测模式候选中的每个预测模式候选，帧间预测部42基于预测误差和要生成的编码量来评估成本函数值。另外，在基于鱼眼信息识别出输入图像是与普通图像不同的鱼眼图像的情况下，帧间预测部42根据鱼眼图像例如对与当前预测块相邻的周边块的运动矢量执行缩放处理。帧间预测部42通过使用已经经过缩放处理的周边块的运动矢量来生成预测运动矢量。另外，帧间预测部42生成当前预测块的运动矢量与预测运动矢量之间的差矢量，并且使用差矢量来计算成本函数值。接下来，帧间预测部42选择使成本函数值最小的预测模式，也就是说，使压缩率最大的预测模式，作为最佳帧间预测模式。另外，帧间预测部42生成包括表示使成本函数值最小化的差矢量的运动信息和预测运动矢量等的帧间预测信息。帧间预测部42将在最佳帧间预测模式和最佳预测块中生成的预测图像数据和成本函数值以及将帧间预测信息输出到预测选择部43。
基于从帧内预测部41和帧间预测部42输入的成本函数值之间的比较，预测选择部43为每个CTU、CU等设置预测模式。关于设置了帧内预测模式的块，预测选择部43将由帧内预测部41生成的预测图像数据输出到计算部22和33，并且将帧内预测信息输出到可逆编码部25。另外，关于设置了帧间预测模式的块，预测选择部43将由帧间预测部42生成的预测图像数据输出到计算部22和33，并且将帧间预测信息输出到可逆编码部25。
<2-2.图像编码装置的操作>
<2-2-1.关于帧间预测表>
接下来，描述将在帧内预测部41处使用的帧内预测表。图3描绘了用于说明鱼眼图像与普通图像的失真之间的差异的图。例如，被摄体OB是半径以恒定间隔彼此不同的同心圆，并且通过使用普通镜头和鱼眼镜头将同心圆的中心设置到图像的中间位置来捕获被摄体OB的图像。图3中的子图(a)示出了通过使用普通镜头获取的普通图像，并且图3中的子图(b)示出了通过使用鱼眼镜头获取的鱼眼图像。
在普通图像中的被摄体OB的同心圆表示半径以恒定间隔彼此不同。然而，鱼眼图像具有这样的特性：随着离中心的距离增加，朝向中心的失真增加，并且随着离中心的距离增加，被摄体OB的同心圆的半径之间的间隔减小。另外，由于仅朝向中心产生失真，因此在圆的中心与镜头的中心一致的情况下，形状保持为完美的圆。鱼眼镜头的这样的特性适用于采用任何类型的投影方法的鱼眼镜头。因此，可以基于失真的程度将鱼眼图像校正为普通图像。这里，如果用于校正根据距鱼眼镜头的中心的距离而变化的鱼眼失真的校正率是“K”，则校正率K具有由式(1)和式(2)表示的特性。注意，式(1)表示校正率K是距鱼眼中心的距离r的函数，并且式(2)表示如果鱼眼图像被变换成普通图像，则扩展图案。
κ＝F(r) (1)
κ＞1 (2)
校正率K例如可以基于鱼眼图像和普通图像的特征式来确定。图4示出鱼眼镜头的投影方法。图4中的子图(a)示出了正交投影方法，并且以入射角α进入的光与进入的光被投影的位置y之间的关系(特征式)可以由式(3)表示。注意，“f”是鱼眼镜头的焦距。
r＝f·sinα (3)
图4中的子图(b)示出了等距投影方法，并且其特征式由式(4)表示。
r＝f·α (4)
图4中的子图(c)示出了立体投影方法，并且其特征式由式(5)表示。
r＝2f·tan(α/2) (5)
图4中的子图(d)示出了等立体角投影方法，并且其特征式由式(6)表示。
r＝2f·sin(α/2) (6)
注意，不产生鱼眼失真的镜头(以下称为“普通镜头”)的投影方法是图4中的子图(e)中所示的中心投影方法，并且其特征式由式(7)表示。
r＝f·tanα (7)
可以基于鱼眼镜头和普通镜头的特征式来计算用于校正由于通过鱼眼镜头投影被摄体图像而产生的鱼眼失真的校正率。例如，在焦距和图像捕获条件相同的情况下仅改变镜头的情况下，为了使校正率K成为如式(1)所示的距鱼眼中心的距离r的函数，通过使用α作为参数，使距鱼眼镜头的中心的距离R(α)、距普通镜头的中心的距离R(α)和校正率K(α)彼此相关联。也就是说，校正率K＝普通镜头的特征式/鱼眼镜头的特征式。
图5示出了对于每种投影方法，用于将鱼眼图像校正为普通图像的校正率。例如，正交投影法的校正率为“1/cosα”。另外，等距投影法的校正率为“tanα/α”，立体投影法的校正率为“tanα/(2·tan(α/2))”，而等立体角投影法的校正率为“tanα/(2·sin(α/2))”。
图6描绘了用于说明校正率的导出的图。如图6的子图(a)所示，入射角α在0≤α≤90°的范围内变化，并且记录在每个入射角α下观察到的鱼眼镜头和普通镜头的特征式的值(在下文中，称为“特征值”)。然后，如果校正之前的特征值是r0，并且校正之后的特征值是r1，则校正率(r1/r0)具有图6中的子图(b)中所示的特征。注意，尽管在入射角为0°的情况下的校正率因为是(0/0)而没有被限定，但是因为相对于使用普通镜头的情况，鱼眼镜头的中心处的失真小，校正率被设置为1。基于图6的子图(a)和图6的子图(b)的结果，在通过使用特征值r0作为参考值来表示校正率(r1/r0)的情况下，校正率(r1/r0)相对于特征值r0的关系具有图6的子图(c)所示的特征。另外，因为特征值根据焦距f而变化，所以，将特征值r0的范围在“0”至“1”的范围内进行标准化，能够基于通过将特征值r0标准化而得到的校正率和焦距，获得相对于关注的特征值r0的校正率(r1/r0)。注意，如何计算校正率不限于上述方法，而是可以通过使用其他方法来实现。
由于普通图像不具有特定的方向特征，因此在帧内预测中，如图7所示，无论处理目标块的位置在哪个位置，都使用将预定的多个预测方向设置为方向预测的预测模式的帧内预测模式表(基本表)。但是，鱼眼图像具有方向特征，这是因为存在上述的失真。因此，通过使用帧内预测模式表(在下文中，也称为“失真表”)中的预测模式来执行更严格地基于鱼眼图像的图案的帧内预测，并且与使用基本表的情况相比，可以提高编码效率，在帧内预测模式表中，基本表中的失真的方向和程度根据考虑了失真特征的方向和距鱼眼中心的距离而改变，然后生成图8中所示的失真。注意，图8示出了由于基本表被朝向鱼眼中心压缩而发生预测方向的密度的变化并且还根据压缩来调整帧内预测中不需要的向量的长度使得可以容易地掌握压缩的状态的示例。
接着，参照图9描述了变形表的生成。在生成鱼眼图像中的处理目标块的位置Pm(x，y)的变形表的情况下，确定从鱼眼中心Pg(xg，yg)看的位置Pm(x，y)的方向。具体的，如图9所示，基于式(8)计算表示从鱼眼中心Pg(xg，yg)看的位置Pm(x，y)的方向的角度θ。
tanθ＝(y-yg)/(x-xg) (8)
图10示出了用于普通图像的帧内预测模式表(基本表)中的预测模式与倾斜之间的关系。图10中的子图(a)示出了每个预测模式的参考方向，并且图10中的子图(b)通过角度和tanβ示出了每个预测模式的参考方向(倾斜)。
图11描绘了用于说明帧内预测的预测方向的图。图11中的子图(a)示出了在使用基本表的情况下的预测方向。预测方向tanβ可以被分成通过使用鱼眼中心Pg(xg，yg)作为参考点而测量的位置Pm(x，y)的倾斜θ1，和通过使用倾斜θ1作为参考倾斜而测量的差θ2。也就是说，“θ＝θ1+θ2”。另外，通过使用线段CM作为参考线段，预测方向的倾斜可以被分解为作为水平分量的分量cosθ2和作为垂直分量的sinθ2。
图11中的子图(b)示出了使用失真表的情况。如果将鱼眼图像中的位置Pm(x，y)转换为普通图像中的位置的情况下的校正率为“Km”，则可以通过将通过使用倾斜θ1作为参考倾斜而测量的差加到通过使用鱼眼中心Pg(xg，yg)作为参考位置而测量的位置Pm(x，y)的倾斜θ1上，来获得失真表中的预测方向tanβd。这里，因为通过使用倾斜θ1作为参考倾斜而测量的水平分量与基本表中的水平分量相比压缩了1/Km倍，所以/>由式(9)表示。
也就是说，通过基于式(10)的基本表中的tan(θ1+θ2)计算能够生成与位置Pm(x，y)对应的失真表。注意，式(10)中的参数a是根据式(11)计算的值，并且参数b是根据式(12)计算的值。
a＝tanθ1＝(y-yg)/(x-xg) (11)
b＝tan(θ1+θ2) (12)
图12示出了鱼眼图像所使用的帧内预测模式表(失真表)的预测模式与倾斜(在θ1＝π/4、Km＝1.3的情况下)之间的关系。在图12所示的失真表中，对图10所示的基本表进行改变，使得浓度随着预测方向接近135°增加。
通过执行与上述类似的处理，可以基于处理目标块的位置处的校正率和预定的帧内预测模式表(参考表)，根据处理目标块的位置生成帧内预测模式表(失真表)。
同时，如果基于对其执行帧内预测的处理目标块的位置(校正率)来生成失真表，则用于方向预测的处理成本不期望地增加。另外，在针对每个位置预先生成并存储失真表的情况下，可以降低处理成本，但是存储失真表所需的存储器容量不期望地增加。因此，通过将鱼眼图像分割为多个区域，预先对每个区域准备失真表，并在帧内预测部41中使用与处理目标块所属的区域对应的失真表，从而降低方向预测的处理成本和方向预测所需的存储器容量。
图13描绘了用于说明鱼眼图像的区域分割的图。鱼眼图像的区域分割是基于校正率执行的。如果距鱼眼图像的中心的距离相同，则校正率相同。因此，通过使用鱼眼图像的中心作为参考点，在径向上分割鱼眼图像。另外，鱼眼图像的分割区域的数量(也称为层数)根据从鱼眼图像的中心起的径向上的校正率的变化，也就是说，根据鱼眼镜头的镜头特征来设置，并且例如，层数随着径向上的预定距离的校正率的变化的最大值增加而增加。
图13中的子图(a)和(b)示出了根据校正率将鱼眼图像分割为多个区域的情况的示例。在从鱼眼图像的中心开始的径向上的校正率的变化是渐进的情况下，层数被设置为预定数量(在图13的子图(a)中层数被设置为“4”)。另外，在从鱼眼图像的中心开始的径向上的校正率的改变陡峭的情况下，与校正率的改变是渐进的情况(在图13的子图(b)中层的数量被设置为“5”)相比，使得层的数量更大。
以这种方式，通过根据从鱼眼图像的中心起的径向的校正率的变化来调整径向的分割区域的数量，可以防止区域内的校正率的变化增加。
另外，在相对于鱼眼图像的中心点对称的位置(对角相对的位置)处，失真度相同。因此，在鱼眼图像的区域分割中，通过将穿过鱼眼图像的中心的直线设置为区域的边界，将鱼眼图像分割成周向上的区域。注意，因为包括鱼眼图像的中心的区域的失真小，所以该区域可以不在周向上分割，并且可以使用基本表作为帧内预测模式表。
图13的子图(c)和子图(d)示出了将鱼眼图像分割为径向和周向上的区域的情况的示例。注意，图13中的子图(c)和(d)示出鱼眼图像在周向上被分割成八个的情况的示例。对分割区域赋予对应的失真表的索引(table_idx)作为表信息，并且由此能够根据像素位置属于哪个区域，基于与鱼眼图像中的像素位置对应的表信息来选择对应的失真表。另外，因为在关于鱼眼图像的中心点对称的位置处失真度相同，所以对关于鱼眼图像的中心点对称的位置处的区域给予相同的索引。
通过为每个区域设置倾斜θ1和校正率Km，如参照图11中子图(b)所述，生成与每个区域对应的失真表。例如，索引table_idx＝10的区域的周向上的中心处于45°的角度。例如，在径向中心的校正率为“1.3”的情况下，图12所示的其中对于θ1＝45°的倾斜校正率被计算为Km＝1.3的失真表被用作与索引table_idx＝10的区域对应的失真表。
以这种方式，执行鱼眼图像的区域分割，按每个分割区域设置失真表，在帧内预测中使用具有与处理目标块所属的区域对应的索引的失真表。
另外，如图4所示，鱼眼镜头的投影方法有多个，并且根据图5所示的投影方法，校正率不同。因此，可以对鱼眼镜头的每种镜头特征(例如，投影方法)和每个区域提供一个失真表，并且可以选择根据鱼眼信息中表示的鱼眼镜头的镜头特征和处理目标块的位置的失真表。可以将用于每个鱼眼镜头的每种类型的镜头特征和用于每个区域的失真表预先存储在内预测部41的表选择部412中，或者可以将其与鱼眼信息等一起提供给表选择部412。
<2-2-2.关于编码处理操作>
接下来，描述编码处理操作。图14是示出图像编码装置的编码处理操作的示例的流程图。
在步骤ST1处，图像编码装置执行屏幕重新布置处理。图像编码装置10的屏幕重新布置缓冲器21按照编码的顺序重新布置按照显示的顺序布置的输入图像，并将重新布置的输入图像输出到帧内预测部41、帧间预测部42和SAO滤波器35。
在步骤ST2处，图像编码装置执行帧内预测处理。图15是示出帧内预测处理的示例的流程图。在步骤ST21处，帧内预测部识别输入图像是否是鱼眼图像。在图像编码装置10的帧内预测部41基于鱼眼信息识别出输入图像是鱼眼图像的情况下，帧内预测部41前进到步骤ST22，并且在帧内预测部41识别出输入图像不是鱼眼图像的情况下，帧内预测部41识别出输入图像是普通图像，并且前进到步骤ST23。
在步骤ST22处，帧内预测部41分获取失真表。帧内预测部41根据处理目标块相对于鱼眼中心的位置来获取失真表。另外，在鱼眼图像被分割成多个区域并且针对每个区域提供失真表的情况下，帧内预测部41获取与处理目标块所属的区域对应的失真块。此外，在针对鱼眼镜头的每种类型的镜头特征和针对每个区域提供失真表的情况下，帧内预测部41获取与鱼眼信息中表示的鱼眼镜头的镜头特征和处理目标块所属的区域对应的失真表。帧内预测部41获取失真表，并且前进到步骤ST24。
在步骤ST23处，帧内预测部41获取基本表。因为输入图像是普通图像，所以帧内预测部41获取基本表，并且前进到步骤ST24。
在步骤ST24处，帧内预测部执行最佳帧内预测模式选择处理。帧内预测部41通过使用在步骤ST22处取得的失真表或在步骤ST23处取得的基本表和从帧存储器36读出的参考图像数据执行方向预测，并且按每个预测块尺寸生成失真表或基本表所表示的帧内预测模式的处理目标块的预测图像数据。帧内预测部41通过使用所生成的预测图像数据和原始图像数据来计算成本函数值。注意，将未经过去块滤波器34等的滤波处理的解码图像数据用作参考图像数据。帧内预测部41基于计算出的成本函数值来选择最佳帧内预测模式，并且将通过最佳帧内预测模式中的帧内预测生成的预测图像数据、成本函数值和帧内预测信息输出到预测选择部43。
返回图14，在步骤ST3处，图像编码装置执行帧间预测处理。帧间预测部42根据当前图片获取参考图片，并且针对所有预测模式执行运动搜索以找到当前图片中的当前预测块对应于参考图片中的哪个区域。另外，帧间预测部42执行最佳帧间预测模式选择处理，比较针对每个预测模式计算出的成本函数值，并且选择例如使成本函数值最小化的预测模式作为最佳帧间预测模式。另外，基于鱼眼信息，帧间预测部42调整要用于计算预测运动矢量的运动矢量，并且通过使用调整后的运动矢量来计算预测运动矢量。帧间预测部42在所选择的最佳帧间预测模式下执行运动补偿，并且生成预测图像数据。此外，帧间预测部42将在最佳帧间预测模式下生成的预测图像数据和成本函数值以及将帧间预测信息输出到预测选择部43，并且前进到ST4。
在步骤ST4处，图像编码装置执行预测图像选择处理。基于在步骤ST2和步骤ST3处计算的成本函数值，图像编码装置10的预测选择部43将最佳帧内预测模式或最佳帧间预测模式确定为最佳预测模式。然后，预测选择部43选择所决定的最佳预测模式的预测图像数据，并将该预测图像数据输出到计算部22和33。注意，预测图像数据用于在以下提到的步骤ST5和ST10处的计算。另外，预测选择部43将最佳预测模式的帧内预测信息或帧间预测信息输出到可逆编码部25。
在步骤ST5处，图像编码装置执行差计算处理。图像编码装置10的计算部22计算在步骤ST2处重新布置的原始图像数据和在步骤ST4中选择的预测图像数据之间的差，并将作为差分结果的残差数据输出到正交变换部23。
在步骤ST6处，图像编码装置执行正交变换处理。图像编码装置10的正交变换部23对从计算部22提供的残差数据执行正交变换，具体地，执行诸如离散余弦变换的正交变换，并且将所获得的变换系数输出到量化部24。
在步骤ST7处，图像编码装置执行量化处理。图像编码装置10的量化部24对从正交变换部23提供的变换系数进行量化。在该量化中，如下面提到的步骤ST16处的处理中描述的那样控制速率。
这样生成的量化信息以如下方式被本地解码。也就是说，图像编码装置在步骤ST8处执行逆量化处理。图像编码装置10的逆量化部31根据与量化部24对应的特征对从量化部24输出的量化数据执行逆量化。
在步骤ST9处，图像编码装置执行逆正交变换处理。图像编码装置10的逆正交变换部32根据与正交变换部23对应的特征，对由逆量化部31生成的逆量化数据执行逆正交变换，从而生成残差数据，并将所生成的残差数据输出到计算部33。
在步骤ST10处，图像编码装置执行图像相加处理。图像编码装置10的计算部33将从预测选择部43输出的预测图像数据与局部解码后的残差数据相加，并且生成局部解码图像(即，已经经过局部解码的图像)。
在步骤ST11处，图像编码装置执行去块滤波处理。图像编码装置10的去块滤波器34对从计算部33输出的图像数据执行去块滤波处理，消除块失真，并且将图像数据输出到SAO滤波器35和帧存储器36。
在步骤ST12处，图像编码装置执行SAO(样本自适应偏移)处理。图像编码装置10的SAO滤波器35对从去块滤波器34输出的图像数据执行SAO处理。作为该SAO处理的结果，针对作为最大编码单元的每个LCU获得SAO处理的类型和系数，并且通过使用该类型和系数来执行滤波处理。SAO滤波器35使SAO处理后的图像数据存储在帧存储器36中。另外，SAO滤波器35将与SAO处理有关的参数输出到可逆编码部25，并且在步骤ST14处如下所述对参数进行编码。
在步骤ST13处，图像编码装置执行存储处理。图像编码装置10的帧存储器36存储在去块滤波器34等中未经过滤波处理的图像、以及在去块滤波器34等中经过滤波处理的图像。
同时，上述在步骤ST7量化的变换系数也输出到可逆编码部25。在步骤ST14处，图像编码装置执行可逆编码处理。图像编码装置10的可逆编码部25对从量化部件24输出的量化之后的变换系数以及所提供的鱼眼信息、帧内预测信息、帧间预测信息等进行编码。
在步骤ST15处，图像编码装置执行累积处理。图像编码装置10的累积缓冲器26累积编码数据。累积在累积缓冲器26中的编码数据被适当地读出，并且经由传输路径等被发送到解码侧。
在步骤ST16处，图像编码装置执行速率控制。图像编码装置10的速率控制部27控制量化部24的量化操作的速率，使得累积在累积缓冲器26中的编码数据不发生上溢或下溢。
根据这样的图像编码装置，在输入图像为鱼眼图像的情况下，通过使用根据在处理目标块的位置处产生的鱼眼失真来调整预测方向的密度的变化的失真表来执行帧内预测。因此，与通过使用其中不调整预测方向的密度的变化的基本表来执行帧内预测的情况相比，可以提高编码效率。另外，通过在输入图像是普通图像的情况下在编码流中包括鱼眼信息，图像解码装置能够根据是否存在鱼眼信息或者基于鱼眼信息来识别输入图像是普通图像还是鱼眼图像。另外，图像解码装置可以识别当输入图像是普通图像时执行使用基本表的帧内预测，并且当输入图像是鱼眼图像时执行使用失真表的帧内预测。例如，鱼眼信息作为语法信息被包括在编码流中。另外，因为鱼眼信息直到序列从一个切换到另一个时才改变，因此如果在序列层中提供表示鱼眼信息的语法就足够了。
另外，通过在鱼眼信息中包括鱼眼镜头的镜头特征，在图像编码装置和图像解码装置处，可以通过使用与用于获取鱼眼图像的鱼眼镜头对应的失真表来执行编码处理和解码处理。此外，可以在序列层中提供表示图13中所示的层数和划分位置的信息作为语法。另外，可以根据鱼眼镜头的镜头特征来设置径向上的区域分割间隔。例如，校正率、层数和间隔比可以彼此相关联。图16示出了在层数＝4的情况下每层中的校正率与间隔比之间的关系的示例。例如，对于第零层，校正率是“1.0”，并且相对于鱼眼半径的径向间隔比是“0.4”。对于第一层，校正率是“1.1”，并且相对于鱼眼半径的径向间隔比是“0.3”。对于第二层，校正率是“1.2”，并且相对于鱼眼半径的径向间隔比是“0.2”。对于第三层，校正率是“1.3”，并且相对于鱼眼半径的径向间隔比是“0.1”。因此，可以基于表示层数和划分位置的信息将鱼眼图像分割为如图13的子图(c)所示的区域，并且可以在图像解码中同样地使用用于图像编码装置的每个区域的失真表。
<2-3.图像解码装置的配置>
图17示出了对鱼眼图像的编码流执行解码处理的图像解码装置的配置的示例，并且图像解码装置50是与图1所示的图像编码装置10对应的图像解码装置。由图像编码装置10生成并编码的编码流被提供给图像解码装置50并且由其进行解码。
图像解码装置50具有累积缓冲器61、可逆解码部62、逆量化部63、逆正交变换部64、计算部65、去块滤波器66、SAO(样本自适应偏移)滤波器67和屏幕重新布置缓冲器68。另外，图像解码装置50具有帧存储器71、选择部72、帧内预测部73和运动补偿部74。
累积缓冲器61接收并累积所发送的编码流。该编码流在预定定时被读出，并被输出到可逆解码部62。
可逆解码部62具有执行解析的功能。可逆解码部62解析包括在编码流的解码结果中的信息，例如，解析鱼眼信息、帧内预测信息、帧间预测信息、滤波器控制信息等，并将它们提供给需要它们的块。例如，帧内预测信息和鱼眼信息被输出到帧内预测部73，帧间预测信息和鱼眼信息被输出到运动补偿部74，并且滤波器控制信息被输出到SAO滤波器67。另外，可逆解码部62将量化系数作为包括在编码比特流的解码结果中的编码数据输出到逆量化部63。
对于作为可逆解码部62的解码结果而获得的量化数据，逆量化部63以与图1所示的量化部24的量化方法对应的方法执行逆量化。逆量化部63将逆量化数据输出到逆正交变换部64。
逆正交变换部64以与图1所示的正交变换部23的正交变换方法对应的方法执行逆正交变换，在图像编码装置10处获得与正交变换之前的残差数据对应的解码残差数据，并将解码残差数据输出到计算部65。
从帧内预测部73或运动补偿部74向计算部65提供预测图像数据。计算部65将解码残差数据和预测图像数据相加，由此获得与图像编码装置10的计算部22减去预测图像数据之前的原始图像数据对应的解码图像数据。计算部65将解码图像数据输出到去块滤波器66。
去块滤波器66通过执行去块滤波处理来消除解码图像中的块失真。去块滤波器66将滤波处理之后的图像数据输出到SAO滤波器67。
SAO滤波器67对去块滤波器66的滤波之后的图像数据执行SAO处理。通过使用从可逆解码部62提供的参数，SAO滤波器67针对每个LCU对去块滤波器66的滤波之后的图像数据执行滤波处理，并且将图像数据输出到屏幕重新布置缓冲器68。
屏幕重新布置缓冲器68执行图像重新布置。也就是说，以原始显示顺序重新布置由图1所示的屏幕重新布置缓冲器21针对编码顺序重新布置的帧的顺序。
SAO滤波器67的输出进一步提供给帧存储器71。选择部72从帧存储器71读出用于帧内预测的图像数据，并将图像数据输出到帧内预测部73。另外，选择部72从帧存储器71读出要经过帧间处理的图像数据和要参考的图像数据，并将这些图像数据输出到运动补偿部74。
帧内预测部73具有与图像编码装置10的图2中所示的帧内预测部41的配置类似的配置，并且不同之处在于排除了最佳模式决定部414。在图像解码装置50中，预测图像生成部413的操作与图像编码装置10的操作不同。帧内预测部73基于从可逆解码部62提供的鱼眼信息和处理目标块的位置，选择与编码处理的帧内预测模式表相同的帧内预测模式表，并且预测图像生成部413通过使用从帧存储器71获取的解码图像数据，以从可逆解码部62提供的最佳帧内预测模式执行解码处理，生成预测图像数据，并将该预测图像数据输出到计算部65。
运动补偿部74基于可逆解码部62对编码比特流的解码结果中包括的信息进行解析而输出的鱼眼信息和帧间预测信息，根据从帧存储器71获取的图像数据生成预测图像数据，并将该预测图像数据输出到计算部65。另外，在对鱼眼图像进行解码的情况下，与图像编码装置10的帧间预测部42相同，运动补偿部74对当前预测块的预测运动矢量的计算中使用的运动矢量执行调整。运动补偿部74通过使用通过利用调整的运动矢量计算的当前预测块的运动矢量来执行运动补偿，并且生成预测图像数据。
<2-4.图像解码装置的操作>
接下来，将描述图像解码装置的实施方式中的操作。图18是示出图像解码装置的操作的示例的流程图。
当解码处理开始时，在步骤ST31处，图像解码装置执行累积处理。图像解码装置50的累积缓冲器61接收并累积发送的编码流。
在步骤ST32处，图像解码装置执行可逆解码处理。图像解码装置50的可逆解码部62对从累积缓冲器61提供的编码流进行解码。可逆解码部62解析包括在编码流的解码结果中的信息，并且将该信息提供给需要它的块。可逆解码部62将鱼眼信息和帧内预测信息输出到帧内预测部73，并且将鱼眼信息和帧间预测信息输出到运动补偿部74。
在步骤ST33处，图像解码装置执行预测图像生成处理。图像解码装置50的帧内预测部73或运动补偿部74执行与从可逆解码部62提供的帧内预测信息或帧间预测信息对应的预测图像生成处理。
也就是说，在向帧内预测部73提供来自可逆解码部62的鱼眼信息和帧内预测信息的情况下，当编码流表示鱼眼图像时，帧内预测部73通过使用根据处理目标像素位置的失真表来执行预测图像数据的生成，并且当编码流表示普通图像时，通过使用基本表来执行最佳帧内预测模式下的预测图像数据的生成。在向运动补偿部74提供来自可逆解码部62的鱼眼信息和帧间预测信息的情况下，运动补偿部74在最佳帧间预测模式下执行运动补偿处理，并且生成预测图像数据。图19是示出帧内预测中的预测图像生成处理的流程图。
在步骤ST51处，帧内预测部73识别是否包括鱼眼信息。在编码流中包括鱼眼信息的情况下，帧内预测部73前进到步骤ST52，而在不包括鱼眼信息的情况下，帧内预测部73将编码流识别为普通图像的编码流，并且前进到步骤ST54。
在步骤ST52处，帧内预测部73识别编码流是否是鱼眼图像的编码流。在编码流中所包括的鱼眼信息表示编码流是鱼眼图像的编码流的情况下，帧内预测部73前进到步骤ST53，而在编码流中所包括的鱼眼信息表示编码流不是鱼眼图像的编码流，也就是说，编码流是普通图像的编码流的情况下，帧内预测部73前进到步骤ST54。
在步骤ST53处，帧内预测部73获取失真表。帧内预测部73根据处理目标块相对于鱼眼中心的位置获取失真表，并且前进到步骤ST55。
在步骤ST54处，帧内预测部73获取基本表。因为输入图像是普通图像，所以帧内预测部73获取基本表，并且前进到步骤ST55。
在步骤ST55处，帧内预测部73执行预测图像数据生成处理。帧内预测部73通过使用从帧存储器71读出的参考图像数据和在步骤ST53处获取的失真表或在步骤ST54处获取的基本表，在帧内预测信息中表示的最佳帧内预测模式中生成预测图像数据。帧内预测部41将所生成的预测图像数据输出到计算部65。
返回图18，在步骤ST34处，图像解码执行逆量化处理。对于由可逆解码部62获得的量化数据，图像解码装置50的逆量化部63以与图1所示的量化部24的量化方法对应的方法执行逆量化，并且将逆量化数据输出到逆正交变换部64。
在步骤ST35处，图像解码装置执行逆正交变换处理。图像解码装置50的逆正交变换部64以与图1所示的正交变换部23的正交变换方法对应的方法执行逆正交变换，取得与图像编码装置10中的正交变换前的残差数据对应的解码残差数据，并且将解码残差数据输出到计算部65。
在步骤ST36处，图像解码装置执行图像相加处理。图像解码装置50的计算部65将在步骤ST33处由帧内预测部73或运动补偿部74生成的预测图像数据和从逆正交变换部64提供的解码残差数据加在一起，并且生成解码图像数据。计算部65将生成的解码图像数据输出到去块滤波器66和帧存储器71。
在步骤ST37处，图像解码装置执行去块滤波处理。图像解码装置50的去块滤波器66对计算部65输出的图像执行去块滤波处理。从而消除块失真。来自去块滤波器66的解码图像被输出到SAO滤波器67。
在步骤ST38处，图像解码装置执行SAO处理。图像解码装置50的SAO滤波器67通过使用与从可逆解码部62提供的SAO处理有关的参数，对已经经过去块滤波器66的滤波的图像执行SAO处理。SAO滤波器67将SAO处理之后的解码图像数据输出到屏幕重新布置缓冲器68和帧存储器71。
在步骤ST39处，图像解码装置执行存储处理。图像解码装置50的帧存储器71存储从计算部65提供的滤波处理前的解码图像数据，以及已经由去块滤波器66和SAO滤波器67执行了滤波处理的解码图像数据。
在步骤ST40处，图像解码装置执行屏幕重新布置处理。图像解码装置50的屏幕重新布置缓冲器68累积从SAO滤波器67提供的解码图像数据，并且以图像编码装置10的屏幕重新布置缓冲器21重新布置之前图像数据被布置的显示顺序输出累积的解码图像数据。
在执行这样的解码处理的情况下，通过对由上述图像编码装置10生成的编码流执行解码，使得能够从图像解码装置50输出由图像编码装置10编码的鱼眼图像。
另外，由于在不包括鱼眼信息的情况下，使用基本表生成预测图像数据，因此也能够执行传统的编码流解码处理。
<3.第二实施方式>
在第二实施方式中，在帧内预测中选择性地使用方向预测中的预测模式。另外，在预测模式的选择中，根据鱼眼图像的失真来决定要选择的预测模式。
<3-1.图像编码装置的配置>
根据第二实施方式的图像编码装置具有与图1所示的根据第一实施方式的图像编码装置类似的配置，并且在可逆编码部25和帧内预测部41的操作方面不同。
对于每个CTU，可逆编码部25对从量化部24输入的量化数据执行可逆编码处理，例如CABAC(上下文自适应二进制算术编码)的可逆编码处理。另外，可逆编码部25获取鱼眼信息、由预测选择部43选择的预测模式的参数，例如，表示帧内预测模式的信息、或者表示帧间预测模式的信息、运动信息等。此外，可逆编码部25从下面提到的SAO滤波器35获取关于滤波处理的参数。此外，可逆编码部25获取表示应该如何为图像设置CTU、CU、TU和PU的块信息。除了量化数据的编码之外，可逆编码部25还使得每个获取的关于编码处理的参数作为H.265/HEVC标准的语法元素，作为编码流的报头信息的一部分累积在累积缓冲器26中。另外，作为编码流的语法元素或作为附加信息的SEI(补充增强信息)，可逆编码部25在编码流中包括输入到图像编码装置10的鱼眼信息。
帧内预测部41具有与图2所示的第一实施方式中的帧内预测部的配置类似的配置，并且在由表选择部选择的帧内预测模式表方面与第一实施方式不同。
在输入图像是鱼眼图像的情况下，块位置计算部411计算处理目标块相对于鱼眼中心的位置，并且将表示所计算的位置信息输出到表选择部412。
在输入图像是鱼眼图像的情况下，表选择部412基于位置信息，将根据处理目标块相对于鱼眼中心的位置选择了预测模式的帧内预测模式表输出到预测图像生成部413。另外，在输入图像是普通图像的情况下，表选择部412将预定的帧内预测模式表输出到预测图像生成部413。
预测图像生成部413通过使用经由选择部37从帧存储器36读出的参照图像数据，生成从表选择部412提供的帧内预测模式表所表示的所有预测模式的预测图像数据。另外，预测图像生成部413通过将处理目标块设置成预测块尺寸，按每个预测块尺寸执行生成每个预测模式的预测图像数据。预测图像生成部413将生成的预测图像数据输出到最佳模式决定部414。
最佳模式决定部414通过使用从屏幕重新布置缓冲器21提供的原始图像数据以及针对每个预测块尺寸和每个预测模式的预测图像数据来计算成本函数值。另外，最佳模式决定部414在将使成本函数值最小、也就是说使压缩率最大的帧内预测模式和预测块尺寸的组合决定为最佳帧内预测模式和最佳预测块尺寸的同时，生成具有表示最佳帧内预测模式和最佳尺寸的表信息的帧内预测信息、以及在输入图像为鱼眼图像的情况下选择的帧内预测模式表。最佳模式决定部414将帧内预测信息、在最佳帧内预测模式中生成的预测图像数据、以及最佳帧内预测模式和最佳尺寸的情况下的成本函数值输出到预测选择部43。
<3-2.图像编码装置的操作>
<3-2-1.关于帧内预测表>
由于鱼眼图像在鱼眼中心具有失真，因此如上述图8所示，鱼眼图像具有预测方向在周向上变得密集的特征。另外，随着距鱼眼中心的距离增加，密集程度增加。因此，在第二实施方式中，预先生成帧内预测模式表(以下称为“选择表”)，其中根据密集方向和密集程度从基本表中的预测模式中选择预测模式，并且通过使用根据处理目标块的位置的选择表来执行帧内预测。由此，与使用基本表的情况相比，更有效地执行帧内预测。
根据处理目标块相对于鱼眼中心的取向，或者根据鱼眼中心到处理目标块的取向和距离，生成选择表。
图20示出了在基于处理目标块相对于鱼眼中心的取向来生成选择表的情况下的操作的示例。在处理目标块的位置Pa相对于鱼眼中心Pg处于角度θ的情况下，角度θ具有如上所述的由式(8)表示的值。另外，圆周角θd由式(13)表示。注意，在θ＞180°的情况下，圆周角θd关于鱼眼中心Pg是点对称的。
θd＝(θ±90°) (13)
选择表是通过从基本表的预测模式中选择通过将角度θd的方向设置为密集方向的帧内预测模式而生成的。
图21示出了处理目标块相对于鱼眼中心的取向以及预测模式选择结果的示例。图21的子图(a)示出了处理目标块位于如图20的子图(a)所示的位置Pa1(θ＝135°)的情况的示例。在该情况下，通过将θd＝45°和225°的方向设置为密集方向来选择预测模式，并且例如，选择方向预测2、4、7、12、18、24、29、32和34。
图21中的子图(b)示出了处理目标块位于位置Pa2(θ＝90°)的情况的示例。在这种情况下，通过将θd＝180°的方向设置为密集方向来选择预测模式，并且例如选择方向预测2、6、8、10、12、14、18、26和34。
图21中的子图(c)示出了处理目标块位于位置Pa3(θ＝45°)的情况。在这种情况下，通过将θd＝135°的方向设置为密集方向来选择预测模式，并且选择方向预测2、8、13、16、18、20、23、28和34。
图21中的子图(d)示出了处理目标块位于位置Pa4(θ＝0°)的情况。在这种情况下，通过将θd＝90°的方向设置为密集方向来选择预测模式，并且例如选择方向预测2、10、18、21、24、26、28、31和34。
以这种方式，通过将基于处理目标块相对于鱼眼中心的取向的周向设置为密集方向，选择预测模式并生成选择表，与使用参考表的情况相比，可以高效地执行帧内预测。
接下来，将描述基于处理目标块相对于鱼眼中心的取向以及从鱼眼中心到处理目标块的距离来生成选择表的情况。如上所述的图8所示，随着处理目标块远离鱼眼图像的中心，周向上的预测模式的密度变高。因此，帧内预测部41通过使用选择表来执行帧内预测，对于该选择表，预测模式被选择为使得密集程度随着处理目标块更远离鱼眼图像的中心而变高。
图22示出了在基于处理目标块相对于鱼眼中心的取向和距鱼眼中心的距离来生成选择表的情况下的操作的示例。在处理目标块的位置Pa处于距鱼眼中心Pg的距离GA处的情况下，距离GA具有由式(14)表示的值。
[数学式.1]
通过从基本表中的预测模式中选择帧内预测模式表来生成选择表，使得通过将角度θd的方向设置为密集方向，密集程度随着距离GA变得更长而增加。
图23示出了根据处理目标块相对于鱼眼中心的取向和从鱼眼中心到处理目标块的距离的预测模式选择结果的示例。注意，如图22的子图(a)所示，将从鱼眼中心到处理目标块的位置Pa3-1的距离GA定义为L1。另外，将从鱼眼中心到处理目标块的位置Pa3-2、Pa3-3和Pa3-4的距离GA定义为L2(＞L1)、L3(＞L2)和L4(＞L3)。
图23的(a)中示出了处理目标块位于位置Pa3-1(θ＝45°，GA＝L1)的情况。由于L1在这种情况下较短，因此，以恒定间隔选择预测模式，并且例如选择方向预测2、6、10、14、18、22、26、30和34。
图23中的子图(b)示出了处理目标块位于位置Pa3-2(θ＝45°，GA＝L2)的情况。在这种情况下，选择预测模式，使得密度在θd＝135°的方向上变得更高，并且密集程度变得高于位置Pa3-1的情况下的密集程度，并且例如选择方向预测2、7、11、15、18、21、25、29和34。
图23中的子图(c)示出了处理目标块位于位置Pa3-3(θ＝45°，GA＝L3)的情况。在这种情况下，选择预测模式，使得密度在θd＝135°的方向上变得更高，并且密集程度变得高于位置Pa3-2的情况下的密集程度，并且例如选择方向预测2、8、13、16、18、20、23、28和34。
图23中的子图(d)示出了处理目标块位于位置Pa3-4(θ＝45°，GA＝L4)的情况。在这种情况下，选择预测模式，使得密度在θd＝135°的方向上变得更高，并且密集程度变得高于位置Pa3-3的情况下的密集程度，并且例如选择方向预测2、11、15、17、18、19、21、25和34。
以这种方式，通过选择预测模式，使得针对基于将处理目标块相对于鱼眼中心的取向设置为密集方向的周向而远离鱼眼中心的处理对象块，使得密集程度变得更高，并且生成选择表，从而与使用参考表的情况相比，可以高效地执行帧内预测。另外，与基于处理目标块相对于鱼眼中心的取向而生成的选择表相比，能够生成具有更适合于鱼眼图像的预测模式的选择表。
同时，在从基本表中选择预测模式，并且根据相对于鱼眼中心的取向和距鱼眼中心的距离来生成选择表的情况下，如果根据要进行帧内预测的处理目标块的位置来生成选择表，则帧内预测的处理成本不期望地增加。另外，在预先为每个位置生成并存储选择表的情况下，可以降低处理成本，但是存储选择表所需的存储器容量不期望地增加。因此，尝试通过将鱼眼图像分割成区域，预先为每个区域准备选择表，并使用与处理目标块所属的区域对应的选择表，来降低帧内预测的处理成本和帧内预测所需的存储器容量。
例如，类似于第一实施方式，基于校正率在相对于鱼眼图像的中心的径向上执行鱼眼图像的区域分割。另外，鱼眼图像的分割区域的数量(也称为层数)根据从鱼眼图像的中心起的径向上的校正率的变化来设置，并且例如，层数随着径向上的预定距离的校正率的变化的最大值的增加而增加。另外，由于在相对于鱼眼图像的中心点对称的位置处的失真的程度相同，因此通过将穿过鱼眼图像的中心的直线设置为区域边界，将鱼眼图像分割成周向上的区域。注意，因为包括鱼眼图像的中心的区域的失真小，所以该区域可以不被分割为周向上的区域，并且如图21中的子图(a)和图23中的子图(a)所示，可以使用表示从基本表中以恒定间隔选择的预定的多个预测模式的帧内预测模式表。
对分割区域赋予对应表的索引(table_idx)，并且由此可以根据像素位置属于哪个区域来使用具有与鱼眼图像中的像素位置对应的索引的选择表。另外，由于在关于鱼眼图像的中心点对称的位置处失真的程度相同，因此，对关于鱼眼图像的中心点对称的位置处的区域给予相同的索引。
另外，可以针对用于生成鱼眼图像的每个鱼眼镜头提供包括与每个区域对应的选择表的选择表组。用于每个鱼眼镜头的选择表组可以预先存储在图像编码装置中，或者可以与鱼眼信息等一起提供给图像编码装置。
<3-2-2.关于编码处理操作>
接下来，将描述编码处理操作。根据第二实施方式的图像编码装置的编码处理操作与图14所示的根据第一实施方式的图像编码装置的操作类似，并且在步骤ST2处的帧内预测处理方面不同。
图24是示出帧内预测处理的流程图。在步骤ST61处，帧内预测部41识别输入图像是否是鱼眼图像。在图像编码装置10的帧内预测部41基于鱼眼信息识别出输入图像是鱼眼图像的情况下，帧内预测部41前进到步骤ST62，并且在帧内预测部41识别出输入图像不是鱼眼图像的情况下，帧内预测部41识别出输入图像是普通图像，并且前进到步骤ST64。
在步骤ST62处，帧内预测部计算块位置。帧内预测部41计算处理目标块相对于鱼眼中心的取向或者从鱼眼中心到处理目标块的取向和距离，并且前进到步骤ST63。
在步骤ST63处，帧内预测部根据块位置获取选择表。在步骤ST62处计算取向的情况下，帧内预测部41根据取向获取选择表。另外，在步骤ST62处计算取向和距离的情况下，帧内预测部41根据取向和距离获取选择表。注意，由于在与鱼眼中心相邻的位置处的失真小，因此可以选择参考表作为其选择表。帧内预测部41根据处理目标块的位置获取选择表，并且前进到步骤ST65。
在步骤ST64处，帧内预测部获取基本表。因为输入图像是普通图像，所以帧内预测部41获取基本表，并且前进到步骤ST65。
在步骤ST65处，帧内预测部执行最佳帧内预测模式选择处理。帧内预测部41通过使用从帧存储器36读出的参考图像数据，以在步骤ST63处取得的选择表、或者在步骤ST64处取得的基本表所表示的预测模式执行帧内预测，并且生成预测图像数据。帧内预测部41通过使用所生成的预测图像数据和原始图像数据来计算成本函数值。注意，将未经过去块滤波器34等的滤波处理的解码图像数据用作参考图像数据。帧内预测部41基于计算出的成本函数值来选择最佳帧内预测模式，并且将通过最佳帧内预测模式中的帧内预测生成的预测图像数据及其参数和成本函数值输出到预测选择部43。
注意，因为图像编码装置以上述方式从基本表中选择预测模式并执行编码处理，所以即使输入图像是鱼眼图像，类似于普通图像的情况，图像解码装置也可以通过以编码流中表示的预测模式执行帧内预测并生成预测图像数据来再现鱼眼图像。
根据像这样的第二实施方式，因为在帧内预测中选择性地使用方向预测中的预测模式，所以与使用所有预测模式的情况相比，可以有效地执行帧内预测。此外，由于在输入图像是鱼眼图像的情况下，根据鱼眼图像的失真来选择预测模式，因此与不考虑鱼眼图像的失真来选择预测模式的情况相比，可以提高编码效率。
<4.应用示例>
接下来，将描述根据本技术的图像处理装置的应用示例。根据本技术的图像处理装置可以应用于例如通过使用鱼眼镜头来捕获运动图像的图像捕获装置。在这种情况下，通过将图像编码装置10提供给图像捕获装置，可以有效地对鱼眼图像进行编码，并且可以将编码流记录在记录介质中或输出到外部设备。另外，通过将图像解码装置50提供给图像捕获装置，可以对编码流进行解码以记录和再现鱼眼图像。另外，通过将设置有图像编码装置10的图像捕获装置安装在任何类型的移动体(例如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人运输车、飞机、无人机、船、机器人、建筑机械或农业机械(拖拉机))上，可以有效地记录移动体的整个周围环境的图像或将图像传输到外部设备。此外，通过将根据本技术的图像处理装置提供给具有通过使用鱼眼镜头来捕获运动图像的功能的便携式电子设备，与传统技术相比，当在记录介质上记录鱼眼图像时，可以减少数据量。另外，通过将执行解码处理的图像处理装置提供给图像再现装置，可以在头戴式显示器等上显示全向图像。
在说明书中说明的一系列处理可以由硬件或软件执行，或者由硬件和软件的组合配置执行。在执行由软件进行的处理的情况下，将记录有处理序列的程序安装在并入专用硬件中的计算机的存储器上以执行。替选地，程序可以在能够执行各种类型的处理的通用计算机上安装和执行。
例如，可以预先将程序记录在作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)上。替选地，程序可以预先临时或永久地存储(记录)在可移动记录介质上，例如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、BD(蓝光盘(注册商标))、磁盘或半导体存储卡。这样的可移动记录介质可以作为所谓的软件包来提供。
另外，除了从可移动记录介质安装到计算机上之外，程序可以经由诸如LAN(局域网)或因特网的网络从下载站点无线地或通过线缆传送到计算机。计算机可以接收以这样的方式传送的程序，并且将该程序安装在诸如内置硬盘的记录介质上。
注意，本说明书中描述的优点仅作为示例示出，并且本技术的优点不限于它们。可能存在未描述的其他优点。另外，本技术不应被解释为限于上述技术的实施方式。明显地，本技术的实施方式以示例说明的形式公开了本技术，并且本领域技术人员可以在不脱离本技术的要旨的范围内构思出实施方式的校正和替换。也就是说，在确定本技术的要点时，应该考虑权利要求。
另外，本技术的图像处理装置还可以采用如下所述的配置。
(1)一种图像处理装置，包括：
帧内预测部，其通过使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测，从而生成预测图像，所述鱼眼图像是通过使用鱼眼镜头捕获的。
(2)根据(1)所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是其中预定的多个预测方向根据所述处理目标块相对于所述鱼眼图像的鱼眼中心的位置而变化的表。
(3)根据(2)所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是其中所述预测方向基于用于校正在所述处理目标块的位置处产生的鱼眼失真的校正率而变化的表。
(4)根据(1)所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是表示根据所述处理目标块相对于所述鱼眼图像的鱼眼中心的位置从预定的多个预测方向中选择的预测方向的表。
(5)根据(4)所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是表示与所述处理目标块相对于所述鱼眼中心的方向正交的圆周方向被设置为密集方向并从所述预定的多个预测方向中选择的预测方向的表。
(6)根据(4)或(5)所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是表示密集程度随着从所述鱼眼中心到所述处理目标块的距离增加而增加并从所述预定的多个预测方向中选择的预测方向的表。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，
通过使用所述鱼眼图像的鱼眼中心作为参考点，所述鱼眼图像在径向和周向上划分为多个区域，对每个区域提供所述帧内预测模式表，以及
所述帧内预测部通过使用与包括所述处理目标块的区域对应的帧内预测模式表来执行帧内预测。
(8)根据(7)所述的图像处理装置，其中，
对关于作为目标点的鱼眼中心点对称的区域，提供相同的帧内预测模式表。
(9)根据(7)或(8)所述的图像处理装置，其中，
包括所述鱼眼中心的区域的帧内预测模式表是表示预定的多个预测方向的表。
(10)根据(7)至(9)中任一项所述的图像处理装置，其中，
根据所述鱼眼镜头的镜头特征设置所述径向的划分区域的数量。
(11)根据(7)至(10)所述的图像处理装置，其中，
根据所述鱼眼镜头的镜头特征设置所述径向的区域划分间隔。
(12)根据(1)至(11)中任一项所述的图像处理装置，还包括：
可逆编码部，其在输入图像是鱼眼图像的情况下在所述输入图像的编码流中包括鱼眼信息。
(13)根据(12)所述的图像处理装置，其中，
所述鱼眼信息至少包括表示所述输入图像是鱼眼图像以及表示所述鱼眼图像的鱼眼中心的信息。
(14)根据(13)所述的图像处理装置，其中，
所述鱼眼信息包括关于用于获取所述鱼眼图像的鱼眼镜头的信息。
(15)根据(1)至(11)中任一项所述的图像处理装置，还包括：
可逆解码部，其对所述鱼眼图像的编码流进行解码，其中，
所述可逆解码部解析包括在所述编码流中的鱼眼信息和最佳帧内预测模式，以及
所述帧内预测部基于由所述可逆解码部获得的鱼眼信息和最佳帧内预测模式，使用根据所述处理目标块的位置的帧内预测模式表，生成预测图像。
(16)根据(15)所述的图像处理装置，其中，
所述鱼眼信息至少包括表示所述输入图像是鱼眼图像以及表示所述鱼眼图像的鱼眼中心的信息，以及
所述帧内预测部使用根据所述处理目标块相对于所述鱼眼图像的鱼眼中心的位置的帧内预测模式表。
(17)根据(16)所述的图像处理装置，其中，
所述鱼眼信息包括关于用于获取所述鱼眼图像的鱼眼镜头的信息，以及
所述帧内预测部使用根据关于所述鱼眼镜头的信息和所述处理目标块的位置的帧内预测模式表。
工业实用性
根据该技术的图像处理装置和图像处理方法，根据利用鱼眼镜头捕获的鱼眼图像中的处理目标块的位置，通过使用帧内预测模式表来执行帧内预测，并且生成预测图像。因此，可以有效地对产生了失真的图像执行编码或解码处理。因此，图像处理装置和图像处理方法适合于执行鱼眼图像的记录、再现、传输等的电子设备、移动装置等。
10：图像编码装置
21，68：屏幕重新布置缓冲器
22，33，65：计算部
23：正交变换部
24：量化部
25：可逆编码部
26：累积缓冲器
27：速率控制部
31，63：逆量化部
32，64：逆正交变换部
34，66：去块滤波器
35，67：SAO滤波器
36，71：帧存储器
37，72：选择部
41：帧内预测部
42：帧间预测部
43：预测选择部
50：图像解码装置
61：累积缓冲器
62：可逆解码部
73：帧内预测部
74：运动补偿部
411：块位置计算部
412：表选择部
413：预测图像生成部
414：最佳模式决定部

Claims (18)

1.一种图像处理装置，包括：
帧内预测部，其通过使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测，从而生成预测图像，所述鱼眼图像是通过使用鱼眼镜头捕获的，
其中，通过使用所述鱼眼图像的鱼眼中心作为参考点，所述鱼眼图像在径向和周向上划分为多个区域，对每个区域提供所述帧内预测模式表，以及
所述帧内预测部通过使用与包括所述处理目标块的区域对应的帧内预测模式表来执行帧内预测。
2.根据权利要求1所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是其中预定的多个预测方向根据所述处理目标块相对于所述鱼眼图像的鱼眼中心的位置而变化的表。
3.根据权利要求2所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是其中所述预测方向基于用于校正在所述处理目标块的位置处产生的鱼眼失真的校正率而变化的表。
4.根据权利要求1所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是表示根据所述处理目标块相对于所述鱼眼图像的鱼眼中心的位置从预定的多个预测方向中选择的预测方向的表。
5.根据权利要求4所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是表示与所述处理目标块相对于所述鱼眼中心的方向正交的圆周方向被设置为密集方向并从所述预定的多个预测方向中选择的预测方向的表。
6.根据权利要求4所述的图像处理装置，其中，
根据所述处理目标块的位置的帧内预测模式表是表示密集程度随着从所述鱼眼中心到所述处理目标块的距离增加而增加并从所述预定的多个预测方向中选择的预测方向的表。
7.根据权利要求1所述的图像处理装置，其中，
对关于作为目标点的鱼眼中心点对称的区域，提供相同的帧内预测模式表。
8.根据权利要求1所述的图像处理装置，其中，
包括所述鱼眼中心的区域的帧内预测模式表是表示预定的多个预测方向的表。
9.根据权利要求1所述的图像处理装置，其中，
根据所述鱼眼镜头的镜头特征设置所述径向的划分区域的数量。
10.根据权利要求1所述的图像处理装置，其中，
根据所述鱼眼镜头的镜头特征设置所述径向的区域划分间隔。
11.根据权利要求1所述的图像处理装置，还包括：
可逆编码部，其在输入图像是鱼眼图像的情况下在所述输入图像的编码流中包括鱼眼信息。
12.根据权利要求11所述的图像处理装置，其中，
所述鱼眼信息至少包括表示所述输入图像是鱼眼图像以及表示所述鱼眼图像的鱼眼中心的信息。
13.根据权利要求12所述的图像处理装置，其中，
所述鱼眼信息包括关于用于获取所述鱼眼图像的鱼眼镜头的信息。
14.根据权利要求1所述的图像处理装置，还包括：
可逆解码部，其对所述鱼眼图像的编码流进行解码，其中，
所述可逆解码部解析包括在所述编码流中的鱼眼信息和最佳帧内预测模式，以及
所述帧内预测部基于由所述可逆解码部获得的鱼眼信息和最佳帧内预测模式，使用根据所述处理目标块的位置的帧内预测模式表，生成预测图像。
15.根据权利要求14所述的图像处理装置，其中，
所述鱼眼信息至少包括表示所述输入图像是鱼眼图像以及表示所述鱼眼图像的鱼眼中心的信息，以及
所述帧内预测部使用根据所述处理目标块相对于所述鱼眼图像的鱼眼中心的位置的帧内预测模式表。
16.根据权利要求15所述的图像处理装置，其中，
所述鱼眼信息包括关于用于获取所述鱼眼图像的鱼眼镜头的信息，以及
所述帧内预测部使用根据关于所述鱼眼镜头的信息和所述处理目标块的位置的帧内预测模式表。
17.一种图像处理方法，包括：
通过帧内预测部使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测，从而生成预测图像，所述鱼眼图像是通过使用鱼眼镜头捕获的，
其中，通过使用所述鱼眼图像的鱼眼中心作为参考点，所述鱼眼图像在径向和周向上划分为多个区域，对每个区域提供所述帧内预测模式表，以及
通过使用与包括所述处理目标块的区域对应的帧内预测模式表来执行帧内预测。
18.一种其上记录有程序的计算机可读介质，所述程序在被计算机执行时使得所述计算机执行方法，所述方法包括：
通过帧内预测部使用根据鱼眼图像中的处理目标块的位置的帧内预测模式表来执行帧内预测，从而生成预测图像，所述鱼眼图像是通过使用鱼眼镜头捕获的，
其中，通过使用所述鱼眼图像的鱼眼中心作为参考点，所述鱼眼图像在径向和周向上划分为多个区域，对每个区域提供所述帧内预测模式表，以及
通过使用与包括所述处理目标块的区域对应的帧内预测模式表来执行帧内预测。
CN201980039781.6A 2018-06-21 2019-04-03 图像处理装置和图像处理方法 Active CN112352425B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018117789 2018-06-21
JP2018-117789 2018-06-21
PCT/JP2019/014761 WO2019244439A1 (ja) 2018-06-21 2019-04-03 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN112352425A CN112352425A (zh) 2021-02-09
CN112352425B true CN112352425B (zh) 2024-02-13

Family

ID=68983885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039781.6A Active CN112352425B (zh) 2018-06-21 2019-04-03 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US11818339B2 (zh)
JP (1) JP7215480B2 (zh)
CN (1) CN112352425B (zh)
WO (1) WO2019244439A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
US12113995B2 (en) * 2021-04-06 2024-10-08 Lemon Inc. Neural network-based post filter for video coding
CN116563186B (zh) * 2023-05-12 2024-07-12 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115901A (ja) * 2013-12-13 2015-06-22 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
WO2018060346A1 (en) * 2016-09-30 2018-04-05 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI563469B (en) * 2013-01-02 2016-12-21 Vivotek Inc Image processor and display method for fisheye image thereof
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
CN115037949A (zh) * 2016-05-27 2022-09-09 松下电器（美国）知识产权公司 编码方法、解码方法、及编码和解码方法
EP3301915A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes
WO2018070793A1 (en) * 2016-10-12 2018-04-19 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
US10764582B2 (en) * 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115901A (ja) * 2013-12-13 2015-06-22 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
WO2018060346A1 (en) * 2016-09-30 2018-04-05 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes

Also Published As

Publication number Publication date
WO2019244439A1 (ja) 2019-12-26
JP7215480B2 (ja) 2023-01-31
CN112352425A (zh) 2021-02-09
US20210168363A1 (en) 2021-06-03
US11818339B2 (en) 2023-11-14
JPWO2019244439A1 (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
US11218736B2 (en) Low complex deblocking filter decisions
US20220030255A1 (en) Efficient rounding for deblocking
KR101837880B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN112352425B (zh) 图像处理装置和图像处理方法
WO2010001917A1 (ja) 画像処理装置および方法
KR20170055554A (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
WO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20210185305A1 (en) Image processing apparatus and image processing method
JP7310794B2 (ja) 画像処理装置と画像処理方法
US20220141477A1 (en) Image processing apparatus and image processing method
WO2023277129A1 (ja) 画像復号装置、画像復号方法及びプログラム
US20210029377A1 (en) Image processing apparatus and image processing method
JP2023028611A (ja) 画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant