CN111837394B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN111837394B
CN111837394B CN201880091006.0A CN201880091006A CN111837394B CN 111837394 B CN111837394 B CN 111837394B CN 201880091006 A CN201880091006 A CN 201880091006A CN 111837394 B CN111837394 B CN 111837394B
Authority
CN
China
Prior art keywords
image
fisheye
motion vector
scaling
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880091006.0A
Other languages
English (en)
Other versions
CN111837394A (zh
Inventor
松本润一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111837394A publication Critical patent/CN111837394A/zh
Application granted granted Critical
Publication of CN111837394B publication Critical patent/CN111837394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

由校正方法确定单元40和帧间预测单元42配置的运动矢量校正单元对使用鱼眼透镜捕获的鱼眼图像中的当前预测块的例如外围块的运动矢量执行缩放处理，缩放处理是基于例如鱼眼透镜投影方法和鱼眼图像的半径的鱼眼信息而执行的。在缩放处理中，在缩放之前将外围块的运动矢量转换为没有鱼眼失真的图像中的运动矢量，并且将缩放之后的运动矢量转换为鱼眼图像中的运动矢量。通过缩放处理减小了当前预测块的运动矢量与预测运动矢量之间的任意差异，从而使得可以提高对鱼眼图像进行编码的效率。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法。
背景技术
在对通过使用鱼眼透镜进行拍摄而获得的鱼眼图像的编码/解码处理中，编码/解码处理可以与通过使用例如视场角比鱼眼透镜的视场角窄的普通透镜进行拍摄而获得的图像(普通图像(normal image))类似地来实现。然而，鱼眼图像包括鱼眼失真，即随着物体沿中心方向远离中心而增大的失真。因此，例如在执行帧间预测的情况下，与普通图像相比，编码效率劣化。因此，在PTL1中，通过校正信息生成器对鱼眼图像的失真进行校正，并且然后与普通图像类似地来检测运动矢量。
引用列表
专利文献
PTL 1：JP 2017-120980A
发明内容
技术问题
其中，由PTL 1中的校正信息生成器执行的失真校正处理没有考虑透镜独有的特性式(characteristic formula)。因此，在一些情况下，在失真校正方面产生误差。另外，由于失真校正的误差，可能增加运动矢量的误差。在视场角为例如180°的情况下，当将鱼眼图像校正为普通图像时，误差被扩展到无穷大。因此，当将鱼眼图像中的预定范围变换为普通图像以进行编码时，在解码时没有获得除该预定范围以外的图像，从而使得鱼眼图像不能再现。
因此，本技术的目的是提供一种能够以高编码效率执行鱼眼图像的编码处理或解码处理的图像处理装置。
问题的解决方案
本技术的第一方面是一种图像处理装置，该图像处理装置包括运动矢量校正单元，该运动矢量校正单元基于关于鱼眼透镜和使用鱼眼透镜拍摄的鱼眼图像的鱼眼信息，对鱼眼图像中的用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理。
在本技术中，运动矢量校正单元基于例如鱼眼透镜的投影方法和使用鱼眼透镜拍摄的鱼眼图像的半径的鱼眼信息，对例如鱼眼图像中的当前预测块的外围块的运动矢量执行缩放处理，并且使用外围块(peripheral block)的缩放处理之后的运动矢量来计算预测运动矢量。在缩放处理中，例如通过使用对根据距鱼眼透镜的中心的距离和鱼眼图像的半径而变化的鱼眼失真进行校正的校正因子，将鱼眼图像中的外围块的运动矢量变换为没有鱼眼失真的图像中的运动矢量来执行缩放，并且将缩放之后的运动矢量变换为鱼眼图像中的运动矢量。校正因子是基于鱼眼透镜的投影方法的特性式和用于获得没有鱼眼失真的图像的中心投影方法的特性式而计算的。针对鱼眼透镜的每种投影方法，预先将计算出的校正因子标准化为表以进行保持，并且使用保持的校正因子表中的与用于拍摄的鱼眼透镜对应的校正因子表来执行缩放处理。
对鱼眼图像进行编码的图像处理装置使无损编码器将鱼眼信息并入鱼眼图像的编码流中。无损编码器将指示是否执行缩放处理的信息并入编码流中。鱼眼信息可以包括例如鱼眼透镜的投影方法和鱼眼图像的半径，或者可以包括指示光学图像的投影方法而不是鱼眼图像的半径的信息。
在对鱼眼图像的编码流进行解码的图像处理装置中，运动矢量校正单元使用通过由无损解码器对编码流进行解码而获得的鱼眼信息，对例如外围块的运动矢量执行缩放处理。此外，在通过由无损解码器对编码流进行解码而获得的信息指示要执行缩放处理的情况下，运动矢量校正单元使用鱼眼信息来执行缩放处理。
本技术的第二方面是一种图像处理方法，该图像处理方法包括：由运动矢量校正单元基于关于鱼眼透镜和使用鱼眼透镜拍摄的鱼眼图像的鱼眼信息，对鱼眼图像中的用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理。
发明的有益效果
根据本技术，基于关于鱼眼透镜和使用鱼眼透镜拍摄的鱼眼图像的鱼眼信息，使鱼眼图像中的用于计算当前预测块的预测运动矢量的运动矢量经历缩放处理。因此，可以以比未执行缩放处理的情况的编码效率高的编码效率来执行对鱼眼图像的编码处理或解码处理。注意，本说明书中所描述的效果本质上是说明性的而非限制性的。可以提供附加效果。
附图说明
图1是示出图像编码装置的配置的图。
图2描绘了示出鱼眼透镜的投影方法的视图。
图3是示出针对每种投影方法的用于将鱼眼图像校正为普通图像的校正因子的表。
图4描绘了用于说明校正因子表的导出的视图。
图5是示出标准化的校正因子表的视图。
图6是示出图像编码装置的操作的流程图。
图7是示出帧间预测处理的操作的流程图。
图8是示出最佳帧间预测模式选择处理的流程图。
图9是示出使用中心投影方法的拍摄透镜拍摄的图像中的拍摄对象的运动的视图。
图10是示出运动矢量的并行缩放的视图。
图11是示出鱼眼图像中的拍摄对象的运动的视图。
图12描绘了用于说明圆周鱼眼(circumferential fisheye)和对角线鱼眼的视图。
图13是用于说明自适应缩放过程的视图。
图14是示出当前预测块和外围块的视图。
图15是示出自适应缩放过程的流程图。
图16是示出图像解码装置的配置的图。
图17是示出图像解码装置的操作的流程图。
具体实施方式
在下文中，将描述本技术的示例性实施方式。注意，将按照以下顺序进行描述。
1.关于图像处理装置
2.图像编码装置的配置
3.图像编码装置的操作
3-1.关于校正因子表
3-2.关于编码处理操作
3-3.关于运动矢量的自适应缩放
4.图像解码装置的配置
5.图像解码装置的操作
6.图像处理装置的另一配置
7.应用示例
<1.关于图像处理装置>
图像处理装置对通过使用鱼眼透镜进行拍摄而获得的运动图像(在下文中，也被称为“鱼眼图像”)执行编码处理，或者对在编码处理中生成的编码流进行解码处理。执行编码处理的图像编码装置基于与用于获得鱼眼图像的鱼眼透镜和所获得的鱼眼图像有关的鱼眼信息，对用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理。与不执行缩放处理的情况相比，这可以通过减小当前预测块的运动矢量与预测运动矢量之间的差异来提高鱼眼图像的编码效率。此外，对编码流执行解码处理的图像解码装置使用通过对编码流进行解码而获得的鱼眼信息执行缩放处理，并且该图像解码装置使用缩放处理之后的运动矢量执行解码处理以生成鱼眼图像。
<2.图像编码装置的配置>
图1示出执行鱼眼图像的编码处理的图像编码装置的配置。例如，图像编码装置10使用预测处理对图像数据进行编码，并且生成符合H.265/HEVC标准的编码流。
图像编码装置10包括图像排序缓冲器21、运算器22、正交变换单元23、量化单元24、无损编码器25、累积缓冲器26和速率控制器27。此外，图像编码装置10包括逆量化单元31、逆正交变换单元32、运算器33、去块滤波器34、SAO(样本自适应偏移)滤波器35、帧存储器36和选择器37。此外，图像编码装置10包括校正方法确定单元40、帧内预测单元41、帧间预测单元42和预测选择器43。
鱼眼图像作为输入图像被输入至图像排序缓冲器21。此外，与用于获得鱼眼图像的鱼眼透镜和鱼眼图像有关的鱼眼信息被输入至校正方法确定单元40。鱼眼信息包括例如指示鱼眼透镜的投影方法和鱼眼图像的半径的信息。
图像排序缓冲器21存储输入图像，并且根据GOP(图片组)结构将所存储的按照显示顺序的帧图像排序成用于编码的顺序(编码顺序)。图像排序缓冲器21将排序成编码顺序的帧图像的图像数据(原始图像数据)输出至运算器22。图像排序缓冲器21还将原始图像数据输出至SAO滤波器35、帧内预测单元41和帧间预测单元42。
运算器22从针对每个像素从自图像排序缓冲器21提供的原始图像数据中减去经由预测选择器43从帧内预测单元41或帧间预测单元42提供的预测图像数据，并且将指示预测残差的残差数据输出至正交变换单元23。
例如，在要被执行帧内编码的图像的情况下，运算器22从原始图像数据中减去在帧内预测单元41中生成的预测图像数据。相比之下，例如，在要被执行帧间编码的图像的情况下，运算器22从原始图像数据中减去在帧间预测单元42中生成的预测图像数据。
正交变换单元23对从运算器22提供的残差数据执行正交变换处理。例如，正交变换单元23对设置在每个CTU(编码树单元)中的一个或更多个TU中的每一个执行正交变换处理，例如离散余弦变换、离散正弦变换或卡亨南-洛维变换(Karhunen-Loévetransformation)。正交变换单元23将通过执行正交变换而获得的频域中的变换系数输出至量化单元24。
量化单元24对从正交变换单元23输出的变换系数进行量化。量化单元24将变换系数的量化数据输出至无损编码器25。量化单元24还将所生成的量化数据输出至逆量化单元31。
无损编码器25对从量化单元24输入的每个CTU的量化数据执行无损编码处理，例如CABAC(上下文自适应二进制算术编码)的无损编码处理。此外，无损编码器25获得由预测选择器43选择的预测模式的参数，例如指示帧内预测模式的信息，或者指示帧间预测模式的信息和运动信息。此外，无损编码器25从稍后将描述的SAO滤波器35获得关于滤波处理的参数。无损编码器25还获得指示如何对图像设置CTU、CU、TU和PU的块信息。无损编码器25对量化数据进行编码，并且将所获得的关于编码处理的每个参数累积在累积缓冲器26中作为编码流的头部信息的一部分。每个参数用作H.265/HEVC标准的语法元素。另外，无损编码器25将输入至图像编码装置10的鱼眼信息包括在编码流中作为编码流的语法元素或者作为SEI(补充增强信息)，SEI是补充信息。
累积缓冲器26临时保持从无损编码器25提供的数据，并且在预定定时将所保持的数据作为编码流输出至例如未示出的后续阶段中的传输线或记录装置。所保持的数据用作已经编码的编码图像。
速率控制器27基于累积在累积缓冲器26中的压缩图像来控制量化单元24的量化操作的速率，以使得不会引起上溢或下溢。
逆量化单元31以与由量化单元24执行的量化对应的方法对从量化单元24提供的变换系数的量化数据进行逆量化。逆量化单元31将由此获得的逆量化数据输出至逆正交变换单元32。
逆正交变换单元32以与由正交变换单元23执行的正交变换处理对应的方法对由此提供的逆量化数据执行逆正交变换。逆正交变换单元32将逆正交变换结果、即重构的残差数据输出至运算器33。
运算器33将经由预测选择器43从帧内预测单元41或帧间预测单元42提供的预测图像数据与从逆正交变换单元32提供的残差数据相加，并且获得本地解码图像(locallydecoded image)(解码图像)。例如，在残差数据对应于被执行帧内编码的图像的情况下，运算器33将从帧内预测单元41提供的预测图像数据与残差数据相加。相比之下，例如，在残差数据对应于被执行帧间编码的图像的情况下，运算器33将从帧间预测单元42提供的预测图像数据与残差数据相加。作为相加结果的解码图像数据被输出至去块滤波器34。该解码图像数据还被输出至帧存储器36作为参考图像数据。
去块滤波器34适当地执行去块滤波处理以去除解码图像数据中的块失真。去块滤波器34将滤波处理结果输出至SAO滤波器35。
SAO滤波器35对由去块滤波器34进行滤波之后的解码图像数据执行自适应偏移滤波处理(也被称为SAO(样本自适应偏移)处理)。SAO滤波器35将SAO处理之后的图像输出至帧存储器36。
累积在帧存储器36中的参考图像数据在预定定时经由选择器37输出至帧内预测单元41或帧间预测单元42。例如，在被执行帧内编码的图像的情况下，从帧存储器36中读取例如未由去块滤波器34对其执行滤波处理的参考图像数据，并且经由选择器37将该参考图像数据输出至帧内预测单元41。相比之下，例如，在执行帧间编码的情况下，从帧存储器36读取例如由去块滤波器34对其执行了滤波处理的参考图像数据，并且经由选择器37输出至帧间预测单元42。
校正方法确定单元40基于鱼眼信息，将与用于获得鱼眼图像的鱼眼透镜对应的校正因子表输出至帧间预测单元42。校正因子表用于对运动矢量的缩放处理中，该运动矢量用于计算当前预测块的预测运动矢量。注意，稍后将描述校正因子表的细节。此外，校正方法确定单元40和帧间预测单元42构成运动矢量校正单元。
帧内预测单元41基于原始图像数据和解码图像数据来对设置在每个CTU中的一个或更多个PU中的每一个执行帧内预测处理。PU可以被划分成一个或更多个TU。例如，对于包括在由HEVC指定的搜索范围中的预测模式候选中的每一个，帧内预测单元41基于预测误差和所生成的代码量来估计成本函数值。接下来，帧内预测单元41选择使成本函数值最小化的预测模式、即、使压缩比最大化的预测模式，作为最佳预测模式。此外，帧内预测单元41根据由此所选择的最佳预测模式来生成预测图像数据，并且将包括指示最佳预测模式的预测模式信息的与帧内预测有关的信息、相应的成本函数值以及预测图像数据输出至预测选择器43。
帧间预测单元42基于原始图像和解码图像数据来对设置在每个CTU中的一个或更多个PU中的每一个执行帧间预测处理(运动检测和运动补偿)。例如，对于包括在例如由HEVC指定的搜索范围中的预测模式候选中的每一个，帧间预测单元42基于预测误差和所生成的代码量来估计成本函数值。此外，帧间预测单元通过使用在校正方法确定单元40中生成的校正因子表，例如基于鱼眼透镜的投影方法和鱼眼图像的半径，对与当前预测块相邻的外围块的运动矢量执行缩放处理。注意，稍后将描述缩放处理。帧间预测单元使用外围块的缩放处理之后的运动矢量来生成预测运动矢量，并且生成当前预测块的运动矢量与预测运动矢量之间的差分矢量(difference vector)，以使用该差分矢量来计算成本函数值。接下来，帧间预测单元42选择使成本函数值最小化的预测模式、即、使压缩比最大化的预测模式，作为最佳预测模式。此外，帧间预测单元42根据由此选择的最佳预测模式来生成预测图像数据，并且将关于帧间预测的信息、相应的成本函数值、指示例如差分矢量和预测运动矢量的运动信息以及预测图像数据输出至预测选择器43。
预测选择器43基于从帧内预测单元41输入的成本函数值与从帧间预测单元42输入的成本函数值之间的比较来针对每个CTU或CU设置预测模式。对于设置了帧内预测模式的块，预测选择器43将由帧内预测单元41生成的预测图像数据输出至运算器22和33，并且将关于帧内预测的信息输出至无损编码器25。对于设置了帧间预测模式的块，预测选择器43将由帧间预测单元42生成的预测图像数据输出至运算器22和33，并且将关于帧间预测的信息和运动信息输出至无损编码器25。
<3.图像编码装置的操作>
<3-1.关于校正因子表>
图2示出了鱼眼透镜的投影方法。图2的部分(a)为正交投影方法，并且以入射角θ进入的光线与所进入的光线被投影到的位置y之间的关系(特性式))可以由式(1)表示。注意，“f”为鱼眼透镜的焦距。
y＝f·sinθ……(1)
图2的部分(b)为等距投影方法，并且该等距投影方法的特性式由式(2)表示。
y＝f·θ……(2)
图2的部分(c)为立体投影方法，并且该立体投影方法的特性式由式(3)表示。
y＝2f·tan(θ/2)……(3)
图2的部分(d)为等角投影方法，并且该等角投影方法的特性式由式(4)表示。
y＝2f·sin(θ/2)……(4)
注意，不产生鱼眼失真的透镜(在下文中，被称为“普通透镜(normal lens)”)的投影方法为图2的部分(e)所指示的的中心投影方法，并且该中心投影方法的特性式由式(5)表示。
y＝f·tanθ……(5)
可以基于鱼眼透镜的特性式和普通透镜的特性式来计算用于校正由于由鱼眼透镜对拍摄对象图像的投影而引起的鱼眼失真的校正因子。例如，在仅对透镜进行修改而焦距和拍摄条件相同的情况下，校正因子通过“校正因子＝普通透镜的特性式/鱼眼透镜的特性式”来计算。
图3示出针对每种投影方法的用于将鱼眼图像校正为普通图像的校正因子。例如，正交投影方法的校正因子为“1/cosθ”。此外，等距投影方法的校正因子为“tanθ/θ”，立体投影方法的校正因子为“tanθ/(2*tan(θ/2))”，以及等角投影方法的校正因子为“tanθ/(2*sin(θ/2))”。
其中，图3所指示的每个校正因子使用入射角θ作为参数，并且因此不容易获得与鱼眼图像上的位置对应的普通图像上的位置。为了解决该问题，预先基于校正因子生成可以获得与鱼眼图像上的位置对应的普通图像上的位置的校正因子表。
图4描绘了用于说明校正因子表的导出的视图。如图4的部分(a)所示出的，入射角θ在0°≤θ≤90°的范围内变化，并且记录该范围内的鱼眼透镜和普通透镜的特性式的值(在下文中，被称为“特性值”)。当将校正之前的特性值表示为y0并且将校正之后的特性值表示为y1时，校正因子(y1/y0)变为图4的部分(b)所指示的特性。注意，在入射角为0°的情况下，校正因子变为(0/0)，使得其不能被定义。然而，在鱼眼透镜的中心处，相对于使用普通透镜的情况的失真小，并且因此将该情况下的校正因子定义为“1”。基于图4的部分(a)和部分(b)的结果，当以特性值y0作为基准来指示校正因子(y1/y0)时，特性值y0与校正因子(y1/y0)之间的关系变为图4的部分(c)所指示的特性。校正因子表具有图4的部分(c)所指示的特性。为了减少校正因子表的数据量，以如图4的部分(d)所指示的恒定间隔对图4的部分(c)所指示的校正因子进行采样，并且校正因子表可以指示相对于每个采样的特性值y0的校正因子。
在普通透镜中使用的中心投影方法中，普通透镜的特性值随着入射角θ接近90°而增大，并且当入射角θ达到90°时，普通透镜的特性值变为无穷大。在实际的普通透镜中，例如视场角极限(angle-of-field limit)接近57°，并且当视场角范围在视场角极限内时，普通图像可以被处理为自然图像。然而，当视场角范围超过视场角极限时，普通图像与在拍摄区域中的拍摄对象的差异已经增大。因此，在由校正因子表所指示的校正因子(y1/y0)中，特性值y0的范围可以为在视场角极限处的特性值yclp内的范围。当以这样的方式生成校正因子表时，可以在不影响编码处理的情况下减少校正因子表的数据量。
特性值根据焦距f而变化，并且因此在校正因子表中，特性值y0的范围被标准化在“0”至“1”的范围内。当使用其中以这样的方式对特性值y0进行标准化的校正因子表时，基于标准化的校正因子表和焦距，可以获得针对期望的特性值y0的校正因子(y1/y0)。因此，不需要针对每个焦距提供校正因子表。
图5示出标准化的校正因子表，例如从正交投影方法到中心投影方法标准化的校正因子表。注意，在图5中，由于减小的采样间隔，因此在连续状态下示出相对于特性值y0的校正因子(y1/y0)的变化。
此外，当将标准化的校正因子表乘以鱼眼半径R时，可以生成与具有鱼眼半径R的鱼眼图像对应的校正因子表。注意，标准化的校正因子表被预先存储在校正方法确定单元40和将在稍后描述的图像解码装置50中的校正方法确定单元74中。
<3-2.关于编码处理操作>
接下来，将描述图像编码装置的操作。图6是示出图像编码装置的操作的流程图。
在步骤ST1中，图像编码装置执行图像排序处理。图像编码装置10中的图像排序缓冲器21将按照显示顺序的输入图像排序为编码顺序，并且将排序后的图像输出至帧内预测单元41、帧间预测单元42和SAO滤波器35。
在步骤ST2中，图像编码装置执行帧内预测处理。图像编码装置10中的帧内预测单元41使用从帧存储器36读取的参考图像数据，通过使用所有帧内预测模式对待处理的块中的像素执行帧内预测来生成预测图像数据。此外，帧内预测单元41使用所生成的预测图像数据和原始图像数据来计算成本函数值。注意，作为参考图像数据，使用例如未由去块滤波器34对其执行滤波处理的解码图像数据。帧内预测单元41基于计算出的成本函数值来选择最佳帧内预测模式，并且将通过以最佳帧内预测模式进行帧内预测而生成的预测图像数据、参数以及成本函数值输出至预测选择器43。
在步骤ST3中，图像编码装置执行帧间预测处理。图7是示出帧间预测处理的操作的流程图。在步骤ST21中，帧间预测单元42根据当前图片确定参考图片。在当前图片为P图片(预测图片)的情况下，帧间预测单元42将I图片(帧内图片)确定为参考图片。在当前图片为B图片(双向预测图片)的情况下，帧间预测单元42将P图片和B图片确定为参考图片，并且进行至步骤ST22。
在步骤ST22中，帧间预测单元42获得参考图片。帧间预测单元42获得存储在帧存储器36中的参考图片，并且进行至步骤ST23。
在步骤ST23中，帧间预测单元42执行运动搜索。帧间预测单元42针对所有预测模式执行运动搜索，以确定参考图片中的哪个区域与当前图片的当前预测块对应，并且进行至步骤ST24。
在步骤ST24中，帧间预测单元42执行最佳帧间预测模式选择处理。图8是示出最佳帧间预测模式选择处理的流程图。在步骤ST31中，帧间预测单元42选择预测模式候选。帧间预测单元42基于步骤ST23中的运动搜索结果，设置多个预测模式候选、例如运动矢量被计算出的预测模式作为候选，并且进行至步骤ST32。
在步骤ST32中，帧间预测单元42选择预测模式。帧间预测单元42从在步骤ST31中确定的帧间预测模式候选中选择还未选择的帧间预测模式，并且进行至步骤ST33。
在步骤ST33中，帧间预测单元42计算预测运动矢量。帧间预测单元42对用于计算预测运动矢量的运动矢量执行缩放处理。图9示出使用中心投影方法的拍摄透镜拍摄的图像中的拍摄对象的运动。图10示出运动矢量的并行缩放。拍摄对象OB沿着图9中的箭头FA的方向移动。注意，图9示出在时间点t1、时间点t2和时间点t3处拍摄的拍摄对象OB。例如，在拍摄对象OB以这样的方式在拍摄图像中沿着箭头FA移动的情况下，当参考图片RPb替代参考图片RPa用作参考目的地时，当参考图片RPa被用作参考平面时的运动矢量MVa仅需要根据从当前图片CP到参考图片RPa和RPb的距离(时间间隔)经历缩放以成为运动矢量MVb。然而，在鱼眼图像中，拍摄对象OB的失真的强度和方向根据鱼眼图像上的位置而变化。图11是示出鱼眼图像中的拍摄对象的运动的视图，并且示出在时间点t1、时间点t2和时间点t3处拍摄的拍摄对象OB。以这样的方式，拍摄对象在鱼眼图像中产生鱼眼失真。因此，当与使用中心投影方法的拍摄透镜的情况类似地来计算预测运动矢量时，预测运动矢量与使用当前预测块经历运动检测并被计算出的运动矢量之间的误差增大。这可能会降低编码效率。为了解决该问题，帧间预测单元42沿着鱼眼图像中的物体的轨迹对用于计算预测运动矢量的运动矢量执行缩放(在下文中，也被称为“自适应缩放”)。使用与用于获得鱼眼图像的拍摄透镜对应的校正因子表来执行自适应缩放。帧间预测单元42使用缩放之后的运动矢量来计算预测运动矢量，并且进行至步骤ST34。
在步骤ST34中，帧间预测单元42计算成本函数值。帧间预测单元42计算在步骤ST32中选择的帧间预测模式的成本函数值，并且进行至步骤ST35。
在步骤ST35中，帧间预测单元42确定是否选择了所有候选。在选择了所有帧间预测模式的情况下，帧间预测单元42进行至步骤ST36。在存在未选择的帧间预测模式的情况下，帧间预测单元42返回至步骤ST32，并且选择新的未选择的帧间预测模式。
在步骤ST36中，帧间预测单元42选择最佳帧间预测模式。帧间预测单元42比较针对各个预测模式计算出的成本函数值，并且例如选择成本函数值被最小化的预测模式作为最佳帧间预测模式。然后，帧间预测单元42进行至图7中的步骤ST25。注意，只要可以通过基于预测运动矢量的计算中的鱼眼信息对运动矢量执行缩放处理来选择最佳帧间预测模式，就可以执行与图8不同的处理。
在步骤ST25中，帧间预测单元42执行运动补偿。帧间预测单元42以在图8的步骤ST36中选择的最佳帧间预测模式执行运动补偿，以生成预测图像数据。此外，帧间预测单元42将所生成的预测图像数据、最佳帧间预测模式的成本函数值、运动信息以及最佳帧间预测模式的参数输出至预测选择器43，并进行至图6中的步骤ST4。
在步骤ST4中，图像编码装置执行预测图像选择处理。图像编码装置10中的预测选择器43基于在步骤ST2和步骤ST3中计算出的成本函数值，将最佳帧内预测模式和最佳帧间预测模式中的一个确定为最佳预测模式。然后，预测选择器43选择所确定的最佳预测模式的预测图像数据，并且将预测图像数据输出至运算器22和33。注意，预测图像数据在将在稍后描述的步骤ST5和ST10的操作中使用。此外，预测选择器43例如将关于最佳预测模式的参数输出至无损编码器25。
在步骤ST5中，图像编码装置执行差分运算处理(difference operationprocessing)。图像编码装置10中的运算器22计算在步骤ST2中排序的原始图像数据与在步骤ST4中选择的预测图像数据之间的差异，并且将作为差分结果的残差数据输出至正交变换单元23。
在步骤ST6中，图像编码装置执行正交变换处理。图像编码装置10中的正交变换单元23对从运算器22提供的残差数据执行正交变换。具体地，正交变换单元23执行诸如离散余弦变换的正交变换，并且将所获得的变换系数输出至量化单元24。
在步骤ST7中，图像编码装置执行量化处理。图像编码装置10中的量化单元24对从正交变换单元23提供的变换系数进行量化。在量化时，如稍后描述的步骤ST16中的处理中所描述的那样来控制速率。
如上面所描述的那样生成的量化信息按照以下方式被本地解码。换句话说，图像编码装置在步骤ST8中执行逆量化处理。图像编码装置10中的逆量化单元31利用与量化单元24对应的特性对从量化单元24输出的量化数据进行逆量化。
在步骤ST9中，图像编码装置执行逆正交变换处理。图像编码装置10中的逆正交变换单元32利用与正交变换单元23对应的特性对在逆量化单元31中生成的逆量化数据进行逆正交变换，以生成残差数据，并将该残差数据输出至运算器33。
在步骤ST10中，图像编码装置执行图像相加处理。图像编码装置10中的运算器33将从预测选择器43输出的预测图像数据与本地解码的残差数据相加，并且生成本地解码(即，经历本地解码的图像。
在步骤ST11中，图像编码装置执行去块滤波处理。图像编码装置10中的去块滤波器34对从运算器33输出的图像数据执行去块滤波处理以去除块失真，并且将所得到的图像数据输出至SAO滤波器35和帧存储器36。
在步骤ST12中，图像编码装置执行SAO处理。图像编码装置10中的SAO滤波器35对从去块滤波器34输出的图像数据执行SAO处理。通过该SAO处理，获得了针对作为最大编码单元的每个LCU的SAO处理的类型和系数，并且使用所获得的SAO处理的类型和系数执行滤波处理。SAO滤波器35将在SAO处理之后的图像数据存储在帧存储器36中。此外，SAO滤波器35将关于SAO处理的参数输出至无损编码器25，以在如稍后所描述的步骤ST14中执行编码。
在步骤ST13中，图像编码装置执行存储处理。图像编码装置10中的帧存储器36存储例如利用去块滤波器34执行滤波处理之前的图像以及例如利用去块滤波器34执行滤波处理之后的图像。
另一方面，在上面所描述的步骤ST7中量化的变换系数也被输出至无损编码器25。在步骤ST14中，图像编码装置执行无损编码处理。图像编码装置10中的无损编码器25对从量化单元24输出的量化之后的变换系数以及所提供的每个参数和鱼眼信息进行编码。
在步骤ST15中，图像编码装置执行累积处理。图像编码装置10中的累积缓冲器26累积编码数据。适当地读取累积在累积缓冲器26中的编码数据，并且例如经由传输线将编码数据传送至解码侧。
在步骤ST16中，图像编码装置执行速率控制。图像编码装置10中的速率控制器27控制量化单元24中的量化操作的速率，以便不会引起累积在累积缓冲器26中的编码数据的上溢或下溢。
<3-3.关于运动矢量的自适应缩放>
接下来，将描述在帧间预测中要执行的运动矢量的自适应缩放。注意，在以下描述中使用的坐标以像素为单位表示。
帧间预测单元42获得鱼眼图像的中心坐标(xg,yg)。鱼眼透镜不仅由于上面所描述的投影方法而且还由于用于将光学图像投影在图像传感器的传感器平面上的方法的不同而被分类为圆周鱼眼和对角线鱼眼。图12描绘了用于说明圆周鱼眼和对角线鱼眼的视图。图12的部分(a)示出了使用圆周鱼眼透镜的情况。由鱼眼透镜拍摄的鱼眼图像完全包括在图像传感器的传感器平面中。在矩形图片中，例如在鱼眼图像的左右两端产生没有数据的无用区域(由斜线指示的区域)。图12的部分(b)示出了使用对角线鱼眼透镜的情况。图像传感器的传感器平面包括在圆形鱼眼图像中。鱼眼图像中由斜线指示的区域是未在图片中显示的区域。圆周鱼眼的中心坐标和对角线鱼眼的中心坐标彼此一致，并且因此可以与圆周鱼眼的情况类似地来执行对角线鱼眼的自适应缩放。
图13是用于说明自适应缩放过程的视图。帧间预测单元42基于式(6)和式(7)来定义鱼眼图像的中心坐标(xg,yg)。
xg＝水平图像尺寸/2……(6)
yg＝竖直图像尺寸/2……(7)
接下来，通过从鱼眼中心起的矢量表示外围块相对于当前预测块的坐标。图14示出了当前预测块和外围块。左上侧的外围块的左上坐标(xn,yn)被指定为作为图片左上角的基准(0,0)，并且通过从这些坐标中减去从式(6)和式(7)获得的鱼眼的中心坐标(xg,yg)，鱼眼的中心被定义为基准。在这种情况下，与左上侧相邻的外围块的位置具有如式(8)所表示的坐标(xg，yg)。
(xgn，ygn)＝(xn-xg，yn-yg)···(8)
此外，通过将外围块的运动矢量(mvxn，mvyn)与外围块的坐标相加，如式(9)所表示的，由运动矢量指示的坐标(xgn_mv，ygn_mv)也将鱼眼的中心定义为基准。
(xgn_mv，ygn_mv)＝(xn-xg+mv×n，yn-yg+mvyn)···(9)
此外，使用校正因子表将由式(8)和式(9)表示的在鱼眼图像中的坐标变换为在普通图像中的坐标。此处，通过将标准化的校正因子表乘以鱼眼半径R来生成用于坐标变换的校正因子表。
此处，当将与坐标(xng，yng)对应的校正因子定义为校正因子“K1”并且将与坐标(xgn_mv，ygn_mv)对应的校正因子定义为校正因子“K2”时，坐标(xng，yng)的校正后的坐标(XGN，YGN)可以基于式(10)来计算，并且坐标(xgn_mv，ygn_mv)的校正后的坐标(XGN_MV，YGN_MV)可以基于式(11)来计算。
(XGN，YGN)＝(K1·xgn，K1·ygn)···(10)
(XGN_MV，YGN_MV)＝(K2·xgn_mv，K2·ygn_mv)···(11)
因此，如式(12)所示出的，外围块的校正后的运动矢量(MVXN，MVYN)可以通过从由式(11)表示的坐标中减去由式(10)表示的坐标来计算。
(MVXN，MVYN)＝(XGN_MV-XGN，YGN_MV-YGN)···(12)
校正后的运动矢量(MVXN，MVYN)是变换为普通图像的运动矢量，并且因此校正后的运动矢量的缩放与普通图像的运动矢量类似地来执行。当外围块的参考平面为图片“B”而图14所示出的当前预测块的参考平面为图片A时，运动矢量的缩放彼此不同。因此，对与普通图像的运动矢量类似的外围块的运动矢量执行缩放处理。普通图像的缩放符合现有编解码器或下一代编解码器的标准。
当缩放处理被表示为Scale()时，经缩放的运动矢量(MVXN_scl，MVYN_scl)可以基于式(13)来计算。
(MVXN_scl，MVYN_scl)＝(Scale(MVXN)，Scale(MVYN))……(13)
此外，如式(14)所表示的，经缩放的运动矢量(MVXN_scl，MVYN_scl)所指示的坐标(XGN_MV_scl，YGN_MV_scl)可以通过将式(10)所表示的坐标相加来计算。
(XGN_MV_scl，YGN_MV_scl)＝(Seale(MVXN)+XGN，Scale(MVYN)+YGN)···(14)
此外，当将校正因子表的逆向查找应用于由式(14)计算的坐标(XGN_MV_scl，YGN_MV_scl)时，普通图像中的坐标返回至鱼眼图像中的坐标。通过从鱼眼图像的坐标减去由式(10)计算出的坐标(XGN，YGN)而获得的结果变为自适应缩放之后的运动矢量。注意，当应用校正因子表的逆向查找时，在逆向查找之前的坐标位于视场角极限之外的情况下，执行用于将坐标恢复回视场角极限值的处理。
因此，自适应缩放之后的运动矢量(mvxn_scl，mvyn_scl)可以基于式(15)来计算。
(mvxn_scl，mvyn_scl)＝(InvK(XGN_MV_scl)-xgn，InvK(YGN_MV_scl)-ygn)···(15)
此后，根据现有编解码器或下一代编解码器的标准，如上面所描述的那样执行当前预测块的计算和差分运动矢量的计算。
图15是示出自适应缩放过程的流程图。在步骤ST41中，帧间预测单元42将鱼眼的中心坐标定义为基准。帧间预测单元42执行上面所描述的式(6)和式(7)中的运算以计算鱼眼的中心坐标。此外，帧间预测单元42执行上面所描述的式(8)和式(9)中的运算，以将外围块的位置或运动矢量的基准定义为鱼眼的中心坐标，并且进行至步骤ST42。
在步骤ST42中，帧间预测单元42对外围块的位置进行校正。帧间预测单元42获得与以鱼眼的中心坐标为基准的外围块的位置对应的校正因子，执行上面所描述的式(10)中的运算，将鱼眼图像中的坐标校正为普通图像中的坐标，并且然后进行至步骤ST43。
在步骤ST43中，帧间预测单元42对由外围块的运动矢量所指示的位置进行校正。帧间预测单元42从校正因子表中获得与由以鱼眼的中心坐标为基准的外围块的运动矢量所指示的位置对应的校正因子，执行上面所描述的式(11)中的运算，将鱼眼图像中的坐标校正为普通图像中的坐标，并且然后进行至步骤ST44。
在步骤ST44中，帧间预测单元42计算外围块的校正后的运动矢量。帧间预测单元42使用在步骤ST43中经过校正的由运动矢量所指示的位置和在步骤ST42中经过校正的外围块的位置执行上面所描述的式(12)中的运算，计算外围块的校正后的运动矢量，即变换为普通图像的运动矢量，并且然后进行至步骤ST45。
在步骤ST45中，帧间预测单元42执行运动矢量的并行缩放。由于在步骤ST44中计算出的校正后的运动矢量是变换为普通图像的运动矢量，因此帧间预测单元42执行上面所描述的式(13)中的运算，与普通图像的情况类似地来执行运动矢量的缩放，并且然后进行至步骤ST46。
在步骤ST46中，帧间预测单元42计算由缩放之后的运动矢量所指示的位置。帧间预测单元42使用在步骤ST42中计算出的普通图像中的外围块的位置和在步骤ST45中计算出的缩放之后的运动矢量来执行上面所描述的式(14)中的运算，计算由缩放之后的运动矢量所指示的位置，并且然后进行至步骤ST47。
在步骤ST47中，帧间预测单元42确定计算出的位置是否超过视场角极限。帧间预测单元42在步骤ST46中计算出的由缩放之后的运动矢量所指示的位置超过鱼眼图像的视场角极限的情况下进行至步骤ST48，或者帧间预测单元42在步骤ST46中计算出的由缩放之后的运动矢量所指示的位置没有超过鱼眼图像的视场角极限的情况下进行至步骤ST49。
在步骤ST48中，帧间预测单元42使位置恢复。由于在步骤ST46中计算出的由缩放之后的运动矢量所指示的位置超过视场角极限，因此帧间预测单元42在保持其矢量方向的同时将该位置恢复回视场角极限，并且进行至步骤ST50。
当从步骤ST47进行至步骤ST49时，帧间预测单元42执行逆校正处理。由于在步骤ST48中计算出的由缩放之后的运动矢量所指示的位置为普通图像中的位置，因此帧间预测单元42基于普通图像中的位置，从校正因子表获得用于将普通图像中的位置校正为鱼眼图像中的位置的逆校正因子，将由缩放之后的运动矢量所指示的普通图像中的位置乘以所获得的逆校正因子，以对鱼眼图像中的位置进行校正，并且然后进行至步骤ST50。
在步骤ST50中，帧间预测单元42计算自适应缩放之后的运动矢量。帧间预测单元42使用以鱼眼的中心坐标为基准的外围块的位置和由缩放之后的运动矢量所指示的鱼眼图像中的位置来执行上面所描述的式(15)中的运算，以计算鱼眼图像中的缩放之后的运动矢量。
注意，已经描述了上面所描述的图像编码装置生成符合H.265/HEVC标准的编码流的情况。然而，可以采用图像编码装置生成符合例如H.264/AVC标准的其他运动图片压缩编码标准的编码流的情况。可替选地，除了外围块的运动矢量以外，图像编码装置还可以对其他运动矢量执行缩放处理。例如，当在H.264/AVC标准的直接模式下执行运动矢量的缩放时，可以基于鱼眼信息来执行运动矢量的缩放。
根据这样的图像编码装置，通过基于鱼眼信息来对运动矢量执行缩放处理，即使在要编码的图像为鱼眼图像的情况下也可以生成接近实际图像图案的预测运动矢量，并且因此与未执行缩放处理的情况相比可以高效地执行编码。此外，图像编码装置使用基于用于拍摄的鱼眼透镜的投影方法的特性式和用于获得没有鱼眼失真的图像的中心投影方法的特性式而计算出的校正因子来执行校正。这使得能够进行理论上正确的校正，从而可以提高以该校正为前提的处理的准确度。此外，图像编码装置使用校正因子表，从而与例如基于投影方法或鱼眼图像中的位置来计算校正因子的情况相比，有助于校正因子的计算。
此外，图像编码装置对用于计算预测运动矢量的运动矢量执行缩放处理。因此，在将差分运动矢量用作当前预测块的运动信息的情况下，不影响当前预测块的运动矢量的准确性。此外，图像编码装置不需要执行用于将鱼眼图像变换为普通图像的处理，从而在通过解码处理而获得的鱼眼图像中不会发生图像缺损。
<4.图像解码装置的配置>
图16示出对鱼眼图像的编码流执行解码处理的图像解码装置的配置，并且图像解码装置50是与图1所示出的图像编码装置10对应的图像解码装置。由图像编码装置10生成的编码流被提供至图像解码装置50以被解码。
图像解码装置50包括累积缓冲器61、无损解码器62、逆量化单元63、逆正交变换单元64、运算器65、去块滤波器66、SAO滤波器67和图像排序缓冲器68。另外，图像解码装置50包括帧存储器71、选择器72、帧内预测单元73、校正方法确定单元74和运动补偿单元75。
累积缓冲器61接收并累积所传送的编码流。在预定定时读取该编码流，以将其输出至无损解码器62。
无损解码器62对编码流执行无损解码，将由此获得的诸如指示帧内预测模式或帧间预测模式的信息的参数以及鱼眼信息输出至帧内预测单元73，并且将诸如指示帧间预测模式的信息和运动矢量信息的参数输出至运动补偿单元75。此外，无损解码器62对编码流执行无损解码，并且将获得的鱼眼信息输出至校正方法确定单元74。
逆量化单元63利用与图1中的量化单元24的量化方法对应的方法，对通过由无损解码器62解码而获得的量化数据执行逆量化。逆量化单元63将逆量化数据输出至逆正交变换单元64。
逆正交变换单元64利用与图1中的正交变换单元23的正交变换方法对应的方法执行逆正交变换，获得与图像编码装置10中的正交变换之前的残差数据对应的解码残差数据，并且将该解码残差数据输出至运算器65。
帧内预测单元73或运动补偿单元75将其预测图像数据提供至运算器65。运算器65将解码残差数据与预测图像数据相加，并且获得与由图像编码装置10中的运算器22减去预测图像数据之前的原始图像数据对应的解码图像数据。运算器65将该解码图像数据输出至去块滤波器66。
去块滤波器66执行去块滤波处理以去除解码图像中的块失真。去块滤波器66将滤波处理之后的图像数据输出至SAO滤波器67。
SAO滤波器67对由去块滤波器66执行的滤波之后的图像数据执行SAO处理。SAO滤波器67针对每个LCU，使用从无损解码器62提供的参数对由去块滤波器66执行的滤波之后的图像数据执行滤波处理，并且将所得到的图像数据输出至图像排序缓冲器68。
图像排序缓冲器68对图像进行排序。换句话说，图像排序缓冲器68对图像进行排序，使得由图1中的图像排序缓冲器21排序为编码顺序的帧的顺序被排序为原始显示顺序。
SAO滤波器67的输出还被提供至帧存储器71。选择器72从帧存储器71读取要用于帧内预测的图像数据，并且将该图像数据输出至帧内预测单元73。此外，选择器72从帧存储器71读取要经历帧间处理的图像数据和要参考的图像数据，并且将该图像数据输出至运动补偿单元75。
无损解码器62将通过对头部信息进行解码而获得的信息(例如，预测模式信息和运动矢量信息)提供至帧内预测单元73。在来自无损解码器62的信息指示预测模式为帧内预测的情况下，帧内预测单元73基于例如预测模式信息，根据从帧存储器71获得的图像数据来生成预测图像数据，并且将该预测图像数据输出至运算器65。
校正方法确定单元74基于从无损解码器62提供的鱼眼信息，将与用于获得鱼眼图像的鱼眼透镜对应的校正因子表输出至运动补偿单元75。注意，校正方法确定单元74和运动补偿单元75构成运动矢量校正单元。
无损解码器62将通过对头部信息进行解码而获得的信息提供至运动补偿单元75。在来自无损解码器62的信息指示预测模式为帧间预测的情况下，运动补偿单元75基于例如预测模式信息、运动信息和参考帧信息，根据从帧存储器71获得的图像数据来生成预测图像数据，并且将该预测图像数据输出至运算器65。此外，在编码图像为鱼眼图像并且生成预测图像数据的情况下，运动补偿单元75使用由校正方法确定单元74生成的校正因子表，与图像编码装置10中的帧间预测单元42类似地，对用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理。运动补偿单元75使用利用缩放处理之后的运动矢量计算出的当前预测块的运动矢量来执行运动补偿，以生成预测图像数据。
<5.图像解码装置的操作>
接下来，将描述图像解码装置的示例性实施方式的操作。图17是示出图像解码装置的操作的流程图。
当开始解码处理时，图像解码装置在步骤ST101中执行累积处理。图像解码装置50中的累积缓冲器61接收并累积所传送的编码流。
图像解码装置在步骤ST102中执行无损解码处理。图像解码装置50中的无损解码器62对从累积缓冲器61提供的编码流进行解码。无损解码器62在对图片进行解码之前对例如运动矢量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)和鱼眼信息的参数信息进行解码。在预测模式信息为帧内预测模式信息的情况下，预测模式信息和鱼眼图像信息被提供至帧内预测单元73。在预测模式信息为帧间预测模式信息的情况下，预测模式信息、相应的运动矢量信息等被输出至运动补偿单元75。此外，鱼眼信息被输出至校正方法确定单元74。
图像解码装置在步骤ST103中执行预测图像生成处理。图像解码装置50中的帧内预测单元73或运动补偿单元75执行与从无损解码器62提供的预测模式信息对应的预测图像生成处理。
换句话说，在无损解码器62提供帧内预测模式信息的情况下，帧内预测单元73以帧内预测模式生成帧内预测图像数据。在无损解码器62提供帧间预测模式信息的情况下，运动补偿单元75以帧间预测模式执行运动补偿处理以生成帧间预测图像数据。此外，运动补偿单元75例如使用从校正方法确定单元74提供的与用于获得鱼眼图像的鱼眼透镜对应的校正因子表，对运动矢量执行缩放处理，并且生成预测图像数据。由帧内预测单元73生成的预测图像数据或由运动补偿单元75生成的预测图像数据被输出至运算器65。
图像解码装置在步骤ST104中执行逆量化处理。图像解码装置50中的逆量化单元63利用与图1中的量化单元24的量化方法对应的方法，对由无损解码器62获得的量化数据执行逆量化，并且将逆量化数据输出至逆正交变换单元64。
图像解码装置在步骤ST105中执行逆正交变换处理。图像解码装置50中的逆正交变换单元64利用与图1中的正交变换单元23的正交变换方法对应的方法执行逆正交变换，获得与图像编码装置10中的正交变换之前的残差数据对应的解码残差数据，并且将该解码残差数据输出至运算器65。
图像解码装置在步骤ST106中执行图像相加处理。图像解码装置50中的运算器65将从帧内预测单元73或运动补偿单元75提供的预测图像数据与从逆正交变换单元64提供的解码残差数据相加，以生成解码图像数据。运算器65将所生成的解码图像数据输出至去块滤波器66和帧存储器71。
图像解码装置在步骤ST107中执行去块滤波处理。图像解码装置50中的去块滤波器66对从运算器65输出的图像执行去块滤波处理。这去除了块失真。来自去块滤波器66的解码图像被输出至SAO滤波器67。
图像解码装置在步骤ST108中执行SAO处理。图像解码装置50中的SAO滤波器67使用从无损解码器62提供的关于SAO处理的参数，对由去块滤波器66执行的滤波之后的图像执行SAO处理。SAO滤波器67将SAO处理之后的解码图像数据输出至图像排序缓冲器68和帧存储器71。
图像解码装置在步骤ST109中执行存储处理。图像解码装置50中的帧存储器71存储从运算器65提供的滤波处理之前的解码图像数据以及经历由去块滤波器66和SAO滤波器67执行的滤波处理的解码图像数据。
图像解码装置在步骤ST110中执行图像排序处理。图像解码装置50中的图像排序缓冲器68累积从SAO滤波器67提供的解码图像数据，并且按照在图像编码装置10中的图像排序缓冲器21对解码图像数据进行排序之前的显示顺序输出所累积的解码图像数据。
当执行这样的解码处理时，可以对由上面所描述的图像编码装置10生成的编码流进行解码，并且可以从图像解码装置50输出由图像编码装置10生成的鱼眼图像。
<6.图像处理装置的另一配置>
图像处理装置可以被配置成执行与常规的编码/解码处理类似的对普通图像的编码/解码处理以及对上面所描述的鱼眼图像的编码/解码处理。在这种情况下，使用指示编码/解码处理的目标是普通图像还是鱼眼图像的标识信息，例如标志(在下文中，被称为“鱼眼标志FEfg”)。
例如，在鱼眼标志FEfg满足“FEfg＝1”的情况下，使用校正因子表执行上面所描述的编码/解码处理。相比之下，在鱼眼标志FEfg满足“FEfg＝0”的情况下，在不使用校正因子表的情况下执行常规的编码/解码处理。此外，在没有设置鱼眼标记FEfg的情况下，与“FEfg＝0”的情况类似，在不使用校正因子表的情况下执行编码/解码处理。
在这种情况下，除了上面所描述的指示投影方法的信息和指示鱼眼半径的信息以外，鱼眼信息还包括鱼眼标志FEfg。指示投影方法的信息和指示鱼眼半径的信息在鱼眼标志FEfg满足“FEfg＝1”的情况下变得有效。
指示投影方法的信息可以通过例如值“0”至“3”来标识图2所示出的四种投影方法。
指示鱼眼半径的信息指示半径的长度。当以这样的方式指示半径的长度时，即使在圆形鱼眼图像不接触图像边界的情况下，也可以执行上面所描述的处理。这消除了调节拍摄方法以使得圆形鱼眼图像接触图像边界的必要性，从而可以使获得鱼眼图像时的自由度高。
此外，鱼眼信息可以包括指示是使用图12所示出的圆周鱼眼还是对角线鱼眼的透镜类型信息。例如，可以通过值“0”和“1”来标识圆周鱼眼和对角线鱼眼。透镜类型信息在鱼眼标志FEfg满足“FEfg＝1”的情况下变得有效。当鱼眼信息包括该透镜类型信息时，可以在确定图片的尺寸之后计算鱼眼半径R。此外，当在编码时确定透镜类型信息和图片尺寸时，可以计算鱼眼半径R。例如，在使用圆周鱼眼的情况下，鱼眼半径R是图片的短边的长度的1/2倍。此外，在使用对角线鱼眼的情况下，鱼眼半径R是图片的对角线的长度的1/2倍。注意，在解码时，需要计算鱼眼半径。此外，在圆形鱼眼图像不接触图片的图像边界的情况下，例如在鱼眼半径R比图片的短边的长度的1/2倍短的情况下或者在鱼眼半径R比对角线的长度的1/2倍长的情况下，不能计算出鱼眼半径R。然而，在透镜类型限于圆周鱼眼和对角线鱼眼中的任意一种的情况下，当使鱼眼信息包括透镜类型信息而不包括鱼眼半径时，透镜类型信息的数据量可以比指示鱼眼半径的信息的数据量小。这可以提高编码效率。
根据本技术的这样的图像处理装置，可以保持与常规图像处理装置、即用于对使用中心投影方法的普通透镜而获得的图像进行编码和解码的装置的兼容性。
<7.应用示例>
接下来，将描述本技术的图像处理装置的应用示例。例如，本技术的图像处理装置可以应用于使用鱼眼透镜拍摄运动图像的拍摄装置。在这种情况下，当在拍摄装置中设置有图像编码装置10时，可以高效地对鱼眼图像进行编码，并且可以将编码流记录到记录介质或者将编码流输出至外部装置。此外，当在拍摄装置中设置有图像解码装置50时，可以对编码流进行解码，并且可以记录并再现鱼眼图像。另外，当设置有图像编码装置10的拍摄装置安装在任意类型的移动体、例如汽车、电动车辆、混合动力车辆、摩托车、自行车、个人移动体、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)上时，可以高效地记录移动体周围的整个图像或者将移动体周围的整个图像传送至外部设备。此外，当本技术的图像处理装置设置在具有用于使用鱼眼透镜拍摄运动图像的功能的便携式电子设备中时，在将鱼眼图像记录至记录介质中时，与常规装置相比可以减少数据量。
另外，当执行解码处理的图像处理装置设置在图像再现装置中时，可以利用例如头戴式显示器来显示天球图像。
本说明书中所描述的一系列处理可以通过硬件、软件或者硬件和软件的组合配置来执行。在通过软件执行处理的情况下，将记录处理序列的程序安装在嵌入于专用硬件中的计算机的存储器中以执行。可替选地，可以将该程序安装在能够执行各种处理的通用计算机中以执行。
例如，程序可以被预先记录在各自用作记录介质的硬盘、SSD(固态驱动器)、ROM(只读存储器)中。可替选地，程序可以临时或永久地存储(记录)在例如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、BD(蓝光盘(注册商标))、磁盘和半导体存储卡的可移除记录介质中。这样的可移除记录介质可以作为通常所谓的软件包来提供。
除了从可移除记录介质安装至计算机以外，程序还可以经由诸如LAN(局域网)或因特网的网络从下载站点无线或有线地传输至计算机。计算机可以接收以这样的方式传输的程序，并且将该程序安装在诸如硬盘的内置记录介质中。
注意，本说明书中所描述的效果本质上是说明性的而非限制性的，并且可以包括此处未描述的附加效果。此外，本技术不应当被解释为限于上面所描述的技术的示例性实施方式。显然本技术的示例性实施方式以说明的形式公开了本技术，并且本领域技术人员可以在不脱离本技术的主旨的范围内对示例性实施方式进行修改或替换。换句话说，为了确定本技术的主旨，应当考虑权利要求书。
此外，本技术的图像处理装置可以采用以下配置。
(1)一种图像处理装置，包括：
运动矢量校正单元，其基于关于鱼眼透镜和使用所述鱼眼透镜拍摄的鱼眼图像的鱼眼信息，对所述鱼眼图像中的用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理。
(2)根据(1)所述的图像处理装置，其中，
所述运动矢量校正单元基于所述鱼眼透镜的投影方法和所述鱼眼图像的半径，对所述运动矢量执行所述缩放处理。
(3)根据(2)所述的图像处理装置，其中，
所述运动矢量校正单元使用对根据距所述鱼眼透镜的中心的距离而变化的鱼眼失真进行校正的校正因子，对所述运动矢量执行所述缩放处理。
(4)根据(3)所述的图像处理装置，其中，
所述运动矢量校正单元通过使用所述校正因子和所述鱼眼图像的半径将所述鱼眼图像中的所述运动矢量变换为没有鱼眼失真的图像中的运动矢量来执行缩放，并且将所述缩放之后的所述运动矢量变换为所述鱼眼图像中的所述运动矢量。
(5)根据(3)或(4)所述的图像处理装置，其中，
所述运动矢量校正单元使用所述鱼眼透镜的各个投影方法的校正因子表中的、与用于拍摄的所述鱼眼透镜对应的校正因子表来执行所述缩放处理，所述校正因子表指示标准化的所述校正因子。
(6)根据(5)所述的图像处理装置，其中，
所述运动矢量校正单元预先保持所述各个投影方法的所述校正因子表。
(7)根据(3)至(5)中任一项所述的图像处理装置，其中，
所述校正因子是基于所述鱼眼透镜的投影方法的特性式和用于获得没有鱼眼失真的图像的中心投影方法的特性式而计算的。
(8)根据项(1)至(7)中任一项所述的图像处理装置，其中，
用于计算所述预测运动矢量的所述运动矢量是所述当前预测块的外围块的运动矢量。
(9)根据(1)至(8)中任一项所述的图像处理装置，还包括：
无损编码器，其将关于用于拍摄的所述鱼眼透镜的鱼眼信息并入所述鱼眼图像的编码流中。
(10)根据(9)所述的图像处理装置，其中，
所述无损编码器将指示是否执行了所述缩放处理的信息并入所述编码流中。
(11)根据(9)或(10)所述的图像处理装置，其中，
所述鱼眼信息包括指示所述鱼眼透镜的投影方法的信息和指示所述鱼眼图像的半径的信息。
(12)根据(11)所述的图像处理装置，其中，
代替指示所述鱼眼图像的半径的所述信息，所述鱼眼信息包括指示光学图像的投影方法的信息。
(13)根据(1)至(8)中任一项所述的图像处理装置，还包括：
无损解码器，其对所述鱼眼图像的编码流进行解码，其中，
所述运动矢量校正单元使用关于用于拍摄的所述鱼眼透镜的鱼眼信息执行所述缩放处理，所述鱼眼信息是通过由所述无损解码器对所述编码流进行解码而获得的。
(14)根据(13)所述的图像处理装置，其中，
在通过由所述无损解码器对所述编码流进行解码而获得的所述信息指示要执行所述缩放处理的情况下，所述运动矢量校正单元使用所述鱼眼信息来执行所述缩放处理。
[工业适用性]
根据本技术的图像处理装置和图像处理方法，基于关于鱼眼透镜和使用鱼眼透镜拍摄的鱼眼图像的鱼眼信息，使用于计算鱼眼图像中的当前预测块的预测运动矢量的运动矢量经历缩放处理。因此，可以以比未执行缩放处理的情况下的编码效率高的编码效率来执行对鱼眼图像的编码处理或解码处理。因此，例如本技术适用于例如记录、再现和传送鱼眼图像的电子设备和移动体装置。
附图标记列表
10…图像编码装置
21、68…图像排序缓冲器
22、33、65…运算器
23…正交变换单元
24…量化单元
25…无损编码器
26…累积缓冲器
27…速率控制器
31、63…逆量化单元
32、64…逆正交变换单元
34、66…去块滤波器
35、67…SAO滤波器
36、71…帧存储器
37、72…选择器
40、74…校正方法确定单元
41、73…帧内预测单元
42…帧间预测单元
43…预测选择器
50…图像解码装置
61…累积缓冲器
62…无损解码器
75…运动补偿单元

Claims (11)

1.一种图像处理装置，包括：
运动矢量校正单元，所述运动矢量校正单元基于指示对根据距鱼眼透镜的中心的距离而变化的鱼眼失真进行校正的校正因子和使用所述鱼眼透镜拍摄的鱼眼图像的半径的鱼眼信息，对所述鱼眼图像中的用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理，
其中，所述运动矢量校正单元通过使用所述校正因子和所述鱼眼图像的半径将所述鱼眼图像中的所述运动矢量变换为没有鱼眼失真的图像中的运动矢量来执行缩放，并且将所述缩放之后的所述运动矢量变换为所述鱼眼图像中的所述运动矢量。
2.根据权利要求1所述的图像处理装置，其中，
所述运动矢量校正单元使用所述鱼眼透镜的各个投影方法的校正因子表中的、与用于拍摄的所述鱼眼透镜对应的校正因子表来执行所述缩放处理，所述校正因子表指示标准化的所述校正因子。
3.根据权利要求2所述的图像处理装置，其中，
所述运动矢量校正单元预先保持所述各个投影方法的所述校正因子表。
4.根据权利要求1所述的图像处理装置，其中，
所述校正因子是基于所述鱼眼透镜的投影方法的特性式和用于获得没有鱼眼失真的图像的中心投影方法的特性式而计算的。
5.根据权利要求1所述的图像处理装置，其中，
用于计算所述预测运动矢量的所述运动矢量是所述当前预测块的外围块的运动矢量。
6.根据权利要求1所述的图像处理装置，还包括：
无损编码器，所述无损编码器将关于用于拍摄的所述鱼眼透镜的鱼眼信息并入所述鱼眼图像的编码流中。
7.根据权利要求6所述的图像处理装置，其中，
所述无损编码器将指示是否执行了所述缩放处理的信息并入所述编码流中。
8.根据权利要求6所述的图像处理装置，其中，
所述鱼眼信息包括指示所述鱼眼透镜的投影方法的信息和指示所述鱼眼图像的半径的信息。
9.根据权利要求1所述的图像处理装置，还包括：
无损解码器，所述无损解码器对所述鱼眼图像的编码流进行解码，其中，
所述运动矢量校正单元使用关于用于拍摄的所述鱼眼透镜的鱼眼信息执行所述缩放处理，所述鱼眼信息是通过由所述无损解码器对所述编码流进行解码而获得的。
10.根据权利要求9所述的图像处理装置，其中，
在通过由所述无损解码器对所述编码流进行解码而获得的所述信息指示要执行所述缩放处理的情况下，所述运动矢量校正单元使用所述鱼眼信息来执行所述缩放处理。
11.一种图像处理方法，包括：
由运动矢量校正单元基于指示对根据距鱼眼透镜的中心的距离而变化的鱼眼失真进行校正的校正因子和使用所述鱼眼透镜拍摄的鱼眼图像的半径的鱼眼信息，对所述鱼眼图像中的用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理，
其中，所述运动矢量校正单元通过使用所述校正因子和所述鱼眼图像的半径将所述鱼眼图像中的所述运动矢量变换为没有鱼眼失真的图像中的运动矢量来执行缩放，并且将所述缩放之后的所述运动矢量变换为所述鱼眼图像中的所述运动矢量。
CN201880091006.0A 2018-03-16 2018-12-04 图像处理装置和图像处理方法 Active CN111837394B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-049200 2018-03-16
JP2018049200 2018-03-16
PCT/JP2018/044524 WO2019176189A1 (ja) 2018-03-16 2018-12-04 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN111837394A CN111837394A (zh) 2020-10-27
CN111837394B true CN111837394B (zh) 2024-01-26

Family

ID=67907557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091006.0A Active CN111837394B (zh) 2018-03-16 2018-12-04 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US11245919B2 (zh)
JP (1) JP7310794B2 (zh)
KR (1) KR20200131231A (zh)
CN (1) CN111837394B (zh)
WO (1) WO2019176189A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220024020A (ko) * 2019-06-25 2022-03-03 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 모션 보상 처리 방법, 인코더, 디코더 및 저장 매체
US11720995B2 (en) 2021-06-04 2023-08-08 Ford Global Technologies, Llc Image rectification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2008011079A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 動画像符号化装置、動画像復号化装置及び動画像伝送システム
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
WO2016104842A1 (ko) * 2014-12-26 2016-06-30 재단법인 다차원 스마트 아이티 융합시스템 연구단 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
JP2017120980A (ja) * 2015-12-28 2017-07-06 Kddi株式会社 インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4682990B2 (ja) * 2007-02-06 2011-05-11 日本ビクター株式会社 カメラ画像圧縮処理装置及び圧縮処理方法
JP4629131B2 (ja) * 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
JP2009290889A (ja) 2009-08-07 2009-12-10 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP5631229B2 (ja) * 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP2014176034A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
JP2017208619A (ja) * 2016-05-16 2017-11-24 株式会社リコー 画像処理装置、画像処理方法、プログラム及び撮像システム
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10699389B2 (en) * 2016-05-24 2020-06-30 Qualcomm Incorporated Fisheye rendering with lens distortion correction for 360-degree video
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
KR102503342B1 (ko) * 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2008011079A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 動画像符号化装置、動画像復号化装置及び動画像伝送システム
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
WO2016104842A1 (ko) * 2014-12-26 2016-06-30 재단법인 다차원 스마트 아이티 융합시스템 연구단 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
JP2017120980A (ja) * 2015-12-28 2017-07-06 Kddi株式会社 インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体

Also Published As

Publication number Publication date
US11245919B2 (en) 2022-02-08
JPWO2019176189A1 (ja) 2021-03-25
KR20200131231A (ko) 2020-11-23
US20200404318A1 (en) 2020-12-24
JP7310794B2 (ja) 2023-07-19
WO2019176189A1 (ja) 2019-09-19
CN111837394A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US10200715B2 (en) Methods and devices for encoding and decoding video pictures
JP4999864B2 (ja) 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体
KR101682516B1 (ko) 파라미터 필터링을 사용하는 비디오 인코딩 및 디코딩을 위한 방법 및 장치
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
RU2684193C1 (ru) Устройство и способ для компенсации движения в видеоизображении
JP5560009B2 (ja) 動画像符号化装置
KR102161888B1 (ko) 보조 프레임을 지원하는 비디오 코딩 포맷으로 비디오 스트림을 인코딩하기 위한 인코더 및 방법
CN111837394B (zh) 图像处理装置和图像处理方法
CN112352425B (zh) 图像处理装置和图像处理方法
JP5441812B2 (ja) 動画像符号化装置、及びその制御方法
US20120140036A1 (en) Stereo image encoding device and method
WO2010035735A1 (ja) 画像処理装置および方法
US11290739B2 (en) Video processing methods and apparatuses of determining motion vectors for storage in video coding systems
US11202082B2 (en) Image processing apparatus and method
WO2019181101A1 (ja) 画像処理装置と画像処理方法
EP4311235A1 (en) Encoding device and method
RU2777969C1 (ru) Способ и устройство взаимного прогнозирования на основе dmvr и bdof
JP2018182435A (ja) 動きベクトル予測装置及びコンピュータプログラム
JP2007228400A (ja) 動画像変換装置
JP2022158242A (ja) 符号化装置及び方法
JP2022145499A (ja) 符号化装置及び方法
TW202337214A (zh) 用於視頻編解碼的仿射編碼塊導出合併候選的方法和裝置
JP2012222460A (ja) 動画像符号化装置、動画像符号化方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant