CN111953982B - 编码失真的图像帧的方法、设备和介质 - Google Patents

编码失真的图像帧的方法、设备和介质 Download PDF

Info

Publication number
CN111953982B
CN111953982B CN202010387614.5A CN202010387614A CN111953982B CN 111953982 B CN111953982 B CN 111953982B CN 202010387614 A CN202010387614 A CN 202010387614A CN 111953982 B CN111953982 B CN 111953982B
Authority
CN
China
Prior art keywords
distorted image
image frame
spatial resolution
pixel block
block size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010387614.5A
Other languages
English (en)
Other versions
CN111953982A (zh
Inventor
维克托·埃德帕尔姆
袁嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN111953982A publication Critical patent/CN111953982A/zh
Application granted granted Critical
Publication of CN111953982B publication Critical patent/CN111953982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了编码失真的图像帧的方法、设备和计算机程序产品。方法包括：确定失真的图像帧的空间分辨率分布；确定最大像素块尺寸的分布图，其中，最大像素块尺寸的分布图基于空间分辨率分布，使得对于失真的图像帧的具有第一空间分辨率的第一部分，将与该第一部分相对应的最大像素块尺寸设置为第一值，并且对于失真的图像帧的具有低于第一空间分辨率的第二空间分辨率的第二部分，将与该第二部分相对应的最大像素块尺寸设置为低于第一值的第二值；以及对失真的图像帧(140)进行编码，其中，最大像素块尺寸的分布图用于定义编码块的最大块尺寸。

Description

编码失真的图像帧的方法、设备和介质
技术领域
本发明涉及使用基于块的视频编码算法来对经由至少一个图像传感器产生的失真的图像帧进行编码。
背景技术
相机应用的重要领域是位置的监视。典型地，根据所监视的位置，使用不同的相机配置。例如，能够使用能够(例如，通过全景拼接或使用广角透镜)产生广角视频的一个或多个相机来监视停车场以便调取停车场的空中概览。在广角视频中，对象的尺寸跨帧而变化，这是跨视频帧的不均匀的空间分辨率的效应。移动通过所监视的场景的车辆的尺寸将因此改变，这是因为尺寸取决于所监视的场景中的当前位置。典型地使用大范围的不同的图像处理算法来处理所监视的位置的视频。例如，对视频进行编码，以便减少与编码的视频相关联的带宽需求和文件大小。
然而，由于视频帧中的不均匀的空间分辨率，视频编码的挑战在于提供被编码的视频中的活动对象的足够的视觉质量。
发明内容
鉴于以上所述，本发明构思的目的是各别地或组合地缓解、缓和或消除现有技术中的一个或多个上面所述的缺陷和缺点。
根据第一方面，提供了一种使用基于块的视频编码算法来对经由至少一个图像传感器产生的失真的图像帧进行编码的方法。该方法包括：确定失真的图像帧的空间分辨率分布；确定与失真的图像帧相对应的最大像素块尺寸的分布图，其中，基于空间分辨率分布来确定最大像素块尺寸的分布图，使得对于失真的图像帧的具有第一空间分辨率的第一部分，将与第一部分相对应的最大像素块尺寸设置为第一值，并且对于失真的图像帧的具有低于第一空间分辨率的第二空间分辨率的第二部分，将与第二部分相对应的最大像素块尺寸设置为低于第一值的第二值；并且使用基于块的视频编码算法对失真的图像帧进行编码，其中，最大像素块尺寸的分布图用于定义基于块的视频编码算法的编码块的最大块尺寸。
在本申请的上下文内，“失真的图像帧”应当被理解为具有失真视角的图像帧。在失真的图像帧中，场景中的直线典型地有某种程度的弯曲。相比之下，完全直线图像帧具有与描绘的场景中的直线相对应的完全直线。在本申请的上下文内，讨论两种类型的失真源：物理失真源和数字失真源。物理失真源的非限制性示例是广角透镜，包括鱼眼透镜(例如，平场聚焦透镜)、光学圆顶和不完全直线透镜。透镜中的不完美可能由制造不精确引起。数字失真源的非限制性示例是图像拼接算法，例如用于从多个图像产生全景图像。失真图案能够是不规则的或规则的(诸如径向畸变)。所捕获的图像的失真图案可能由失真源中的一个或组合引起。
在本申请的上下文内，“空间分辨率”应当被理解为图像帧的空间分辨率。在例如通过广角透镜获得的或从多个图像帧拼接的失真的图像帧中，图像的不同的部分具有不同的空间分辨率。换句话说，图像帧的同样尺寸的部分覆盖不同大小角度的相机的视场(FOV)。可以对于图像帧在像素级指定空间分辨率，或能够在像素子组级(例如，在宏模块级)确定空间分辨率。空间分辨率可以被表示为每FOV角度的像素的数量，或每像素的FOV角度量。本领域技术人员熟悉如何根据应用在这些表示之间进行互换。例如，在根据本发明构思的方法的实施方式中，可以优先使用这些表示之一。可以通过例如指示像素或像素子组(例如，用于宏块)的空间分辨率分布的表格来表示空间分辨率分布。
在本申请的上下文内，“基于块的视频编码算法”应当被理解为其中将图像帧中的邻居像素集合处理为编码块的用于对视频进行编码的算法。对于视频流的独立的帧的像素的对应的部分，编码块的尺寸可以在视频流中的独立的帧之间改变。帧中的不同的像素块的尺寸可以改变。通常，大尺寸的编码块导致与编码相关联的较低的计算成本，这是为什么基于块的视频编码算法典型地被编码为尽可能使用大尺寸的编码块。另一方面，大尺寸的编码块也导致编码的视频的降低的视觉质量。因此对基于块的视频编码算法进行编程以对编码块的尺寸与编码的视频的视觉质量进行平衡。
在本申请的上下文内，“编码块”应当被理解为基于块的视频编码算法的基本处理单元。例如，如果基于块的视频编码算法是h.265或AV1，则编码块可以是编码单元(CU)。
借助于本发明构思，用于基于块的视频编码算法的编码块的最大块尺寸基于失真的图像帧的空间分布，并且允许编码的视频的提高的视觉质量。因为第一部分与第二部分的空间分辨率是不同的，使用于基于块的编码算法的编码块的最大块尺寸基于空间分辨率，所以允许编码的视频的更同质的、并且因此提高的视觉质量。更具体地，通过对于较低的空间分辨率的失真的图像中的区域设置较低的最大像素块尺寸，可以在编码的图像帧中更好地保留失真的图像帧的这些区域中的细节。
基于块的视频编码算法可以是h.265或AV1，并且其中，最大像素块尺寸的分布图可以用于定义基于块的视频编码算法的编码单元的最大尺寸。
与基于块的视频编码算法是h.265相关联的优点是，可以通过设置基于块的视频编码算法的编码树单元、CTU的尺寸来设置基于块的视频编码算法的编码单元的最大尺寸。
与基于块的视频编码算法是AV1相关联的优点是，可以通过设置基于块的视频编码算法的超块的尺寸来设置基于块的视频编码算法的编码单元的最大尺寸。
本实施例能够因此有利地被标准编码器/解码器采用。
该方法可以进一步包括：确定与失真的图像帧相对应的最小像素块尺寸的分布图，其中，最小像素块尺寸的分布图包括具有不同的最小像素块尺寸的区域，并且其中，基于空间分辨率分布来确定最小像素块尺寸的分布图，使得对于失真的图像帧的具有第一空间分辨率的第一部分，将与该第一部分相对应的最小像素块尺寸设置为低于第一值的第三值，并且对于失真的图像帧的具有第二空间分辨率的第二部分，将与该第二部分相对应的最小像素块尺寸设置为低于第二值和第三值的第四值；并且其中，在对失真的图像帧进行编码的步骤中，最小像素块尺寸的分布图可以用于定义基于块的视频编码算法的编码块的最小块尺寸。
与根据目前实施例的使用最小像素块尺寸的分布图以用于定义基于块的视频编码算法的编码块的最小块尺寸相关联的优点是，可以减少与视频编码相关联的计算成本、文件大小和/或带宽并且仍然允许编码的视频的更同质的、并且因此提高的视觉质量。更具体地，通过不允许(与第二部分相比较具有较高的空间分辨率的)第一部分的最小块尺寸低于第二部分的最小块尺寸，与第二部分相比较，编码器能够对于第一部分有利地选择使用较高的压缩比。
基于块的视频编码算法可以是h.265，并且最小像素块尺寸的分布图可以用于定义基于块的视频编码算法的预测单元PU和/或变换单元TU的最小尺寸。
有利地，本实施例允许使用标准h.265编码器/解码器的最小块尺寸的低复杂度实施方式。
可以通过由一个图像传感器通过广角透镜进行捕获来产生失真的图像帧，并且可以基于广角透镜的透镜多项式来确定空间分辨率分布。
在本申请的上下文内，“透镜多项式”应当被理解为描述表示透镜或光学圆顶的透镜折射的专用于透镜的多项式。可以通过对透镜或对光学圆顶执行测量——例如使用离轴模量传输函数(MTF)测量方法来获得透镜多项式。对于在它们的分类中的不同类型的透镜或光学圆顶，透镜或光学圆顶制造商能够典型地提供表示失真的透镜多项式，或表格。
与由一个图像传感器通过广角透镜捕获失真的图像帧相关联的优点是，可以允许使用一个图像传感器的场景的宽全景并且仍然允许同质的，以及因此提高的视觉质量。因此，可以在不需要将由单独相机捕获的图像帧拼接在一起的情况下实现具有提高的视觉质量的宽全景。
与基于广角透镜的透镜多项式来确定空间分辨率分布相关联的优点是，可以允许空间分辨率分布的容易且较不复杂的确定。
广角透镜可以是鱼眼透镜。
与广角透镜是鱼眼透镜相关联的优点是，可以允许使用一个图像传感器的场景的宽全景或半球图像帧并且仍然允许同质的，以及因此提高的视觉质量。因此，可以在不需要将由单独相机捕获的图像帧拼接在一起的情况下实现具有提高的视觉质量的宽全景。
可以通过由一个图像传感器通过光学透镜进行捕获来产生失真的图像帧，并且可以基于光学圆顶的透镜多项式来确定空间分辨率分布。
与由一个图像传感器通过光学圆顶进行捕获来产生失真的图像帧相关联的优点是，可以允许使用一个图像传感器的场景的宽全景或半球图像帧，并且仍然允许同质的，以及因此提高的视觉质量。因此，可以在不需要将由单独相机捕获的图像帧拼接在一起的情况下实现具有提高的视觉质量的宽全景。
与基于光学圆顶的透镜多项式来确定空间分辨率分布相关联的优点是，可以允许空间分辨率分布的容易且较不复杂的确定。
最大像素尺寸的分布图的第一区域和第二区域可以形成从运动检测灵敏度分布图的参考位置径向地扩展的椭圆形图案；并且其中，参考位置和第一区域之间的径向距离可以小于参考位置和第二区域之间的径向距离。
与最大像素尺寸的分布图的第一区域和第二区域形成从运动检测灵敏度分布图的参考位置径向地扩展的椭圆形图案相关联的优点是可以允许最大像素尺寸的分布图的容易的且较不复杂的确定。
可以通过基于投影算法进行由一个或多个图像传感器所捕获的多个原图像帧的拼接来产生每个失真的图像帧。
在本申请的上下文内，“投影算法”应当被理解为描述如何将多个原图像帧拼接/组合以形成拼接的图像帧的算法。可以通过不同的目的——例如，用于提供原图像帧之间的平稳过渡或用于最小化结果得到的图像帧中的失真来设计投影算法。
通过基于投影算法进行由一个或多个图像传感器所捕获的多个原图像帧的拼接来产生每个失真的图像帧的优点是，可以允许具有较大数量的像素的拼接的图像帧。
通过基于投影算法进行由一个或多个图像传感器所捕获的多个原图像帧的拼接来产生每个失真的图像帧的另外的优点是，可以允许没有复杂光学部件(例如，鱼眼透镜或光学圆顶)的全景图像帧。
可以基于投影算法来确定空间分辨率分布。
相关联的优点是，可以定义编码块的最小和/或最大块尺寸，使得提高拼接的图像帧或全景图像帧的视觉质量。
另外的相关联的优点是，例如通过使用投影算法的反向，其是确定空间分辨率分布的容易的且较不复杂的方式。
根据第二方面，提供了一种计算机程序产品。计算机程序产品包括计算机可读介质，该计算机可读介质上存储有计算机代码指令，该计算机代码指令被适配为当被具有处理能力的设备执行时执行本方法。
计算机可读介质可以是非暂时性计算机可读介质。
当可适用时，方法的以上提及的特征也适用于该第二方面。为了避免过度的重复，对以上进行参考。
根据第三方面，提供了一种使用基于块的视频编码算编码器来对经由至少一个图像传感器产生的失真的图像帧进行编码的编码器。编码器包括：空间分辨率分布部件，其被适配为确定失真的图像帧的空间分辨率分布；最大像素块尺寸分布图部件，其被适配为确定与失真的图像帧相对应的最大像素块尺寸的分布图，其中，基于空间分辨率分布来确定最大像素块尺寸的分布图，使得对于失真的图像帧的具有第一空间分辨率的第一部分，将与该第一部分相对应的最大像素块尺寸设置为第一值，并且对于失真的图像帧的具有低于第一空间分辨率的第二空间分辨率的第二部分，将与该第二部分相对应的最大像素块尺寸设置为低于第一值的第二值；以及视频编码部件，其被适配为使用基于块的视频编码算法对失真的图像帧进行编码，其中，由基于块的视频编码算法来使用最大像素块尺寸的分布图以用于定义基于块的视频编码算法的编码块的最大块尺寸。
当可适用时，方法和计算机程序产品的以上提及的特征也适用于该第三方面。为了避免过度的重复，对以上进行参考。
编码器可进一步包括：被适配为确定与失真的图像帧相对应的最小像素块尺寸的分布图的最小像素块尺寸分布图部件，最小像素块尺寸的分布图包括具有不同的最小像素块尺寸的区域，并且其中，基于空间分辨率分布来确定最小像素块尺寸的分布图，使得对于失真的图像帧的具有第一空间分辨率的第一部分，将与该第一部分相对应的最小像素块尺寸设置为低于第一值的第三值，并且对于失真的图像帧的具有第二空间分辨率的第二部分，将与该第二部分相对应的最小像素块尺寸设置为低于第二值和第三值的第四值；并且其中，可以由基于块的视频编码算法来使用最小像素块尺寸的分布图用于定义基于块的视频编码算法的编码块的最小块尺寸。
根据第四方面，提供了一种相机。相机包括根据第三方面的编码器。
当可适用时，方法、计算机程序产品和编码器的以上提及的特征也适用于该第四方面。为了避免过度的重复，对以上进行参考。
相机可以进一步包括广角透镜，由相机的一个图像传感器通过该广角透镜来捕获图像。
相机可以进一步包括多个图像传感器，并且其中，编码器进一步包括被适配为从由多个图像传感器捕获的多个原图像拼接图像帧的拼接部件。
根据在下面给出的具体实施方式，本公开的应用的进一步范围将变得明显。然而，应当理解，具体实施方式和特定示例在指示本发明构思的优选变体时仅仅作为说明被给出，这是因为根据该具体实施方式，本发明构思范围内的各种改变和修改将对那些本领域技术人员变得明显。
应当理解，该发明构思不局限于所描述的方法的特定步骤或所描述的系统的构成部分，照此方法和系统可以改变。也将理解的是，在本文使用的术语仅仅用于描述特定实施例的目的并且不意图进行限制。必须指出，如在说明书和所附权利要求中使用的，冠词“一”、“该”和“所述”意图意指存在一个或多个要素，除非该上下文清楚地另外指示其他。因此，例如对“单元”或者“该单元”的引用可以包括若干设备，等等。此外，词语“包括”、“包括有”、“包含”以及类似的措辞不排除其他要素或者步骤。
附图说明
现在将参考示出本发明构思的变体的附图来更详细地描述本发明构思的以上及其他方面。图不应当被考虑为将本发明限制为特定变体；而是，它们被用于解释和理解本发明构思。
如在图中所图示出的，层和区域的尺寸被夸大以用于说明目的，并且因此，被提供以图示出本发明的实施例的通用结构。贯穿本文，相同附图标记指的是相同要素。
图1A图示出由监视相机从上方监视的场景的侧视图。
图1B图示出在图1A中监视的场景的顶视图。
图1C图示出图1B中的顶视图的非直线图像帧。
图1D图示出最大像素块尺寸的分布图。
图1E图示出最小像素块尺寸的分布图。
图2A图示出用于使用基于块的编码算法对经由至少一个图像传感器产生的失真的图像帧进行编码的编码器。
图2B图示出包括图2A的编码器的相机。
图2C图示出包括多个图像传感器的相机。
图3是用于使用基于块的视频编码算法对经由至少一个图像传感器产生的失真的图像帧进行编码的方法的方框图。
具体实施方式
现在将参考附图在下文更全面地描述本发明构思，在附图中示出了本发明构思的当前优选的变体。然而，可以以许多不同的形式实施该发明构思并且该发明构思不应当被理解为受限于在本文阐述的变体；更确切些，为了彻底性和完整性而提供这些变体，并且这些变体向本领域技术人员充分传达本发明构思的范围。
图1A图示出由相机110从上方监视的场景的侧视图。场景包括第一框122，以及具有类似尺寸的第二框124。相机110包括被安排为产生场景的失真的图像帧的至少一个图像传感器。图1A中的相机110可以是关于图2B所描述的相机210或关于图2C所描述的相机410。将关于图1C来描述图1A中图示出的场景的失真的图像帧140的示例。相机110具有宽视场112。宽视场112可以高达180°。宽视场112的相关联的立体角可以高达2πsr。
图1B图示出在图1A中监视的场景的顶视图的直线图像帧130。如在图1B中看出的，当在直线图像帧130中从上方看时，框122、124中的每一个具有类似的尺寸。因此，图1B中的直线图像帧130中的空间分辨率在直线图像帧130上基本上是恒定的。
图1C图示出图1B中的顶视图的失真的图像帧140。可以通过由一个图像传感器通过广角透镜进行捕获而产生失真的图像帧140。可以通过由一个图像传感器通过光学圆顶进行捕获而产生失真的图像帧140。可以通过基于投影算法拼接多个原图像来产生失真的图像帧140，如将关于图2C的描述的。如在图1C中看出的，框122、124的明显尺寸根据每个框122、124在失真的图像帧140中位置而变化。因此，失真的图像帧140中的空间分辨率在失真的图像帧140上变化。可以失真的图像帧140和直线图像帧130来确定空间分布。可以基于相机110的广角透镜来确定空间分布。可以通过由一个图像传感器通过广角透镜进行捕获而产生失真的图像帧140，并且其中，基于广角透镜多项式的来确定空间分辨率分布。如果通过基于投影算法拼接多个原图像来产生失真的图像帧140，则空间分布可以基于投影算法。例如，空间分布可以基于投影算法的反向。
在图1C中，第一框122位于失真的图像帧140的第一部分142内。失真的图像帧140的第一部分142与第一空间分辨率相关联。第二框124位于失真的图像帧140的第二部分144内。失真的图像帧140的第二部分142与第二空间分辨率相关联。由于当产生失真的图像帧140时所使用的成像光学和/或投影算法，失真的图像帧140还可以包括没有与所监视的场景有关的信息的部分148。第一空间分辨率和第二空间分辨率的关系为，使得与在失真的图像140的第二部分144中相比，相等尺寸的对象(例如，框122、124)在失真的图像140的第一部分142中表现得较大。换句话说，按照每像素的视场角度来表示空间分辨率，第一部分142中的空间分辨率高于第二部分144中的空间分辨率。
在使用基于块的视频编码算法的编码块的相同的块尺寸对图2C中所图示的失真的图像帧140进行编码的情况下，则与第一部分142中的对象相比，将使用较少的编码块对第二部分144中的对象(例如，第二框124)进行编码，这是因为第二部分144中的对象看起来小于第一部分142中的对象。为此，减小用于与第二部分144相对应的编码块的最大像素块尺寸可以增加用于对第二部分144中的对象(例如，第二框124)进行编码的编码块的数量。如以上讨论的，将因此提高编码的失真视频帧中的第二部分144中的对象的视觉质量。
在现有技术中，通常指示基于块的视频编码算法基于失真的图像帧的内容来选择编码块的像素块尺寸。基于块的视频编码算法典型地确定，与具有高空间分辨率的部分中的(例如，失真的图像帧140的第一部分142中的)内容相比，具有低空间分辨率的部分中的(例如，失真的图像帧140的第二部分144中的)内容较不重要。因此，与对于具有较高的空间分辨率的部分(例如，第一部分142)相比，现有技术编码器典型地对于具有较低的空间分辨率的部分(例如，第二部分144)选择编码块的较大的像素块尺寸。因此，基于块的视频编码算法对失真的图像帧进行编码，因此降低具有低空间分辨率的失真的图像的部分中的视觉质量。
为此，为了考虑失真的图像帧140上的变化的空间分布，基于空间分辨率分布来确定最大像素块尺寸的分布图150，使得对于失真的图像帧140的具有第一空间分辨率的第一部分142，将最大像素块尺寸设置为第一值1502，并且对于失真的图像帧140的具有低于第一空间分辨率的第二空间分辨率的第二部分144，将与第二部分144相对应的最大像素块尺寸设置为低于第一值1502的第二值1504。在图1D中图示出最大像素块尺寸的分布图150的示例。使用基于块的视频编码算法对失真的图像帧140进行编码，其中，最大像素块尺寸的分布图150用于定义基于块的视频编码算法的编码块的最大像素块尺寸。最大像素块尺寸的分布图150可以用于定义基于块的视频编码算法的编码单元的最大尺寸。例如，如果基于块的视频编码算法是h.265，则编码树单元、CTU、尺寸可以设置编码单元的最大尺寸。如果基于块的视频编码算法是AV1，则超块的尺寸可以设置编码单元的最大尺寸。
基于块的视频编码算法可以使用编码块的与最大像素块尺寸相比较小的像素块尺寸。基于块的视频编码算法典型地使用编码块的与最大像素块尺寸相比较小的像素块尺寸——如果基于块的视频编码算法确定其有益于编码的视频的视觉质量的话。因此，可以使用大量编码块对进行失真的图像帧140的第一部分142中的对象编码，因此导致具有高比特率的编码的视频。为了减少比特率，可以设置用于与对失真的图像帧140的第一部分142进行编码相关联的编码块的最小像素块尺寸。因而，将因此降低第一部分142中的对象的视觉质量以便减少编码的视频的比特率。如果基于块的视频编码算法是h.265，则可以通过定义基于块的视频编码算法的预测单元PU和/或变换单元TU的最小尺寸来设置编码块的最小像素块尺寸。
为此目的，可以确定与失真的图像帧140相对应的最小像素块尺寸的分布图160。在图1E中图示出最大像素块尺寸的分布图160的示例。最小像素块尺寸的分布图160可以包括具有不同的最小像素块尺寸的区域162、164，并且其中，基于空间分辨率分布来确定最小像素块尺寸的分布图160，使得对于失真的图像帧140的具有第一空间分辨率的第一部分142，将与该第一部分142相对应的最小像素块尺寸设置为低于第一值1502的第三值1602，并且对于失真的图像帧140的具有第二空间分辨率的第二部分144，将与该第二部分144相对应的最小像素块尺寸设置为低于第二值1504和第三值1602的第四值1604。可以使用用于定义基于块的视频编码算法的编码块的最小块尺寸的最小像素块尺寸的分布图160来进一步对失真的图像帧140进行编码。使用用于定义基于块的视频编码算法的编码块的最小块尺寸的最小像素块尺寸的分布图160可以减少与视频编码相关联的计算成本、文件大小和/或带宽，并且仍然允许同质的，以及因此提高的视觉质量。更具体地，通过不允许(与第二部分相比较具有较高的空间分辨率的)第一部分142的最小块尺寸低于第二部分144的最小块尺寸，与第二部分144相比较，基于块的视频编码算法可以对于第一部分142有利地选择使用较高的压缩比。
如在图1C中示范的，失真的图像帧140中的第一部分142和第二部分144可以形成从失真的图像帧140的参考位置径向地扩展的椭圆形图案。参考位置可以是失真的图像帧140的中心位置，如在图1C中示范的，并且从参考位置到第一部分142的径向距离小于从参考位置到第二部分144的径向距离。因此，最大像素尺寸的分布图150的与失真的图像帧140的第一部分142相对应的第一区域152以及最大像素尺寸的分布图150的与失真的图像帧140的第二部分144相对应的第二区域154可以形成从最大像素尺寸的分布图150的参考位置1500径向地扩展的椭圆形图案。参考位置1500和第一区域152之间的径向距离可以小于参考位置1500和第二区域154之间的径向距离。
此外，最小像素尺寸的分布图160的与失真的图像帧140的第一部分142相对应的第一区域162以及最小像素尺寸的分布图150的与失真的图像帧140的第二部分144相对应的第二区域164可以形成从参考位置1600径向地扩展的椭圆形图案。参考位置1600和第一区域162之间的径向距离可以小于参考位置1600和第二区域164之间的径向距离。最小像素块尺寸的分布图160中的参考位置1600可以与最大像素块尺寸的分布图150中的参考位置1500相对应。
应当理解，失真的图像帧140的空间分辨率分布可以在失真的图像帧140上连续地改变，并且可以相应地改变最大像素块尺寸的对应的分布图150。因而，关于图1A至1E的描述涉及第一部分142和第二部分144，但是也可以同等地涉及较大数量的部分。熟练人员认识到如何将以上描述适配为考虑失真的图像帧140中的附加的部分和/或失真的图像帧140上的连续变化的空间分辨率分布。
图2A图示出编码器200。编码器200被配置用于使用基于块的编码算法对经由至少一个图像传感器产生的失真的图像帧进行编码。编码器200可以是硬件和/或软件实施的。
编码器200包括被适配为确定失真的图像帧的空间分辨率分布的空间分辨率部件202。可以基于当捕获失真的图像帧410时所使用的成像光学的透镜多项式来确定空间分辨率。成像光学可以是例如鱼眼透镜的广角透镜，或光学圆顶。
编码器200进一步包括被适配为确定与失真的图像帧相对应的最大像素块尺寸的分布图的最大像素块尺寸分布图部件204，其中，基于空间分辨率分布来确定最大像素块尺寸的分布图，使得对于失真的图像帧的具有第一空间分辨率的第一部分，将与该第一部分相对应的最大像素块尺寸设置为第一值，并且对于失真的图像帧的具有低于第一空间分辨率的第二空间分辨率的第二部分，将与该第二部分相对应的最大像素块尺寸设置为低于第一值的第二值。
编码器200进一步包括被适配为使用基于块的视频编码算法对失真的图像帧进行编码的视频编码部件206，其中，由基于块的视频编码算法使用最大像素块尺寸的分布图用于定义基于块的视频编码算法的编码块的最大块尺寸。最大像素块尺寸的分布图可以用于定义基于块的视频编码算法的编码单元的最大块尺寸。如果基于块的编码算法是h.265，则编码树单元、CTU、尺寸可以定义编码单元的最大块尺寸。如果基于块的编码算法是AV1，则超块的尺寸可以定义编码单元的最大尺寸。
如在图2A中示范的，编码器200可以进一步包括被适配为确定与失真的图像帧相对应的最小像素块尺寸的分布图的最小像素块尺寸分布图部件208，最小像素块尺寸的分布图包括具有不同的最小像素块尺寸的区域，并且其中，基于空间分辨率分布来确定最小像素块尺寸的分布图，使得对于失真的图像帧的具有第一空间分辨率的第一部分，将与该第一部分相对应的最小像素块尺寸设置为低于第一值的第三值，并且对于失真的图像帧的具有第二空间分辨率的第二部分，将与该第二部分相对应的最小像素块尺寸设置为低于第二值和第三值的第四值；并且其中，可以由基于块的视频编码算法来使用最小像素块尺寸的分布图用于定义基于块的视频编码算法的编码块的最小块尺寸。
如果基于块的编码算法是h.265，则可以通过基于块的视频编码算法的预测单元PU和/或变换单元TU的最小尺寸来定义编码单元的最小块尺寸。
编码器200可以进一步包括被适配为从多个原图像拼接图像帧的拼接部件412，因此产生失真的图像帧。在其他实施例中，拼接部件与编码器200分开，其中，失真的图像帧包括在编码器200被接收之前被拼接在一起的多个所捕获的图像。
可以将编码器200包括在相机210中，如在图2B中示范的。相机210另外包括至少一个图像传感器212。至少一个图像传感器212和编码器200可以经由数据总线214进行通信。相机212可以进一步包括成像光学216，相机210的至少一个图像传感器212通过该成像光学216来捕获图像。成像光学214可以是广角透镜。广角透镜可以是鱼眼透镜。广角透镜可以是光学圆顶。
如在图2C中示范的，相机410可以包括多个图像传感器212。相机410可以包括被适配为从多个原图像拼接由多个图像传感器212捕获的图像帧的拼接部件412(在图2C中未示出，因为其被包括在编码器200中)。如在图2C中示范的，多个图像传感器212中的每一个可以与成像光学216相关联。成像光学216可以类似于关于图2B所描述的成像光学。图2C中的成像光学216可以是被适配为减少原图像中的失真的传统的相机物镜，即，相机物镜可以被适配为产生如同原图像的基本上直线的图像。多个图像传感器212和编码器200可以经由数据总线214进行通信。
相机210、410可以进一步包括被配置为存储编码器的设置、最大像素块尺寸的分布图、最小像素块尺寸的分布图、失真的图像帧和/或编码的视频的非暂时性计算机可读存储介质220。至少一个图像传感器212、编码器220和非暂时性计算机可读存储介质220可以经由数据总线214进行通信。
应当理解，可以将编码器200包括在被配置为从相机210、410接收失真的图像帧的外部计算机和/或服务器中。
图3是用于使用基于块的视频编码算法对经由至少一个图像传感器212产生的失真的图像帧140进行编码的方法300的方框图。
方法300包括确定302失真的图像帧140的空间分辨率分布。
可以通过由一个图像传感器212通过广角透镜进行捕获312来产生失真的图像帧140，并且可以基于广角透镜的透镜多项式来确定空间分辨率分布。
广角透镜可以是鱼眼透镜。
可以通过由一个图像传感器212通过光学透镜进行捕获314来产生失真的图像帧140，并且可以基于光学圆顶的透镜多项式来确定空间分辨率分布。
可以通过基于投影算法进行由一个或多个图像传感器212所捕获的多个原图像帧的拼接316来产生每个失真的图像帧140。
可以基于投影算法来确定空间分辨率分布。
该方法另外包括确定304与失真的图像帧140相对应的最大像素块尺寸的分布图。基于空间分辨率分布来确定最大像素块尺寸的分布图150，使得对于失真的图像帧140的具有第一空间分辨率的第一部分142，将与第一部分142相对应的最大像素块尺寸设置为第一值1502，并且对于具有低于第一空间分辨率的第二空间分辨率的失真的图像帧140的第二部分144，将与第二部分144相对应的最大像素块尺寸设置为低于第一值1502的第二值1504。
最大像素块尺寸的分布图150可以包括具有不同的最大像素块尺寸的区域。
第一部分142可以是失真的图像帧140的中央部分。
第二部分144可以是失真的图像帧140的外部部分。
方法300另外包括使用基于块的视频编码算法对失真的图像帧140进行编码306，其中，最大像素块尺寸的分布图150用于定义基于块的视频编码算法的编码块的最大块尺寸。
基于块的视频编码算法可以是h.265或AV1，并且最大像素块尺寸的分布图150可以用于定义基于块的视频编码算法的编码单元的最大尺寸。
方法300可以进一步包括确定308与失真的图像帧140相对应的最小像素块尺寸的分布图160，其中，最小像素块尺寸的分布图160包括具有不同的最小像素块尺寸的区域162、164，并且其中，基于空间分辨率分布来确定最小像素块尺寸的分布图160，使得对于失真的图像帧140的具有第一空间分辨率的第一部分142，将与第一部分142相对应的最小像素块尺寸设置为低于第一值1502的第三值1602，并且对于失真的图像帧140的具有第二空间分辨率的第二部分144，将与第二部分144相对应的最小像素块尺寸设置为低于第二值1504和第三值1602的第四值1604；并且其中，在对失真的图像帧140进行编码306的步骤中，最小像素块尺寸的分布图160用于定义基于块的视频编码算法的编码块的最小块尺寸。
基于块的视频编码算法可以是h.265，并且最小像素块尺寸的分布图160可以用于定义基于块的视频编码算法的预测单元PU和/或变换单元TU的最小尺寸。
最大像素尺寸的分布图150的与失真的图像帧140的第一部分142相对应的第一区域152和最大像素尺寸的分布图150的与失真的图像帧140的第二部分144相对应的第二区域154可以形成从最大像素尺寸的分布图150的参考位置1500径向地扩展的椭圆形图案，并且参考位置1500和第一区域152之间的径向距离可以小于参考位置1500和第二区域154之间的径向距离。
已经以顺序的方式在图3中描述和示出了方法300，然而，可以以在这里描述相比不同的其他书序来执行方法300的步骤。例如，可以在最大像素块尺寸的分布图150之前，或与其同时地确定最小像素块尺寸的分布图160。
本领域技术人员认识到，本发明构思一点也不局限于在以上描述的优选的变体。相反，许多修改和变化可能处于所附权利要求的范围内。
例如，可以替换地通过基于投影算法对由一个或多个图像传感器所捕获的多个原图像帧的拼接来产生关于图1C所讨论的失真的图像帧140。对于拼接的图像，空间分辨率分布可以基于投影算法。
作为另外的示例，在图1D和图1E中，第三值1602被示出为小于第二值1504，然而，应当理解，第二值1504可以小于第三值1602。
此外，能够由本领域技术人员根据对附图、本公开和所附权利要求的研究在实践所要求保护的发明时来理解和实现所公开的变体的变化。

Claims (14)

1.一种使用基于块的视频编码算法对经由至少一个图像传感器产生的描绘场景的失真的图像帧进行编码的方法，所述失真的图像帧中的每个像素与所述场景中的视场FOV角度相对应，所述方法包括：
确定所述失真的图像帧的空间分辨率分布，所述空间分辨率分布在像素级或在像素子组级指定所述失真的图像帧中的每像素的FOV角度；
确定与所述失真的图像帧相对应的最大像素块尺寸的分布图，其中，基于所述空间分辨率分布来确定所述最大像素块尺寸的分布图，使得对于所述失真的图像帧的具有第一空间分辨率的第一部分，将与所述第一部分相对应的最大像素块尺寸设置为第一值，并且对于所述失真的图像帧的具有低于所述第一空间分辨率的第二空间分辨率的第二部分，将与所述第二部分相对应的最大像素块尺寸设置为低于所述第一值的第二值；并且
使用所述基于块的视频编码算法对所述失真的图像帧进行编码，其中，所述最大像素块尺寸的分布图用于定义所述基于块的视频编码算法的编码块的最大块尺寸。
2.根据权利要求1所述的方法，其中，所述基于块的视频编码算法是h.265或AV1，并且其中，所述最大像素块尺寸的分布图用于定义所述基于块的视频编码算法的编码单元的最大尺寸。
3.根据权利要求1所述的方法，进一步包括：
确定与所述失真的图像帧相对应的最小像素块尺寸的分布图，其中，所述最小像素块尺寸的分布图包括具有不同的最小像素块尺寸的区域，并且其中，基于所述空间分辨率分布来确定所述最小像素块尺寸的分布图，使得对于所述失真的图像帧的具有所述第一空间分辨率的所述第一部分，将与所述第一部分相对应的最小像素块尺寸设置为低于所述第一值的第三值，并且对于所述失真的图像帧的具有所述第二空间分辨率的所述第二部分，将与所述第二部分相对应的最小像素块尺寸设置为低于所述第二值和所述第三值的第四值；并且
其中，在对所述失真的图像帧进行编码的步骤中，所述最小像素块尺寸的分布图用于定义所述基于块的视频编码算法的编码块的最小块尺寸。
4.根据权利要求3所述的方法，其中，所述基于块的视频编码算法是h.265，并且其中，所述最小像素块尺寸的分布图用于定义所述基于块的视频编码算法的预测单元PU和/或变换单元TU的最小尺寸。
5.根据权利要求1所述的方法，其中，所述失真的图像帧是通过由一个图像传感器通过广角透镜进行捕获而产生的。
6.根据权利要求5所述的方法，其中，所述广角透镜是鱼眼透镜。
7.根据权利要求1所述的方法，其中，所述失真的图像帧是通过由一个图像传感器通过光学圆顶进行捕获而产生的。
8.根据权利要求1所述的方法，其中，每个失真的图像帧是通过基于投影算法对由一个或多个图像传感器捕获的多个原图像帧进行拼接而产生的。
9.根据权利要求5所述的方法，其中，所述最大像素块尺寸的分布图的与所述失真的图像帧的所述第一部分相对应的第一区域和所述最大像素块尺寸的分布图的与所述失真的图像帧的所述第二部分相对应的第二区域形成从所述最大像素块尺寸的分布图的参考位置径向地扩展的椭圆形图案；并且
其中，所述参考位置和所述第一区域之间的径向距离小于所述参考位置和所述第二区域之间的径向距离。
10.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括指令，所述指令在被设备上的电路执行时，使所述电路执行根据权利要求1所述的方法。
11.一种使用基于块的视频编码算法对经由至少一个图像传感器产生的描绘场景的失真的图像帧进行编码的编码器，所述失真的图像帧中的每个像素与所述场景的视场FOV角度相对应，所述编码器包括：
空间分辨率分布部件，被适配为确定所述失真的图像帧的空间分辨率分布，所述空间分辨率分布在像素级或在像素子组级指定所述失真的图像帧中的每像素的FOV角度；
最大像素块尺寸分布图部件，被适配为确定与所述失真的图像帧相对应的最大像素块尺寸的分布图，其中，基于所述空间分辨率分布来确定所述最大像素块尺寸的分布图，使得对于所述失真的图像帧的具有第一空间分辨率的第一部分，将与所述第一部分相对应的最大像素块尺寸设置为第一值，并且对于所述失真的图像帧的具有低于所述第一空间分辨率的第二空间分辨率的第二部分，将与所述第二部分相对应的最大像素块尺寸设置为低于所述第一值的第二值；以及
视频编码部件，被适配为使用所述基于块的视频编码算法对所述失真的图像帧进行编码，其中，所述最大像素块尺寸的分布图被所述基于块的视频编码算法使用来定义所述基于块的视频编码算法的编码块的最大块尺寸。
12.一种相机，包括根据权利要求11所述的编码器。
13.根据权利要求12所述的相机，进一步包括广角透镜，由所述相机的一个图像传感器通过所述广角透镜捕获图像。
14.根据权利要求12所述的相机，进一步包括多个图像传感器，并且其中，所述编码器进一步被配置为从由所述多个图像传感器捕获的多个原图像拼接图像帧。
CN202010387614.5A 2019-05-14 2020-05-09 编码失真的图像帧的方法、设备和介质 Active CN111953982B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19174349.1 2019-05-14
EP19174349.1A EP3739880A1 (en) 2019-05-14 2019-05-14 Method, device and computer program product for encoding a distorted image frame

Publications (2)

Publication Number Publication Date
CN111953982A CN111953982A (zh) 2020-11-17
CN111953982B true CN111953982B (zh) 2023-06-16

Family

ID=66542112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010387614.5A Active CN111953982B (zh) 2019-05-14 2020-05-09 编码失真的图像帧的方法、设备和介质

Country Status (6)

Country Link
US (1) US11146817B2 (zh)
EP (1) EP3739880A1 (zh)
JP (1) JP7125446B2 (zh)
KR (1) KR102396570B1 (zh)
CN (1) CN111953982B (zh)
TW (1) TWI801724B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230300338A1 (en) * 2022-03-16 2023-09-21 Apple Inc. Resolution-based video encoding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3301920A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for coding/decoding omnidirectional video

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404340B2 (ja) 2003-09-22 2010-01-27 Ｋｄｄｉ株式会社 適応形状画像符号化装置および復号装置
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
JP2015115901A (ja) 2013-12-13 2015-06-22 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
GB2525851B (en) * 2014-04-30 2017-03-29 Canon Kk Method and device for encoding a sub-aperture image of a set of sub-aperture images obtained from a plenoptic image
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
WO2016168415A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US9721393B1 (en) * 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10979691B2 (en) 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
CN109417632B (zh) * 2016-07-08 2023-08-04 Vid拓展公司 使用几何图形投影的360度视频编码
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
US10620441B2 (en) * 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
JP6922215B2 (ja) 2016-12-27 2021-08-18 富士通株式会社 動画像符号化装置
WO2018131832A1 (ko) * 2017-01-10 2018-07-19 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US11172208B2 (en) * 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
CN116781932A (zh) * 2017-03-13 2023-09-19 韩国电子通信研究院 基于非典型块的运动预测和补偿的方法及其装置
US10904531B2 (en) 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
US11184641B2 (en) * 2017-05-09 2021-11-23 Koninklijke Kpn N.V. Coding spherical video data
CN107396081B (zh) 2017-06-19 2019-04-12 深圳市铂岩科技有限公司 针对全景视频的优化编码方法及装置
US20200267385A1 (en) * 2017-07-06 2020-08-20 Kaonmedia Co., Ltd. Method for processing synchronised image, and apparatus therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3301920A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for coding/decoding omnidirectional video

Also Published As

Publication number Publication date
TW202101966A (zh) 2021-01-01
CN111953982A (zh) 2020-11-17
KR20200131729A (ko) 2020-11-24
JP2020205582A (ja) 2020-12-24
JP7125446B2 (ja) 2022-08-24
US11146817B2 (en) 2021-10-12
TWI801724B (zh) 2023-05-11
EP3739880A1 (en) 2020-11-18
US20200366934A1 (en) 2020-11-19
KR102396570B1 (ko) 2022-05-10

Similar Documents

Publication Publication Date Title
US9185271B2 (en) Imaging device detecting motion vector
KR100918480B1 (ko) 스테레오 비전 시스템 및 그 처리 방법
JP6454659B2 (ja) ビデオカメラでビデオストリームを処理する方法及び装置
US20170118475A1 (en) Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US8077982B2 (en) Image match-point detection apparatus, image match-point detection method and storage medium
CN109688413B (zh) 以支持辅助帧的视频编码格式编码视频流的方法和编码器
US20130147910A1 (en) Mobile device and image capturing method
CN113487658B (zh) 一种用于扫描光场成像系统的动态场景拍摄方法及装置
KR20190086964A (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
CN111953982B (zh) 编码失真的图像帧的方法、设备和介质
US8787689B2 (en) Apparatus and method for correction of distortion in digital image data
CN114157870A (zh) 编码方法、介质及电子设备
US7683935B2 (en) Imaging device
CN112637601B (zh) 基于鱼眼全景视频的编码方法及装置
TW202042178A (zh) 用於偵測在失真影像中之物體之方法、系統及裝置
JP2020205582A5 (zh)
EP3091742A1 (en) Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant
US20230412815A1 (en) Camera system and method for encoding two video image frames captured by a respective one of two image sensors
JP2012015982A (ja) 映像間のシフト量の決定方法
JP2024033913A (ja) 入力情報生成装置、画像処理装置及び入力情報生成方法
JP2014022968A (ja) 符号化装置、符号化方法、カメラ装置およびネットワーク接続装置
Espinola et al. Effects of video compression on target acquisition performance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant