CN112492288B - 面向聚焦式全光视频序列的帧内预测方法及存储介质 - Google Patents

面向聚焦式全光视频序列的帧内预测方法及存储介质 Download PDF

Info

Publication number
CN112492288B
CN112492288B CN202011387115.2A CN202011387115A CN112492288B CN 112492288 B CN112492288 B CN 112492288B CN 202011387115 A CN202011387115 A CN 202011387115A CN 112492288 B CN112492288 B CN 112492288B
Authority
CN
China
Prior art keywords
microlens
distance
video sequence
optical
reference block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011387115.2A
Other languages
English (en)
Other versions
CN112492288A (zh
Inventor
金欣
江帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202011387115.2A priority Critical patent/CN112492288B/zh
Publication of CN112492288A publication Critical patent/CN112492288A/zh
Application granted granted Critical
Publication of CN112492288B publication Critical patent/CN112492288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种面向聚焦式全光视频序列的帧内预测方法及存储介质，方法包括：获取全光视频序列的光学参数；根据光学成像原则和所述光学参数以及所述全光视频序列自带的参数，计算所述全光视频序列的参考块大小缩放系数，以及不同焦距的微透镜下对应参考块之间的距离参数；根据所述距离参数找到匹配参考块的位置，再根据所述缩放系数获取缩放后的参考块；在保持内容不变的情况下整形所述缩放后的参考块，使其与所述全光视频序列的原始缩放前参考块大小相等，再加权预测待预测的当前块，进而完成所述全光视频序列当前帧内所有块的帧内预测。高效地实现利用已编码的图像对未编码的全光图像的准确预测。

Description

面向聚焦式全光视频序列的帧内预测方法及存储介质
技术领域
本发明涉及帧内预测技术领域，尤其涉及一种面向聚焦式全光视频序列的帧内预测方法及存储介质。
背景技术
手持式光场相机最近在商业上得到广泛的应用。不同于传统的相机，全光相机不仅可以记录随时间变化的空间光线强度，还可以记录光传播方向，更有利于单幅图像的深度估计、重聚焦和3D重建。在现有的全光相机配置中，聚焦式全光相机由于在获得的光场空间分辨率和角度分辨率上有更好的平衡，空间分辨率更高，更有利于显微、工业检测和3D重建，因此相对于传统全光相机具有更广泛的应用。然而迥异的成像原理造成了成像像素强度分布的不同，和复杂的宏像素结构，进而导致巨大的传输和压缩数据量，给聚焦式全光相机进一步的应用带来了挑战。
现有的全光视频编码方法大多是针对传统全光相机,分为帧内预测和帧间预测。帧内预测主要是探寻空间相关性，减少空间冗余，例如将所匹配的几个参考块直接加权预测当前块，或者在同一帧内应用运动补偿和块匹配技术，用搜寻的一个最佳匹配块预测当前块。帧间预测则是探寻时域相关性，应用运动估计和运动补偿在参考帧中寻找匹配块，减少时域冗余，也可再对匹配块进行单应性变换、取平均值等其他处理，来进一步提高效率。
但是目前的方法主要存在两个问题。首先，现有帧内预测和帧间预测方法大部分都是针对传统全光相机拍摄的视频，并没有考虑传统的和聚焦式全光相机成像原理差异导致的视频像素强度分布差异和宏像素结构的不同。针对同一拍摄场景，传统全光相机获取的宏像素只提供了角度信息，相比之下，聚焦式全光相机中每个宏像素都显示成像目标的微图像。第二点，虽然可以从这两种图像中提取子孔径图像，但是对于传统的全光视频，该渲染过程是可逆的。而对于聚焦式全光视频，由于不是一个像素对一个视图的一一对应关系，渲染过程不可逆，因此多视角视频编码(multiview video coding，MVC)方法会失去原始视频真正的像素值，同时该不可逆过程阻碍的聚焦式全光相机的进一步应用。此外现有的针对聚焦式全光视频的压缩方法没考虑多聚焦情况，针对的仅仅是单聚焦视频序列，不能充分利用聚焦式全光相机拍摄视频的相关性，从而降低了编码效率，影响了全光视频的进一步推广。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种面向聚焦式全光视频序列的帧内预测方法及存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种面向聚焦式全光视频序列的帧内预测方法，包括如下步骤：S1：获取全光视频序列的光学参数；S2：根据光学成像原则和所述光学参数以及所述全光视频序列自带的参数，计算所述全光视频序列的参考块大小缩放系数，以及不同焦距的微透镜下对应参考块之间的距离参数；S3：根据所述距离参数找到匹配参考块的位置，再根据所述缩放系数获取缩放后的参考块；S4：在保持内容不变的情况下整形所述缩放后的参考块，使其与所述全光视频序列的原始缩放前参考块大小相等，再加权预测待预测的当前块，进而完成所述全光视频序列当前帧内所有块的帧内预测。
优选地，获取所述全光视频序列的光学参数包括：宏像素直径、微透镜焦距、主透镜像面到微透镜距离和微透镜到其所成像的距离；所述自带参数是宏像素直径和微透镜类型。
优选地，所述宏像素直径对同一种相机具有一致性；所述微透镜焦距包含所有种类的微透镜焦距，所述主透镜像面到微透镜距离和所述微透镜到其所成像的距离通过光学参数标定计算获得。
优选地，多聚焦式全光相机的所述全光视频序列的参考块大小缩放系数大于1或小于1；不同微透镜下对应参考块之间的距离参数由参考块对应微透镜的焦距和微透镜到微透镜所成像的距离决定。
优选地，对于开普勒成像模型，光学成像后图像的大小为：
Figure GDA0003526128850000021
其中，B是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是类型为i的微透镜到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；Sa是主透镜所成像的大小；
所述缩放系数为：
Figure GDA0003526128850000031
优选地，对于伽利略成像模型，光学成像后图像的大小为：
Figure GDA0003526128850000032
其中，B是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是类型为i的微透镜到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；Sa是主透镜所成像的大小；
所述缩放系数为：
Figure GDA0003526128850000033
优选地，对于开普勒成像模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
Figure GDA0003526128850000034
其中，Sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi、bj分别是类型为i、j的微透镜到其所成像的距离。
优选地，对于伽利略模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
Figure GDA0003526128850000035
其中，Sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi、bj分别是类型为i、j的微透镜到其所成像的距离。
优选地，用所述参考块边界像素加权预测所述当前块的边界像素，获取加权系数，用所述加权系数加权匹配所述参考块的所有像素，来预测所述当前块的像素值；具体通过如下公式：
Figure GDA0003526128850000041
Figure GDA0003526128850000042
其中，xˊn是第n个参考块的左边列和上方行的边界像素；y’是当前块的左边列和上方行的边界像素；wn是公式待求的第n个参考块加权系数。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为：提供一种面向聚焦式全光视频序列的帧内预测方法及存储介质，通过分析聚焦式全光图像的光学成像原理和宏像素结构特点，推导出参考块距离缩放和大小缩放的关系式，然后基于该原理对找到的不同聚焦状态的参考块实施缩放操作，并基于此设计面向聚焦式全光视频序列的帧内预测模型，高效地实现利用已编码的图像对未编码的全光图像的准确预测。
在进一步方案中，将设计的面向聚焦式全光视频序列的帧内预测模型嵌入到HM编码平台原有的帧内预测模式汇总，最终实现聚焦式全光图像编码效率的提升，对全光图像压缩编码的研究有重大意义。
附图说明
图1是本发明实施例中一种面向聚焦式全光视频序列的帧内预测方法的示意图。
图2是本发明实施例中单个微透镜下开普勒成像模型的参考块大小缩放示意图。
图3是本发明实施例中单个微透镜下伽利略成像模型的参考块大小缩放示意图。
图4是本发明实施例中开普勒成像模型下距离缩放示意图。
图5是本发明实施例中伽利略成像模型下距离缩放示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所述，一种面向聚焦式全光视频序列的帧内预测方法，包括如下步骤：
S1：获取全光视频序列的光学参数；
S2：根据光学成像原则和所述光学参数以及所述全光视频序列自带的参数，计算所述全光视频序列的参考块大小缩放系数，以及不同焦距的微透镜下对应参考块之间的距离参数；
S3：根据所述距离参数找到匹配参考块的位置，再根据所述缩放系数获取缩放后的参考块；
S4：在保持内容不变的情况下整形所述缩放后的参考块，使其与所述全光视频序列的原始缩放前参考块大小相等，再加权预测待预测的当前块，进而完成所述全光视频序列当前帧内所有块的帧内预测。
本发明通过分析聚焦式全光图像的光学成像原理和宏像素结构特点，推导出参考块距离缩放和大小缩放的关系式，然后基于该原理对找到的不同聚焦状态的参考块实施缩放操作，并基于此设计面向聚焦式全光视频序列的帧内预测模型，高效地实现利用已编码的图像对未编码的全光图像的准确预测。
在进一步方案中，将设计的面向聚焦式全光视频序列的帧内预测模型嵌入到HM编码平台原有的帧内预测模式汇总，最终实现聚焦式全光图像编码效率的提升，对全光图像压缩编码的研究有重大意义。
在本发明的一种实施例中，获取所述全光视频序列的光学参数包括：宏像素直径、微透镜焦距、主透镜像面到微透镜距离和微透镜到其所成像的距离；所述自带参数是宏像素直径和微透镜类型。
在一种具体的实施例中，采用由Raytrix相机拍摄的序列ChessPieces-MovingCamera，空间分辨率是3840×2160，角度分辨率是5×5的全光视频序列，图像是由三种不同微透镜类型所生成，处于不同的聚焦和散焦状态。
步骤S1中获取的视频序列宏像素直径对同一种相机具有一致性。微透镜焦距包含所有种类的微透镜焦距，主透镜像面到微透镜距离和微透镜到其所成像的距离可以通过光学参数标定计算获得。
步骤S2中，多聚焦式全光相机的所述全光视频序列的参考块大小缩放系数大于1或小于1；即不为1，有放大和缩小两种情况。不同微透镜下对应参考块之间的距离参数由参考块对应微透镜的焦距和微透镜到微透镜所成像的距离决定。
根据图2到图5的光学成像原则和获得的S1中光学参数以及全关视频序列拍摄时导出的XML文件参数，计算该种序列的参考块大小缩放系数，以及不同微透镜下对应参考块之间的距离：
(1)如图2和图3所示，计算全光视频序列的参考块大小缩放系数。其中以图2的开普勒成像模型为具体例子行推导，该模型下物体经过主透镜所成的像是实像Sa，再经过微透镜成像到传感器平面。
如图2所示，由于微透镜2在透镜边界处孔径小，光通量小，很少通过透镜边界成像Y0和Y1，因此Y0和Y1在图2中传感器1上的水平投影可以分别近似认为是M0和M1的中心，误差可以忽略不计。因此，这两个中心像素分别近似为Y0和Y1的水平投影。进而，图像大小为:
Figure GDA0003526128850000061
其中，Y0Y1是图像端点Y0和Y1之间的距离，M0、M1和Y0Y1由相似三角形计算所得：
Figure GDA0003526128850000071
其中，B是微透镜2和传感器1之间的距离，a是主透镜7的像Sa到微透镜2的距离，bi是类型为i的微透镜到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；Sa是主透镜所成像的大小。结合两个公式可以得到：
Figure GDA0003526128850000072
对于另外一种图3所示的伽利略模型，该模型和图2所示开普勒模型区别在于伽利略模型里物体经过主透镜8所成的像Sa是虚像，形成在传感器3后面；而图2中开普勒模型形成在传感器前面的实像。因此，同理可得图像大小为：
Figure GDA0003526128850000073
因此大小缩放系数为：
Figure GDA0003526128850000074
如果所有的微透镜阵列5的微透镜2的类型是相同的并且物距相同，则缩放系数λ为1。
(2)参考块之间距离计算如图4和图5，其中以图4的开普勒模型为例进行具体介绍。假设至少一个微透镜是聚焦的，则根据几何光学微透镜类型i和j下对应于同一个物点的匹配像素之间的距离可计算为：
Sij＝S-kj,i,j＝1,2,3, (6)
其中，S是两个微透镜主光束之间的距离；kj是微透镜类型j生成的图像主光束到上界之间的距离。这两个变量可以计算为：
Figure GDA0003526128850000075
其中，bi、bj分别是类型为i、j的微透镜到其所成像的距离。
结合两个公式可以计算最终距离为：
Figure GDA0003526128850000081
对于图5的伽利略模型，同理距离计算为：
Figure GDA0003526128850000082
当微透镜类型一样时，既单聚焦全光相机拍摄的序列，距离为相同值。
本实例经过计算，全关视频序列的宏像素直径是23.2023个像素单位，大小缩放系数为：微透镜类型1/微透镜类型0＝0.8200；微透镜类型2/微透镜类型0＝0.9800；微透镜类型1/微透镜类型2＝0.8367。距离参数为：微透镜类型0和微透镜类型1距离：13个像素距离；微透镜类型0和微透镜类型2距离：13.0240个像素距离；微透镜类型1和微透镜类型2距离：13.2675个像素距离；
S3：根据计算出来的距离参数找到匹配参考块的位置，例如找到当前块对应的正左、左上、正上方参考块位置，再根据计算出来大小缩放系数乘当前块大小，获取缩放后对应大小的参考块。
步骤S3是根据步骤S2计算的距离，获取匹配参考块位置，再根据大小缩放系数提取缩放后的参考块像素。
步骤S4在保持纹理信息不变的情况下整形缩放后的参考块，使其大小与原始缩放前参考块大小相等。在用参考块边界像素加权预测当前块边界像素，获取加权系数，进而用此系数加权所匹配参考块的所有像素，来预测待预测的当前块，最终实现当前帧内所有块的帧内预测。
S4：在保持内容不变的情况下整形参考块，与与所述全光视频序列的原始缩放前参考块大小相等，再进行加权预测当前块。因为当前块的内部像素内容未知，可以读取左侧列和上侧行的边界像素，所以加权系数由参考块的边界像素逼近当前块边界像素所求得，进而加权参考块像素值来预测当前像素值：
Figure GDA0003526128850000083
Figure GDA0003526128850000084
其中，xˊn是第n个参考块的左边列和上方行的边界像素；y’是当前块的左边列和上方行的边界像素；wn是公式待求的第n个参考块加权系数。
进一步地，将该面向聚焦式全光视频序列的帧内预测方法作为一种模式嵌入到HM编码平台，使其成为一种与HM编码其他的三十五种并行的一种帧内预测模式，完成模型嵌入工作之后，完成算法测试及性能分析。使得全光图像的压缩编码的效率进一步得到提高。
本发明优选实施例针对由微透镜图像构成的原始全光图像，将全光图像的结构和压缩工具HM编码平台结合起来，提出了面向全光图像的一种面向聚焦式全光视频序列编码方法。通过分析聚焦式全光图像的光学成像原理和宏像素结构特点，推导出参考块距离缩放和大小缩放的关系式，然后基于该原理对找到的不同聚焦状态的参考块实施缩放操作，并基于此设计面向聚焦式全光视频序列的帧内预测模型，然后，将该模型作为一种帧内预测模式，嵌入到HM原有的帧内预测模式中，从而实现全光图像高效的压缩编码，对全光图像压缩的研究具有重大意义。经过实验，采用Ratrix的数据ChessPieces-MovingCamera，在50帧的帧内预测配置下，本发明提出来的算法相对原本HM平台算法可节省23.99％的码率，说明了本发明所提方法的优良性能。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种面向聚焦式全光视频序列的帧内预测方法，其特征在于，包括如下步骤：
S1：获取全光视频序列的光学参数；
S2：根据光学成像原则和所述光学参数以及所述全光视频序列自带的参数，计算所述全光视频序列的参考块大小缩放系数，以及不同焦距的微透镜下对应参考块之间的距离参数；
S3：根据所述距离参数找到匹配参考块的位置，再根据所述缩放系数获取缩放后的参考块；
S4：在保持内容不变的情况下整形所述缩放后的参考块，使其与所述全光视频序列的原始缩放前参考块大小相等，再加权预测待预测的当前块，进而完成所述全光视频序列当前帧内所有块的帧内预测。
2.如权利要求1所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，获取所述全光视频序列的光学参数包括：宏像素直径、微透镜焦距、主透镜像面到微透镜距离和微透镜到其所成像的距离；所述自带参数是宏像素直径和微透镜类型。
3.如权利要求2所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，所述宏像素直径对同一种相机具有一致性；所述微透镜焦距包含所有种类的微透镜焦距，所述主透镜像面到微透镜距离和所述微透镜到其所成像的距离通过光学参数标定计算获得。
4.如权利要求3所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，多聚焦式全光相机的所述全光视频序列的参考块大小缩放系数大于1或小于1；
不同微透镜下对应参考块之间的距离参数由参考块对应微透镜的焦距和微透镜到微透镜所成像的距离决定。
5.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于开普勒成像模型，光学成像后图像的大小为：
Figure FDA0003525589600000011
其中，B是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是类型为i的微透镜到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；Sa是主透镜所成像的大小；
所述缩放系数为：
Figure FDA0003525589600000021
6.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于伽利略成像模型，光学成像后图像的大小为：
Figure FDA0003525589600000022
其中，B是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是类型为i的微透镜到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；Sa是主透镜所成像的大小；
所述缩放系数为：
Figure FDA0003525589600000023
7.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于开普勒成像模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
Figure FDA0003525589600000024
其中，Sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi、bj分别是类型为i、j的微透镜到其所成像的距离。
8.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于伽利略模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
Figure FDA0003525589600000025
其中，Sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi、bj分别是类型为i、j的微透镜到其所成像的距离。
9.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，用所述参考块边界像素加权预测所述当前块的边界像素，获取加权系数，用所述加权系数加权匹配所述参考块的所有像素，来预测所述当前块的像素值；具体通过如下公式：
Figure FDA0003525589600000031
Figure FDA0003525589600000032
其中，xˊn是第n个参考块的左边列和上方行的边界像素；y’是当前块的左边列和上方行的边界像素；wn是第n个参考块加权系数。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法的步骤。
CN202011387115.2A 2020-12-01 2020-12-01 面向聚焦式全光视频序列的帧内预测方法及存储介质 Active CN112492288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011387115.2A CN112492288B (zh) 2020-12-01 2020-12-01 面向聚焦式全光视频序列的帧内预测方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011387115.2A CN112492288B (zh) 2020-12-01 2020-12-01 面向聚焦式全光视频序列的帧内预测方法及存储介质

Publications (2)

Publication Number Publication Date
CN112492288A CN112492288A (zh) 2021-03-12
CN112492288B true CN112492288B (zh) 2022-04-05

Family

ID=74938730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011387115.2A Active CN112492288B (zh) 2020-12-01 2020-12-01 面向聚焦式全光视频序列的帧内预测方法及存储介质

Country Status (1)

Country Link
CN (1) CN112492288B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610055B (zh) * 2021-08-30 2023-09-26 清华大学深圳国际研究生院 一种基于梯度信息的全光视频序列帧内预测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715559B2 (en) * 2014-03-17 2017-07-25 Qualcomm Incorporated Hash-based encoder search for intra block copy
GB2525851B (en) * 2014-04-30 2017-03-29 Canon Kk Method and device for encoding a sub-aperture image of a set of sub-aperture images obtained from a plenoptic image
GB2535475B (en) * 2015-02-16 2019-09-18 Canon Kk Optimized plenoptic image encoding
CN106961605B (zh) * 2017-03-28 2019-06-28 清华大学深圳研究生院 一种基于宏像素边界匹配的光场图像压缩方法
CN111416983B (zh) * 2020-04-07 2022-03-15 清华大学深圳国际研究生院 基于成像相关的多焦距光场视频帧内预测方法和装置

Also Published As

Publication number Publication date
CN112492288A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
JP6901468B2 (ja) 光照射野ベース画像を符号化及び復号する方法と装置、および対応するコンピュータプログラム製品
JP5142701B2 (ja) 符号化方法、電子カメラ、符号化プログラム、及び復号方法
TW200829036A (en) Prediction reference data generating method, video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN110996104B (zh) 一种光场焦点堆栈图像序列编、解码方法、装置及系统
CN109413407A (zh) 高空间分辨率光场采集装置与图像生成方法
TW201251472A (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN108353189A (zh) 用于编码和解码基于光场的图像的方法和装置及对应计算机程序产品
US10785502B2 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
JP2013531268A (ja) 符号化開口を使用した距離の測定
CN112492288B (zh) 面向聚焦式全光视频序列的帧内预测方法及存储介质
CN110392266B (zh) 一种基于伪视频序列的光场视频编码方法、终端设备和存储介质
Jiang et al. Homography-based low rank approximation of light fields for compression
CN101521823A (zh) 空间相关的全景数据压缩方法
CN104735351A (zh) 一种高分辨率光场图片重建方法与成像装置
CN110999305B (zh) 对从全光相机获取的数据中获得的图像视图矩阵进行编码的方法
Jin et al. Plenoptic 2.0 intra coding using imaging principle
CN111416983B (zh) 基于成像相关的多焦距光场视频帧内预测方法和装置
Tu et al. Efficient content adaptive plenoptic video coding
Meuleman et al. Single-shot monocular rgb-d imaging using uneven double refraction
Szymanowicz et al. Flash3D: Feed-Forward Generalisable 3D Scene Reconstruction from a Single Image
Goldlücke et al. Plenoptic Cameras.
CN112435168B (zh) 一种参考块缩放方法及计算机可读存储介质
CN109615650A (zh) 一种基于变分法和遮挡互补的光场流估计方法
Lee et al. Generalizable Novel-View Synthesis using a Stereo Camera
CN113610055B (zh) 一种基于梯度信息的全光视频序列帧内预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant