CN112435168B - 一种参考块缩放方法及计算机可读存储介质 - Google Patents

一种参考块缩放方法及计算机可读存储介质 Download PDF

Info

Publication number
CN112435168B
CN112435168B CN202011382860.8A CN202011382860A CN112435168B CN 112435168 B CN112435168 B CN 112435168B CN 202011382860 A CN202011382860 A CN 202011382860A CN 112435168 B CN112435168 B CN 112435168B
Authority
CN
China
Prior art keywords
reference block
scaled
pixel
block
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011382860.8A
Other languages
English (en)
Other versions
CN112435168A (zh
Inventor
金欣
江帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202011382860.8A priority Critical patent/CN112435168B/zh
Publication of CN112435168A publication Critical patent/CN112435168A/zh
Application granted granted Critical
Publication of CN112435168B publication Critical patent/CN112435168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种参考块缩放方法及计算机可读存储介质，方法包括：包括如下步骤：S1：获取待缩放处理的图像的块大小缩放系数，计算得到对应的参考块大小；S2：根据所述参考块的大小在参考帧中的匹配位置获取缩放后的参考块，进一步获取所述缩放后的参考块的边界像素；S3：所述缩放后的参考块整形回所述图像的块大小的尺寸，得到结果块。保持纹理信息不变但是尺度对应变化，与缩放前尺寸保持一致，方便后续其他预测操作。

Description

一种参考块缩放方法及计算机可读存储介质
技术领域
本发明涉及计算机视觉与数字图像处理技术领域，尤其涉及一种参考块缩放方法及计算机可读存储介质。
背景技术
保持纹理信息不变的缩放技术有很多应用场景。比如光场相机、数字电视、目标检测等等很多地方。对于光场相机，全光相机不仅可以记录随时间变化的空间光线强度，还可以记录光传播方向。在现有的全光相机配置中，聚焦式全光相机由于在获得的光场空间分辨率和角度分辨率上有更好的平衡，空间分辨率更高，更有利于深度估计、显微、工业检测和3D重建。然而迥异的成像原理造成像素强度分布不同和复杂的宏像素结构，进而导致巨大的数据传输和压缩量，给聚焦式全光相机的进一步应用带来了挑战。对于数字电视，无论何种视频格式的终端显示设备，其高清信号源都是同样的分辨率。而当今数字电视信号终端显示设备又是各种各样，从普通的CRT到高档液晶、等离子，其显示方式和大小不尽相同，同时越来越多的手机可以接受数字电视信号，在小小的屏幕显示，这些都需要终端设备具备数字图像的分辨率变换功能，因此数字图像的缩放技术显的越来越重要。对于目标检测，很多网络如R-CNN对于每个输入的候选框都需要缩放到固定的大小，缩放技术会因此影响后续的处理和最终的性能结果上。
对全光相机的数据量大的问题，现有的编码方法存在很多问题，尤其是对于如今主流的多聚焦式全光相机，微透镜的种类有三种，导致同一平面的物体经过不同焦距的微透镜成像后，会处于不同的聚焦状态，引起不同的散焦情况，从而产生相同大小物体在不同微透镜下具有不同大小的现象，而现有的方法都是直接搜寻固定大小的参考块来进行预测处理，导致预测内容信息缺失或过量，影响压缩效率，因此急需一种能保持纹理信息不变的参考块缩放方法，来提高聚焦式全光视频的预测编码的效率。
对于数字电视和目标检测，现如今针对这些的缩放技术不多且效果不是很理想，因此急需找寻一种有效的保持纹理信息不变的参考块缩放方法。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种参考块缩放方法及计算机可读存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种保持纹理信息不变的参考块缩放方法，包括如下步骤：S1：获取待缩放处理的图像的块大小缩放系数，计算得到对应的参考块大小；S2：根据所述参考块的大小在参考帧中的匹配位置获取缩放后的参考块，进一步获取所述缩放后的参考块的边界像素；S3：所述缩放后的参考块整形回所述图像的块大小的尺寸，得到结果块。
优选地，所述待缩放处理的图像是全光视频序列图像或目标检测图像；所述缩放系数由获取所述待缩放处理的图像的相机参数决定。
优选地，所述缩放后的参考块的边界像素包括最右侧列、最下侧行以及右下角的小数位置像素。
优选地，所述缩放后的参考块的边界像素用周围已知包括不在所述参考块但是在所述参考帧中的整数位置像素点处理得到；所述最右侧列位置的像素用所述像素左、右侧共n个整数位置像素进行移位线性加权得到，n为不小于2的正整数；所述最下侧行位置的像素用所述像素上、下侧共n个整数位置像素进行移位线性加权得到，n为不小于2的正整数。所述右下角位置的像素用所述像素上、下、左、右共4个整数位置像素进行移位线性加权得到。
优选地，所述最右侧列和最下侧行位置的像素的具体公式如下：
所述右下角位置的像素的具体公式如下：
y＝(w0p0+w1p1+w2p2+w3p3+2m-1)＞＞m
其中，w代表加权系数，p代表像素值，y是待插像素值，n是所取整数位置像素个数，m是先扩大再缩小时数据移动的位数。
优选地，所述缩放后的参考块整形回所述图像的块大小的尺寸，得到结果块包括如下步骤：S31：在所述缩放后的参考块中找到与所述待缩放处理的图像块的对应像素位置；S32：获取对应像素位置的像素值；S33：将所述像素值填入与所述待缩放处理的图像的块对应位置。
优选地，获取对应像素位置的像素值包括：最邻近插值、双线性插值、双三次插值。优选地，在所述缩放后的参考块中找到与所述待缩放处理的图像的块的对应像素位置(kx×x,ky×y)，其中kx和ky是缩放后的参考块的整形系数；所述待缩放处理的图像的块的像素位置(x,y)；
其中，Wˊ和Hˊ分别是缩放后的参考块的宽和高；W和H分别是待缩放处理的图像的块的宽和高。
优选地，将所述对应像素位置(kx×x,ky×y)经过四舍五入取整得到(xˊ,yˊ)整数位置，然后获取对应像素值pˊ(xˊ,yˊ)，具体通过下式计算：
其中，<·>表示四舍五入操作，xˊ、yˊ分别是四舍五入后位置的横坐标和纵坐标。
优选地，将所述像素值通过插值方法填入与所述待缩放处理的图像的块对应位置。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为：提供一种参考块缩放方法及计算机可读存储介质，通过选取根据实际缩放后大小选定的而不是传统的选固定整数尺寸的参考块信息，因此包含了参考块的全部信息；且再进行插值回当前块尺寸时，利用的插值方法是会根据一定区域的所有像素来插值或者直接填充，保证了纹理的平滑或者大部分像素值不变，信息内容不变。保持纹理信息不变但是尺度对应变化，与缩放前尺寸保持一致，方便后续其他预测操作。
附图说明
图1是本发明实施例中一种参考块缩放方法示意图。
图2是本发明实施例中得到结果块的方法示意图。
图3是本发明实施例中参考块n＝2时缩放示意图。
图4(a)是本发明实施例中一种参考块裁剪过程总示意图。
图4(b)是本发明实施例中缩放后参考块用最近邻插值整形示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种参考块缩放方法，包括如下步骤：
S1：获取待缩放处理的图像的块大小缩放系数，计算得到对应的参考块大小；
S2：根据所述参考块的大小在参考帧中的匹配位置获取缩放后的参考块，进一步获取所述缩放后的参考块的边界像素；
S3：所述缩放后的参考块整形回所述图像的块大小的尺寸，得到结果块。
本发明中通过选取根据实际缩放后大小选定的而不是传统的选固定整数尺寸的参考块信息，因此包含了参考块的全部信息；且再进行插值回当前块尺寸时，利用的插值方法是会根据一定区域的所有像素来插值或者直接填充，保证了纹理的平滑或者大部分像素值不变，信息内容不变。保持纹理信息不变但是尺度对应变化，与缩放前尺寸保持一致，方便后续其他预测操作。
在本发明的一种实施例中，待缩放处理的图像是全光视频序列图像或目标检测图像；或者是其他待检测的图像。缩放系数由获取所述待缩放处理的图像的相机参数决定。比如对全光视频序列的缩放系数由拍摄时主透镜像面到微透镜距离，微透镜到其所成像的距离和宏像素大小所决定。
在本发明的另一种实施例中，缩放后的参考块的边界像素包括最右侧列、最下侧行小数位置的像素以及右下角的像素。边界像素一般情况下是小数位置，需要通过插值得到，根据位置关系用周围已知包括不在所述参考块但是在所述参考帧中的整数位置像素点处理得到；加权系数与像素点之间的距离线性相关。
在一种具体的实施例中，最右侧列位置的像素用所述像素左、右侧共n个整数位置像素进行移位线性加权得到，n为不小于2的正整数；
所述最下侧行位置的像素用所述像素上、下侧共n个整数位置像素进行移位线性加权得到，n为不小于2的正整数。
所述右下角位置的像素用所述像素上、下、左、右共4个整数位置像素进行移位线性加权得到。
最右侧列和最下侧行位置的像素的具体公式如下：
右下角位置的像素的具体公式如下：
y＝(w0p0+w1p1+w2p2+w3p3+2m-1)＞＞m (2)
其中，w代表加权系数，p代表像素值，y是待插像素值，n是所取整数位置像素个数，m是先扩大再缩小时数据移动的位数。
如上，加权系数以用1/2m精度为例，且与像素点之间的距离线性相关。
如图2所示，缩放后的参考块整形回所述图像的块大小的尺寸，得到结果块包括如下步骤：
S31：在所述缩放后的参考块中找到与所述待缩放处理的图像块的对应像素位置；
S32：获取对应像素位置的像素值；
S33：将所述像素值填入与所述待缩放处理的图像的块对应位置。
步骤S3是在得到的缩放后参考块中找到对应的坐标位置，该坐标位置由期望的结果块中对应欲填充像素位置进行坐标变换得到，且该变换后位置为小数或者整数。结果块与待缩放处理的图像块的像素是对应的，所以可以使用待缩放的图像块确定在缩放后的参考块中对应像素位置。获取像素位置的方法可以很多种，比如坐标位置四舍五入后取最近的像素值(最近邻插值)，或者取坐标位置上、下、左、右4个像素加权得到一个像素值(双线性插值)，或者取周围9个像素加权得到一个像素值(双三次插值)等等。
将所述像素值填入与所述待缩放处理的图像的块对应位置，可以保持纹理信息不变但是尺度对应变化，与缩放前尺寸保持一致，方便后续预测等其他操作。以全光视频预测为具体应用例子，预测时是需要和原始尺寸一致的参考块。但是因为聚焦情况不同，会有散焦效果，因此获取的参考块大小是散焦后更大或者更小的区域(经过缩放了，且更精细)，能表征全部信息。但是需要用相同大小的参考块预测当前块，所以需要再把缩放后的更精细的参考块插值回原始尺寸，进行其他处理如加权操作直接用来预测当前块。其他例子如后期图像处理、目标检测缩放处理等等都可能会用到该方法。
在本发明的一种实施例中，在所述缩放后的参考块中找到与所述待缩放处理的图像的块的对应像素位置(kx×x,ky×y)，其中kx和ky是缩放后的参考块的整形系数；所述待缩放处理的图像的块的像素位置(x,y)；
其中，Wˊ和Hˊ分别是缩放后的参考块的宽和高；W和H分别是待缩放处理的图像的块的宽和高。
若采用最近邻的插值方法，则将所述对应像素位置(kx×x,ky×y)经过四舍五入取整得到(xˊ,yˊ)整数位置，然后获取对应像素值pˊ(xˊ,yˊ)，具体通过下式计算：
其中，<·>表示四舍五入操作，xˊ、yˊ分别是四舍五入后位置的横坐标和纵坐标。
在本发明的一种实施例中，将所述像素值通过插值方法填入与所述待缩放处理的图像的块对应位置。
本发明提供一种保持纹理信息不变的参考块缩放方法，通过获取已知缩放系数，得到小数精度的缩放后参考块，能包含更全面的期待纹理信息，而不是固定相同尺寸的参考块。再通过插值算法将缩放后的参考块插值回当前尺寸方便后续其他预测等操作，能保证纹理信息更精准全面，高效地提高了图像预测的精准度。考虑了参考块纹理信息的多样性，比如聚焦式全光视频里纹理信息经过不同微透镜，处于不同聚焦状态有不同大小，或者目标检测里不同图像尺寸需要缩放，通过考虑纹理信息的缩放处理获取小数精度的纹理参考块，更有利于图像的预测和处理。能保持信息不变是因为选取的参考块信息是根据实际缩放后大小选定的而不是传统的选固定整数尺寸的，因此包含了全部信息。且再进行插值回当前块尺寸时，利用的插值方法是会根据一定区域的所以像素来插值或者直接填充，保证了纹理的平滑或者大部分像素值不变，信息内容不变。比如最近邻插值，只有最中间的行和列像素值会变，其他都维持原样，极大地保持了纹理特征。
在进一步方案中，将设计的保持纹理信息不变的参考块缩放方法放入图像预测的方法里，将该方法的图像预测模型嵌入到视频编码里HM编码平台原有的帧内预测模式参考块处理方案上，最终实现全光图像编码效率的提升，对图像预测精准度提高和图像形变处理的研究有重大意义。
本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。具体如下：
S1：获取待缩放处理的图像的块大小缩放系数，计算得到对应的参考块大小；本实施例中采用由Raytrix相机拍摄的空间分辨率是3840×2160，角度分辨率是5×5的全光视频序列，图像是由三种不同微透镜类型所生成，处于不同的聚焦和散焦状态。大小缩放系数为：微透镜类型1/微透镜类型0＝0.8200；微透镜类型2/微透镜类型0＝0.9800；微透镜类型1/微透镜类型2＝0.8367。
S2：根据所述参考块的大小在参考帧中的匹配位置获取缩放后的参考块，进一步获取所述缩放后的参考块的边界像素，以n＝2为例，且使用水平和垂直方向上的整数像素点为例子，如图3所示，参考块的最右侧列和最下侧行小数位置的像素分别用该像素左、右侧和上、下侧共2个整数位置像素进行移位线性加权得到，其中右侧和下侧的像素不在参考块内但是在参考帧内，加权系数与待插值小数位置像素点与参考使用的整数位置像素点之间的距离线性相关。图3中实心圆为整数位置像素，实线方形为小数位置像素，实线方框为当前块，虚线方框为缩放后的参考块。
移位线性加权是将两个整数像素之间的距离划分为1/2n个单位，以2为基底是为了方便图像处理里移位操作，能更快捷高效。以获得1/64的精度为例，1/64的精度下,为了方便插值操作，大小缩放系数被四舍五入取整。以相对于p(x,y)位于0.375分数位置的p(x’,y)为实例(如图3所示)，其值计算方法为:
p(x′,y)＝(p(x,y)×24+p(x+1,y)×40+32)＞＞6. (3)
而对于右下角的像素，则用其上、下、左、右的4个整数像素移位线性加权得到。加权系数也是与该待插值小数位置像素和使用的四个整数像素之间距离线性相关。
S3：所述缩放后的参考块整形回所述图像的块大小的尺寸，得到结果块，同时尽可能保持纹理信息不变，主要分为以下三个步骤：
(1)在得到的缩放后参考块中找到对应的坐标位置(kx×x,ky×y)，该坐标位置由期望的整形后结果块中对应像素位置(x,y)进行坐标变换得到，且该变换后位置可为小数也可为整数。其中kx和ky是块的整形系数，由所获得的缩放后参考块的宽Wˊ和高Hˊ，以及最终期望的整形后结果块的宽W和高H计算得到：
(2)在缩放后参考块中找到像素位置后获取像素值。获取像素方法有很多种，比如坐标位置四舍五入后取最近的像素值(最近邻插值)，或者取坐标位置上、下、左、右4个像素加权得到一个像素值(双线性插值)，或者取周围9个像素加权得到一个像素值(双三次插值)等等。以最近邻插值算法为例，如图4(a)和图4(b)所示，将坐标变换后的位置(kx×x,ky×y)经过四舍五入取整得到(xˊ,yˊ)整数位置，然后获取对应像素值pˊ(xˊ,yˊ)，其中实线框为缩放后的参考块，虚线框为裁剪后的参考块：
其中，<·>表示四舍五入操作。xˊ、yˊ分别是四舍五入后位置的横坐标和纵坐标。(3)将上述已经获取的像素值填入整形块的对应位置(x,y)，如图4(a)和图4(b)所示，将像素值pˊ(xˊ,yˊ)填充到整形参考块像素值p(x,y)，则可以保持纹理信息不变但是尺度对应变化，与缩放前当前块尺寸保持一致，方便后续预测等其他操作。
在进一步方案中，将设计的保持纹理信息不变的参考块缩放方法放入图像预测的方法里，将该方法的图像预测模型嵌入到视频编码里HM编码平台原有的帧内预测模式参考块处理方案上，最终实现全光图像编码效率的提升，对图像预测精准度提高和图像形变处理的研究有重大意义。
本发明的一种保持纹理信息不变的参考块缩放方法通过获取已知缩放系数，得到小数精度的缩放后参考块，能包含更全面的期待纹理信息，而不是固定相同尺寸的参考块。再通过插值算法将缩放后的参考块插值回当前尺寸方便后续其他预测等操作，能保证纹理信息更精准全面，高效地提高了图像预测的精准度。创新在于考虑了参考块纹理信息的多样性，比如聚焦式全光视频里纹理信息经过不同微透镜，处于不同聚焦状态有不同大小，或者目标检测里不同图像尺寸需要缩放，通过考虑纹理信息的缩放处理获取小数精度的纹理参考块，更有利于图像的预测和处理
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种参考块缩放方法，其特征在于，包括如下步骤：
S1：获取待缩放处理的图像的块大小缩放系数，计算得到对应的参考块大小，所述待缩放处理的图像是全光视频序列图像或目标检测图像；所述缩放系数由获取所述待缩放处理的图像的相机参数决定；
S2：根据所述参考块的大小在参考帧中的匹配位置获取缩放后的参考块，进一步获取所述缩放后的参考块的边界像素；
S3：所述缩放后的参考块整形回当前块大小的尺寸，得到结果块，用于后续的图像预测和图像形变处理；
所述步骤S3中包括如下步骤：
S31：在所述缩放后的参考块中找到与所述当前块的对应像素位置；
S32：通过插值方法获取对应像素位置的像素值；
S33：将所述像素值通过插值方法填入与所述当前块对应位置；
从而通过实际缩放后大小选定缩放系数，获取所述缩放系数得到整数或小数精度的缩放后参考块信息，以使包含参考块的全部纹理信息；再进行插值回当前块尺寸时，利用的插值方法是会根据一定区域的所有像素来插值或者直接填充，以使参考块缩放前后尺度对应变化但纹理信息不变。
2.如权利要求1所述的参考块缩放方法，其特征在于，所述缩放后的参考块的边界像素包括最右侧列、最下侧行以及右下角的小数位置的像素。
3.如权利要求2所述的参考块缩放方法，其特征在于，所述缩放后的参考块的边界像素用周围已知包括不在所述参考块但是在所述参考帧中的整数位置像素点处理得到；
所述最右侧列位置的像素用所述像素左、右侧共n个整数位置像素进行移位线性加权得到，n为不小于2的正整数；
所述最下侧行位置的像素用所述像素上、下侧共n个整数位置像素进行移位线性加权得到，n为不小于2的正整数；
所述右下角位置的像素用所述像素上、下、左、右共4个整数位置像素进行移位线性加权得到。
4.如权利要求3所述的参考块缩放方法，其特征在于，所述最右侧列和最下侧行位置的像素的具体公式如下：；
所述右下角位置的像素的具体公式如下：
；
其中，w代表加权系数，p代表像素值，y是待插像素值，n是所取整数位置像素个数，m是先扩大再缩小时数据移动的位数。
5.如权利要求1所述的参考块缩放方法，其特征在于，获取对应像素位置的像素值包括：最邻近插值、双线性插值、双三次插值。
6. 如权利要求5所述的参考块缩放方法，其特征在于，在所述缩放后的参考块中找到与所述待缩放处理的图像的块的对应像素位置(k x ×x, k y ×y)，其中k x 和k y 是缩放后的参考块的整形系数；所述待缩放处理的图像的块的像素位置(x, y)；
；
其中，Wˊ和Hˊ分别是缩放后的参考块的宽和高；W和H分别是待缩放处理的图像的块的宽和高；
将所述对应像素位置(k x ×x, k y ×y)经过四舍五入取整得到(xˊ, yˊ)整数位置，然后获取对应像素值pˊ(xˊ, yˊ)，具体通过下式计算：
；
其中，表示四舍五入操作，xˊ、yˊ分别是四舍五入后位置的横坐标和纵坐标。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一所述方法的步骤。
CN202011382860.8A 2020-12-01 2020-12-01 一种参考块缩放方法及计算机可读存储介质 Active CN112435168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011382860.8A CN112435168B (zh) 2020-12-01 2020-12-01 一种参考块缩放方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011382860.8A CN112435168B (zh) 2020-12-01 2020-12-01 一种参考块缩放方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112435168A CN112435168A (zh) 2021-03-02
CN112435168B true CN112435168B (zh) 2024-01-19

Family

ID=74699085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011382860.8A Active CN112435168B (zh) 2020-12-01 2020-12-01 一种参考块缩放方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112435168B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610055B (zh) * 2021-08-30 2023-09-26 清华大学深圳国际研究生院 一种基于梯度信息的全光视频序列帧内预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027025A (zh) * 2017-03-28 2017-08-08 清华大学深圳研究生院 一种基于宏像素块自适应预测的光场图像压缩方法
CN109583299A (zh) * 2018-10-26 2019-04-05 平安科技（深圳）有限公司 电子装置、证件识别方法及存储介质
CN109816669A (zh) * 2019-01-30 2019-05-28 云南电网有限责任公司电力科学研究院 一种识别电力设备缺陷的改进Mask R-CNN图像实例分割方法
CN111200716A (zh) * 2020-01-08 2020-05-26 珠海亿智电子科技有限公司 特征映射缩放的精度补偿方法、系统及存储介质
CN111416983A (zh) * 2020-04-07 2020-07-14 清华大学深圳国际研究生院 基于成像相关的多焦距光场视频帧内预测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027025A (zh) * 2017-03-28 2017-08-08 清华大学深圳研究生院 一种基于宏像素块自适应预测的光场图像压缩方法
CN109583299A (zh) * 2018-10-26 2019-04-05 平安科技（深圳）有限公司 电子装置、证件识别方法及存储介质
CN109816669A (zh) * 2019-01-30 2019-05-28 云南电网有限责任公司电力科学研究院 一种识别电力设备缺陷的改进Mask R-CNN图像实例分割方法
CN111200716A (zh) * 2020-01-08 2020-05-26 珠海亿智电子科技有限公司 特征映射缩放的精度补偿方法、系统及存储介质
CN111416983A (zh) * 2020-04-07 2020-07-14 清华大学深圳国际研究生院 基于成像相关的多焦距光场视频帧内预测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Efficient Multiple-Line-Based Intra Prediction for HEVC;Jiahao Li et al.;IEEE Transactions on Circuits and Systems for Video Technology;第28卷(第4期);第950页 *

Also Published As

Publication number Publication date
CN112435168A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
US9412151B2 (en) Image processing apparatus and image processing method
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
TWI423659B (zh) 影像校正方法與相關影像校正系統
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20090128643A1 (en) Image Pickup Apparatus, Method for Capturing Image, and Method for Designing Image Pickup Apparatus
US10708619B2 (en) Method and device for generating predicted pictures
JPWO2008139577A1 (ja) 画像処理装置、撮像装置、および画像歪み補正方法
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
CN105721768B (zh) 从聚焦堆叠生成适合的切片图像的方法和装置
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
US10425656B2 (en) Method of inter-frame prediction for video encoding and decoding
KR20210089737A (ko) 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체
CN112435168B (zh) 一种参考块缩放方法及计算机可读存储介质
WO2011074121A1 (ja) 動きベクトル検出装置及び方法
KR20150070258A (ko) 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 방법, 프로그램 및 장치
KR101906173B1 (ko) 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
US10152803B2 (en) Multiple view image display apparatus and disparity estimation method thereof
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质
CN112492288B (zh) 面向聚焦式全光视频序列的帧内预测方法及存储介质
JP4998134B2 (ja) 画像処理装置および画像処理方法
CN113438388A (zh) 处理方法、摄像头组件、电子设备、处理装置和介质
JP5359814B2 (ja) 画像処理装置
CN112135130B (zh) 视频编译码方法及其图像处理装置
JP2020195093A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant