CN107516293A - 图像插值方法和图像插值系统 - Google Patents
图像插值方法和图像插值系统 Download PDFInfo
- Publication number
- CN107516293A CN107516293A CN201610440640.3A CN201610440640A CN107516293A CN 107516293 A CN107516293 A CN 107516293A CN 201610440640 A CN201610440640 A CN 201610440640A CN 107516293 A CN107516293 A CN 107516293A
- Authority
- CN
- China
- Prior art keywords
- image block
- mover
- autoregression model
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 7
- 238000011524 similarity measure Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像插值方法和图像插值系统，其中，图像插值方法包括：将待处理的图像进行初始化插值处理，以生成上插后的目标图像；根据目标自回归插值函数对目标图像的插值像素点进行插值处理，包括：确定目标图像中以一个插值像素点为中心的图像块，对图像块中的每个插值像素点创建多组指定方向的自回归模型；对生成自回归模型的图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数；根据目标自回归函数确定图像块的插值像素点的灰度值。通过本发明技术方案，在图像插值过程中加入了自回归模型的方向信息，改善了图像的插值效果。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像插值方法和一种图像插值系统。
背景技术
图像插值的目标是利用低分辨率图像提供的信息，生成更高分辨率的图像。图像插值方法一般向原始的低分辨率图像像素之间插入估计的高分辨率像素点。这些未知的高分辨率像素点可以由其周围的低分辨率点估计得到，从而得到高分辨率的图像。
相关技术中，通常采用双三次插值算法对图像进行插值处理，也即所有的高分辨率像素点由其周围的16个低分辨率点加权平均求得。其中，距离高分辨率点越远的低分辨率点，其权值也就越小。这种双三次插值算法对所有的点采取同样的方法和相同的权值进行求解，会使图像的一些重要信息(比如边缘)变得模糊。在双三次插值算法的基础上增加图像块的自回归模型，进而保证图像差值过程中的方向性因素可靠，但是，所有的图像块均采用了相同的参考点，这使得依赖于图像自相似性的自回归模型在处理图像边缘时仍会产生模糊效果，导致重建结果不理想。
因此，如何设计一种新的图像差值方案以改善图像插值效果成为亟待解决的技术问题。
发明内容
本发明正是基于上述技术问题至少之一，提出了一种新的图像插值方案，通过创建图像块的多个方向的自回归模型，并且基于图像块的相似性度量，来确定图像块中心点的灰度值，进而提高图像差值的准确性，改善图像差值效果。
有鉴于此，本发明提出了一种图像插值方法，包括：将待处理的图像进行初始化插值处理，以生成上插后的目标图像；根据目标自回归插值函数对目标图像的插值像素点进行插值处理，包括：确定目标图像中以一个插值像素点为中心的图像块，对图像块中的每个插值像素点创建多组指定方向的自回归模型；根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数；根据目标自回归函数确定图像块的插值像素点的灰度值。
在该技术方案中，通过创建图像块的多个方向的自回归模型，并且基于图像块的相似性度量，基于自回归模型获取了图像像素点的方向信息，来确定图像块中心点的灰度值，进而提高图像差值的准确性，改善图像差值效果。
其中，自回归模型的创建过程包括确定差值像素点为中心点，以及插值像素点周围的像素点，周围点加权后和中心点做差即为每个中心点的自回归模型。
对待处理的图像进行初始化插值处理，可以通过双三次插值方法确定插值像素点的初始灰度值，进一步地，根据目标自回归模型对初始灰度值进行修正和改善，以提高图像差值效果。
在上述技术方案中，优选地，自回归模型包括原始自回归模型和新增自回归模型，根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：对图像块中的所有原始自回归模型求和值，根据和值最小的原始自回归模型创建第一目标函数，原始自回归模型包括水平方向和垂直方向的第一组自回归模型，原始自回归模型还包括对角线方向的第二组自回归模型，第一目标函数为其中，α表征第一组自回归模型的预设比重，β表征第二组自回归模型的预设比重，表征图像块中所有像素点组成的列向量，表征所有原始自回归模型的中心点组成的列向量，A表征第一组自回归模型的权重矩阵，B表征第二组自回归模型的权重矩阵。
在该技术方案中，权重矩阵的构成方式为：如果图像块的第j个像素点是图像块的第i个像素点的第k个45度对角线邻居，那么A的第i行第j列为α的第k个权值。
在上述任一项技术方案中，优选地，根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：确定图像块相邻的参考图像块与图像块的均方差；确定均方差最小的一个参考图像块，将参考图像块确定为与图像块最相似的至少一个图像块，根据最相似的至少一个图像块和图像块创建新增自回归模型；根据新增自回归模型对第一目标函数进行修正，生成第二目标函数为其中，C表征新增自回归模型的权重矩阵，γ表征新增自回归模型的预设比重。
在该技术方案中，通过确定图像块相邻的参考图像块与图像块的均方差，进而确定新增自回归模型，进一步地丰富了差值过程的方向信息，也即新增自回归模型基于更接近于图像块的参考图像块生成，因此，对于图像块中心点的差值权重更大，以改善图像的差值效果和准确度。
具体地，分别求中心点11×11的图像块与以中心点周围两圈16个点中的11×11的块之间的均方差。16个点以图像块的中心点为对称中心组成8个方向，与1个方向上2个块的均方差大小衡量了图像块的方向性。根据不同局部区域的方向性的强弱，本发明分三种情况动态选取新的参考点：
(1)不加入新的参考点，维持原始的自回归模型不变；
(2)加入均方差最小的方向对应的2个参考点作为新增自回归模型；
(3)加入均方差最小的2个方向对应的4个参考点作为新增自回归模型，这种情况是考虑到局部区域方向性可能正好处于8个方向中的2个相邻方向之间。
在上述任一项技术方案中，优选地，根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：将图像块下采至待处理的图像的相同分辨率的尺寸，以生成目标图像块；确定待处理的图像中与目标图像块对应的参考图像块，并确定目标图像块与参考图像块的差值，以根据差值对第二目标函数进行修正，生成第三目标函数为：
其中，D表征差值的权重矩阵，λ表征预设参数，预设参数的数值范围为0～1。
在该技术方案中，通过下采以生成目标图像块，进而将目标图像块与相同分辨率的参考图像块进行差值计算，以验证第一次插值处理的可靠性和准确性，并且基于上述差值对第二目标函数进行修正，提升了图像差值的动态特性。
更近一步地，计算图像块与其他图像块的相似性，一部分为两个图像块的结构相似性，由两个图像块对应的像素点相减求平方和，另一部分为两个块之间距离的函数，通常认为两个块距离越近，其相似性越高，由两个图像块相似度计算得到对角矩阵P，并带入第三目标函数进行进一步地修正，得到第四目标函数为：
在上述任一项技术方案中，优选地，根据目标自回归函数确定图像块的插值像素点的灰度值，具体包括以下步骤：采用最小二乘法或迭代法对目标自回归函数进行最小化处理，以确定图像块的插值像素点的灰度值。
其中，预设参数可以为0.5。
在该技术方案中，通过采用最小二乘法或迭代法对目标自回归函数进行最小化处理，确定了插值像素点的灰度值，改善了差值效果。
根据本发明第二方面，还提出了一种图像插值系统，包括：插值单元，用于将待处理的图像进行初始化插值处理，以生成上插后的目标图像；插值单元还用于：根据目标自回归插值函数对目标图像的插值像素点进行插值处理，插值单元包括：确定单元，用于确定目标图像中以一个插值像素点为中心的图像块，对图像块中的每个插值像素点创建多组指定方向的自回归模型；确定单元还用于：根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数；确定单元还用于：根据目标自回归函数确定图像块的插值像素点的灰度值。
在该技术方案中，通过创建图像块的多个方向的自回归模型，并且基于图像块的相似性度量，基于自回归模型获取了图像像素点的方向信息，来确定图像块中心点的灰度值，进而提高图像差值的准确性，改善图像差值效果。
其中，自回归模型的创建过程包括确定差值像素点为中心点，以及插值像素点周围的像素点，周围点加权后和中心点做差即为每个中心点的自回归模型。
对待处理的图像进行初始化插值处理，可以通过双三次插值方法确定插值像素点的初始灰度值，进一步地，根据目标自回归模型对初始灰度值进行修正和改善，以提高图像差值效果。
在上述技术方案中，优选地，插值单元还包括：创建单元，用于对图像块中的所有原始自回归模型求和值，根据和值最小的原始自回归模型创建第一目标函数，原始自回归模型包括水平方向和垂直方向的第一组自回归模型，原始自回归模型还包括对角线方向的第二组自回归模型，第一目标函数为其中，α表征第一组自回归模型的预设比重，β表征第二组自回归模型的预设比重，表征图像块中所有像素点组成的列向量，表征所有原始自回归模型的中心点组成的列向量，A表征第一组自回归模型的权重矩阵，B表征第二组自回归模型的权重矩阵。
在该技术方案中，权重矩阵的构成方式为：如果图像块的第j个像素点是图像块的第i个像素点的第k个45度对角线邻居，那么A的第i行第j列为α的第k个权值。
在上述任一项技术方案中，优选地，确定单元还用于：确定图像块相邻的参考图像块与图像块的均方差；确定单元还用于：确定均方差最小的一个参考图像块，将参考图像块确定为与图像块最相似的至少一个图像块，根据最相似的至少一个图像块和图像块创建新增自回归模型；创建单元还用于：根据新增自回归模型对第一目标函数进行修正，生成第二目标函数为其中，C表征新增自回归模型的权重矩阵，γ表征新增自回归模型的预设比重。
在该技术方案中，通过确定图像块相邻的参考图像块与图像块的均方差，进而确定新增自回归模型，进一步地丰富了差值过程的方向信息，也即新增自回归模型基于更接近于图像块的参考图像块生成，因此，对于图像块中心点的差值权重更大，以改善图像的差值效果和准确度。
具体地，分别求中心点11×11的图像块与以中心点周围两圈16个点中的11×11的块之间的均方差。16个点以图像块的中心点为对称中心组成8个方向，与1个方向上2个块的均方差大小衡量了图像块的方向性。根据不同局部区域的方向性的强弱，本发明分三种情况动态选取新的参考点：
(1)不加入新的参考点，维持原始的自回归模型不变；
(2)加入均方差最小的方向对应的2个参考点作为新增自回归模型；
(3)加入均方差最小的2个方向对应的4个参考点作为新增自回归模型，这种情况是考虑到局部区域方向性可能正好处于8个方向中的2个相邻方向之间。
在上述任一项技术方案中，优选地，创建单元还用于：将下采至待处理的图像的相同分辨率的尺寸，以生成目标图像块；确定单元还用于：确定待处理的图像中与目标图像块对应的参考图像块，并确定目标图像块与参考图像块的差值，以根据差值对第二目标函数进行修正，生成第三目标函数为：
其中，D表征差值的权重矩阵，λ表征预设参数，预设参数的数值范围为0～1。
在该技术方案中，通过下采以生成目标图像块，进而将目标图像块与相同分辨率的参考图像块进行差值计算，以验证第一次插值处理的可靠性和准确性，并且基于上述差值对第二目标函数进行修正，提升了图像差值的动态特性。
更近一步地，计算图像块与其他图像块的相似性，一部分为两个图像块的结构相似性，由两个图像块对应的像素点相减求平方和，另一部分为两个块之间距离的函数，通常认为两个块距离越近，其相似性越高，由两个图像块相似度计算得到对角矩阵P，并带入第三目标函数进行进一步地修正，得到第四目标函数为：
其中，预设参数可以为0.5。
在上述任一项技术方案中，优选地，确定单元还用于：采用最小二乘法或迭代法对目标自回归函数进行最小化处理，以确定图像块的插值像素点的灰度值。
在该技术方案中，通过采用最小二乘法或迭代法对目标自回归函数进行最小化处理，确定了插值像素点的灰度值，改善了差值效果。
附图说明
图1示出了根据本发明的一个实施例的图像插值方法的示意流程图；
图2示出了根据本发明的实施例的图像插值系统的示意框图；
图3示出了根据本发明的另一个实施例的图像插值方法的示意流程图；
图4至图7示出了根据本发明的实施例的图像差值方案的自回归模型的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用第三方不同于在此描述的第三方方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面结合图1至图7对根据本发明的实施例的图像插值方案进行具体说明。
图1示出了根据本发明的一个实施例的图像插值方法的示意流程图。
如图1所示，根据本发明的一个实施例的图像插值方法，包括：步骤102，将待处理的图像进行初始化插值处理，以生成上插后的目标图像；步骤104，根据目标自回归插值函数对目标图像的插值像素点400(如图4至图7所示)进行插值处理，包括：步骤106，确定目标图像中以一个插值像素点400为中心的图像块，对图像块中的每个插值像素点400创建多组指定方向的自回归模型；步骤108，根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数；步骤110，根据目标自回归函数确定图像块的插值像素点400的灰度值。
在该技术方案中，通过创建图像块的多个方向的自回归模型，并且基于图像块的相似性度量，基于自回归模型获取了图像像素点的方向信息，来确定图像块中心点的灰度值，进而提高图像差值的准确性，改善图像差值效果。
其中，自回归模型的创建过程包括确定差值像素点为中心点，以及插值像素点400周围的像素点，周围点加权后和中心点做差即为每个中心点的自回归模型。
对待处理的图像进行初始化插值处理，可以通过双三次插值方法确定插值像素点400的初始灰度值，进一步地，根据目标自回归模型对初始灰度值进行修正和改善，以提高图像差值效果。
在上述技术方案中，优选地，自回归模型包括原始自回归模型和新增自回归模型，根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：对图像块中的所有原始自回归模型求和值，根据和值最小的原始自回归模型创建第一目标函数，原始自回归模型包括水平方向和垂直方向的第一组自回归模型402，原始自回归模型还包括对角线方向的第二组自回归模型502，第一目标函数为其中，α表征第一组自回归模型402的预设比重，β表征第二组自回归模型502的预设比重，表征图像块中所有像素点组成的列向量，表征所有原始自回归模型的中心点组成的列向量，A表征第一组自回归模型402的权重矩阵，B表征第二组自回归模型502的权重矩阵。
在该技术方案中，权重矩阵的构成方式为：如果图像块的第j个像素点是图像块的第i个像素点的第k个45度对角线邻居，那么A的第i行第j列为α的第k个权值。
在上述任一项技术方案中，优选地，根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：确定图像块相邻的参考图像块与图像块的均方差；确定均方差最小的一个参考图像块，将参考图像块确定为与图像块最相似的至少一个图像块，根据最相似的至少一个图像块和图像块创建新增自回归模型602；根据新增自回归模型602对第一目标函数进行修正，生成第二目标函数为其中，C表征新增自回归模型602的权重矩阵，γ表征新增自回归模型602的预设比重。
在该技术方案中，通过确定图像块相邻的参考图像块与图像块的均方差，进而确定新增自回归模型602，进一步地丰富了差值过程的方向信息，也即新增自回归模型602基于更接近于图像块的参考图像块生成，因此，对于图像块中心点的差值权重更大，以改善图像的差值效果和准确度。
具体地，分别求中心点11×11的图像块与以中心点周围两圈16个点中的11×11的块之间的均方差。16个点以图像块的中心点为对称中心组成8个方向，与1个方向上2个块的均方差大小衡量了图像块的方向性。根据不同局部区域的方向性的强弱，本发明分三种情况动态选取新的参考点：
(1)不加入新的参考点，维持原始的自回归模型不变；
(2)加入均方差最小的方向对应的2个参考点作为新增自回归模型602；
(3)加入均方差最小的2个方向对应的4个参考点作为新增自回归模型，这种情况是考虑到局部区域方向性可能正好处于8个方向中的2个相邻方向之间。
在上述任一项技术方案中，优选地，根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：将下采至待处理的图像的相同分辨率的尺寸，以生成目标图像块；确定待处理的图像中与目标图像块对应的参考图像块，并确定目标图像块与参考图像块的差值，以根据差值对第二目标函数进行修正，生成第三目标函数为：
其中，D表征差值的权重矩阵，λ表征预设参数，所述预设参数的数值范围为0～1。
在该技术方案中，通过下采以生成目标图像块，进而将目标图像块与相同分辨率的参考图像块进行差值计算，以验证第一次插值处理的可靠性和准确性，并且基于上述差值对第二目标函数进行修正，提升了图像差值的动态特性。
更近一步地，计算图像块与其他图像块的相似性，一部分为两个图像块的结构相似性，由两个图像块对应的像素点相减求平方和，另一部分为两个块之间距离的函数，通常认为两个块距离越近，其相似性越高，由两个图像块相似度计算得到对角矩阵P，并带入第三目标函数进行进一步地修正，得到第四目标函数为：
其中，预设参数可以为0.5。
在上述任一项技术方案中，优选地，根据目标自回归函数确定图像块的插值像素点400的灰度值，具体包括以下步骤：采用最小二乘法或迭代法对目标自回归函数进行最小化处理，以确定图像块的插值像素点400的灰度值，其中，目标自回归函数包括如图7所示的多个自回归模型702。
在该技术方案中，通过采用最小二乘法或迭代法对目标自回归函数进行最小化处理，确定了插值像素点400的灰度值，改善了差值效果。
图2示出了根据本发明的实施例的图像插值系统的示意框图。
如图2所示，根据本发明的实施例的图像插值系统200，包括：插值单元202，用于将待处理的图像进行初始化插值处理，以生成上插后的目标图像；插值单元202还用于：根据目标自回归插值函数对目标图像的插值像素点400(如图4至图7所示)进行插值处理，插值单元202包括：确定单元2022，用于确定目标图像中以一个插值像素点400为中心的图像块，对图像块中的每个插值像素点400创建多组指定方向的自回归模型；确定单元2022还用于：根据多组指定方向的自回归模型对图像块进行相似性度量，以根据相似性度量的结果确定生成目标自回归函数；确定单元2022还用于：根据目标自回归函数确定图像块的插值像素点400的灰度值。
在该技术方案中，通过创建图像块的多个方向的自回归模型，并且基于图像块的相似性度量，基于自回归模型获取了图像像素点的方向信息，来确定图像块中心点的灰度值，进而提高图像差值的准确性，改善图像差值效果。
其中，自回归模型的创建过程包括确定差值像素点为中心点，以及插值像素点400周围的像素点，周围点加权后和中心点做差即为每个中心点的自回归模型。
对待处理的图像进行初始化插值处理，可以通过双三次插值方法确定插值像素点400的初始灰度值，进一步地，根据目标自回归模型对初始灰度值进行修正和改善，以提高图像差值效果。
在上述技术方案中，优选地，插值单元202还包括：创建单元2024，用于对图像块中的所有原始自回归模型求和值，根据和值最小的原始自回归模型创建第一目标函数，原始自回归模型包括水平方向和垂直方向的第一组自回归模型402，原始自回归模型还包括对角线方向的第二组自回归模型502，第一目标函数为其中，α表征第一组自回归模型402的预设比重，β表征第二组自回归模型502的预设比重，表征图像块中所有像素点组成的列向量，表征所有原始自回归模型的中心点组成的列向量，A表征第一组自回归模型402的权重矩阵，B表征第二组自回归模型502的权重矩阵。
在该技术方案中，权重矩阵的构成方式为：如果图像块的第j个像素点是图像块的第i个像素点的第k个45度对角线邻居，那么A的第i行第j列为α的第k个权值。
在上述任一项技术方案中，优选地，确定单元2022还用于：确定图像块相邻的参考图像块与图像块的均方差；确定单元2022还用于：确定均方差最小的一个参考图像块，将参考图像块确定为与图像块最相似的至少一个图像块，根据最相似的至少一个图像块和图像块创建新增自回归模型602；创建单元2024还用于：根据新增自回归模型602对第一目标函数进行修正，生成第二目标函数为：
其中，C表征新增自回归模型602的权重矩阵，γ表征新增自回归模型602的预设比重。
在该技术方案中，通过确定图像块相邻的参考图像块与图像块的均方差，进而确定新增自回归模型602，进一步地丰富了差值过程的方向信息，也即新增自回归模型602基于更接近于图像块的参考图像块生成，因此，对于图像块中心点的差值权重更大，以改善图像的差值效果和准确度。
具体地，分别求中心点11×11的图像块与以中心点周围两圈16个点中的11×11的块之间的均方差。16个点以图像块的中心点为对称中心组成8个方向，与1个方向上2个块的均方差大小衡量了图像块的方向性。根据不同局部区域的方向性的强弱，本发明分三种情况动态选取新的参考点：
(1)不加入新的参考点，维持原始的自回归模型不变；
(2)加入均方差最小的方向对应的2个参考点作为新增自回归模型；
(3)加入均方差最小的2个方向对应的4个参考点作为新增自回归模型602，这种情况是考虑到局部区域方向性可能正好处于8个方向中的2个相邻方向之间。
在上述任一项技术方案中，优选地，创建单元2024还用于：将图像块下采至待处理的图像的相同分辨率的尺寸，以生成目标图像块；确定单元2022还用于：确定待处理的图像中与目标图像块对应的参考图像块，并确定目标图像块与参考图像块的差值，以根据差值对第二目标函数进行修正，生成第三目标函数为：
其中，D表征差值的权重矩阵，λ表征预设参数，预设参数的数值范围为0～1。
在该技术方案中，通过下采以生成目标图像块，进而将目标图像块与相同分辨率的参考图像块进行差值计算，以验证第一次插值处理的可靠性和准确性，并且基于上述差值对第二目标函数进行修正，提升了图像差值的动态特性。
更近一步地，计算图像块与其他图像块的相似性，一部分为两个图像块的结构相似性，由两个图像块对应的像素点相减求平方和，另一部分为两个块之间距离的函数，通常认为两个块距离越近，其相似性越高，由两个图像块相似度计算得到对角矩阵P，并带入第三目标函数进行进一步地修正，得到第四目标函数为：
其中，预设参数可以为0.5。
在上述任一项技术方案中，优选地，确定单元2022还用于：采用最小二乘法或迭代法对目标自回归函数进行最小化处理，以确定图像块的插值像素点400的灰度值，其中，目标自回归函数包括如图7所示的多个自回归模型702。
在该技术方案中，通过采用最小二乘法或迭代法对目标自回归函数进行最小化处理，确定了插值像素点400的灰度值，改善了差值效果。
图3示出了根据本发明的另一个实施例的图像插值方法的示意流程图。
如图3所示，根据本发明的另一个实施例的图像插值方法，包括：步骤302，将低分辨率图像上插到目标尺度，得到上插后的图像M；步骤304，确定图像M中待插值的局部区域W，对局部区域W内部除边缘像素点及未落在整点位置的像素点外的每一个像素点建立水平垂直和45度对角线两种自回归模型，根据自回归模型确定初始目标函数F0；步骤306，在局部区域中通过比较中心块与周围块的均方差，获取局部区域的方向性信息，并据此动态选取一或两个方向上的像素点作为参考点，构成第三种自回归模型；步骤308，将局部区域W除去边缘像素点外下采至与低分辨率图像相同的尺寸，得到局部区域W′，将局部区域W′与低分辨图像中与局部区域W′相对应的区域逐像素值相减，将结果加入到初始目标函数F0中，得到目标函数F；步骤310，对目标函数F进行求解，获得局部区域W中心的像素点值；步骤312，判断所有局部区域处理完毕，若是，则结束，若否，则执行步骤302；步骤314，对目标函数F进行求解，获得局部区域W中心的像素点值。
以上结合附图详细说明了本发明的技术方案，考虑到相关技术中提出的如何设计一种新的图像差值方案以改善图像插值效果的技术问题，本发明提出了一种新的图像插值方案，通过创建图像块的多个方向的自回归模型，并且基于图像块的相似性度量，来确定图像块中心点的灰度值，进而提高图像差值的准确性，改善图像差值效果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像插值方法，其特征在于，包括：
将待处理的图像进行初始化插值处理，以生成上插后的目标图像；
根据目标自回归插值函数对所述目标图像的插值像素点进行插值处理，包括：
确定所述目标图像中以一个所述插值像素点为中心的图像块，对所述图像块中的每个插值像素点创建多组指定方向的自回归模型；
对所述图像块进行相似性度量，以根据所述相似性度量的结果确定生成目标自回归函数；
根据所述目标自回归函数确定所述图像块的插值像素点的灰度值。
2.根据权利要求1所述的图像插值方法，其特征在于，所述自回归模型包括原始自回归模型和新增自回归模型，对所述图像块进行相似性度量，以根据所述相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：
对所述图像块中的所有所述原始自回归模型求和值，根据和值最小的原始自回归模型创建第一目标函数，所述原始自回归模型包括水平方向和垂直方向的第一组自回归模型，所述原始自回归模型还包括对角线方向的第二组自回归模型，
所述第一目标函数为
其中，所述α表征所述第一组自回归模型的预设比重，所述β表征所述第二组自回归模型的预设比重，所述表征所述图像块中所有像素点组成的列向量，所述表征所有所述原始自回归模型的中心点组成的列向量，所述A表征所述第一组自回归模型的权重矩阵，所述B表征所述第二组自回归模型的权重矩阵。
3.根据权利要求2所述的图像插值方法，其特征在于，对所述图像块进行相似性度量，以根据所述相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：
确定所述图像块相邻的参考图像块与所述图像块的均方差；
确定均方差最小的一个参考图像块，将所述参考图像块确定为与所述图像块最相似的至少一个图像块，根据所述最相似的至少一个图像块和所述图像块创建新增自回归模型；
根据所述新增自回归模型对所述第一目标函数进行修正，生成所述第二目标函数为
其中，所述C表征所述新增自回归模型的权重矩阵，所述γ表征所述新增自回归模型的预设比重。
4.根据权利要求3所述的图像插值方法，其特征在于，对所述图像块进行相似性度量，以根据所述相似性度量的结果确定生成目标自回归函数，具体包括以下步骤：
将图像块下采至所述待处理的图像的相同分辨率的尺寸，以生成目标图像块；
确定所述待处理的图像中与所述目标图像块对应的参考图像块，并确定所述目标图像块与所述参考图像块的差值，以根据所述差值对所述第二目标函数进行修正，生成第三目标函数为：
<mrow>
<msub>
<mi>f</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</munder>
<mo>{</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>A</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&beta;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>B</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>C</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<mi>D</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>}</mo>
<mo>,</mo>
</mrow>
其中，所述D表征所述差值的权重矩阵，所述λ表征预设参数，所述预设参数的数值范围为0～1。
5.根据权利要求1至4中任一项所述的图像插值方法，其特征在于，根据所述目标自回归函数确定所述图像块的插值像素点的灰度值，具体包括以下步骤：
采用最小二乘法或迭代法对所述目标自回归函数进行最小化处理，以确定所述图像块的插值像素点的灰度值。
6.一种图像插值系统，其特征在于，包括：
插值单元，用于将待处理的图像进行初始化插值处理，以生成上插后的目标图像；
所述插值单元还用于：根据目标自回归插值函数对所述目标图像的插值像素点进行插值处理，所述插值单元包括：
确定单元，用于确定所述目标图像中以一个所述插值像素点为中心的图像块，对所述图像块中的每个插值像素点创建多组指定方向的自回归模型；
所述确定单元还用于：对所述图像块进行相似性度量，以根据所述相似性度量的结果确定生成目标自回归函数；
所述确定单元还用于：根据所述目标自回归函数确定所述图像块的插值像素点的灰度值。
7.根据权利要求6所述的图像插值系统，其特征在于，所述插值单元还包括：
创建单元，用于对所述图像块中的所有所述原始自回归模型求和值，根据和值最小的原始自回归模型创建第一目标函数，所述原始自回归模型包括水平方向和垂直方向的第一组自回归模型，所述原始自回归模型还包括对角线方向的第二组自回归模型，
所述第一目标函数为
其中，所述α表征所述第一组自回归模型的预设比重，所述β表征所述第二组自回归模型的预设比重，所述表征所述图像块中所有像素点组成的列向量，所述表征所有所述原始自回归模型的中心点组成的列向量，所述A表征所述第一组自回归模型的权重矩阵，所述B表征所述第二组自回归模型的权重矩阵。
8.根据权利要求7所述的图像插值系统，其特征在于，
所述确定单元还用于：确定所述图像块相邻的参考图像块与所述图像块的均方差；
所述确定单元还用于：确定均方差最小的一个参考图像块，将所述参考图像块确定为与所述图像块最相似的至少一个图像块，根据所述最相似的至少一个图像块和所述图像块创建新增自回归模型；
所述创建单元还用于：根据所述新增自回归模型对所述第一目标函数进行修正，生成所述第二目标函数为：
<mrow>
<msub>
<mi>f</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</munder>
<mo>{</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>A</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&beta;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>B</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>C</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>}</mo>
<mo>,</mo>
</mrow>
其中，所述C表征所述新增自回归模型的权重矩阵，所述γ表征所述新增自回归模型的预设比重。
9.根据权利要求8所述的图像插值系统，其特征在于，
所述创建单元还用于：将图像块下采至所述待处理的图像的相同分辨率的尺寸，以生成目标图像块；
所述确定单元还用于：确定所述待处理的图像中与所述目标图像块对应的参考图像块，并确定所述目标图像块与所述参考图像块的差值，以根据所述差值对所述第二目标函数进行修正，生成第三目标函数为：
<mrow>
<msub>
<mi>f</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<munder>
<mi>min</mi>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</munder>
<mrow>
<mo>{</mo>
<mrow>
<mi>&alpha;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>A</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&beta;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>B</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>C</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<mi>D</mi>
<mover>
<mi>y</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mo>}</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，所述D表征所述差值的权重矩阵，所述λ表征预设参数，所述预设参数的数值范围为0～1。
10.根据权利要求6至9中任一项所述的图像插值系统，其特征在于，
所述确定单元还用于：采用最小二乘法或迭代法对所述目标自回归函数进行最小化处理，以确定所述图像块的插值像素点的灰度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610440640.3A CN107516293A (zh) | 2016-06-17 | 2016-06-17 | 图像插值方法和图像插值系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610440640.3A CN107516293A (zh) | 2016-06-17 | 2016-06-17 | 图像插值方法和图像插值系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107516293A true CN107516293A (zh) | 2017-12-26 |
Family
ID=60719869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610440640.3A Pending CN107516293A (zh) | 2016-06-17 | 2016-06-17 | 图像插值方法和图像插值系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107516293A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543669A (zh) * | 2018-12-04 | 2019-03-29 | 龙马智芯（珠海横琴）科技有限公司 | 文字的处理方法及装置、存储介质、电子装置 |
| CN112927272A (zh) * | 2021-03-30 | 2021-06-08 | 南京工程学院 | 一种基于空间通用自回归模型的图像融合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572359A (zh) * | 2010-12-17 | 2012-07-11 | 微软公司 | 具有反向投影限制的自回归边缘定向插值 |
| CN103854254A (zh) * | 2012-11-28 | 2014-06-11 | 北京大学 | 一种基于自回归模型的任意比例图像插值方法 |
-
2016
- 2016-06-17 CN CN201610440640.3A patent/CN107516293A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572359A (zh) * | 2010-12-17 | 2012-07-11 | 微软公司 | 具有反向投影限制的自回归边缘定向插值 |
| CN103854254A (zh) * | 2012-11-28 | 2014-06-11 | 北京大学 | 一种基于自回归模型的任意比例图像插值方法 |
Non-Patent Citations (3)
| Title |
|---|
| WENHAN YANG 等: "NOVEL AUTOREGRESSIVE MODEL BASED ON ADAPTIVE WINDOW-EXTENSION AND PATCH-GEODESIC DISTANCE FOR IMAGE INTERPOLATION", 《2015 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 * |
| 任杰 等: "基于隐式分段自回归模型的图像插值算法", 《软件学报》 * |
| 崔艳华: "基于上下文的图像插值方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543669A (zh) * | 2018-12-04 | 2019-03-29 | 龙马智芯（珠海横琴）科技有限公司 | 文字的处理方法及装置、存储介质、电子装置 |
| CN112927272A (zh) * | 2021-03-30 | 2021-06-08 | 南京工程学院 | 一种基于空间通用自回归模型的图像融合方法 |
| CN112927272B (zh) * | 2021-03-30 | 2023-12-12 | 南京工程学院 | 一种基于空间通用自回归模型的图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190347767A1 (en) | Image processing method and device | |
| CN111833237B (zh) | 基于卷积神经网络和局部单应性变换的图像配准方法 | |
| JP2007228586A5 (zh) | ||
| CN108074237B (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
| CN103065292B (zh) | 一种基于主成份稀疏表达的人脸超分辨率重建方法 | |
| CN110807459B (zh) | 车牌矫正方法、装置以及可读存储介质 | |
| CN108961260B (zh) | 图像二值化方法及装置、计算机存储介质 | |
| CN109360144B (zh) | 一种基于手机平台的图像实时校正改进方法 | |
| CN110400278A (zh) | 一种图像颜色和几何畸变的全自动校正方法、装置及设备 | |
| CN110136244A (zh) | 三维户型模型生成方法、装置、设备及存储介质 | |
| CN103854254B (zh) | 一种基于自回归模型的任意比例图像插值方法 | |
| CN108805825A (zh) | 一种重定位图像质量评价方法 | |
| CN107277359A (zh) | 3d扫描中自适应变焦的方法、装置、移动终端及存储介质 | |
| CN107516293A (zh) | 图像插值方法和图像插值系统 | |
| CN109064394B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN110533713A (zh) | 桥梁裂缝宽度高精度测量方法及测量装置 | |
| CN105389825A (zh) | 图像处理方法及系统 | |
| CN109740337B (zh) | 一种实现滑块验证码识别的方法及装置 | |
| US20210012464A1 (en) | Image anti-aliasing method and image anti-aliasing device | |
| CN108629733B (zh) | 获取高分辨率图像的方法与装置 | |
| US6529642B1 (en) | Method for enlarging/reducing digital images | |
| CN102843479A (zh) | 文件扫描方法、文件扫描装置及便携式电子装置 | |
| CN107016695A (zh) | 一种亚像素级影像配准方法及系统 | |
| CN104318580B (zh) | 一种模式搜索方法及装置 | |
| CN109886854B (zh) | 一种基于随机噪声和二次挂网的水印图像隐藏嵌入方法及水印检查方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171226 |