CN110458755B - 图像处理方法、相关设备及计算机存储介质 - Google Patents

图像处理方法、相关设备及计算机存储介质 Download PDF

Info

Publication number
CN110458755B
CN110458755B CN201810431381.7A CN201810431381A CN110458755B CN 110458755 B CN110458755 B CN 110458755B CN 201810431381 A CN201810431381 A CN 201810431381A CN 110458755 B CN110458755 B CN 110458755B
Authority
CN
China
Prior art keywords
image
coordinate position
coordinate
interpolated
reference pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810431381.7A
Other languages
English (en)
Other versions
CN110458755A (zh
Inventor
宋翼
邸佩云
张赛萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810431381.7A priority Critical patent/CN110458755B/zh
Priority to PCT/CN2019/085787 priority patent/WO2019214594A1/zh
Publication of CN110458755A publication Critical patent/CN110458755A/zh
Priority to US17/090,394 priority patent/US11416965B2/en
Application granted granted Critical
Publication of CN110458755B publication Critical patent/CN110458755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了图像处理方法、相关设备及计算机存储介质，其中所述方法包括：根据待插值像素点在目标图像中的坐标位置，确定所述待插值像素点对应在源图像中的第一坐标位置；根据所述第一坐标位置，确定m个参考像素点；根据所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重；根据所述m个参考像素点各自对应的像素值以及所述m个参考像素点各自对所述待插值像素点的插值权重，确定所述待插值像素点的像素值，从而得到所述目标图像。采用本发明实施例，能够解决现有技术中采用平面图像插值算法对非平面图像进行图像处理时导致图像插值的性能和效率低等问题。

Description

图像处理方法、相关设备及计算机存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及图像处理方法、相关设备及计算机存储介质。
背景技术
图像插值算法是现代数字图像处理中缩放图像的传统算法，其主要有最邻近插值算法、双线性插值算法等等。然而，这些图像插值算法均是针对平面图像所提出的，用以处理平面图像的性能较好。并不适用于非平面图像(曲面图像)，例如360°图像(全景图像)等大视角图像中。
在实践中发现，如果使用现有图像插值算法来对非平面图像进行图像插值，会大大降低图像插值的效率和性能。
发明内容
本发明实施例公开了图像处理方法、相关设备及计算机存储介质，能够解决现有技术中采用平面图像算法对非平面图像进行图像处理时导致图像插值的性能和效率降低等问题。
第一方面，本发明实施例公开提供了一种图像插值方法，所述方法包括：
根据待插值像素点在目标图像中的坐标位置，确定所述待插值像素点对应在源图像中的第一坐标位置，所述源图像为待转换的曲面图像，或者为待转换的具有球面图像格式的平面图像，所述目标图像为所述源图像转换后的图像；
根据所述第一坐标位置，确定m个参考像素点，所述m个参考像素点位于所述源图像中，m为正整数；
根据所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重；
根据所述m个参考像素点各自对应的像素值以及所述m个参考像素点各自对所述待插值像素点的插值权重，确定所述待插值像素点的像素值，从而得到所述目标图像。
在一些实施例中，所述目标图像为曲面图像，或者为具有球面图像格式的平面图像。
在一些实施例中，所述源图像和所述目标图像各自对应的球面图像格式不相同，和/或，所述源图像和所述目标图像各自对应的图像分辨率不相同。具体的，当所述源图像和所述目标图像均为具有球面图像格式的平面图像时，所述源图像和所述目标图像各自对应的球面图像格式不相同。
在一些实施例中，所述m个参考像素点为在所述第一坐标位置的周围沿着经度方向和/或纬度方向上采样获得的；其中，所述m个参考像素点中部分参考像素点的纵坐标或者纬度坐标相同，和/或，所述m个参考像素点中部分参考像素点的横坐标或者经度坐标相同。其中，所述m个参考像素点中各自对应的坐标位置不完全相同，即所述m个参考像素点中不存在有坐标位置完全相同的像素点。
在一些实施例中，所述源图像为具有球面图像格式的平面图像，所述第一坐标位置为平面坐标系下由横坐标和纵坐标所组成的点的位置；所述经度方向为根据地理坐标系和所述源图像的平面坐标系之间的位置映射关系确定的，在所述经度方向上的所述源图像的坐标位置对应的纬度值不变；所述纬度方向为根据所述地理坐标系和所述源图像的平面坐标系之间的位置映射关系确定的，在所述纬度方向上的所述源图像的坐标位置对应的经度值不变。
在一些实施例中，所述经度方向为地理坐标系下纬度坐标保持不变的方向，在所述源图像中是根据地理坐标系和所述源图像的平面坐标系之间的位置映射关系确定的。
在一些实施例中，所述纬度方向为地理坐标系下经度坐标保持不变的方向，在所述源图像中是根据地理坐标系和所述源图像的平面坐标系之间的位置映射关系确定的。
在一些实施例中，对于所述根据所述m个参考像素点中任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离，所述球面距离包括第一球面距离和第二球面距离，所述第一球面距离为在经度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离，所述第二球面距离为在纬度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离；
所述根据所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重包括：
确定单位距离，所述单位距离包括第一单位距离以及第二单位距离，所述第一单位距离为第一参考像素点和第二参考像素点之间在经度方向上的距离；所述第二单位距离为第三参考像素点和第四参考像素点之间在纬度方向上的的距离；
根据所述单位距离以及所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
在一些实施例中，所述第一参考像素点和所述第二参考像素点为在经度方向上所述m个参考像素点中距离所述第一坐标位置(具体可为所述第一坐标位置对应的经度坐标)最近的两个参考像素点。可选的，所述第一参考像素点和所述第二参考像素点对应相同的纬度坐标。
在一些实施例中，所述第三参考像素点和所述第四参考像素点为在纬度方向上所述m个参考像素点中距离所述第一坐标位置(具体可为所述第一坐标位置对应的纬度坐标)最近的两个参考像素点。可选的，所述第三参考像素点和所述第四参考像素点对应相同的经度坐标。
在一些实施例中，所述第一单位距离Udφ可采用如下公式计算获得：
Udφ＝|φA-φB|·R cosλA
其中，第一参考像素点A的坐标位置为(φA，λA)，第二参考像素点的坐标位置B为(φB，λB)，第一坐标位置为(φ，λ)。R为源图像对应的球面的半径。在单位球上，通常R＝1。φ为经度坐标，λ为纬度坐标。
在一些实施例中，所述第二单位距离Udλ可采用如下公式计算获得：
Udλ＝|λC-λD|·R
其中，第三参考像素点C的坐标位置为(φC，λC)，第四参考像素点D的坐标位置为(φD，λD)。R为源图像对应的球面的半径。在单位球上，通常R＝1。φ为经度坐标，λ为纬度坐标。
在一些实施例中，所述第一球面距离
Figure BDA0001652539090000021
以及所述第二球面距离
Figure BDA0001652539090000022
可对应采用如下公式计算获得：
Figure BDA0001652539090000023
Figure BDA0001652539090000024
其中，所述任一参考像素点的坐标位置为(φij,λij)，第一坐标位置为(φ，λ)。
在一些实施例中，所述根据所述单位距离以及所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重包括：
根据所述第一单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第一球面距离，确定所述m个参考像素点各自对所述待插值像素点的第一权重分量；
根据所述第二单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第二球面距离，确定所述m个参考像素点各自对所述待插值像素点的第二权重分量；
根据所述m个参考像素点各自对所述待插值像素点的第一权重分量以及所述m个参考像素点各自对所述待插值像素点的第二权重分量，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
在一些实施例中，所述根据所述第一单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第一球面距离，确定所述m个参考像素点各自对所述待插值像素点的第一权重分量包括：
根据图像插值算法、所述第一单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第一球面距离，确定所述m个参考像素点各自对所述待插值像素点的第一权重分量。
在一些实施例中，所述m个参考像素点中任一参考像素点对所述待插值像素点的第一权重分量
Figure BDA0001652539090000031
可采用如下公式计算获得：
Figure BDA0001652539090000032
其中，Udφ为第一单位距离、
Figure BDA0001652539090000033
为第一球面距离，δ为图像插值算法。
在一些实施例中，所述根据所述第二单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第二球面距离，确定所述m个参考像素点各自对所述待插值像素点的第二权重分量包括：
根据图像插值算法、所述第二单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第二球面距离，确定所述m个参考像素点各自对所述待插值像素点的第二权重分量。
在一些实施例中，所述m个参考像素点中任一参考像素点对所述待插值像素点的第二权重分量
Figure BDA0001652539090000034
可采用如下公式计算获得：
Figure BDA0001652539090000035
其中，Udλ为第二单位距离，
Figure BDA0001652539090000036
为第二球面距离，δ为图像插值算法。
在一些实施例中，所述m个参考像素点中任一参考像素点对所述待插值像素点的插值权重L(φij，λij)可采用如下公式计算获得：
Figure BDA0001652539090000037
在一些实施例中，所述待插值像素点的像素值Po可采用如下公式获得：
Figure BDA0001652539090000038
其中，Po为待插值像素点的像素值。Pij为所述m个参考像素点中任一参考像素点的像素值。L(φij，λij)为所述任一参考像素点对所述待插值像素点的插值权重。a为在经度方向上采样获得的参考像素点的数量。b为在纬度方向上采样获得的参考像素点的数量。a*b＝m，且a，b和m均为正整数。
在一些实施例中，所述经度方向为经度坐标数值变化最快的方向，或者所述经度方向为纬度坐标值保持不变的方向。
在一些实施例中，所述纬度方向为纬度坐标数值变化最快的方向，或者所述纬度方向为经度坐标值保持不变的方向。
在一些实施例中，所述坐标位置为所述平面图像的平面坐标系下由横坐标和纵坐标所组成的点的位置，或者，为所述曲面图像的地理坐标系下由经度坐标和纬度坐标所组成的点的位置。
第二方面，本发明实施例提供一种终端设备，包括处理单元；其中：
所述处理单元，用于根据待插值像素点在目标图像中的坐标位置，确定所述待插值像素点对应在源图像中的第一坐标位置，所述源图像为待转换的曲面图像，或者为待转换的具有球面图像格式的平面图像，所述目标图像为所述源图像转换后的图像；
所述处理单元，还用于根据所述第一坐标位置，确定m个参考像素点，所述m个参考像素点位于所述源图像中，m为正整数；
所述处理单元，还用于根据所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重；
所述处理单元，还用于根据所述m个参考像素点各自对应的像素值以及所述m个参考像素点各自对所述待插值像素点的插值权重，确定所述待插值像素点的像素值，从而得到所述目标图像。
在一些实施例中，对于所述根据所述m个参考像素点中任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离，所述球面距离包括第一球面距离和第二球面距离，所述第一球面距离为在经度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离，所述第二球面距离为在纬度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离；
所述处理单元，具体用于确定单位距离，所述单位距离包括第一单位距离以及第二单位距离，所述第一单位距离为第一参考像素点和第二参考像素点之间在经度方向上的距离；所述第二单位距离为第三参考像素点和第四参考像素点之间在纬度方向上的距离；
所述处理单元，具体用于根据所述单位距离以及所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
在一些实施例中，所述终端设备还包括通信单元，所述通信单元用于传输图像，例如获取源图像或者发送目标图像等等。
关于本发明实施例中未示出或未描述的内容可参见前述第一方面所述方法实施例中的相关阐述，这里不再赘述。
第三方面，本发明实施例提供了又一种终端设备，包括存储器及与所述存储器和耦合的处理器；所述存储器用于存储指令，所述处理器用于执行所述指令；其中，所述处理器执行所述指令时执行上述第一方面所描述的方法。
在一些实施例中，所述终端设备还包括与所述处理器耦合的显示器，所述显示器用于在所述处理器的控制下显示图像(具体可为目标图像或者源图像)。
在一些实施例中，所述终端设备还包括通信接口，所述通信接口与所述处理器通信，所述通信接口用于在所述处理器的控制下与其他设备(如网络设备等)进行通信。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储了用于业务切换处理的程序代码。所述程序代码包括用于执行上述第一方面所描述的方法的指令。
通过实施本发明实施例，能够解决现有技术中采用平面图像插值算法对非平面图像(曲面图像)进行图像处理时导致图像插值的性能和效率降低等问题，从而有效提高了非平面图像插值的性能和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1A是本发明实施例提供的一种球面图像的示意图。
图1B是本发明实施例提供的一种具有球面图像格式的平面图像的示意图。
图2是本发明实施例提供的一种图像处理方法的流程示意图。
图3A和3B是本发明实施例提供的两种参考像素点的示意图。
图4A和4B是本发明实施例提供的两种参考像素区域的示意图。
图5是本发明实施例提供的另一种图像处理方法的流程示意图。
图6A和6B是本发明实施例提供的另两种参考像素点的示意图。
图7是本发明实施例提供的另一种图像处理方法的流程示意图。
图8A和8B是本发明实施例提供的另两种参考像素点的示意图。
图9是本发明实施例提供的另一种参考像素点的示意图。
图10A和图10B是本发明实施例提供的另两种参考像素点的示意图。
图11A和11B是本发明实施例提供的两种终端设备的结构示意图。
具体实施方式
下面将结合本发明的附图，对本发明实施例中的技术方案进行详细描述。
首先，介绍本申请涉及的一些技术术语。
全景视频：也名360度全景视频或360度视频，一种用多摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节用户的视角进行观看。构成全景视频中的帧图像可称为全景图像或360°图像。
大视角视频：指覆盖的视角范围过大的视频，例如视频覆盖的视角范围为360°、720°等等。相应地，构成所述大视角视频的帧图像可被称为大视角图像。
插值：根据已知的离散数据点来构建新的数据点，被称为插值。
整像素点：指在图像中，位于参考坐标系下坐标位置均为整数的像素点。
分像素点：指在图像中，位于参考坐标系下坐标位置为非整数的像素点。
像素点：指将图像分割为细小的方格或点，每个方格或点称为像素点。为方便本申请专利的描述，使用像素点作为整像素点和分像素点的统称。即本申请中，所述像素点可为整像素点或者分像素点，针对特定要求的像素点下文会进行详细阐述。
参考像素点：也名插值参考像素点，指在图像像素插值过程中，用以生成待插值像素的像素点(也称为待插值像素点)。其中，所述参考像素点通常是在最邻近所述待插值像素点的指定区域中选取的，下文将进行详细阐述。
平面直角坐标系：也名平面坐标系或直角坐标系，指在同一平面上相互垂直且有公共原点的两条数轴所构成的坐标系。两条数轴分别置于水平位置和垂直位置。其中，垂直的数轴通常称为y轴或纵轴，水平的数轴通常称为x轴或横轴。相应地，在平面坐标系下点的位置(坐标位置)可用该点在x方向上的横坐标和在y方向上的纵坐标来表示。
地理坐标系：指用经纬度表示地面点的位置的球面坐标系。在地理坐标系中水平线(或东西线)为纬线。在地理坐标系中垂直线(或南北线)为经线。在地理坐标系下点的位置(坐标位置)可用该点在经度方向上的经度坐标(经度值或经度坐标值)和在纬度方向上的纬度坐标(纬度值或纬度坐标值)来表示。其中，经度方向是指即经度坐标值变化最快的方向，也可指纬度坐标值保持不变的方向。纬度方向是指纬度坐标值变化最快的方向，也可指经度坐标值保持不变的方向。
great circle：大圆，也名大圆圈。定义为“intersection of the sphere and aplane that passes through the center point of the sphere.NOTE 1:A greatcircle is also known as an orthodrome or Riemannian circle.NOTE 2:The centerof the sphere and the center of a great circle are co-located.”翻译为：“指过球心的平面与球面相交的圆环。注1：大圆通常也叫大圆弧或者黎曼圆。注2：大圆的圆心与球心重合”。
平面图像：指在平面坐标系下的图像，即图像中的各部分位于同一平面。
曲面图像：也名非平面图像，指图像中的各部分不同时位于一个平面上。通常地，由于大视角图像覆盖的视角范围较大，其实质即为曲面图像。例如，360°图像(全景图像)即为曲面图像中的一种，其也被称为球面图像。具体如图1A示出一种球面图像的示意图。
球面图像格式：指图像的一种存储或传输格式，具体将在本申请下文进行详述。示例性地，如图1B示出一种具有球面图像格式的平面图像的示意图。其中，图1B中黑色区域可理解为部分曲面图像映射至平面图像所呈现的图像区域，这里不做详述。
本申请发明人在提出本申请的过程中发现：由于大视角视频(图像)覆盖的视角范围过大，其实质就是曲面图像(即非平面图像)，例如全景图像的本质为球面全景图像。在针对大视角图像的图像处理过程中，会发生形变。例如，将大视角图像(非平面图像)转换/映射为平面图像，或者将平面图像映射为大视角图像时，均存在不同程度的形变，这使得映射后的图像中相邻像素点之间的相关性(或间距)发生了变化。此时，如果采用现有图像插值算法来进行图像插值，将大大降低图像插值的性能和效率。
为解决上述问题，本申请提出一种图像插值方法以及所述方法适用的终端设备。请参见图2，是本发明实施例提供的一种图像插值处理方法的流程示意图。如图2所示的方法包括如下实施步骤：
步骤S102、终端设备根据待插值像素点在目标图像中的坐标位置，确定所述待插值像素点对应在源图像中的第一坐标位置，所述源图像为待转换的曲面图像，或者具有球面图像格式的平面图像，所述目标图像为所述源图像转换后的图像。
本申请中，如果图像为曲面图像，则图像中的像素点的坐标位置可为地理坐标系下的坐标位置，即该坐标位置具体由经度坐标和纬度坐标构成。如果图像为具有球面图像格式的平面图像，则该图像中像素点的坐标位置可为平面坐标系下的坐标位置，即该坐标位置具体由横坐标和纵坐标构成。关于所述球面图像格式将在下文进行详述。
步骤S104、终端设备根据所述第一坐标位置，确定m个参考像素点，所述m个参考像素点位于所述源图像中，m为正整数。
终端设备可根据待插值像素点对应在源图像中的第一坐标位置，在所述源图像中为所述待插值像素点选取m个参考像素点。所述参考像素点用于后续计算所述待插值点的像素值，关于所述参考像素点的选取将在下文进行详细阐述，这里不再赘述。
步骤S106、终端设备根据所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
由于参考像素点的坐标位置和第一坐标位置之间的距离为球面距离，因此这里计算该球面距离对应使用的坐标位置需为地理坐标系下的坐标位置。具体可采用地理坐标系下的坐标位置，分别计算两个坐标位置各自在经度方向上和纬度方向上的球面距离，具体将在下文进行详述。
步骤S108、终端设备根据所述m个参考像素点各自对应的像素值和所述m个参考像素点各自对所述待插值像素点的插值权重，确定所述待插值像素点的像素值，从而得到所述目标图像。终端设备在计算获得所述待插值像素点的像素值后，可重复执行步骤S106-S108的步骤，计算获得所述目标图像中每个待插值像素点的像素值，从而可获得所述目标图像。
下面阐述本申请涉及的一些具体实施例和可选实施例。步骤S102中，针对待生成的目标图像中的任意一个像素点(即待插值像素点)，可根据所述待插值像素点在所述目标图像中的坐标位置，确定所述待插值像素点对应在源图像中的第一坐标位置。其中，所述源图像为待转换的曲面图像，或者所述源图像为待转换的具有球面图像格式的平面图像。所述目标图像为将所述源图像转换后生成的图像。下面阐述步骤S102涉及的几种具体实施方式。
在一些实施方式中，当所述待插值像素点在目标图像中的坐标位置为平面坐标系下由横坐标和纵坐标所组成的点的坐标位置时，终端设备可使用预设的图像映射关系，将所述待插值像素点在目标图像中的坐标位置映射到源图像中，以获得待插值像素点对应在源图像中的第一坐标位置。
所述图像映射关系指目标图像和源图像之间的位置映射关系，即同一点的位置分别在源图像和目标图像中的关联关系。
具体的，终端设备可直接根据待插值像素点在目标图像中的坐标位置以及所述图像映射关系，计算获得所述待插值像素点对应在源图像中的坐标位置。此时这里的图像映射关系具体可指目标图像的平面坐标系和源图像的平面坐标系之间的位置映射关系，或者指目标图像的平面坐标系和源图像的地理坐标系之间的位置映射关系，本申请不做详述。如果图像映射关系指目标图像的平面坐标系和源图像的平面坐标系之间的位置映射关系，则计算获得的第一坐标位置为平面坐标系下的坐标位置。相应地，源图像和目标图像可为具有球面图像格式的平面图像。如果图像映射关系指目标图像的平面坐标系和源图像的地理坐标系之间的位置映射关系，则计算获得的第一坐标位置为地理坐标系下的坐标位置。相应地，源图像为曲面图像，目标图像为具有球面图像格式的平面图像。
或者，终端设备可先根据预设的第一坐标映射关系，将待插值像素点在目标图像中平面坐标系下的坐标位置转换为地理坐标系下的坐标位置。进一步地，根据预设的图像映射关系，将待插值像素点在目标图像中地理坐标系下的坐标位置映射到源图像中，以获得所述待插值像素点对应在源图像中的第一坐标位置。
同样地，这里的图像映射关系可指目标图像的地理坐标系和源图像的平面坐标系之间的位置关系，或者也可指目标图像的地理坐标系和源图像的地理坐标系之间的位置关系。如果该图像映射关系指目标图像的地理坐标系和源图像的平面坐标系之间的位置关系，则对应计算获得的第一坐标位置为平面坐标系下的坐标位置。相应地，源图像和目标图像可为具有球面图像格式的平面图像。如果图像映射关系指目标图像的地理坐标系和源图像的地理坐标系之间的位置映射关系，则对应计算获得的第一坐标位置为地理坐标系下的坐标位置。相应地，源图像为曲面图像，目标图像为具有球面图像格式的平面图像。
所述第一坐标映射关系指平面坐标系和地理坐标系之间的位置映射关系，即同一点分别在平面坐标系和地理坐标系中的关联关系。该关联关系可为用户侧或系统侧自定义设置的，本申请不做详述。所述第一坐标映射关系以及所述图像映射关系均可用对应的映射函数表示。例如，所述第一坐标映射关系对应的映射函数可为f1，所述图像映射关系对应的映射函数可为f2等等，本申请不做详述。
在又一些实施方式中，当所述待插值像素点在目标图像中的坐标位置为地理坐标系下由经度坐标和纬度坐标所组成的点的坐标位置时，终端设备可使用预设的图像映射关系，将所述待插值像素点在目标图像中的坐标位置映射到源图像中，以获得待插值像素点对应在源图像中的第一坐标位置。
具体的，终端设备可直接根据待插值像素点在目标图像中的坐标位置以及所述图像映射关系，计算获得所述待插值像素点在源图像中的第一坐标位置。这里的图像映射关系具体可指目标图像的地理坐标系和源图像的平面坐标系之间的映射关系，则此时对应计算获得的第一坐标位置为平面坐标系下的坐标位置。相应地源图像可为具有球面图像格式的平面图像，目标图像为曲面图像。这里的图像映射关系还具体可指目标图像的地理坐标系和源图像的地理坐标系之间的映射关系，则此时对应计算获得的第一坐标位置为地理坐标系下的坐标位置。源图像和目标图像均可为曲面图像。
或者，终端设备可先根据预设的第二坐标映射关系将待插值像素点在目标图像中地理坐标系下的坐标位置转换为平面坐标系下的坐标位置。进一步再使用预设的图像映射关系将待插值像素点在目标图像中平面坐标系下的坐标位置对应映射到源图像中，以获得待插值像素点对应在源图像中的第一坐标位置。
同样地，这里的图像映射关系具体可指目标图像的平面坐标系和源图像的平面坐标系之间的位置映射关系，则对应计算获得的第一坐标位置为平面坐标系下的坐标位置。源图像可为具有球面图像格式的平面图像，目标图像为曲面图像。这里的图像映射关系还具体可指目标图像的平面坐标系和源图像的地理坐标系之间的映射关系，则此时对应计算获得的第一坐标位置为地理坐标系下的坐标位置。源图像和目标图像均可为曲面图像。
所述第二坐标映射关系指地理坐标系和平面坐标系之间的位置映射关系，即同一点分别在地理坐标系和平面坐标系中的坐标位置之间的关联关系，本申请不做详述。其中，所述第一映射关系指平面坐标系下的坐标位置到地理坐标系下的坐标位置之间存在的映射关系，所述第二映射关系指地理坐标系下的坐标位置到平面坐标系下的坐标位置之间存在的映射关系，这里不做详述。
在可选实施例中，由于步骤S106中需计算坐标位置之间的球面距离，则对应的坐标位置需为球面坐标，即地理坐标系下的坐标位置。如果计算获得的第一坐标位置为平面坐标系下的坐标位置，终端设备还可使用预设的第二坐标映射关系将平面坐标系下的第一坐标位置对应转换为地理坐标系下的坐标位置，便于S106计算。
在可选实施例中，所述源图像和所述目标图像各自对应的图像分辨率可以不相同。可选的，所述目标图像的分辨率高于所述源图像的分辨率。其中，图像插值可指在从低分辨率图像生成高分辨率图像的过程中，用以恢复图像中丢失的信息。图像插值过程中涉及使用到的算法，本申请称为图像插值算法，具体将在下文进行详述。
在可选实施例中，所述源图像和所述目标图像各自对应的球面图像格式可以不相同。具体的，在所述源图像和所述目标图像均为具有球面映射格式的图像时，所述源图像和所述目标图像各自对应的球面图像格式可以不相同。本申请的图像插值可适用于不同球面图像格式的图像转换。即使用图像插值算法对第一球面图像格式下的源图像(具体为源图像中的像素点)进行图像插值，可生成/获得第二球面图像格式下的目标图像。所述第一球面图像格式和所述第二球面图像格式不相同。
所述球面图像格式可指设备存储或传输图像的格式，其可包括但不限于ERP(Equi-Rectangular Projection，中文称为等距柱状投影或经纬图映射)、CMP(Cube MapProjection，中文称为立方体映射)、CPP(Craster Parabolic Projection，中文称为克拉斯特抛物线映射)、ACP(Adjusted Cube map Projection，中文称为改进的立方体映射)、COHP(Compact Octahedron Projection，中文称为紧凑格式正八面体映射)、CISP(CompactIcosahedral projection，中文称为紧凑格式正二十面体映射)以及其他球面图像格式等，本申请不做限定。
步骤S104中，终端设备可在所述第一坐标位置的周围选取m个参考像素点，便于后续依据所述m个像素点的相关信息(如坐标位置以及像素值)计算待插值像素点的信息(如像素值)。其中，所述m个参考像素点均位于所述源图像中。具体存在以下几种实施方式：
在一些实施方式中，终端设备可在所述第一坐标位置的周围，沿着经度方向和/或纬度方向上采样获得m个参考像素点。其中，所述m个参考像素点中部分参考像素点的纵坐标或纬度坐标相同，和/或，所述m个参考像素点中部分参考像素点的横坐标或经度坐标相同。但所述m个参考像素点中不存在坐标位置完全相同的像素点，如果存在坐标位置相同的像素点，认为该像素点被重复采样，可视为一个参考像素点。
具体的，在所述第一坐标位置为地理坐标系下的坐标位置(或源图像为曲面图像)的情况下，终端设备可在所述第一坐标位置的周围，直接沿着经度方向和/或纬度方向上均匀采样，以获得m个参考像素点。或者，在所述第一坐标位置为平面坐标系下的坐标位置(或源图像为具有球面图像格式的平面图像)的情况下，终端设备需先根据目标图像的坐标系(具体可为地理坐标系或平面坐标系)和源图像的平面坐标系之间的位置映射关系，确定出经度方向和/或纬度方向。进一步地，终端设备再在所述第一坐标位置的周围沿着所述经度方向和/或纬度方向上均匀采样以获得m个参考像素点。
其中，所述m个参考像素点均为源图像中的像素点。在经度方向上所述源图像的坐标位置对应的纬度坐标(即纬度值)不变。相应地，在纬度方向上所述源图像的坐标位置对应的经度坐标(即经度值)不变。
示例性，终端设备可根据所述第一坐标位置分别沿着经度方向上和纬度方向上均匀采样以获得a*b个(即m个)参考像素点。例如，可先沿经度方向上均匀采样获得a个参考像素点，再为所述a个参考像素点中每个参考像素点沿纬度方向上均匀采样获得b个参考像素点。即，所述a个参考采样点在经度方向上呈均匀分布，且这a个参考像素点各自对应的纬度坐标(纬度值)相同。所述b个参考像素点在纬度方向上也呈均匀分布，且这b个参考像素点各自对应的经度坐标(经度值)相同。
在可选实施例中，在图像转换过程中，像素点的颜色由亮度和色度共同表示。因此在为所述待插值像素点选取参考像素点时，可从亮度和色度两个维度上考虑。其中，对于图像的亮度分量，在源图像中选取参考像素点具体可为：在所述第一坐标位置的周围沿着经度方向和纬度方向选取最邻近的a1*b1个像素点，作为参考像素点。具体如图3A示出为所述待插值像素点选取的最邻近的6*6个参考像素点，即a1＝b1＝6。如图3A中，在经度方向上每行参考像素点对应的纬度坐标相同，在纬度方向上每列参考像素点对应的经度坐标相同。
对于图像的色度分量，在源图像中选取参考像素点具体可为：在所述第一坐标位置的周围沿着经度方向和纬度方向选取最邻近的a2*b2个像素点，作为参考像素点。其中，a1、a2、b1、b2可为用户侧或系统侧自定义设置的常数，它们可以相同，也可不相同，本申请不做限定。具体如图3B示出为所述待插值像素点选取最邻近的4*4个参考像素点，即a2＝b2＝4。
在又一些实施方式中，终端设备可在所述第一坐标位置的周围选取对应的参考像素区域，所述第一坐标位置位于所述参考像素区域中。进一步地，从所述参考像素区域中选取m个参考像素点，即所述参考像素区域中包括有m个参考像素点。所述m个参考像素点用于后续生成所述目标图像中的待插值像素点。
具体的，所述参考像素区域的选取具体存在以下几种可能的实现方式。
在一种可能的实现方式中，终端设备可在所述第一坐标位置的周围选取由a*b个像素点所构成的区域，作为所述参考像素区域。其中，a*b＝m，且a和b均为正整数。示例性地，终端设备以所述待第一坐标位置为中心，选取最邻近的指定区域，作为参考像素区域。所述指定区域可为用户侧或系统侧自定义设置的，所述指定区域的大小、形状等特征均不受限。例如，所述指定区域可为以所述待插值像素点为中心，指定长度为半径所对应构成的圆等等。
在又一种可能的实现方式中，终端设备可在所述第一坐标位置的周围选取由两条经线和两条纬线相交所构成的区域，作为所述参考像素区域。如图4A示出一种参考像素区域选取的示意图。其中，图4A示出以所述第一坐标位置为中心，选取由两条经线和两条纬线相交所组成的区域为参考像素区域。
在又一种可能的实现方式中，终端设备可在所述第一坐标位置的周围选取由两组大圆相交所构成的区域，作为所述参考像素区域。其中，每组大圆中包括有两个大圆，且这两组大圆中的每个大圆均过同一球心。如图4B示出又一种参考像素区域选取的示意图。其中，图4B中以所述第一坐标位置为中心，选取过同一球心的四个大圆相交所组成的区域，作为所述参考像素区域。或者，在所述第一坐标位置的周围随意选取过同一球心的四个大圆相交所形成的区域，作为所述参考像素区域等。
相应地，在终端设备确定所述参考像素区域后，所述终端设备可从所述参考像素区域中选取m个(即a*b个)参考像素点，便于后续依据这些参考像素点的相关信息(如坐标位置、像素值等)计算所述待插值像素点的信息(如像素值)。
具体的，终端设备可根据所述待插值像素点对应在源图像中的第一坐标位置，从所述参考像素区域中均匀采样，以获得m个参考像素点。关于如何采样获得所述m个参考像素点可参见前述实施例中的相关阐述，这里不再赘述。
需要说明的是，终端设备为所述待插值像素点选取/确定m个参考像素点，还存在以下实施方式：终端设备可根据所述待插值像素点在目标图像中的坐标位置，在所述待插值像素点的周围选取n个像素点。所述n个像素点位于所述目标图像中，n为大于等于m的正整数。进一步地，再根据所述n个像素点各自在目标图像中的坐标位置，确定所述n个像素点对应在源图像中的坐标位置。然后，在依据所述n个参考像素点对应在源图像中的像素点的坐标位置，确定m个参考像素点。
具体的，终端设备在所述待插值像素点的周围选取n个像素点的选取方式，本申请不做限定。示例性地，终端设备可在所述待插值像素点的周围随机选取n个像素点。或者，在所述待插值像素点的周围按照固定步长均匀采样获得n个像素点。例如，待插值像素点的坐标位置为(x,y)，则选取的像素点的坐标位置可为(x+k0Δx,y+k0Δy)。其中，k0为自定义的数值，例如+1，-1，+2，-2等等。Δx为x方向上的增量(或采样时的固定步长)。Δy为y方向上的增量(或采样时的固定步长)。
相应地，终端设备可根据预设的图像映射关系，将所述n个像素点对应在目标图像中的坐标位置映射到源图像中，以获得所述n个像素点对应在源图像中的坐标位置。进一步地，终端设备可按照设定规则，从所述n个像素点对应在源图像中的像素点中，选取出m个参考像素点。所述设定规则为用户侧或系统侧自定义设置的。例如，终端设备可对所述n个像素点对应在源图像中的坐标位置进行设定函数操作，如向下取整floor函数操作，向上取整ceil函数操作等等，以对应获得m个参考像素点以及所述m个参考像素点在源图像中的坐标位置。
示例性地，假设n个像素点中某个像素点对应在源图像中的坐标位置为(x1,y1)，则利用floor函数对(x1,y1)进行向上取整操作后，可对应获得一个参考像素点。该参考像素点的坐标位置为(floor(x1),floor(y1))。
在可选实施例中，本申请涉及的参考像素点可为整像素点。所述待插值像素点可为分像素点，也可为整像素点。关于整像素点和分像素点可参见前述实施例中的相关介绍，这里不再赘述。
步骤S106中，终端设备可根据所述m个参考像素点各自的坐标位置和所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
具体的，终端设备可先根据所述m个参考像素点各自的坐标位置，确定出单位距离；再根据所述单位距离以及所述m个参考像素点的坐标位置各自和所述第一坐标位置之间的球面距离，来计算所述m个参考像素点各自对所述待插值像素点的插值权重。关于所述单位距离以及所述参考像素点对所述待插值像素点的插值权重，将在本申请下文进行具体详细阐述。
其中，所述单位距离包括第一单位距离以及第二单位距离。所述第一单位距离为在经度方向上第一参考像素点和第二参考像素点之间的距离。所述第一参考像素点和所述第二参考像素点可为所述m个参考像素点中在经度方向上距离所述第一坐标位置(具体可为所述第一坐标位置对应的经度坐标)最近的两个参考像素点。可选的，所述第一参考像素点和所述第二参考像素点对应的纬度坐标可以相同，也可不相同。所述第二单位距离为在纬度方向上第三参考像素点和第四参考像素点之间的距离。所述第三参考像素点和所述第四参考像素点可为所述m个参考像素点中在纬度方向上距离所述第一坐标位置(具体可为所述第一坐标位置对应的纬度坐标)最近的两个参考像素点。可选的，所述第三参考像素点和所述第四参考像素点对应的经度坐标可以相同，也可不相同。
所述第一参考像素点、第二参考像素点、第三参考像素点以及第四参考像素点中它们可以相同，也可不同，本申请不做限定。
对于所述m个参考像素点中的任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离而言，所述球面距离包括第一球面距离以及第二球面距离。所述第一球面距离为在经度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离。所述第二球面距离为在纬度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离。
步骤S108中，终端设备可依据所述m个参考像素点各自对应的像素值以及所述m个参考像素点各自对所述待插值像素点的插值权重，对它们进行加权求和，从而计算获得所述待插值像素点的像素值。具体的，所述终端设备可采用如下公式(1)计算获得所述待插值像素点的像素值：
Figure BDA0001652539090000121
其中，Po为待插值像素点的像素值。Pij为所述m个参考像素点中任一个参考像素点(如目标参考像素点)的像素值。L(φij，λij)为所述任一个参考像素点(目标参考像素点)对待插值像素点的插值权重。a为在经度方向上采样获得的参考像素点的数量。b为在纬度方向上采样获得的参考像素点的数量。a*b＝m，且a，b和m均为正整数。
在一些实施例中，下面阐述S106中确定所述m个参考像素点各自对所述待插值像素点的插值权重所涉及的相关实施例。具体参见图5所示，包括如下实施步骤：
步骤S202、终端设备根据经度方向上所述m个参考像素点中距离所述第一坐标位置最近的两个参考像素点各自在源图像中的坐标位置，计算获得在经度方向上的第一单位距离。
具体的，在经度方向上，可先从所述m个参考像素点中选取距离所述待插值像素点最近的两个参考像素点A和B，即前文所述的第一像素点和第二像素点。再根据参考像素点A和B各自的坐标位置，计算获得在第一单位距离。
如图6A示出一种参考像素点的示意图。图6A中，O为待插值像素点对应在源图像中的第一坐标位置，A和B为在经度方向上距离第一坐标位置O最近的两个参考像素点。其中，参考像素点A的坐标位置为(φA，λA)，参考像素点B的坐标位置为(φB，λB)，第一坐标位置为(φ，λ)。终端设备可采用如下公式(2)计算获得经度方向上的第一单位距离Udφ：
Udφ＝|φA-φB|·R cosλA 公式(2)
其中，R为源图像对应的球面的半径。在单位球上，通常R＝1。φ为经度坐标，λ为纬度坐标。
步骤S204、终端设备根据纬度方向上所述m个参考像素点中距离所述第一坐标位置最近的两个参考像素点各自在源图像中的坐标位置，计算获得在纬度方向上的第二单位距离。
在纬度方向上，可先从所述m个参考像素点中选取距离所述待插值像素点最近的两个参考像素点C和D，即前文所述的第三像素点和第四像素点。再根据参考像素点C和D各自的坐标位置，计算获得在第二单位距离。
如图6B示出又一种参考像素点的示意图。图6B中，O为待插值像素点对应在源图像中的第一坐标位置，C和D为在纬度方向上距离第一坐标位置O最近的两个参考像素点。其中，参考像素点C的坐标位置为(φC，λC)，参考像素点D的坐标位置为(φD，λD)，第一坐标位置为(φ，λ)。终端设备可采用如下公式(3)计算获得纬度方向上的第二单位距离Udλ：
Udλ＝|λC-λD|·R 公式(3)
步骤S206、终端设备根据所述m个参考像素点各自在源图像的坐标位置和所述第一坐标位置，计算在经度方向上所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的第一球面距离以及在纬度方向上所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的第二球面距离。
终端设备分别从经度方向上和纬度方向上，计算所述m个参考像素点的坐标位置各自和所述第一坐标位置之间的球面距离。即，所述球面距离可包括在经度方向上的第一球面距离以及在纬度方向上的第二球面距离，具体将在下文进行详述。
步骤S208、终端设备根据所述第一单位距离以及所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的第一球面距离，确定所述m个参考像素点各自对所述待插值像素点的第一权重分量。
所述图像插值算法可为用户侧或系统侧自定义设置的，其可包括但不限于Lanczos插值算法、双线性插值算法、三次卷积插值算法、最邻近插值算法、分段线性插值算法、或者其他插值算法等等，本申请不做限定。
步骤S210、终端设备根据所述第二单位距离以及所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的第二球面距离，确定所述m个参考像素点各自对所述待插值像素点的第二权重分量。
步骤S212、终端设备根据所述m个参考像素点各自对所述待插值像素点的第一权重分量以及第二权重分量，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
本申请下面将以目标参考像素点为例，阐述上述步骤S206-步骤S212的具体实施方式。所述目标参考像素点为所述m个参考像素点中的任意一个像素点。所述目标参考像素点在源图像中的坐标位置(即所述目标参考像素点的坐标位置)为(φij,λij)，第一坐标位置为(φ，λ)。
步骤S206中，终端设备可采用如下公式(4)计算获得在经度方向上所述目标参考像素点的坐标位置和所述第一坐标位置之间的第一球面距离
Figure BDA0001652539090000131
在纬度方向上所述目标参考像素点的坐标位置和所述第一坐标位置之间的第二球面距离
Figure BDA0001652539090000132
Figure BDA0001652539090000133
Figure BDA0001652539090000134
步骤S208中，终端设备可利用第一单位距离Udφ以及第一球面距离
Figure BDA0001652539090000135
并结合图像插值算法δ计算所述目标参考像素点在经度方向上对所述待插值像素点的第一权重分量
Figure BDA0001652539090000136
示例性地，可采用如下公式(5)计算获得
Figure BDA0001652539090000137
Figure BDA0001652539090000138
步骤S210中，终端设备可利用第二单位距离Udλ以及第二球面距离
Figure BDA0001652539090000139
并结合图像插值算法δ计算所述目标参考像素点在纬度方向上对所述待插值像素点的第二权重分量
Figure BDA00016525390900001310
示例性地，可采用如下公式(6)计算获得
Figure BDA00016525390900001311
Figure BDA0001652539090000141
步骤S212中，终端设备可根据所述目标参考像素点在经度方向上对所述待插值像素点的第一权重分量
Figure BDA0001652539090000142
以及所述目标参考像素点在纬度方向上对所述待插值像素点的第二权重分量
Figure BDA0001652539090000143
计算获得所述目标参考像素点对所述待插值像素点的插值权重L(φij，λij)。
具体的，终端设备可根据设定运算规则对第一权重分量
Figure BDA0001652539090000144
和第二权重分量
Figure BDA0001652539090000145
进行处理，以获得对应的插值权重。所述设定运算规则为用户侧或系统侧自定义设置的运算法则，例如加法、乘法等等。示例性地，以乘法运算为例，终端设备可采用如下公式(7)计算获得L(φij，λij)：
Figure BDA0001652539090000146
通过实施本发明实施例，能够解决现有技术中采用平面图像插值算法对非平面图像(曲面图像)进行图像处理时导致图像插值的性能和效率降低等问题，从而有效提高了非平面图像插值的性能和效率。
为方便理解，本申请下文将举例详述图像插值方法对应的相关具体实施例。
第一个实施例：CPP格式的源图像转换为ERP格式的目标图像
本实施例中，可参见图7，图像插值方法包括如下实施步骤：
S11、对于目标图像中的任意待插值像素点，在源图像中为所述待插值像素点选取m个参考像素点。
本实施例中，所述目标图像中待插值像素点的坐标位置为(m0，n0)，其具体可为地理坐标系下的坐标位置，也可为平面坐标系下的坐标位置。假设这里(m0，n0)为平面坐标系下的坐标位置，m0为横坐标，n0为纵坐标。
终端设备可根据预设的坐标映射关系，将(m0，n0)转换为地理坐标系下的坐标位置(φ1，λ1)。即用地理坐标表示，待插值像素点在目标图像中的坐标位置为(φ1，λ1)。示例性地，如下公式(8)示出待插值像素点在目标图像中的地理坐标位置：
Figure BDA0001652539090000147
其中，W1为目标图像的宽度。H1为目标图像的高度。φ1为经度坐标，取值范围为[-π，π]。λ1为纬度坐标，取值范围为[-π/2，π/2]。ε为自定义的常数，表示坐标的偏移量，取值范围为[0，1)。通常的，ε为0或0.5。
接着，终端设备根据预设的图像映射关系，将目标图像中的待插值像素点(φ1，λ1)映射到源图像中的坐标位置，即待插值像素点对应在源图像中的第一坐标位置(x，y)。这里的图像映射关系是指ERP格式的目标图像与CPP格式的源图像之间的位置映射关系，即同一点分别在ERP目标图像和CPP源图像中存在的关联关系。其中，所述第一坐标位置可为地理坐标系下的坐标位置，也可为平面坐标系下的坐标位置。假设这里为平面坐标下的坐标位置，x为横坐标，y为纵坐标。示例性地，如下公式(9)给出待插值像素点(φ1，λ1)对应在源图像中的第一坐标位置(x，y)：
Figure BDA0001652539090000151
其中，H为源图像的高度。W为源图像的宽度。
进一步地，终端设备可在第一坐标位置的周围沿着经度方向和/或纬度方向均匀采样，从而获得为所述待插值像素点所选取的m个参考像素点。
具体的，终端设备可对公式(9)进行变形，获得如下公式(10)：
Figure BDA0001652539090000152
其中，本实施例中设定W＝2H。
由于公式(9)可知第一坐标位置的纵坐标y与纬度坐标λ1相关，因此本例中终端设备可根据地理坐标系和源图像的平面坐标系之间的位置映射关系计算获得纬度方向。具体的，终端设备根据公式(10)示出的位置映射关系，计算y对x的导数，以获得纬度方向。即，计算过待插值像素点(φ1，λ1)的斜率方向即为纬度方向。具体如下公式(11)示出纬度方向的计算公式：
Figure BDA0001652539090000153
y＝C,0≤C≤H 公式(11)
其中，C为常数。
进一步地，终端设备沿着该斜率方向(纬度方向)在所述第一坐标位置的周围均匀采样，以获得对应的m个参考像素点。具体如下公式(12)示出均匀采样获得的参考像素点的坐标位置(xij,yij)。
yij＝floor(y)+Δyi
Figure BDA0001652539090000154
其中，dxi表示第i行的参考像素点的中心横坐标相对于待插值像素点的横坐标的偏移量；dyi表示第i行的参考像素点的纵坐标相对于待插值像素点的纵坐标的偏移量。Δyi表示纵坐标所在方向上的增量。Δxj表示横坐标所在方向上的增量。i∈(1,2,3,...a),j∈(1,2,3,...b)，a*b＝m。
通常地，对于图像的亮度分量而言，a＝b＝6，Δyi∈(-2,-1,0,1,2,3)，Δxj∈(-2,-1,0,1,2,3)。对于图像的色度分量而言，a＝b＝4，Δyi∈(-1,0,1,2)，Δxj∈(-1,0,1,2)。floor函数作用是向下取整。可选地，本申请实施例中floor函数还可替换为ceil函数，作用是向上取整。round函数作用是四舍五入，即取最近的整数值。
S12、计算第一坐标位置和每个参考像素点的坐标位置分别沿经度方向上和纬度方向上的球面距离，所述第一坐标位置为待插值像素点对应在源图像中的坐标位置。
具体的，由于本申请中坐标位置之间在经度方向和纬度方向上的距离为球面距离，因此计算该球面距离时所使用的坐标位置需为地理坐标系下的坐标位置。当所述第一坐标位置或者参考像素点的坐标位置为平面坐标系下的坐标位置时，需先将其对应转换为地理坐标系下的坐标位置，然后再计算它们各自在经度方向上和纬度方向上的球面距离。
本实施例中，终端设备可根据预设的坐标映射关系，将第一坐标位置(x,y)转换为地理坐标系下的坐标位置(φ，λ)。具体如下公式(13)示出上述公式(9)中第一坐标位置(x,y)对应在地理坐标系下的坐标位置：
Figure BDA0001652539090000161
相应地，终端设备可根据预设的坐标映射关系，可将源图像中参考像素点(xij,yij)转换为地理坐标系下的坐标位置(φij,λij)，具体如下公式(14)所示：
Figure BDA0001652539090000162
进一步地，终端设备可根据地面坐标系下参考像素点的坐标位置(φij,λij)和第一坐标位置(φ，λ)，分别计算它们各自在经度方向上的第一球面距离
Figure BDA0001652539090000163
以及在纬度方向上的第二球面距离
Figure BDA0001652539090000164
具体可如公式(15)所示：
Figure BDA0001652539090000165
Figure BDA0001652539090000166
S13、计算经度方向上和纬度方向上的单位距离。
终端设备可沿经度方向上，从所述m个参考像素点中选取出距离所述第一坐标位置最近的两个参考像素点A和B。进而，计算这两个参考像素点的经度坐标之间的差值，以作为经度方向上的第一单位距离Udφ。
相应地，沿纬度方向上，从所述m个参考像素点中选取距离所述第一坐标位置最近的两个参考像素点C和D。进而，计算这两个参考像素点的纬度坐标之间的差值，以作为纬度方向上的第二单位距离Udλ。具体可如下公式(16)所示：
Udφ＝|φA-φB|·R cosλA
Udλ＝|λC-λD|·R 公式(16)
其中，参考像素点A的坐标位置为(φA,λA)，参考像素点B的坐标位置为(φB,λB)，参考像素点C的坐标位置为(φC,λC)，参考像素点D的坐标位置为(φD,λD)。φ为经度坐标。λ为纬度坐标。
举例来说，如图8A和8B示出针对图像的亮度分量和色度分量对应选取6*6以及4*4个参考像素点。如图8A所示，沿经度方向上距离第一坐标位置O最近的两个参考像素点为第3行第3列的像素点以及第3行第4列的像素点。沿纬度方向上距离第一坐标位置O最近的两个参考像素点为第3行第3列的像素点以及第4行第3列的像素点。则图8A中经度方向上的第一单位距离Udφ以及纬度方向上的第二单位距离Udλ具体如下公式(17)所示：
Udφ＝|φ33-φ34|·R cosλ3
Udλ＝|λ3-λ4|·R 公式(17)
相应地如图8B所示，沿经度方向上距离第一坐标位置O最近的两个参考像素点为第2行第2列的像素点以及第2行第3列的像素点。沿纬度方向上距离第一坐标位置O最近的两个参考像素点为第2行第2列的像素点以及第3行第2列的像素点。则图8B中经度方向上的第一单位距离Udφ以及纬度方向上的第二单位距离Udλ具体如下公式(18)所示：
Udφ＝|φ22-φ23|·R cosλ2
Udλ＝|λ2-λ3|·R 公式(18)
S14、计算每个参考像素点对待插值像素点的插值权重。
终端设备可根据图像插值算法、计算的在经度方向上的第一单位距离以及第一球面距离，计算在经度方向上每个参考像素点对待插值像素点的第一权重分量
Figure BDA0001652539090000171
相应地，终端设备可根据图像插值算法、计算的在纬度方向上的第二单位距离以及第二球面距离，计算在纬度方向上每个参考像素点对待插值像素点的第二权重分量
Figure BDA0001652539090000172
示例性地，以所述图像插值算法为Lanczos算法为例，如下公式(19)和(20)分别给出参考像素点(φij,λij)沿经度方向上和纬度方向上对待插值像素点(φ，λ)的权重分量。
Figure BDA0001652539090000173
Figure BDA0001652539090000181
其中，c1和c2为参考像素点取样时所采用的半窗口大小，
Figure BDA0001652539090000182
其中，基于图像的亮度分量来采样时，c1＝c2＝3。基于图像的色度分量来采样时，c1＝c2＝2。
进一步地，在获得参考像素点分别沿经度方向上和纬度方向上对待插值像素点的权重分量(
Figure BDA0001652539090000183
以及
Figure BDA0001652539090000184
)后，可计算该参考像素点对待插值像素点的插值权重(即二维插值权重)L(φij，λij)。示例性地，如下公式(21)给出L(φij，λij)的计算公式：
Figure BDA0001652539090000185
S15、计算待插值像素点的像素值。
终端设备可根据每个参考像素点各自的像素值以及每个参考像素点各自对待插值像素点的插值权重，可计算获得待插值像素点的像素值。具体可如下公式(22)所示：
Figure BDA0001652539090000186
第二个实施例：CMP格式的源图像转换为ERP格式的目标图像
本实施例中，图像插值方法可包括如下实施步骤：
S21、对于目标图像中的任意待插值像素点，在源图像中为所述待插值像素点选取m个参考像素点。
本实施例中，假设目标图像中待插值像素点在地理坐标系下的坐标位置为(φ1，λ1)。终端设备可根据预设的图像映射关系，将待插值像素点在目标图像中的坐标位置映射到源图像中的坐标位置，即待插值像素点对应在源图像中的第一坐标位置。示例性地如下公式(23)给出待插值像素点(φ1，λ1)对应在源图像中的第一坐标位置(x，y)：
Figure BDA0001652539090000187
其中，H为源图像的高度。W为源图像的宽度。
进一步地，终端设备可在第一坐标位置的周围沿着经度方向和/或纬度方向均匀采样，从而获得为所述待插值像素点所选取的m个参考像素点。
具体的，终端设备可对公式(23)进行变形，获得如下公式(24)：
Figure BDA0001652539090000191
其中，本实施例中设定W＝H。
由于公式(23)可知第一坐标位置的横坐标x与纬度坐标φ1相关，因此本例中终端设备可根据地理坐标系和源图像的平面坐标系之间的位置映射关系计算获得经度方向。具体的，终端设备根据公式(24)示出的位置映射关系，计算y对x的导数，以获得经度方向。即，计算过待插值像素点(φ1，λ1)的斜率方向即为经度方向。具体如下公式(25)示出斜率的计算公式：
x＝C,0≤C≤W
Figure BDA0001652539090000192
其中，C为常数。
进一步地，终端设备沿着该斜率方向(经度方向)在所述第一坐标位置的周围均匀采样，以获得对应的m个参考像素点。具体如下公式(26)示出均匀采样获得的参考像素点的坐标位置(xij,yij)。
xij＝floor(x)+Δxj
Figure BDA0001652539090000193
关于公式(26)涉及的相关参数可参见前述公式(12)的相关阐述，这里不再赘述。
S22、计算第一坐标位置和每个参考像素点的坐标位置分别沿经度方向上和纬度方向上的球面距离，所述第一坐标位置为待插值像素点对应在源图像中的坐标位置。
本实施例中，终端设备可根据预设的坐标映射关系，将第一坐标位置(x,y)转换为地理坐标系下的坐标位置(φ，λ)。即第一坐标位置对应在地理坐标系下的坐标位置为(φ，λ)，具体如下公式(27)示出上述公式(23)中第一坐标位置(x,y)对应在地理坐标系下的坐标位置：
Figure BDA0001652539090000194
相应地，终端设备根据预设的坐标映射关系，可将源图像中参考像素点(xij,yij)转换为地理坐标系下的坐标位置(φij,λij)，具体如下公式(28)所示：
Figure BDA0001652539090000201
进一步地，终端设备可根据地面坐标系下的参考像素点(φij,λij)和第一坐标位置(φ，λ)，分别计算它们各自在经度方向上的第一球面距离dφij以及在纬度方向上的第二球面距离
Figure BDA0001652539090000202
S23、计算经度方向上和纬度方向上的单位距离。
S24、计算每个参考像素点对待插值像素点的插值权重。
S25、计算待插值像素点的像素值。
需要说明的是，本发明实施例中未示出或未描述的部分可对应参见前述第一个实施例中的相关阐述，例如步骤S23-S25可具体参见前述S13-S15中的相关阐述，这里不再赘述。
第三个实施例：低分辨率ERP格式的源图像转换为高分辨率ERP格式的目标图像
本实施例中，图像插值方法可包括如下实施步骤：
S31、对于目标图像中的任意待插值像素点，在源图像中为所述待插值像素点选取m个参考像素点。
本实施例中，所述目标图像中待插值像素点的坐标位置为(m0，n0)，其具体可为地理坐标系下的坐标位置，也可为平面坐标系下的坐标位置。假设这里(m0，n0)为平面坐标系下的坐标位置，m0为横坐标，n0为纵坐标。
终端设备可根据预设的坐标映射关系，将(m0，n0)转换为地理坐标系下的坐标位置(φ1，λ1)。即用地理坐标表示，待插值像素点在目标图像中的坐标位置为(φ1，λ1)。示例性地，如下公式(29)示出待插值像素点在目标图像中的地理坐标位置：
Figure BDA0001652539090000203
其中，W1为目标图像的宽度。H1为目标图像的高度。φ1为经度坐标，取值范围为[-π，π]。λ1为纬度坐标，取值范围为[-π/2，π/2]。ε为自定义的常数，表示坐标的偏移量，取值范围为[0，1)。通常的，ε为0或0.5。
接着，终端设备根据预设的图像映射关系，将目标图像中的待插值像素点(φ1，λ1)映射到源图像中的坐标位置，即待插值像素点对应在源图像中的第一坐标位置(x，y)。其中，所述第一坐标位置可为地理坐标系下的坐标位置，也可为平面坐标系下的坐标位置。假设这里为平面坐标下的坐标位置，x为横坐标，y为纵坐标。示例性地，如下公式(30)给出待插值像素点(φ1，λ1)对应在源图像中的坐标位置(x，y)：
Figure BDA0001652539090000204
其中，H为源图像的高度。W为源图像的宽度。
进一步地，终端设备可在所述第一坐标位置的周围沿着经度方向和/或纬度方向均匀采样，从而获得为所述待插值像素点所选取的m个参考像素点。
本实施例中，由于源图像和目标图像均为同一球面图像格式(ERP)的图像，在针对参考像素点采样时，可直接沿坐标系水平方向(即经度方向)以及竖直方向(即纬度方向)上均匀采样获得m个参考像素点。示例性地如图9示出对于图像的亮度分量而言，均匀采样获得6*6的参考像素点。
具体的，可如下公式(31)示出均匀采样获得的参考像素点的坐标位置(xij,yij)。
xij＝floor(x)+Δxj
yij＝floor(y)+Δyi 公式(31)
关于公式(31)涉及的参数可参见前述公式(12)中的相关介绍，这里不再赘述。
S32、计算第一坐标位置和每个参考像素点的坐标位置分别沿经度方向上和纬度方向上的球面距离，所述第一坐标位置为待插值像素点对应在源图像中的坐标位置。
本实施例中，终端设备可根据预设的坐标映射关系，将平面坐标系下的第一坐标位置(x,y)转换为地理坐标系下的坐标位置(φ，λ)。即第一坐标位置对应在地理坐标系下的坐标位置为(φ，λ)，具体如下公式(32)示出上述公式(30)中第一坐标位置(x,y)对应在地理坐标系下的坐标位置：
Figure BDA0001652539090000211
相应地，终端设备根据预设的坐标映射关系，可将源图像中参考像素点(xij,yij)转换为地理坐标系下的坐标位置(φij,λij)，具体如下公式(33)所示：
Figure BDA0001652539090000212
进一步地，终端设备可根据地面坐标系下参考像素点的坐标位置(φij,λij)和第一坐标位置(φ，λ)，分别计算它们各自在经度方向上的第一球面距离
Figure BDA0001652539090000213
以及在纬度方向上的第二球面距离
Figure BDA0001652539090000214
S33、计算经度方向上和纬度方向上的单位距离。
S34、计算每个参考像素点对待插值像素点的插值权重。
S35、计算待插值像素点的像素值。
需要说明的是，本实施例中未示出或未描述的部分可对应参见前述第一个实施例中的相关阐述，例如步骤S33-S35可具体参见前述S13-S15中的相关阐述，这里不再赘述。
第四个实施例：基于双线性插值算法下CCP格式的源图像转换为ERP格式的目标图像
本实施例中，图像插值方法可包括如下实施步骤：
S41、对于目标图像中的任意待插值像素点，在源图像中为所述待插值像素点选取m个参考像素点。
对于某些特定的图像插值算法而言，通常该图像插值算法对应选取的参考像素点也是默认的。例如，针对双线性插值算法，通常选取第一坐标位置周边的2*2个像素点作为参考像素点。针对三次卷积插值算法而言，通常选取第一坐标位置周边的4*4个像素点作为参考像素点。其中，所述第一坐标位置为待插值像素点对应在源图像中的坐标位置。
本实施例中，以双线性插值算法为例，如图10A示出参考像素点选取的示意图。如图10A中在第一坐标位置的周围选取2*2个像素点作为参考像素点(φij,λij)，具体为图示中的像素点A、B、D和E。其中，i＝1，2。j＝1，2。
S42、计算第一坐标位置和每个参考像素点的坐标位置分别沿经度方向上和纬度方向上的球面距离，所述第一坐标位置为待插值像素点对应在源图像中的坐标位置。
S43、计算经度方向上和纬度方向上的单位距离。
S44、计算每个参考像素点对待插值像素点的插值权重。
引用图10A的例子，终端设备可根据参考像素点A和B加权求得像素点C。其中，像素点C的经度坐标和第一坐标位置的经度坐标相同，像素点C的纬度坐标和像素点A/B的纬度坐标相同。同样地，根据参考像素点D和E可加权求得像素点F。其中，像素点F的经度坐标和第一坐标位置的经度坐标相同，像素点F的纬度坐标和像素点D/E的纬度坐标相同。
相应地，终端设备可计算参考像素点A、B、D以及E在经度方向上对待插值像素点的插值权重。具体如下公式(34)所示：
Figure BDA0001652539090000221
Figure BDA0001652539090000222
Figure BDA0001652539090000223
Figure BDA0001652539090000224
其中，Lk表示像素点K对待插值像素点的权重分量。φk表示像素点K的经度坐标。这里K可为A、B、C、D、E以及F。
进一步地，终端设备可计算参考像素点A、B、D以及E在纬度方向上对待插值像素点的权重分量。即是，计算像素点C和F在纬度方向上对待插值像素点的插值权重。具体如下公式(35)所示：
Figure BDA0001652539090000225
Figure BDA0001652539090000226
其中，λk表示像素点K的纬度坐标。这里K为C、F或者第一坐标位置O。
S45、计算待插值像素点的像素值。
具体的，本实施例中采用双线性插值算法来计算待插值像素点的像素值。具体可如下公式(36)所示：
Po＝LC(LAPA+LBPB)+LF(LDPD+LEPE) 公式(36)
需要说明的是，本实施例中未示出或未描述的内容可参见前述第一个实施例中的相关阐述，这里不再赘述。
第五个实施例：基于三次卷积插值算法下CCP格式的源图像转换为ERP格式的目标图像
本实施例中，图像插值方法可包括如下实施步骤：
S51、对于目标图像中的任意待插值像素点，在源图像中为所述待插值像素点选取m个参考像素点。
对于某些特定的图像插值算法而言，通常该图像插值算法对应决定选取的参考像素点也是默认的。例如，针对双线性插值算法，通常选取第一坐标位置周边的2*2个像素点作为参考像素点。针对三次卷积插值算法而言，通常选取第一坐标位置周边的4*4个像素点作为参考像素点。其中，所述第一坐标位置为待插值像素点对应在源图像中的坐标位置。
本实施例中，以三次卷积插值算法为例，如图10B示出参考像素点选取的示意图。具体的，在第一坐标位置的周围选取4*4个像素点，作为参考像素点(φij,λij)或者(xij,yij)。其中，i＝1，2，3，4。j＝1，2，3，4。
S52、计算第一坐标位置和每个参考像素点的坐标位置分别沿经度方向上和纬度方向上的球面距离，所述第一坐标位置为待插值像素点对应在源图像中的坐标位置。
S53、计算经度方向上和纬度方向上的单位距离。
S54、计算每个参考像素点对待插值像素点的插值权重。
S55、计算待插值像素点的像素值。
其中，S54中由于本实施例中采用的图像插值算法为三次卷积插值算法，下面示例性给出基于三次卷积插值算法计算参考像素点(φij,λij)分别沿经度方向上和纬度方向上对待插值像素点的权重分量(
Figure BDA0001652539090000231
以及
Figure BDA0001652539090000232
)。具体如公式(37)和(38)所示：
Figure BDA0001652539090000233
Figure BDA0001652539090000241
其中，α是三次卷积插值算法中的参数，该参数为用户侧或系统侧自定义设置的常数。
相应地，基于
Figure BDA0001652539090000242
以及
Figure BDA0001652539090000243
可计算获得参考像素点对待插值像素点的插值权重L(φij，λij)。需要说明的是，本申请中关于S41-S45具体可对应参见前述S11-S15所述实施例中的相关介绍，这里不再赘述。
通过实施本发明实施例，能够解决现有技术中采用平面图像插值算法来对曲面图像进行处理导致图像插值的性能及效率下降等问题，从而可有效提高非平面图像插值的性能和效率。
上述主要从终端设备的角度出发对本发明实施例提供的方案进行了介绍。可以理解的是，终端设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本发明中所公开的实施例描述的各示例的单元及算法步骤，本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的技术方案的范围。
本发明实施例可以根据上述方法示例对终端设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用集成的单元的情况下，图11A示出了上述实施例中所涉及的终端设备的一种可能的结构示意图。终端设备700包括：处理单元702和通信单元703。处理单元702用于对终端设备700的动作进行控制管理。示例性地，处理单元702用于支持网络设备700执行图2中步骤S102-S108，图5中步骤S202-S212，图7中步骤S11-S15，和/或用于执行本文所描述的技术的其它步骤。通信单元703用于支持终端设备700与其它设备的通信，例如，通信单元703用于支持终端设备700从网络设备中获取源图像，和/或用于执行本文所描述的技术的其它步骤。可选的，终端设备700还可以包括存储单元701，用于存储终端设备700的程序代码和数据。
其中，处理单元702可以是处理器或控制器，例如可以是中央处理器(英文：Central Processing Unit，CPU)，通用处理器，数字信号处理器(英文：Digital SignalProcessor，DSP)，专用集成电路(英文：Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(英文：Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信单元703可以是通信接口、收发器、收发电路等，其中，通信接口是统称，可以包括一个或多个接口，例如网络设备与其他设备之间的接口。存储单元701可以是存储器。
可选的，所述终端设备700还可包括显示单元(图未示)。所述显示单元可用于预览或显示图像，例如使用显示单元显示目标图像或源图像等等。在实际应用中，所述显示单元可为显示器或播放器等，本申请不做限定。
当处理单元702为处理器，通信单元703为通信接口，存储单元701为存储器时，本发明实施例所涉及的终端设备可以为图11B所示的终端设备。
参阅图11B所示，该终端设备710包括：处理器712、通信接口713、存储器77。可选地，终端设备710还可以包括总线714。其中，通信接口713、处理器712以及存储器77可以通过总线714相互连接；总线714可以是外设部件互连标准(英文：Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(英文：Extended Industry StandardArchitecture，简称EISA)总线等。所述总线714可以分为地址总线、数据总线、控制总线等。为便于表示，图11B中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
上述图11A或图11B所示的终端设备的具体实现还可以对应参照前述方法实施例的相应描述，此处不再赘述。
结合本发明实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(英文：Random Access Memory，RAM)、闪存、只读存储器(英文：Read Only Memory，ROM)、可擦除可编程只读存储器(英文：ErasableProgrammable ROM，EPROM)、电可擦可编程只读存储器(英文：Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于网络设备中。当然，处理器和存储介质也可以作为分立组件存在于终端设备中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图像插值方法，其特征在于，所述方法包括：
根据待插值像素点在目标图像中的坐标位置，确定所述待插值像素点对应在源图像中的第一坐标位置，所述源图像为待转换的曲面图像，或者为待转换的具有球面图像格式的平面图像；
根据所述第一坐标位置，确定m个参考像素点，所述m个参考像素点位于所述源图像中，m为正整数；
根据所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重；
根据所述m个参考像素点各自对应的像素值以及所述m个参考像素点各自对所述待插值像素点的插值权重，确定所述待插值像素点的像素值，从而得到所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述源图像为具有球面图像格式的平面图像，所述源图像和所述目标图像各自对应的球面图像格式不相同，和/或，所述源图像和所述目标图像各自对应的图像分辨率不相同。
3.根据权利要求1或2所述的方法，其特征在于，所述m个参考像素点为在所述第一坐标位置的周围沿着经度方向和/或纬度方向上采样获得的；其中，所述m个参考像素点中部分参考像素点的纵坐标或者纬度坐标相同，和/或，所述m个参考像素点中部分参考像素点的横坐标或者经度坐标相同。
4.根据权利要求3所述的方法，其特征在于，所述源图像为具有球面图像格式的平面图像，所述第一坐标位置为平面坐标系下由横坐标和纵坐标所组成的点的位置；
所述经度方向为根据地理坐标系和所述源图像的平面坐标系之间的位置映射关系确定的，在所述经度方向上所述源图像的坐标位置对应的纬度值不变，所述纬度方向为根据所述地理坐标系和所述源图像的平面坐标系之间的位置映射关系确定的，在所述纬度方向上所述源图像的坐标位置对应的经度值不变。
5.根据权利要求1-4中任一项所述的方法，其特征在于，对于所述根据所述m个参考像素点中任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离，所述球面距离包括第一球面距离和第二球面距离，所述第一球面距离为在经度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离，所述第二球面距离为在纬度方向上所述任一参考像素点的坐标位置与所述第一坐标位置之间的球面距离；
所述根据所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重包括：
确定单位距离，所述单位距离包括第一单位距离以及第二单位距离，所述第一单位距离为第一参考像素点和第二参考像素点之间在经度方向上的距离，所述第一参考像素点和所述第二参考像素点为在经度方向上所述m个参考像素点中距离所述第一坐标位置对应的经度坐标最近的两个参考像素点；所述第二单位距离为第三参考像素点和第四参考像素点之间在纬度方向上的距离，所述第三参考像素点和所述第四参考像素点为在纬度方向上所述m个参考像素点中距离所述第一坐标位置对应的纬度坐标最近的两个参考像素点；
根据所述单位距离以及所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
6.根据权利要求5所述的方法，其特征在于，所述根据所述单位距离以及所述m个参考像素点的坐标位置各自与所述第一坐标位置之间的球面距离，确定所述m个参考像素点各自对所述待插值像素点的插值权重包括：
根据所述第一单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第一球面距离，确定所述m个参考像素点各自对所述待插值像素点的第一权重分量；
根据所述第二单位距离以及所述m个参考像素点各自的坐标位置与所述第一坐标位置之间的第二球面距离，确定所述m个参考像素点各自对所述待插值像素点的第二权重分量；
根据所述m个参考像素点各自对所述待插值像素点的第一权重分量以及所述m个参考像素点各自对所述待插值像素点的第二权重分量，确定所述m个参考像素点各自对所述待插值像素点的插值权重。
7.根据权利要求3-6中任一项所述的方法，其特征在于，所述经度方向为经度坐标数值变化最快的方向，所述纬度方向为纬度坐标数值变化最快的方向。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述坐标位置为所述平面图像的平面坐标系下由横坐标和纵坐标所组成的点的位置，或者，为所述曲面图像的地理坐标系下由经度坐标和纬度坐标所组成的点的位置。
9.一种终端设备，其特征在于，包括存储器及与所述存储器耦合的处理器；所述存储器用于存储指令，所述处理器用于执行所述指令；其中，所述处理器执行所述指令时执行如上权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法。
CN201810431381.7A 2018-05-07 2018-05-07 图像处理方法、相关设备及计算机存储介质 Active CN110458755B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810431381.7A CN110458755B (zh) 2018-05-07 2018-05-07 图像处理方法、相关设备及计算机存储介质
PCT/CN2019/085787 WO2019214594A1 (zh) 2018-05-07 2019-05-07 图像处理方法、相关设备及计算机存储介质
US17/090,394 US11416965B2 (en) 2018-05-07 2020-11-05 Image processing method, related device, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810431381.7A CN110458755B (zh) 2018-05-07 2018-05-07 图像处理方法、相关设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110458755A CN110458755A (zh) 2019-11-15
CN110458755B true CN110458755B (zh) 2023-01-13

Family

ID=68468459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810431381.7A Active CN110458755B (zh) 2018-05-07 2018-05-07 图像处理方法、相关设备及计算机存储介质

Country Status (3)

Country Link
US (1) US11416965B2 (zh)
CN (1) CN110458755B (zh)
WO (1) WO2019214594A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626938B (zh) * 2020-06-04 2023-04-07 Oppo广东移动通信有限公司 图像插值方法、图像插值装置、终端设备及存储介质
CN111915673B (zh) * 2020-07-22 2022-01-11 深圳云天励飞技术股份有限公司 图像处理方法、装置、终端设备及存储介质
CN113160051B (zh) * 2021-03-30 2023-12-22 珠海全志科技股份有限公司 基于边缘方向的图像插值采样方法及装置
CN116700659B (zh) * 2022-09-02 2024-03-08 荣耀终端有限公司 一种界面交互方法及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030077003A1 (en) * 2001-10-24 2003-04-24 Tiger Color Inc., Image processing method for enlarging and compensating the pixel of digital video data according to viewpoint
JP4846644B2 (ja) * 2007-03-30 2011-12-28 株式会社東芝 映像信号補間装置および映像信号補間方法
JP4874904B2 (ja) * 2007-09-13 2012-02-15 株式会社東芝 画像処理装置及びその方法
CN101436297B (zh) * 2007-11-14 2012-05-30 比亚迪股份有限公司 图像缩放方法
US9794518B2 (en) * 2010-10-21 2017-10-17 Sensormatic Electronics, LLC Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates
CN102129666B (zh) * 2010-12-31 2013-05-01 华亚微电子（上海）有限公司 图像缩放方法及装置
JP5822322B2 (ja) * 2011-09-12 2015-11-24 インテル・コーポレーション ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び３ｄディスプレイ
JP6396022B2 (ja) * 2014-01-21 2018-09-26 住友重機械工業株式会社 出力画像を生成する装置
CN107230180B (zh) * 2016-10-10 2019-04-12 华为技术有限公司 一种全景图像的映射方法、装置和设备
CN106815805A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 基于Bayer图像的快速畸变校正方法
CN107169926A (zh) * 2017-04-26 2017-09-15 腾讯科技（深圳）有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
CN110458755A (zh) 2019-11-15
WO2019214594A1 (zh) 2019-11-14
US20210049735A1 (en) 2021-02-18
US11416965B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
CN110458755B (zh) 图像处理方法、相关设备及计算机存储介质
TWI622021B (zh) 具接合功能的全景影像產生方法及裝置
US8326077B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
US7643676B2 (en) System and method for adaptive interpolation of images from patterned sensors
JP6458988B2 (ja) 画像処理装置および画像処理方法、並びに情報処理装置
AU616879B2 (en) Video image transforming method and apparatus
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
JP4218022B2 (ja) 合成画像を生成する方法
US20190073743A1 (en) Image generating apparatus, image generating method, and program
CN110868541B (zh) 视场融合方法及装置、存储介质、终端
JP2008098803A (ja) 高解像度化装置および方法
CN112508783B (zh) 基于方向插值的图像处理方法、计算机装置及计算机可读存储介质
US8289420B2 (en) Image processing device, camera device, image processing method, and program
US11244431B2 (en) Image processing
CN111292278B (zh) 图像融合方法及装置、存储介质、终端
CN107948547B (zh) 全景视频拼接的处理方法、装置及电子设备
EP3479342A1 (en) Method for the enhancement of digital image resolution by applying a unique processing of partially overlapping low-resolution images
US20110141321A1 (en) Method and apparatus for transforming a lens-distorted image to a perspective image in bayer space
KR101140953B1 (ko) 영상 왜곡 보정 장치 및 방법
CN114648458A (zh) 鱼眼图像矫正方法、装置、电子设备及存储介质
KR20140072470A (ko) 어안 렌즈용 왜곡 영상 처리 방법
US20110032269A1 (en) Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
KR100986607B1 (ko) 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체
JP4925112B2 (ja) 自由視点画像の生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant