CN105550984A - 一种鱼眼图像校正和漫游显示的方法及装置 - Google Patents

一种鱼眼图像校正和漫游显示的方法及装置 Download PDF

Info

Publication number
CN105550984A
CN105550984A CN201511019998.0A CN201511019998A CN105550984A CN 105550984 A CN105550984 A CN 105550984A CN 201511019998 A CN201511019998 A CN 201511019998A CN 105550984 A CN105550984 A CN 105550984A
Authority
CN
China
Prior art keywords
coordinate
pixel
image
development
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511019998.0A
Other languages
English (en)
Other versions
CN105550984B (zh
Inventor
杜瑶
王涛
张彦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201511019998.0A priority Critical patent/CN105550984B/zh
Publication of CN105550984A publication Critical patent/CN105550984A/zh
Application granted granted Critical
Publication of CN105550984B publication Critical patent/CN105550984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例公开了一种鱼眼图像校正和漫游显示的方法及装置，方法包括：确定待校正的鱼眼图像的拍摄角度；根据确定的所述拍摄角度，确定校正后的球面展开图像的高度和宽度；根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点坐标与所述鱼眼图像中每个像素点坐标之间的关系；根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。应用本发明实施例，根据确定的校正后的球面展开图像的拍摄角度，从而确定所述球面展开图像中每个像素点坐标与所述鱼眼图像中每个像素点坐标之间的关系，进而确定球面展开图像中每个像素点的像素值，提高了图像校正的准确性。

Description

一种鱼眼图像校正和漫游显示的方法及装置
技术领域
本发明涉及图像处理领域，特别是涉及一种鱼眼图像校正和漫游显示的方法及装置。
背景技术
鱼眼镜头是一种极端的广角镜头，它的视角力求达到或超出人眼所能看到的范围，视角一般可达到220度或230度。可用于制作基于现实场景的全景图象，广泛用于娱乐、房地产、博物馆、学校等机构的宣传及展示项目。
鱼眼图像即为鱼眼镜头拍摄的图像，通常具有严重的形变，如果要利用鱼眼图像，需要鱼眼图像进行图像校正，其消除其中的形变。
现有技术中，对鱼眼图像进行校正时，无论鱼眼图像是通过什么拍摄角度拍摄的，都采用统一的校正方式，并没有考虑不同拍摄角度对校正过程的影响，因此校正后得到图像并不能有效的消除形变，影响校正后图像的准确性。
发明内容
本发明实施例的目的在于提供一种鱼眼图像校正和漫游显示的方法及装置，可以在校正过程中有效的消除鱼眼图像中的形变，提高校正后图像的准确性。
为了达到上述目的，本发明实施例公开了一种鱼眼图像的校正方法，包括步骤：
确定待校正的鱼眼图像的拍摄角度；
根据确定的所述拍摄角度，确定校正后的球面展开图像的高度和宽度；
根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系；
根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。
可选的，所述确定校正后的球面展开图像的高度和宽度包括：
根据所述拍摄角度，确定该拍摄角度对应的角度拍摄方式；
根据设置的每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间，确定校正后的球面展开图像的高度和宽度。
可选的，所述每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间包括：
当角度拍摄方式为平视拍摄方式时，对应的球面展开图像的高度区间和宽度区间均为[rs,3rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量；
当角度拍摄方式为俯视拍摄方式或仰视拍摄方式时，对应的球面展开图像的高度区间为[0.5rs,1.5rs]，宽度区间为[3rs,5rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量。
可选的，所述根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点坐标与所述鱼眼图像中每个像素点坐标之间的关系，包括：
根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标；并
根据球面展开图像中每个像素点对应在三维球面坐标系中的坐标，确定所述每个像素点在三维球面坐标系中的坐标对应在鱼眼图像中的坐标。
可选的，所述根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，包括：
根据确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，其中，(xd,yd)为球面展开图像中像素点的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别是不同角度拍摄方式下θ和的最大值，xoffset，yoffset是不同角度拍摄方式下鱼眼图像在完整球面展开图像中的偏移量。
可选的，所述根据球面展开图像中每个像素点对应在三维球面坐标系中的坐标，确定所述每个像素点在三维球面坐标系中的坐标对应在鱼眼图像中的坐标，包括：
将所述三维球面坐标系中每个像素点的坐标，转换到笛卡尔坐标系中；
根据所述每个像素点在所述笛卡尔坐标系中的坐标、等距离投影模型及确定的拍摄角度，确定所述每个像素点在笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标；
对投影到二维平面坐标系下的坐标进行去归一化处理，确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系。
可选的，所述根据所述每个像素点在所述笛卡尔坐标系中的坐标、等距离投影模型及确定的拍摄角度，确定所述每个像素点在笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标包括：
当所述拍摄角度对应的角度拍摄方式为平视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + y 2 / z ) * c o s ( arctan ( y / x ) ) y s ′ = c * arctan ( x 2 + y 2 / z ) * s i n ( arctan ( y / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
当所述拍摄角度对应的角度拍摄方式为仰视拍摄方式或俯视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + z 2 / y ) * c o s ( arctan ( z / x ) ) y s ′ = c * arctan ( x 2 + z 2 / y ) * s i n ( arctan ( z / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
可选的，所述对投影到二维平面坐标系下的坐标进行去归一化处理，确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系包括：
根据 x s = x s ′ * r s + w s 2 y s = y s ′ * r s + h s 2 , 确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系，其中，(xs,ys)为鱼眼图像中每个像素点的坐标，ws和hs分为鱼眼图像的像素列数和行数，rs是鱼眼图像中心到达边缘圆的半径中像素点数量，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标。
可选的，所述确定球面展开图像中每个像素点的像素值包括：
根据
Id(xd,yd)＝(1-u)*(1-v)*Is(i,j)+(1-u)*v*Is(i,j+1)+u*(1-v)*Is(i+1,j)+u*v*Is(i+1,j+1)，确定球面展开图像中每个像素点的像素值，其中，(i,j)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的整数部分，(u,v)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的小数部分，Is(xs,ys)为鱼眼图像中坐标为(m,n)的像素点的像素值，Id(xd,yd)为与鱼眼图像中像素点对应的球面展开图上像素点的像素值。
本发明实施例还公开了一种鱼眼图像校正方法的漫游显示方法，包括步骤：
确定待显示的漫游图像的视角、漫游姿态；
根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标；
根据确定的球面展开图像中每个像素点对应的像素值及漫游图像中每个像素点的坐标，确定漫游图像中每个像素点的像素值。
可选的，所述确定待显示的漫游图像的视角、漫游姿态包括：
根据终端设备的外接设备或传感器，确定漫游显示图像的视角和漫游姿态。
可选的，根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，包括：
根据 x m ′ = t a n ( f o v 2 ) * ( 2 x m / h m - w m / h m ) y m ′ = t a n ( f o v 2 ) * ( 2 y m / h m - 1 ) ( x , y , z ) T = R * ( x m ′ , y m ′ , - 1 ) T , 确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，其中，(xm,ym)是待显示的漫游图像中每个像素点的坐标，(x,y,z)是待显示的漫游图像中每个像素点对应在笛卡尔坐标系中的坐标，(xm′,ym′)是中间量坐标，wm和hm分别为待显示的漫游图像的宽度和高度，R是根据漫游姿态确定的旋转矩阵，fov为漫游视角。
可选的，所述根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应的在球面展开图像中的坐标，包括：
根据将所述每个像素点在笛卡尔坐标系中的坐标转换到三维球面坐标系中，(x,y,z)是待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标，其中，(r,θ,)是待显示的漫游图像中每个像素点在三维球面坐标系中的坐标，其中r＝1，(xd,yd)为每个像素点对应在球面展开图像中的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别为球面展开图像对应的鱼眼图像的角度拍摄方式下的θ和的最大值，xoffset，yoffset是球面展开图像对应的鱼眼图像的角度拍摄方式下，鱼眼图像在完整球面展开图像中的偏移量。
为了达到上述目的，本发明实施例还公开了一种鱼眼图像的校正装置，包括：
拍摄角度确定模块，用于确定待校正的鱼眼图像的拍摄角度；
图像尺寸确定模块，用于根据所述待校正的鱼眼图像的拍摄角度，确定校正后的球面展开图像的高度和宽度；
坐标关系确定模块，用于根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系；
像素值确定模块，用于根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。
可选的，所述图像尺寸确定模块具体用于：
根据所述拍摄角度，确定该拍摄角度对应的角度拍摄方式；
根据设置的每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间，确定校正后的球面展开图像的高度和宽度。
可选的，所述图像尺寸确定模块具体用于：
当角度拍摄方式为平视拍摄方式时，对应的球面展开图像的高度区间和宽度区间均为[rs,3rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量；
当角度拍摄方式为俯视拍摄方式或仰视拍摄方式时，对应的球面展开图像的高度区间为[0.5rs,1.5rs]，宽度区间为[3rs,5rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量。
可选的，所述坐标关系确定模块包括：
三维球面坐标确定子模块，用于根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标；
鱼眼图像坐标确定子模块，用于根据球面展开图像中每个像素点对应在三维球面坐标系中的坐标，确定所述每个像素点在三维球面坐标系中的坐标对应在鱼眼图像中的坐标。
可选的，所述三维球面坐标确定子模块具体用于：
根据确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，其中，(xd,yd)为球面展开图像中像素点的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别是不同角度拍摄方式下的θ和的最大值，xoffset,yoffset是不同角度拍摄方式下鱼眼图像在完整球面展开图像中的偏移量。
可选的，所述鱼眼图像坐标确定子模块具体用于：
将所述三维球面坐标系中每个像素点的坐标，转换到笛卡尔坐标系中；
根据所述每个像素点在所述笛卡尔坐标系中的坐标、等距离投影模型及确定的拍摄角度，确定所述每个像素点在笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标；
对投影到二维平面坐标系下的坐标进行去归一化处理，确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系。
可选的，所述鱼眼图像坐标确定子模块具体用于：
当所述拍摄角度对应的角度拍摄方式为平视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + y 2 / z ) * cos ( arctan ( y / x ) ) y s ′ = c * arctan ( x 2 + y 2 / z ) * sin ( arctan ( y / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
当所述拍摄角度对应的角度拍摄方式为仰视拍摄方式或俯视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + z 2 / y ) * cos ( arctan ( z / x ) ) y s ′ = c * arctan ( x 2 + z 2 / y ) * sin ( arctan ( z / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
可选的，所述鱼眼图像坐标确定子模块具体用于：
根据 x s = x s ′ * r s + w s 2 y s = y s ′ * r s + h s 2 , 确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系，其中，(xs,ys)为鱼眼图像中每个像素点的坐标，ws和hs分为鱼眼图像的像素列数和行数，rs是鱼眼图像中心到达边缘圆的半径中像素点数量，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标。
可选的，所述像素值确定模块具体用于：
根据
Id(xd,yd)＝(1-u)*(1-v)*Is(i,j)+(1-u)*v*Is(i,j+1)+u*(1-v)*Is(i+1,j)+u*v*Is(i+1,j+1)，确定球面展开图像中每个像素点的像素值，其中，(i,j)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的整数部分，(u,v)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的小数部分，Is(xs,ys)为鱼眼图像中坐标为(m,n)的像素点的像素值，Id(xd,yd)为与鱼眼图像中像素点对应的球面展开图上像素点的像素值。
本发明实施例还公开了一种鱼眼图像校正装置的漫游显示装置，包括：
参数确定模块，用于确定待显示的漫游图像的视角、漫游姿态；
笛卡尔坐标确定模块，用于根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
球面图像坐标确定模块，用于根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标；
像素值确定模块，用于根据确定的球面展开图像中每个像素点对应的像素值及漫游图像中每个像素点的坐标，确定漫游图像中每个像素点的像素值。
可选的，所述参数确定模块具体用于：
根据终端设备的外接设备或传感器，确定漫游显示图像的视角和漫游姿态。
可选的，所述笛卡尔坐标确定模块具体用于：
根据 x m ′ = t a n ( f o v 2 ) * ( 2 x m / h m - w m / h m ) y m ′ = t a n ( f o v 2 ) * ( 2 y m / h m - 1 ) ( x , y , z ) T = R * ( x m ′ , y m ′ , - 1 ) T , 确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，其中，(xm,ym)是待显示的漫游图像中每个像素点的坐标，(x,y,z)是待显示的漫游图像中每个像素点对应在笛卡尔坐标系中的坐标，(xm′,ym′)是中间量坐标，wm和hm分别为待显示的漫游图像的宽度和高度，R是根据漫游姿态确定的旋转矩阵，fov为漫游视角。
可选的，所述球面图像坐标确定模块具体用于：
根据将所述每个像素点在笛卡尔坐标系中的坐标转换到三维球面坐标系中，其中，(x,y,z)是待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标，其中，(r,θ,)是待显示的漫游图像中每个像素点在三维球面坐标系中的坐标，其中r＝1，(xd,yd)为每个像素点对应在球面展开图像中的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别为球面展开图像对应的鱼眼图像的角度拍摄方式下的θ和的最大值，xoffset，yoffset是球面展开图像对应的鱼眼图像的角度拍摄方式下，鱼眼图像在完整球面展开图像中的偏移量。
由上述的技术方案可见，本发明实施例提供了一种鱼眼图像校正和漫游显示的方法及装置，该校正的方法中通过确定待校正的鱼眼图像的拍摄角度；根据确定的所述拍摄角度，确定校正后的球面展开图像的高度和宽度；根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系；根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。由于本发明实施例中，确定待校正的鱼眼图像的拍摄角度，从而确定所述球面展开图像中每个像素点坐标与所述鱼眼图像中每个像素点坐标之间的关系，进而确定球面展开图像中每个像素点的像素值，因此，提高了图像校正的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明实施例提供的一种鱼眼图像校正方法的流程示意图；
图1B为平视拍摄方式下的鱼眼图像；
图1C为对图1B中的鱼眼图像采用本发明实施例提供的一种鱼眼图像校正方法校正得到的球面展开图像；
图1D为仰视拍摄方式下的鱼眼图像；
图1E为对图1D中的鱼眼图像采用本发明实施例提供的一种鱼眼图像校正方法校正得到的球面展开图像；
图2为本发明实施例提供的一种鱼眼图像校正方法中拍摄角度与角度拍摄方式对应关系示意图；
图3A为本发明实施例提供的一种鱼眼图像校正方法的漫游显示方法的流程示意图；
图3B～3E为采用本发明实施例提供的一种鱼眼图像校正方法的漫游显示方法得到的与图1C中球面展开图像对应的不同视角下的漫游显示图像；
图3F～3I为采用本发明实施例提供的一种鱼眼图像校正方法的漫游显示方法得到的与图1E中球面展开图像对应的不同视角下的漫游显示图像；
图4为本发明实施例提供的一种鱼眼图像校正装置的结构示意图；
图5为本发明实施例提供的一种鱼眼图像校正装置的漫游显示装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过具体实施例，对发明进行详细说明。
图1A为本发明实施例发明提供的一种鱼眼图像校正方法的流程示意图，该方法应用于终端设备，包括如下步骤：
步骤S101：确定待校正的鱼眼图像的拍摄角度。
鱼眼图像的拍摄角度可以通过鱼眼镜头所在的全景设备获取，并输入到终端设备中，或者也可以是用户确定拍摄角度，并将该拍摄角度作为确定的待校正的鱼眼图像的拍摄角度。
通过鱼眼镜头所在的全景设备获取鱼眼图像的拍摄角度属于现有技术，在本发明实施例中对该过程不进行赘述。
步骤S102：根据确定的所述拍摄角度，确定校正后的球面展开图像的高度和宽度。
具体的，可以预先设置每种拍摄角度与校正后的球面展开图像的高度和宽度区间的对应关系，并将该对应关系保存在终端设备中，当终端设备确定了待校正的鱼眼图像的拍摄角度后，根据该对应关系，确定校正后的球面展开图像的高度和宽度。
步骤S103：根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系。
步骤S104：根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。
具体的，鱼眼图像中每个像素点的横纵坐标都是整数，相应的球面展开图像中每个像素点的横纵坐标也都是整数。在本发明实施例中确定了球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系，也就是说将球面展开图像中每个像素点的坐标用鱼眼图像中相应的像素点的坐标来表示。为了确定球面展开图像中每个像素点的颜色，需要根据上述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系，确定该球面展开图像中每个像素点在鱼眼图像中对应的像素点。针对每个已知的球面展开图像中的像素点的坐标，根据上述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系，可以确定与该像素点对应的鱼眼图像中的像素点的坐标。
但是根据上述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系，当已知球面展开图像中的像素点的坐标时，确定的与该像素点对应的鱼眼图像中的像素点的坐标往往不是整数，当该坐标不是整数时，不能在鱼眼图像中查找到相应的像素点。因此，在本发明实施例中，针对球面展开图像中的每个像素点，当根据上述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系，确定与该像素点对应的鱼眼图像中的像素点的坐标时，如果鱼眼图像中的像素点的坐标非整数，则将该非整数进行取整操作，将取整后的坐标对应的像素点的像素值，确定为球面展开图像中像素点的像素值。
具体的该取整操作，可以简单的去除小数部分的操作，例如得到的坐标为12.43和21.54，则经取整操作后分别为12和21，或者取整操作也可以是对坐标进行四舍五入操作，还以坐标为12.43和21.54为例，进行四舍五入操作后分别为12和22。当然在具体实施时，也可以选择其他的取整操作方式，只要能够保证得到该坐标对应的整数即可。
采用本发明实施例，当角度拍摄方式为平视拍摄方式时，确定的鱼眼图像如图1B所示，图1B中的鱼眼图像对应的球面展开图像如图1C所示；当角度拍摄方式为仰视拍摄方式时，确定的鱼眼图像如图1D所示，图1D中的鱼眼图像对应的球面展开图像如图1E所示
应用本发明实施例所提供的技术方案，根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系，进而确定球面展开图像中每个像素点的像素值，实现对不同拍摄角度下的鱼眼图像采用统一的校正方法进行校正，提高了图像校正的准确性。
在本发明的图1A所示实施方式的基础上，本发明的一个实施例中，所述确定校正后的球面展开图像的高度和宽度包括：
根据所述拍摄角度，确定该拍摄角度对应的角度拍摄方式；
根据设置的每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间，确定校正后的球面展开图像的高度和宽度。
在本发明实施例中每个拍摄角度对应相应的角度拍摄方式，角度拍摄方式主要包括平视拍摄方式、俯视拍摄方式和仰视拍摄方式。其中每种角度拍摄方式包括多个连续的拍摄角度。如图2所示，拍摄角度可能为0度至360度，以0度水平线为基准，按照逆时针方向定义每个拍摄角度，那么，平视拍摄方式包括的拍摄角度为0度到45度，135度到180度，180度到225度以及315度到360度，俯视拍摄方式包括的拍摄角度为225度到315度，仰视拍摄方式包括的拍摄角度为45度到135度。当然也可以是其他的角度范围，在本发明实施例中对此不再进行赘述。
采用本发明实施例，建立了每个拍摄角度与相应的角度拍摄方式的对应关系，并针对每种角度拍摄方式保存其对应的球面展开图像的高度区间和宽度区间，因此在终端设备中无需针对每个拍摄角度都保存相应的球面展开图像的高度和宽度，大大减少了终端设备的存储数据量，方便终端设备进行高度和宽度的查找，提高了终端设备的处理速度，及鱼眼图像的校正效率。
在本发明的图1A所示实施方式的基础上，每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间包括：在本发明实施例中保存有每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间，每种角度拍摄方式对应的高度区间和宽度区间可以完全不同，也可以有部分重叠。根据每个高度区间和宽度区间中保存的数据，在确定校正后的球面展开图像的高度和宽度时，可以在对应的高度和宽度区间中任意选择一个值作为校正后的球面展开图像的高度和宽度。
当然为了保证得到的球面展开图像的准确性，有效的消除图像失真，在本发明的另一个实施例中，所述每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间包括：
当角度拍摄方式为平视拍摄方式时，对应的球面展开图像的高度区间和宽度区间均为[rs,3rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量；
当角度拍摄方式为俯视拍摄方式或仰视拍摄方式时，对应的球面展开图像的高度区间为[0.5rs,1.5rs]，宽度区间为[3rs,5rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量。
采用本发明的上述实施例可以有效的提高校正图像的质量，将图像形变程度降到最低。较佳地，当角度拍摄方式为平视拍摄方式时，确定对应的球面展开图像的高度和宽度均为2rs；当角度拍摄方式为俯视拍摄方式或仰视拍摄方式时，确定对应的球面展开图像的高度为rs，宽度为4rs，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量。
在本发明的图1A所示实施方式的基础上，在本发明的一个实施例中，所述根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点坐标与所述鱼眼图像中每个像素点坐标之间的关系，包括：
根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标；并根据球面展开图像中每个像素点对应在三维球面坐标系中的坐标，确定所述每个像素点在三维球面坐标系中的坐标对应在鱼眼图像中的坐标。
具体确定过程如下：
首先，根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标。
根据确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，其中，(xd,yd)为球面展开图像中像素点的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别是不同角度拍摄方式下θ和的最大值，xoffset，yoffset是不同角度拍摄方式下鱼眼图像在完整球面展开图像中的偏移量。其中，球面展开图中每个像素点的坐标的确定属于现有技术，在本发明实施例中对此不进行赘述。
具体的，xoffset，yoffset是不同角度拍摄方式下鱼眼图像在完整的360°球面展开图像中的偏移量，rangex，rangey及xoffset，yoffset的取值如下：
当角度拍摄方式为平视拍摄方式时，取xoffset＝yoffset＝0.5，rangex＝rangey＝π。
当角度拍摄方式为仰视拍摄方式时，取xoffset＝0.5，yoffset＝0，rangex＝2π， range y = π 2 .
当角度拍摄方式为俯视拍摄方式时，取xoffset＝0.5，yoffset＝1，rangex＝2π， range y = π 2 .
其次，根据将所述三维球面坐标系中每个像素点的坐标转换到笛卡尔坐标系中。
确定三维球面坐标系以及笛卡尔坐标系属于现有技术，在本发明实施例中对该过程不进行赘述。
再次，根据所述每个像素点在所述笛卡尔坐标系中的坐标、等距离投影模型及确定的拍摄角度，确定所述每个像素点在笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标。
当所述拍摄角度对应的角度拍摄方式为平视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + y 2 / z ) * cos ( arctan ( y / x ) ) y s ′ = c * arctan ( x 2 + y 2 / z ) * sin ( arctan ( y / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标采用的等距离投影模型属于现有技术，在本发明实施例中对该过程不进行赘述。
当所述拍摄角度对应的角度拍摄方式为仰视拍摄方式或俯视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + z 2 / y ) * cos ( arctan ( z / x ) ) y s ′ = c * arctan ( x 2 + z 2 / y ) * sin ( arctan ( z / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
最后，对投影到二维平面坐标系下的坐标进行去归一化处理，确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系。
根据 x s = x s ′ * r s + w s 2 y s = y s ′ * r s + h s 2 , 确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系，其中，(xs,ys)为鱼眼图像中每个像素点的坐标，ws和hs分为鱼眼图像的像素列数和行数，rs是鱼眼图像中心到达边缘圆的半径中像素点数量，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标。确定鱼眼图像中每个像素点的坐标属于现有技术，在本发明实施例中对该过程不进行赘述。
在本发明的图1A所示实施方式的基础上，本发明提供的另一个实施方式中，所述确定球面展开图像中每个像素点的像素值包括：
根据
Id(xd,yd)＝(1-u)*(1-v)*Is(i,j)+(1-u)*v*Is(i,j+1)+u*(1-v)*Is(i+1,j)+u*v*Is(i+1,j+1)，确定球面展开图像中每个像素点的像素值，其中，(i,j)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的整数部分，(u,v)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的小数部分，Is(xs,ys)为鱼眼图像中坐标为(m,n)的像素点的像素值，Id(xd,yd)为与鱼眼图像中像素点对应的球面展开图上像素点的像素值。
本实施方式采用插值算法来确定球面展开图像中每个像素点的像素值，其原因在于，如果直接将计算得到的非整数鱼眼图像中像素点坐标做取整操作，可能会出现连续两次取的是同一个整数坐标的像素点的像素值，或者连续两次取的是相邻的整数坐标像素点的像素值，这样可能就会漏掉一些像素点，导致校正后的图像不平滑，质量下降。因此，针对计算得到的鱼眼图像中像素点的坐标不是整数的情况，采用插值算法针对像素点坐标的整数部分与小数部分分别处理，可以准确的将鱼眼图像中每个像素点对应的像素值填充到球面展开图像中的对应的每个像素点中，从而使校正得到的球面展开图像更加平滑，图像质量较高。
应用本发明实施例所提供的技术方案，根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系，进而确定球面展开图像中每个像素点的像素值，实现对不同拍摄角度下的鱼眼图像采用统一的校正方法进行校正，提高了图像校正的准确性。
现有技术中，根据鱼眼图像校正后的球面展开图像进行漫游显示时，漫游姿势与实际姿势不符，即漫游显示的图像与真实方位不一致，导致漫游显示不能兼容360°的球面全景展开图，不适合头戴设备播放。因此，本发明实施例提供了一种鱼眼图像校正方法的漫游显示方法。
图3A为本发明实施例提供的一中鱼眼图像校正方法的漫游显示方法的流程示意图，该方法应用于终端设备，包括如下步骤：
步骤S301：确定待显示的漫游图像的视角、漫游姿态。
所述终端设备可以为电脑、移动或头戴设备。
步骤S302：根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标。
步骤S303：根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标；
步骤S304：根据确定的球面展开图像中每个像素点对应的像素值及漫游图像中每个像素点的坐标，确定漫游图像中每个像素点的像素值。
本发明实施例中，将漫游图像中每个像素点对应在球面展开图中每个像素点的像素值直接填充到漫游图像中每个像素点，这样可以有效保证球面展开图中每个像素点都可以在漫游显示时得到充分利用，使得漫游显示图像兼容360°的球面全景展开图像，支持头戴设备的播放。
在本发明的图3A所示实施方式的基础上，本发明提供的一个实施方式中，所述确定待显示的漫游图像的视角、漫游姿态包括：
根据终端设备的外接设备或传感器，确定漫游显示图像的视角和漫游姿态。
当终端设备是电脑时，根据电脑连接的鼠标或键盘，确定漫游显示图像的视角和漫游姿态；当终端设备是移动或头戴设备时，根据移动或头戴设备的传感器，确定漫游显示图像的视角和漫游姿态。
具体的，当终端设备是电脑时，可以通过向上、向下滚动鼠标的滚轮或者对键盘表示向上、向下方位的按键进行操作，来确定漫游显示图像的视角。漫游显示图像的视角变化具体表现为图像的放大或者缩小，当鼠标滚轮向上滚动或者按下键盘中向上的按键时，球面展开图像进行相应的放大，对应的漫游显示图像视角会变小；当鼠标滚轮向下滚动或者按下键盘中向下的按键时，球面展开图像进行相应的缩小，对应的漫游显示图像视角会变大。
本发明实施例中，在原始球面展开图像的基础上，使用鼠标滚轮或者键盘向上、向下方位按键对球面展开图像每进行一次操作，球面展开图像对应的漫游显示图像的视角会按照预设的角度值进行相应的变化，鼠标滚轮向上滚动一次或者按一次键盘中向上的按键时，漫游显示图像的视角会减小预设角度值，鼠标滚轮向下滚动一次或者按一次键盘中向下的按键时，漫游显示图像的视角会增大预设角度值，当对球面展开图像执行多次上述操作，漫游显示图像的视角达到预设最大阈值或者最小阈值后，对球面展开图像再执行上述操作，漫游显示图像的视角不再进行相应的变化。例如，设置原始球面展开图像对应的原始漫游显示图像的视角为60度，漫游显示图像的视角最大阈值为110度，最小阈值为10度，鼠标滚轮或者键盘方位键操作一次角度值变化5度，那么，对原始球面展开图像执行鼠标滚轮向上滚动一次或者按一次键盘中向上的按键时，当前漫游显示图像的视角变为55度，对当前球面展开图像重复执行鼠标滚轮向上滚动一次或者按一次键盘中向上的按键操作，则漫游显示图像的视角变为50度；同理，对原始球面展开图像执行鼠标滚轮向下滚动一次或者按一次键盘中向下的按键时，当前漫游显示图像的视角变为65度。当然，鼠标滚轮或者键盘方位键操作一次角度值的变化也可以设置成其他角度值，如10度或者15度，原始漫游显示图像的视角、预设最大或者最小阈值也可以为其他角度，这里不再进行赘述。
当终端设备是移动或者头戴设备时，一般根据移动或者头戴设备的型号确定，其对应漫游显示图像的视角也就确定，但也有些移动或者头戴设备具有视角可调功能，那么，用户在使用时，可以根据需要通过调节按钮对视角进行调节。具体的，可以通过顺时针或者逆时针旋转调节按钮来调节漫游显示图像的视角，调节按钮每调节一定的角度，漫游显示图像的视角会按照预设角度值进行相应的变化，顺时针旋转调节按钮一定的角度，漫游显示图像的视角增大预设角度值，逆时针旋转调节按钮一定的角度，漫游显示图像的视角减小预设角度值。当多次旋转调节按钮，漫游显示图像的视角达到预设的最大阈值或者最小阈值后，漫游显示图像的视角不再变化。例如，设置调节按钮每旋转15度漫游显示图像的视角变化5度，漫游显示图像的视角最大阈值为110度，最小阈值为10度，假设，设置原始球面展开图像对应的原始漫游显示图像的视角为60度。那么，顺时针旋转调节按钮15度，漫游显示图像的视角变为65度，在此基础上，再次顺时针旋转调节按钮15度，漫游显示图像的视角就变为70度；同理，在原始球面展开图像对应的原始漫游显示图像的基础上，逆时针旋转调节按钮15度，漫游显示图像的视角就变为55度。当然，漫游显示图像视角变化5度对应的调节按钮的旋转角度可以设置成其他值，如10度或者20度，调节按钮旋转15度对应的漫游显示图像视角的角度变化值也可以设置成其他值，如10度或者15度，漫游显示图像视角预设的最大或者最小阈值也可以为其他角度，这里不再进行赘述。
漫游姿态是指在由球面展开图像生成对应的漫游显示图像时，相对于球面展开图像的中心点视线的偏移方位与偏移角度，例如在球面展开图像的中心点，视线向左偏移30度或者向上偏移45度，偏移的方位可以是向上、向下、向左及向右，偏移角度可以为0度到360度范围内的每一个角度。当终端设备是电脑时，可以通过鼠标指针相对于球面展开图像中心点的偏移方位与角度确定漫游姿态，也可以通过键盘中表示方位的按键确定漫游姿态。当终端设备是移动或者头戴设备时，通过确定移动设备的移动方向和角度，或者头戴设备用户头部移动的方向和角度，确定对应的漫游姿态。
在本发明的图3A所示实施方式的基础上，本发明提供的一个实施方式中，所述根据视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，包括：
根据 x m ′ = t a n ( f o v 2 ) * ( 2 x m / h m - w m / h m ) y m ′ = t a n ( f o v 2 ) * ( 2 y m / h m - 1 ) ( x , y , z ) T = R * ( x m ′ , y m ′ , - 1 ) T , 确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，其中，(xm,ym)是待显示的漫游图像中每个像素点的坐标，(x,y,z)是待显示的漫游图像中每个像素点对应在笛卡尔坐标系中的坐标，(xm′,ym′)是中间量坐标，wm和hm分别为待显示的漫游图像的宽度和高度，R是根据漫游姿态确定的旋转矩阵，fov为漫游视角。
根据漫游姿态确定旋转矩阵R的过程属于现有技术，本发明实施例中不再赘述。
在本发明的图3A所示实施方式的基础上，本发明提供的一个实施方式中，根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标，包括：
根据将所述每个像素点在笛卡尔坐标系中的坐标，转换到三维球面坐标系中，(x,y,z)是待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标，其中，(r,θ,)是待显示的漫游图像中每个像素点在三维球面坐标系中的坐标，其中r＝1，(xd,yd)为每个像素点对应在球面展开图像中的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别为球面展开图像对应的鱼眼图像的角度拍摄方式下的θ和的最大值，xoffset，yoffset是球面展开图像对应的鱼眼图像的角度拍摄方式下，鱼眼图像在完整球面展开图像中的偏移量。
具体的，xoffset，yoffset是不同角度拍摄方式下鱼眼图像在完整的360°球面展开图像中的偏移量，rangex，rangey及xoffset，yoffset的取值如下：
当角度拍摄方式为平视拍摄方式时，取xoffset＝yoffset＝0.5，rangex＝rangey＝π。
当角度拍摄方式为仰视拍摄方式时，取xoffset＝0.5，yoffset＝0，rangex＝2π， range y = π 2 .
当角度拍摄方式为俯视拍摄方式时，取xoffset＝0.5，yoffset＝1，rangex＝2π， range y = π 2 .
采用本发明实施例，与图1C中球面展开图像对应的不同视角下的漫游显示图像如图3B～3E所示；与图1E中球面展开图像对应的不同视角下的漫游显示图像如图3F～3I所示。
应用本发明实施例所提供的技术方案，根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标；根据确定的球面展开图像中每个像素点对应的像素值及漫游图像中每个像素点的坐标，确定漫游图像中每个像素点的像素值。使得漫游显示图像兼容360°的球面全景展开图像，支持头戴设备的播放。
图4为本发明实施例提供的一中鱼眼图像校正装置的结构示意图，与图1A相对应，包括拍摄角度确定模块41、图像尺寸确定模块42、坐标关系确定模块43、像素值确定模块44。
拍摄角度确定模块41，用于确定待校正的鱼眼图像的拍摄角度；
图像尺寸确定模块42，用于根据所述待校正的鱼眼图像的拍摄角度，确定校正后的球面展开图像的高度和宽度；
坐标关系确定模块43，用于根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系；
像素值确定模块44，用于根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。
所述图像尺寸确定模块42，具体用于：当角度拍摄方式为平视拍摄方式时，对应的球面展开图像的高度区间和宽度区间均为[rs,3rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量；
当角度拍摄方式为俯视拍摄方式或仰视拍摄方式时，对应的球面展开图像的高度区间为[0.5rs,1.5rs]，宽度区间为[3rs,5rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量。
所述坐标关系确定模块43，包括：
三维球面坐标确定子模块431，具体用于根据确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，其中，(xd,yd)为球面展开图像中像素点的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别是不同角度拍摄方式下的θ和的最大值，xoffset,yoffset是不同角度拍摄方式下鱼眼图像在完整球面展开图像中的偏移量。
鱼眼图像坐标确定子模块432，具体用于：将所述三维球面坐标系中每个像素点的坐标，转换到笛卡尔坐标系中；
当所述拍摄角度对应的角度拍摄方式为平视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + y 2 / z ) * cos ( arctan ( y / x ) ) y s ′ = c * arctan ( x 2 + y 2 / z ) * sin ( arctan ( y / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
当所述拍摄角度对应的角度拍摄方式为仰视拍摄方式或俯视拍摄方式时，
根据 x s ′ = c * arctan ( x 2 + z 2 / y ) * cos ( arctan ( z / x ) ) y s ′ = c * arctan ( x 2 + z 2 / y ) * sin ( arctan ( z / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
根据 x s = x s ′ * r s + w s 2 y s = y s ′ * r s + h s 2 , 确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系，其中，(xs,ys)为鱼眼图像中每个像素点的坐标，ws和hs分为鱼眼图像的像素列数和行数，rs是鱼眼图像中心到达边缘圆的半径中像素点数量，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标。
所述像素值确定模块44，具体用于：
根据
Id(xd,yd)＝(1-u)*(1-v)*Is(i,j)+(1-u)*v*Is(i,j+1)+u*(1-v)*Is(i+1,j)+u*v*Is(i+1,j+1)，确定球面展开图像中每个像素点的像素值，其中，(i,j)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的整数部分，(u,v)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的小数部分，Is(xs,ys)为鱼眼图像中坐标为(m,n)的像素点的像素值，Id(xd,yd)为与鱼眼图像中像素点对应的球面展开图上像素点的像素值。
图5为本发明实施例提供的一种鱼眼图像校正装置的漫游显示装置的结构示意图，与图3A相对应，包括参数确定模块51、笛卡尔坐标确定模块52、球面图像坐标确定模块53、像素值确定模块54。
其中，参数确定模块51，用于根据终端设备的外接设备或传感器，确定漫游显示图像的视角和漫游姿态。
笛卡尔坐标确定模块52，用于根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标。
所述笛卡尔坐标确定模块52，具体用于：
根据 x m ′ = t a n ( f o v 2 ) * ( 2 x m / h m - w m / h m ) y m ′ = t a n ( f o v 2 ) * ( 2 y m / h m - 1 ) ( x , y , z ) T = R * ( x m ′ , y m ′ , - 1 ) T , 确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，其中，(xm,ym)是待显示的漫游图像中每个像素点的坐标，(x,y,z)是待显示的漫游图像中每个像素点对应在笛卡尔坐标系中的坐标，(xm′,ym′)是中间量坐标，wm和hm分别为待显示的漫游图像的宽度和高度，R是根据漫游姿态确定的旋转矩阵，fov为漫游视角。
球面图像坐标确定模块53，用于根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标。
所述球面图像坐标确定模块53，具体用于：
根据将所述每个像素点在笛卡尔坐标系中的坐标转换到三维球面坐标系中，其中，(x,y,z)是待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标，其中，(r,θ,)是待显示的漫游图像中每个像素点在三维球面坐标系中的坐标，其中(r＝1)，(xd,yd)为每个像素点对应在球面展开图像中的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别为球面展开图像对应的鱼眼图像的角度拍摄方式下的θ和的最大值，xoffset，yoffset是球面展开图像对应的鱼眼图像的角度拍摄方式下，鱼眼图像在完整球面展开图像中的偏移量。
像素值确定模块54，用于根据确定的球面展开图像中每个像素点对应的像素值及漫游图像中每个像素点的坐标，确定漫游图像中每个像素点的像素值。
本发明实施例提供一种鱼眼图像校正和漫游显示的方法及装置，通过确定待校正的鱼眼图像的拍摄角度；根据确定的所述拍摄角度，确定校正后的球面展开图像的高度和宽度；根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系；根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。由于本发明实施例中，根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点坐标与所述鱼眼图像中每个像素点坐标之间的关系，进而确定球面展开图像中每个像素点的像素值，因此，提高了图像校正的准确性。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (26)

1.一种鱼眼图像的校正方法，其特征在于，应用于终端设备，所述方法包括：
确定待校正的鱼眼图像的拍摄角度；
根据确定的所述拍摄角度，确定校正后的球面展开图像的高度和宽度；
根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系；
根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。
2.根据权利要求1所述的方法，其特征在于，所述确定校正后的球面展开图像的高度和宽度包括：
根据所述拍摄角度，确定该拍摄角度对应的角度拍摄方式；
根据设置的每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间，确定校正后的球面展开图像的高度和宽度。
3.根据权利要求2所述的方法，其特征在于，所述每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间包括：
当角度拍摄方式为平视拍摄方式时，对应的球面展开图像的高度区间和宽度区间均为[rs,3rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量；
当角度拍摄方式为俯视拍摄方式或仰视拍摄方式时，对应的球面展开图像的高度区间为[0.5rs,1.5rs]，宽度区间为[3rs,5rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量。
4.根据权利要求1所述的方法，其特征在于，所述根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点坐标与所述鱼眼图像中每个像素点坐标之间的关系，包括：
根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标；并
根据球面展开图像中每个像素点对应在三维球面坐标系中的坐标，确定所述每个像素点在三维球面坐标系中的坐标对应在鱼眼图像中的坐标。
5.根据权利要求4所述的方法，其特征在于，所述根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，包括：
根据确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，其中，(xd,yd)为球面展开图像中像素点的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别是不同角度拍摄方式下θ和的最大值，xoffset，yoffset是不同角度拍摄方式下鱼眼图像在完整球面展开图像中的偏移量。
6.根据权利要求4所述的方法，其特征在于，所述根据球面展开图像中每个像素点对应在三维球面坐标系中的坐标，确定所述每个像素点在三维球面坐标系中的坐标对应在鱼眼图像中的坐标，包括：
将所述三维球面坐标系中每个像素点的坐标，转换到笛卡尔坐标系中；
根据所述每个像素点在所述笛卡尔坐标系中的坐标、等距离投影模型及确定的拍摄角度，确定所述每个像素点在笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标；
对投影到二维平面坐标系下的坐标进行去归一化处理，确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系。
7.根据权利要求6所述的方法，其特征在于，所述根据所述每个像素点在所述笛卡尔坐标系中的坐标、等距离投影模型及确定的拍摄角度，确定所述每个像素点在笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标包括：
当所述拍摄角度对应的角度拍摄方式为平视拍摄方式时，
根据 x s ′ = c * a r c t a n ( x 2 + y 2 / z ) * c o s ( a r c t a n ( y / x ) ) y s ′ = c * a r c t a n ( x 2 + y 2 / z ) * s i n ( a r c t a n ( y / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
当所述拍摄角度对应的角度拍摄方式为仰视拍摄方式或俯视拍摄方式时，
根据 x s ′ = c * a r c t a n ( x 2 + z 2 / y ) * c o s ( a r c t a n ( z / x ) ) y s ′ = c * a r c t a n ( x 2 + z 2 / y ) * s i n ( a r c t a n ( z / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
8.根据权利要求6所述的方法，其特征在于，所述对投影到二维平面坐标系下的坐标进行去归一化处理，确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系包括：
根据 x s = x s ′ * r s + w s 2 y s = y s ′ * r s + h s 2 , 确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系，其中，(xs,ys)为鱼眼图像中每个像素点的坐标，ws和hs分为鱼眼图像的像素列数和行数，rs是鱼眼图像中心到达边缘圆的半径中像素点数量，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标。
9.根据权利要求1所述方法，其特征在于，所述确定球面展开图像中每个像素点的像素值包括：
根据
Id(xd,yd)＝(1-u)*(1-v)*Is(i,j)+(1-u)*v*Is(i,j+1)+u*(1-v)*Is(i+1,j)+u*v*Is(i+1,j+1)，确定球面展开图像中每个像素点的像素值，其中，(i,j)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的整数部分，(u,v)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的小数部分，Is(xs,ys)为鱼眼图像中坐标为(m,n)的像素点的像素值，Id(xd,yd)为与鱼眼图像中像素点对应的球面展开图上像素点的像素值。
10.一种基于权利要求1-9任一项所述鱼眼图像校正方法的漫游显示方法，其特征在于，所述方法包括：
确定待显示的漫游图像的视角、漫游姿态；
根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标；
根据确定的球面展开图像中每个像素点对应的像素值及漫游图像中每个像素点的坐标，确定漫游图像中每个像素点的像素值。
11.根据权利要求10所述的方法，其特征在于，所述确定待显示的漫游图像的视角、漫游姿态包括：
根据终端设备的外接设备或传感器，确定漫游显示图像的视角和漫游姿态。
12.根据权利要求10所述的方法，其特征在于，根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，包括：
根据 x m ′ = t a n ( f o v 2 ) * ( 2 x m / h m - w m / h m ) y m = t a n ( f o v 2 ) * ( 2 y m / h m - 1 ) ( x , y , z ) T = R * ( x m ′ , y m ′ , - 1 ) T , 确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，其中，(xm,ym)是待显示的漫游图像中每个像素点的坐标，(x,y,z)是待显示的漫游图像中每个像素点对应在笛卡尔坐标系中的坐标，(xm′,ym′)是中间量坐标，wm和hm分别为待显示的漫游图像的宽度和高度，R是根据漫游姿态确定的旋转矩阵，fov为漫游视角。
13.根据权利要求10所述的方法，其特征在于，所述根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应的在球面展开图像中的坐标，包括：
根据将所述每个像素点在笛卡尔坐标系中的坐标转换到三维球面坐标系中，(x,y,z)是待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标，其中，是待显示的漫游图像中每个像素点在三维球面坐标系中的坐标，其中r＝1，(xd,yd)为每个像素点对应在球面展开图像中的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别为球面展开图像对应的鱼眼图像的角度拍摄方式下的θ和的最大值，xoffset，yoffset是球面展开图像对应的鱼眼图像的角度拍摄方式下，鱼眼图像在完整球面展开图像中的偏移量。
14.一种鱼眼图像的校正装置，其特征在于，所述装置包括：
拍摄角度确定模块，用于确定待校正的鱼眼图像的拍摄角度；
图像尺寸确定模块，用于根据所述待校正的鱼眼图像的拍摄角度，确定校正后的球面展开图像的高度和宽度；
坐标关系确定模块，用于根据确定的校正后的球面展开图像的高度、宽度及所述拍摄角度，确定所述球面展开图像中每个像素点的坐标与所述鱼眼图像中每个像素点坐标之间的关系；
像素值确定模块，用于根据所述关系及鱼眼图像中相应像素点的像素值，确定球面展开图像中每个像素点的像素值。
15.根据权利要求14所述的装置，其特征在于，所述图像尺寸确定模块具体用于：
根据所述拍摄角度，确定该拍摄角度对应的角度拍摄方式；
根据设置的每种角度拍摄方式对应的球面展开图像的高度区间和宽度区间，确定校正后的球面展开图像的高度和宽度。
16.根据权利要求15所述的装置，其特征在于，所述图像尺寸确定模块具体用于：
当角度拍摄方式为平视拍摄方式时，对应的球面展开图像的高度区间和宽度区间均为[rs,3rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量；
当角度拍摄方式为俯视拍摄方式或仰视拍摄方式时，对应的球面展开图像的高度区间为[0.5rs,1.5rs]，宽度区间为[3rs,5rs]，其中，rs为鱼眼图像中心到达边缘圆的半径中像素点数量。
17.根据权利要求14所述的装置，其特征在于，所述坐标关系确定模块包括：
三维球面坐标确定子模块，用于根据校正后的球面展开图像的高度、宽度及所述拍摄角度，确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标；
鱼眼图像坐标确定子模块，用于根据球面展开图像中每个像素点对应在三维球面坐标系中的坐标，确定所述每个像素点在三维球面坐标系中的坐标对应在鱼眼图像中的坐标。
18.根据权利要求17所述的装置，其特征在于，所述三维球面坐标确定子模块具体用于：
根据确定球面展开图像中每个像素点对应在三维球面坐标系中的坐标，其中，(xd,yd)为球面展开图像中像素点的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别是不同角度拍摄方式下的θ和的最大值，xoffset,yoffset是不同角度拍摄方式下鱼眼图像在完整球面展开图像中的偏移量。
19.根据权利要求17所述的装置，其特征在于，所述鱼眼图像坐标确定子模块具体用于：
将所述三维球面坐标系中每个像素点的坐标，转换到笛卡尔坐标系中；
根据所述每个像素点在所述笛卡尔坐标系中的坐标、等距离投影模型及确定的拍摄角度，确定所述每个像素点在笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标；
对投影到二维平面坐标系下的坐标进行去归一化处理，确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系。
20.根据权利要求19所述的装置，其特征在于，所述鱼眼图像坐标确定子模块具体用于：
当所述拍摄角度对应的角度拍摄方式为平视拍摄方式时，
根据 x s ′ = c * a r c t a n ( x 2 + y 2 / z ) * c o s ( a r c t a n ( y / x ) ) y s ′ = c * a r c t a n ( x 2 + y 2 / z ) * s i n ( a r c t a n ( y / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
当所述拍摄角度对应的角度拍摄方式为仰视拍摄方式或俯视拍摄方式时，
根据 x s ′ = c * a r c t a n ( x 2 + z 2 / y ) * c o s ( a r c t a n ( z / x ) ) y s ′ = c * a r c t a n ( x 2 + z 2 / y ) * s i n ( a r c t a n ( z / x ) ) , 确定所述每个像素点在所述笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，其中，(x,y,z)是每个像素点在所述笛卡尔坐标系中的坐标，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标，
21.根根据权利要求19所述的装置，其特征在于，所述鱼眼图像坐标确定子模块具体用于：
根据 x s = x s ′ * r s + w s 2 y s = y s ′ * r s + h s 2 , 确定去归一化后二维平面坐标系下的对应坐标与鱼眼图像中对应坐标的关系，其中，(xs,ys)为鱼眼图像中每个像素点的坐标，ws和hs分为鱼眼图像的像素列数和行数，rs是鱼眼图像中心到达边缘圆的半径中像素点数量，(xs′,ys′)是笛卡尔坐标系中的坐标投影到二维平面坐标系下的坐标。
22.根据权利要求14所述的装置，其特征在于，所述像素值确定模块具体用于：
根据
Id(xd,yd)＝(1-u)*(1-v)*Is(i,j)+(1-u)*v*Is(i,j+1)+u*(1-v)*Is(i+1,j)+u*v*Is(i+1,j+1)，确定球面展开图像中每个像素点的像素值，其中，(i,j)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的整数部分，(u,v)为鱼眼图像中坐标为(m,n)的像素点的横纵坐标的小数部分，Is(xs,ys)为鱼眼图像中坐标为(m,n)的像素点的像素值，Id(xd,yd)为与鱼眼图像中像素点对应的球面展开图上像素点的像素值。
23.一种基于权利要求14-22任一项所述鱼眼图像校正装置的漫游显示装置，其特征在于，所述装置包括：
参数确定模块，用于确定待显示的漫游图像的视角、漫游姿态；
笛卡尔坐标确定模块，用于根据所述视角、漫游姿态，确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
球面图像坐标确定模块，用于根据所述每个像素点在笛卡尔坐标系中的坐标，确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标；
像素值确定模块，用于根据确定的球面展开图像中每个像素点对应的像素值及漫游图像中每个像素点的坐标，确定漫游图像中每个像素点的像素值。
24.根据权利要求23所述的装置，其特征在于，所述参数确定模块具体用于：
根据终端设备的外接设备或传感器，确定漫游显示图像的视角和漫游姿态。
25.根据权利要求23所述的装置，其特征在于，所述笛卡尔坐标确定模块具体用于：
根据 x m ′ = t a n ( f o v 2 ) * ( 2 x m / h m - w m / h m ) y m = t a n ( f o v 2 ) * ( 2 y m / h m - 1 ) ( x , y , z ) T = R * ( x m ′ , y m ′ , - 1 ) T , 确定待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标，其中，(xm,ym)是待显示的漫游图像中每个像素点的坐标，(x,y,z)是待显示的漫游图像中每个像素点对应在笛卡尔坐标系中的坐标，(xm′,ym′)是中间量坐标，wm和hm分别为待显示的漫游图像的宽度和高度，R是根据漫游姿态确定的旋转矩阵，fov为漫游视角。
26.根据权利要求23所述的装置，其特征在于，所述球面图像坐标确定模块具体用于：
根据将所述每个像素点在笛卡尔坐标系中的坐标转换到三维球面坐标系中，其中，(x,y,z)是待显示的漫游图像中每个像素点在笛卡尔坐标系中的坐标；
根据确定待显示的漫游图像中每个像素点对应在球面展开图像中的坐标，其中，是待显示的漫游图像中每个像素点在三维球面坐标系中的坐标，其中r＝1，(xd,yd)为每个像素点对应在球面展开图像中的坐标，wd和hd分别为球面展开图像的宽度和高度，rangex，rangey分别为球面展开图像对应的鱼眼图像的角度拍摄方式下的θ和的最大值，xoffset，yoffset是球面展开图像对应的鱼眼图像的角度拍摄方式下，鱼眼图像在完整球面展开图像中的偏移量。
CN201511019998.0A 2015-12-30 2015-12-30 一种鱼眼图像校正和漫游显示的方法及装置 Active CN105550984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511019998.0A CN105550984B (zh) 2015-12-30 2015-12-30 一种鱼眼图像校正和漫游显示的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511019998.0A CN105550984B (zh) 2015-12-30 2015-12-30 一种鱼眼图像校正和漫游显示的方法及装置

Publications (2)

Publication Number Publication Date
CN105550984A true CN105550984A (zh) 2016-05-04
CN105550984B CN105550984B (zh) 2019-04-12

Family

ID=55830160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511019998.0A Active CN105550984B (zh) 2015-12-30 2015-12-30 一种鱼眼图像校正和漫游显示的方法及装置

Country Status (1)

Country Link
CN (1) CN105550984B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600546A (zh) * 2016-11-14 2017-04-26 Tcl集团股份有限公司 一种超广角摄像头畸变校正方法及系统
CN106910173A (zh) * 2017-02-27 2017-06-30 武汉大学 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法
CN107169926A (zh) * 2017-04-26 2017-09-15 腾讯科技（深圳）有限公司 图像处理方法和装置
CN107808367A (zh) * 2017-11-29 2018-03-16 天津聚飞创新科技有限公司 鱼眼图像校正方法、装置、无人机及存储介质
CN107820012A (zh) * 2017-11-21 2018-03-20 暴风集团股份有限公司 一种鱼眼图像处理方法、装置、服务器及系统
CN108122191A (zh) * 2016-11-29 2018-06-05 成都观界创宇科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
TWI635461B (zh) * 2016-12-20 2018-09-11 北京奇藝世紀科技有限公司 投影圖構建方法及裝置
CN110612720A (zh) * 2017-05-18 2019-12-24 索尼公司 信息处理装置、信息处理方法以及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839227A (zh) * 2012-11-23 2014-06-04 富士通株式会社 鱼眼图像校正方法和装置
CN104539893A (zh) * 2014-12-23 2015-04-22 福建星网视易信息系统有限公司 实现虚拟云台监控效果的方法、装置及系统
CN104639832A (zh) * 2015-01-23 2015-05-20 广东欧珀移动通信有限公司 一种全景拍照方法及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839227A (zh) * 2012-11-23 2014-06-04 富士通株式会社 鱼眼图像校正方法和装置
CN104539893A (zh) * 2014-12-23 2015-04-22 福建星网视易信息系统有限公司 实现虚拟云台监控效果的方法、装置及系统
CN104639832A (zh) * 2015-01-23 2015-05-20 广东欧珀移动通信有限公司 一种全景拍照方法及终端

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600546A (zh) * 2016-11-14 2017-04-26 Tcl集团股份有限公司 一种超广角摄像头畸变校正方法及系统
CN108122191A (zh) * 2016-11-29 2018-06-05 成都观界创宇科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN108122191B (zh) * 2016-11-29 2021-07-06 成都美若梦景科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
TWI635461B (zh) * 2016-12-20 2018-09-11 北京奇藝世紀科技有限公司 投影圖構建方法及裝置
US10991068B2 (en) 2016-12-20 2021-04-27 Beijing Qiyi Century Science & Technology Co., Ltd. Projection image construction method and device
CN106910173A (zh) * 2017-02-27 2017-06-30 武汉大学 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法
CN106910173B (zh) * 2017-02-27 2019-05-24 武汉大学 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法
CN107169926A (zh) * 2017-04-26 2017-09-15 腾讯科技（深圳）有限公司 图像处理方法和装置
CN110612720A (zh) * 2017-05-18 2019-12-24 索尼公司 信息处理装置、信息处理方法以及程序
US11245849B2 (en) 2017-05-18 2022-02-08 Sony Corporation Information processing apparatus and information processing method
CN107820012A (zh) * 2017-11-21 2018-03-20 暴风集团股份有限公司 一种鱼眼图像处理方法、装置、服务器及系统
CN107808367A (zh) * 2017-11-29 2018-03-16 天津聚飞创新科技有限公司 鱼眼图像校正方法、装置、无人机及存储介质

Also Published As

Publication number Publication date
CN105550984B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN105550984A (zh) 一种鱼眼图像校正和漫游显示的方法及装置
US11631155B2 (en) Equatorial stitching of hemispherical images in a spherical image capture system
US20220286654A1 (en) Projector Keystone Correction Method, Apparatus And System, And Readable Storage Medium
US10643300B2 (en) Image display method, custom method of shaped cambered curtain, and head-mounted display device
CN102984453B (zh) 利用单摄像机实时生成半球全景视频图像的方法及系统
ES2709942T3 (es) Sistema y procedimiento de corrección de imagen digital de gran angular en tiempo real
US9082187B1 (en) Method and apparatus for correcting distortion in an image due to rotational motion of an image capture device occurring while the image is being captured
US20140300644A1 (en) Method and apparatus for generating an image cut-out
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
US8913162B2 (en) Image processing method, image processing apparatus and image capturing apparatus
US9349157B2 (en) Method and apparatus for controlling a virtual camera
CN107122774A (zh) 一种随图像中关键点移动的自适应贴图方法和系统
CN101132535A (zh) 基于转台的多投影大屏拼接方法
JP5715793B2 (ja) 画像処理装置及び画像処理方法
CN102222337A (zh) 用于图像拼接的鱼眼图像校正方法
US10104286B1 (en) Motion de-blurring for panoramic frames
CN104391431A (zh) 曝光显影方法和系统、曝光控制系统
CN111275621A (zh) 一种行车环视系统中全景图生成方法、系统及存储介质
CN103918003A (zh) 图像处理装置、方法和程序
CN105975172A (zh) 全景视频的调整方法、装置及移动终端
US8988466B2 (en) Panoramic image straightening
CN114650402B (zh) 投影图像的调整曲线计算和调整方法、系统、装置及介质
US8937643B1 (en) Offset rolling shutter camera model, and applications thereof
US20150109536A1 (en) Display apparatus and display method using the same
CN105956996B (zh) 基于二次折射投影模型的鱼眼图像校正方法、装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant