CN107820012A - 一种鱼眼图像处理方法、装置、服务器及系统 - Google Patents

一种鱼眼图像处理方法、装置、服务器及系统 Download PDF

Info

Publication number
CN107820012A
CN107820012A CN201711168546.8A CN201711168546A CN107820012A CN 107820012 A CN107820012 A CN 107820012A CN 201711168546 A CN201711168546 A CN 201711168546A CN 107820012 A CN107820012 A CN 107820012A
Authority
CN
China
Prior art keywords
eye images
fish eye
dimensional coordinate
panoramic image
spherical panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711168546.8A
Other languages
English (en)
Inventor
黄文辉
袁雨龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Storm Group Ltd By Share Ltd
Original Assignee
Storm Group Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Storm Group Ltd By Share Ltd filed Critical Storm Group Ltd By Share Ltd
Priority to CN201711168546.8A priority Critical patent/CN107820012A/zh
Publication of CN107820012A publication Critical patent/CN107820012A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种鱼眼图像处理方法、装置、服务器及系统，该方法包括：确定鱼眼图像有效部分的第一圆心、第一半径以及拍摄鱼眼图像的镜头的最大摄影视角；建立包括球体的三维坐标系，球体表面上每个点都对应球面全景图上的点，球面全景图的中心与第一圆心对应；计算球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系；根据第一半径、最大摄影视角及球体表面上点的三维坐标，计算球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系；将鱼眼图像上的像素点映射到对应的球面全景图上的点，确定球面全景图上每个点的像素值，得到球面全景图。该技术方案可更加准确有效地将平面的鱼眼图像通过立体球体图像转换为球面全景图。

Description

一种鱼眼图像处理方法、装置、服务器及系统
技术领域
本发明涉及图像处理技术领域，尤其是一种鱼眼图像处理方法、装置、服务器及系统。
背景技术
鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头。它是一种极端的广角镜头，“鱼眼镜头”是它的俗称。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。
随着互联网虚拟现实、增强现实技术的高速发展，全景视频、全景图像因能给用户带来全方位的、沉浸式的观看体验而被广泛接受。越来越多基于鱼眼镜头采集的虚拟现实视频需要转换到全景视频以供手机端播放。
目前，如何更加合理有效地将鱼眼图像映射到球面全景图像是鱼眼视频转码的一大难题。
发明内容
本发明实施例所要解决的一个技术问题是：如何将鱼眼图像合理有效且高质量地转换为球面全景图像。
本发明实施例一种鱼眼图像处理方法、装置、服务器及系统。所述技术方案如下：
根据本发明实施例的第一方面，提供一种鱼眼图像处理方法，包括：
确定鱼眼图像有效部分的第一圆心、第一半径以及拍摄所述鱼眼图像的镜头的最大摄影视角；
建立包括球体的三维坐标系，所述球体表面上每个点都对应球面全景图上的点，所述球面全景图的中心与所述第一圆心对应；
计算所述球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系；
根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系；
将所述鱼眼图像上的像素点映射到对应的球面全景图上的点，确定所述球面全景图上每个点的像素值，得到球面全景图。
可选的，所述确定鱼眼图像有效部分的第一圆心、第一半径，包括：
在所述鱼眼图像上自边界向内平移一条直线，计算该直线上像素点的最大亮度值和最小亮度值；
当所述最大亮度值与最小亮度值的差值大于或等于预设阈值时，确定所述直线所在位置为所述鱼眼图像有效部分的边界；
根据所述边界确定所述鱼眼图像的圆形的有效部分，并确定所述第一圆心和第一半径；
和/或，
所述计算所述球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系，包括：
根据所述球面全景图上点的二维坐标，计算球体表面上点的经纬度；
根据所述经纬度计算所述球面全景图上点对应的所述球体表面上点的三维坐标。
可选的，所述鱼眼图像由多个半径不同的同心圆组成；
根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系，包括：
根据所述第一半径及所述最大摄影视角，计算拍摄所述鱼眼图像的镜头焦距；
根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点对应的所述鱼眼图像的同心圆的第二半径；
根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点投影到鱼眼图像平面上相对于x轴或y轴的第一夹角；
根据所述第二半径及第一夹角，确定所述球面全景图上点的二维坐标对应的所述鱼眼图像上点的第一二维坐标。
可选的，所述根据所述第一半径及所述最大摄影视角，计算拍摄所述鱼眼图像的镜头焦距，包括：
获取拍摄所述鱼眼图像的镜头型号；
根据所述镜头型号确定用于计算所述镜头焦距的第一计算模型；
将所述第一半径及所述最大摄影视角输入到所述第一计算模型，得到所述镜头焦距；
和/或，
根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点对应的所述鱼眼图像的同心圆的第二半径，包括：
获取拍摄所述鱼眼图像的镜头型号；
根据所述镜头型号确定用于计算所述第二半径的第二计算模型；
将所述镜头焦距及所述球体表面上点的三维坐标输入到所述第二计算模型，得到所述第二半径。
可选的，所述根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系，还包括：
根据所述第一圆心的坐标，将所述第一二维坐标进行平移，得到第二二维坐标，所述第二二维坐标为与所述球面全景图上点的二维坐标对应的鱼眼图像上像素点的二维坐标。
根据本发明实施例的第二方面，提供一种鱼眼图像处理装置，包括：
确定模块，用于确定鱼眼图像有效部分的第一圆心、第一半径以及拍摄所述鱼眼图像的镜头的最大摄影视角；
建立模块，用于建立包括球体的三维坐标系，所述球体表面上每个点都对应球面全景图上的点，所述球面全景图的中心与所述第一圆心对应；
第一计算模块，用于计算所述球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系；
第二计算模块，用于根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系；
映射模块，用于将所述鱼眼图像上的像素点映射到对应的球面全景图上的点，确定所述球面全景图上每个点的像素值，得到球面全景图。
可选的，所述确定模块包括：
计算子模块，用于在所述鱼眼图像上自边界向内平移一条直线，计算该直线上像素点的最大亮度值和最小亮度值；
第一确定子模块，用于当所述最大亮度值与最小亮度值的差值大于或等于预设阈值时，确定所述直线所在位置为所述鱼眼图像有效部分的边界；
第二确定子模块，用于根据所述边界确定所述鱼眼图像的圆形的有效部分，并确定所述第一圆心和第一半径；
和/或，
所述第一计算模块包括：
第一计算子模块，用于根据所述球面全景图上点的二维坐标，计算球体表面上点的经纬度；
第二计算子模块，用于根据所述经纬度计算所述球面全景图上点对应的所述球体表面上点的三维坐标。
可选的，所述鱼眼图像由多个半径不同的同心圆组成；所述第二计算模块包括：
第三计算子模块，用于根据所述第一半径及所述最大摄影视角，计算拍摄所述鱼眼图像的镜头焦距；
第四计算子模块，用于根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点对应的所述鱼眼图像的同心圆的第二半径；
第五计算子模块，用于根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点投影到鱼眼图像平面上相对于x轴或y轴的第一夹角；
第三确定子模块，用于根据所述第二半径及第一夹角，确定所述球面全景图上点的二维坐标对应的所述鱼眼图像上点的第一二维坐标。
可选的，所述第三计算子模块，用于获取拍摄所述鱼眼图像的镜头型号；根据所述镜头型号确定用于计算所述镜头焦距的第一计算模型；将所述第一半径及所述最大摄影视角输入到所述第一计算模型，得到所述镜头焦距；
和/或，
所述第四计算子模块，用于获取拍摄所述鱼眼图像的镜头型号；根据所述镜头型号确定用于计算所述第二半径的第二计算模型；将所述镜头焦距及所述球体表面上点的三维坐标输入到所述第二计算模型，得到所述第二半径。
可选的，所述第二计算模块还包括：
平移子模块，用于根据所述第一圆心的坐标，将所述第一二维坐标进行平移，得到第二二维坐标，所述第二二维坐标为与所述球面全景图上点的二维坐标对应的鱼眼图像上像素点的二维坐标。
根据本发明实施例的第三方面，提供一种鱼眼图像处理服务器，包括：上述各实施例所述的鱼眼图像处理装置。
根据本发明实施例的第四方面，提供一种鱼眼图像处理系统，包括：上述所述的鱼眼图像处理服务器及客户端，
所述鱼眼图像处理服务器，将鱼眼图像转换为球面全景图，并将所述球面全景图发送到所述客户端；
所述客户端展示所述球面全景图。
本实施例中，由于平面的鱼眼图像与球面全景图实际上都是与立体图形——球体相对应的，因此，将平面的鱼眼图像通过立体球体图像转换为球面全景图，可以更加准确有效地进行转换，且转换后球面全景图像损失很小，图像质量较高，用户通过客户端，在VR眼镜上可将鱼眼视频按照球面全景视频进行播放，用户体验度较好。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1是本发明实施例示出的鱼眼图像处理方法的流程图；
图2是本发明实施例鱼眼图像的示意图；
图3是本发明另一实施例示出的鱼眼图像处理方法的流程图；
图4是本发明实施例鱼眼图像的另一示意图；
图5a是本发明实施例示出的球体表面上点的经纬度示意图；
图5b是本发明另一实施例示出的鱼眼图像处理方法的流程图；
图6a是本发明实施例球体表面上的点到鱼眼图像的投影示意图
图6b是本发明实施例球体投影到yz平面的示意图；
图7是本发明另一实施例示出的鱼眼图像处理方法的流程图；
图8为本发明实施例球面全景图上点投影到鱼眼图像平面的示意图；
图9是本发明实施例示出的鱼眼图像处理装置的框图；
图10是本发明实施例示出的确定模块91的框图；
图11是本发明实施例示出的第一计算模块93模块的框图；
图12是本发明实施例示出的第二计算模块94的框图；
图13是本发明另一实施例示出的第二计算模块94的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本发明实施例提供一种鱼眼图像处理方法，可应用于对鱼眼视频的处理，例如，可将鱼眼视频的每一帧视频的鱼眼图像提取出来，进行处理后，得到每一帧视频对应的球面全景图像，进而得到球面全景视频。这样，也可简单有效且高质量地将鱼眼视频转换为球面全景视频。另外，由于大部分VR客户端不支持对鱼眼视频，仅支持球面全景视频的播放，将鱼眼视频转换为球面全景视频，使得视频播放适用更加广泛。
图1是本发明实施例示出的鱼眼图像处理方法的流程图。如图1所示，该鱼眼图像处理方法包括以下步骤：
步骤S11，确定鱼眼图像有效部分的第一圆心、第一半径以及拍摄鱼眼图像的镜头的最大摄影视角。
步骤S12，建立包括球体的三维坐标系，球体表面上每个点都对应球面全景图上的点，球面全景图的中心与第一圆心对应。
步骤S13，计算球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系。
步骤S14，根据第一半径、最大摄影视角及球体表面上点的三维坐标，计算球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系。
步骤S15，将鱼眼图像上的像素点映射到对应的球面全景图上的点，确定球面全景图上每个点的像素值，得到球面全景图。
图2是本发明实施例鱼眼图像的示意图。如图2所示，由于鱼眼图像中除了圆形有效部分外，可能包括无效的黑边，因此，首先需要确定鱼眼图像的有效部分，再确定有效部分的圆心和半径。
图3是本发明另一实施例示出的鱼眼图像处理方法的流程图。如图3所示，步骤S11包括以下步骤：
步骤S31，在鱼眼图像上自边界向内平移一条直线，计算该直线上像素点的最大亮度值和最小亮度值。
图4是本发明实施例鱼眼图像的另一示意图。如图4所示，鱼眼图像的有效部分为41，无效部分42为黑边。由于黑色的亮度是0，黑边与有效部分亮度差异较大，可以根据位于同一直线43上两个像素点的亮度差异确定有效部分的边界。或者，也可以根据像素点的RGB值的差异确定有效部分的边界。
步骤S32，当最大亮度值与最小亮度值的差值大于或等于预设阈值时，确定直线所在位置为鱼眼图像有效部分的边界。
步骤S33，根据边界确定鱼眼图像的圆形的有效部分，并确定第一圆心和第一半径。
在确定的有效部分的边界后，可以通过从左向右平移一条非水平的直线，以确定圆形有效部分的直径，从而得到有效部分的半径cirR。通过该方法确定圆形有效部分的两条直径，可根据两条直径的交点确定有效部分的圆心(cx，cy)。
本发明实施例中，也可采用其他算法确定鱼眼图像有效部分的边界。例如，遍历鱼眼图像的像素点，将与相邻像素点的亮度差值大于预设阈值的像素点确定为边界上的像素点。
图5a是本发明实施例示出的球体表面上点的经纬度示意图。如图5a所示，球体表面上的点P(xt，yt，zt)，P与三维坐标系圆心O的连线PO与y轴的夹角的值即为纬度值，P映射到xz平面上的点P’，P’与三维坐标系圆心O的连线P’O与x轴的夹角(锐角)的值为经度值。
图5b是本发明另一实施例示出的鱼眼图像处理方法的流程图。如图5b所示，步骤S13包括：
步骤S51，根据球面全景图上点的二维坐标，计算球体表面上点的经纬度。
La＝y*π，Lo＝x*π，其中，La表示纬度，Lo表示经度，(x，y)为球面全景图上点的二维坐标，0<x<1，0<y<1。
步骤S52，根据经纬度计算球面全景图上点对应的球体表面上点的三维坐标。
若(x，y)点对应球体表面上点的三维坐标为(xt，yt，zt)，则
xt＝-sinLa*cosLo，
yt＝cosLa，
zt＝sinLa*sinLo。
图6a是本发明实施例球体表面上的点到鱼眼图像的投影示意图。如图6a所示，本实施例中，可以将鱼眼图像的有效部分看成是有多个半径不同的同心圆组成的图像。这样，当鱼眼图像置于xy平面时，球体表面上的点可以映射到鱼眼图像的同心圆上。例如，图中的q点可映射到鱼眼图像的m点。该图中仅以半个球体为例进行示意。
图7是本发明另一实施例示出的鱼眼图像处理方法的流程图。如图7所示，上述步骤S14包括：
步骤S71，根据第一半径及最大摄影视角，计算拍摄鱼眼图像的镜头焦距。
由于拍摄鱼眼图像的镜头型号不同，镜头的最大摄影视角及计算镜头焦距所采用的计算模型均不相同。步骤S71包括：
步骤A1，获取拍摄鱼眼图像的镜头型号。
步骤A2，根据镜头型号确定用于计算镜头焦距的第一计算模型。
步骤A3，将第一半径及最大摄影视角输入到第一计算模型，得到镜头焦距。
下面以几种常见类型的鱼眼镜头的计算模型对镜头焦距f的计算方法进行说明。其中，最大摄影视角用alfa表示。
(一)等距鱼眼镜头
图6b是本发明实施例球体投影到yz平面的示意图。如图6b所示，θ为最大摄影视角的一半，即rd即为鱼眼图像有效部分的第一半径cirR。因此，
计算模型：
计算得到
(二)等立体角投影鱼眼镜头
计算模型：
计算得到
(三)正交投影鱼眼镜头
计算模型：
计算得到
(四)体视投影鱼眼镜头
计算模型：
计算得到
步骤S72，根据镜头焦距及球体表面上点的三维坐标，计算球面全景图上的点对应的鱼眼图像的同心圆的第二半径。
同样，由于拍摄鱼眼图像的镜头型号不同，对第二半径的计算模型也不同。步骤S72包括：
步骤B1，获取拍摄鱼眼图像的镜头型号；
步骤B2，根据镜头型号确定用于计算第二半径的第二计算模型；
步骤B3，将镜头焦距及球体表面上点的三维坐标输入到第二计算模型，得到第二半径。
下面以几种常见类型的鱼眼镜头的计算模型对镜头焦距f的计算方法进行说明。其中，球体表面上的点P的三维坐标为(xt，yt，zt)。
(一)等距鱼眼镜头
r＝f*arccos zt。
(二)等立体角投影鱼眼镜头
(三)正交投影鱼眼镜头
r＝f*sin(arccos zt)。
(四)体视投影鱼眼镜头
步骤S73，根据镜头焦距及球体表面上点的三维坐标，计算球面全景图上的点投影到鱼眼图像平面上相对于x轴或y轴的第一夹角。
图8为本发明实施例球面全景图上点投影到鱼眼图像平面的示意图。如图8所示，计算球面全景图上的点投影到鱼眼图像平面上相对于x轴的夹角theta为：其中theta的取值范围可以为[-π,π]，a为预设偏移量，a的取值范围为
或者，也可计算球面全景图上的点投影到鱼眼图像平面上相对于y轴的夹角theta为：其中theta的取值范围可以为[-π,π]，b为预设偏移量，b的取值范围为
本发明实施例中，也可采用其他方法计算该第一夹角。
步骤S74，根据第二半径及第一夹角，确定球面全景图上点的二维坐标对应的鱼眼图像上点的第一二维坐标。
球面全景图上点的二维坐标(x，y)对应的述鱼眼图像上点的第一二维坐标(x_fish，y_fish)，当第一夹角为球面全景图上的点投影到鱼眼图像平面上相对于x轴的夹角时，x_fish＝r*costheta，y_fish＝r*sintheta。
在另一实施例中，步骤S14还包括：根据第一圆心的坐标，将第一二维坐标进行平移，得到第二二维坐标，第二二维坐标为与球面全景图上点的二维坐标对应的鱼眼图像上像素点的二维坐标。
第一圆心(cx，cy)，第一二维坐标(x_fish，y_fish)，第二二维坐标(u，v),则u＝x_fish+cx，v＝-y_fish+cy。
这里相当于对鱼眼图像的坐标做归一化。由于球面全景图上点的取值范围与鱼眼图像上点的取值范围可能不同，如果鱼眼图像的圆心不在(0，0)，且所在xy平面发生180°旋转，则在映射时，需要将鱼眼图像所在xy平面旋转到与球面全景图所在平面方向相同，以保证映射的准确性。
本实施例中，由于平面的鱼眼图像与球面全景图实际上都是与立体图形——球体相对应的，因此，将平面的鱼眼图像通过立体球体图像转换为球面全景图，可以更加准确有效地进行转换，且转换后球面全景图像损失很小，图像质量较高，用户通过客户端，在VR眼镜上可将鱼眼视频按照球面全景视频进行播放，用户体验度较好。
下述为本发明装置实施例，可以用于执行本发明方法实施例。
图9是本发明实施例示出的鱼眼图像处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图9所示，该鱼眼图像处理装置，包括：
确定模块91，用于确定鱼眼图像有效部分的第一圆心、第一半径以及拍摄鱼眼图像的镜头的最大摄影视角；
建立模块92，用于建立包括球体的三维坐标系，球体表面上每个点都对应球面全景图上的点，球面全景图的中心与第一圆心对应；
第一计算模块93，用于计算球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系；
第二计算模块94，用于根据第一半径、最大摄影视角及球体表面上点的三维坐标，计算球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系；
映射模块95，用于将鱼眼图像上的像素点映射到对应的球面全景图上的点，确定球面全景图上每个点的像素值，得到球面全景图。
图10是本发明实施例示出的确定模块91的框图，如图10所示，确定模块91包括：
计算子模块101，用于在鱼眼图像上自边界向内平移一条直线，计算该直线上像素点的最大亮度值和最小亮度值；
第一确定子模块102，用于当最大亮度值与最小亮度值的差值大于或等于预设阈值时，确定直线所在位置为鱼眼图像有效部分的边界；
第二确定子模块103，用于根据边界确定鱼眼图像的圆形的有效部分，并确定第一圆心和第一半径。
图11是本发明实施例示出的第一计算模块93模块的框图，如图11所示，第一计算模块93包括：
第一计算子模块111，用于根据球面全景图上点的二维坐标，计算球体表面上点的经纬度；
第二计算子模块112，用于根据经纬度计算球面全景图上点对应的球体表面上点的三维坐标。
图12是本发明实施例示出的第二计算模块94的框图，如图12所示，鱼眼图像由多个半径不同的同心圆组成。第二计算模块94包括：
第三计算子模块121，用于根据第一半径及最大摄影视角，计算拍摄鱼眼图像的镜头焦距；
第四计算子模块122，用于根据镜头焦距及球体表面上点的三维坐标，计算球面全景图上的点对应的鱼眼图像的同心圆的第二半径；
第五计算子模块123，用于根据镜头焦距及球体表面上点的三维坐标，计算球面全景图上的点投影到鱼眼图像平面上相对于x轴或y轴的第一夹角；
第三确定子模块124，用于根据第二半径及第一夹角，确定球面全景图上点的二维坐标对应的鱼眼图像上点的第一二维坐标。
在另一实施例中，第三计算子模块121，用于获取拍摄鱼眼图像的镜头型号；根据镜头型号确定用于计算镜头焦距的第一计算模型；将第一半径及最大摄影视角输入到第一计算模型，得到镜头焦距。
第四计算子模块122，用于获取拍摄鱼眼图像的镜头型号；根据镜头型号确定用于计算第二半径的第二计算模型；将镜头焦距及球体表面上点的三维坐标输入到第二计算模型，得到第二半径。
图13是本发明另一实施例示出的第二计算模块94的框图，如图13所示，第二计算模块94还包括：
平移子模块125，用于根据第一圆心的坐标，将第一二维坐标进行平移，得到第二二维坐标，第二二维坐标为与球面全景图上点的二维坐标对应的鱼眼图像上像素点的二维坐标。
本发明还提供一种鱼眼图像处理服务器，包括：上述各个实施例的鱼眼图像处理装置。
本发明还提供一种鱼眼图像处理系统，其特征在于，包括：上述的鱼眼图像处理服务器及客户端，鱼眼图像处理服务器，将鱼眼图像转换为球面全景图，并将球面全景图发送到客户端；客户端展示球面全景图。
本实施例中，由于平面的鱼眼图像与球面全景图实际上都是与立体图形——球体相对应的，因此，将平面的鱼眼图像通过立体球体图像转换为球面全景图，可以更加准确有效地进行转换，且转换后球面全景图像损失很小，图像质量较高，用户通过客户端，在VR眼镜上可将鱼眼视频按照球面全景视频进行播放，用户体验度较好。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (12)

1.一种鱼眼图像处理方法，其特征在于，包括：
确定鱼眼图像有效部分的第一圆心、第一半径以及拍摄所述鱼眼图像的镜头的最大摄影视角；
建立包括球体的三维坐标系，所述球体表面上每个点都对应球面全景图上的点，所述球面全景图的中心与所述第一圆心对应；
计算所述球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系；
根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系；
将所述鱼眼图像上的像素点映射到对应的球面全景图上的点，确定所述球面全景图上每个点的像素值，得到球面全景图。
2.根据权利要求1所述的方法，其特征在于，
所述确定鱼眼图像有效部分的第一圆心、第一半径，包括：
在所述鱼眼图像上自边界向内平移一条直线，计算该直线上像素点的最大亮度值和最小亮度值；
当所述最大亮度值与最小亮度值的差值大于或等于预设阈值时，确定所述直线所在位置为所述鱼眼图像有效部分的边界；
根据所述边界确定所述鱼眼图像的圆形的有效部分，并确定所述第一圆心和第一半径；
和/或，
所述计算所述球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系，包括：
根据所述球面全景图上点的二维坐标，计算球体表面上点的经纬度；
根据所述经纬度计算所述球面全景图上点对应的所述球体表面上点的三维坐标。
3.根据权利要求2所述的方法，其特征在于，所述鱼眼图像由多个半径不同的同心圆组成；
根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系，包括：
根据所述第一半径及所述最大摄影视角，计算拍摄所述鱼眼图像的镜头焦距；
根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点对应的所述鱼眼图像的同心圆的第二半径；
根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点投影到鱼眼图像平面上相对于x轴或y轴的第一夹角；
根据所述第二半径及第一夹角，确定所述球面全景图上点的二维坐标对应的所述鱼眼图像上点的第一二维坐标。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一半径及所述最大摄影视角，计算拍摄所述鱼眼图像的镜头焦距，包括：
获取拍摄所述鱼眼图像的镜头型号；
根据所述镜头型号确定用于计算所述镜头焦距的第一计算模型；
将所述第一半径及所述最大摄影视角输入到所述第一计算模型，得到所述镜头焦距；
和/或，
根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点对应的所述鱼眼图像的同心圆的第二半径，包括：
获取拍摄所述鱼眼图像的镜头型号；
根据所述镜头型号确定用于计算所述第二半径的第二计算模型；
将所述镜头焦距及所述球体表面上点的三维坐标输入到所述第二计算模型，得到所述第二半径。
5.根据权利要求3所述的方法，其特征在于，所述根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系，还包括：
根据所述第一圆心的坐标，将所述第一二维坐标进行平移，得到第二二维坐标，所述第二二维坐标为与所述球面全景图上点的二维坐标对应的鱼眼图像上像素点的二维坐标。
6.一种鱼眼图像处理装置，其特征在于，包括：
确定模块，用于确定鱼眼图像有效部分的第一圆心、第一半径以及拍摄所述鱼眼图像的镜头的最大摄影视角；
建立模块，用于建立包括球体的三维坐标系，所述球体表面上每个点都对应球面全景图上的点，所述球面全景图的中心与所述第一圆心对应；
第一计算模块，用于计算所述球体表面上的点的三维坐标与球面全景图上点的二维坐标的对应关系；
第二计算模块，用于根据所述第一半径、最大摄影视角及所述球体表面上点的三维坐标，计算所述球面全景图上点的二维坐标与鱼眼图像上像素点的二维坐标对应关系；
映射模块，用于将所述鱼眼图像上的像素点映射到对应的球面全景图上的点，确定所述球面全景图上每个点的像素值，得到球面全景图。
7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
计算子模块，用于在所述鱼眼图像上自边界向内平移一条直线，计算该直线上像素点的最大亮度值和最小亮度值；
第一确定子模块，用于当所述最大亮度值与最小亮度值的差值大于或等于预设阈值时，确定所述直线所在位置为所述鱼眼图像有效部分的边界；
第二确定子模块，用于根据所述边界确定所述鱼眼图像的圆形的有效部分，并确定所述第一圆心和第一半径；
和/或，
所述第一计算模块包括：
第一计算子模块，用于根据所述球面全景图上点的二维坐标，计算球体表面上点的经纬度；
第二计算子模块，用于根据所述经纬度计算所述球面全景图上点对应的所述球体表面上点的三维坐标。
8.根据权利要求7所述的装置，其特征在于，所述鱼眼图像由多个半径不同的同心圆组成；所述第二计算模块包括：
第三计算子模块，用于根据所述第一半径及所述最大摄影视角，计算拍摄所述鱼眼图像的镜头焦距；
第四计算子模块，用于根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点对应的所述鱼眼图像的同心圆的第二半径；
第五计算子模块，用于根据所述镜头焦距及所述球体表面上点的三维坐标，计算所述球面全景图上的点投影到鱼眼图像平面上相对于x轴或y轴的第一夹角；
第三确定子模块，用于根据所述第二半径及第一夹角，确定所述球面全景图上点的二维坐标对应的所述鱼眼图像上点的第一二维坐标。
9.根据权利要求8所述的装置，其特征在于，所述第三计算子模块，用于获取拍摄所述鱼眼图像的镜头型号；根据所述镜头型号确定用于计算所述镜头焦距的第一计算模型；将所述第一半径及所述最大摄影视角输入到所述第一计算模型，得到所述镜头焦距；
和/或，
所述第四计算子模块，用于获取拍摄所述鱼眼图像的镜头型号；根据所述镜头型号确定用于计算所述第二半径的第二计算模型；将所述镜头焦距及所述球体表面上点的三维坐标输入到所述第二计算模型，得到所述第二半径。
10.根据权利要求8所述的装置，其特征在于，所述第二计算模块还包括：
平移子模块，用于根据所述第一圆心的坐标，将所述第一二维坐标进行平移，得到第二二维坐标，所述第二二维坐标为与所述球面全景图上点的二维坐标对应的鱼眼图像上像素点的二维坐标。
11.一种鱼眼图像处理服务器，其特征在于，包括：上述权利要求6-10中任一项所述的鱼眼图像处理装置。
12.一种鱼眼图像处理系统，其特征在于，包括：上述权利要求11所述的鱼眼图像处理服务器及客户端，
所述鱼眼图像处理服务器，将鱼眼图像转换为球面全景图，并将所述球面全景图发送到所述客户端；
所述客户端展示所述球面全景图。
CN201711168546.8A 2017-11-21 2017-11-21 一种鱼眼图像处理方法、装置、服务器及系统 Pending CN107820012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711168546.8A CN107820012A (zh) 2017-11-21 2017-11-21 一种鱼眼图像处理方法、装置、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711168546.8A CN107820012A (zh) 2017-11-21 2017-11-21 一种鱼眼图像处理方法、装置、服务器及系统

Publications (1)

Publication Number Publication Date
CN107820012A true CN107820012A (zh) 2018-03-20

Family

ID=61610260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711168546.8A Pending CN107820012A (zh) 2017-11-21 2017-11-21 一种鱼眼图像处理方法、装置、服务器及系统

Country Status (1)

Country Link
CN (1) CN107820012A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650471A (zh) * 2018-04-24 2018-10-12 信利光电股份有限公司 一种鱼眼摄像头的lsc补偿方法及装置、可读存储介质
CN109146775A (zh) * 2018-08-20 2019-01-04 广州视源电子科技股份有限公司 二维图片转换方法、装置、设备及存储介质
CN110728622A (zh) * 2019-10-22 2020-01-24 珠海研果科技有限公司 鱼眼图像处理方法、装置、电子设备及计算机可读介质
CN111429336A (zh) * 2019-12-27 2020-07-17 上海庄生晓梦信息科技有限公司 鱼眼视频数据的处理方法和处理装置
CN112995646A (zh) * 2021-02-09 2021-06-18 聚好看科技股份有限公司 一种鱼眼视频的显示方法及显示设备
CN113132708A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
WO2023280266A1 (zh) * 2021-07-09 2023-01-12 影石创新科技股份有限公司 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法
CN115797185A (zh) * 2023-02-08 2023-03-14 四川精伍轨道交通科技有限公司 一种基于图像处理、复球面的坐标转换的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210827A1 (en) * 2009-02-25 2014-07-31 Quinton Alsbury Displaying bar charts with a fish-eye distortion effect
US20140320607A1 (en) * 2013-04-30 2014-10-30 International Business Machines Corporation Multifunctional Sky Camera System for Total Sky Imaging and Spectral Radiance Measurement
CN105550984A (zh) * 2015-12-30 2016-05-04 北京奇艺世纪科技有限公司 一种鱼眼图像校正和漫游显示的方法及装置
CN106204496A (zh) * 2016-07-18 2016-12-07 北京奇虎科技有限公司 一种云台摄像头的鱼眼图像处理方法及装置
CN106815805A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 基于Bayer图像的快速畸变校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210827A1 (en) * 2009-02-25 2014-07-31 Quinton Alsbury Displaying bar charts with a fish-eye distortion effect
US20140320607A1 (en) * 2013-04-30 2014-10-30 International Business Machines Corporation Multifunctional Sky Camera System for Total Sky Imaging and Spectral Radiance Measurement
CN105550984A (zh) * 2015-12-30 2016-05-04 北京奇艺世纪科技有限公司 一种鱼眼图像校正和漫游显示的方法及装置
CN106204496A (zh) * 2016-07-18 2016-12-07 北京奇虎科技有限公司 一种云台摄像头的鱼眼图像处理方法及装置
CN106815805A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 基于Bayer图像的快速畸变校正方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650471B (zh) * 2018-04-24 2020-08-04 信利光电股份有限公司 一种鱼眼摄像头的lsc补偿方法及装置、可读存储介质
CN108650471A (zh) * 2018-04-24 2018-10-12 信利光电股份有限公司 一种鱼眼摄像头的lsc补偿方法及装置、可读存储介质
CN109146775A (zh) * 2018-08-20 2019-01-04 广州视源电子科技股份有限公司 二维图片转换方法、装置、设备及存储介质
CN110728622B (zh) * 2019-10-22 2023-04-25 珠海研果科技有限公司 鱼眼图像处理方法、装置、电子设备及计算机可读介质
CN110728622A (zh) * 2019-10-22 2020-01-24 珠海研果科技有限公司 鱼眼图像处理方法、装置、电子设备及计算机可读介质
CN111429336A (zh) * 2019-12-27 2020-07-17 上海庄生晓梦信息科技有限公司 鱼眼视频数据的处理方法和处理装置
CN111429336B (zh) * 2019-12-27 2023-09-08 上海庄生晓梦信息科技有限公司 鱼眼视频数据的处理方法和处理装置
CN112995646A (zh) * 2021-02-09 2021-06-18 聚好看科技股份有限公司 一种鱼眼视频的显示方法及显示设备
CN113132708A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN113132708B (zh) * 2021-04-22 2022-02-22 贝壳找房(北京)科技有限公司 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
WO2023280266A1 (zh) * 2021-07-09 2023-01-12 影石创新科技股份有限公司 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法
CN115797185A (zh) * 2023-02-08 2023-03-14 四川精伍轨道交通科技有限公司 一种基于图像处理、复球面的坐标转换的方法
CN115797185B (zh) * 2023-02-08 2023-05-02 四川精伍轨道交通科技有限公司 一种基于图像处理、复球面的坐标转换的方法

Similar Documents

Publication Publication Date Title
CN107820012A (zh) 一种鱼眼图像处理方法、装置、服务器及系统
CN109064397A (zh) 一种基于摄像耳机的图像拼接方法及系统
CN107133918B (zh) 一种在三维场景中任意位置生成全景图的方法
US9467620B2 (en) Synthetic camera lenses
US10997745B2 (en) Augmented reality based method and apparatus for spatial positioning
TW201824175A (zh) 全景圖壓縮方法及裝置
WO2020084951A1 (ja) 画像処理装置および画像処理方法
US11922568B2 (en) Finite aperture omni-directional stereo light transport
CN110009567A (zh) 用于鱼眼镜头的图像拼接方法和装置
CN102831816B (zh) 一种提供实时场景地图的装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
CN108171801A (zh) 一种实现增强现实的方法、装置和终端设备
Popovic et al. Image blending in a high frame rate FPGA-based multi-camera system
JP2018033107A (ja) 動画の配信装置及び配信方法
CN112802206A (zh) 漫游视图的生成方法、装置、设备和存储介质
CN107371011A (zh) 将广角图像转换成地图投影图像及透视投影图像的方法
CN114900743A (zh) 基于视频推流的场景渲染过渡方法以及系统
JP7225016B2 (ja) Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
JP7439398B2 (ja) 情報処理装置、プログラム及び情報処理システム
CN115147268A (zh) 实时取景方法、全景相机及计算机可读存储介质
US20200007761A1 (en) Horizontal calibration method and system for panoramic image or video, and portable terminal
CN109167992A (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination