CN108846796A - 图像拼接方法及电子设备 - Google Patents
图像拼接方法及电子设备 Download PDFInfo
- Publication number
- CN108846796A CN108846796A CN201810654230.8A CN201810654230A CN108846796A CN 108846796 A CN108846796 A CN 108846796A CN 201810654230 A CN201810654230 A CN 201810654230A CN 108846796 A CN108846796 A CN 108846796A
- Authority
- CN
- China
- Prior art keywords
- fish eye
- eye images
- image
- spherical surface
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 241000251468 Actinopterygii Species 0.000 claims abstract description 405
- 238000013507 mapping Methods 0.000 claims abstract description 154
- 238000003384 imaging method Methods 0.000 claims abstract description 121
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 238000011161 development Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims abstract description 12
- 239000007787 solid Substances 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012984 biological imaging Methods 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G06T3/047—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Abstract
本申请实施例提供一种图像拼接方法，该方法获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像并按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面。其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得。通过确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系。基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像。将所述球面拼接图像进行球面展开处理，获得360度全景图像。本发明可以适用于对任何图像内容的全景图像拼接。
Description
技术领域
本申请实施例涉及图像处理领域，尤其涉及一种图像拼接方法及电子设备。
背景技术
目前，主要是采用图像拼接技术将多张不同视角图像拼接为360度的全景图像。鱼眼相机成像视角大于或等于180度，需要至少两幅鱼眼图片进行拼接才能获得360度的全景图像。
但采用鱼眼相机采集的鱼眼图像通常存在畸变，通常鱼眼图像畸变主要分为两种：一种是相机本身镜头和工艺原因引起的畸变；一种是由于拍摄视角引起的畸变。由于使用单鱼眼相机拍摄鱼眼图像时，无法保证每幅鱼眼图像拍摄视角相同，直接拼接会破坏实际景物的视觉一致性。因此首先需要对鱼眼图像进行图像矫正。然后提取每幅矫正后的鱼眼图像特征点，通过特征点匹配获得每幅图像的匹配特征点，基于特征匹配点确定任两幅鱼眼图像的重叠区域并将重叠区域图像进行融合处理，拼接获得全景图像。
但是，由于鱼眼图像存在非线性形变，因此对鱼眼图像进行特征提取和特征匹配非常困难，从而导致拼接得到的全景图像出现严重的视觉扭曲，影响用户的体验。
发明内容
本申请实施例提供一种图像拼接方法及一种电子设备，用以解决现有技术中由于特征匹配困难导致的图像拼接出现严重视觉扭曲，造成用户体验较差的技术问题。
本发明实施例提供了一种图像拼接方法，包括：
获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像；其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得；
按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面；
确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系；
基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像；
将所述球面拼接图像进行球面展开处理，获得360度全景图像。
优选地，所述确定第一鱼眼图像和第二鱼眼图像分别与所述鱼眼相机的成像模型的投影映射关系包括：
确定所述第一鱼眼图像与所述成像模型的第一投影映射关系；
确定所述第二鱼眼图像与所述成像模型的第二投影映射关系。
优选地，所述基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像包括：
建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型；
基于所述反向映射模型及所述第一鱼眼图像与所述成像模型的第一投影映射关系将所述第一鱼眼图像反映射至所述逻辑球面的第一半球，获得第一半球面图像；
基于所述反向映射模型及所述第二鱼眼图像与所述成像模型的第二投影映射关系将所述第二鱼眼图像反映射至所述逻辑球面的第二半球，获得第二半球面图像；
基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像。
优选地，所述基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像包括：
将所述第一半球面图像及所述第二半球面图像的图像重叠部分进行图像融合，得到所述球面拼接图像。
优选地，所述将所述第一半球面图像及所述第二半球面图像的重叠部分进行图像融合，得到所述球面拼接图像包括：
确定所述第二半球面图像中与所述第一半球面图像中的第一像素点的球面坐标相同的第二像素点；
将所述第一像素点的像素值与所述第二像素点的像素值进行加权求和，计算所述球面坐标的融合像素值，得到所述球面拼接图像。
优选地，所述获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之前，还包括：
获取鱼眼相机基于彩色立体标定盒采集的第一标定图像及第二标定图像；其中，所述彩色立体标定盒为正六面体，所述彩色立体标定盒内部的每一个面由彩色棋盘标定板构成，且任一组相对面的彩色棋盘标定板的像素值相同；
基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数。
优选地，所述基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数包括：
分别提取所述第一标定图像及所述第二标定图像中的角点；
将所述第一标定图像中的角点与所述第二标定图像中的角点进行匹配，获得所述第一标定图像的匹配特征点及所述第二标定图像中的匹配特征点；
基于所述第一标定图像的匹配特征点和所述第二标定图像的匹配特征点，计算获得所述鱼眼相机的成像模型的半径参数。
优选地，所基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数之后，还包括：
计算所述第一标定图像及所述第二标定图像的亮度差，获得所述鱼眼相机的亮度差参数。
优选地，所述获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之后，还包括：
基于所述亮度差参数调整所述第一鱼眼图像和所述第二鱼眼图像的亮度差，以使所述第一鱼眼图像和所述第二鱼眼图像的亮度一致。
优选地，所述建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型包括：
确定所述第一鱼眼图像的图像中心为第一圆心及所述第二鱼眼图像的图像中心为第二圆心；
将所述第一鱼眼图像及所述第二鱼眼图像分别与所述逻辑球面相切；其中，所述第一鱼眼图像与所述逻辑球面的第一切点为所述第一圆心；所述第二鱼眼图像与所述逻辑球面的第二切点为所述第二圆心；所述第一切点与所述第二切点的距离为所述半径参数的二倍。
本发明还提供了一种电子设备，包括处理组件以及存储组件；所述存储组件存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件调用并执行；
获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像；其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得；
按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面；
确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系；
基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像；
将所述球面拼接图像进行球面展开处理，获得360度全景图像。
优选地，所述处理组件确定第一鱼眼图像和第二鱼眼图像分别与所述鱼眼相机的成像模型的投影映射关系包括：
确定所述第一鱼眼图像与所述成像模型的第一投影映射关系；
确定所述第二鱼眼图像与所述成像模型的第二投影映射关系。
优选地，所述处理组件基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像包括：
建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型；
基于所述反向映射模型及所述第一鱼眼图像与所述成像模型的第一投影映射关系将所述第一鱼眼图像反映射至所述逻辑球面的第一半球，获得第一半球面图像；
基于所述反向映射模型及所述第二鱼眼图像与所述成像模型的第二投影映射关系将所述第二鱼眼图像反映射至所述逻辑球面的第二半球，获得第二半球面图像；
基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像。
优选地，所述处理器组件获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之前，还包括：
获取鱼眼相机基于彩色立体标定盒采集的第一标定图像及第二标定图像；其中，所述彩色立体标定盒为正六面体，所述彩色立体标定盒内部的每一个面由彩色棋盘标定板构成，且任一组相对面的彩色棋盘标定板的像素值相同；
基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数。
本发明提供了一种图像拼接方法及设备，该方法获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像。为保证采集的第一鱼眼图像及第二鱼眼图像的拍摄视角满足360度，需要鱼眼相机第一鱼眼镜头和第二鱼眼镜头相背设置且光轴位于同一直线上。并按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面。确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系。由于进入鱼眼镜头三维空间的光线经过线性变换首先会基于成像模型形成一个球面虚像，然后再由球面虚像非线性投影得到非线性形变的鱼眼图像。因此，基于第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系，将第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，分别得到第一鱼眼图像及第二鱼眼图像对应的球面虚像。由于球面虚像不存在非线性畸变，且由于第一鱼眼图像及第二鱼眼图像的光轴在同一直线上，基于投影映射关系即可将重叠部分反向投影至该逻辑球面的相同位置，因此不需要进行特征点的提取和匹配即可获得球面拼接图像。将所述球面拼接图像进行球面展开处理，获得360度全景图像。本发明中，图像拼接过程不需要进行图像特征点的提取和匹配，因此可以适用于对任何图像内容的全景图像拼接，并避免了由于采集图像内容的特征点较少，提取困难或提取不到特征点造成图像拼接精度低，效率差的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种图像拼接方法一个实施例的流程图；
图2示出了本申请提供的一种图像拼接方法又一个实施例的全景图像示意图；
图3示出了本申请提供的一种图像拼接方法又一个实施例的流程图；
图4(a)-图4(c)分别示出了本申请提供的一种图像拼接方法又一个实施例的反向映射模型示意图；
图5示出了本申请提供的一种图像拼接装置一个实施例的结构示意图；
图6示出了本申请提供的一种图像拼接装置一个实施例的结构示意图；
图7示出了本申请提供的一种电子设备一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本发明提供的图像拼接方法可以应用但不限于医疗图像、地质勘探、虚拟现实等技术领域。尤其随着虚拟现实技术在诸多领域得到了广泛应用和快速发展，将全景图像应用到虚拟现实技术中，可以带给用户三维立体空间感，实现360度视角的全方位感受，大大提高用户的沉浸感。
但由于鱼眼图像存在非线性畸变，因此存在难以提取鱼眼图像的特征点、特征匹配困难的技术问题，这就造成基于匹配特征点的图像拼接获得的全景图像出现严重的视觉扭曲、影响用户的观看体验。
为了解决现有技术中由于特征匹配困难导致的图像拼接出现严重视觉扭曲、造成用户体验较差的技术问题。发明人经过一系列研究发现，鱼眼相机由于其两个鱼眼镜头的光轴是可调的，当两个相背设置的鱼眼镜头的光轴位于同一直线上时，拍摄获得的两幅鱼眼图像的视角具有360度，且可避免由于拍摄视角不同导致拼接图像出现视角扭曲的问题。基于鱼眼相机的成像原理，三维空间的光首先线性地投影到一个逻辑球面上形成一个球面虚像；然后再由球面虚像按照成像模型投影得到鱼眼图像，这一投影过程是非线性的，是引起鱼眼图像畸变的主要原因。
因此发明人提出，基于鱼眼图像与成像模型的投影映射关系，可通过反向映射获得原始的半球面虚像。由于鱼眼相机的两个鱼眼镜头是独立成像的，当其光轴位于同一直线上时且相背设置，因此可以通过将反向映射获得的两个半球图像拼接获得360度全景图像。由此，发明人提供了一种图像拼接方法及电子设备，获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像。为保证采集的第一鱼眼图像及第二鱼眼图像的视角满足360度，需要鱼眼相机的第一鱼眼镜头和第二鱼眼镜头光轴位于同一直线上，并通过相背设置两个鱼眼镜头可以保证采集的两幅鱼眼图像可以拼接获得360度全景图像。按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面。确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系。由于进入鱼眼镜头三维空间的光线经过线性变换首先会基于成像模型形成一个球面虚像，然后再由球面虚像非线性投影得到非线性形变的鱼眼图像。因此，基于第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系，将第一鱼眼图像以及所述第二鱼眼图像反向映射到逻辑球面获得球面拼接图像。将所述球面拼接图像进行球面展开处理，获得360度全景图像。本发明中，图像拼接过程不需要进行图像特征点的提取和匹配，因此可以适用于对任何图像内容的全景图像拼接，并避免了由于采集图像内容的特征点较少，提取困难或提取不到特征点造成图像拼接精度低，效率差的问题。
下面将结合附图对本申请技术方案进行详细描述。
图1为本发明实施例提供的一种图像拼接方法的一个实施例的流程图，该方法可以包括以下几个步骤：
101：获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像。
其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得。
实际应用中，鱼眼相机可以包括两个鱼眼镜头，两个鱼眼镜头可以同时采集获得两幅鱼眼图像。由于鱼眼相机的成像视角通常大于或等于180度，为了减少生成全景图像需要的图片数量，可以设置鱼眼相机的两个鱼眼镜头的光轴位于同一直线上。此时，第一鱼眼镜头与第二鱼眼镜头相背设置，可保证同时拍摄一次获得的两幅鱼眼图像的拍摄视角满足360度，基于一次拍摄获得的两幅鱼眼图像的图像内容即可以获得三维空间中360度的环境信息。
102：按照鱼眼相机的成像模型的半径参数，构建逻辑球面。
鱼眼相机的半径参数与该鱼眼相机的焦距相关，其中，半径参数可以通过对鱼眼相机进行相机标定获得。
103：确定第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系。
104：基于第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系，将第一鱼眼图像以及第二鱼眼图像反向映射到逻辑球面，以获得球面拼接图像。
在实际应用中，三维空间的光线进入鱼眼镜头后线性地投影到以相机半径参数为半径的逻辑球面上，再按照一定的投影函数将虚拟球面图像投影到图像平面内获得二维的鱼眼图像。由于同一鱼眼相机中的两个鱼眼镜头的成像基于相同的投影函数，而鱼眼相机的成像模型即是根据投影函数设计的，因此第一鱼眼镜头与第二鱼眼镜头可以采用相同的成像模型。根据不同的投影函数，鱼眼相机的成像模型可以分为：等距投影模型、等立体角投影模型及立体视觉投影模型。
通过确定第一鱼眼图像和第二鱼眼图像的分别与成像模型的投影映射关系，即可确定鱼眼相机中的球面虚像与鱼眼图像的对应关系。由于实际鱼眼相机成像过程中，两个鱼眼镜头是独立成像的，即使两个鱼眼镜头光轴在同一直线上，但其三维空间的坐标轴并不一致，因此无法直接将第一鱼眼图像和第二鱼眼图像分别反向映射得到的球面虚像进行图像拼接。
为了使反向投影获得的球面图像位于同一三维空间坐标下，本发明实施例通过基于半径参数建立的逻辑球面，将两幅鱼眼图像及逻辑球面建立到同一三维空间坐标下。然后，基于第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到该逻辑球面上，从而获得反向映射至该逻辑球面上的球面拼接图像。
实际应用中，因鱼眼相机成像原理基本一致，等距成像模型、等角成像模型或立体视觉投影模型中的任一成像模型均为将鱼眼相机中的逻辑球面图像基于不同的投影映射函数得到鱼眼图像。因此，采用上述任一成像模型都可以通过反向映射得到球面拼接图像。
105：将所述球面拼接图像进行球面展开处理，获得360度全景图像。
该球面拼接图像经过球面展开处理后可以得到一个宽为2πF，高为πF的矩形的360度全景图像，其中，F为该鱼眼相机的半径参数。本发明球面展开为矩形全景图像的展开方法可以是任一现有方法或其它任一方法，在此不具体限定。展开后获得的矩形的360度全景图像的图像上边缘和下边缘具有相同的像素值，使得在头戴式设备中显示时可以看到360度的全景视角。当然，本发明实施中通过球面展开处理可以展开为任意形状的360度全景图像以适用于其它电子设备中，例如应用于摄影、医学影像、生物影像等不同技术领域的设备中，在此不做具体限定。
如图2中所示，图2(A)为鱼眼相机采集获得的第一鱼眼图像，图2(B)为鱼眼相机采集获得的第二鱼眼图像，其中第一鱼眼图像及第二鱼眼图像以正方形形式存储，其实际图像内容为圆形，因此鱼眼图像的图像中心即为圆心坐标。经过将第一鱼眼图像及第二鱼眼图像反向映射至以半径参数建立的逻辑球面上，得到球面拼接图像，并将球面拼接图像进行球面展开处理获得矩形全景图像。其中，图2(C)为基于等距投影模型得到的360度全景图像，图2(D)为基于等立体角投影模型得到的360度全景图像。
实际应用中，在获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之前，还可以包括：
获取鱼眼相机基于彩色立体标定盒采集的第一标定图像及第二标定图像；其中，所述彩色立体标定盒为正六面体，所述彩色立体标定盒内部的每一个面由彩色棋盘标定板构成，且任一组相对面的彩色棋盘标定板的像素值相同。
基于所述第一标定图像及所述第二标定图像计算获得鱼眼相机的成像模型的半径参数。
由于现有技术中大多都是采用黑白标定板或黑白立体标定板进行图像标定，但由于实际采集图像往往都是彩色图像，因此基于黑白标定板进行相机标定难于获得准确地相机参数。为了解决这一问题，发明人提供了一种基于彩色立体标定盒对鱼眼相机进行标定获得相机参数的实施例。该实施例中，彩色立体标定盒为正六面体，所述彩色立体标定盒内部的每一个面由彩色棋盘标定板构成，且任一组相对面的彩色棋盘标定板的像素值相同。其中，每一个彩色棋盘标定板均包含多个彩色的像素块，每个像素块的RGB值可以是分别由32、96、160、224这四个灰度值任意排列组合构成。例如，任一彩色像素块的RGB值，可以是(32，160，96)，其中，R值为32，G值为160，B值为96；或是(32，32，32)，其中，R值为32，G值为32，B值为32。因此，该彩色立体标定盒中可以包含最多64种像素块，其中每个角点的特征值可以通过其周围的四个像素块的RGB值构成的一个12维的特征向量来表示，例如任一个角点周围的四个像素块的RGB值分别为(R1，G1，B1)、(R2，G2，B2)、(R3，G3，B3)和(R4，G4，B4)，其特征向量可以表示为(R1，G1，B1，R2，G2，B2，R3，G3，B3，R4，G4，B4)。同时为了保证角点的匹配精度，该彩色立体标定盒每一面上的彩色像素块的像素值均不相同，因此，进行角点匹配时可以避免相似或相近角点的误匹配，造成标定获得的相机参数不准确的问题。
可选地，在某些实施例中，所述基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数包括：
分别提取所述第一标定图像及所述第二标定图像中的角点；
将所述第一标定图像中的角点与所述第二标定图像中的角点进行匹配，获得所述第一标定图像的匹配特征点及所述第二标定图像中的匹配特征点；
基于所述第一标定图像的匹配特征点和所述第二标定图像的匹配特征点，计算获得所述鱼眼相机的成像模型的半径参数。
具体地，鱼眼相机可以设置于彩色立体标定盒内部的下表面上，为了保证可以拍摄获得清晰的标定图像，该彩色立体标定盒内部的上表面可以设置有LED灯用于照明。将鱼眼相机的两个鱼眼镜头的光轴调节到同一直线上，并使得该光轴平行于彩色立体标定盒的底面，拍摄获得第一标定图像及第二标定图像。并分别提取第一标定图像及第二标定图像中的角点，基于角点的特征向量进行角点匹配，获得第一标定图像的匹配特征点及第二标定图像的匹配特征点，基于所述第一标定图像的匹配特征点和所述第二标定图像的匹配特征点，计算获得所述鱼眼相机的成像模型的半径参数。
实际中，通常会由于一些相机的结构精度等原因，导致鱼眼相机的拍摄两幅鱼眼图像的亮度出现偏差，拼接得到的全景图像出现亮度不一致的现象，使得全景图像的拼接痕迹明显。因此为了矫正两个鱼眼镜头拍摄的第一鱼眼图像及第二鱼眼图像的亮度差，可以通过相机标定确定两个鱼眼镜头的亮度差参数，然后基于该亮度差参数，对亮度较低的鱼眼图像进行亮度补偿处理。具体地，可以通过以下实施方式实现对第一鱼眼图像或第二鱼眼图像亮度的调节。
可选地，基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数之后，还可以包括：
计算所述第一标定图像及所述第二标定图像的亮度差，获得所述鱼眼相机的亮度差参数。
可选地，在某些实施例中，所述获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之后，还可以包括：
基于所述亮度差参数调整所述第一鱼眼图像和所述第二鱼眼图像的亮度差，以使所述第一鱼眼图像和所述第二鱼眼图像的亮度一致。
由于该彩色立体标定盒相对面的任两个标定板的像素块的像素值及其排列方式完全相同，因此，拍摄获得的第一标定图像及第二标定图像理论上也应该是完全相同的，但由于鱼眼镜头的光轴偏差可能导致两幅鱼眼图像的亮度不同。为了获得更加准确地亮度差参数，在求每幅图像亮度值的时候，通常选取图像中平滑点的像素值。因此，分别获取第一标定图像及第二标定图像相对应位置的多个平滑点的像素值，并分别计算第一标定图像中多个平滑点的第一平均像素值(即RGB值)及第二标定图像中相对应位置的多个平滑点的第二平均像素值。计算第一平均像素值及第二平均像素值的差值作为该鱼眼相机的亮度差参数。
在鱼眼相机拍摄获得第一鱼眼图像及第二鱼眼图像后，可以基于该亮度差参数对第一鱼眼相机或第二鱼眼相机的亮度差进行调整，使得第一鱼眼图像和第二鱼眼图像的亮度一致。
可选地，在实际应用中，还可以是在第一鱼眼图像及第二鱼眼图像分别反向映射至逻辑球面上之后，对反向映射获得的两个半球面图像基于该亮度差参数进行亮度调整。然后，将经过亮度调整后的两个半球面图像进行图像拼接处理获得球面拼接图像。
本发明实施实例中，由于拼接过程中不需要进行特征点的提取和匹配，因此可以适用于对任何图像内容的全景拼接。避免了由于采集图像内容的特征点较少，提取困难或提取不到特征点造成图像拼接精度低，效率差的问题，且由于反向映射得到的逻辑球面图像不存在非线性畸变和视角差，因此也不需要进行鱼眼图像的矫正，即可直接进行图像拼接处理，大大提高了图像处理效率，进一步提高了图像拼接的效率和精度，大大提高了用户体验。
图3为本发明实施例提供的一种图像拼接方法的又一个实施例的流程图，该方法可以包括以下几个步骤：
301：获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像；
其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中位于同一光轴上的第一鱼眼镜头和第二鱼眼镜头采集获得。
302：按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面。
303：确定所述第一鱼眼图像与所述成像模型的第一投影映射关系。
304：确定所述第二鱼眼图像与所述成像模型的第二投影映射关系。
305：建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型。
306：基于所述反向映射模型及所述第一鱼眼图像与所述成像模型的第一投影映射关系将所述第一鱼眼图像反映射至所述逻辑球面的第一半球，获得第一半球面图像。
307：基于所述反向映射模型及所述第二鱼眼图像与所述成像模型的第二投影映射关系将所述第二鱼眼图像反映射至所述逻辑球面的第二半球，获得第二半球面图像。
308：基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像。
309：将所述球面拼接图像进行球面展开处理，获得360度全景图像。
在实际应用中，鱼眼相机的成像模型包括：等距投影模型、等立体角投影模型或立体视觉投影模型；
所述确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系可以包括：
确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述等距投影模型、所述等立体角投影模型或所述立体视觉投影模型的投影映射关系。
其中，等距投影模型投影模型可以表示为：r＝Fθ (1)
等立体角投影模型可以表示为：r＝2F sinθ/2 (2)
立体视觉投影模型可以表示为：r＝2F tanθ/2 (3)
实际中，在鱼眼相机的成像模型中，r表示成像模型在平面图像上的投影距光轴的距离；θ表示入射角即三维空间光线进入鱼眼镜头与光轴的夹角，其中，基于成像模型获得的平面图像的中心位于光轴上。
其中，第一鱼眼图像的第一圆心坐标为(xa0,ya0)，所述第二鱼眼图像的第二圆心坐标为(xb0,yb0)；
第一鱼眼图像中任一像素点(xa,ya)到所述第一圆心的距离为：
第二鱼眼图像中任一像素点(xb,yb)到所述第二圆心的距离为：
由上可知，基于所述成像模型，确定所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以包括：
成像模型为等距投影模型，由上式(1)、(4)和(5)可得，基于等距投影模型，计算得到所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以表示为：
所述逻辑球面投影到所述第二鱼眼图像的第二映射关系可以表示为：
成像模型为等立体角投影模型，由上式(2)、(4)和(5)可得，基于等立体角投影模型，计算得到所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以表示为：
所述逻辑球面投影到所述第二鱼眼图像的第二映射关系可以表示为：
成像模型为立体视角投影模型，由上式(3)、(4)和(5)可得，基于立体视觉投影模型，计算得到所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以表示为：
所述逻辑球面投影到所述第二鱼眼图像的第二映射关系可以表示为：
其中，
基于第一鱼眼图像与成像模型的第一映射关系及第二鱼眼图像与成像模型的第二映射关系，可以确定第一鱼眼图像的像素坐标(xa,ya)及第二鱼眼图像的像素坐标(xb,yb)分别与成像模型的像素坐标的映射关系。
可选地，在某些实施例中，所述建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型可以包括：
确定所述第一鱼眼图像的图像中心为第一圆心及所述第二鱼眼图像的图像中心为第二圆心；
将所述第一鱼眼图像及所述第二鱼眼图像分别与所述逻辑球面相切；其中，所述第一鱼眼图像与所述逻辑球面的第一切点为所述第一圆心；所述第二鱼眼图像与所述逻辑球面的第二切点为所述第二圆心；所述第一切点与所述第二切点的距离为所述半径参数的二倍。
如图4(a)-图4(c)所示分别给出了基于上述三种投影模型建立的反向映射模型示意图，确定所述第一鱼眼图像的图像中心为第一圆心(xa0,ya0)及所述第二鱼眼图像的图像中心为第二圆心(xb0,yb0)。其中，图4(a)为基于等距投影模型投影模型建立的反向映射模型示意图；图4(b)为基友等立体角投影模型建立的反向映射模型示意图；图4(c)为基于立体视觉投影模型建立的反向映射模型投影示意图。
为了将第一鱼眼图像及第二鱼眼图像反向映射至三维空间同一坐标系下，将所述第一鱼眼图像及所述第二鱼眼图像分别与所述逻辑球面相切。
此时，以逻辑球面的球心为坐标原点(0,0,0)，使得第一圆心坐标对应逻辑球面的坐标为(F,0°,0°)，第二圆心坐标对应逻辑球面的(F,180°,0°)；从而将第一鱼眼图像及第二鱼眼图像分别反向映射至该逻辑球面的上下两个半球上，分别获得第一半球面图像和第二半球面图像。由于，鱼眼镜头的视角通常大于180度，因此，反向映射得到的第一半球图像和第二半球图像会有部分重叠区域。其重叠区域分布在(F,θ,0°)～(F,θ,360°)之间，其中，θ值的大小在此不做具体限定，例如，θ值基于鱼眼镜头的视角大小可以是在90°±15°左右。
因此，可选地，在某些实施例中，所述基于所述第一半球面图像及第二半球面图像获得所述球面拼接图像可以包括：
将所述第一半球面图像及所述第二半球面图像的图像重叠部分进行图像融合，得到所述球面拼接图像。
可选地，在某些实施例中，将所述第一半球面图像及所述第二半球面图像的重叠部分进行图像融合，得到所述球面拼接图像可以包括：
确定所述第二半球面图像中与第一半球面图像中的第一像素点的球面坐标相同的第二像素点；
将第一像素点的像素值与第二像素点的像素值进行加权求和，计算球面坐标的融合像素值，得到球面拼接图像。
具体地，可以是，首先确定第一半球图像与第二半球图像的重叠部分位于逻辑球面的75°≤θ≤105°范围内。取第一半球面图像中与第二半球图像重叠部分任一像素点的球面坐标为其中，该坐标对应第一半球图像的第一像素点的像素值为RGB1，对应第二半球图像的第二像素点的像素值为RGB2，由于该像素点的坐标θ＝85°，相对于重叠区域75°≤θ≤105°，其位于重叠区域的1/3处。因此，赋予第一像素点的像素值的权重为2/3，赋予第二像素点的像素值的权重为1/3。则通过加权求和，计算获得球面拼接图像的像素坐标对应像素点的像素值为RGBs1＝2/3·RGB1+1/3·RGB2。
同样，如果球面坐标为则赋予第一像素点的像素值的权重为1/2，赋予第二像素点的像素值的权重为1/2。计算获得球面拼接图像的像素坐标对应像素点的像素值为RGBs1＝1/2·RGB1+1/2·RGB2。依次类推，分别将第一半球图像及第二半球图像重叠部分按照上述加权求和方式进行图像融合处理，获得球面拼接图像。然后，将球面拼接图像进行球面展开处理获得矩形全景图像。
进一步地，为了保证第一鱼眼图像及第二鱼眼图像反向映射到逻辑球面上的第一半球图像及第二半球图像的视角一致，以保证获得的球面拼接图像的视角不会发生扭曲，可选地，在进行反向映射之前，调整第一鱼眼图像及第二鱼眼图像相对于逻辑球面的反向映射角度。具体地，取第一鱼眼图像任一像素坐标(xa，ya)；其中，xa＝xa0+m；ya＝ya0+n，m≠0，n≠0；
对应地取第二鱼眼图像中与第一鱼眼图像相对应的像素坐标(xb，yb)；其中，xb＝xb0+m；yb＝yb0+n，m≠0，n≠0。只要保证(xa，ya)和(xb，yb)反向映射后，分别对应的逻辑球面坐标均满足φa0＝φb0，即可使拼接求面图像的视角不会发生扭曲。
本实施例中，通过分别确定成像模型与第一鱼眼图像及第二鱼眼图像的投影映射关系，并建立反向映射模型使得第一鱼眼图像及第二鱼眼图像分别反向映射至逻辑球面的两个半球上，得到第一半球面图像及第二半球面图像。且由于反向映射得到的逻辑球面图像不存在非线性畸变和视角差，不需要进行鱼眼图像得矫正，即可直接将第一半球面图像及第二半球面图像进行图像融合处理，即可完成图像拼接，得到球面拼接图像，简化了图像拼接过程，大大提高了图像处理效率，进一步提高了图像拼接的效率和精度，大大提高了用户体验。
图5为本发明实施例提供的一种图像拼接装置的一个实施例的结构示意图，该装置可以包括：
第一获取模块501：获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像。
其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得。
逻辑球面构建模块502：按照鱼眼相机的成像模型的半径参数，构建逻辑球面。
鱼眼相机的半径参数即为该相机的焦距，其中，半径参数可以通过对鱼眼相机进行相机标定获得。
第一确定模块503，用于确定第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系。
图形拼接模块504，用于基于第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系，将第一鱼眼图像以及第二鱼眼图像反向映射到逻辑球面，以获得球面拼接图像。
全景图像生成模块505，用于将所述球面拼接图像进行球面展开处理，获得360度全景图像。
该球面拼接图像经过球面展开处理后可以得到一个宽为2πF，高为πF的矩形全景图像，其中，F为该鱼眼相机的半径参数。展开后获得的矩形全景图像的图像上边缘和下边缘具有相同的像素值，使得在头戴式设备中显示时可以看到360度的全景视角。本发明球面展开为360度全景图像的展开方法可以是任一现有方法或其它任一方法，当然，本发明实施中通过球面展开处理可以展开为任意形状的360度全景图像以适用于其它电子设备中，例如应用于摄影、医学影像、生物影像等不同技术领域的设备中，在此不具体限定。
实际应用中，第一获取模块501之前，还可以包括：
标定图像获取模块：用于获取鱼眼相机基于彩色立体标定盒采集的第一标定图像及第二标定图像；其中，所述彩色立体标定盒为正六面体，所述彩色立体标定盒内部的每一个面由彩色棋盘标定板构成，且任一组相对面的彩色棋盘标定板的像素值相同。
半径参数获取模块，用于基于所述第一标定图像及所述第二标定图像计算获得鱼眼相机的成像模型的半径参数。
可选地，在某些实施例中，半径参数获取模块具体可以用于：
分别提取所述第一标定图像及所述第二标定图像中的角点；
将所述第一标定图像中的角点与所述第二标定图像中的角点进行匹配，获得所述第一标定图像的匹配特征点及所述第二标定图像中的匹配特征点；
基于所述第一标定图像的匹配特征点和所述第二标定图像的匹配特征点，计算获得所述鱼眼相机的成像模型的半径参数。
可选地，所半径参数获取模块之后，还可以包括：
亮度差参数计算模块，用于计算所述第一标定图像及所述第二标定图像的亮度差，获得所述鱼眼相机的亮度差参数。
可选地，在某些实施例中，所述第一获取模块501之后，还可以包括：
亮度调整模块，用于基于所述亮度差参数调整所述第一鱼眼图像和所述第二鱼眼图像的亮度差，以使所述第一鱼眼图像和所述第二鱼眼图像的亮度一致。
可选地，在实际应用中，还可以是在第一鱼眼图像及第二鱼眼图像分别反向映射至逻辑球面上之后，对反向映射获得的两个半球面图像基于该亮度差参数进行亮度调整。然后，将经过亮度调整后的两个半球面图像进行图像拼接处理获得球面拼接图像。
本发明实施实例中，由于拼接过程中不需要进行特征点的提取和匹配，因此可以适用于对任何图像内容的全景拼接。避免了由于采集图像内容的特征点较少，提取困难或提取不到特征点造成图像拼接精度低，效率差的问题，且由于反向映射得到的逻辑球面图像不存在非线性畸变和视角差，因此也不需要进行鱼眼图像的矫正，即可直接进行图像拼接处理，大大提高了图像处理效率，进一步提高了图像拼接的效率和精度，大大提高了用户体验。
图6为本发明实施例提供的一种图像拼接装置的又一个实施例的结构示意图，该装置可以包括：
第一获取模块601：用于获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像；
其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中位于同一光轴上的第一鱼眼镜头和第二鱼眼镜头采集获得。
逻辑球面构建模块602：用于按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面。
第一确定模块603，用于确定第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系。
可选地，第一确定模块603可以包括：
第一投影映射关系确定单元611，用于确定所述第一鱼眼图像与所述成像模型的第一投影映射关系。
第二投影映射关系确定单元612，用于确定所述第二鱼眼图像与所述成像模型的第二投影映射关系。
图形拼接模块604，用于基于第一鱼眼图像和第二鱼眼图像分别与成像模型的投影映射关系，将第一鱼眼图像以及第二鱼眼图像反向映射到逻辑球面，以获得球面拼接图像。
可选地，图形拼接模块604可以包括：
反向映射模型建立单元613，用于建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型。
第一半球面图像获取单元614，用于基于所述反向映射模型及所述第一鱼眼图像与所述成像模型的第一投影映射关系将所述第一鱼眼图像反映射至所述逻辑球面的第一半球，获得第一半球面图像。
第二半球面图像获取单元615，用于基于所述反向映射模型及所述第二鱼眼图像与所述成像模型的第二投影映射关系将所述第二鱼眼图像反映射至所述逻辑球面的第二半球，获得第二半球面图像。
球面拼接图像获取单元616，用于基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像。
全景图像获取模块605，用于将所述球面拼接图像进行球面展开处理，获得360度全景图像。
在实际应用中，鱼眼相机的成像模型包括：等距投影模型、等立体角投影模型或立体视觉投影模型；
所述第一确定模块603具体可以用于：
确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述等距投影模型、所述等立体角投影模型或所述立体视觉投影模型的投影映射关系。
其中，等距投影模型可以表示为：r＝Fθ (1)
等立体角投影模型可以表示为：r＝2F sinθ/2 (2)
立体视觉投影模型可以表示为：r＝2F tanθ/2 (3)
实际中，在鱼眼相机的成像模型中，r表示成像像高，即成像模型在平面图像上的投影距光轴的距离；θ表示入射角即三维空间光线进入鱼眼镜头与光轴的夹角，其中，基于成像模型获得的平面图像的中心位于光轴上。
其中，第一鱼眼图像的第一圆心坐标为(xa0,ya0)，所述第二鱼眼图像的第二圆心坐标为(xb0,yb0)；
第一鱼眼图像中任一像素点(xa,ya)到所述第一圆心的距离为：
第二鱼眼图像中任一像素点(xb,yb)到所述第二圆心的距离为：
由上可知，基于所述成像模型，确定所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以包括：
成像模型为等距投影模型，由上式(1)、(4)和(5)可得，基于等距投影模型，计算得到所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以表示为：
所述逻辑球面投影到所述第二鱼眼图像的第二映射关系可以表示为：
成像模型为等立体角投影模型，由上式(2)、(4)和(5)可得，基于等立体角投影模型，计算得到所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以表示为：
所述逻辑球面投影到所述第二鱼眼图像的第二映射关系可以表示为：
成像模型为立体视角投影模型，由上式(3)、(4)和(5)可得，基于立体视觉投影模型，计算得到所述逻辑球面投影到所述第一鱼眼图像的第一映射关系可以表示为：
所述逻辑球面投影到所述第二鱼眼图像的第二映射关系可以表示为：
其中，
基于第一鱼眼图像与成像模型的第一映射关系及第二鱼眼图像与成像模型的第二映射关系，可以确定第一鱼眼图像的像素坐标(xa,ya)及第二鱼眼图像的像素坐标(xb,yb)分别与成像模型的像素坐标的映射关系。
可选地，在某些实施例中，反向映射模型建立单元613具体可以用于：
确定所述第一鱼眼图像的图像中心为第一圆心及所述第二鱼眼图像的图像中心为第二圆心；
将所述第一鱼眼图像及所述第二鱼眼图像分别与所述逻辑球面相切；其中，所述第一鱼眼图像与所述逻辑球面的第一切点为所述第一圆心；所述第二鱼眼图像与所述逻辑球面的第二切点为所述第二圆心；所述第一切点与所述第二切点的距离为所述半径参数的二倍。
如图4所示，确定所述第一鱼眼图像的图像中心为第一圆心(xa0,ya0)及所述第二鱼眼图像的图像中心为第二圆心(xb0,yb0)。
为了将第一鱼眼图像及第二鱼眼图像反向映射至三维空间同一坐标系下，将所述第一鱼眼图像及所述第二鱼眼图像分别与所述逻辑球面相切。
此时，以逻辑球面的球心为坐标原点(0，0，0)，使得第一圆心坐标对应逻辑球面的坐标为(F,0°,0°)，第二圆心坐标对应逻辑球面的(F,180°,0°)；从而将第一鱼眼图像及第二鱼眼图像分别反向映射至该逻辑球面的上下两个半球上，分别获得第一半球面图像和第二半球面图像。由于，鱼眼镜头的视角通常大于180度，因此，反向映射得到的第一半球图像和第二半球图像会有部分重叠区域。其重叠区域分布在(F,θ,0°)～(F,θ,360°)之间，其中，θ值的大小在此不做具体限定，例如，θ值基于鱼眼镜头的视角大小可以是在90°±15°左右。
因此，可选地，在某些实施例中，球面拼接图像获取单元616具体可以用于：
将所述第一半球面图像及所述第二半球面图像的图像重叠部分进行图像融合，得到所述球面拼接图像。
可选地，在某些实施例中，球面拼接图像获取单元616用于将所述第一半球面图像及所述第二半球面图像的重叠部分进行图像融合，得到所述球面拼接图像具体可以是：
确定所述第二半球面图像中与第一半球面图像中的第一像素点的球面坐标相同的第二像素点；
将第一像素点的像素值与第二像素点的像素值进行加权求和，计算球面坐标的融合像素值，得到球面拼接图像。
本实施例中，通过分别确定成像模型与第一鱼眼图像及第二鱼眼图像的投影映射关系，并建立反向映射模型使得第一鱼眼图像及第二鱼眼图像分别反向映射至逻辑球面的两个半球上，得到第一半球面图像及第二半球面图像。且由于反向映射得到的逻辑球面图像不存在非线性畸变和视角差，不需要进行鱼眼图像的矫正，即可直接将第一半球面图像及第二半球面图像进行图像融合处理，即可完成图像拼接，得到球面拼接图像，简化了图像拼接过程，大大提高了图像处理效率，进一步提高了图像拼接的效率和精度，大大提高了用户体验。
图7本发明实施例的一种电子设备的一个实施例的结构示意图，包括处理组件701以及存储组件702。所述存储组件702存储一条或多条计算机程序指令；所述处理组件701用于调用并执行一条或多条计算机程序以实现：
获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像。
其中，第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得。
按照鱼眼相机的成像模型的半径参数，构建逻辑球面。
确定第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系。
基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像。
将所述球面拼接图像进行球面展开处理，获得矩形全景图像。
可选地，该处理组件701还用于执行前述各方法步骤中的全部或部分步骤。
其中，该处理组件701可以包括一个或多个处理器来执行计算机指令。当然处理组件701也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
该存储组件702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
当然，电子设备还可以包括其他部件，例如输入/输出接口、通信组件等。输入/输出接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是输出设备、输入设备等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种图像拼接方法，其特征在于，包括：
获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像；其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得；
按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面；
确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系；
基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像；
将所述球面拼接图像进行球面展开处理，获得360度全景图像。
2.根据权利要求1所述的方法，其特征在于，所述确定第一鱼眼图像和第二鱼眼图像分别与所述鱼眼相机的成像模型的投影映射关系包括：
确定所述第一鱼眼图像与所述成像模型的第一投影映射关系；
确定所述第二鱼眼图像与所述成像模型的第二投影映射关系。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像包括：
建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型；
基于所述反向映射模型及所述第一鱼眼图像与所述成像模型的第一投影映射关系将所述第一鱼眼图像反映射至所述逻辑球面的第一半球，获得第一半球面图像；
基于所述反向映射模型及所述第二鱼眼图像与所述成像模型的第二投影映射关系将所述第二鱼眼图像反映射至所述逻辑球面的第二半球，获得第二半球面图像；
基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像包括：
将所述第一半球面图像及所述第二半球面图像的图像重叠部分进行图像融合，得到所述球面拼接图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一半球面图像及所述第二半球面图像的重叠部分进行图像融合，得到所述球面拼接图像包括：
确定所述第二半球面图像中与所述第一半球面图像中的第一像素点的球面坐标相同的第二像素点；
将所述第一像素点的像素值与所述第二像素点的像素值进行加权求和，计算所述球面坐标的融合像素值，得到所述球面拼接图像。
6.根据权利要求1所述的方法，其特征在于，所述获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之前，还包括：
获取鱼眼相机基于彩色立体标定盒采集的第一标定图像及第二标定图像；其中，所述彩色立体标定盒为正六面体，所述彩色立体标定盒内部的每一个面由彩色棋盘标定板构成，且任一组相对面的彩色棋盘标定板的像素值相同；
基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数包括：
分别提取所述第一标定图像及所述第二标定图像中的角点；
将所述第一标定图像中的角点与所述第二标定图像中的角点进行匹配，获得所述第一标定图像的匹配特征点及所述第二标定图像中的匹配特征点；
基于所述第一标定图像的匹配特征点和所述第二标定图像的匹配特征点，计算获得所述鱼眼相机的成像模型的半径参数。
8.根据权利要求6所述的方法，其特征在于，所基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数之后，还包括：
计算所述第一标定图像及所述第二标定图像的亮度差，获得所述鱼眼相机的亮度差参数。
9.根据权利要求8所述的方法，其特征在于，所述获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之后，还包括：
基于所述亮度差参数调整所述第一鱼眼图像和所述第二鱼眼图像的亮度差，以使所述第一鱼眼图像和所述第二鱼眼图像的亮度一致。
10.根据权利要求3所述的方法，其特征在于，所述建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型包括：
确定所述第一鱼眼图像的图像中心为第一圆心及所述第二鱼眼图像的图像中心为第二圆心；
将所述第一鱼眼图像及所述第二鱼眼图像分别与所述逻辑球面相切；其中，所述第一鱼眼图像与所述逻辑球面的第一切点为所述第一圆心；所述第二鱼眼图像与所述逻辑球面的第二切点为所述第二圆心；所述第一切点与所述第二切点的距离为所述半径参数的二倍。
11.一种电子设备，其特征在于，包括处理组件以及存储组件；所述存储组件存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件调用并执行；
获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像；其中，所述第一鱼眼图像和所述第二鱼眼图像分别由所述鱼眼相机中光轴位于同一直线上且相背设置的第一鱼眼镜头和第二鱼眼镜头采集获得；
按照所述鱼眼相机的成像模型的半径参数，构建逻辑球面；
确定所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系；
基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像；
将所述球面拼接图像进行球面展开处理，获得360度全景图像。
12.根据权利要求11所述的设备，其特征在于，所述处理组件确定第一鱼眼图像和第二鱼眼图像分别与所述鱼眼相机的成像模型的投影映射关系包括：
确定所述第一鱼眼图像与所述成像模型的第一投影映射关系；
确定所述第二鱼眼图像与所述成像模型的第二投影映射关系。
13.根据权利要求12所述的设备，其特征在于，所述处理组件基于所述第一鱼眼图像和所述第二鱼眼图像分别与所述成像模型的投影映射关系，将所述第一鱼眼图像以及所述第二鱼眼图像反向映射到所述逻辑球面，以获得球面拼接图像包括：
建立所述第一鱼眼图像、所述第二鱼眼图像及所述逻辑球面的反向映射模型；
基于所述反向映射模型及所述第一鱼眼图像与所述成像模型的第一投影映射关系将所述第一鱼眼图像反映射至所述逻辑球面的第一半球，获得第一半球面图像；
基于所述反向映射模型及所述第二鱼眼图像与所述成像模型的第二投影映射关系将所述第二鱼眼图像反映射至所述逻辑球面的第二半球，获得第二半球面图像；
基于所述第一半球面图像及所述第二半球面图像获得所述球面拼接图像。
14.根据权利要求10所述的设备，其特征在于，所述处理器组件获取鱼眼相机采集的第一鱼眼图像和第二鱼眼图像之前，还包括：
获取鱼眼相机基于彩色立体标定盒采集的第一标定图像及第二标定图像；其中，所述彩色立体标定盒为正六面体，所述彩色立体标定盒内部的每一个面由彩色棋盘标定板构成，且任一组相对面的彩色棋盘标定板的像素值相同；
基于所述第一标定图像及所述第二标定图像计算获得所述鱼眼相机的成像模型的半径参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810654230.8A CN108846796B (zh) | 2018-06-22 | 2018-06-22 | 图像拼接方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810654230.8A CN108846796B (zh) | 2018-06-22 | 2018-06-22 | 图像拼接方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108846796A true CN108846796A (zh) | 2018-11-20 |
| CN108846796B CN108846796B (zh) | 2022-08-16 |
Family
ID=64203468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810654230.8A Active CN108846796B (zh) | 2018-06-22 | 2018-06-22 | 图像拼接方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108846796B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493273A (zh) * | 2018-10-09 | 2019-03-19 | 江苏裕兰信息科技有限公司 | 一种色彩一致性调节方法 |
| CN109754363A (zh) * | 2018-12-26 | 2019-05-14 | 斑马网络技术有限公司 | 基于鱼眼相机的环视图像合成方法和装置 |
| CN110728622A (zh) * | 2019-10-22 | 2020-01-24 | 珠海研果科技有限公司 | 鱼眼图像处理方法、装置、电子设备及计算机可读介质 |
| CN111507894A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
| CN113544733A (zh) * | 2019-03-10 | 2021-10-22 | 谷歌有限责任公司 | 使用对缝法的360度广角相机 |
| CN113873223A (zh) * | 2021-09-03 | 2021-12-31 | 大连中科创达软件有限公司 | 相机清晰度确定方法、装置、设备及存储介质 |
| CN115108016A (zh) * | 2022-08-25 | 2022-09-27 | 成都锐新科技有限公司 | 自卫吊舱控制方法及装置、介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835117A (zh) * | 2015-05-11 | 2015-08-12 | 合肥工业大学 | 基于重叠方式的球面全景图生成方法 |
| CN106454046A (zh) * | 2016-11-01 | 2017-02-22 | 信利光电股份有限公司 | 一种360°全景摄像模组与一种电子设备 |
| CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
| US20180035047A1 (en) * | 2016-07-29 | 2018-02-01 | Multimedia Image Solution Limited | Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama |
| US20180114291A1 (en) * | 2016-10-20 | 2018-04-26 | Ricoh Company, Ltd. | Image processing method and device as well as non-transitory computer-readable medium |
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
-
2018
- 2018-06-22 CN CN201810654230.8A patent/CN108846796B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835117A (zh) * | 2015-05-11 | 2015-08-12 | 合肥工业大学 | 基于重叠方式的球面全景图生成方法 |
| US20180035047A1 (en) * | 2016-07-29 | 2018-02-01 | Multimedia Image Solution Limited | Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama |
| US20180114291A1 (en) * | 2016-10-20 | 2018-04-26 | Ricoh Company, Ltd. | Image processing method and device as well as non-transitory computer-readable medium |
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
| CN106454046A (zh) * | 2016-11-01 | 2017-02-22 | 信利光电股份有限公司 | 一种360°全景摄像模组与一种电子设备 |
| CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 华顺刚等: "基于图像绘制的球面全景图生成及自动拼接技术研究", 《大连理工大学学报》 * |
| 席志红等: "基于鱼眼镜头的全视觉图像", 《应用科技》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493273A (zh) * | 2018-10-09 | 2019-03-19 | 江苏裕兰信息科技有限公司 | 一种色彩一致性调节方法 |
| CN109754363A (zh) * | 2018-12-26 | 2019-05-14 | 斑马网络技术有限公司 | 基于鱼眼相机的环视图像合成方法和装置 |
| CN109754363B (zh) * | 2018-12-26 | 2023-08-15 | 斑马网络技术有限公司 | 基于鱼眼相机的环视图像合成方法和装置 |
| CN113544733A (zh) * | 2019-03-10 | 2021-10-22 | 谷歌有限责任公司 | 使用对缝法的360度广角相机 |
| CN110728622A (zh) * | 2019-10-22 | 2020-01-24 | 珠海研果科技有限公司 | 鱼眼图像处理方法、装置、电子设备及计算机可读介质 |
| CN110728622B (zh) * | 2019-10-22 | 2023-04-25 | 珠海研果科技有限公司 | 鱼眼图像处理方法、装置、电子设备及计算机可读介质 |
| CN111507894A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
| CN111507894B (zh) * | 2020-04-17 | 2023-06-13 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
| CN113873223A (zh) * | 2021-09-03 | 2021-12-31 | 大连中科创达软件有限公司 | 相机清晰度确定方法、装置、设备及存储介质 |
| CN113873223B (zh) * | 2021-09-03 | 2023-07-21 | 大连中科创达软件有限公司 | 相机清晰度确定方法、装置、设备及存储介质 |
| CN115108016A (zh) * | 2022-08-25 | 2022-09-27 | 成都锐新科技有限公司 | 自卫吊舱控制方法及装置、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108846796B (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108846796A (zh) | 图像拼接方法及电子设备 | |
| Nalwa | A true omnidirectional viewer | |
| CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
| JP4828779B2 (ja) | 高速デジタルパンチルトズームビデオ | |
| CN107169924B (zh) | 三维全景图像的建立方法和系统 | |
| TWI397317B (zh) | 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法 | |
| CN106886979A (zh) | 一种图像拼接装置及图像拼接方法 | |
| CN108805801A (zh) | 一种全景图像校正方法及系统 | |
| CN106357976A (zh) | 一种全方位全景图像生成的方法和装置 | |
| Ha et al. | Panorama mosaic optimization for mobile camera systems | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| CN101132535A (zh) | 基于转台的多投影大屏拼接方法 | |
| CN109559349A (zh) | 一种用于标定的方法和装置 | |
| CN108122191A (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
| CN110809786A (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
| CN107358577B (zh) | 一种立方体全景图的快速拼接方法 | |
| CN110191326A (zh) | 一种投影系统分辨率扩展方法、装置和投影系统 | |
| WO2020232971A1 (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 | |
| JPH11175762A (ja) | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 | |
| CN108446596A (zh) | 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法 | |
| KR102234981B1 (ko) | 다중 카메라 파노라마식 촬상 시스템 | |
| KR100614004B1 (ko) | 자동화된 360°파노라마 이미지 생성 방법 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| CN110009567A (zh) | 用于鱼眼镜头的图像拼接方法和装置 | |
| KR20200129657A (ko) | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |