CN105282443A - 一种全景深全景图像成像方法 - Google Patents

Abstract

本发明公开了一种全景深全景图像成像方法。包括以下步骤，步骤一：分析景深需求并计算对焦距离；步骤二：根据对焦距离拍摄图片；步骤三：将拍摄得到的i幅图片进行图像融合，得到全景深全景图像。本发明解决了全景图像在大视角成像前提下不能全图清晰成像这一技术问题，使全景图像在大视场前提下，信息表达更全面，视觉上更清晰，提高了分辨率、减少模糊性以易于识别，并且在很大程度上减少冗余信息。

Description

一种全景深全景图像成像方法

技术领域

本发明属于机器视觉领域，尤其涉及一种应用多次聚焦拍摄并进行图像融合的，全景深全景图像成像方法。

背景技术

折反射全景成像把水平360°视场范围内的物体景像反射到摄像机中进行成像，使摄像机一次拍摄即可获取远大于普通摄像机视野的景物图像。全景视觉技术能满足无人飞行器姿态测量及智能驾驶、移动机器人定位和路径规划、机器人自动归航，多目标检测和跟踪、场景三维结构信息获取及重构、视频监控、视频会议等一系列全方向大视场成像的应用需要，在众多领域具有广泛的应用价值。实际应用中，全景视觉系统受拍摄条件、光学性质等条件的限制，在阴天环境、室内环境等光线条件下，需要使用大光圈拍摄，导致单幅图片景深浅，不能使同一场景的所有目标都在同一聚焦区域，这使得图像不是所有信息都是清晰的。传统透视相机的景深范围需求是由所需要拍摄清楚的景物的空间位置决定的，既通过计算所需拍摄清晰的景物在空间中距离拍摄相机的最近距离和最远距离。而折反射全景系统由于结构上的特点，成像时通过曲面反射镜进行二次成像，使得景物全部压缩于反射镜范围内，实际拍摄时拍摄的是曲面反射镜。这使得景深计算只要满足从前景深是反射镜下端到后景深是反射镜顶端就可以满足全景深全景图像成像。又由于全景系统结构紧凑、体积小等特点，使得实际景深需求范围值远远小于透视相机所需景深值，不仅较透视相机有大视场这一优点，更容易实现全景深拍摄。为了让全景图像信息表达更全面，视觉上更清晰，提高分辨率、减少模糊性以易于识别，并且在很大程度上减少冗余信息，就产生了如何从多幅全景图像中融合成全清晰全景图像的问题。

发明内容

本发明的目的是提供一种能够提高分辨率的，全景深全景图像成像方法。

一种全景深全景图像成像方法，包括以下步骤，

步骤一：分析景深需求并计算对焦距离；

依次求取能够满足需求景深范围的i幅图像的拍摄对焦距离L_i，i＝1,2,3.....，

其中景深计算公式为：

前景深 ${\mathrm{\ΔL}}_{i1}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2+F\mathrm{\δ}(L_i-f)}$

后景深 ${\mathrm{\ΔL}}_{i2}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2-F\mathrm{\δ}(L_i-f)}$

景深ΔL_i＝ΔL_i1+ΔL_i2

景深范围为L_i-ΔL_i1～L_i+ΔL_i2

其中，δ为容许弥散圆直径，根据相机传感器尺寸参数，选取δ值；f为镜头焦距；F为镜头的拍摄光圈；L_i为第i幅图像的对焦距离，其中前景深满足：L_i-ΔL_i1≤b，后景深满足L_i+ΔL_i2≥c，景深满足ΔL_i≥c-b＝a；

步骤二：根据对焦距离拍摄图片；

步骤三：将拍摄得到的i幅图片进行图像融合，得到全景深全景图像。

本发明一种全景深全景图像成像方法，还可以包括：

1、将拍摄得到的i幅图片进行图像融合的方法为：

(1)图像特征点匹配使待融合图像映射到同一参数大小；

(2)求取一像素点和其邻域内像素的方差，通过设置方差阀值来区分判断是清晰点还是模糊点；

(3)设置浮动窗口，统计当前像素为中心的相应窗口区域的清晰点数，将清晰点数多的中心像素设为清晰点，得到清晰区域；

(4)通过检测出的区域结果进行图像融合。

有益效果：

本发明解决了全景图像在大视角成像前提下不能全图清晰成像这一技术问题，使全景图像在大视场前提下，信息表达更全面，视觉上更清晰，提高了分辨率、减少模糊性以易于识别，并且在很大程度上减少冗余信息。

附图说明

图1为本发明一种全景深全景图像成像方法过程框图。

图2为本发明使用的全景视觉系统参数图。

图3为本发明的景深原理光路图。

图4为本发明第i幅拍摄图片与第i-1幅拍摄图片清晰带融合示意图。

图5为本发明图像融合后的全景深全景图像。

具体实施方式

下面将结合附图对本发明做进一步详细说明。

应用机器视觉，图像处理等手段，本发明提供了一种全景深全景图像成像方法。

本发明实现发明目的所采用的方案是：应用多次聚焦拍摄图像并进行图像融合实现全景深全景图像的成像。主要步骤有：首先分析景深需求并根据全景设备特点计算对焦距离，然后对焦系统接收计算机对焦信息值进行对焦并拍摄图片，最后将拍摄得到的多张图片应用基于焦点区域检测的多聚焦图像融合方法进行融合得到全景深全景图像。

一种全景深全景图像成像方法，包括如下步骤，如图1所示：

第一步，分析景深需求并根据全景设备特点计算对焦距离：

根据全景系统结构参数，分析、计算得到可以满足全景深全景图像成像的景深需求范围。将各参数带入景深公式求取需求景深所对应的对焦距离数值L_i(i＝1,2,3...)。

第二步，对焦并拍摄图片：

将对焦数值L_i(i＝1,2,3...)输入计算机，并点击开始拍摄。伺服对焦系统接收到计算机对焦信号驱动对焦距离为L₁拍摄第一幅图片存储为图片1，接收对焦信号驱动对焦距离为L₂拍摄第二幅图片存储为图片2,.....,接收对焦信号驱动对焦距离为L_i拍摄第二幅图片存储为图片i。

第三步，图片融合：

将第二步拍摄得到的i幅图片进行图像融合。得到全景深全景图像。

第一步分析景深需求并根据全景设备特点计算对焦距离中的红外全景视觉系统包括：支架、带有自动对焦系统的科学级别CMOS相机、自动对焦镜头、全方位成像反光镜和一个带有图像处理程序的系统计算机。如附图2所示，其中，全方位成像反光镜[1]为双曲面反光镜，经环形透光玻璃支撑筒[2]支撑在支架底座[3]上，在全方位成像反光镜[1]下方环形透光玻璃支撑筒[2]内的支架底座[3]上，设置有自动对焦系统的科学级别CMOS相机[4]其上安装有自动对焦镜头[5],系统计算机[6]与带有自动对焦系统的科学级别CMOS相机[4]相连。全方位反光镜[1]镜高a。科学级别CMOS相机[4]的传感器平面距离全方位反光镜底部高度为b，距离顶部高度为c。

第一步分析景深需求并根据全景设备特点计算对焦距离，具体步骤为

1)根据全景系统结构参数，分析得到可以满足全景深全景图像成像的景深需求范围：传统透视相机的景深范围需求是由所需要拍摄清楚的景物的空间位置决定的，既通过计算所需拍摄清晰的景物在空间中距离拍摄相机的最近距离和最远距离。而折反射全景系统由于结构上的特点，成像时通过曲面反射镜进行二次成像，使得景物全部压缩于反射镜范围内，实际拍摄时拍摄的是曲面反射镜。这使得景深计算只要满足从前景深是反射镜下端到后景深是反射镜顶端就可以满足全景深全景图像成像。又由于全景系统结构紧凑、体积小等特点，使得实际景深需求范围值远远小于透视相机所需景深值，不仅较透视相机有大视场这一优点，更容易实现全景深拍摄。

2)根据全景系统结构参数、相机镜头参数、拍摄环境等参数值带入景深计算公式，依次求取能够满足需求景深范围的i幅图像的拍摄对焦距离L_i(i＝1,2,3.....)。其中景深计算公式为：

前景深 ${\mathrm{\ΔL}}_{i1}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2+F\mathrm{\δ}(L_i-f)}---\left(1\right)$

后景深 ${\mathrm{\ΔL}}_{i2}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2-F\mathrm{\δ}(L_i-f)}---\left(2\right)$

景深ΔL_i＝ΔL_i1+ΔL_i2(3)

景深范围为L_i-ΔL_i1～L_i+ΔL_i2(4)

δ为容许弥散圆直径，根据相机传感器尺寸参数，选取δ值；f为镜头焦距；F为镜头的拍摄光圈；L_i为第i幅图像的对焦距离(i＝1,2,3.....)。其中前景深应满足：L_i-ΔL_i1≤b，后景深应满足L_i+ΔL_i2≥c，景深应满足ΔL_i≥c-b＝a，既：景深需求范围应满足从曲面反射镜底部到顶部都能在相机上清晰成像。

第三步图片融合，为一种基于焦点区域检测的多聚焦图像融合方法，具体步骤为，

1)图像特征点匹配使待融合图像映射到同一参数大小。

2)求取某一像素点和其邻域内像素的方差，通过设置方差阀值来区分判断是清晰点还是模糊点。

3)设置浮动窗口，统计当前像素为中心的相应窗口区域的清晰点数，将清晰点数多的中心像素设为清晰点，得到清晰区域。

4)通过检测出的区域结果进行图像融合。

本发明公开了一种全景深全景图像成像方法，应用多次聚焦拍摄图像并进行图像融合这一方案实现了全景深全景图像的成像。主要步骤有：首先分析景深需求并根据全景设备特点计算对焦距离，然后对焦系统接收计算机对焦信息值进行对焦并拍摄图片，最后将拍摄得到的多张图片应用图像融合方法到全景深全景图像。解决了全景图像在大视角成像前提下不能全图清晰成像这一技术问题，使全景图像在大视场前提下，信息表达更全面，视觉上更清晰，提高了分辨率、减少模糊性以易于识别，并且在很大程度上减少冗余信息。

第一步：分析景深需求并计算对焦距离，如图2所示的全景视觉参数，当b＝230mm，c＝300mm时，分析景深需求根据如附图所示全景系统结构参数和相机镜头参数可知：如果想获得全景深图像，需要拍摄从双曲面镜底部到顶部全部距离，即需求景深范围为260mm～330mm。景深计算公式为：

前景深 ${\mathrm{\ΔL}}_{i1}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2+F\mathrm{\δ}(L_i-f)}$

后景深 ${\mathrm{\ΔL}}_{i2}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2-F\mathrm{\δ}(L_i-f)}$

景深ΔL_i＝ΔL_i1+ΔL_i2

景深范围为L_i-ΔL_i1～L_i+ΔL_i2

其中δ为根据相机传感器尺寸参数所取值的容许弥散圆直径，δ＝0.03；f为镜头焦距，f＝14mm；F为镜头的拍摄光圈；L_i为第i幅图像的对焦距离(i＝1,2,3.....)。景深原理光路图如图3所示。具体计算步骤如下：

1)假设满足环境光线的拍摄光圈为值F＝2.8，镜头最近对焦距离为L₁＝280mm，带入参数至公式计算得到ΔL₁₁＝28.65mm，ΔL₁₂＝36.08mm值，带入公式4，即第一幅图片景深范围为,251.35mm～316.08。

2)将L₂＝320mm带入参数至公式计算得到ΔL₂₁＝37.10，ΔL₂₂＝48.30，带入公式4，即第二幅图片景深范围为,282.90mm～368.30mm。总景深为min(L₁-ΔL₁₁，L₂-ΔL₂₁)，max(L₁+ΔL₁₂，L₂+ΔL₂₂)，带入得到总景深为251.35mm～368.30mm，验证满足260mm～330mm的景深范围需求。

第二步：对焦并拍摄图片，将对焦数值L₁＝280mm，L₂＝320mm输入计算机，并点击开始拍摄。伺服对焦系统接收到计算机对焦信号驱动对焦距离为L₁＝280mm拍摄第一幅图片存储为图片1，接收对焦信号驱动对焦距离为L₂＝320mm拍摄第二幅图片存储为图片2。

第三步：图片融合。如图4所示，传统的分块图像融合算法由于存在清晰和模糊区域边界的块效应，而全景图片的清晰部分与模糊部分的分布为以全景中心为中心的环状带，传统分块图像融合算法不能满足全景图像的融合要求。本发明基于聚焦区域而不是图像块或对象来分割图像的多聚焦图像融合方法，有效抑制噪声。主要步骤为：第一步，图像特征点匹配使待融合图像映射到同一参数大小。第二步，求取某一像素点和其邻域内像素的方差，通过设置方差阀值来区分判断是清晰点还是模糊点。第三步，设置浮动窗口，统计当前像素为中心的相应窗口区域的清晰点数，将清晰点数多的中心像素设为清晰点，得到清晰区域。最后，通过检测出的区域结果进行图像融合。结果如图5所示。对焦距离为L₁时拍摄的图像(上左)清晰带在图像内环，对焦距离为L₂时拍摄的图像(上右)清晰带在图像外环。图像融合后的全景深全景图像(下)。

Claims (2)

1.一种全景深全景图像成像方法，其特征在于：包括以下步骤，

步骤一：分析景深需求并计算对焦距离；

依次求取能够满足需求景深范围的i幅图像的拍摄对焦距离L_i，i＝1,2,3.....，

其中景深计算公式为：

前景深 ${\mathrm{\ΔL}}_{i1}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2+F\mathrm{\δ}(L_i-f)}$

后景深 ${\mathrm{\ΔL}}_{i2}=\frac{{\mathrm{F\δL}}_i(L_i-f)}{f^2-F\mathrm{\δ}(L_i-f)}$

景深ΔL_i＝ΔL_i1+ΔL_i2

景深范围为L_i-ΔL_i1～L_i+ΔL_i2

其中，δ为容许弥散圆直径，根据相机传感器尺寸参数，选取δ值；f为镜头焦距；F为镜头的拍摄光圈；L_i为第i幅图像的对焦距离，其中前景深满足：L_i-ΔL_i1≤b，后景深满足L_i+ΔL_i2≥c，景深满足ΔL_i≥c-b＝a；

步骤二：根据对焦距离拍摄图片；

步骤三：将拍摄得到的i幅图片进行图像融合，得到全景深全景图像。

2.根据权利要求1所述的一种全景深全景图像成像方法，其特征在于：所述的将拍摄得到的i幅图片进行图像融合的方法为：

(1)图像特征点匹配使待融合图像映射到同一参数大小；

(2)求取一像素点和其邻域内像素的方差，通过设置方差阀值来区分判断是清晰点还是模糊点；

(3)设置浮动窗口，统计当前像素为中心的相应窗口区域的清晰点数，将清晰点数多的中心像素设为清晰点，得到清晰区域；

(4)通过检测出的区域结果进行图像融合。