CN102915526A - 基于互补场景模型的球面全景图缺失信息修复方法 - Google Patents

Abstract

本发明公开了一种基于互补场景模型的球面全景图缺失信息修复方法，首先建立目标位置处球面全景图与球面虚拟实景的映射关系，然后利用目标位置（待修补全景图所处位置）和源位置（用于修补的全景图所处位置）处球面虚拟实景间存在的互补现象，建立互补场景模型，最后建立源位置球面虚拟实景到球面全景图的映射关系，从而求得目标全景图中缺失信息在源全景图中的对应位置，以进行修复。本发明对球面全景图采集过程中存在的场景信息缺失问题提出了具体的解决方案，修补的缺失场景具有真实性，可以满足犯罪现场重建等特定领域的需要。

Description

基于互补场景模型的球面全景图缺失信息修复方法

技术领域

本发明涉及一种图像修补方法，更具体的说，涉及一种球面全景图中缺失信息的真实修复方法，即利用不同位置处虚拟实景间存在的互补现象建立互补场景模型，基于此模型来进行球面全景图中缺失信息的修复。

背景技术

在计算机视觉、虚拟现实、机器人导航及视觉监控等领域中，往往需要得到更大角度范围的图像，即使广角和鱼眼镜头的使用有时也无法满足需求，而全景图由于其可以达到全视角，能够满足以上领域的需求，因而得到了广泛的应用。将全景图映射到球面、柱面、立方体等模型上，从而形成的空间称为虚拟实景空间，根据映射的模型的不同可以分为球面虚拟实景空间、柱面虚拟实景空间和立方体虚拟实景空间，而相应的全景图也分别称为球面全景图、柱面全景图和立方体全景图。球面虚拟实景空间由于其构造的空间的真实性优于柱面和立方体两种，因为得到了广泛的应用。

目前市面上已经出现了很多的球面全景图自动采集设备，如：PointGrey公司的ladybug 3全景采集设备（Google公司的部分街景是通过此设备采集的）；Dan Slater在1992年搭建的全景采集系统SphereCam(采用2个鱼眼镜头作为采集镜头)；加拿大Quebec公司搭建的SpheroVision全景采集设备(采用四个鱼眼镜头作为采集镜头)；ImmesiveMedia公司的dodeca的全景采集设备（Google公司早期的街景都是通过Immesive Media公司拍摄的）。可以看出，目前市面上的全景采集设备底部都需要支架作为支撑，由于支撑架需要占据空间，使其在进行全景采集时，难以获得周围360度的场景，因而构建的虚拟实景空间都会出现场景缺失现象，如：ladybug 3全景采集设备底部存在84度的空缺。因此，若要构建360度的、拥有完整场景信息的虚拟实景空间，需要对底部的缺失场景进行修补，即：需要解决球面全景图的修复问题。

现有的图像修补技术主要分为基于结构的图像修复和基于纹理的图像修复两种，其思想是利用已经存在的像素或纹理逐渐逼近待修补区域，进行填充。一方面，由于球面全景图缺失像素信息较多，难以用现有的图像修补技术进行修补。另一方面，现有的图像修复方法难以真实还原原有的场景信息，这妨碍了球面全景图的应用。例如在犯罪现场重建中，需要真实地还原现场的原始环境，不能存在虚假信息，即使很小的信息缺失，也可能导致遗漏与案件相关的物件或信息，给案件的侦破带来困难。因此，现有的图像修复技术不适于球面全景图缺失信息的修复。

本发明利用不同位置处虚拟实景间存在的互补现象，建立互补场景模型，基于此模型实现了球面全景图中缺失场景的真实还原和修复。

发明内容

本发明是为了解决球面全景图中存在的场景信息缺失问题，利用目标位置和源位置的虚拟实景间具有互补的特点，提出了一种球面全景图中缺失信息修复的方法，通过该方法可以简单快捷地获得拥有完整信息的球面全景图。

本发明解决技术问题采用如下的技术方案：

本发明涉及一种基于互补场景模型的球面全景图缺失信息修复方法，是按如下步骤进行：

（1）建立虚拟实景空间中目标位置处的空间坐标系，并推导球面全景图中像素坐标系到该空间坐标系的转换关系；

在目标位置建立空间直角坐标系OXYZ中，并在此坐标系下建立球面O，其中球面的球心为O点、半径为R，则此球面即为位置O处对应的球面虚拟实景空间原型；假设球面全景图上某像素点坐标为(x_pixel, y_pixel)，其在球面虚拟实景空间中对应点A的坐标为，球面全景图的像素尺寸为imageWidth×imageHeight，则 (x,y,z)可以通过如下坐标转换关系获得：

$\left\{\begin{array}{c}x=R\cos \frac{2\mathrm{\π}{x}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\sin \frac{\mathrm{\π}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ y=R\sin \frac{2\mathrm{\π}{x}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\sin \frac{\mathrm{\π}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ z=R\cos \frac{\mathrm{\π}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\end{array}\right.$

（2）根据空间位置关系，建立球面虚拟实景空间中源位置与目标位置之间的互补场景模型；

假设球面虚拟实景空间中任何位置处球面球心离地面的高度为H，目标位置处建立的球面空间模型为球面O，源位置处建立的球面空间模型为球面O′，以O为原点建立空间坐标系OXYZ。则在坐标系OXYZ下，O′的坐标为(x_O,y_O,z_O)，目标位置缺失场景中的点A(x,y,z)对应到真实三维世界中的点A₁，记A₁坐标为(x₁,y₁,z₁)，则：

$\left\{\begin{array}{c}{x}_1=-H\cos \frac{2\mathrm{\π}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\π}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ y_1=-H\sin \frac{2\mathrm{\π}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\π}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ z_1=-H\end{array}\right.$

假设真实三维世界中的点A₁在位置O′处的虚拟实景中投影为A₂，则A₂在球面O′上，为直线A₁O′和球面的交点。A₂点即为目标位置处缺失场景点A的互补场景点。

建立以O′为原点的空间直角坐标系，在O′X′Y′Z′坐标系下，A₁的坐标为(x′₁,y′₁,z′₁)，A₂的坐标为(x′₂,y′₂,z′₂)，O′的坐标为(0,0,0)，则A₂的坐标可以通过如下公式计算获得：

$\left\{\begin{array}{c}{x^{\′}}_1=x_1-x_O=-H\cos \frac{2\mathrm{\π}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\π}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}-x_O\\ {y^{\′}}_1=y_1-y_O=-H\sin \frac{2\mathrm{\π}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\π}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}-y_O\\ {z^{\′}}_1=z_1=-H\end{array}\right.$

由于O′、A₁、A₂同处于一条直线上，则在空间直角坐标系O′X′Y′Z′中有以下关系：

$\frac{{x^{\′}}_1}{{x^{\′}}_2}=\frac{{y^{\′}}_1}{{y^{\′}}_2}=\frac{{z^{\′}}_1}{{z^{\′}}_2}=k$ k为大于0的数

假设A₂在球面O′对应的极坐标为

，则可求得：

其中函数Sgn(x)定义为

$\mathrm{Sgn}\left(x\right)=\left\{\begin{array}{cc}0& x\&GreaterEqual;0\\ 1& x<0\end{array}\right.$

由于目标位置和源位置的球面虚拟实景之间具有互补现象，即在球面O′上存在球面O底部缺失的场景，因为称上述建立的模型为互补场景模型。至此，互补场景模型已经建立，模型内部的坐标转换关系已推导得出。

（3）建立源位置处球面虚拟实景到球面全景图的映射关系，从而获得目标位置处球面全景图中缺失场景的像素信息；

建立以源位置O′点为原点的球面空间模型，此模型中A₂点对应到球面全景图的像素坐标为(x′_pixel,y′_pixel)，则A₂的极坐标

与像素坐标 (x′_pixel,y′_pixel)的转换公式为

则可以得到以下的像素信息转换关系

RGBA(O,x′_pixel,y′_pixel)=RGBA(O,x′_pixel,y′_pixel)

即位置O处对应的目标全景图场景缺失区域中某像素点坐标为(x_pixel,y_pixel)，经过以上转换关系计算得到的源全景图O′上的像素点坐标为(x′_pixel,y′_pixel)，则可以利用像素点(x′_pixel,y′_pixel)中的像素信息去填补 (x_pixel,y_pixel)缺失的像素信息，从而达到真实修复的目的。

与已有技术相比，本发明有益效果体现在：

(3)在修复方法上，本发明利用了球面全景图及球面虚拟实景空间的特殊性，建立了互补场景模型，该模型利用不同位置处球面虚拟实景具有的场景互补现象，以及空间位置（球面虚拟实景空间）和平面位置（球面全景图）之间的映射关系，实现了球面全景图中缺失信息的修复。

(4)在修复效果上，本发明可以使球面全景图中的缺失信息得到真实恢复。与传统的图像修复方法，“真实修复”是本方法的优越之处。此方法的采用扩大了球面全景图和虚拟实景空间的应用领域，尤其是在犯罪现场重建的应用。

附图说明

图1为球面全景图到球面虚拟实景空间的转换示意图。

图2为以O为原点建立坐标系的互补场景模型示意图。

图3为以O′为原点建立坐标系的互补场景模型示意图。

图4球面虚拟实景空间到球面全景图的转换示意图。

具体实施方式

本发明在进行缺失场景区域图像修补之前，需要获得两次采集球面全景图的相对位置信息和采集时采集设备中心距地面的高度（即球面虚拟实景空间模型中球心离地面的高度）。获得这些参数以后本方法主要按照以下三个步骤进行：

步骤 1：建立虚拟实景空间中目标位置处的空间坐标系，并推导球面全景图中像素坐标系到该空间坐标系的转换关系。

如图1所示，在目标位置建立空间直角坐标系OXYZ中，并在此坐标系下建立球面O，其中球面的球心为O点、半径为R，则此球面即为位置O处对应的球面虚拟实景空间原型。假设球面全景图上某像素点坐标为(x_pixel,y_pixel)，其在球面虚拟实景空间中对应点A的坐标为(x,y,z)，球面全景图的像素尺寸为imageWidth×imageHeight，则(x,y,z)可以通过如下坐标转换关系获得：

$\left\{\begin{array}{c}x=R\cos \frac{2\mathrm{\&pi;}{x}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\sin \frac{\mathrm{\&pi;}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ y=R\sin \frac{2\mathrm{\&pi;}{x}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\sin \frac{\mathrm{\&pi;}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ z=R\cos \frac{\mathrm{\&pi;}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\end{array}\right.$

步骤2：根据空间位置关系，建立球面虚拟实景空间中源位置与目标位置之间的互补场景模型。

如图2所示，假设球面虚拟实景空间中任何位置处球面球心离地面的高度为H，目标位置处建立的球面空间模型为球面O，源位置处建立的球面空间模型为球面O′，以O为原点建立空间坐标系OXYZ。则在坐标系OXYZ下，O′的坐标为(x_O,y_O,z_O)，目标位置缺失场景中的点A(x,y,z)对应到真实三维世界中的点A₁，记A₁坐标为(x₁,y₁,z₁)，则：

$\left\{\begin{array}{c}{x}_1=-H\cos \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ y_1=-H\sin \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ z_1=-H\end{array}\right.$

假设真实三维世界中的点A₁在位置O′处的虚拟实景中投影为A₂，则A₂在球面O′上，为直线A₁O′和球面的交点。A₂点即为目标位置处缺失场景点A的互补场景点。

如图3所示，建立以O′为原点的空间直角坐标系O′X′Y′Z′，在O′X′Y′Z′坐标系下，A₁的坐标为(x′₁,y′₁,z′₁)，A₂的坐标为(x′₂,y′₂,z′₂)，O′的坐标为(0,0,0)，则A₂的坐标可以通过如下公式计算获得：

$\left\{\begin{array}{c}{x^{\&prime;}}_1=x_1-x_O=-H\cos \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}-x_O\\ {y^{\&prime;}}_1=y_1-y_O=-H\sin \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}-y_O\\ {z^{\&prime;}}_1=z_1=-H\end{array}\right.$

由于O′、A₁、A₂同处于一条直线上，则在空间直角坐标系O′X′Y′Z′中有以下关系：

$\frac{{x^{\&prime;}}_1}{{x^{\&prime;}}_2}=\frac{{y^{\&prime;}}_1}{{y^{\&prime;}}_2}=\frac{{z^{\&prime;}}_1}{{z^{\&prime;}}_2}=k$ k为大于0的数

假设A₂在球面O′对应的极坐标为

，则可求得：

其中函数Sgn(x)定义为

$\mathrm{Sgn}\left(x\right)=\left\{\begin{array}{cc}0& x\&GreaterEqual;0\\ 1& x<0\end{array}\right.$

由于目标位置和源位置的球面虚拟实景之间具有互补现象，即在球面O′上存在球面O底部缺失的场景，因为称上述建立的模型为互补场景模型。至此，互补场景模型已经建立，模型内部的坐标转换关系已推导得出。

步骤3 ：建立源位置处球面虚拟实景到球面全景图的映射关系，从而获得目标位置处球面全景图中缺失场景的像素信息。

如图4所示，建立以源位置O′点为原点的球面空间模型，此模型中A₂点对应到球面全景图的像素坐标为(x′_pixel,y′_pixel)，则A₂的极坐标与像素坐标(x′_pixel,y′_pixel)的转换公式为

则可以得到以下的像素信息转换关系

RGBA(O,x_pixel,y_pixel)=RGBA(O′,x′_pixel,y′_pixel)

即位置O处对应的目标全景图场景缺失区域中某像素点坐标为(x_pixel,y_pixel)，经过以上转换关系计算得到的源全景图O′上的像素点坐标为(x′_pixel,y′_pixel)，则可以利用像素点 (x′_pixel,y′_pixel)中的像素信息去填补(x_pixel,y_pixel)缺失的像素信息，从而达到真实修复的目的。

Claims (1)

1.基于互补场景模型的球面全景图缺失信息修复方法，其特征在于，包括以下步骤：

（1）建立虚拟实景空间中目标位置处的空间坐标系，并推导球面全景图中像素坐标系到该空间坐标系的转换关系；

在目标位置建立空间直角坐标系OXYZ，并在此坐标系下建立球面O，其中球面的球心为O点、半径为R，则此球面即为位置O处对应的球面虚拟实景空间原型；假设球面全景图上某像素点坐标为 (x_pixel,y_pixel)，其在球面虚拟实景空间中对应点A的坐标为(x,y,z)，球面全景图的像素尺寸为imageWidth×imageHeight，则(x,y,z)可以通过如下坐标转换关系获得：

$\left\{\begin{array}{c}x=R\cos \frac{2\mathrm{\&pi;}{x}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\sin \frac{\mathrm{\&pi;}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ y=R\sin \frac{2\mathrm{\&pi;}{x}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\sin \frac{\mathrm{\&pi;}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ z=R\cos \frac{\mathrm{\&pi;}{y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\end{array}\right.$

（2）根据空间位置关系，建立球面虚拟实景空间中目标位置与源位置之间的互补场景模型，其中目标位置为待修补全景图所处位置，源位置为用于修补的全景图所处位置；

假设球面虚拟实景空间中任何位置处球面球心离地面的高度为H，目标位置处建立的球面空间模型为球面O，源位置处建立的球面空间模型为球面O′，以O原点建立空间坐标系OXYZ，则在坐标系OXYZ下，O′的坐标为(x_O,y_O,z_O)，目标位置缺失场景中的点A(x,y,z)对应到真实三维世界中的点A₁，记A₁坐标为 (x₁,y₁,z₁)，则：

$\left\{\begin{array}{c}{x}_1=-H\cos \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ y_1=-H\sin \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}\\ z_1=-H\end{array}\right.$

假设真实三维世界中的点A₁在位置O′处的虚拟实景中投影为A₂，则A₂在球面O′上，为直线A₁O′和球面的交点，A₂点即为目标位置处缺失场景点A的互补场景点；

建立以O′为原点的空间直角坐标系O′X′Y′Z′，在O′X′Y′Z′坐标系下，A₁的坐标为(x′₁,y′₁,z′₁)，A₂的坐标为(x′₂,y′₂,z′₂)，O′的坐标为(0,0,0)，则A₂的坐标可以通过如下公式计算获得：

$\left\{\begin{array}{c}{x^{\&prime;}}_1=x_1-x_O=-H\cos \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}-x_O\\ {y^{\&prime;}}_1=y_1-y_O=-H\sin \frac{2\mathrm{\&pi;}{X}_{\mathrm{pixel}}}{\mathrm{imageWidth}}\tan \frac{\mathrm{\&pi;}{Y}_{\mathrm{pixel}}}{\mathrm{imageHeight}}-y_O\\ {z^{\&prime;}}_1=z_1=-H\end{array}\right.$

由于O′、A₁、A₂同处于一条直线上，则在空间直角坐标系O′X′Y′Z′中有以下关系：

$\frac{{x^{\&prime;}}_1}{{x^{\&prime;}}_2}=\frac{{y^{\&prime;}}_1}{{y^{\&prime;}}_2}=\frac{{z^{\&prime;}}_1}{{z^{\&prime;}}_2}=k$ k为大于0的数；

假设A₂在球面O′对应的极坐标为，则可求得：

其中函数Sgn(x)定义为

$\mathrm{Sgn}\left(x\right)=\left\{\begin{array}{cc}0& x\&GreaterEqual;0\\ 1& x<0\end{array}\right.$

由于目标位置和源位置的球面虚拟实景之间具有互补现象，即在球面O′上存在球面O底部缺失的场景，因此，称上述建立的模型为互补场景模型；

至此，互补场景模型已经建立，模型内部的坐标转换关系已推导得出；

（3）建立源位置处球面虚拟实景到球面全景图的映射关系，从而获得目标位置处球面全景图中缺失场景的像素信息；

建立以源位置O′点为原点的球面空间模型，此模型中A₂点对应到球面全景图的像素坐标为(x′_pixel,y′_pixel)，则A₂的极坐标

与像素坐标 (x′_pixel,y′_pixel)的转换公式为

；

则得到以下的像素信息转换关系

RGBA(O,x_pixel,y_pixel)=RGBA(O′,x′_pixel,y′_pixel)

即位置O处对应的目标全景图场景缺失区域中某像素点坐标为(x_pixel,y_pixel)，经过以上转换关系计算得到的源全景图O′上的像素点坐标为(x′_pixel,y′_pixel)，则利用像素点 (x′_pixel,y′_pixel)中的像素信息去填补 (x_pixel,y_pixel)缺失的像素信息，从而达到真实修复的目的。

Images