CN106462944B

CN106462944B - 高分辨率全景vr生成器及方法

Info

Publication number: CN106462944B
Application number: CN201680000810.4A
Authority: CN
Inventors: 洪国伟; 梁路宏; 刘雪娇
Original assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Current assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date: 2016-05-30
Filing date: 2016-08-04
Publication date: 2019-06-07
Anticipated expiration: 2036-08-04
Also published as: WO2017210987A1; CN106462944A; US20170345214A1; US9811946B1

Abstract

一种使用混合分辨率方法的高分辨率全景VR生成器，其将来自HR相机环的高分辨率(HR)图像块放置在一个LR相机的360度低分辨率(LR)图像上，所述LR相机从相机环向上指向一个全景镜，LR相机视野是所有多个HR相机视野的合并，但分辨率较低。由相邻HR相机之间视差所引起的重影会被消除，因为目标位置是由所述360度LR图像确定。通过组合不同深度的目标以获得单应矩阵，每个HR图像被单应投影成3个投影。所述360度LR图像被放大到HR，并对这个放大的HR图像，在所述3个投影里的搜索窗口内搜索一个查询图像块。通过和查询图像块的相似性，最佳匹配图像块被加权处理，以合成产生一个重建图像块，其放置在一个重建HR全景图像里，放置位置即查询图像块的位置。

Description

高分辨率全景VR生成器及方法

【技术领域】

本发明涉及三维(3D)图形，特别涉及虚拟现实(VR)全景图的生成。

【背景技术】

虚拟现实(VR)是一种新兴的“专业级应用”，其有潜力彻底改变现有处理各种任务的方式。拍摄一个360度全景视频并用于创建一个计算机建模的3D空间。然后，用户戴上特制的护目镜如头戴式显示器(HMD)，其能主动选择并改变用户视角以获取身临其境的体验。

随着VR相机技术的进步和微型化，各种有趣且有用的应用程序应运而生。头盔相机如GoPro相机可能被一个VR全景相机组替换，这样在参与各种体育活动如山地自行车、滑雪、跳伞、旅游等时能够进行360度全景拍摄。VR相机也可以安置在无人机上，从空中观察建筑工地进行VR建模，或用于旅行博客或视频监控。VR相机也可以用于家庭聚会上，使用一副VR耳机就能远程感受并沉浸在家庭活动中。如果在自动驾驶汽车或无人机上安装一个VR相机，就能够为自动驾驶或自动飞行控制系统提供输入。

如何拍摄并生成360度全景视频，会影响VR体验的质量。当使用多台相机时，其中两个相邻相机图像交叉的区域往往会有视觉瑕疵(visual artifacts)和失真，诸如重影(ghosting)，这会降低用户体验或甚至使用户感到头疼。

图1显示一个现有技术的VR相机环。相机环10有多个相机12，呈环状安排。相机12的这种安排方法使得可以拍摄360度全景。当相机12是摄录机时，可以拍摄一个全景视频。Google Jump就是一个VR相机环的例子。

图2A-C突出显示当两个相邻相机的图像被拼接在一起时由于视差而产生的重影。在图2A，相机12L、12R是图1相机环10中的两个相邻相机。相机12L、12R拍摄目标物体14。但是，由于目标物体14相对每个相机12L、12R有不同的距离和角度，所以在图像帧16上，每个相机12L、12R是在不同位置看目标物体14的。

在图2B，目标物体14是以两个不同目标物体14L、14R出现在图像帧16上的，因为不同角度的两个相机12L、12R的原因。图像处理软件会尝试估计目标物体14相对每个相机12L、12R的深度以纠正视差，但深度估计是不精确的且极具挑战性。这种目标物体匹配和深度估计可能会导致图像的非线性变形。如图2C所示，特别是在相邻图像18L、18R拼接处，特别容易看到失真。在图像18L、18R之间的连接处，可以看到测试图案失真了。在图像连接处，方形格子被压扁且变窄。这种重影(ghosting)是不希望有的。

需要一种虚拟现实(VR)全景生成器，其能够减少并消除相邻相机图像拼接处的重影。这种不需要深度估计的全景生成器是令人期待的。希望有一种在低分辨率全景图像上放置高分辨率图像的全景生成器，以消除拼接区域和重影。

【附图说明】

图1显示一个现有技术的VR相机环。

图2A-C突出显示当两个相邻相机的图像被拼接在一起时由于视差而产生的重影。

图3A-B显示一个组合LR/HR全景VR相机设备。

图4A-C突出显示全景相机图像的图像处理。

图5显示使用一个360度LR图像作为框架以添加HR图像细节。

图6是一个混合分辨率全景处理器的模块示意图。

图7显示为每个HR图像搜索多个单应投影。

图8显示在通过搜索每个HR图像的多个单应投影而找到的多个最佳匹配图像块中间进行选择的模块示意图。

图9是多个单应投影混合分辨率全景处理器的详细模块示意图。

【具体实施方式】

本发明涉及VR全景生成的改进。以下描述使本领域技术人员能够依照特定应用及其要求制作和使用在此提供的本发明。所属领域的技术人员将明了对优选实施例的各种修改，且本文所界定的一般原理可应用于其它实施例。因此，本发明不希望限于所展示和描述的特定实施例，而是应被赋予与本文所揭示的原理和新颖特征一致的最广范围。

图3A-B显示一个组合的低分辨率/高分辨率LR/HR全景VR相机设备。组合相机设备20有一个呈圆形排列的一圈高分辨率(HR)相机22。组合相机设备20也有低分辨率(LR)相机24，其镜头指向朝上，朝向那一圈HR相机22所在平面之外。LR相机24拍摄全景镜26反射的图像。全景镜26可以是圆锥形、球形、抛物线形、椭圆形、双曲线形、弯曲的、或其它形状的反射镜。全景镜26的形状能使LR相机24比任何一个HR相机22都拍摄到一个更大的视野。

如图3B的侧视图所示，全景镜26接收所有360度的光，并反射这些光，以垂直照射到HR相机环22的平面。全景镜26的反射光由LR相机24的镜头接收。全景镜26接收全景域的所有角度或弧度的光，而每个HR相机22仅接收完整全景域的一小部分的光。但是，LR相机24生成的图像分辨率比HR相机22生成的图像分辨率更低。

LR相机24生成完整全景的单个图像，但是是低分辨率。由于是单个图像，就不存在在相邻相机所拍摄的多个图像之间有界面。相邻图像没有被缝合在一起，因此，LR相机24没有重影发生。

HR相机22能提供高分辨率细节如纹理，其可以叠加在LR相机24的单个图像上。

图4A-C突出显示全景相机图像的图像处理。在图4A，现有技术相机环有一圈HR相机，HR相机产生HR图像18，每个HR图像18只是完整全景域中的其中一小段弧度。HR图像18互相重叠，两个HR图像18的细节在拼接区域19里以某种方式被合并在一起。尽管HR图像18的大多数区域都能够获得好的图像质量，但在拼接区域19内的图像质量变差很多，这是因为相机环上两个相邻HR相机之间的视差，导致图像重影瑕疵。

在图4B，当使用组合相机设备20时，LR相机24拍摄LR图像30，其显示整个全景图，但分辨率低。将LR图像30放大到与HR相机22的分辨率相同，产生一个放大的LR图像32。HR图像34是由HR相机22拍摄的一小段弧度的全景图。将HR图像34的一小块图像块的HR细节映射到那个放大LR图像32的对应位置上。

在HR图像34的边缘，可能有两个不同的HR图像34的重叠细节。这些HR细节的确切位置由放大LR图像32提供。图像处理可以合并这两个HR图像34重叠的细节。这些细节的位置可以从放大LR图像32得知。从而消除视差并抑制重影。

图4C显示一个测试图案，其跨越两个相邻HR相机22的视野。由于LR相机24的全景图像提供了目标位置的框架，尽管是低分辨率，但拍摄目标的位置已经由放大LR图像32提供了。当HR图像18L和18R的HR细节放置在放大LR图像32的框架上，其只是HR相机22所提供的细节和纹理。目标位置由放大LR图像32提供。因此，不需要计算目标物体的深度，因为从LR图像已经知道目标位置。

任何重影或失真都会受限于在LR和HR之间的差异。例如，当HR是LR的4倍时，对每个LR像素位置，HR细节可以放置在4个HR像素任一位置上。将不会发生比四个像素位置更大的视差，因为目标位置是由LR图像决定。

图5显示使用一个360度LR图像作为框架以增强HR图像细节的方法。LR相机24使用全景镜26以拍摄全景图像，其分辨率比使用HR相机22拍摄的图像分辨率低，这是因为与每个HR相机22相比，LR相机24的视野更大。360度LR图像被放大到HR空间，以产生放大的LR图像62。

组合相机设备20的相机环上的两个相邻HR相机22产生HR视图1(HR图像64)和HR视图2(HR图像66)。

例如通过从左上方到右下方的逐行扫描，识别和处理放大LR图像62里的图像块。图像块可以是一个或多个宏块，可以有不同的形状，如矩形、三角形、梯形、或一部分矩形像素。在HR图像64里的搜索窗口74，搜索放大LR图像62里的当前查询图像块72，同样也在HR图像66的搜索窗口76进行搜索。搜索窗口74、76对应查询图像块72的位置和一些周围区域。对相邻相机22，由于HR图像64和HR图像66重叠，邻近图像拼接处的查询图像块72可能在HR图像64和HR图像66里都有匹配。其他不靠近图像拼接处的查询图像块，可能仅在一个HR图像里有匹配，只需要一个搜索窗口。

例如通过绝对差值和(SAD)，对搜索窗口74里的可能匹配的图像块进行评估，在搜索窗口74内找到最佳匹配图像块。这个最佳匹配图像块被收集到最佳匹配图像块70内。同样，如通过与查询图像块72的SAD，对HR图像66里搜索窗口76内的多个可能匹配的图像块进行评估，从搜索窗口76找到最佳匹配图像块，并添加到最佳匹配图像块70中。在每个搜索窗口74、76里，可能找到不止一个最佳匹配图像块。

例如通过使用不同的相似性度量或因子，评估每个最佳匹配图像块70和查询图像块72的相似性，来评估最佳匹配图像块70。每个最佳匹配图像块70的相似性参数，可以被用作为一个权重因子，以便将最佳匹配图像块70混合在一起，或用于选择最佳匹配图像块70的一个子集进行混合，或用于选择单个最佳匹配图像块70。比较差的匹配图像块可以丢弃。选中的一个最佳匹配图像块或从最佳匹配图像块70中产生的混合最佳匹配图像块，被输出作为一个重建图像块78。将重建图像块78放置在重建HR全景图像68内查询图像块72的位置上。

重建HR全景图像68可以是一个初始空白帧，与放大的LR图像62具有相同的尺寸和分辨率，其是随着添加重建图像块78时逐步建立的。重建HR全景图像68也可以是一个放大LR图像62的副本，随后图像块被处理时，每个查询图像块72都被重建图像块78替换。

图像块的尺寸是2N×2N LR像素，因为它们是在HR空间里。在HR上而不是在LR上进行搜索，以获得更好的匹配，因为缩小到LR时没有HR像素会丢失。

重建HR全景图像68没有因视差造成的重影，因为放大LR图像62充当一个框架以在查询图像块72位置上接收重建图像块78。

图6是一个混合分辨率全景处理器的模块示意图。HR图像42是由HR相机22产生，每个HR相机22有一个窄视野，而360度LR图像40是由LR相机24使用全景镜26产生，其视野跨越所有HR图像42的视野。360度LR图像40提供一个没有重影但分辨率低的全景图，而HR图像42则提供HR图像细节和纹理。

图像放大器46将360度LR图像40放大到HR图像42所使用的HR分辨率。放大可以通过各种方法进行，如混合或平均化相邻LR像素以产生额外的HR像素，以填充HR空间里原始LR像素之间的空位。

放大的LR图像作为一个图像框架，输入到预处理器44、多个单应矩阵投影器50、图像块搜索和选择器52、联合视图重建器54。来自图像放大器46的放大LR图像包含目标的确切位置，其对LR相机24和一个或多个HR相机22是可见的，但没有视差，因为360度LR图像40是来自单个相机。没有视差，从而避免了重影。

预处理器44对HR图像42进行预处理，如锐化边缘、减少失真、通过校准和整改去除镜头失真、调整亮度或亮度归一化。通过单应矩阵投影器50，从每个HR图像产生多个单应矩阵投影。例如，可以检测到HR图像里的目标物体，并可以估计到每个目标物体的距离。选择其中3个距离，对3个距离中每个距离都产生一个单应矩阵。每个单应矩阵可以用来产生一个单应投影。因此，每个HR图像通过单应投影器50被扩展到3个投影HR图像。

来自每个投影HR图像的HR图像块，如宏块，被用来在放大LR图像里搜索最佳匹配图像块。图像块搜索和选择器52可以使用由单应投影仪50产生的误差来限制搜索窗口的尺寸，从而降低计算复杂度。对3个单应投影HR图像中的每个单应投影HR图像，找出一个最佳匹配图像块。

对3个最佳匹配图像块中的每个最佳匹配图像块，产生一个相似性参数，例如使用绝对差和(SAD)或使用其它相关性因子。也可以使用几何因子和像素加权因子。几何加权是基于单应投影误差(残余)的。如果单应投影误差(残余)很大，来自该单应投影HR图像的最佳匹配图像块的权重可以设置成一个较小数值。可以使用相似性参数以对所述3个最佳匹配图像块进行加权，从而将它们混合在一起获得一个合成HR图像块，其可以放置在放大LR图像的搜索图像块位置上。或者，合成HR图像块可以与放大LR图像块合成在一起。

联合视图重建器54从图像块搜索和选择器52获得最佳匹配图像块，并使用相似性参数进行像素混合，以产生合成HR图像块，并将这些重建的图像块放置在放大LR图像上(或放置在一个空白图像上，位置即放大LR图像的搜索图像块的位置)，以产生一个重建HR全景图。

一些靠近HR图像边缘的目标，在两个相邻HR图像里都可以看见。合成是在6个最佳匹配图像块上进行，而不是只在3个最佳匹配图像块上进行，因为有两个HR图像源而不是仅仅一个HR图像源。

来自联合视图重建器54的重建HR全景图像被发送到后处理器56进行后处理，如平滑边缘、增强颜色或调整对比度或亮度。最终的HR输出没有视差重影。最终的HR输出可以用于建立一个虚拟现实(VR)空间，用户可以使用头戴式显示器(HMD)或其他耳机或VR观察器进行探索。

图7显示搜索每个HR图像的多个单应投影。单个HR图像，如图5里的HR图像64，可以有多个单应投影61、63、65。每个单应投影61、63、65都假设一个不同的单应变量，如到目标的不同距离、不同的相机-到-相机的距离、或到相邻相机或目标的不同角度。

在HR图像64内的目标物体可以被识别。当产生单应投影61、63、65时，目标可以被组合在一起。

对每组目标，可以产生一个单应矩阵，并且该单应矩阵可以用于产生单应投影61、63、65。从HR图像可以提取一些特征点(如矩形角等)，并且这些特征点根据距离被组合在一起(靠近的点被组合在一起)。每组特征点可以产生一个单应矩阵。每个单应矩阵可以投影一个HR图像。

在单个HR图像142的每个单应投影61、63、65里，搜索在放大LR图像64里的查询图像块72。在单应投影61、63、65里的3个搜索窗口74里，搜索查询图像块72，从而产生3个最佳匹配图像块，各自对应一个单应投影61、63、65。

同样，使用3个单应矩阵，投射HR图像66，以产生单应投影71、73、75。在单应投影71、73、75里的3个搜索窗口76里，搜索查询图像块72，从而产生3个最佳匹配图像块，各自对应一个单应投影71、73、75。

图8显示在通过搜索每个HR图像的多个单应投影而找到的多个最佳匹配图像块中间进行选择。搜索放大LR图像62里的查询图像块72。来自单应投影61、63、65里搜索窗口74的最佳匹配图像块被收集到最佳匹配图像块70内，来自单应投影71、73、75的搜索窗口76的最佳匹配图像块，也被收集到最佳匹配图像块70内。

对每个最佳匹配图像块70获得一个相似性参数，以定量化查询图像块72的相似性。相似性参数可以包括传统图像块和像素相似性的因子、几何相似性因子，如相同比例的形状。

在位置(x,y)(其是在一个最佳匹配图像块70内)上的像素权重，可以通过以下等式进行计算：

其中“图像块相似性”可以是图像块70和查询图像块72之间的绝对差和(SAD)；其中I(x,y)和I_c(u,v)表示在位置(x,y)和在图像块中心(u,v)上一个像素的亮度(或RGB)值；其中“几何相似性”跟投影图像的单应投影误差成正比，图像块70就来自所述投影图像；其中σ_p和σ_I是从实验获得的参数。

相似性参数用于对每个最佳匹配图像块70进行加权。具有低相似性参数值的图像块可以丢弃，使用相似性参数作为权重，将剩下的图像块合成在一起。形成的合成图像块是一个重建图像块78，其被放置在重建HR全景图像68上(图5)。当产生重建图像块78时，使用多个单应投影，使得最相关的信息能够被利用。

生成单应投影61、63、65时出现的误差，可以用于限制或减小搜索窗口74的尺寸。可以设置单应投影误差(残余)的一个上限。误差大于该上限的投影被丢弃。接着，计算搜索窗口中心的最大偏差。该最大偏差就是搜索窗口74的窗口尺寸。

图9是多单应投影混合分辨率全景处理器的详细模块示意图。来自多个HR图像42的图像块被放置在360度LR图像40里所识别的位置上。

图像放大器46产生额外的像素以将360度LR图像40的分辨率提高到HR图像42的较高分辨率。使用各种图像放大技术，额外的像素可以通过混合相邻LR像素而产生。

将放大的LR图像作为一个图像框提供到预处理器44、多单应投影仪50、图像块搜索和选择器52、和重建器54。来自图像放大器46的放大LR图像，包含目标物体的确切位置，它们对LR相机24和一个或多个HR相机22都是可见的，但没有视差，这是因为360度LR图像40是来自单个相机。没有视差，从而避免了重影。

预处理器44对HR图像42进行预处理。去失真单元92去除可能由全景镜26引起的失真，如由镜形状引起的变形，或可能部分阻碍LR相机24视野的镜支撑架所引起的变形。图像边缘可以通过使用诸如拉普拉斯滤波器来进行锐化。亮度单元94调整在HR图像42的像素亮度，如通过调亮黑像素并调黑亮像素。亮度也可以归一化。

多个单应投影是通过单应投影仪从每个HR图像产生。一个HR图像里的目标被识别，并且特征点被特征匹配器88提取。根据诸如视深、亮度、形状等特征，目标被组合成3个子集或组。每个由特征匹配器88识别出的组都有一个由单应单元90为该组而所产生的单应矩阵，然后该单应矩阵被施加到整个HR图像上以产生一个HR投影。对每个由特征匹配器88识别出的组，产生一个HR投影。对三个组，单应单元90为每个HR图像产生三个单应投影。通过单应投影仪50，每个HR图像被扩展成3个投影HR图像。

由单应投影仪50所产生的3个单应投影被发送到图像块搜索和选择器52。图像块搜索和选择器52计算在3个单应投影里最佳匹配图像块和查询图像块的相似性，而联合视图重建器54使用来自单应投影仪50的3个单应投影和来自图像块搜索和选择器52的相似性进行重建。

HR图像块，例如来自单应投影仪50的每个投影HR图像的宏块，被用于在放大LR图像里搜索最佳匹配图像块。图像块搜索和选择器52可以使用由单应投影仪50产生的误差来限制搜索窗口的尺寸，从而降低计算复杂度。

窗口搜索器82比较来自放大LR图像62的查询图像块72和单应投影61、63、65里搜索窗口74内的所有可能图像块(图7)。对每个单应投影找出一个最佳匹配图像块。当在两个相邻HR图像里可以找到查询图像块72时，那么对所述两个相邻HR图像的每个HR图像，都搜索3个单应投影。这些最佳匹配图像块70被收集起来，然后被相似性选择器84评估，其对每个最佳匹配图像块70都产生相似性参数。可以使用几何因子和像素权重因子。

相似性参数可以被联合视图重建器54里的加权单元86使用，以对由图像块搜索和选择器52找到的3个或6个最佳匹配图像块进行加权，以便将它们合成在一起，获得重建图像块78。联合视图重建器54产生重建图像块78，并将其放置在放大LR图像62内查询图像块72的位置上，重建HR全景图像68。

来自联合视图重建器54的重建HR全景图像，被发送到后处理器56进行后处理。掩膜96使用一个反锐化掩膜，平滑边缘。颜色增强器98增强颜色，并调整对比度和亮度。最终的HR输出是没有视差重影的。最终的HR输出可以用来建立一个虚拟现实(VR)空间，用户可以使用头戴式显示器(HMD)或其他耳机或VR观察器进行探索。

【其它实施方式】

发明人补充了一些其它实施例。例如，全景镜26可以是圆锥形、球形、抛物线形、椭圆形、双曲线形、弯曲形、鱼眼形、或其他形状的反射镜。低分辨率全景相机，或任何其它180度或部分全景设置可以替换全景镜26。图像可能因为全景镜26的形状而发生失真，但图像处理软件能够弥补由于反射镜形状引起的图像变形，因为反射镜形状是不变的和已知的。

尽管LR相机24已经被描述成一个低分辨率相机，但也可以替换为一个高分辨率相机。LR相机24可以有跟HR相机22一样的真实分辨率，或可以被设置或编程为拍摄低分辨率图像。LR相机24可以是一个HR相机，而全景镜26收集一个更宽视野的图像细节，从而LR相机24所观察到的目标的像素密度低于由HR相机22所观察到的同一目标的像素密度。LR相机24实际上可能不是一个劣质相机，或只是分辨率较低，但其分辨率被散开到一个更宽的360度，而HR相机22的全分辨率被固定在全景的一段小弧度上。每个HR图像可能包含比360度LR图像40更少的整体像素，但由于其缩小了视野，仍然会有一个更高分辨率的图像细节。

LR相机24和HR相机22可以使用相同类型的相机。而且，全景镜26可能会扭曲图像或模糊图像细节，LR相机24观察到的图像质量要低于没有任何干涉镜的HR相机22观察到的图像质量。

HR图像可能比360度LR图像更高或更短。当HR图像更短时，可能有一些靠近重建HR全景图68顶部或底部的区域缺少HR细节。当HR图像更高时，一些HR细节可以丢弃，或可以通过一些不太精确的方法放置在重建HR全景图像68内。当HR图像高于360度LR图像40时，放大的LR图像62可能比重建HR全景图像68要小。

由于LR相机24提供相关目标位置，精确校准多个相机以及其之间的距离和角度不是必需的。HR相机22仅仅提供图像细节，如纹理。也可以使用不那么昂贵的相机设备。尽管360度LR图像40已经被描述为360度视角，但一部分视角可能被诸如连接全景镜26到组合相机设备20的支撑棒阻挡了。被阻挡的区域可能很小，可以通过使用各种方法以填充来自HR图像的细节。

图像块可以是一个或多个宏块，可以有不同形状。在一个图像内，图像块的形状和尺寸可以不同。例如，在平坦或不复杂的区域可以使用较大的图像块，在细微区域如目标边缘，可以使用较小的图像块。可以使用各种自适应程序。图像块可以是非重叠的或重叠的。图像块匹配可以比较所有颜色分量如YUV或RGB的差异，或可以仅比较一个或两个分量，如亮度Y。原始输入相机数据可以使用如MPEG编码，在处理前需要对其进行解压缩。

尽管已经描述了每个HR图像64有三个单应投影61、63、65，但也可以替换为其它数量的单应投影。某些HR图像可以比其它HR图像有更多的单应投影。例如，一个指向开阔天空的HR图像可能只需要一个投影，而一个指向杂乱办公桌和窗外有树木的HR图像，如果能有三个以上的单应投影61、63、65就更好。

重建HR全景图像68的分辨率可以不同于HR图像的分辨率。HR图像可以向上放大或向下缩小到重建HR全景图像68的分辨率。重建HR全景图像68可以自己向上放大或向下缩小其分辨率。也可以有各种其它的预处理和后处理步骤。重建HR全景图像68可以有进一步的后处理，用于产生由组合相机设备20看到的3D模型的VR空间。HR相机22和LR相机24可以拍摄视频或静止图像。当LR相机24比HR相机22更慢时，每个HR相机22的一系列多个HR图像可以产生一个放大的LR图像62。360度LR图像40和HR图像42不必精确地同步，尽管当它们同步时会有更好的结果。LR相机24可以是一个灰度或黑白相机，而HR相机22可以拍摄全彩色(full color)。彩色像素可以转换成灰度，用于搜索窗口74搜索查询图像块72。可以在预处理或后处理期间转换彩色系统，如在YUV和RGB之间，或在具有不同像素比特的像素之间。可以使用各种像素编码，可以添加帧头和音轨。也可以获取GPS数据或相机朝向数据，并连接到视频流。

虽然已经描述了绝对差和(SAD)作为一种评估图像块相似性的方法，但也可以使用其它评估方法，如均方误差(MSE)、平均绝对差分(MAD)、和方差(SSE)等。可以不使用宏块作为图像块，而使用更小的块，特别是在目标边界周围，或使用更大的块用于背景或目标。也可以使用非块状的形状或区域。

当宏块作为一个图像块时，宏块的尺寸可以是8×8、16×16、或其它数目的像素。尽管已经描述了诸如16×16块和8×8块的宏块，但可以替换为其它块尺寸，如更大的32×32块、16×8块、更小的4×4块等。也可以使用非方形的块，其它形状如三角形、圆形、椭圆形、六边形等都可以用作为图像块或“块”。自适应性图像块和块也不一定要限制于一个预设的几何形状。例如，可以使用子块对应于目标物体内基于内容的子目标物体。对于非常小的目标，可以使用更小的块尺寸。

像素的大小、格式、类型可以不同，如RGB、YUV、8比特、16比特，或可以包括其它效果如纹理或闪烁。在搜索窗口里查询图像块的搜索范围可以是固定的或变化的，可以在每个方向上递增一个像素，或递增2个或多个像素，或可以有方向性的偏移。也可以使用自适应性的程序。在某些区域里可以使用较大的图像块尺寸，而在靠近目标边界或具有高层次细节的区域里使用较小的图像块尺寸。

当搜索最佳匹配图像块时，可以使用不同的搜索范围和方法。例如，一个钻石型的搜索图案或一个3点图案可能比穷尽式搜索一个正方形区域更加有效。也可以使用不同的搜素策略来进一步加快计算。

可以使用各种组合的硬件、可编程处理器、和固件来实施功能模块。可以使用管线(Pipelining)，因为可以平行处理。可以使用各种程序和方法，一些因子诸如搜索范围也可以发生变化。

在每个时间帧里没必要完全处理所有图像块。例如，可以仅处理每个帧的一个子集或有限区域。可能预先知道，移动目标只出现在全景画面的某个区域，如移动目标可能只出现在相机拍摄的全景图的右侧，因为右边有一条高速公路而左边是一建筑物。“帧”可以只是相机拍摄或存储或传输的静止图像的一个子集。

本发明的背景部分可以包括有关本发明问题或环境的背景信息，而不仅仅是描述的现有技术。因此，在背景部分内包含的材料并不是申请者所认同的现有技术。

在此描述的任何方法或过程是机器实施的或计算机实施的，并意在由机器、计算机或其它装置执行，而并不是意在仅依靠人而不需要机器协助来执行。产生的有形结果可以包括报告或其它机器生成的在显示器上显示的展示，如计算机监控器、投影仪装置、音频产生装置和相关媒体装置，并可以包括同样由机器产生的硬拷贝打印输出。其它机器的计算机控制是另一个有形结果。

描述的任何优势和好处可能不适合本发明的所有实施例。通常有一个或多个单词出现在“装置”之前。在“装置”之前的单词是一个简易标记，而不是意在表达一个结构限制。这种“装置加功能”意在不仅包括在此所述的用来执行此功能的结构及其结构等同物，而且包括等同的结构。例如，尽管钉子和螺丝钉具有不同的结构，但它们是等同的结构，因为它们都执行固定的功能。信号通常是电子信号，但也可以是光纤上的光信号。

为了叙述本发明，前面已经描述了本发明的实施例。但是，这并不是穷尽性地或限制本发明的范围。根据本发明的上述教义，许多改进和变化是可能的。本发明的范围并不受制于详细描述，而是受限于所附的权利要求。

Claims

1.一种混合分辨率全景处理器，包括：

一个全景输入，用于接收360度场景的360度图像；

一个细节视图输入，用于接收由多个高分辨率HR相机拍摄的多个HR图像，每个HR图像仅覆盖所述360度场景的一个有限弧度部分；

其中对所述360度场景里的可视目标，所述多个HR图像比所述360度图像具有更高的像素密度；

一个图像放大器，其产生额外的像素插入到所述360度图像里，以产生一个放大的360度图像；

一个图像块搜索器，其用于扫描所述放大的360度图像，以找到多个查询图像块，并且对每个查询图像块，在HR图像内搜索一个搜索窗口，以在所述HR图像里找到一个最佳匹配HR图像块，并且对靠近相邻HR图像之间拼接处的查询图像块，同样在第二HR图像内搜索第二搜索窗口，以在所述第二HR图像里找到第二最佳匹配HR图像块；

一个图像块收集器，其收集所述最佳匹配HR图像块以及所述第二最佳匹配HR图像块；

一个图像块评估器，其对由所述图像块收集器收集的每个最佳匹配HR图像块产生一个相似性参数，所述相似性参数对一个最佳匹配HR图像块和一个查询图像块的可视相似性进行定量化；

一个重建图像块生成器，其使用所述相似性参数作为合成权重，以对所述最佳匹配HR图像块和所述第二最佳匹配HR图像块进行合成，从而产生一个重建图像块；和

一个联合视图重建器，其将所述重建图像块放置在一个重建HR全景图像上，放置的位置即所述放大的360度图像内相应查询图像块的位置。

2.根据权利要求1所述的混合分辨率全景处理器，其中通过使用所述360度图像作为一个位置框架，以接收从所述相邻HR图像产生的所述重建图像块，使得相邻HR图像之间拼接处上的视差被消除，由此当相邻HR图像拼接在一起时，由视差引起的可视重影得以消除。

3.根据权利要求1所述的混合分辨率全景处理器，还包括：

一个单应投影仪，其接收每个HR图像，并产生多个单应投影，其中所述图像块搜索器接收每个HR图像的所述多个单应投影，并在所述多个单应投影里的多个搜索窗口内搜索所述查询图像块，以找出每个HR图像的多个最佳匹配HR图像块；

其中所述图像块收集器收集每个HR图像的所述多个最佳匹配HR图像块；

其中对由所述图像块收集器所收集的每个所述多个最佳匹配HR图像块，所述图像块评估器产生多个相似性参数；

其中所述重建图像块生成器，使用所述相似性参数作为合成权重，将多个所述最佳匹配HR图像块和在相邻HR图像之间拼接处上的多个所述第二最佳匹配HR图像块进行合成，以产生所述重建图像块；

由此，多个单应投影的产生、搜索、评估和合成是对每个HR图像都进行的。

4.根据权利要求3所述的混合分辨率全景处理器，还包括：

一个搜索窗口尺寸调整器，在对所述HR图像产生所述多个单应投影时，其接收由所述单应投影仪产生的投影误差，所述搜索窗口尺寸调整器根据所述投影误差调整所述HR图像的所述搜索窗口的尺寸；

由此，搜索窗口尺寸是为单应投影误差而调整的。

5.根据权利要求3所述的混合分辨率全景处理器，其中所述单应投影仪还包括：

一个特征匹配器，其搜索HR图像的特征点，并根据所述HR图像内一个预计深度位置，将所述特征点归类到多个子集；

一个矩阵生成器，其为所述多个子集中的每个子集，产生一个单应矩阵；和

一个单应投影生成器，其将所述单应矩阵施加到所述HR图像，以对所述多个子集中的每个子集都产生一个单应投影。

6.根据权利要求3所述的混合分辨率全景处理器，其中所述多个单应投影包括从每个HR图像产生的三个单应投影。

7.根据权利要求3所述的混合分辨率全景处理器，其中所述多个HR图像包括16个HR图像，以对应每个360度图像；由此16个HR图像的HR图像细节被放置在由单个360图像提供的位置框架上。

8.根据权利要求7所述的混合分辨率全景处理器，其中对所述360度场景里的可视目标，所述多个HR图像比所述360度图像具有更高的像素密度，高至少2倍行像素和2倍列像素的像素密度。

9.根据权利要求7所述的混合分辨率全景处理器，还包括：

一个组合相机装置，其包括：

多个HR相机，其拍摄多个HR图像，所述多个HR相机呈环状安排，且位于一个环平面上，其镜头朝向环外；

一个宽视野相机，其镜头朝向垂直于所述多个HR相机的所述环平面；和

一个全景镜，其位于所述宽视野相机的镜头前面，所述全景镜接收来自能被每个HR相机观察到的目标物体的光线。

10.根据权利要求9所述的混合分辨率全景处理器，其中所述全景镜是一个锥形镜。

11.根据权利要求9所述的混合分辨率全景处理器，其中所述全景镜是一个球面镜、抛物面镜、双曲面镜或椭圆镜。

12.根据权利要求1所述的混合分辨率全景处理器，还包括：

一个预处理器，其消除失真，并将所述多个HR图像的亮度归一化，然后再由所述图像块搜索器进行处理；和

一个后处理器，其对所述重建HR全景图像增强色彩和对比度，然后再作为HR全景图像输出。

13.一种生成高分辨率HR全景图像的方法，包括：

从一圈HR相机环接收多个HR图像；

从一个垂直相机接收一个360度低分辨率LR图像，所述垂直相机垂直于并朝向所述HR相机环平面外，指向一个全景镜并拍摄一个LR全景图像，所述全景图像包括所述HR相机环里所有HR相机的所述多个HR图像中的至少一部分；

其中所述多个HR图像对拍摄目标具有较高分辨率，而所述360度LR图像对拍摄目标具有较低分辨率，其中所述拍摄目标可被所述其中一个HR相机和所述垂直相机看到；

将所述360度LR图像放大到一个更高分辨率空间，以产生一个放大的LR图像；

将所述放大的LR图像分割成多个查询图像块；

使用多个单应矩阵，将所述多个HR图像中的每个HR图像都多次投影到一个重建HR全景图像的空间上，以产生多个单应投影；

在从每个HR图像所产生的多个单应投影的每个单应投影里，搜索一个搜索窗口，以找到一个和所述放大LR图像里查询图像块相似的最佳匹配图像块；

根据和所述查询图像块的相似性，在多个所述最佳匹配图像块中进行选择，以产生选中的图像块；

对所述选中的图像块进行合成，以产生一个重建图像块；和

将所述重建图像块放置在所述重建HR全景图像里，放置位置即所述放大LR图像内相应查询图像块的位置，以将HR图像细节添加到所述放大LR图像中；

由此，所述多个HR图像的HR细节被放置在所述放大LR图像上，而所述放大LR图像提供图像块位置信息。

14.根据权利要求13所述的方法，还包括：

对每个所述最佳匹配图像块，产生一个相似性参数，所述相似性参数是基于对所述查询图像块的视觉相似性。

15.根据权利要求14所述的方法，其中所述相似性参数包括几何和像素相似性的因子。

16.根据权利要求14所述的方法，还包括：

当对所述选中图像块进行合成时，使用所述相似性参数作为权重，以产生所述重建图像块。

17.根据权利要求13所述的方法，其中将所述360度LR图像放大到一个更高分辨率空间包括：放大到所述多个HR图像的分辨率。

18.根据权利要求13所述的方法，还包括：

其中所述较高HR分辨率比所述较低LR分辨率高至少2×2倍的分辨率。

19.一种双分辨率全景虚拟现实VR生成器，包括：

HR输入装置，用于从多个HR相机接收多个HR图像；

LR输入装置，用于从一个垂直相机接收一个宽视野低分辨率LR图像，所述垂直相机垂直于并朝向所述HR相机平面外，指向一个全景镜并拍摄一个LR全景图像，所述全景图像包括所有HR相机的所述多个HR图像中的至少一部分；

其中所述多个HR图像对拍摄目标具有较高分辨率，而所述宽视野LR图像对拍摄目标具有较低分辨率，其中所述较高分辨率比所述较低分辨率高至少2×2倍；

图像放大装置，用于将所述宽视野LR图像放大到一个更高分辨率空间，以产生一个放大的LR图像；

查询装置，用于将所述放大的LR图像分割成多个查询图像块；

单应投影仪装置，其使用多个单应矩阵，将所述多个HR图像中的每个HR图像投影到一个重建HR全景图像的空间，以产生多个单应投影；

搜索装置，用于在由每个HR图像所产生的每个单应投影里，搜索一个搜索窗口以找出一个最佳匹配图像块，其相似于放大LR图像里的一个查询图像块；

评估装置，用于对每个所述最佳匹配图像块产生一个相似性参数，所述相似性参数是基于所述查询图像块的视觉相似性；选择装置，其使用所述相似性参数，在所述多个最佳匹配图像块中进行选择，以产生选中的图像块；

合成装置，其使用所述相似性参数作为权重，对所述选中图像块进行合成，以产生一个重建图像块；和

联合视图重建装置，用于将所述重建图像块放置在所述重建HR全景图像里，放置位置即所述放大LR图像内的所述查询图像块的位置；其中使用放大LR图像的图像块位置信息，将HR图像细节添加到所述放大LR图像中。