CN103443582A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明针对用于生成图像的设备和方法。多个图像捕获装置从预定角度捕获包括由曲面镜反射的对象的图像。分析在捕获图像中包括的图像单元；并且根据分析结果确定在捕获图像中包括的对象的距离。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理方法和程序，并且尤其涉及使得能够利用简单配置识别从视点到全天空（whole sky）中的对象的距离。

背景技术

近年来，已经广泛使用所谓的3D电视机，已经增强车辆导航系统的精确性，并且已经将机器人投入实际使用，因此，存在对于识别在图像中包括的被摄体的位置（距相机的距离）的强烈需求。

例如，获得在图像中包括的被摄体和相机之间的距离，从而生成所谓的深度图。

然而，通过向由相机捕获的图像添加与由激光测距仪获得的距离有关的信息，来生成在普通车辆导航系统中使用的大多数地图信息。因此，一直期望除了相机之外不使用传感器地识别到被摄体的距离的技术。

例如，通过使用相机从不同位置捕获相同被摄体的图像，可以识别从相机到被摄体的距离。注意，从多个相机位置捕获相同被摄体的图像也称为“立体成像”。

另外，当要实际生成3D图像时，应当识别在图像中包括的对象距相机的距离。具体地，除了特定被摄体之外，应当识别围绕特定被摄体的对象的距离。

例如，已经提出如下配置，在其中在上部和下部布置的两个双曲面镜（hyperboloidal mirror）引起垂直视差差异，从而执行整个周边区域的立体成像（例如，参考非专利文件1）。

另外，已经提出如下配置，在其中从两个不同距离捕获单个圆锥形镜的图像，从而出现垂直视差差异，由此执行整个周边区域的立体成像（例如，参考非专利文件2）。

此外，已经提出使用旋转光学系统的整个周边区域的立体成像（例如，参考非专利文件3）。

根据这些技术，虽然可以粗略获得从相机到目标被摄体和围绕该目标被摄体的对象的距离，但是应当提供双曲面镜、圆锥形镜和旋转光学系统。

同时，已经提出使用相当容易获得的球面镜的立体成像（例如，参考非专利文件4）。

引用列表

非专利文献

NPL1：使用真实场景的全景立体图像和计算机图形模块的虚拟环境的构建和再现。

NPL2：轴向锥形：建模用于宽角度光场再现的球面折反射相机

NPL3：利用旋转光学的全方位视频成像

NPL4：曲面镜的轴光场

发明内容

技术问题

然而，根据在非专利文件1到3中公开的技术，将提供如上描述的双曲面镜、圆锥形镜和旋转光学系统。双曲面镜、圆锥形镜和旋转光学系统不不作为标准产品或者共用产品分发，并且因此难以简单地获得双曲面镜、圆锥形镜和旋转光学系统。

此外，难以利用在非专利文件1中公开的配置，其中，例如以现实方式在日常生活空间中的上部和下部布置双曲面镜。此外，根据非专利文件3，由于圆偏振膜用作光学系统，所以限制图像均匀性。

另外，当使用在非专利文件1到4中公开的技术中的任一个时，不能通过立体成像获得在垂直和水平方向和前后方向上包括的周边区域（其称为“全天空”）的图像。

已经鉴于该情况作出本发明以利用简单配置从特定视点获得到在全天空中的对象的距离。

根据本发明，可以利用简单配置获得依据从特定视点到全天空中的对象的距离。

根据实施例，用于生成图像的设备包括：多个图像捕获装置，其从预定角度捕获包括由曲面镜反射的对象的图像；分析单元分析在捕获图像中包括的图像单元；以及距离估计单元，根据分析单元的分析结果对在捕获图像中包括的对象确定距离。

根据另一实施例，该设备还包括深度图像深成单元，其根据捕获图像生成深度图像。

根据另一实施例，多个图像捕获装置包括在距曲面镜相等的距离上布置的两个图像捕获装置。

根据另一实施例，该设备还包括映射单元，其利用虚拟单元将捕获图像的图像单元映射到以曲面镜为中心的多个预定虚拟曲表面上，并且将虚拟单元与捕获图像的图像单元相关联。

根据另一实施例，曲面镜具有球面形状，并且虚拟曲表面具有圆柱体形状。映射单元通过使用曲面镜的点的坐标和图像捕获装置的坐标来确定由曲面镜的该点反射的光束的三维矢量。所述坐标指定具有曲面镜的中心作为原点的三维空间，并且图像捕获装置的坐标表示图像捕获装置的镜头的中心，并且映射单元根据三维矢量通过利用虚拟单元将与曲面镜的点对应的图像单元映射到虚拟曲表面上，来生成映射图像。

根据另一实施例，距离估计单元基于与图像单元相关联的映射虚拟单元的位置差异的最小值，对在该图像单元中包括的对象确定距离。图像单元包括像素或者多个像素形成的区域。映射单元通过映射捕获图像到具有一系列半径的多个虚拟曲表面，来生成多个映射图像，并且距离估计单元计算在虚拟曲表面上的虚拟单元的绝对值，并且距离估计单元通过使用与所计算的绝对值中的最小差异绝对值对应的一个半径，来估计到对象的距离。

本发明还设想由上述设备执行的方法。

为了实现前面和相关目标，这里结合以下描述和所附附图来描述本发明的特定例示性实施例。虽然这些实施例是指示性的，但是是可以采用本发明的原理的各种方式的一些，并且本发明意图包括所有这些方面和它们的等效物。当结合附图考虑时，本发明的其它优点、实施例和新颖特征从本发明的以下描述中变得显然。结合所附附图可以最佳理解下面的描述，下面的描述以示例方式给出，但不意图单独限制本发明于描述的特定实施例。

附图说明

图1是图示其中由相机捕获球面镜的情形的示图。

图2是图示由图1所示的人观看的球面镜的示图。

图3包括图示由人在图1中所示的箭头标记指示的各种位置捕获的球面镜图像的示图。

图4是图示由相机捕获的球面镜图像的示图。

图5是图示包括图4中所示的球面镜和相机的空间作为三维空间的示图。

图6是图5的透视视图。

图7是图示用于在球面镜中指定对象的位置的方法的示图。

图8是图示根据本技术应用于的实施例的图像处理设备的配置的框图。

图9是图示深度图生成处理的流程图。

图10是图示图像映射处理的流程图。

图11是图示图像分析处理的流程图。

图12是图示距离估计处理的流程图。

图13包括进一步图示深度图生成处理的示图。

图14是更进一步图示深度图生成处理的示图。

图15是图示当使用两个相机捕获球面镜时获得的有效视场角度的示图。

图16是图示当使用三个相机捕获球面镜时获得的有效视场角度的示图。

图17是图示个人计算机的配置的框图。

具体实施方式

这里，将参考附图描述本发明的实施例。注意，在该公开中并且特别是在权利要求书和/或段落中，诸如“包括”，“被包括”、“包含”等之类的术语可以具有归因于美国专利法中的含义；即，它们可以意味着“包括”、“被包括”、“包括着”、“包括，但不限于”等，并且允许不明确陈述的元素。诸如“基本由…组成”和“基本由…构成”之类的术语具有归因于美国专利法的含义；即，它们允许不明确陈述的元素，但是排除在现有技术中发现或者影响本发明的基本或者新颖特征的元素。本发明的实施例被公开或者依据以下描述是显然的并且由以下描述包含。

首先，将描述球面镜的特征。

例如由双曲面镜反射的光束会聚到一个点。然而，由球面镜反射的光束不会聚到一个点。

假设，如图1所示，人41和相机42和43处于球面镜31中。注意，相机42和43以它们之间的特定间隔来定位。

人41看到如图2中所示的球面镜31。图2是图示当人41使用小型数码照相机捕获球面镜31的图像时获得的图像的示图。球面镜31的图像位于图2的中心，人41的图像位于球面镜31的图像的中心，并且相机42和43的图像分别位于球面镜31的图像中的左侧部分和右侧部分。

这里，将考虑其中人41移动并且球面镜的表面上的图像依据该移动而改变的情形。图3包括图示当人使用小型数码照相机从由图1中所示的箭头标记51-53表示的位置而捕获球面镜31的图像时获得的图像的示图。另外，在图3所示的图像的示例中，在改变垂直角度的同时球面镜31的图像由小型数字照相机捕获。

假设图1的纸张的方向表示水平方向，图1的纸张的深度方向表示垂直方向。这里，当其中将球面镜31的中心和小型数码照相机的镜头的中心相互连接的线（小型数码照相机的光轴）与地面平行的位置被确定为0度时获得的角度被称为“垂直角度”。

图3包括在垂直角度在0度、40度和70度之间改变的同时，在由图1所示的箭头标记51到53表示的位置处，由人使用小型数码照相机捕获的球面镜31的图像。具体地，图3包括在水平方向（由箭头标记51、52、53表示）上的三个位置和垂直方向上（垂直角度0度、40度和70度）的三个位置处通过改变小型数字照相机的位置获得的9个图像。

相机42和43的图像通常包括在球面镜31的表面上的相应两个位置处的图3中所示的九个图像的每一个中。具体地，即使当在任何位置进行图像捕获时，在球面镜31中相机42和43的图像也不相互重叠。

这意味着，当使用两个相机经由球面镜而捕获被摄体的图像时，通常捕获具有视差差异的图像。

下面，将描述球面镜中图像和真实世界中对象的位置之间的关系。

例如将考虑其中如图示4所示从特定位置捕获球面镜图像的情形。图4是图示使用离开球面镜的中心特定距离而放置的相机捕获的球面镜图像的示图。位于球面镜附近的对象的图像包括在所捕获的球面镜图像中。

这里，包括如图4中所示捕获的球面镜和相机的空间的图像表示为如图5所示的三维空间（x，y，z）。在该情形中，z轴表示图5的水平方向，y轴表示图5的垂直方向并且x轴表示图5的深度方向（与纸张正交的方向）。在图5中，相机安装在以距离D离开z轴上的球体的中心处的位置上，并且球面镜图像使用该相机来捕获。

如图5所示，当x轴定义为垂直于纸张的方向时，球面镜的轮廓线可以在（z，y）平面中由圆形表示。另外，相机的位置可以由（z，y）平面上的坐标（D，0）表示。

假设表示图5中所示的球面镜的轮廓线的圆形上的点由极坐标（r，φ）来表示。这里，“φ”意味着由将球面镜的轮廓线的圆形上的点和球面镜的中心点连接的线与（x，y）平面定义的角度。注意，圆形的半径是“1”，与三点钟对应的位置表示“φ=0度”，并且与十二点钟对应的位置表示“φ=90度”。例如，图5中所示的球面镜的轮廓线的圆形上的单个点P具有90度的phi分量，并且由将点P和球面镜的中心点互相连接的线与（z，y）平面定义的角度是θ。

在该情形下，球面镜的轮廓线的圆形由表达式（1）来表示。

表达式(1)

X²+Y²=1    (1)

当所估计的图像高度（即，极坐标（r，φ）中的r分量）是1时，将表示球面镜的轮廓的圆形上的特定点和相机的位置相互连接的直线接触表示球面镜的轮廓的圆形。因此，连接表示球面镜的轮廓的圆形上的特定点P和表示图5中所示的相机的位置处的点C的直线PC由表达式（2）来表示。

表达式(2)

$y=-\frac{r}{D^2-1}(z-D)---\left(2\right)$

可以由使用表达式（1）和（2）的表达式（3）来计算点P的坐标（y，z）。

表达式(3)

$\left[\begin{array}{c}y\\ z\end{array}\right]=\frac{r}{D^2+r^2-1}\left[\begin{array}{c}r\sqrt{D^2-1}(D-\sqrt{1-r^2})\\ {\mathrm{Dr}}^2+(D^2-1)\sqrt{1-r^2}\end{array}\right]---\left(3\right)$

另外，在球面镜的表面上的特定点中以与相对于球面表面的法线的角度相同的角度来反射光束。具体地，如果获得将相机的镜头和球面镜的表面上的特定点连接的直线相对于法线的角度，则自动确定从球面镜的表面的该特定点入射到相机的镜头上的光束的方向。具体地，如果获得由图5中所示的直线CP和由图5中的虚线指示的法线来定义的角度γ，则可以指定位于球面镜的表面上的点P中的对象的方向。因此，位于球面镜的表面上的点P中对象面对由图5中所示的箭头标记101表示的方向。

图6是图5的透视视图。具体地，虽然在图5中x轴表示与纸张正交的方向并且由点指示，但是在图6中x轴不与纸张正交并且由直线指示。注意，虽然在图5中为了方便缘故，点P中的φ分量是90度，但是在图6中，点P中的φ分量设置为大于0度并且小于90度的角度。

另外，假设，在图6中，其图像通过由点P反射后入射在相机的镜头上的光束捕获的对象位于点S。

这里，因为使用反余弦z获得θ，所以球面镜的表面上的点P可以由表达式（4）表示为球体的极坐标。

表达式（4）

P=(cosφsinθ,sinφsinθ,cosθ)    （4）

另外，如上所述，在球面镜的表面上的一个点以与由在该点处的球面表面和法线定义的角度相同的角度反射光束。具体地，由将表示相机的（镜头的）位置处的点C和点P相互连接的线与球面表面的法线定义的角度通常等于，由将表示对象的位置处的点S和点P相互连接的线与球面表面的法线定义的角度。在该情形下，通过相互添加由直线PC获得的单元长度的矢量和由直线PS获得的单位长度的矢量来获得的矢量通常与直线OP平行，该直线OP相互连接球体的中心点O和点P。即，满足表达式（5）。

表达式(5)

$\frac{\stackrel{\→}{\mathrm{PC}}}{\left|\stackrel{\→}{\mathrm{PC}}\right|}+\frac{\stackrel{\→}{\mathrm{PS}}}{\left|\stackrel{\→}{\mathrm{PS}}\right|}\left|\right|\stackrel{\→}{\mathrm{OP}}---\left(5\right)$

注意，包括在表达式（5）中的符号"||"表示平行。

使用表达式（4）和（5），可以由表达式（6）获得，当从相机观看时在其中在点P上反射光束的方向上的矢量（即，表示入射在点P上的光束的方向的矢量）。

表达式(6)

$\left[\begin{array}{c}{m}_x\\ m_y\\ m_z\end{array}\right]=\frac{1}{\sqrt{1+D^2+2D\cos \mathrm{\θ}}}\left[\begin{array}{c}\cos \mathrm{\φ}(-1+2D\cos \mathrm{\θ})\sin \mathrm{\θ}\\ \sin \mathrm{\φ}(-1+2D\cos \mathrm{\θ})\sin \mathrm{\θ}\\ -\cos \mathrm{\θ}+D\cos 2\mathrm{\θ}\end{array}\right]---\left(6\right)$

以这样的方式，在假设已经获得相机的镜头和球面镜的中心之间的距离的情况下，可以指定在如图4所示捕获的球面镜图像中包括的对象在真实世界中的方向。

在上文中已经描述使用单个相机并且指定真实世界中球面镜中的对象的方向来捕获球面镜图像的方法。然而，当使用两个相机捕获球面镜时，可以指定球面镜中的对象在真实世界中的位置。

例如，如图7所示，使用相机121和122从不同方向捕获球面镜131的图像。在该示例中，相机121和122位于具有距离球面镜131的中心点的相同距离的位置处，以相对于图7中的水平直线对称。

假设对象132位于与由相机121捕获的球面镜图像中的点P1对应的位置处。另外，假设对象132位于与由相机121捕获的球面镜图像中的点P2对应的位置处。

如上所述，当使用单个相机捕获球面镜图像时，指定球面镜中的对象在真实世界中的方向。因此，可以指定表示从点P1和P2到对象132的方向的矢量。此后，获得与通过延伸所指定的矢量而获得的直线的交叉点对应的点，从而指定对象132在真实世界中的位置。

在该技术中，使用多个相机捕获球面镜图像，从而指定所捕获的球面镜图像中的对象的位置。

注意，实际上难以通过分析失真图像来指定在由相机121和122捕获的球面镜中的该失真图像中的对象132的位置。

因此，在该技术中，将球面镜中的图像映射在具有与球面镜的中心的位置对应的轴的圆柱体屏幕中，并且分析该图像。例如，如图6所示，球面镜由圆柱体围绕，并且将球面镜中的图像映射在在圆柱体的内表面中。注意，该圆柱体由在图6中的垂直方向上延伸的两条直线表示，并且用作圆柱体的中心的轴与y轴对应。注意，为了清楚的缘故，该圆柱体表示为透视圆柱。

如上所描述，因为已经获得图6中所示相机的位置的点C，所以与由相机捕获的图像中的球面镜的表面上的点P对应的像素可以映射在圆柱体的内表面上的点S上。具体地，依据使用表达式（6）获得的矢量，将所捕获图像中的球面镜中的像素分配给圆柱体的内表面。借此，在圆柱体的内表中显示球面镜中的对象的图像。

然后，由图6中的垂直直线切开该圆柱体，以展开为矩形（或者正方形）屏幕。以这样的方式，可以获得向其映射球面镜的像素的矩形（或者正方形）图像。显然，该圆柱体是虚拟存在的，并且可以通过实际中的计算获得该图像。

如上所述，例如，从由两个相机捕获的球面镜图像中获得两个矩形（或者正方形）图像，并且计算在图像中的特定区域中的像素的差异绝对值。然后，估计在与其中两个图像的差异绝对值基本为0的部分对应的区域中显示的对象具有与圆柱体的半径相同的到球面镜中心的距离。

假设将具有球面镜131的中心点作为中心的图7中所示的同心圆141-1到141-5用作圆柱体屏幕。注意，在图7的情形中，圆柱体在与纸张正交的方向上具有特定高度。

在将球面镜131上的像素映射在与具有半径R的同心圆141-3对应的圆柱体中后，通过切开圆柱体来将由相机121捕获的图像和由相机122捕获的图像展开为矩形图像。在该情形下，对象132位于由相机121和122捕获的矩形图像中的相同位置。

另一方面，在将球面镜131上的像素映射在与具有小于半径R的半径的同心圆141-4对应的圆柱体中后，通过切开圆柱体来将由相机121捕获的图像和由相机122捕获的图像展开为矩形图像。在该情形下，在由相机121捕获的图像中，对象132显示在与点S1对应的位置处，而在由相机122捕获的图像中，对象132显示在与点S2对应的位置处。

另外，在将球面镜131上的像素映射到与具有大于半径R的半径的同心圆141-2对应的圆柱体中后，通过切开圆柱体来将由相机121捕获的图像和由相机122捕获的图像展开为矩形图像。在该情形下，在由相机121捕获的图像中，对象132显示在与点S11对应的位置处，而在由相机122捕获的图像中，对象132显示在与点S12对应的位置处。

如上所述，仅当圆柱体具有半径R时，对象132位于由相机121和122捕获的矩形图像中的相同位置处。因此，当将球面镜131的像素映射在具有与对象132和球面镜131的中心之间的距离相同的半径的圆柱体中时，对象132的像素的差异绝对值是0。

因此，当将由相机121捕获的图像和由相机122捕获的图像映射在具有不同半径的不同圆柱体中并且获得两个图像的差异绝对值时，可以指定所捕获球面镜中的对象的位置。换言之，使用差异绝对值和圆柱体的半径的值，可以指定所捕获的球面镜图像中的对象的位置距离球面镜的中心的距离。

另外，在本技术中，在分析所捕获的球面镜图像中的对象（被摄体）的图像之前，捕获球面镜图像。因为位于垂直方向和水平方向上的对象被包括在球面镜图像中，所以可以使用普通相机来捕获位于垂直方向或者横向方向上的被摄体的图像。例如，当如图7所示地安装相机121和122时，可以捕获包括垂直方向、水平方向和前后方向上的区域的周边图像（其称为“全天空图像”）。

图8是图示根据本技术应用于的实施例的图像处理设备的配置的框图。图像处理设备200使用球面镜进行立体成像，以获得全天空图像并且生成在图像中包括的被摄体的深度图。注意，该深度图是通过将被摄体的像素与距相机（或者球面镜的中心）的距离相关联来获得的数据。

如图8所示，图像处理设备200包括摄像单元201、映射处理器202、分析器203、距离估计单元204和深度图处理器205。

摄像单元201控制与其连接的相机211和212，从而相机211和212从不同方向捕获球面镜220的图像。根据实施例，以到球面镜相等的距离放置相机211和212。根据另一实施例，图像处理设备可以使用其它曲面镜，诸如柱面镜之类。摄像单元201供应由相机211捕获的图像的数据和由相机212捕获的图像的数据给映射处理器202。

映射处理器202进行以下处理：从由相机211捕获的图像的数据提取球面镜220的图像，并且将球面镜220的图像映射在虚拟圆柱体中。根据实施例，可以使用其它形状的虚拟表面，诸如球面虚拟表面之类。另外，映射处理器202类似进行以下处理：从由相机212捕获的图像的数据提取球面镜220的图像，并且将球面镜220的图像映射在虚拟圆柱体中。例如，进行映射，从而如参考图6和7所描述，依据使用表达式（6）获得的矢量，分配所捕获图像中的球面镜的像素给圆柱体的内表面。

注意，在图像处理设备200中预先注册关于球面镜202以及相机211和212的布置的信息。具体地，在图像处理设备200中，因为已经获得球面镜220的半径和设置球面镜220的中心为原点的（x，y，z）空间中的相机211和212的镜头的中心的位置处的坐标，所以可以进行表达式（6）的计算。

另外，映射处理器202以步进方式改变垂直圆柱体的半径，并且在具有不同半径的圆柱体中映射球面镜220的图像。例如，对具有半径R1的圆柱体、具有半径R2的圆柱体…和具有半径Rn的圆柱体进行映射。然后，映射处理器202将不同半径与由相机211和212捕获的映射后的图像对相关联，并且供应该对给分析器203。

分析器203计算由相机211和212捕获并且由映射处理器202映射的该图像对的像素的绝对值。分析器203对于圆柱体的每一个半径(例如，半径R1、R2、…或者Rn)，计算像素的差异绝对值，如上所述。

然后，分析器203向距离估计单元204供应通过相互相关联半径、像素的位置（例如，像素的坐标）和差异绝对值而获得的数据。

该距离估计单元204依据从分析器203供应的数据，在像素位置处的差异绝对值中搜索最小值。然后，指定与差异绝对值中的最小值对应的半径，并且将该半径存储为在包括该像素的被摄体和球面镜220的中心之间的距离。以这样的方式，存储在球面镜220中的图像中包括的像素距球面镜220的中心的距离。

深度图处理器205使用作为由距离估计单元204进行的处理的结果获得的数据，生成深度图。

下面，将参考图9中所示的流程图，描述由图8中所示的图像处理设备200进行的深度图生成处理的示例。

在步骤S21，摄像单元201使用多个相机来捕获球面镜220的图像。例如，摄像单元201控制与其连接的相机211和212，从而相机211和212捕获球面镜220的图像。摄像单元201向映射处理器202供应由相机211捕获的图像的数据和由相机212捕获的图像的数据。

在步骤S22，映射处理器202进行下面将参考图10描述的映射处理。

这里，将参考图10中所示的流程图，详细描述图9的步骤S22中进行的映射处理的示例。

在步骤S41，映射处理器202设置下面将在步骤S44中描述的圆柱体的半径。将作为圆柱体半径的半径R1、R2、…Rn预定并且将半径R1、R2、…和Rn相继逐一设置为半径。在步骤S41中，例如，首先设置半径R1。

在步骤S42中，映射处理器202从由第一相机（例如，相机211）在图9中所示的步骤S21的处理中捕获的图像的数据，提取球面镜220的图像。

在步骤S43中，映射处理器202获得入射在与球面镜的表面上的点对应的像素上的光束的矢量。为了以替换方式表达光束，矢量是关于由球面镜的表面上的点反射的光束的。这里，例如，进行上述表达式（6）的计算，从而获得矢量。

在步骤S44中，映射处理器202依据在步骤S43的处理中获得的矢量，虚拟地分配在步骤S42的处理中提取的球面镜220的图像的像素给圆柱体的内表面，由此进行映射。以这样的方式，通过映射由相机211捕获的球面镜220的图像来生成矩形（或者正方形）图像。以这样的方式生成的图像称为“第一相机映射图像”。

在步骤S45中，映射处理器202从由第二相机（例如，相机212）在图9所示的步骤S21的处理中捕获的图像的数据，提取球面镜220的图像。

在步骤S46中，映射处理器202获得入射在与球面镜的表面上的点对应的像素上的光束的矢量。这里，例如，进行上述表达式（6）的计算，从而获得矢量。

在步骤S47，映射处理器202根据在步骤S46的处理中获得的矢量，虚拟地分配在步骤S45的处理中提取的球面镜220的图像的像素给圆柱体的内表面，由此进行映射。以这样的方式，通过映射由相机211捕获的球面镜220的图像来生成矩形（或者正方形）图像。以这样的方式生成的图像称为“第二相机映射图像”。

在步骤S48中，映射处理器202将步骤S44的处理中生成的第一相机映射图像和步骤S47的处理中生成的第二相机映射图像的对，与在步骤S41的处理中设置的半径相关联，并且存储该图像对。

在步骤S49中，映射处理器202确定半径Rn是否已经设置为圆柱体的半径。例如，在该情形中，因为已经设置半径R1，所以在步骤S49中确定没有设置半径Rn，并且处理进行到步骤S50。

在步骤S50，改变半径，例如，将半径从半径R1改变至半径R2。接着，处理转至步骤S41。然后，对于半径R2、R3、…和Rn的情形，重复进行上述处理。

当在步骤S49确定半径Rn已经设置为圆柱体的半径，则终止处理。

以这样的方式，进行图像映射处理。

参考回图9，在步骤S22中的处理之后，处理进行至步骤S23。在步骤S23，分析器203进行下面将参考图11描述的图像分析处理。

这里，将参考图11所示的流程图详细描述图9的步骤S23中进行的图像分析处理的示例。

在步骤S71中，分析器203设置圆柱体的半径。例如将半径R1、R2、…Rn相继逐一设置为半径。

在步骤S72中，分析器203获得在步骤S48的处理中存储的映射图像对中的一个。例如，当在步骤S71中设置半径R1时，获得与半径R1相关联的映射图像对中的一个。

在步骤S73，分析器203从在步骤S72的处理中获得的映射图像对中，提取相互对应的像素。例如，假设由（x，y）坐标表示映射图像的像素，与第一相机映射图像中的坐标（0，1）对应的像素和与第二相机映射图像中的坐标（0，1）对应的像素，被提取为相互对应的像素。

在步骤S74，分析器203计算在步骤S73的处理中提取的像素的差异绝对值。

在步骤S75，在将半径、位置和差异绝对值互相关联之后，分析器203存储在步骤S71设置的半径、在步骤S73提取的像素的位置（或者坐标）以及在步骤S74获得的差异的绝对值。

在步骤S76，确定是否存在下一像素。当在映射图像中的所有坐标上的至少一个像素没有经历用于获得差异绝对值的计算时，在步骤S76确定存在下一像素。

在步骤S76，当确定要处理下一像素时，该处理转到步骤S72，并且再次进行步骤S72中向前的处理。例如，下面，获得与坐标（0，2）对应的像素的差异绝对值。

当在步骤S77中确定不存在下一像素时，处理进行至步骤S77。

在步骤S77中，分析处理器203确定半径Rn是否已经设置为圆柱体的半径。例如，在该情形中，因为已经设置半径R1，所以确定在步骤S77尚未设置半径Rn并且处理进行到步骤S78。

在步骤S78，改变半径。例如，半径从半径R1改变至半径R2。然后，处理转至步骤S71。然后，对于半径R2、R3、…和Rn的情形，重复进行上述处理。

当在步骤S77确定半径Rn已经设置时为圆柱体的半径时，终止处理。

以这样的方式，进行图像分析处理。

注意，虽然上面已经描述其中对于每一个像素计算差异绝对值的示例，但是可以对于包括预定数量像素的每一个矩形区域计算差异绝对值的总和，并且可以在与区域的中心的坐标和半径相关联之后存储差异绝对值的总和。

参考回图9，在步骤S23中的处理之后，处理进行至步骤S24。

在步骤S24中，距离估计单元204进行下文将参考图12描述的距离估计处理。

这里，将参考图12所示的流程图详细描述步骤S24中进行的距离估计处理的示例。

在步骤S91中，距离估计单元204设置像素位置。例如，映射图像的像素由（x，y）坐标表示，并且逐一相继设置各个坐标。

在步骤S92中，距离估计单元204指定在与步骤S91中设置的像素位置相关联之后被存储的差异绝对值之一中的最小值。这里，例如，检索在步骤S75的处理中存储的数据，从而指定像素位置处的差异绝对值中的最小值。

在步骤S93，距离估计单元204指定与在步骤S92的处理中指定的差异绝对值相关联之后被存储的半径之一。

在步骤S94，距离估计单元204存储步骤S93的处理中指定的半径为像素位置处的距离。具体地，估计在真实世界中与像素位置处的像素对应的被摄体和球面镜220的中心之间的距离。

在步骤S95中，距离估计单元204确定下一像素是否存在。当在所有坐标处的至少一个像素尚未经历距离估计时，在步骤S95确定存在下一像素。

在步骤S95，当确定存在下一像素时，处理转到步骤S91，并且再次处理步骤S91中向前的处理。

当在步骤S95中确定不存在下一像素时，终止处理。

以这样的方式，进行距离估计处理。

注意，虽然上面已经描述其中对于每一个像素估计距离的示例，但是可以对于包括像素组的图像单元（诸如包括预定数量像素的每一个矩形区域之类）估计距离。矩形区域可以以预选择的像素为中心。图像单元的差异绝对值可以是中心的差异绝对值，或者可以是在图像单元中包括的所有像素的累积差异绝对值。

参考回图9，在步骤S24中的处理之后，处理进行到步骤S25。

在步骤S25，深度图处理器205使用作为步骤S24中的处理的结果获得的数据生成深度图。

以这样的方式，进行深度图生成处理。

图13和14是进一步图示深度图生成处理的示图。

图13中所示的图像251和252是图9中示出的步骤S21的处理中捕获的图像的示例，并且表示由相机211捕获的图像（图像251）和由相机212捕获的图像（图像252）。

图13中所示的图像261-1到263-3是图10中所示的步骤S44中生成的第一相机映射图像的示例。在这些示例中，图像261-1是与9.0r的圆柱体的半径（R）对应的映射图像。图261-2是与6.6r的圆柱体的半径（R）对应的映射图像。图261-3是与4.8r的圆柱体的半径（R）对应的映射图像。

另外，图13中所示的图像262-1到262-3是图10中所示的步骤S47中生成的第二相机映射图像的示例。在这些示例中，图像262-1是与9.0r的圆柱体的半径（R）对应的映射图像。图262-2是与6.6r的圆柱体的半径（R）对应的映射图像。图262-3是与4.8r的圆柱体的半径（R）对应的映射图像。

图14是图示图9中所示的步骤S25的处理中生成的深度图的示图。在该示例中，深度图生成为图像。在该图像中，随着与被摄体对应的像素靠近球面镜220的中心地放置，更白地表示对象，而随着与被摄体对应的像素远离球面镜220的中心地放置，更暗地表示被摄体。借此，可以一眼就识别被摄体的透视感。

图14所示的深度图仅仅是示例并且可以以另一方法生成深度图。

如上所述，当利用根据本技术的图像处理设备时，可以通过使用球面镜进行全天空立体成像来生成深度图。

例如，不要求难以获得的双曲面镜、圆锥形镜和旋转光学系统，并且可以仅仅使用商用的球面镜。另外，在不利用垂直布置相机和双曲面镜的配置（难以以实际日常生活空间利用）的情况下，包括垂直方向、水平方向和前后方向上的区域的图像经历立体成像。因此，当适当安装相机时，可以通过立体成像获得全天空中任何方向上的图像。

如上所述，根据本技术，可以利用简单配置获得在全天空中包括的对象距特定视点（例如，球面镜）的距离。

虽然在前述实施例中，图像处理设备200使用两个相机来捕获球面镜220的图像，但是可以使用三个或者更多相机。

例如，如图15所示，当相机211和212安装在作为相对于与球面镜的中心对应的点对称的点的位置处时，可以捕获全天空图像。然而，限制其中适当估计到被摄体的距离的范围。具体地，当到被摄体的距离要适当地估计时，相同被摄体将包括在由相机211捕获的球面镜220的图像和由相机212捕获的球面镜220的图像中。

到仅仅在由相机之一捕获的球面镜220的图像中包括的被摄体的距离没有适当估计。因此，当被摄体位于图15所示的有效视场角度的范围内时，进行到被摄体的距离的估计。没有适当估计位于图15所示的有效视场角度的范围之外（非有效视场角度）的对象的距离。注意，当相机211和212位于离球面镜220更远时，可以获得更大的有效视场角度。然而，非有效视场角度不变成0。

具体地，当使用两个相机时，不由立体成像同时捕获全天空图像。

例如，当如图16所示安装三个相机时，非有效视场角度变成0。在图16所示的示例中，例如，相机213附加地连接到图8中所示的摄像单元201，并且使用三个相机，即相机211到213，捕获球面镜220的图像。在该情形中，相机211到213安装在具有与作为重心的球面镜的中心对应的点的正三角形的顶点。借此，图16中所示的空间中的任何位置处的任何被摄体可以包括在由至少两个相机捕获的球面镜220的图像中。具体地，图16中所示的空间中的任何位置处的任何被摄体可以同时经历立体成像，并且可以适当估计距离。

另外，可以使用四个或者更多相机。

在前述描述中，作为示例描述其中图像处理设备200生成深度图的情形。然而，可以配置例如采用图像处理设备200的安全相机。这是因为，如上所述，由于可以使用图像处理设备200获得全天空图像，所以可以在其中难以安装相机的位置容易地获得图像。

注意，可以由硬件或者软件执行上述系列处理。当要由软件执行上述系列处理时，在软件中包括的程序安装在与专用硬件结合的计算机中或者图17中所示的通用个人计算机700中，例如这些计算机能够通过经由网络或者记录介质安装各种程序来执行各种功能。

在图17中，CPU（中央处理器）701依据在ROM（只读存储器）702中存储的程序或者从存储单元708加载到RAM（随机存取存储器）703中的程序来进行各种处理。ROM703还适当地存储当CPU701执行各种处理时使用的数据。

CPU701、ROM702和RAM703通过总线704相互连接。输入/输出接口705还连接到总线704。

包括键盘和鼠标的输入单元706、包括LCD（液晶显示器）的显示器、包括扬声器的输出单元707、包括硬盘的存储单元708和包括调制解调器和网络接口卡（诸如LAN卡之类）的通信单元709连接到输入/输出接口705。通信单元709经由包括因特网的网络进行通信处理。

驱动器710还连接到输入/输出接口705，在适当的情况下，诸如磁盘、光盘、磁光盘或者半导体存储器之类的可移动介质711适当附接到该输入/输出接口705。在适当的情况下，从移动介质711读取的计算机程序安装在存储单元708中。

当要由软件执行上述系列处理时，从诸如因特网之类的网络和诸如移动介质711之类的记录介质安装在软件中包括的程序。

注意，记录介质不仅包括诸如磁盘（包括软盘（注册商标））、光盘（包括CD-ROM（致密盘只读存储器））和DVD（数字多功能盘）、磁光盘（包括MD（迷你盘）（注册商标））或者半导体存储器（其分发给用户以分发程序并且与设备体分离地提供）之类的移动介质711，而且还包括存储程序的ROM702和在存储单元708中包括的硬盘，它们在预先合并在设备主体中的同时分发给用户。

注意，除了以时间序列方式在所描述顺序中执行的处理之外，在该说明书中的以上描述的系列处理包括并行执行的处理和单独执行的处理。

上述具体实施例仅仅是例示性的，在具有这里教导的益处的情况下，本可以以不同但是等效的方式修改和实践发明对于本领域技术人员是显然的。另外，除了如下面权利要求中所述，不意图限制这里所示的构建或者设计的细节。因此，不言而喻，上面公开的具体实施例可以被改变或者修改，并且在本发明的范围和精神内考虑所有这种变型。虽然这里已经参考附图详细描述本发明的例示性实施例，但是本发明的实施例不限于上述实施例，并且在不脱离本发明的范围的情况下，可以做出各种修改。

将注意，本公开还可以采用以下配置。

（1）一种图像处理设备，包括：

摄像单元，配置为从不同方向使用多个相机来捕获球面镜图像；以及

距离估计单元，依据与由相机捕获的球面镜图像对应的像素的值，来估计到球面镜中的对象的距离。

（2）如（1）所述的图像处理设备，还包括：

映射单元，配置为通过将由相机捕获的球面镜图像的像素映射到圆柱体屏幕中来生成映射图像，所述圆柱体屏幕具有预定半径并且具有穿过球面镜的中心的轴，

其中，距离估计单元依据映射图像的像素估计到球面镜中的对象的距离。

（3）如（2）所述的图像处理设备，

其中，映射单元通过在包括作为原点的球面镜的中心的三维空间中指定球面镜的表面上的点的坐标和相机的镜头的中心，来指定入射在球面镜的表面上的该点或者由该点反射的光束的矢量，并且

映射单元依据所指定的矢量将与球面镜的表面上的该点对应的像素映射在圆柱体屏幕中。

（4）如（3）所述的图像处理设备，

其中，映射单元对由相机捕获的球面镜的图像，通过设置不同值为圆柱体屏幕的半径的值来生成多个映射图像，

距离估计部件计算与映射在圆柱体屏幕中的映射图像对应的像素的值的差异绝对值，并且

距离估计部件通过指定与所计算的差异绝对值中的最小差异绝对值对应的映射图像的半径的值之一，来估计到球面镜中的对象的距离。

（5）如（1）所述的图像处理设备（1），

其中，球面镜图像由安装在正三角形中的顶点的三个相机捕获，该正三角形具有作为重心的与球面镜的中心对应的点。

（6）如（1）所述的图像处理设备，还包括：

深度图生成部件，用于在将距离与像素的位置相关联之后通过存储在映射图像中包括的像素的估计距离，来生成深度图。

（7）一种图像处理方法，包括：

使用摄像单元从不同方向使用多个相机捕获球面镜图像；

使用距离估计单元根据与由相机捕获的球面镜图像对应的像素的值，估计到球面镜中的对象的距离。

（8）一种使得计算机用作图像处理设备的程序，包括：

摄像单元，配置为从不同方向使用多个相机捕获球面镜图像；以及

距离估计单元，根据与由相机捕获的球面镜图像对应的像素的值，来估计到球面镜中的对象的距离。

Claims (20)

1.一种用于生成图像的设备，包括：

多个图像捕获装置，从预定角度捕获包括由曲面镜反射的对象的图像；

分析单元，分析在捕获图像中包括的图像单元；以及

距离估计单元，根据分析单元的分析结果确定在捕获图像中包括的对象的距离。

2.如权利要求1所述的设备，还包括深度图像深成单元，根据捕获图像生成深度图像。

3.如权利要求1所述的设备，其中，多个图像捕获装置包括以距曲面镜相等的距离布置的两个图像捕获装置。

4.如权利要求1所述的设备，还包括：

映射单元，利用虚拟单元将捕获图像的图像单元映射到以曲面镜为中心的多个预定虚拟曲表面上，并且将虚拟单元与捕获图像的图像单元相关联。

5.根据权利要求4所述的设备，其中，曲面镜具有球面形状，并且虚拟曲表面具有圆柱体形状。

6.根据权利要求5所述的设备，其中，映射单元通过使用曲面镜的点的坐标和图像捕获装置的坐标来确定由曲面镜的该点反射的光束的三维矢量，

其中，所述坐标指定具有曲面镜的中心作为原点的三维空间，并且图像捕获装置的坐标表示图像捕获装置的镜头的中心，并且

其中，映射单元通过根据三维矢量利用虚拟单元将与曲面镜的点对应的图像单元映射到虚拟曲面镜上，来生成映射图像。

7.如权利要求6所述的设备，其中，距离估计单元基于与图像单元相关联的映射虚拟单元的位置差异的最小值，来对在该图像单元中包括的对象确定距离。

8.如权利要求6所述的设备，其中，图像单元包括像素或者多个像素形成的区域。

9.如权利要求7所述的设备，其中，映射单元通过映射捕获图像到具有一系列半径的多个虚拟曲表面，来生成多个映射图像，距离估计单元计算虚拟曲表面上的虚拟单元的绝对值，并且距离估计单元通过使用与所计算的绝对值中的最小差异绝对值对应的一个半径，来估计到对象的距离。

10.一种用于通过设备生成图像的方法，包括以下步骤：

从预定角度捕获包括由曲面镜反射的对象的图像；

分析在捕获图像中包括的图像单元；以及

根据分析单元的分析结果确定对象的距离。

11.如权利要求10所述的方法，还包括根据捕获图像生成深度图像的步骤。

12.如权利要求10所述的方法，还包括以下步骤：利用虚拟单元将捕获图像的图像单元映射到以曲面镜为中心的多个预定虚拟曲表面上，并且将虚拟单元与捕获图像的图像单元相关联。

13.根据权利要求12所述的方法，其中，曲面镜具有球面形状，并且虚拟曲表面具有圆柱体形状，

其中，映射步骤通过使用曲面镜的点的坐标和图像捕获装置的坐标来确定由曲面镜的该点反射的光束的三维矢量，

其中，所述坐标指定具有曲面镜的中心作为原点的三维空间，并且图像捕获装置的坐标表示图像捕获装置的镜头的中心，并且

其中，映射步骤通过根据三维矢量利用虚拟单元将与曲面镜的点对应的图像单元映射到虚拟曲面镜上，来生成映射图像。

14.如权利要求13所述的方法，其中，估计步骤基于与图像单元相关联的映射虚拟单元的位置差异的最小值，对在该单元图像中包括的对象确定距离。

15.如权利要求14所述的方法，其中，图像单元包括像素或者多个像素形成的区域，

其中，映射步骤通过映射捕获图像到具有一系列半径的多个虚拟曲表面，来生成多个映射图像，估计步骤计算虚拟曲表面上的虚拟单元的绝对值，并且估计步骤通过使用与所计算的绝对值中的最小差异绝对值对应的一个半径，来估计到对象的距离。

16.一种存储程序的非暂时记录介质，所述程序指令与图像捕获装置连接的计算机通过执行以下步骤来生成图像：

由多个图像捕获装置被从预定角度捕获包括由曲面镜反射的对象的图像；

分析在捕获图像中包括的图像单元；以及

根据分析单元的分析结果确定对象的距离。

17.如权利要求16所述的非暂时记录介质，还包括根据捕获图像生成深度图像的步骤，以及

利用虚拟单元将捕获图像的图像单元映射到以曲面镜为中心的多个预定虚拟曲表面上，并且将虚拟单元与捕获图像的图像单元相关联的步骤。

18.如权利要求17所述的非暂时记录介质，其中，曲面镜具有球面形状，并且虚拟曲表面具有圆柱体形状，

其中，映射步骤通过使用曲面镜的点的坐标和图像捕获装置的坐标来确定由曲面镜的该点反射的光束的三维矢量，

其中，所述坐标指定具有曲面镜的中心作为原点的三维空间，并且图像捕获装置的坐标表示图像捕获装置的镜头的中心，并且

其中，映射步骤通过根据三维矢量利用虚拟单元将与曲面镜的点对应的图像单元映射到虚拟曲面镜上，来生成映射图像。

19.如权利要求18所述的非暂时记录介质，其中，估计步骤基于与图像单元相关联的映射虚拟单元的位置差异的最小值，对在该单元图像中包括的对象确定距离。

20.如权利要求19所述的方法，其中，图像单元包括像素或者多个像素形成的区域，

其中，映射步骤通过映射捕获图像到具有一系列半径的多个虚拟曲表面，来生成多个映射图像，估计步骤计算虚拟曲表面上的虚拟单元的绝对值，并且估计步骤通过使用与所计算的绝对值中的最小差异绝对值对应的一个半径，来估计到对象的距离。

Images