CN107580157A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

一种用于耦合到生成实质上覆盖360度视野的拍摄图像的成像装置、并用于将输出图像传输到图像形成装置的图像处理装置，所述图像处理装置包括设定单元，被配置来选择通过折叠根据所述输出图像打印在介质上的展开图而构成的多面体的类型；转换器，被配置来将所述拍摄图像中的坐标转换为要在所述介质上打印并要被折叠以构造所述多面体的所述展开图中的坐标，以使所述拍摄图像中的天顶被打印在所述多面体的最高点处，通过折叠打印在所述介质上的所述展开图来构造所述多面体；以及图像生成器，其被配置来基于所转换的坐标生成所述输出图像。

Description

图像处理装置、图像处理方法以及程序

技术领域

本发明通常涉及图像处理装置、图像处理方法以及程序。

背景技术

用于创建三维纸模型等的本领域中已知的方法包含基于预期三维形状在二维纸张等上打印展开图图画，裁剪展开图，然后构建模型。

例如，计算机可以首先标识构成三维形状的顶点的坐标。计算机接下来标识由三个或更多个顶点构成并与这些顶点相关联的每个面。计算机然后标识构成彼此相邻的两个面的边缘之一的并与这两个相邻面相关联的每个边缘。计算机进一步将构成两个所标识的相邻面中所选择的一个的顶点的坐标转换为二维坐标，以展开所选择的面，随后基于所展开的面的边缘选择下一个要展开的面。以这种方式产生三维形状的展开图图画的方法是本领域已知的(例如，参照专利文献1)。

可能存在这样的情况：其中由诸如全向相机(omnidirectional camera)的成像设备所拍的图像(即，拍摄图像)被打印在纸张等上，随后将其上打印有图像的纸张折叠成多面体形状。当在这种情况下使用传统方法时，多面体的最高点可能与拍摄图像的天顶不一致。

本发明的目的是提供一种图像处理装置，其用于使通过折叠其上打印有拍摄图像的纸张等而产生的多面体具有对应于拍摄图像的天顶的最高点。

发明内容

在一个实施例中，用于耦合到生成实质上覆盖360度视野的拍摄图像的成像装置，并用于将输出图像传输到图像形成装置的图像处理装置包括：设定单元，被配置来选择通过折叠根据输出图像打印在介质上的展开图而构成的多面体的类型；转换器，被配置来将拍摄图像中的坐标转换为要在介质上打印并要被折叠以构造多面体的展开图中的坐标，以使拍摄图像中的天顶被打印在通过折叠打印在介质上的展开图而构造的多面体的最高点处；以及图像生成器，配置来基于所转换的坐标生成输出图像。

根据至少一个实施例，提供了一种图像处理装置，其用于使通过折叠其上打印有拍摄图像的纸张等而产生的多面体具有对应于拍摄图像的天顶的最高点。

附图说明

当结合附图阅读时，从下文的详细描述中，实施例的其他目的和进一步的特征将是显而易见的，其中：

图1是根据实施例示出图像处理装置的使用的示例图；

图2A至2C是根据实施例示出成像装置的示例图；

图3是根据实施例示出由成像装置执行的成像操作的示例图；

图4A至图4C是根据实施例示出由成像装置拍摄的图像的示例图；

图5是根据实施例示出成像装置的硬件配置的示例的框图；

图6是根据实施例示出图像处理装置的硬件配置的示例的框图；

图7A至7D是根据实施例示出拍摄图像的示例图；

图8是根据实施例示出由图像处理装置执行的整体处理的示例的流程图；

图9是根据实施例示出由图像处理装置显示的多面体类型设定屏的示例图；

图10是根据实施例示出图像处理装置显示的放置位置设定屏的示例图；

图11A至11C是根据实施例示出图像处理装置显示的放置位置的示例图；

图12A至12C是根据实施例示出多面体的最高点的示例图；

图13是根据实施例示出由图像处理装置执行的转换处理的示例的流程图；

图14是根据实施例示出展示输出图像的显示屏的示例图；

图15A至15C是根据实施例示出用于选择展开图的显示屏的示例图；

图16A至图16C是根据实施例示出用于设定图像的显示屏的示例图；

图17A和17B是根据实施例示出输出图像的示例图；

图18是根据实施例示出拍摄图像的尺寸缩小的示例图；

图19是根据实施例示出拍摄图像的平行移动的示例图；

图20是根据实施例示出由图像处理装置执行的改变天顶的坐标的处理的示例的流程图；

图21是根据实施例示出在拍摄图像中选择天顶的坐标的示例图；以及

图22是根据实施例示出图像处理装置的功能配置的示例的功能框图。

具体实施方式

在下文中，将给出本发明的实施例的描述。

<图像处理装置的使用的示例>

图1是根据实施例示出图像处理系统的整体配置的示例图。在图像处理系统的所示示例中，用作成像装置的示例的全向相机1耦合到用作图像处理装置的示例的PC(个人计算机)2。此外，PC 2耦合到用作图像形成装置的示例的打印机3。

例如，全向相机1可以是具有多个光学系统的相机。全向相机1基于由多个光学系统拍摄的图像，产生覆盖诸如全向相机1周围的整个球体的大视野的拍摄图像。例如，这种拍摄图像可以覆盖水平面中的360度的视野。

拍摄图像不限于展示全360度的图像。所述拍摄图像可以是覆盖全360度的有限部分的图像、覆盖半球的图像，或者可以是具有其中一部分被移除的图像。

全向相机1将拍摄图像提供给PC 2。PC 2处理拍摄图像以产生输出图像。当PC 2向打印机3提供输出图像时，打印机3基于输出图像在诸如纸或塑料片材等的介质上形成图像。

从其上形成有图像的纸张等裁剪出打印图像。然后折叠裁剪的片材以构成诸如四面体、六面体、八面体、十二面体、二十面体、圆柱体、圆锥体或棱锥体、或棱镜的多面体。所述多面体不限于这些形状，并且可以具有任何形状。

在该示例中，全向相机1、PC 2以及打印机3通过有线连接或无线连接耦合。PC 2可以从全向相机1下载诸如由全向相机1产生的完整球图像的拍摄图像的数据。例如，所述连接可以可替换地通过网络或中间服务器提供。

图像处理装置使用的配置不限于图1所示的配置。例如，全向相机1和PC 2可以实施为单个的整合设备。图像处理装置不限于PC，并且可以是任何类型的图像处理装置。

在该系统中使用的装置可以如下。

<成像装置的示例>

图2A至2C是根据实施例示出成像装置的示例图。图2A至2C示出全向相机1的外观的示例。具体地，图2A示出全向相机1的前视图的示例。图2B示出全向相机1的左侧正视图。图2C示出全向相机1的俯视图的示例。

全向相机1包括正面成像设备1H1，背面成像设备1H2，以及开关1H3。在该示例中，使用正面成像设备1H1和背面成像设备1H2的光学系统来拍照。例如，基于使用这些光学系统拍摄的图像，全向相机1产生覆盖完整球的拍摄图像。

开关1H3是快门按钮，其是由用户使用以指示全向相机1拍照的输入设备的示例。

如图2A所示，例如，用户将全向相机1持在他/她的手中。当用户按下全向相机1的开关1H3时，所述全向相机1拍照。具体地，全向相机1用在如图3所示的成像操作中。

图3是根据实施例示出由成像装置执行的成像操作的示例图。手持全向相机1的用户按下图2B所示的开关1H3以执行成像操作。如图所示，全向相机1使用正面成像设备1H1(图2)和背面成像设备1H2(图2)来拍摄覆盖诸如全向相机1周围的全360度的宽阔视觉范围的图像。以这种方式拍摄的图像可以如下。

图4A至图4C是根据实施例示出由成像装置拍摄的图像的示例图。具体地，图4A示出了由正面成像设备1H1拍摄的图像的示例(见图2A和2C)。图4B示出了由背面成像设备1H2(见图2A至图2C)拍摄的图像的示例。图4C示出根据从由正面成像设备1H1拍摄的图像(即，图4A所示的图像)和由背面成像设备1H2拍摄的图像(即，图4B所示的图像)中生成的图像的示例。

由正面成像设备1H1拍摄的图像覆盖了宽视野，例如图4A所示的在全向相机1前方的180度的视角。如图所示，在采用用于覆盖宽视野的光学系统的正面成像设备1H1的情况下，例如采用鱼眼镜头的情况下，由正面成像设备1H1拍摄的图像具有失真。也就是说，图4A中所示的图像是具有失真并覆盖全向相机1的一侧的宽阔视野的半球图像。

每个光学系统的视角可以优选地大于或等于180度并且小于或等于200度。在视角超过180度的情况下，图4A和图4B所示的半球图像具有重叠的图像区域。当这些图像要彼此接合时，成像设备能够通过利用这种重叠的图像区域来执行接合，这使得产生完整球图像更容易。

由背面成像设备1H2拍摄的图像覆盖了宽视野，例如图4B所示的在全向相机1后方的180度的视角。以这种方式，由背面成像设备1H2拍摄的图像是类似于图4A所示的图像的半球图像。

全向相机1执行失真校正和图像接合以从图4A所示的前侧半球图像以及图4B所示的后侧半球图像中产生图4C所示的拍摄图像。也就是说，图4C中的图像是通过利用墨卡托投影(Mercator projection)、等距圆柱投影(equidistant cylindrical projection)等生成的拍摄图像的示例。以这种方式，拍摄图像优选地是覆盖通过使用全向相机、广角镜头相机等获得的宽视角的图像，如图4C所示。

上述示例针对其中用户按下开关1H3以控制快门按钮操作的情况。可替换地，快门按钮可以由诸如PC 2的显示装置远程控制。

<成像装置的配置的示例>

图5是根据实施例示出成像装置的硬件配置的示例的框图。如图5所示，全向相机1包括成像单元1H4、图像处理单元1H7、成像控制单元1H8、CPU(中央处理单元)1H9，以及ROM(只读存储器)1H10。全向相机1还包括SRAM(静态随机存取存储器)1H11、DRAM(动态随机存取存储器)1H12，以及操作I/F(接口)1H13。全向相机1还包括网络I/F 1H14、无线I/F 1H15，以及天线1H16。全向相机1的硬件单元通过总线1H17彼此耦合，并且通过总线1H17接收或传输数据和/或信号。

成像单元1H4包括正面成像设备1H1和背面成像设备1H2。透镜1H5和透镜1H6分别与正面成像设备1H1和背面成像设备1H2一一对应地设置。

正面成像设备1H1和背面成像设备1H2是相机单元。具体地，正面成像设备1H1和背面成像设备1H2中的每个包括诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合设备)的光学传感器。正面成像设备1H1将通过透镜1H5进入的入射光转换为指示半球像等的图像数据。类似地，背面成像设备1H2将通过透镜1H6进入的入射光转换成指示半球图像等的图像数据。

然后，成像单元1H4向图像处理单元1H7提供由正面成像装置1H1生成的图像数据和由背面成像装置1H2生成的图像数据。例如，所提供的图像数据可以表示图4A所示的前侧半球图像以及图4B所示的后侧半球像。

除了出于拍摄高质量图像的目的的透镜外，正面成像装置1H1和背面成像装置1H2还可以包括诸如光圈和/或低通滤波器的附加光学元件。此外，出于拍摄高质量图像的目的，正面成像装置1H1和背面成像装置1H2可以执行缺陷像素校正、图像稳定等。

图像处理单元1H7基于从成像单元1H4提供的图像数据，产生如图4C所示的完整球图像。下文将描述产生完整球图像的处理。

成像控制单元1H8是用于控制全向相机1的硬件的控制设备。

CPU 1H9用作用于对所需处理执行算术运算和数据处理的运算设备，并且还用作用于控制硬件的控制设备。例如，CPU 1H9基于预先安装的程序来执行处理。

ROM 1H10、SRAM 1H11，以及DRAM 1H12是存储设备的示例。具体地，例如，ROM 1H10存储用于使CPU 1H9执行处理的程序、数据、参数等。例如，SRAM 1H11和DRAM 1H12存储程序，所述程序用于使CPU 1H9基于该程序执行处理，并且还存储由程序使用的数据，由程序生成的数据等。全向相机1还可以包括诸如硬盘驱动器的辅助存储设备。

耦合到诸如开关1H3的输入设备的操作I/F 1H13用作用于接收来自在全向相机1上操作的用户的指令的接口。操作I/F 1H13可以是诸如开关的输入设备、用于耦合输入设备的连接器和/或电缆、用于处理从输入设备提供的信号的电路、驱动器、控制设备等。操作I/F 1H13还可以包括诸如显示器的输出设备。操作I/F 1H13可以是用作输入设备和输出设备两者的触摸屏面板。操作I/F 1H13可以包括诸如USB(通用串行总线)的接口，以将诸如闪存的存储介质耦合到全向相机1。通过这种排布，操作I/F 1H13可以允许全向相机1与存储介质交换数据。

操作I/F 1H13可以包括用于除快门操作之外的操作的电源开关或参数输入开关。

网络I/F 1H14，无线I/F 1H15，以及天线1H16允许全向相机1通过有线或无线连接耦合到外部装置。全向相机1可以通过网络I/F 1H14耦合到网络，以将数据传输到PC 2(见图2)。网络I/F 1H14、无线I/F 1H15，以及天线1H16可以是用于通过诸如USB的有线连接耦合到另一外部装置的硬件。也就是说，网络I/F 1H14、无线I/F 1H15，以及天线1H16可以是连接器、电缆等。

总线1H17用来在全向相机1的硬件单元之间交换数据。总线1H17是内部总线。具体地，总线1H17可以是PCI Express(外围部件互连总线express)等。

全向相机1不限于具有两个成像设备的结构。全向相机1可以具有三个或更多个成像设备。全向相机1可以改变单个成像设备的观看方向，以拍摄多个部分图像。全向相机1的光学系统不限于使用鱼眼镜头的结构。也可以可替换地使用广角透镜。

在全向相机1中执行的处理可以可替换地由另一设备执行。例如，在从全向相机1传输数据、参数等的时候，可以由通过网络耦合的PC 2或另一信息处理装置来执行部分或全部处理。以这种方式，图像处理系统可以包括用于以冗余或并行方式执行分布式处理的多个信息处理装置。

<图像处理装置的硬件配置的示例>

图6是根据实施例示出图像处理装置的硬件配置的示例的框图。如图6所示，用作图像处理装置的示例的PC 2包括辅助存储设备2H1、主存储设备2H2、输入设备2H3、输出设备2H4、CPU 2H5，以及网络I/F 2H6。PC 2的硬件单元通过总线2H7彼此耦合，并且通过总线2H7接收或传输数据和/或信号。

辅助存储设备2H1存储数据、参数、程序等。具体地，辅助存储装置2H1可以是硬盘驱动器、闪存SSD(固态驱动器)等。存储在辅助存储装置2H1中的数据可以部分或全部以冗余方式或者代理形式存储在通过网络I/F 2H6耦合的文件服务器等中。

主存储装置2H2用作提供由用于执行处理的程序使用的存储区域的工作存储器。主存储装置2H2存储数据、程序、参数等。具体地，主存储器件2H2可以是例如SRAM或DRAM。主存储装置2H2还可以包括用于写入和读取操作的控制设备。

输入设备2H3用于接收来自操作输入设备2H3的用户的指令，并且还可以用作用于显示图像、处理的数据等的输出设备。具体地，输入设备2H3可以是诸如键盘和鼠标的输入设备。输入设备2H3可以接收来自在其上显示的在GUI(图形用户界面)等上操作的用户的指令。

输出设备2H4可以是用于向用户显示图像、处理的数据等的显示器等。输入设备2H3和输出设备2H4可以实施为例如触摸屏面板的单个的整合设备。

CPU 2H5用作用于对所需处理进行算术运算和数据处理的运算设备，并且还用作用于控制硬件的控制设备。CPU 2H5可以包括用于执行并行、冗余或分布式处理的多个CPU、设备或核。PC 2还可以包括用于在其内部或外部的诸如GPU(图形处理单元)的处理的辅助设备。

网络I/F 2H6通过有线或无线方式的网络耦合到外部设备。具体地，网络I/F 2H6可以是用于传输和接收数据等的天线、外围电路、驱动器等。例如，PC 2使用CPU 2H5和网络I/F 2H6从全向相机1(见图1)等接收图像数据。PC 2使用CPU 2H5和网络I/F 2H6向全向相机1等传输数据等。

图像处理装置不限于PC。也就是说，图像处理装置可以是除了PC之外的计算机。例如，图像处理装置可以是智能电话、PDA(个人数字助理)、平板电脑、便携式电话等，或其中的组合。图像处理装置可以不限于单个装置，并且可以被实施为多个装置。

<拍摄图像的示例>

图7A至图7D是根据实施例示出拍摄图像的示例图。图7A至7D示出了从如图7A和图7B所示的半球图像中生成拍摄图像的示例。图7A示出连接相对于如图4A所示的半球图像中在水平方向和垂直方向上定义的光轴的相同入射角的点的线。相对于在水平方向上定义的光轴的入射角在下文将被称为“θ”。相对于在垂直方向上定义的光轴的入射角在下文将中被称为“φ”。类似于图7A，图7B示出连接相对于如图4B所示的半球图像中在水平方向和垂直方向上定义的光轴的相同入射角的点的线。

图7C示出通过墨卡托投影生成的图像的示例。具体地，通过使用预先准备的LUT(即，查找表)等来进行转换，图7C中所示的图像通过从图7A或图7B所示的图像中的等距圆柱投影中被生成。在图像被转换成如图7C所示的状态之后，这些图像被组合(接合)，如图7D所示，从而通过使用成像装置生成完整球图像。以这种方式，接合处理(组合处理)使用处于如图7C所示状态下的两个或更多半球像来生成完整球图像。所述接合处理不限于简单将处于图7C所示的状态下的半球图像彼此连续地排布为如图7D所示的处理。例如，水平方向上的完整球图像的中心可以处于与180度不同的角度θ。在这种情况下，成像装置对如图4A所示的半球图像执行预处理，然后将预处理的图像放置在完整球图像帧的中心。然后，成像装置划分图4B所示的半球图像的预处理图像以生成要被排布在中心图像的任一侧上的具有适当尺寸的图像，随后组合(接合)图像以产生如7D所示的完整球图像。

可以注意到，生成完整球图像的过程不限于包括等距圆柱投影的处理。例如，图7B所示的半球图像的像素的排布可以在φ方向上与图7A所示的半球图像的像素的排布垂直反转，并且这些图像的像素的排布也可以与彼此在θ方向上水平反转。对于处于这种反转状态的图像，成像设备可以执行180度旋转作为预处理，以便将图7B的半球图像与在图7A所示的图像的φ方向和θ方向上的像素的排布对准。

生成完整球图像的处理可以包括失真校正等，所述失真校正用于校正相对于图7A和7B所示的半球图像的失真。此外，生成完整球图像的处理可以包括阴影校正、伽马校正、白平衡调整、图像稳定、光学黑体(optical-black)校正、缺陷像素校正、边缘增强、线性校正等。在重叠区域存在于一个半球图像的视野和另一个半球图像的视野之间的情况下，组合处理可以通过利用在重叠视野中拍摄的对象的像素来应用校正，从而以高精度组合所述半球图像。

执行如上所述的用于生成完整球图像的处理，全向相机1从多个拍摄的半球图像中产生完整球图像。可替换地，可以采用不同的处理来生成完整球图像。

<图像处理装置的处理的示例>

图8是根据实施例示出由图像处理装置执行的整体处理的示例的流程图。图1所示的PC 2可以执行图8所示的处理。

拍摄图像的获取的示例

在步骤S101中，PC 2获取拍摄图像。例如，由图7A至7D所示的全向相机执行的处理来生成覆盖完整球等的拍摄图像。如图1所示，全向相机1将拍摄图像传输至PC 2，以便PC 2获得所述拍摄图像。

<多面体的设定类型的示例>

在步骤S102中，PC 2设定多面体的类型。例如，PC 2向用户显示设定屏幕，并且从用户接收指令以选择多面体的类型。

图9是根据实施例示出由图像处理装置显示的多面体类型设定屏幕的示例图。在步骤S102中，例如，PC 2显示第一设定屏幕PN1，如图9所示。

在图9所示的示例中，第一设定屏幕PN1呈现用于允许将要执行的操作以选择多面体的GUI。具体地，GUI可以包括第一按钮BT1、第二按钮BT2、第三按钮BT3、第四按钮BT4，以及第五按钮BT5。更具体地，用户可以按下第一按钮BT1以选择四面体。同样地，用户可以按下第二按钮BT2来选择六面体。以这种方式，诸如第一按钮BT1、第二按钮BT2、第三按钮BT3、第四按钮BT4，以及第五按钮BT5的GUI被用于允许用户指令选择要输入进PC的多面体的类型。

再次参照图8，在步骤S103中，PC 2检查是否已经选择了多面体的类型。在确定已经选择了多面体的类型时(步骤S103中为“是”)，PC 2进行至步骤S104。在确定未选择多面体的类型(步骤S103中为“否”)时，PC 2进行至步骤S102。

<设定放置位置的示例>

在步骤S104中，PC 2设定多面体的放置位置。例如，PC 2向用户显示设定屏幕，并且从用户接收指令以选择多面体的放置位置。

图10是根据实施方式示出由图像处理装置显示的放置位置设定屏幕的示例图。在步骤S104中，例如，PC 2显示如图10所示的第二设定屏幕PN2。在图10所示的第二设定屏幕PN2是用于显示放置位置的三种类型的屏幕的示例。放置位置包括如下三种类型。以下描述将针对其中已选择六面体作为多面体类型的示例。

图11A至图11C是根据实施例示出由图像处理装置显示的放置位置的示例图。图11A示出其中多面体POL的多个面中的一个与地面接触的放置位置的示例。如图11A所示的放置位置在下文将被称为“面放置”。如图所示，所述“面放置”是指其中当多面体POL被放置在地板FR上时，多面体POL与地板FR接触的部分是面的情况。当多面体POL放置在地板FR上时，处于底部的面在下文将中被称为“底面BF”。底面BF是当多面体POL放置在地板FR上时具有隐藏形成在其上的图像的面。

图11B示出放置位置的示例，其中多面体POL的多个顶点中的一个与地面接触的。如图11B所示的放置位置在下文将被称为“顶点放置”。如图11B所示，例如，该放置位置使得多面体POL的多个顶点中的一个与地面接触(这样的顶点在下文中将被称为“支撑点SP”)。杆等物体可以设置在支撑点SP的下方以支撑所述多面体POL。如图所示，“顶点放置”是指当多面体POL被放置在地板FR上时，与地板FR等接触的多面体POL的一部分是顶点的情况。

图11C示出了其中多面体POL多个边缘中的一个与地面接触的放置位置的示例。如图11C所示的放置位置在下文将被称为“边缘放置”。如图所示，“边缘放置”是指其中当多面体POL被放置在地板FR上时，多面体POL与地板FR接触的部分是边缘的情况。当多面体POL放置在地板FR上时，处于底部的边缘在下文中将被称为“底部边缘SSI”。如图11C所示，在边缘放置的情况下，底部边缘SSI与地面接触。

即使当使用相同的多面体时，使用不同的放置位置使得最高点的位置不同。取决于放置位置，可以如下改变最高点。

图12A至12C是根据实施例示出多面体的最高点的示例图。在以如图11A所示的“面放置”设置多面体的情况下，多面体的最高点可以是面SD的中心，如图12A所示。在以如图11B所示的在“顶点放置”设置多面体的情况下，多面体的最高点可以是如图12B所示的点PT。在以如图11C所示的“边缘放置”设置多面体的情况下，多面体的最高点可以是如图12C所示的边缘SI的中心。

再次参照图10，按下第二设定屏幕PN2上的第六按钮BT6，使得“面放置”被选择。按下第七按钮BT7使得“顶点放置”被选择。按下第八按钮BT8使得“边缘放置”被选择。

再次参照图8，在步骤S105中，PC 2检查是否已经选择了放置位置。当确定已经选择了放置位置时(步骤S105中为“是”)，PC 2进行至步骤S106。在确定没有选择放置位置(步骤S105中为“否”)时，PC 2进行至步骤S104。

<坐标转换的示例>

在步骤S106中，PC 2转换坐标。例如，PC 2计算与如下所述的三维坐标对应的拍摄图像中的二维坐标。在下文，三维坐标被表达为(X，Y，Z)，并且拍摄图像中的二维坐标被表达为(x，y)。Z轴与垂直方向一致，即重力方向。Y轴表示深度方向，X轴代表垂直于深度方向以及垂直方向的方向。

在图13中的步骤S201中，PC 2对三维坐标进行归一化。例如，PC 2通过使用以下公式(1)来对三维坐标(X，Y，Z)进行归一化。

在该公式(1)中，归一化的X、Y和Z分别表示为tmpx，tmpy和tmpz。

然后，PC 2基于归一化的三维坐标之中的X坐标和Y坐标(即tmpx，tmpy)，执行步骤S202。

在步骤S202中，PC 2检查是否满足tmpx＝0以及tmpy＝0的条件。当确定满足tmpx＝0并且tmpy＝0(步骤S202中为“是”)时，PC 2进行到步骤S206。在确定不满足tmpx＝0以及tmpy＝0中的至少一个的情况下(步骤S202中为“否”)，PC 2进行到步骤S203。

在步骤S203中，PC 2通过使用以下公式(2)执行计算。

在步骤S204中，PC 2检查tmpy2是否大于0。在确定tmpy2大于0(步骤S204中为“是”)时，PC 2进入步骤S205。在确定tmpy2不大于0(步骤S204中为“否”)时，PC 2进行到步骤S206。

在步骤S205中，PC 2通过使用以下公式(3)执行计算。

在步骤S206中，PC 2通过使用以下公式(4)执行计算。当在步骤S202中选择“是”时，步骤S206将被执行，尚未通过使用公式(2)计算tempx2。在这种情况下，PC 2通过使用以下公式(4)，通过将tmpx视为tmpx2(即，tmpx2＝tmpx)来执行计算。

以这种方式，PC 2通过使用上述公式(3)或(4)来计算二维坐标的“x”。

在步骤S207中，PC 2通过使用以下公式(5)进行计算。

在上述公式(3)、(4)以及(5)中，“宽度”表示拍摄图像在其宽度方向上(即，在x轴方向上)的尺寸。此外，“高度”表示拍摄图像在其高度方向上(即，在y轴方向上)的尺寸。

通过上述计算，PC 2将三维坐标(X，Y，Z)转换为二维坐标(x，y)。以这种方式，PC 2相对于在多面体上的三维坐标(X，Y，Z)处的图像点标识拍摄图像中的二维坐标(x，Y)。

再次参照图8，在步骤S107中，PC 2基于输出图像执行打印处理。例如，此处生成的输出图像如下。

图14是根据实施例示出展示输出图像的显示屏幕的示例图。显示屏幕PN3是打印预览屏幕等。

如图14所示，以展开图图画的形式生成所述输出图像。该所示的展开图展示了其中通过从纸张剪裁出打印图像，并折叠所述打印图像来构造六面体的示例。显示在显示屏幕PN3上的输出图像被传输至打印机3(见图1)，从而在纸张等上形成(打印)与所示的展开图相对应的图像。

PC 2通过使用如下的数据生成代表展开图的输出图像。

<数据结构的示例>

PC 2具有以下所示的表1中预先准备的数据表。

表1中的表格数据指定注册在PC 2中的多面体的类型。在表1中注册的这些形状之中，用户在图9所示的第一设定屏幕PN1上选择多面体类型。在表1中，“面形状”指示多面体的每个面的形状。例如，“面形状”为3指示三角形，而“面形状”为4表示四边形。“面计数”指示出现在展开图图画中的面的数量。“形状ID”是标识表1中指定的每个形状的数字等。“形状名称”示出每个形状的通用名称。“形状图像”指示含有形状的图像的文件的名称。

例如，表1中指定的每个形状与以下所示的表2中指定的顶点相关联。

表2提供了表1中指定的每个多面体的顶点与这些顶点的三维坐标之间的对应关系。表2的表格数据预先存储在PC 2中。在表2中，“顶点ID”是标识每个顶点的数字等。“顶点编号”是标识每个形状的每一个顶点的数字。“形状ID”是标识表1中指定的每个形状的数字等。“坐标”展示了每个顶点的三维坐标。在表2展示的例子中，“形状ID”为“001”的行对应于表1中“形状ID”为“001”的条目。也就是说，表2中“顶点ID”为“001”至“004”的行指示四面体的顶点。在这种情况下，表示顶点的数据项的数量等于4。

例如，基于下面所示的表3的表格数据来确定放置位置。

表3指定了相对于表1中指定的每个形状的放置位置。表3的表格数据预先存储在PC 2中。表3中的“形状ID”是标识表1中指定的每个形状的数字等。“放置ID”是指定放置位置的类型的数字。“放置名称”指示每个放置位置的名称。“最高点的坐标”表示对于每个放置定义的最高点的坐标,其中根据“放置ID”放置多面体。“放置图像”指示含有展示放置位置的图像的文件的名称。基于表3，如图10所示显示第二设定显示PN2。在该示例中，表3具有三种类型的放置位置的条目，即“面放置”、“顶点放置”，以及“边缘放置”。因此，这三种类型的放置位置在第二设定屏幕PN2上是可选择的。通过如图13所示的处理，将表3中的“最高点的坐标”转换为拍摄图像中的二维坐标。

例如，基于如下所示的表4的表格数据对于每个形状确定每个展开图的面以及每个面的顶点。表4的表格数据预先存储在PC 2中。

表4的表格数据提供了如表1中定义的形状与这种形状的每个多面体的面之间的对应关系。例如，“形状ID”为“001”的情况对应于如表1所示的是四面体的多面体类型。在四面体的情况下，多面体具有四个面。因此，表4使用“1”到“4”的“面编号”来指定四面体的面。也就是说，在表4中，四面体的所述四个面被各自给定不同的“面编号”。

以这种方式，表4中的“形状ID”对应于表1中指定的“形状ID”。“面编号”是标识多面体的每个面的数字等。“面顶点编号”是标识每个面的顶点的数字等。在四面体的情况下，每个面是三角形且具有三个顶点。因此，在表4中，每个面具有分配给它的三个“面顶点编号”条目。“坐标”展示展开图中每个顶点的二维坐标。

根据如下所示的表5中的表格数据，每个多面体的每个顶点具有与三维坐标相关联的二维坐标。

表5的表格数据提供了如表4中定义的顶点与如表2中定义的顶点之间的对应关系。更具体地，表5将由“面顶点编号”标识的顶点与由“顶点编号”标识的顶点联系。所述“面顶点编号”是标识二维坐标(即，在展开图图画中的坐标)的表4中的数字等。另一方面，“顶点编号”是标识构造的多面体上的三维坐标的表2中的数字等。

通过使用这些数据，图像处理装置找到构造的多面体上的三维坐标与展开图上的二维坐标之间的匹配。图13中所示的转换处理提供了三维坐标和拍摄图像中的坐标之间的对应关系。图像处理装置因此能够相对于要在展开图的坐标系中形成的图像点，标识拍摄图像中的坐标。

更具体地，图像处理装置首先确定二维平面上的感兴趣点是否落入展开图的边界内，在所述二维平面上要形成所述展开图。表4提供了构成展开图的每个面的顶点的二维坐标。图像处理装置因此能够确定平面上的感兴趣点是否位于所述展开图的任何给定面的边界内。对于在展开图的边界内的任何点，图像处理装置需要获取在通过折叠展开图构建的多面体上的该点的三维坐标。

为了这样做，图像处理装置可以标识其中该点位于二维平面上的面，随后在所标识的面内插入该点。例如，该点的位置可以在平面上表达为从所标识的面中给定起点顶点向该面的两个相邻顶点延伸的两个向量的加权和。相对于二维平面上的这三个顶点(即，一个开始点顶点和两个终点顶点)，图像处理装置可以通过使用表4、表5以及表2来标识三维空间中的三个对应的顶点以及它的三维坐标。图像处理装置因此能够找到对应于二维平面上的两个标注的向量的三维空间中的两个向量。在三维空间中，图像处理装置然后可以将感兴趣点的三维坐标标识为从起点顶点延伸的两个对应矢量的加权和的终点。

当对于所选择的放置位置的最高点的三维坐标不同于(0，0，Z1)(Z1：任何适当值)时，图像处理装置可能需要通过三维旋转变形来校正感兴趣点的三维坐标。该旋转变形被定义为围绕垂直于从原点到最高点和从原点到(0，0，Z1)的两个矢量的轴的旋转，以使最高点为(0，0，Z1)。此处，原点位于多面体的中心。

图像处理装置可以通过计算从原点到最高点的向量与从原点到(0，0，Z1)的向量之间的外积来获得这样的旋转轴。可以通过计算这两个向量之间的内积来获得使最高点为(0，0，Z1)的旋转角度。以这种方式，图像处理装置能够标识使最高点为(0，0，Z1)的旋转变形。图像处理装置对感兴趣点的三维坐标应用相同的旋转变形，以执行天顶校正。

最后，图像处理装置执行图13所示的计算，以标识拍摄图像中的感兴趣点的二维坐标。以这种方式，图像处理装置以适当的天顶校正，将拍摄图像中的点的坐标转换为展开图中的对应点的坐标。

应当注意，可以相对于每个多面体的每个不同放置位置提供如表2中提供的三维坐标。例如，表2可以列出以面放置放置的四面体的顶点的三维坐标、以点放置放置的四面体的顶点的三维坐标，以及以边缘放置放置的四面体的顶点的三维坐标。在这种情况下，不需要执行如上所述的旋转变形来做天顶校正。图像处理装置使用对应于所选择的放置位置的三维坐标以找到之前所标注的感兴趣点的适当的三维坐标就足够了。

<变化1>

展开图的形状可由用户如下选择。

图15A至图15C是根据实施例示出用于选择展开图的显示屏幕的示例图。PC 2可以显示如图15A所示的选择屏幕PN4。具体地，选择屏幕PN4是允许用户选择六面体的展开图的选择屏幕的示例。

如图15A所示，选择屏幕PN4允许在第一选择SEL1和第二选择SEL2之中选择展开图图画。例如，通过用户操作在选择屏幕PN4上选择第一选择SEL1，使得用作打印预览屏幕的显示屏幕PN3被显示，如图15B所示。通过用户操作在选择屏幕PN4上选择第二选择SEL2，使得用作打印预览屏幕的显示屏幕PN3被显示，如图15C所示。以这种方式，即使当要打印的多面体为相同类型时，也允许用户选择展开图的类型。

<变化2>

PC 2可以被配置以使根据用户设定在给定面上打印不同于拍摄图像的预定图像。以下示例将针对其中打印QR码(注册商标)的情况，所述QR码用作预定图像的示例。

图16A至图16C是根据实施例示出用于设定图像的显示屏幕的示例图。例如，PC 2显示如图16A所示的图像设定屏幕PN5。在该示例中，通过用户操作选择“附加”使得具有输入的文件名的图像被打印在展开图的给定面上。通过用户操作选择“否”使得展开图的每个面具有在其上打印的拍摄图像的对应部分。

给定面可优选地为底面BF。也就是说，诸如QR码(注册商标)的图像优选地打印在底面BF上，如图16B所示。当多面体放置在地板上时，底面BF上的图像被隐藏。因此，诸如QR码(注册商标)的图像优选地形成在底面BF上，并当放置在地板上时优选地被隐藏。用户可以可替换地选择上述给定面。

如图16C所示，在图16A所示的图像设定屏幕PN5上选择“否”，使得底面BF具有在其上类似于其它面打印的拍摄图像的部分。预定图像不限于QR码(注册商标)，例如，并且可以是另一图像或码。

<变化3>

展开图图画可以被提供带有用于在折叠和构造时粘合的标签，即提供有粘合标签。

图17A和17B是根据实施例示出输出图像的示例图。图17A和17B中示出的展开图针对其中使用如图4C中所示的拍摄图像的示例。折叠此例中的展开图以构建多面体。

图17A所示的输出图像展示了其中面的一些侧具有附接至其上的粘合标签BL的示例。用户从纸张等中裁剪展开图，并将所述面彼此粘合以构成多面体。出于粘合面的目的，提供在该示例中所示的粘合标签BL，允许有足够的区域被提供用于出于粘合目的将粘合剂或胶水施加其上。

图17B所示的输出图像展示了其中提供第一面BS1的示例，所述第一面用作粘合面的示例。在该示例中，第一面BS2具有与第二面BS2上的图像相同的打印在其上的图像。在构造多面体时，所述第一面BS1与所述第二面BS2重叠。也就是说，在构造时第一面BS1与第二面BS2重叠以完成多面体。提供诸如第一面BS1的面使得构造更容易。第一面BS1的形状不限于所示的形状，例如，并且可以具有所述面的一半面积尺寸的形状。

提供如上所述的出于结合目的的标签或面，允许图像处理装置产生表示容易构造的展开图的输出图像。此外，标签或面可以形成在展开图上，以用作多面体的处理部分。

<变化4>

例如，如下所述，图像形成装置可以缩小拍摄图像的尺寸，或使拍摄图像平行移动。

图18是根据实施例示出拍摄图像的尺寸缩小的示例图。在下文中，将给出其中将图4C所示的图像传输至PC 2的示例的描述。在该示例中，输入图像IMG1与图4C所示的图像相同。如图18所示，图像处理装置将输入图像IMG1的尺寸缩小为缩小图像IMG2。

如图18所示，缩小图像IMG2通过在垂直方向(即，沿着y轴)上缩小输入图像IMG1而做出。使用通过在垂直方向上缩小拍摄图像的尺寸而做出的缩小图像IMG2，结果是在拍摄图像中创建空白区域BLS。在四面体处于如图11A所示的“面放置”位置的情况下，例如，空白区域BLS被放置在底面BF处。因此，如上所述的缩小允许在拍摄图像中出现的所有对象等被显示在除底面BF之外的面上。图像处理装置因此能够产生输出图像，以使在拍摄图像中出现的所有对象等被打印在所构造的多面体上的可视区域上。

图像处理装置可以如下所述进行拍摄图像的平行移动。

图19是根据实施例示出拍摄图像的平行移动的示例图。在下文中，将给出与图18所示的情况类似地其中将图4C所示的图像传输至PC 2的示例的描述。图像处理装置进行输入图像IMG1的平行移位以产生如图19所示的平行偏移图像IMG3。接近天顶的输入图像IMG1的上部(即，图19中的输入图像IMG1的上部)可以不具有感兴趣对象，并且可以仅示出天空的景象等。在这种情况下，可以从形成在多面体上的图像中省略上部。

鉴于此，图像处理装置使输入图像IMG1向天顶平行移动以产生如图19所示的平行移动图像IMG3。如上所述进行平行移动使得输入图像IMG1的上部从平行移动图像IMG3中被移除，并且还使得在平行移位图像IMG3下方创建空白区域BLS，类似于图18所示的情况。

以这种方式，图像处理装置能够产生输出图像，以使出现在拍摄图像中的感兴趣对象等被打印在构造的多面体的可视区域中。

在其他情况下，预定对象可以出现在输入图像的下部。在全向相机用于图像拍摄的情况下，可以拍摄用户的手指等作为预定对象。可以注意到，例如，图像处理装置能够通过检查肉色是否占据大于预定区域大小来检测诸如手指的预定对象。在预定对象出现在如上所述的输入图像的下部的情况下，图像处理装置可以缩小图像的尺寸，或者使图像平行移动，使得预定对象被打印在底面上。

<变化5>

可以在拍摄的图像中选择天顶的坐标。在下文中，将给出其中将图4C所示的图像传输到PC 2的示例的描述。例如，图像处理装置可以执行如下所述的处理。

图20是根据实施例示出由图像处理装置执行的改变天顶的坐标的处理的示例的流程图。

在步骤S301中，PC 2选择新的天顶的坐标。在下文中，将参照附图给出选择坐标的方法的描述。

图21是根据实施例示出在拍摄图像中选择天顶的坐标的示例图。如图21所示，例如，天顶的坐标可以初始地指示输入图像IMG1中的第一坐标点P1。也就是说，第一坐标点P1为初始值。在通过用户操作等进行选择时，可以改变天顶的坐标。具体地，例如，用户可以选择第二坐标点P2。结果，该第二坐标点P2被视为新的天顶。更具体地，PC 2执行以下处理。

再次参照图20，在步骤S302中，PC 2计算所选择的坐标点的三维坐标。例如，PC 2通过使用以下公式(6)来计算所选择的坐标点的三维坐标。

在上述公式(6)中，“宽度”与在公式(3)、(4)，以及(5)中的情况类似，表示拍摄图像在其宽度方向上(即在x轴方向上)的尺寸。此外，“高度”表示拍摄图像在其高度方向上(即，在y轴方向上)的尺寸。此外，(x，y)表示拍摄图像中所选择的点的二维坐标。通过使用公式(6)计算的三维坐标(X，Y，Z)，然后用作由(x，y)指定的新的天顶的坐标。

在上述处理之后，PC 2能够将用户在拍摄图像中选择的点的坐标视为拍摄图像的天顶。

<功能配置的示例>

图22是根据实施例示出图像处理装置的功能配置的示例的功能框图。例如，PC 2包括设定单元2F1、转换单元2F2，以及输出图像生成单元2F3。此外，如图22所示，PC 2可以优选地具有进一步包括选择单元2F4的功能配置。

设定单元2F1用来设定多面体的类型。设定单元2F1可以通过使用例如输入装置2H3(见图6)等来实施。

转换单元2F2将拍摄图像中的坐标转换为在介质上打印并折叠以构建多面体的展开图中的坐标，以使拍摄图像中的天顶被打印在通过折叠打印在介质上的展开图而构建的多面体的最高点的位置。转换单元2F2可以通过使用例如CPU 2H5(参见图6)等来实施。

输出图像生成单元2F3基于由转换单元2F2转换的坐标生成输出图像IMGOUT。例如，所述输出图像生成单元2F3可以通过使用CPU 2H5(参见图6)等来实施。

选择单元2F4用作选择(指定)新天顶的坐标。选择单元2F4可以通过使用例如输入装置2H3(参见图6)等来实施。

展开图是折叠成多面体的图。存在多面体的许多类型的，并且以各种放置位置多面体来放置多面体。PC 2使用设定单元2F1来显示允许用户选择例如多面体的类型以及多面体的放置位置的设定屏幕，如图9和图10所示的。利用这样的设定屏幕，用户能够选择多面体的类型和多面体的放置位置作为在PC2中做的设定。

如图12A至图12C所示，例如，多面体的最高点的位置取决于多面体的类型和放置位置而变化。鉴于此，例如，PC 2预先存储相对于每个多面体类型和每个放置位置的最高点的坐标，如表3所示。利用这种配置，PC 2能够利用相对于每个多面体类型和每个放置位置的最高点的三维坐标的信息。

此外，PC 2能够使用转换单元2F2的处理，例如图13所示的处理，将最高点的三维坐标转换为拍摄图像中的二维坐标。也就是说，PC 2能够通过使用图13所示的处理在多面体上放置所述拍摄图像的期望像素。结果，PC 2能够生成输出图像IMGOUT，以使拍摄图像的天顶被放置在多面体的最高点。

输出图像IMGOUT用来在介质上产生展开图的图像。例如，PC 2能够通过根据表5找到展开图中的二维坐标与三维坐标之间的匹配，来产生输出图像IMGOUT。以这种方式，PC 2产生输出图像以使通过折叠其上打印有拍摄图像的纸张等而构造的多面体的最高点对应于拍摄图像的天顶。

包括选择单元2F4的功能配置允许选择新天顶的坐标，例如，如图20和图21所示。

<其他实施例>

本发明的实施例可以通过使用以编程语言等编写的程序来实现。也就是说，本实施例的实施例可以被实施为用于使诸如图像处理装置的计算机执行图像处理方法的程序。这样的程序可以被存储以及分布在诸如闪存、SD(注册商标)卡、光盘等的计算机可读记录介质中。程序还可以通过诸如因特网的电通信线路而被分布。

在本发明的实施例中，例如，所述处理的部分或全部可以可替换地通过使用诸如现场可编程门阵列(FPGA)的可编程设备(PD)来实现。此外，在本发明的实施例中，所述处理的部分或全部可以可替换地通过使用ASIC(专用集成电路)来实施。

尽管以上已经描述了本发明的优选实施例，但是本发明不限于这些特定实施例。在不脱离本发明的范围的情况下可以进行各种修改和改变。

引用列表

[专利文献]

[专利文献1]日本未审查专利申请公开No.2002-328959

Claims (11)

1.一种用于耦合到生成实质上覆盖360度视野的拍摄图像的成像装置、并用于将输出图像传输到图像形成装置的图像处理装置，所述图像处理装置包括：

设定单元，被配置来选择通过折叠根据所述输出图像打印在介质上的展开图而构成的多面体的类型；

转换器，被配置来将所述拍摄图像中的坐标转换为要在所述介质上打印并要被折叠以构造所述多面体的所述展开图中的坐标，以使所述拍摄图像中的天顶被打印在所述多面体的最高点处，通过折叠打印在所述介质上的所述展开图来构造所述多面体；以及

图像生成器，其被配置来基于所转换的坐标生成所述输出图像。

2.根据权利要求1所述的图像处理装置，其中指定所述多面体的放置位置，并且所述转换器被配置来根据所述放置位置将所述拍摄图像的所述坐标转换为所述展开图的所述坐标。

3.根据权利要求2所述的图像处理装置，其中能够从多个放置位置中选择所述放置位置，所述多个放置位置包括其中所述多面体的多个面中的一个与地面接触的放置位置、其中所述多面体的多个顶点中的一个与所述地面接触的放置位置，以及其中所述多面体的多个边缘中的一个与地面接触的放置位置。

4.根据权利要求1至3中任一项所述的图像处理装置，其中所述转换器使用提供所述多面体的顶点的三维坐标与展开图中的所述顶点的二维坐标之间对应关系的数据。

5.根据权利要求1至4中任一项所述的图像处理装置，其中不同于所述拍摄图像的预定图像被打印在所述多面体的多个面的一个上。

6.根据权利要求1至5中任一项所述的图像处理装置，其中所述展开图包括用于在粘合所述多面体的面中使用的标签或面。

7.根据权利要求1至6中任一项所述的图像处理装置，其中缩小所述拍摄图像的尺寸以生成所述输出图像，以使所述拍摄图像的整体被打印在所述多面体的除了底面之外的面上。

8.根据权利要求1至6中任一项所述的图像处理装置，其中缩小所述拍摄图像的尺寸以生成所述输出图像，以使出现在所述拍摄图像中的预定对象被打印在所述多面体的底面上。

9.根据权利要求1至6中任一项所述的图像处理装置，其中所述拍摄图像经历平行移动以产生所述输出图像，以使所述拍摄图像的整体被打印在所述多面体的除了底面之外的面上。

10.根据权利要求1至9中任一项所述的图像处理装置，还包括选择单元，其被配置来选择成为所述天顶的点的坐标。

11.一种用于在图像处理装置中处理图像的方法，所述图像处理装置用于耦合到生成实质上覆盖360度视野的拍摄图像的成像装置、并用于将输出图像传输到图像形成装置，所述方法包括：

选择通过折叠根据所述输出图像在介质上打印的展开图而构造的多面体的类型；

将所述拍摄的图像中的坐标转换为要在所述介质上打印并要被折叠以构建所述多面体的所述展开图中的坐标，以使所述拍摄图像中的天顶被打印在所述多面体的最高点处，通过折叠打印在所述介质上的所述展开图来构造所述多面体；以及

基于所转换的坐标生成所述输出图像。