CN103493105A

CN103493105A - 全方位图像编辑程序及全方位图像编辑装置

Info

Publication number: CN103493105A
Application number: CN201280019118.8A
Authority: CN
Inventors: 林光雄
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-04-25
Filing date: 2012-04-17
Publication date: 2014-01-01
Anticipated expiration: 2032-04-17
Also published as: JP5896424B2; CN103493105B; US20140085412A1; JPWO2012147303A1; WO2012147303A1; US9692965B2

Abstract

本发明的目的在于：提供一种能够在三维空间中直观地制作覆盖全方位的绘画的图像编辑程序及图像编辑装置。在虚拟空间内通过坐标转换将全方位图像投影到二维屏幕图像上，并将其显示在显示装置20上。在全方位图像的编辑中，首先，利用定位装置30进行虚拟空间内的视线方向以及视角的变更等，在中央控制部11的控制下，更新屏幕图像内的全方位图像的显示，并以该屏幕图像为线索对与屏幕图像为相同坐标系的绘制图像利用定位装置30二维地进行绘制。在绘制结束后，对绘制图像进行坐标转换，并将其投影到全方位图像的适当位置上。这样通过重复视线变更与绘制的步骤，从而完成全方位图像。

Description

全方位图像编辑程序及全方位图像编辑装置

技术领域

本发明涉及一种对比作为覆盖操作者的所有方位的背景的图像（以下，称为全方位图像）进行编辑的全方位图像编辑程序及全方位图像编辑装置。

背景技术

以往，在全方位图像的领域中，确立了写实图像的制作方法（全方位摄像机、扫描全景（swing panorama）等）以及计算机图形的制作方法（球状图、天空盒等）。另外，全方位摄像机是指一台就能够观察360度广泛范围的摄像机，扫描全景是指自动合成全景照片的功能。所谓球状图是指表现出对象周围的空间或照明效果的特殊纹理，用1张二维图像表现出整个周围。所谓天空盒是指与球状图像相同目的的特殊纹理，用6张正方形图像表现出整个周围。

其中，在专利文献1中公开了一种对用于三维计算机模型的纹理数据进行编辑的方法。即，在本方法中，从用户选择的观察方向生成三维计算机模型与表示应用于该模型的纹理数据的图像，并将其显示给用户。并且，按照用户的指示变更图像数据，并对纹理数据进行对应的变更。另外，实施用于特定三维计算机模型内的、相对于显示给用户的图像的观察方向而位于斜角上的各多边形的处理。特定的多边形，为了使对于该多边形的纹理数据不被变更而从后续处理中除去。

现有技术文献

专利文献

专利文献1：日本特开2004-38926号公报

发明内容

然而，在专利文献1的技术中，对多边形进行处理，再利用从屏幕坐标系向纹理坐标系的转换来编辑纹理图像，将一般的网格作为目标，不限制视点的移动。并且，不采用半透明（阿尔法混合），还使用外部程序对按照用户的观察方向所生成的显示用图像数据本身进行编辑，并对其反馈。另外，限制变更对于斜角的多边形的纹理数据，会阻碍在全方位图像的编辑中大幅度扩大视角进行绘制。

这样，以往，没有确立利用绘画的全方位图像制作方法，制作需要过多的时间。

本发明鉴于上述技术课题，其目的在于，提供一种能够直观地编辑全方位图像的全方位图像编辑程序及全方位图像编辑装置。

另外，本发明的目的在于，提供一种使用完成的全方位图像，能够进行作为作品的全景图像的制作、或环视映像的制作等，还能够通过再现操作步骤，进行造影影像的制作的全方位图像编辑程序及全方位图像编辑装置。

为了解决上述技术课题，本发明的第一方面提供一种全方位图像编辑装置，其特征在于，包括：操作输入部，进行操作输入；显示部，显示各种图像；以及中央控制部，按照全方位图像编辑程序进行控制，其中所述中央控制部从所述操作输入部中至少接受坐标及按钮的输入信息，并在是视线变更模式时基于所述输入信息更新视线角度、视角，进行屏幕更新处理，向所述显示部输出图像，在是绘制模式时，至少选择绘制参数，并基于该绘制参数在绘制用图像上进行描绘，在是绘制结束时执行全方位图像更新处理，清除绘制用图像，进行屏幕更新处理，向所述显示部输出图像，在上述任何一种情况下视点都不移动。

另外，本发明的第二方面提供一种全方位图像编辑程序，其特征在于，计算机起中央控制部的作用，该中央控制部从操作输入部中至少接受坐标及按钮的输入信息，在是视线变更模式时，基于所述输入信息更新视线角度、视角，进行屏幕更新处理，并向显示部输出图像，在是绘制模式时，至少选择绘制参数，并基于该绘制参数在绘制用图像上进行描绘，在是绘制结束时，执行全方位图像更新处理，清除绘制用图像，进行屏幕更新处理，向显示部输出图像，在上述任何一种情况下视点都不移动。

发明效果

根据本发明提供的全方位图像编辑程序及装置，能够直观地编辑全方位图像。

附图说明

图1是本发明的一个实施方式提供的全方位图像编辑装置的结构图；

图2是表示利用多边形模型进行全方位图像的编辑时使用的主存储器12的存储器映射图的一个示例的图；

图3是表示正二十面体多边形模型的示例的图；

图4是表示多边形模型具有的上层纹理的图；

图5是表示多边形模型具有的下层纹理的图；

图6是对利用本发明的一个实施方式提供的全方位图像编辑装置按照全方位图像编辑程序执行的处理的流程进行说明的流程图；

图7是详细描述图6中的步骤S10中执行的屏幕更新处理的流程图；

图8是对图7中的步骤S23中执行的、从纹理图像（纹理坐标系）向屏幕图像（屏幕坐标系）的描绘处理的流程进行说明的流程图；

图9是表示从多边形模型的中心使用任意视线，使上层纹理重叠于下层纹理并将其投影到屏幕图像上的示例的图。

图10是举例说明图6中的步骤S8中执行的全方位图像更新处理使用多边形模型的情况的流程图；

图11是对图10中的步骤S43中执行的、从绘制用图像（屏幕坐标系）向纹理图像（纹理坐标系）的描绘处理的流程进行说明的流程图；

图12是表示绘制的示例的图；

图13是表示绘制结果的图；

图14是表示将上层纹理图像与下层纹理图像结合的状况的图；

图15是示出操作者可观测的屏幕图像的推移，并对操作步骤进行说明的图；

图16表示所生成的纹理图像（将上层纹理与下层纹理结合完）的状况的图；

图17表示作品示例的图；

图18表示利用本发明的实施方式提供的全方位图像编辑装置作为作品数据输出到文件中的处理的流程的流程图；

图19对利用本发明的实施方式提供的全方位图像编辑装置将环视映像作为动画制作的步骤进行说明的流程图；

图20是用于说明坐标概念的图；

图21是对从全方位图像（任意坐标系）及视线信息向屏幕图像（屏幕坐标系）的描绘处理的流程进行说明的流程图；

图22是对从绘制用图像（屏幕图像）及视线信息向全方位图像（任意坐标系）的描绘处理的流程进行说明的流程图；

图23是使用了长方体模型或立方体模型的全方位图像更新处理的概念图；

图24是表示使用了长方体模型或立方体模型的全方位图像更新处理的流程的流程图。

具体实施方式

下面，针对本发明的全方位图像编辑程序及全方位图像编辑装置的优选实施方式，参照附图进行说明。另外，本发明的全方位图像编辑程序及全方位图像编辑装置并不限定于下面的描述，在不脱离本发明的要旨的范围内，可适当变更。

在本发明的全方位图像编辑程序及装置中，在虚拟空间中，通过坐标转换将比作为覆盖操作者的所有方位的背景的图像即全方位图像投影到二维屏幕图像上，并将其显示在显示装置上。以全方位图像的编辑为目的的操作者首先利用定位装置进行虚拟空间内的视线方向及视角的变更等，更新屏幕图像内的全方位图像的显示，并将该屏幕图像作为线索，对与屏幕图像为相同坐标系的绘制图像利用定位装置二维地进行绘制（描画）。在绘制结束后，对绘制图像进行坐标转换，并将其投影到全方位图像的适当位置上。操作者通过这样重复视线变更与绘制的步骤，从而完成全方位图像。下面，进行详细描述。

图1示出并说明了本发明的一个实施方式提供的全方位图像编辑装置的结构。

如该图1所示，全方位图像编辑装置1由个人计算机10与显示装置20、定位装置30等组成。

个人计算机10包括：由多任务对应处理器等组成的中央控制部11、由作为临时存储装置的RAM等组成的主存储器12、显卡等图像控制部13、输入输出控制部14、内置式非易失性存储介质15、媒介读写接口16。

图像控制部13还包括显存13a。显存13a与个人计算机10主体的主存储器12相同，为临时保存数据的场所，针对显卡的存储器也称为VRAM。在画面上显示三维图形图像时，此时需要的数据量增大。使用图像控制部13结束处理的数据被保存至显存13a中以便随时使用。显存13a的容量越大，即便是小的三维图形图像，也就越能够顺利地完美无缺地显示。

显示装置20是指液晶显示器等代表的、能够显示图像的装置。定位装置30是指鼠标或触摸面板、手写板代表的、能够进行坐标输入及/或按钮输入的装置。

程序数据50或方位像素对应数据42、全方位图像输入数据40通过媒介读写接口16输入，全方位图像输出数据41通过媒介读写接口16输出。

程序数据50是本发明可动作的软件。后述的全方位图像编辑程序的数据等相当于此。

方位图像对应数据42是指将方位与像素的位置相互地对应的表格或函数。在使用多边形模型的情况下，多边形模型数据相当于此，成为三维形状的对象。方位图像对应数据42也可以附随于程序数据50，也可以读入外部定义的数据。

全方位图像输入数据40、全方位图像输出数据41是指软件处理的图像组。例如在使用多边形模型时，纹理图像组相当于此。输入的纹理图像组等临时存储至主存储器12中。

全方位图像输入数据40及程序数据50也可以从未图示的外部存储介质中读入，也可以通过通信网络从外部计算机中接收，并取入到内置式非易失性存储介质15中。输出数据也可以读入至未图示的外部存储介质中，也可以通过通信网络发送至外部计算机中。

其中，图2示出并说明了利用多边形模型进行全方位图像的编辑时使用的主存储器12的存储器映射图的一个示例。

各图像具有带有不透明度的颜色信息（a：阿尔法、r：红色、g：绿色、b：蓝色）作为二维排列。“阿尔法”表示不透明度信息。在个人计算机中用24比特（每个颜色为8比特，红色·绿色·蓝色三色8×3=24比特）这一单位来记录1个像素的颜色信息。在8比特中，能够记录256个等级。在带有阿尔法的PNG（32比特PNG）中，除了颜色信息之外，各像素的不透明度也可以用8比特的256个等级来记录。阿尔法值为零是指完全透明，阿尔法值为255是指完全不透明。

多边形顶点具有三维空间坐标（x：水平、y：垂直、z：深度）与二维纹理坐标（u：水平、v：垂直）。多边形面由于表示三角形，因此具有3张对多边形顶点的参照，具有层数张对纹理图像的参照。多边形模型由于表示三维形状，因此作为排列分别具有多边形顶点与多边形面。在一层具有的纹理组的结构对于哪一层都相同的情况下，对纹理图像的参照也可以将层内的相对性参照设为一个。

屏幕图像是指通过坐标转换将全方位图像投影到二维坐标平面上，并由显示装置20呈示给操作者的图像。

绘制是主要使用定位装置对二维（平面）图像进行图形或线等的描画的作业。绘制用图像（绘制图像）是作为操作者实际进行绘制的对象的二维（平面）图像。绘制用图像位于与屏幕图像不同的存储区域内，与屏幕图像的坐标系相同，开始绘制前设为完全透明状态。实施了绘制的部位更新不透明度信息及颜色信息。这即等同于操作者在重叠于屏幕图像上的透明层上进行绘制。绘制参数是指决定绘制方法及属性的参数。方法如：徒手画、直线、矩形、圆、图像粘贴等。属性在线的情况下被认为是宽度与颜色，在图形的情况下，被认为是涂抹的情况等。参数的种类越多表达方法就能越丰富多彩。另外，本申请中提及的“绘制（drawing）”在概念上也包含一般的“绘画（painting）”。

利用多边形模型仅仅是一个示例，并不技术性地限制全方位图像的显示和编辑方法。如果在所有方位上像素被对应在一起，则也不必使用多边形模型和纹理的概念。例如，也能够对从使用球面镜的全方位摄像机等中得到的全方位图像进行编辑。

其中，作为覆盖所有方位的背景的示例，考虑准备图3所示的正二十面体多边形模型，并其中心为视点的情况。视点以不移动为前提。

多边形模型中具有2个纹理图像，并将其处理为上层（从作业者的角度看跟前）与下层（从作业者的角度看里侧）的层。在本实施方式中，作为各层的描绘或显示使用的视线角度，能够使用所有层通用的视线角度。由此，各层的视线角度一致使得能够作为重要用途（例如，使用以“线”为目的的层与以“涂抹”为目的的层的用途）来使用。

可是，处理正二十面体多边形模型仅仅是一个示例。如果设定了与各多边形面对应的纹理图像，则哪种多边形模型都可以。例如，也能够对立方体等进行处理来代替正二十面体。

图4示出并说明了与正二十面体多边形模型的所有多边形面对应的上层纹理的示例。各多边形顶点的纹理坐标被视为类似于正二十面体的展开图的图像的顶点而设定。图中的实线部分只是以多边形面单位表示各顶点的纹理坐标的位置关系，实际的纹理中不必包含这种实线。上层纹理以重叠于下层纹理的方式显示，因此上层纹理能够使用不透明度与下层纹理进行合成。希望操作开始前的上层纹理图像完全透明。图4的黑白相间格纹图案表示为透明，实际的纹理中不必包含这种图案。

图5示出并说明了与正二十面体多边形模型的所有多边形面对应的下层纹理的示例。各多边形顶点的纹理坐标设定为与上层纹理相同。作为操作者容易把握视线角度的方法的示例，对整个纹理适用不透明的随机噪音图案。希望最下层的纹理完全不透明。这是为了防止完成作品中残留有透明或半透明像素。可是，在通过重叠上层纹理而使其不透明的情况下、或以将完成作品再重叠于另一映像为前提的情况等下，不限于此。

下面，参照图6的流程图，对利用本实施方式提供的全方位图像编辑装置1按照全方位图像编辑程序执行的处理的流程进行说明。这里，将定位装置30假设为双键鼠标，并示出了全方位图像编辑程序的动作的一个示例，省略了与本发明没有直接关系的动作的描述。该处理由中央控制部11按照全方位图像编辑程序来执行。

当开始本处理时，从定位装置30输入坐标及按钮（步骤S1）。接着，判断是否是视线变更模式（步骤S2），在是视线变更模式时（将步骤S2分支为是），基于输入信息更新视线角度、视角（步骤S3）。

即，在视线变更模式下，当一边按下左键一边左右拖动时，视线以y轴为中心进行旋转（偏转）。当一边按下左键一边上下拖动时，视线以x轴为中心进行旋转（俯仰）。当左双击时，视线的俯仰旋转返回至初始（例如，水平）状态。当一边按下右键一边左右拖动时，视线以z轴为中心进行旋转（滚动）。当一边按下右键一边上下拖动时，视角增减。当右双击时，视线的滚动旋转返回至初始（例如，水平）状态。这样在视线变更后的定时进行后面详细地描述的屏幕更新处理（步骤S10）。通过大幅度扩大视角进行绘制，不仅广范围的描画，而且容易表现远近感。即，在视角无限地接近180度时（例如，140度～179.75度）、远离绘制图像的中心的区域（即绘制图像的边缘附近）内的绘制作为示例能够期待在平地上从远方到水平线的地面的表现（在特定方向上很大地压塌那样的远近感）。

然后，通过在屏幕图像上基于合成方法重叠绘制用图像，并输出图像，从而能够在进行全方位图像更新处理之前确认大致的绘制结果（步骤S11、S12）。即，能够以重叠的绘制用图像为线索，调整视线角度和视角。

屏幕图像通过事先复制最后更新的屏幕图像能够还原。由此，在视线信息和视角等没有发生变更时，在对屏幕图像进行重叠后，能够在短时间内返回到没有进行重叠的状态，无需再次进行从纹理图像向屏幕图像的描绘处理。这使得在绘制模式下高速更新屏幕，适合绘制用图像的实时重叠。

在不是视线变更模式时（将步骤S2分支为否），判断是否是绘制模式（步骤S204），在是绘制模式时（将步骤S4分支为是），选择绘制参数及合成方法（步骤S5），基于输入信息在绘制用图像上进行描绘（步骤S6）。即，在绘制模式下，通过在屏幕图像的区域内一边按下左键一边拖动，从而基于绘制参数（颜色信息、线宽等）更新相当于拖动后的坐标的绘制用图像的像素。绘制除了准备如实地反映输入坐标的徒手画方法之外，也可以准备直线、矩形、格子、椭圆等多种方法。当在屏幕图像的区域内按下右键时，将绘制参数的颜色信息变更为与相当于拖动的坐标的绘制用图像的像素相同的颜色信息。

然后，通过在屏幕图像上基于合成方法重叠绘制用图像，并输出图像，从而能够在进行全方位图像更新处理前确认大致的绘制结果（步骤S11、S12）。绘制用图像的重叠在绘制时实时进行，从而能够期待提高绘制工作效率。作为切换绘制模式与视线变更模式的方法，列举出：在操作画面上准备切换用按钮等的方法。

在不是绘制模式时（将步骤S4分支为否），判断绘制是否结束（步骤S7）。作为视为绘制结束的条件，也可以设为在拖动中离开鼠标的左键的定时，并不限定于此，例如也可以准备执行绘制结束处理的按钮等。这里，如果能够选择绘制结束的定时，则也能够在绘制用图像上绘制后，在绘制结束前再次返回至视线变更模式。即，如上述那样能够一边使绘制用图像重叠，一边调整视线角度、视角。

在视为绘制结束时（将步骤S7分支为是），执行后面详细地描述的全方位图像更新处理（步骤S8），清除绘制用图像（步骤S9）。在绘制结束后，为了能够立刻进行下一绘制，希望自动恢复到绘制模式。当全方位图像更新处理花费时间时，如果不立刻受理下一绘制操作，则有可能阻碍顺利的绘制操作。为了防止这一情况，也可以使用与绘制图像相同尺寸的缓冲用图像，分配处理器的任务，并行地进行绘制处理与全方位图像更新处理。

接着，执行后面详细地描述的屏幕更新处理（步骤S10）。然后，在屏幕图像上基于合成方法重叠绘制用图像，并输出图像（步骤S11、S12）。可是，绘制结束下的绘制用图像的重叠，在除了并行进行绘制处理与全方位图像更新处理的情况等之外的很多情况下，在该条件下绘制用图像事前被清除，是完全透明的状态，因此重叠该状态的图像事实上没有任何意义。

在使用利用硬件等进行高速图像处理的方法，能够在短时间内（例如，10毫秒以内）完成全方位图像更新处理的情况下，并且在不需要在绘制结束前再次返回到视线变更模式的情况下，在绘制模式下对绘制用图像进行任何更新后，立刻转移至绘制结束的处理，并再次返回到绘制模式，从而能够实时地更新且显示全方位图像。由此，即使不重叠绘制用图像，也能够期待提高绘制工作效率。

以上操作方法及动作是一个示例，并不限定于此，当然也可以适用、追加其他操作方法。

其次，参照图7的流程图，针对图6中的步骤S10中执行的屏幕更新处理进行详细描述。这里，假定使用多边形模型的情况。

在本屏幕更新处理中，首先计算出与视线角度对应的多边形顶点的坐标（视图坐标系）（步骤S21），并计算出与视角对应的多边形顶点的坐标（射影坐标系、屏幕坐标系）（步骤S22），详细情况后面进行描述，进行从纹理图像（纹理坐标系）向屏幕图像（屏幕坐标系）的描绘处理（步骤S23），并返回。

从纹理图像向屏幕图像的描绘处理能够使用与现有的纹理映射同等的方法。另外，即使在不使用多边形模型的情况下，只要从视线角度、视角中求得与屏幕的各像素对应的方位，并基于方位像素对应数据进行坐标转换，从全方位图像向屏幕图像绘制即可。

下面，参照图8的流程图，对图7中的步骤S23中执行的、从纹理图像（纹理坐标系）向屏幕图像（屏幕坐标系）的描绘处理的流程进行说明。这里，示出了操作者实际能够观测的屏幕图像的更新方法。

当开始该从纹理图像（纹理坐标系）向屏幕图像（屏幕坐标系）的描绘处理时，判断是否完成了所有层的提取（步骤S31），当判断没有完成所有层的提取时（将步骤S31分支为否），提取下一层（步骤S32），判断是否完成了与层对应的所有多边形面的提取（步骤S33）。这里，当判断没有完成与层对应的所有多边形面的提取时（将步骤S33分支为否），提取下一个多边形面（步骤S34），判断是否完成了屏幕图像中与多边形面对应的所有像素的扫描（步骤S35）。

在该步骤S35中，如果没有完成所有像素的扫描（将步骤S35分支为否），则扫描屏幕图像的下一个像素（步骤S36），从与将更新的屏幕图像的像素对应的纹理图像的像素及该像素附近的像素中提取不透明度与颜色信息并进行计算（步骤S37），使用不透明度与颜色信息，更新屏幕图像的像素（步骤S38），返回至所述步骤S35。

另一方面，在步骤S35中，如果完成了所有像素的扫描（将步骤S35分支为是），则返回至所述步骤S33，重复上述处理。这样，当完成了与层对应的所有多边形面的提取（将步骤S33分支为是），完成了所有层的提取时（将步骤S31分支为是），返回。

另外，用于图像描绘的运算也可以使用专用的硬件来代替中央控制部。也可以在描绘屏幕图像时进行双线性等的过滤，试图提高画质。另外，也可以事先制作所有层的复制结合后的一个图像来代替在每个描绘处理描绘所有层，并将该图像视为纹理向屏幕图像描绘。在该情况下，结合图像的制作将在绘制后进行的纹理图像更新结束时进行。

其中，图9示出了从多边形模型的中心使用任意视线，将上层纹理重叠于下层纹理，并将其投影到屏幕图像上的示例。可是，由于上层纹理完全透明，结果只有下层纹理是可看见的状态。在该图中，为了用多边形面单位容易理解顶点的屏幕坐标的位置关系而用实线表示多边形面的边界，但实际上不需要描绘这种实线。

其次，参照图10的流程图，举例说明图6中的步骤S8中执行的全方位图像更新处理使用多边形模型的情况。

当开始该全方位图像更新处理时，首先计算出与视线角度对应的多边形顶点的坐标（视图坐标系）（步骤S41），然后计算出与视角对应的多边形顶点的坐标（射影坐标系、屏幕坐标系）（步骤S42），详细情况后面进行描述，但进行从绘制用图像（屏幕坐标系）到纹理图像（纹理坐标系）的描绘处理（步骤S43）。然后，补充与多边形面的边缘对应的纹理图像（步骤S44），结束本处理，返回。这样，坐标转换下的输入输出关系与屏幕更新处理中使用的投影相反。

利用不同描绘方法，会存在不能描绘多边形面的接缝即边缘部分、或不自然的情况。对于该像素，最好进行从周围的像素中用适当的方法进行补充等使其为自然接缝。

另外，即使在不使用多边形模型的情况下，只要基于方位像素对应数据求出全方位图像的各像素的方位，并在包含在视角内时，将该方位转换成屏幕坐标，求出与该坐标对应的绘制图像的像素及其周边像素，并从绘制图像向全方位图像描绘即可。

其次，参照图11的流程图，对图10中的步骤S43中执行的、从绘制用图像（屏幕坐标系）向纹理图像（纹理坐标系）的描绘处理的流程进行说明。这里，示出了将操作者进行的绘制的内容反映为所选择的层的纹理的方法。

选定层（步骤S51），判断是否完成了与层对应的所有多边形面的提取（步骤S52），如果没有完成提取（将步骤S52分支为否），则提取下一个多边形面（步骤S53），判断是否完成了纹理图像中与多边形面对应的所有像素的扫描（步骤S54）。

当在该步骤S54中判断没有完成所有像素的扫描时（将步骤S54分支为否），进行纹理图像的下一个像素的扫描（步骤S55），从与将更新的纹理图像的像素对应的绘制用图像的像素及该像素附近的像素中提取不透明度与颜色信息并进行计算（步骤S56），使用不透明度与颜色信息，基于合成方法更新纹理图像的像素（步骤S57），返回至步骤S54。

另一方面，当在所述步骤S54中判断完成了纹理图像中与多边形面对应的所有像素的扫描时（将步骤S54分支为是），返回所述步骤S52。这样，当判断完成了与层对应的所有多边形面的提取时（将步骤S52分支为是），返回。

另外，将绘制图像向纹理图像合成的方法除了标准的合成方法之外，也可以选择使不透明度朝向减少方向的（擦除）合成方法、或将颜色值相乘的（高亮）合成方法等。用于图像描绘的运算也可以使用专用的硬件来代替中央控制部。也可以在描绘纹理图像时进行双线性等的过滤，试图提高画质。

其中，图12示出了绘制的示例。即，示出了在绘制图像中描画半透明圆及格子状的虚线的示例。在将多边形模型投影后的屏幕图像上，利用标准的合成方法重叠绘制图像。

图13示出了绘制结果。即，在该图中，示出了通过从图11所示的绘制用图像（屏幕坐标系）向纹理图像（纹理坐标系）的描绘处理，用标准的合成方法更新了上层纹理图像后的状态。

图14示出了将上层纹理图像与下层纹理图像结合的情况。在不需要层独立的情况下，也能够进行层间的结合。图14是将上层纹理与下层纹理结合的示例。此时，通过清除结合元（此时为上层）的层，从而能够作为新的层来使用。

其中，图15示出了操作者能够观测的屏幕图像的推移，并对操作步骤进行了说明。视点是立方体多边形模型的中心，纹理是上层及下层两个，下层适用不透明的随机噪音图案，上层纹理适用完全透明。

在该示例中，从初始状态（#1），选择上层纹理，绘制“A”，绘制结束（#2），在视线变更后（#3），绘制“B”，绘制结束（#4），在视线变更后（#5），绘制“C”，绘制结束（#6），在视线变更后（#7），选择下层纹理，绘制斜线，绘制结束（#8）。

这样生成的纹理图像（将上层纹理与下层纹理结合后）的状况如图16所示。并且，作品例如图17所示。

其次，参照图18的流程图，示出并说明利用本发明的实施方式提供的全方位图像编辑装置作为作品数据输出到文件中的处理的流程。

这里，作为示例，作品数据包含作品基本信息、绘制再现数据、视线移动数据、图像阅览程序、多边形顶点组、多边形面组及纹理图像，该作品数据能够再次从编辑装置中读入，并继续执行编辑工作。另外，在存在阅览装置的情况下，鉴赏者也能够阅览作品数据。

当开始本处理时，准备打包用文件夹（步骤S61），将作品基本信息写出到文件中（步骤S62）。作品基本信息是指包含有作品数据中包含的数据的种类和作品的著作名称等的信息。接着，将绘制再现数据写出到文件中（步骤S63）。绘制再现数据是用于再现操作者的绘制步骤的序列数据。绘制时的视线信息、绘制参数、从绘制图像向纹理图像的合成方法、选择层、绘制结束的定时等序列相当于此。

接着，将视线移动再现数据写出到文件中（步骤S64）。视线移动再现数据是用于自动进行环视的序列数据，将成为用于使作品有效映像化的摄影技法。接着，将图像阅览程序写出到文件中（步骤S65）。图像阅览程序是不需要外部的阅览用程序就能独立地阅览的程序。

接着，将多边形顶点组写出到文件中（步骤S66），将多边形面组写出到文件中（步骤S67），并判断是否完成了所有层的写出（步骤S68）。这里，在判断没有完成所有层的写出时（将步骤S68分支为否），提取下一层（步骤S69），判断是否完成了与层对应的所有纹理图像的写出（步骤S70）。然后，在判断没有完成该写出时（将步骤S70分支为否），提取下一个纹理图像（步骤S71），并将纹理图像写出到文件中（步骤S72），返回至所述步骤S70。

然后，当判断完成了与层对应的所有纹理图像的写出时（将步骤S70分支为是），返回至所述步骤S68。然后，当判断完成了所有层的写出时（将步骤S68分支为是），将所有文件打包（步骤S73），制作打包后的数据的文件（步骤S74），返回。“打包”是指压缩作品数据中包含的数据，并将作品数据转换成可容易分发的文件的处理。例如，转换成ZIP文件格式等的处理相当于此。

另外，作为作品数据实际包含的数据的种类也可以根据需要由操作者来选择取舍。例如，假设鉴赏者通过阅览装置只单纯地环视作品数据。此时，绘制再现数据冗余，未必需要。另外，纹理图像通过进行层的结合，使得纹理图像减少，也能够消去在阅览装置侧进行层结合的负担。并且，在作为具有通用性的文件形式而分发作品数据的情况下，不压缩数据也可以将包含制作的所有文件的文件夹本身作为作品数据。

接着，参照图19的流程图，对利用本发明的实施方式提供的全方位图像编辑装置将环视映像作为动画制作的步骤进行说明。

当开始处理时，判断是否完成了所有视线移动再现数据的提取（步骤S81），当判断没有完成时（将步骤S81分支为否），提取下一个视线移动再现数据（步骤S82），并基于视线移动再现数据更新视线角度、视角（步骤S83），执行屏幕更新处理（步骤S84）。然后，将屏幕图像作为1帧图像写出到文件中，返回至所述步骤S81。这样，当完成了所有视线移动再现数据的提取时（将步骤S81分支为是），返回。

这样，在本处理中，通过再现视线移动的数据针对各帧稍微移动视线，描绘各帧，并进行向文件的写出。文件形式列举有：AVI或MPG、MOV等代表的一般的动画形式、或连号图像文件组的形式等，但并不限定于此。

参照图20，叙述坐标转换的概念。在该图的上方示出了基于等距方位投影法的全方位图像的光栅图像、在该图的下方示出了三维全方位虚拟空间。在该全方位虚拟空间中一并示出了屏幕图像及绘制图像的光栅图像。向全方位图像的输入用实线箭头表示，从全方位图像的输出用虚线箭头表示。

参照图21的流程图，对从全方位图像（任意坐标系）及视线信息向屏幕图像（屏幕坐标系）的描绘处理的流程进行说明。这里，示出了操作者实际能观测的屏幕图像的更新方法。该处理在图6中的步骤S10中不使用多边形模型时执行。

当开始屏幕更新处理时，首先判断是否完成了所有层的提取（步骤S91）。然后，如果判断没有完成所有层的提取（将步骤S91分支为否），则提取下一个层（步骤S92），判断是否完成了与层对应的所有全方位图像的提取（步骤S93）。然后，如果没有完成该提取，则提取下一个全方位图像（步骤S94），并判断是否完成了屏幕图像中所有像素的扫描（步骤S95）。

其中，当判断没有完成屏幕图像中所有像素的扫描时（将步骤S95分支为否），实施屏幕图像的下一个像素的扫描（步骤S96），并计算出与更新的屏幕图像的像素和视线信息对应的三维向量（步骤S97），从与三维向量的方位对应的全方位图像的像素及其附近的像素中提取不透明度与颜色信息并进行计算（步骤S98），使用不透明度与颜色信息更新屏幕图像的像素（步骤S99），返回至步骤S95。

当判断完成了屏幕图像中所有像素的扫描时（步骤S95），返回至步骤S93。然后，当判断完成了与层对应的所有全方位图像的提取时（将步骤S93分支为是），返回步骤S91。然后，当判断完成了所有层的提取时（将步骤S91分支为是），返回。

现在，例如，考虑再现从使用了球面镜的全方位摄像机等中取得的全方位图像的情况的示例。

与屏幕图像（w：宽度、h：高度）的像素（u：水平方向、v：垂直方向）与视线信息（偏转角、俯仰角、滚动角、视角）对应的三维向量（x、y、z）的方位使用计算机图形领域中的现有计算方法来求得。

接着，在从三维向量（x、y、z）的方向向全方位图像（w：宽度、h：高度）的像素（u：水平方向、v：垂直方向）的坐标转换中，基于现有的等距方位投影法使用如下计算方法。

PI是圆周率

r是二维向量（x，z）的长度，sqrt（x×x+z×z）

t是将二维向量（y，r）的与X轴的所成角度的范围从“0度～18度”归一化为“0～1”，atan2（r，-y）÷PI

u：（1+x×t÷r）×w÷2

v：（1-z×t÷r）×h÷2

并不限定于该示例，如果三维向量的方位与全方位图像的坐标转换能够相互地进行，使用哪种计算方法都可以。

另外，用于图像描绘的运算也可以使用专用的硬件来代替中央控制部。另外，也可以在描绘屏幕图像时进行双线性等的过滤，试图提高画质。并且，也可以预先制作所有层的复制结合后的一个图像，并将其视为全方位图像向屏幕图像绘制来代替针对每个描绘处理描绘所有层。此时，结合图像的制作在绘制后进行的全方位图像更新结束时进行。

其次，参照图22的流程图，对从绘制用图像（屏幕坐标系）及视线信息向全方位图像（任意坐标系）的描绘处理的流程进行说明。这里，示出了将操作者进行的绘制的内容反映到选择的层的全方位图像的方法。该处理在图6的步骤S8中不使用多边形模型时执行。

当进入该描绘处理时，选定层（步骤S101），判断是否完成了与层对应的所有全方位图像的提取（步骤S102）。这里，在判断没有完成了与层对应的全方位图像的提取时（将步骤S102分支为否），提取下一个全方位图像（步骤S103），判断是否完成了全方位图像中所有像素的扫描（步骤S104）。

其中，在判断没有完成全方位图像中所有像素的扫描时（将步骤S104分支为否），扫描全方位图像的下一个像素（步骤S105），计算出与更新的全方位图像的像素对应的三维向量（步骤S106），从与三维向量的方位和视线信息对应的绘制用图像的像素及其附近的像素中提取不透明度与颜色信息并进行计算（步骤S107），使用不透明度与颜色信息，基于合成方法更新全方位图像的像素（步骤S108），返回至步骤S104。

然后，在判断完成了全方位图像中所有像素的扫描时（将步骤S104分支为是），返回至步骤S102。然后，在判断完成了与层对应的所有的全方位图像的提取时（将步骤S102分支为是），返回。

其中，再次考虑再现从使用了球面镜的全方位摄像机等中取得的全方位图像的情况的示例。

对于坐标转换在从全方位图像（w：宽度、h：高度）的像素（u：水平方向、v：垂直方向）向三维向量（x、y、z）的方位的坐标转换中，基于现有的等距方位投影法，使用如下计算方法。即，相当于从三维向量的方位向全方位图像的像素的坐标转换相反的坐标转换。

PI是圆周率

nu将u的范围从“0～W”归一化为“-1～+1”，2×u÷w-1

nv是将v的范围从“h～0”归一化为“-1～+1”，1-2×v÷h

r是二维向量（nu，nv）的长度，sqrt（nu×nu+nv×nv）

x：nu×sin（r×PI）÷r

y：-cos（r×PI）

z：nv×sin（r×PI）÷r

与三维向量（x、y、z）的方位和视线信息（偏转角、俯仰角、滚动角、视角）对应的屏幕图像（w：宽度、h：高度）的像素（u：水平方向、v：垂直方向）使用计算机图形领域中的现有计算方法来求得。

将绘制图像向全方位图像合成的方法除了标准的合成方法之外，也可以选择使不透明度朝向减少方向的（擦除）合成方法、或将颜色值相乘的（高亮）合成方法等。另外，用于图像绘制的运算也可以使用专用的硬件来代替中央控制部。并且，在描绘全方位图像时也可以进行双线性的过滤，试图提高画质。

其次，图23示出并说明了使用长方体模型或立方体模型的全方位图像更新处理的概念图。

在使用多边形模型的方法中各面为矩形时，能够使用GPU（GraphicsProcessing Unit：图形处理单元）容易地实现。在使用长方体模型或立方体模型的情况下，作为“全方位图像的显示”模型的中心部成为视点，将具有纹理的整个六面绘制成屏幕图像。另一方面，在进行“全方位图像的更新”的情况下，对于各面的纹理进行绘制。示出了与此相关的方法。

如图所示制作与含有视角的视线信息对应的长方锥。此时，将绘制图像视为长方形底面，视点被视为与长方形底面相对的顶点，位于长方体模型的中心。将绘制图像处理为描绘的GPU长方形多边形的纹理。提取长方体模型的6个长方形面。长方形面的“上边”、“下边”、“右侧边”、“左侧边”事先定义。

将各长方形面的纹理视为GPU绘制对象。针对GPU视图转换时的视线角度，视线方位设为从“视点”朝向“长方形面的中心”的方位。视线上方向设为从“长方形面的中心”朝向“长方形面的上边的中点”的方位。GPU射影转换时的视角设为形成“纹理图像的上边的中点”“视点”“纹理图像的下边的中点”的角。GPU射影转换时的纵横比设为长方体中的长方形面的横向长度对纵向长度。如果长方体模型是立方体，则GPU射影转换时的视角为90度，纵横比为1。

下面，参照图24的流程图，示出并说明使用长方体模型或立方体模型的全方位图像更新处理的流程。

当开始本处理时，首先选定层（步骤S111），将视点作为原点，将z坐标设为1，制作与观测中的视角与纵横比相应的长方形多边形（坐标信息：x，y，z及u，v）作为GPU多边形数据（步骤S112），将绘制图像（像素颜色信息：a、r、g、b）设定为GPU纹理（步骤S113）。

接着，判断是否完成了长方体模型面（长方形）6面的全部提取（步骤S114）。这里，在判断没有完成6面的全部提取时（将步骤S114分支为否），提取长方体模型面（长方形）（步骤S115），将与长方体模型面对应的纹理图像设定为GPU绘制对象（步骤S116），从视点与长方体模型面的位置关系制作视线方位及视线上方向，并将其设定为GPU视图矩阵（步骤S117），从视点与长方体模型面的位置关系制作视角及纵横比，并将其设定为GPU射影矩阵（步骤S118），绘制GPU多边形数据（步骤S119），返回至步骤S114。

这样，判断是否完成了长方体模型面（长方形）6面的全部提取（将步骤S114分支为是），返回。

如上所述，根据本发明的一个实施方式，提供一种全方位图像编辑装置，其特征在于，包括：作为进行操作输入的操作输入部的定位装置30、作为显示各种图像的显示部的显示装置20、作为按照全方位图像编辑程序进行控制的中央控制部的中央控制部11，其中所述中央控制部从所述操作输入部中至少接受坐标及按钮的输入信息，在是视线变更模式时，基于所述输入信息更新视线角度、视角，进行屏幕更新处理，向所述显示部输出图像，在是绘制模式时，至少选择绘制参数，并基于该绘制参数在绘制用图像上描绘，在绘制结束时，执行全方位图像更新处理，清除绘制用图像，进行屏幕更新处理，向所述显示部输出图像。

另外，作为所述中央控制部的中央控制部11，其特征还可以为：在屏幕图像上基于预定的合成方法重叠绘制用图像，并向所述显示部输出图像。另外，作为所述中央控制部的中央控制部11，其特征也可以为：在绘制用图像上描绘后，进行屏幕更新处理，在屏幕图像上基于预定的合成方法重叠绘制用图像，并向所述显示部输出图像。

另外，作为所述中央控制部的中央控制部11，其特征还可以为：在所述屏幕更新处理中，计算出与视线角度对应的多边形顶点的坐标，并计算出与视角对应的多边形顶点的坐标，进行从纹理图像向屏幕图像的描绘处理。另外，作为上述中央控制部的中央控制部11，其特征还可以为：在从纹理图像向屏幕图像的描绘处理中，扫描屏幕图像的像素，从与将更新的屏幕图像的像素对应的纹理图像的像素及该像素附近的像素中提取不透明度与颜色信息并进行计算，使用不透明度与颜色信息，更新屏幕图像的像素，重复处理，直到完成屏幕图像中与多边形面对应的所有像素的扫描、完成与层对应的所有多边形面的提取、完成所有层的提取为止。

另外，作为上述中央控制部的中央控制部11，其特征还可以为：在上述全方位图像更新处理中，计算出与视线角度对应的多边形顶点的坐标，并计算出与视角对应的多边形顶点的坐标，进行从绘制图像向纹理图像的描绘处理。另外，作为所述中央控制部的中央控制部11，其特征还可以为：在从所述绘制图像向纹理图像的描绘处理中，进行纹理图像的像素的扫描，从与将更新的纹理图像的像素及该像素附近的像素中提取不透明度与颜色信息并进行计算，使用不透明度与颜色信息基于预定的合成方法更新纹理图像的像素，重复处理，直到完成纹理图像中与多边形面对应的所有像素的扫描、完成与层对应的所有多边形面的提取为止。

另外，根据本发明的一个实施方式，提供一种全方位图像编辑程序，其特征在于，个人计算机10起中央控制部的作用，该中央控制部从作为操作输入部的定位装置30中至少接受坐标及按钮的输入信息，在是视线变更模式时，基于所述输入信息更新视线角度、视角，进行屏幕更新处理，并向作为显示部的显示装置20输出图像，在是绘制模式时，至少选择绘制参数，并基于该绘制参数在绘制用图像上描绘，在绘制结束时，执行全方位图像更新处理，清除绘制用图像，进行屏幕图像更新处理，向显示部输出图像。这里，作为所述中央控制部的中央控制部11，其特征还可以为：在屏幕图像上基于预定的合成方法重叠绘制用图像，并向所述显示部输出图像。另外，作为所述中央控制部的中央控制部11，其特征还可以为：在绘制用图像上描绘后，进行屏幕更新处理，在屏幕图像上基于预定的合成方法重叠绘制用图像，并向所述显示部输出图像。

标记说明

1 全方位图像编辑装置

10 个人计算机

11 中央控制部

12 主存储器

13 图像控制部

13a 显存

14 输入输出控制部

15 内置式非易失性存储介质

16 媒介读写接口

20 显示装置

30 定位装置

40 全方位图像输入数据

41 全方位图像输出数据

42 方位像素对应数据

50 程序数据

Claims

1.一种全方位图像编辑装置，其特征在于，包括：

操作输入部，进行操作输入；

显示部，显示各种图像；以及

中央控制部，按照全方位图像编辑程序进行控制，

所述中央控制部：

从所述操作输入部中至少接受坐标及按钮的输入信息，

在是视线变更模式时，基于所述输入信息更新视线角度、视角，进行屏幕更新处理，向所述显示部输出图像，

在是绘制模式时，至少选择绘制参数，并基于该绘制参数在绘制用图像上进行描绘，

在绘制结束时，执行全方位图像更新处理，清除绘制用图像，进行屏幕更新处理，并向所述显示部输出图像，

视点在上述任何一种情况下均不移动。

2.根据权利要求1所述的全方位图像编辑装置，其特征在于，所述中央控制部在屏幕图像上基于预定的合成方法重叠绘制用图像，向所述显示部输出图像。

3.根据权利要求1所述的全方位图像编辑装置，其特征在于，所述中央控制部在绘制用图像上描绘后，进行屏幕更新处理，并在屏幕图像上基于预定的合成方法重叠绘制用图像，向所述显示部输出图像。

4.根据权利要求1～3中的任一项所述的全方位图像编辑装置，其特征在于，所述中央控制部在所述屏幕更新处理中，计算出与视线角度对应的多边形顶点的坐标，并计算出与视角对应的多边形顶点的坐标，进行从纹理图像到屏幕图像的描绘处理。

5.根据权利要求4所述的全方位图像编辑装置，其特征在于，所述中央控制部在从纹理图像到屏幕图像的描绘处理中，扫描屏幕图像的像素，从与将更新的屏幕图像的像素对应的纹理图像的像素及该像素附近的像素中提取不透明度与颜色信息并进行计算，使用该不透明度与颜色信息，更新屏幕图像的像素，重复处理，直到完成屏幕图像中与多边形面对应的所有像素的扫描、完成与层对应的所有多边形面的提取、完成所有层的提取为止。

6.根据权利要求1～3中的任一项所述的全方位图像编辑装置，其特征在于，所述中央控制部在所述全方位图像更新处理中，计算出与视线角度对应的多边形顶点的坐标，并计算出与视角对应的多边形顶点的坐标，进行从绘制用图像到纹理图像的描绘处理。

7.根据权利要求6所述的全方位图像编辑装置，其特征在于，所述中央控制部在从所述绘制用图像向纹理图像的描绘处理中，进行纹理图像的像素扫描，并从与将更新的纹理图像的像素对应的绘制用图像的像素及该像素附近的像素中提取不透明度与颜色信息并进行计算，基于预定的合成方法使用该不透明度与颜色信息更新纹理图像的像素，重复处理，直到完成纹理图像中与多边形面对应的所有像素的扫描、完成与层对应的所有多边形面的提取为止。

8.一种全方位图像编辑程序，其特征在于，计算机起中央控制部的作用，该中央控制部从操作输入部中至少接受坐标及按钮的输入信息，

在是视线变更模式时，基于所述输入信息更新视线角度、视角，进行屏幕更新处理，向显示部输出图像，

在绘制结束时，执行全方位图像更新处理，清除绘制用图像，进行屏幕更新处理，并向显示部输出图像，

视点在上述任何一种情况下均不移动。

9.根据权利要求8所述的全方位图像编辑程序，其特征在于，所述中央控制部在屏幕图像上基于预定的合成方法重叠绘制用图像，向所述显示部输出图像。

10.根据权利要求8所述的全方位图像编辑程序，其特征在于，所述中央控制部在绘制用图像上描绘后，进行屏幕更新处理，并基于预定的合成方法在屏幕图像上重叠绘制用图像，向所述显示部输出图像。