CN101925892B - 用于非职业志愿者的基于照片的虚拟世界创建系统 - Google Patents

用于非职业志愿者的基于照片的虚拟世界创建系统 Download PDF

Info

Publication number
CN101925892B
CN101925892B CN2008801253768A CN200880125376A CN101925892B CN 101925892 B CN101925892 B CN 101925892B CN 2008801253768 A CN2008801253768 A CN 2008801253768A CN 200880125376 A CN200880125376 A CN 200880125376A CN 101925892 B CN101925892 B CN 101925892B
Authority
CN
China
Prior art keywords
image
territory
storage unit
shooting
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801253768A
Other languages
English (en)
Other versions
CN101925892A (zh
Inventor
相原达
杉本和敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN101925892A publication Critical patent/CN101925892A/zh
Application granted granted Critical
Publication of CN101925892B publication Critical patent/CN101925892B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种图像数据库设备，其存储由已经自由参与的许多人拍摄的图像，以便生成基于照片的虚拟世界。图像数据库设备1通过经由网络10的通信接收由多个用户拍摄的图像。接收的图像具有由用户中使用的公共坐标表示的拍摄位置、其拍摄条件和其图像属性，所述拍摄位置表示拍摄图像的位置。然后，接收的图像和与包括接收的图像的拍摄位置的域相关联存储的图像比较。如果作为比较的结果、确定的图像的相似度在预定范围外并且拍摄条件位于预定范围内，则划分域，并且接收的图像与划分的域相关联存储，从而创建图像数据库。

Description

用于非职业志愿者的基于照片的虚拟世界创建系统
相关申请的交叉引用
本申请是连续申请，并且要求于2007年11月22日提交的日本专利申请No.2007-303391的优先权，在此通过引用具体并入其整个文本。
技术领域
本发明涉及用于存储图像的方法和装置。具体地，本发明涉及用于存储拍摄的图像以构造虚拟空间的方法和装置。
背景技术
已经存在这样的计算机系统，其构造作为再现的真实世界的虚拟空间，并且为用户提供该虚拟空间。存在这样的系统，其玩在虚拟空间中生成虚拟世界并且引入代表人的所谓化身(avatar)的游戏，或者模拟学习、分析或预测等。
在那些虚拟世界的生成中，作为再现的真实世界的虚拟空间通过基于照片的呈现(rendering)(图像创建)技术构造，该基于照片的呈现技术通过将在真实世界中拍摄的照片粘贴(纹理映射)在包含用户的空间内部来构造伪虚拟空间。
作为使用该基于照片的呈现技术的系统，存在高级的(exclusive)拍照系统，其将同时顺序拍摄的多个真实拍摄图像与关于进行那些拍摄的位置的信息一起有效地存储在图像数据库系统中，并且在再现时从任意位置实时再现和显示图像以生成虚拟世界(见专利文献1)。
作为涉及基于照片的呈现的技术，存在如下技术、使用位置和姿态的电光可视化系统、以及从自放置在全方向的相机获取的多个图像插值和生成定向图像的系统(见专利文献4)，所述技术在注视方向作为搜索索引的情况下，将具有不同注视方向的多个高分辨率图像和多个背景图像记录在记录介质中，并且在再现时，检测观察者的观看方向并且通过图像处理合成图像(见专利文献2)。
作为拍摄真实世界的相机，存在能够为计算机以数字数据的形式提供精确图像的数字相机。存在具有安装到该数字相机以能够记录拍摄位置、拍摄方向和拍摄仰角的GPS(全球定位系统)和方位角传感器或三维陀螺仪传感器的数字相机(见专利文献5)。
[专利文献1]
日本未审专利公开(Kokai)No.H11-168754
[专利文献2]
日本未审专利公开(Kokai)No.H07-236113
[专利文献3]
国际申请No.(PCT)H09-505138
[专利文献4]
日本未审专利公开(Kokai)No.2002-92597
[专利文献5]
日本未审专利公开(Kokai)No.2004-080359
发明内容
然而，作为真实世界的再现的虚拟空间可以通过构造在真实世界中存在的“对象”和其属性信息(纹理、颜色、材料等)的三维模型、并且执行照片写实(realistic)呈现的方法生成。用于该方法的三维模型的构造、和为该模型的形状的每侧准备由数字相机拍摄的图像作为属性信息需要相当大的努力和时间，这是不实际的。在专利文献1中需要顺序拍摄广阔的真实世界，这也是不实际的。专利文献2到4公开了各自的技术，不是作为用于构造虚拟空间的基础的技术。
通过基于照片的呈现技术忠实再现真实世界需要收集在各个位置实际拍摄的大量照片，因此要求许多人的协作。为了使用这样的大量照片，需要将照片存储和管理为具有拍摄条件、属性信息等的图像。
因此，需要这样的系统，其确保许多人的协作以快速生成作为真实世界的忠实再现的虚拟世界，并且可以通过允许任何人自由登记图像的协作生成虚拟世界。
本发明的目的是提供一种图像数据库设备，其存储由自由地参与的许多人拍摄的图像，以便生成基于照片的虚拟世界。
在本发明中，通过网络接收由多个用户拍摄的图像。接收的图像具有拍摄位置、拍摄条件和图像属性。
如果接收的图像和与包括接收的图像的拍摄位置的虚拟空间的域相关联的图像满足预定要求，则图像数据库设备特征在于划分域并且将接收的图像与划分的域相关联地存储。更具体地，本发明具有以下特征。
本发明的图像数据库设备通过网络进行通信，以便接收由多个用户拍摄的图像。接收的图像具有由用户中使用的公共坐标表示的拍摄位置、拍摄条件和拍摄图像的图像属性作为关于图像的拍摄信息。然后，如果接收的图像和与包括接收的图像的拍摄位置的虚拟空间的域相关联存储的图像满足预定要求，则划分域并且将接收的图像与划分的域相关联地存储。
这可以允许由多个用户拍摄的图像通过网络与包括图像的拍摄位置的虚拟空间的域相关联地存储为图像数据库。因此，可以由许多人快速生成用于基于拍摄的图像构造作为真实世界的忠实再现的虚拟世界的图像数据库。而且，信息总是可以由许多人更新。此外，更新历史等可以记录为用于再现旧世界的信息。
此外，图像数据库设备还包括确定装置，用于计算图像的特征量，并且获取图像的相似度，并且在预定要求使得拍摄条件位于预定范围内、并且由确定装置获取的相似度在预定范围外的情况下，划分域，并且将接收的图像与划分的域相关联地存储。因此可能根据已经进行拍摄的地点有效地存储拍摄图像。
此外，控制装置划分域，并且如果与重新存储的域相关联的图像存在于重新存储的域中、并且图像与接收的图像满足预定要求，则重复域的划分，并且将划分的域与接收的图像相互关联地存储。因此可能根据由多个用户提供的图像的增加划分要相关联的虚拟空间的域，并且快速构造图像数据库，其使得虚拟空间的域与拍摄图像的关联更接近真实世界的关联。
此外，用户中使用的公共坐标是纬度和经度。因此，许多人可以自由参与提供拍摄图像，因此允许图像数据库接近要快速构造的真实世界。
此外，拍摄条件包括拍摄方向，并且如果拍摄方向在预定范围外，则控制装置将具有该拍摄方向的图像与域相互关联地存储，从而存储通过拍摄方向分类的图像。因此，控制装置对每个域通过拍摄方向分类由许多人拍摄的图像，使得可以快速构造更接近真实世界的图像数据库。
此外，拍摄条件包括拍摄仰角，并且如果拍摄仰角在预定范围外，则控制装置将具有该拍摄仰角的图像与域相互关联地存储，从而存储通过拍摄仰角分类的图像。因此，控制装置对每个域通过拍摄仰角分类由许多人拍摄的图像，使得可以快速构造更接近真实世界的图像数据库。
此外，拍摄条件包括拍摄日期，并且如果拍摄日期在预定范围外，则控制装置将具有该拍摄日期的图像与域相互关联地存储，从而存储通过拍摄日期分类的图像。因此，控制装置对每个域通过拍摄日期分类由许多人拍摄的图像，使得可以快速构造更接近真实世界的图像数据库。当管理具有拍摄日期的图像时，所述图像可以是用于再现旧世界的信息。
根据本发明，可以由通过网络自由参与的许多人创建图像数据库，用于基于拍摄图像构造作为真实世界的忠实再现的虚拟世界。这允许从大范围的地点快速收集拍摄图像，并且允许信息总是由许多人更新。此外，更新历史等可以记录为用于再现旧世界的信息。
根据本发明，拍摄图像与由域划分装置划分的划分域相关联存储。因此可能根据已经进行拍摄的地点有效地存储拍摄图像。
本发明可以提供一种图像数据库设备，其存储由已经自由地参与的许多人拍摄的图像，以便生成基于照片的虚拟世界。
附图说明
图1是示出根据本发明实施例的主题的概述的图；
图2是示出根据实施例的系统的概述的图；
图3是图示拍摄位置和拍摄条件的图；
图4是示出用四叉树(quadtree)管理域的示例的图；
图5是示出在存在障碍物的情况下的示例的图；
图6是示出用四叉树管理域的图像数据库的示例的图；
图7是示出为每个拍摄方向管理域的图；
图8是示出显示空间的外部表示的一个示例的图；
图9是示出全景图像显示的示例的图；
图10是示出通过真实拍摄图像创建的虚拟世界的图；
图11是示出在墙上的面板显示的概念的图；
图12是示出在焦距处的面板显示的概念的图；
图13是示出在显示空间A中焦距处的面板显示的概念的图；
图14是示出在显示空间B中焦距处的面板显示的概念的图；
图15是示出在显示空间C中焦距处的面板显示的概念的图；
图16是示出当存在包括在显示空间中的另一显示空间时的显示方法的图；
图17是示出当另一显示空间完全包括在显示空间中时的显示方法的图；
图18是示出当显示空间与另一显示空间交叉时的显示方法的图；
图19是示出当显示空间相互交叉并且化身移动时的显示方法的图；
图20是示出淡入/淡出的滞后的图；
图21是示出图像数据库设备的运行环境的图；
图22是示出图像数据库设备的硬件配置的图；
图23是示出图像处理单元的硬件配置的图；
图24是示出图像信息的数据结构的图；
图25是示出域信息的数据结构的图；
图26是图像数据库设备的主要流程图；
图27是图像数据库设备的图像登记处理的流程图；
图28是图像数据库设备的图像搜索处理的流程图；
图29是图像处理单元的主要流程图；
图30是图像处理单元的图像登记处理的流程图；
图31是图像处理单元的图像显示处理的流程图；
图32是用于图像处理单元的显示空间的内部表示处理的流程图；
图33是示出显示空间中的全景图像的示例的图；
图34表现示出搜索邻接域的示例的图(1)和(2)；以及
图35表现示出搜索邻接域的示例的图(3)。
具体实施方式
下面将描述本发明的实施例。
用于构造虚拟空间的图像具有要与虚拟空间的域相关联的拍摄位置信息。拍摄位置信息通过许多参与人中使用的公共坐标(例如，纬度和经度)表示。因为由许多参与人提供的图像可以结合、合成或经历障碍物的移除，所以图像是实际拍摄的真实世界的图像。在实施例中，目标例如是由数字相机拍摄的图像。尽管图像的拍摄位置优选地是通过在数字相机中安装的GPS功能等获取的纬度和经度信息，但是其可以是分开地和额外地输入到图像数据的位置信息(例如，输入的纬度和经度)。
除了拍摄位置外，已经参与的许多人的图像的拍摄条件包括拍摄方向、拍摄仰角、拍摄距离和拍摄日期(日期、时间)。此外，属性信息包括图像大小、分辨率、快门速度、镜头光圈和焦距。那些条信息可以通过数字相机的性能自动添加到图像，或者可以作为通过分开的设备额外输入的信息而添加。已经实际拍摄并且具有位置信息、拍摄条件和属性信息的图像称为“真实拍摄图像”。
由许多参与人提供的真实拍摄图像基于真实拍摄图像的拍摄位置与虚拟空间的域相关联地存储。拍摄位置例如通过纬度和经度表示，并且虚拟空间的域的范围例如通过由纬度和经度定义的范围确定。因此可能将拍摄位置与包括拍摄位置的虚拟空间的域相关联。然后，拍摄图像与虚拟空间的域相关联地存储，以便在图像数据库(DB)中登记。
执行登记如下。当图像没有在包括拍摄位置的虚拟空间的域中登记时，图像与域相关联地登记。当图像在包括拍摄位置的虚拟空间的域中登记时，拍摄图像与登记的图像比较。通过比较和确定，并且如果拍摄条件(拍摄方向、拍摄仰角等)在预定范围外，则在相同域中登记拍摄图像。如果拍摄条件(拍摄方向、拍摄仰角等)在预定范围中、并且相似度在预定范围中，则同样在相同域中登记拍摄图像。另一方面，通过比较和确定，并且如果拍摄条件(拍摄方向、拍摄仰角等)在预定范围中、并且相似度在预定范围外，则在不同域中登记拍摄图像。重复域的划分和图像的比较和确定，直到满足用于登记图像的条件。
基于观看虚拟空间中的图像的观看点位置和观看方向，呈现与虚拟空间的域相关联地登记的真实拍摄图像。也就是说，基于观看点位置获取包括等价于观看点位置的拍摄位置的域，并且获取与对应于观看方向的获取的域相关联的真实拍摄图像的那些。然后，基于显示空间呈现获取的真实拍摄图像。
下面将参照附图给出描述。
图1是示出根据本发明实施例的主题的概述的图。以下将描述基于真实拍摄图像的拍摄位置、在包括真实拍摄图像的拍摄位置的虚拟空间的域中登记真实拍摄图像。
图1(1)示出数字相机已经从拍摄位置101在箭头方向111拍摄图像201。因为在对应于拍摄位置101的虚拟空间的域S中不存在登记的图像，所以在域S中登记图像201作为箭头方向111的图像。
图1(2)示出数字相机已经从拍摄位置102在箭头方向111拍摄图像202。图像202与已经在对应于拍摄位置102的虚拟空间的域S中登记的图像201比较，并且由于相似度在预定范围外，所以其登记为在作为域S的四域(quadridomain)的域S-1、S-2、S-3、S-4中的、对应于拍摄位置102的虚拟空间域S-3中的箭头方向111的图像。改变图像201以便登记为用于对应于拍摄位置101的虚拟空间域S-1的箭头方向111的图像。
图1(3)示出数字相机已经从拍摄位置103在箭头方向111拍摄图像203。图像203与已经在对应于拍摄位置103的虚拟空间的域S-3中登记的图像202比较，并且由于相似度在预定范围外，所以其登记为在作为域S-3的进一步四域的域S-31、S-32、S-33、S-34中的、对应于拍摄位置103的虚拟空间域S-31中的箭头方向111的图像。同样地，改变图像202以便登记为用于对应于拍摄位置102的虚拟空间域S-32的箭头方向111的图像。
图2是示出根据本实施例的系统的概述的图。真实拍摄图像基于拍摄位置在虚拟空间的域中登记，并且生成图像数据库(DB)和全景图像数据库(DB)。以下将描述在生成图像DB 321中基于登记的真实拍摄图像创建显示空间以生成虚拟空间。
在真实世界中拍摄的真实拍摄图像包括如已经进行拍摄的拍摄位置、拍摄方向、拍摄条件或全景图像信息(实现全景图像的登记的顺序图像标记等)的信息。在生成图像DB 321中，域划分处理301基于相似度确定处理302的确定结果划分虚拟空间。图像管理处理303在划分的域中登记根据拍摄方向、拍摄条件(拍摄日期、焦距)等分类的真实拍摄图像。在呈现处理中，基于显示空间设置306(虚拟空间中的位置、移动轨迹和观看方向)和显示条件设置307(例如，作为显示条件的显示模式、季节、时区等)执行显示条件生成308。在显示条件生成308中，生成在墙上的面板显示309、在焦距处的面板显示310或全景图像显示311所需的空间(圆柱形、半球体、球体等的形状，或者面板要粘附到其的形状等)。在全景图像生成处理中，基于图像合成处理304中的图像DB 321执行全景图像生成305，因此生成全景图像DB 322。
图3是图示拍摄位置和拍摄条件的图。
图3(1)是示出从一个拍摄位置在一个拍摄方向拍摄真实风景的照片的图。以上述方式拍摄的真实拍摄图像具有拍摄位置和拍摄条件(如拍摄方向)。
图3(2)是示出将拍摄方向分类为8个方向(北(N)、东北(NE)、东(E)、东南(SE)、南(S)、西南(SW)、西(W)和西北(NW))的示例的图。在将拍摄方向分类为8个方向的情况下，例如拍摄方向331包括在拍摄方向N的范围中。拍摄方向可以是16个方向、32个方向等。
图3(3)是示出将拍摄仰角分类为5个方向(向上(U)、斜上(UH)、水平(H)、斜下(DH)和向下(D))的示例的图。在将拍摄仰角分类为5个方向的情况下，例如拍摄仰角341包括在拍摄仰角的范围H中。拍摄仰角可以是9个方向等。
图4是示出用四叉树管理域的示例的图。以下将描述四分割(quad-segmented)虚拟空间的域、并且在分割的域中登记真实拍摄图像。
图4(1)示出划分域S的结果的示例。示出顺时针给出S-1到S-4作为域ID，并且划分结果S-1进一步划分为S-11到S-14，并且划分结果S-3进一步划分为S-31到S-34。通过将由纬度和经度定义的范围划分为4个来执行域的划分。然后，真实拍摄图像与在包括拍摄位置的划分的域中登记的图像比较，并且如果满足预定要求，则在相同域中登记真实拍摄图像。重复域的划分直到满足实现图像的登记的要求。
图4(2)示出用四叉树管理划分的域。在四分割域S的情况下，给出S-1到S-4作为域ID，并且S-1进一步划分为S-11到S-14。图4(2)同样示出S-12、S-3和S-33分别进一步划分为S-121到S-124、S-31到S-34和S-331到S-334。因此，可以从拍摄位置获取包括拍摄位置的域。划分可以两分为垂直方向和水平方向，使得可以用二叉树管理域。
图5是示出在存在障碍物的情况下的示例的图。以下将描述当存在障碍物时域的划分和在划分的域中的真实拍摄图像的登记。
图5(1)示出在拍摄位置P1和拍摄位置P2之间存在障碍物401的情况。图5(2)示出在包括拍摄位置P1的虚拟空间的域S中登记在拍摄位置P1拍摄的图像。图5(3)示出在拍摄位置P1拍摄的图像的登记之后、在拍摄位置P2拍摄的图像不同于在包括拍摄位置P2的虚拟空间的域S中登记的图像，重复划分域S直到拍摄位置P1和P2包括在不同域中，并且在包括拍摄位置P2的虚拟空间的划分的域S-1中登记在拍摄位置P2拍摄的图像，并且在包括拍摄位置P1的虚拟空间的划分的域S-3中登记在拍摄位置P1拍摄的图像。
图6是示出用四叉树管理域的图像数据库的示例的图。图6示出为每个划分的域分类和登记真实拍摄图像、拍摄条件和图像属性的数据的情况下的图像数据库的概要。
域S划分为S-1到S-4，并且S-1进一步划分为S-11到S-14。每个划分的域具有数据管理信息(域的坐标、域的数目、到低级和高级节点的指针、域ID等)、以及用于加速搜索处理的数据。此外，存储拍摄时间等作为用于每个拍摄方向的拍摄条件管理信息，并且(其)用于存储、分类和管理图像和它们的图像属性信息(图像大小、分辨率、其他相机的属性信息等)。此外，存在到全景图像DB的指针。
例如，存在预定范围中对于每个拍摄方向的真实拍摄图像的数据。用于各个拍摄方向的真实拍摄图像数据由例如8个方向中的指针指示。此外，通过拍摄时间(季节、早晨、白天或夜晚、时间等)分类和管理真实拍摄图像。此外，如果存在到聚焦的被摄体的距离数据，则通过到被摄体的距离分类和管理信息。
在拍摄真实世界的情况下，在相同地点和相同方向上的照片依赖于季节和一天的时区而具有不同图像，使得在时间轴上检查图像的相似度，并且如果相似度不位于预定范围内，则划分时间空间来管理内容。也就是说，时间空间分类为像拍摄时间的时区，在域中登记所述拍摄时间。
基于图像数据库的结构执行搜索图像数据的方法。也就是说，在登记图像中，其拍摄位置用于获得包括拍摄位置的虚拟空间的域、并且获取在域中登记的真实拍摄图像。也就是说，因为用四叉树管理虚拟空间的域，所以可以通过跟踪树结构并且比较位置与域的范围中的坐标来获取包括拍摄位置的域。
例如，当给出位置P(X，Y)时，跟踪树结构并且将该位置与域((X0，Y0)，(X1，Y1))的坐标比较，以便能够获取满足X0≤X≤X1和Y0≤Y≤Y1的域。然后，可以获取在获取的域中登记的真实拍摄图像。此外，在再现(呈现)真实拍摄图像以构造作为真实世界的忠实再现的虚拟显示空间的情况下，可以使用用于生成视图的观看点位置和观看方向作为真实拍摄图像的拍摄位置和拍摄方向，通过搜索图像数据库构造虚拟显示空间。
在再现如从一个位置观看的全方向真实拍摄图像的情况下，可能存在包括该位置的域中没有登记所有方向的真实拍摄图像的情况。在此情况下，如果在邻接域中登记拍摄方向上的真实拍摄图像，则很可能通过替代地使用该真实拍摄图像来生成类似的图像。在此情况下，可以通过用四叉树结构管理数据，通过清楚的搜索规则获取邻接域中的图像。
例如，如果均匀划分邻接域S-13的域，则顺时针地存在S-12、S-21、S-24、S-31、S-42、S-41、S-14和S-11(见图4，其补充有S-12、S-21、S-24、S-41和S-42)。然而，因为可能没有均匀地执行域的划分，所以当没有基于树结构管理域时，上级域变为邻接域。也就是说，S-2是S-21和S-24的邻接域，而S-4是S-42和S-41的邻接域。
将参照用二进制数表示域的标签的方法描述对于邻接域的前述搜索。对于左下端为(0，0)并且右上端为(1，1)的标准化空间，递归执行四分割以划分域。当四分割均匀重复n次时，域划分为2n×2n域。在此情况下域的左下端和右上端的坐标分别变为(k/2n，j/2n)和((k+1)/2n，(j+1)/2n)，其中位置k和j是0≤k，j＜2n的整数。也就是说，通过三个变量(划分度n、位置k和j)标识坐标。例如，作为域的二进制标签，(0，0)、(1，1)和(00，00)分别对应于域ID S-4、S-2和(S-44)。
然后，在均匀划分的情况下，可以如下获取到域(k(1/2)n，j(1/2)n)的邻接域。
在北侧的邻接域由(k(1/2)n，(j+1)(1/2)n)表示，只要j＜2n-1。当j＝2n-1时，其是没有邻接域的最北部域。
在东北侧的邻接域由((k+1)(1/2)n，(j+1)(1/2)n)表示，k＜2n-1并且j＜2n-1。当k＝2n-1或j＝2n-1时，其是没有邻接域的最北部域或最东部域。
在东侧的邻接域由((k+1)(1/2)n，j(1/2)n)表示，k＜2n-1。当k＝2n-1时，其是没有邻接域的最东部域。
在东南侧的邻接域由(k(1/2)n，(j-1)(1/2)n)表示，k＜2n-1。当k＝2n-1或j＝0时，其是没有邻接域的最南部域或最东部域。
在南侧的邻接域由(k(1/2)n，(j-1)(1/2)n)表示，j＞0。当j＝0时，其是没有邻接域的最南部域。
在西南侧的邻接域由((k-1)(1/2)n，(j-1)(1/2)n)表示，k＞0并且j＞0。当k＝0或j＝0时，其是没有邻接域的最南部域或最西部域。
在西侧的邻接域由((k-1)(1/2)n，j(1/2)n)表示，k＞0。当k＝0时，其是没有邻接域的最西部域。
在西北侧的邻接域由((k-1)(1/2)n，(j+1)(1/2)n)表示，k＞0并且j＜2n-1。当k＝0或j＝2n-1时，其是没有邻接域的最北部域或最西部域。
此外，当到域(k(1/2)n，j(1/2)n)的邻接域没有均匀划分并且划分度是粗略的(m≤n)时，可以如下获取邻接域。然而，要注意，int()是通过舍去小数部分提供整数值的函数。
在北侧的邻接域由(int(k/2n-m)(1/2)m，int((j+1)/2n-m)(1/2)m)表示，j＜2n-1。当j＝2n-1时，其是没有邻接域的最北部域。
在东北侧的邻接域由(int((k+1)/2n-m)(1/2)m，int((j+1)/2)n-m)(1/2)m)表示，k＜2n-1并且j＜2n-1。当k＝2n-1或j＝2n-1时，其是没有邻接域的最北部域或最东部域。
在东侧的邻接域由(int((k+1)/2n-m)(1/2)m，int(j/2)n-m)(1/2)m)表示，k＜2n-1。当k＝2n-1时，其是没有邻接域的最东部域。
在东南侧的邻接域由(int((k+1)/2n-m)(1/2)m，int((j-1)/2)n-m)(1/2)m)表示，k＜2n-1并且j＞0。当k＝2n-1或j＝0时，其是没有邻接域的最南部域或最东部域。
在南侧的邻接域由(int(k/2n-m)(1/2)m，int((j-1)/2n-m)(1/2)m)表示，j＞0。当j＝0时，其是没有邻接域的最南部域。
在西南侧的邻接域由(int((k-1)/2n-m)(1/2)m，int((j-1)/2)n-m)(1/2)m)表示，k＞0并且j＞0。当k＝0或j＝0时，其是没有邻接域的最南部域或最西部域。
在西侧的邻接域由(int((k-1)/2n-m)(1/2)m，int(j/2)n-m)(1/2)m)表示，k＞0。当k＝0时，其是没有邻接域的最西部域。
在西北侧的邻接域由(int((k-1)/2n-m)(1/2)m，int((j+1)/2)n-m)(1/2)m)表示，k＞0并且j＜2n-1。当k＝0或j＝2n-1时，其是没有邻接域的最北部域或最西部域。
此外，当到域(k(1/2)n，j(1/2)n)的邻接域没有均匀划分并且划分度是精细的(m≥n)时，可以如下获取邻接域。在北、东、南和西的情况下，域邻接具有相同划分度或不同划分度的多个域，并且当具有最精细划分度的域的划分度是m时，0≤s＜2m-n中的每个s是目标。然而要注意，划分度从一个邻接域到另一个邻接域而不同，并且当不存在m分割域时，使用上级域。
在北侧的邻接域由(kx2m-n+s)(1/2)m，(j+1)x2m-n)(1/2)m)表示，j＜2n-1。当j＝2n-1时，其是没有邻接域的最北部域。
在东北侧的邻接域由((k+1)x2m-n)(1/2)m，((j+1)x2m-n)(1/2)m)表示，k＜2n-1并且j＜2n-1。当k＝2n-1或j＝2n-1时，其是没有邻接域的最北部域或最东部域。
在东侧的邻接域由((k+1)x2m-n)(1/2)m，(jx2m-n+s)(1/2)m)表示，k＜2n-1。当k＝2n-1时，其是没有邻接域的最东部域。
在东南侧的邻接域由((k+1)x2m-n)(1/2)m，(jx2m-n-1)(1/2)m)表示，k＜2n-1并且j＞0。当k＝2n-1或j＝0时，其是没有邻接域的最南部域或最东部域。
在南侧的邻接域由((kx2m-n+s)(1/2)m，(jx2m-n-1)(1/2)m)表示，j＞0。当j＝0时，其是没有邻接域的最南部域。
在西南侧的邻接域由((kx2m-n-1)(1/2)m，(jx2m-n-1)(1/2)m)表示，k＞0并且j＞0。当k＝0或j＝0时，其是没有邻接域的最南部域或最西部域。
在西侧的邻接域由((kx2m-n-1)(1/2)m，(jx2m-n+s)(1/2)m)表示，k＞0。当k＝0时，其是没有邻接域的最西部域。
在西北侧的邻接域由((kx2m-n-1)(1/2)m，((j+1)x2m-n)(1/2)m)表示，k＞0并且j＜2n-1。当k＝0或j＝2n-1时，其是没有邻接域的最北部域或最西部域。
图7是示出可以为每个拍摄方向管理域的图。为了登记真实拍摄图像，为每个拍摄方向管理域。在此情况下，用四叉树为8个拍摄方向(N、NE、E、SE、S、SW、W、NW)的每个构造域。如果存在许多在一个拍摄方向不存在图像的情况，则不需要执行在该方向上的域划分。
图8是示出显示空间的外部表示的一个示例的图，并且示出在虚拟空间中存在登记有真实拍摄图像的显示空间。
在该实施例中，在用户从显示空间外部观看构成虚拟空间的显示空间的情况下，存在4种模式。也就是说，实施例中显示空间的典型外部表示是圆柱形、半球体、球体和微粒(云状)。注意，可以为一个域生成显示空间，或可以从多个域(例如，四叉树结构中的上级域)生成显示空间。在全景显示的情况下，在登记图像时全景图像空间预先确定圆柱形、半球体或球体。作为表示那些显示空间的方式，它们可以呈现为具有单个颜色的单个形状，或者在空间中登记的一个或多个代表性真实拍摄图像可以经历纹理映射等。
图8(1)是示出显示空间是圆柱形501的情况的图。图8(2)是示出显示空间是半球体502的情况的图。图8(3)是示出显示空间是球体503的情况的图。图8(4)是示出显示空间是微粒504的情况的图。通过那些显示空间构造虚拟空间，并且通过显示空间中的移动实现虚拟空间中的移动。
提供可见(0％的透射率)、不可见(100％的透射率)和半透明(translucent)作为是显示空间的显示条件之一的透明度。可见意味着显示空间的显示；如果在前景上存在可见显示空间，则背景上的显示空间被隐藏并且不可见，而如果在前景上存在半透明显示空间，则透明显示出背景的显示空间。不可见意味着显示空间没有完全显示。半透明允许透明观看到背景上的显示空间。
作为表现半透明显示的方式，假定在前平面上的图像的光强是I1，并且在后侧平面上的图像的光强是I2，则光强变为I＝αI2+(1-α)I1，其中α(0≤α≤1.0)是透射率。当α＝1时，其是完全透明的，而当α＝0时，其是完全不透明的。
改变显示条件的方法包括通过用户之前进行的参数设置、通过命令交互式地进行的参数设置、以及通过用户的行为动态改变的参数设置(基于环境感知(context-awareness)的参数设置)。
在基于环境感知的参数设置中，例如，通过用户凝视的时间改变显示条件。也就是说，当用户凝视预定时间或更长时，将已经半透明的前景显示空间更清楚地显示为“可见”。在基于环境感知的参数设置中，以这样的方式改变显示条件：随着用户移动，可见显示空间切换为淡入或淡出。
显示空间的内部表示(即在呈现图像的显示空间内部移动真实拍摄图像、并且在那里观看呈现的图像的情况下的表示)包括全景显示、在墙上的面板显示、在焦距处的面板显示、以及那些显示方法的混合显示。
全景显示将真实拍摄图像映射和显示在显示空间(圆柱形、半球体、球体、微粒)的内部平面上。
在墙上的面板显示通过使用多显示技术(如覆盖和滚动)在显示空间的墙上显示图像。也就是说，可以观看在观看方向上的图像中的前部空间中的图像。
在焦距处的面板显示在与观看点位置相距拍摄距离的位置安排和显示图像。
在那些显示方法的混合显示中，基于真实拍摄图像的属性、显示空间的特征等混合显示方法，以便生成显示空间的内部。
提供可见(0％的透射率)、不可见(100％的透射率)和半透明作为是真实拍摄图像的显示条件之一的透明度。可见意味着真实拍摄图像的显示；如果在前景上存在可见真实拍摄图像，则背景上的真实拍摄图像被隐藏并且不可见，而如果在前景上存在半透明真实拍摄图像，则透明示出背景上的真实拍摄图像。不可见意味着真实拍摄图像完全没有显示。半透明允许透明观看到背景上的真实拍摄图像。当没有登记真实拍摄图像并且因此真实拍摄图像不存在时，替代显示在那些显示条件下的“单一素色(plain color)”的图像。
对于用于真实拍摄图像的显示条件，例如，提供拍摄时间(早晨、晚上、季节等)的设置作为属性条件设置。设置的拍摄时间可以允许对于早晨、白天或晚上、或对于要忠实再现的每个时间的真实世界。此外，还提供邻接域中的图像的显示/不显示的设置。对于邻接域的显示，也提供用于清楚地指示显示的图像来自邻接域的设置。还可能通知用户未登记图像的域，并且提示用户登记图像。此外，提供例如拍摄日的设置。因为真实拍摄图像具有拍摄日期，所以如果设置要再现的拍摄日，例如，则可以用在设置的拍摄日或之前的真实拍摄图像再现过去的状态，即使通过新的建筑物等的建造更新了真实世界。
通过用户之前进行的参数设置、通过命令交互式地进行的参数设置、以及通过用户的行为动态改变的参数设置(基于环境感知的参数设置)，改变用于真实拍摄图像的显示条件。
在基于环境感知的参数设置中，例如，通过用户凝视的时间改变显示条件。也就是说，当用户凝视给定时间或更长时，将已经半透明的前景显示空间更清楚地显示为“可见”。在基于环境感知的参数设置中，以这样的方式改变显示条件：随着用户移动，可见显示空间切换为淡入或淡出。
图9是示出全景图像显示的示例的图。例如，通过将图像映射在圆柱形的内部平面上来实现全景图像显示。用户可以从空间内部观看图像。在图9中，v指示显示空间的高度，并且u指示从显示空间的中心的视角。随着用户移动，用户可以从例如显示空间中的观看点位置511看到映射图像的一部分512。
图10是示出虚拟空间中存在拥有真实拍摄图像的显示空间的图。
图10(1)是示出当从显示空间外部观看时、构成虚拟世界的显示空间是圆柱形501的情况的图。图10(2)是示出用户在显示空间中移动并且在观看方向531中观看显示空间的内部的图。当用户进入全景显示空间(圆柱形、半球体、球体、微粒)时，用户例如可以看见空间中的全景图像，并且可以通过环绕移动感受虚拟世界。
图11是示出在墙上的面板显示的概念的图。在域中登记的真实拍摄图像具有如拍摄位置、拍摄方向和拍摄仰角的信息。域具有由坐标定义的范围。因此，假定在域的范围中存在半球体的墙，可以通过将真实拍摄图像映射在拍摄方向的墙上来呈现在域中登记的真实拍摄图像。
在图11中，箭头线551、552和553分别概念地表示在虚拟空间的显示空间A、B和C上、在沿着真实空间中的山脚行走时拍摄的照片的在墙上的面板显示。通过到显示空间的墙上的面板显示，随着化身沿着虚线532从显示空间A移动到显示空间B，然后到显示空间C，在显示空间的墙上的图像基于化身的位置而改变。在显示空间A中的远处山561变为显示空间B中前景上的具有树562的山563，并且变为显示空间C中接近山顶的风景564，使得随着风景改变用户可以感觉好像用户在实际移动。因为通过使用多显示技术(如覆盖和滚动)在沿着显示空间中的面板墙的整个墙上呈现图像，所以用户感觉好像用户在真实空间中。
图12是示出在焦距处的面板显示的概念的图。除了拍摄位置、拍摄方向和拍摄仰角之外，真实拍摄图像具有关于显示距离的信息。因此，可以通过将真实拍摄图像映射在假定为存在于下述距离处的墙上，呈现在基于观看点位置获取的域中登记的真实拍摄图像，所述距离是依照与显示空间中的观看点位置相距拍摄距离的。
在图12中，箭头线571、572和573概念地表示在显示空间A中的焦距处的面板显示，箭头线574和575概念地表示在显示空间B中的焦距处的面板显示，并且箭头线575概念地表示在显示空间C中的焦距处的面板显示。
图13是示出在显示空间A中的焦距处的面板显示的概念的图。通过到显示空间的焦距处的面板显示，随着化身580沿着虚线532移动到显示空间A，基于化身580的位置表示到显示空间A的焦距处的面板显示。结果，根据显示空间A中的拍摄距离观看近处山581、近处树582和远处山583、584。
图14是示出在显示空间B中的焦距处的面板显示的概念的图。通过到显示空间的焦距处的面板显示，随着化身580沿着虚线532移动到显示空间B，基于化身580的位置表示到显示空间B的焦距处的面板显示。结果，根据显示空间B中的拍摄距离观看近处花587、近处树588、近处山589、远处山585和远处树586。
图15是示出在显示空间C中的焦距处的面板显示的概念的图。通过到显示空间的焦距处的面板显示，随着化身580沿着虚线532移动到显示空间C，基于化身580的位置表示到显示空间C的焦距处的面板显示。结果，根据显示空间C中的拍摄距离观看近处山585和近处树586。
图16到20是示出用于真实拍摄图像的显示方法的示例的图。
图16是示出当存在包括在显示空间中的另一显示空间时的显示方法的图。其通过全景图像的示例图示。当包括在显示空间601中的另一显示空间602位于用户的视角内时，在可见、不可见、半透明等的显示条件下显示显示空间602。如果半透明地并且以环境感知模式显示包括的另一显示空间602，则当用户凝视给定时间或更长时，显示空间602从半透明变为不可见，清楚地显示后面的显示空间601。
图17是示出当另一显示空间完全包括在显示空间中时的显示方法的图。其通过全景图像的示例图示。当显示空间中存在用户的显示空间602完全包括在另一显示空间611中时，显示最里面显示空间612中的图像。显示空间612中的图像半透明地显示，通过显示空间612看到后面的显示空间611，并且在环境感知模式中，当用户凝视给定时间或更长时，前部显示空间612中的图像的显示从半透明状态变为清楚地可见。
图18是示出当显示空间与另一显示空间交叉时的显示方法的图。其通过全景图像的示例图示。当显示空间621和显示空间622相互交叉时，显示属于显示空间的交叉平面的中心侧的显示空间中的图像。显示图像可以半透明地显示以显示另一显示空间中的图像。
当用户在显示空间之间移动时，可能以这样的方式表示显示：根据预测经过的时间t，前面图像淡出并且下一空间中的后面图像淡入。当交叉区域大时，可以仅在交叉区域的中心部分处的区域(交叉中心区域)中执行淡入和淡出之间的图像切换，而不是在整个交叉区域执行淡入和淡出之间的图像切换。此外，当交叉区域大时，在切换交叉平面处的图像或在交叉中心区域中的屏幕的淡入/淡出的图像切换时，设置缓冲域或在交叉中心区域中引入屏幕的淡入/淡出、设置缓冲域或引入具有滞后特性的淡入/淡出可以抑制其锯齿形运动或波动时的高度敏感的屏幕改变。
图19是示出当显示空间相互交叉并且用户移动时的显示方法的图。在显示空间之间提供缓冲域c，并且在缓冲域c作为边界的情况下切换显示空间之间的图像，其中根据移动方向显示之前图像。假设用户从a移动到b，然后从b移动到缓冲域c，例如，因为从显示空间A移动到缓冲域c，所以缓冲域c中的显示图像变为在之前显示空间A中显示的图像。然后，在从缓冲域c到d的移动的情况下，在d的显示图像变为在显示空间B中的图像。当用户像a→b→c→d→c→b→c→d→e  移动时，要显示的世界像A→A→A→B→B→A→A→B→B改变。在缓冲域c中，显示之前世界的图像A或B。
图20是示出淡入/淡出的滞后的图。在淡入/淡出中，通过时间t的函数α(t)给出透射率α。
图20(1)是表示例如α(t)相对于时间t线性改变的情况的图。图20(2)是示出当通过空间移动速率β的函数α(β)给出透射率α时的α和β之间的关系的图。例如，α(β)表示当移动速率中的连续增加或减小是缓冲范围的1/2、并且在移动速率β的20％的范围中线性改变时的透射率α的改变。图20(3)是示出在图20(2)的情况下在缓冲域中移动的空间移动速率β的图。空间移动速率β在a示出为0.4、在b示出为0.5、在c示出为0.2、在d示出为0.2、在e示出为0.6、在f示出为0.65、在g示出为0.5、在h示出为0.6、在i示出为0.7并且在j示出为0.5。因此，图20(2)中的透射率α在a示出为0、在b示出为0.2、在c示出为0.2、在d示出为0.1、在e示出为0.1、在f示出为0.9、在g示出为0.9、在h示出为0.9、在i示出为1.0并且在j示出为1.0。
参照图21到33，以下将描述存储真实拍摄图像、并且基于存储的真实拍摄图像在构成虚拟空间的显示空间中呈现真实拍摄图像的系统的实施例。在该实施例中，图像数据库设备1具有数据接收装置1040、图像存储装置(要参照图24说明图像信息的数据结构，硬盘1074)、域存储装置(要参照图25说明的域信息的数据结构，硬盘1074)、登记存储装置(要参照图25说明的到域信息的图像的指针，硬盘1074)、确定装置(图27中的步骤S115)、域划分装置(图27中的步骤S116)、以及控制装置(图27中的图像登记处理)。图像数据库设备1还具有数据接收装置2040、接受装置(图29中的步骤S202)、图像获取装置(图31中的步骤S224)、控制装置(图29中的主处理)、以及显示设备2022。
图21是示出图像数据库设备1的运行环境的图。图示了图像数据库设备1以及图像处理单元11a、11b、11c通过网络10(因特网、LAN、WAN等)连接在一起。
图像数据库设备1存储基于真实拍摄图像的拍摄位置、从图像处理单元11通过网络10传输的真实拍摄图像。图像处理单元11通过网络10将显示的位置传输到图像数据库设备，并且通过网络10接收基于该位置检索的真实拍摄图像，并且显示真实拍摄图像。
图22是示出图像数据库设备1的硬件配置的图。尽管以下将描述以计算机为代表的图像处理单元的一般配置，但是不需要说可以根据专用机器或安装类型设备的情况下的环境选择需要的最小配置。
图像数据库设备1具有CPU(中央处理单元)1010、总线1005、通信I/F1040、主存储器1050、BIOS(基本输入输出系统)1060、并行端口1080、USB端口1090、图形控制器1020、VRAM 1024、I/O控制器1070和如键盘和鼠标适配器1100的输入装置。I/O控制器1070可以与如硬盘1074和备份硬盘1075、光盘驱动器1076和半导体存储器1078的存储装置连接。显示设备1022连接到图形控制器1020。
BIOS 1060存储当激活图像数据库设备1时由CPU 1010执行的引导程序、依赖于图像数据库设备1的硬件的程序等。
作为光盘驱动器1076，例如，可以使用DVD-ROM驱动器、CD-ROM驱动器、DVD-RAM驱动器或CD-RAM驱动器。此时，需要使用与每个驱动器兼容的光盘1077。光盘驱动器1076可以从光盘1077读取程序或数据，并且可以通过I/O控制器1070为主存储器1050或硬盘1074提供程序或数据。
提供到图像数据库设备1的计算机程序存储在如软盘1071、光盘1077或存储卡的记录介质中，并且由用户提供。经由I/O控制器1070从记录介质读取计算机程序或经由通信I/F 1040下载计算机程序，以便安装在图像数据库设备1中并且由图像数据库设备1执行。因为计算机程序使得图像处理单元执行的操作与已经描述的设备的操作相同，所以它将被省略。
计算机程序可以存储在外部存储介质中。作为存储介质，除了软盘1071、光盘1077或存储卡外，可以使用像MD的磁光记录介质和带介质。可以使用在连接到私人通信电路或因特网的服务器系统中提供的如硬盘或光盘库的存储设备作为记录介质，或者计算机程序可以经由通信电路提供到图像数据库设备1。
图23是示出图像处理单元11的硬件配置的图。尽管以下将描述以计算机为代表的图像处理单元的一般配置，但是不需要说可以根据专用机器或安装类型设备的情况下的环境选择需要的最小配置。
图像处理单元11具有CPU(中央处理单元)2010、总线2005、通信I/F2040、主存储器2050、BIOS(基本输入输出系统)2060、并行端口2080、USB端口2090、图形控制器2020、VRAM 2024、I/O控制器2070和如键盘和鼠标适配器1100的输入装置。I/O控制器2070可以与如软盘(FD)驱动器2072、硬盘2074、光盘驱动器2076和半导体存储器2078的存储装置连接。显示设备2022连接到图形控制器2020。
BIOS 2060存储当激活图像处理单元11时由CPU 2010执行的引导程序、依赖于图像处理单元11的硬件的程序等。
作为光盘驱动器2076，例如，可以使用DVD-ROM驱动器、CD-ROM驱动器、DVD-RAM驱动器或CD-RAM驱动器。此时，需要使用与每个驱动器兼容的光盘2077。光盘驱动器2076可以从光盘2077读取程序或数据，并且可以通过I/O控制器2070为主存储器2050或硬盘2074提供程序或数据。
提供到图像处理单元11的计算机程序存储在如软盘2071、光盘2077或存储卡的记录介质中，并且由用户提供。经由I/O控制器2070从记录介质读取计算机程序或经由通信I/F 2040下载计算机程序，以便安装在图像处理单元11中并且由图像处理单元11执行。因为计算机程序使得图像处理单元执行的操作与已经描述的设备的操作相同，所以它将被省略。
计算机程序可以存储在外部存储介质中。作为存储介质，除了软盘2071、光盘2077或存储卡外，可以使用像MD的磁光记录介质和带介质。可以使用在连接到私人通信电路或因特网的服务器系统中提供的如硬盘或光盘库的存储设备作为记录介质，或者计算机程序可以经由通信电路提供到图像处理单元11。
图24是示出图像信息的数据结构的图。连同一块图像数据一起，图像信息可以具有图像ID、拍摄位置数据、其他拍摄条件(拍摄方向、拍摄仰角等)数据、属性信息(拍摄日期等)数据、以及到域的指针。
图25是示出域信息的数据结构的图。域可以具有域ID、域的坐标、用于树结构的划分级别、到上级节点的指针、到下级节点的指针、到图像的指针、以及到全景图像的指针。划分级别是域中节点的划分级别的最大数目。到图像的每个指针包括对于其拍摄方向、其拍摄仰角、其拍摄时间等的指针。为每个拍摄方向、每个拍摄仰角、每个拍摄时间等分类存储其真实拍摄图像。
图26是图像数据库设备1的主要流程图。
CPU 1010在步骤S101中执行初始化处理，并且移动处理到步骤S102。在步骤S102中，CPU 1010执行通过网络10从图像处理单元11接收数据的处理，并且移动处理到步骤S103以确定接收的数据是否要经历图像登记。当确定是是时，CPU 1010移动处理到步骤S107，而当确定是否时，CPU 1010移动处理到步骤S104。在步骤S104中，CPU 1010确定接收的数据是否是图像请求。当确定是是时，CPU 1010移动处理到步骤S105，而当确定是否时，CPU 1010终止处理。在步骤S105中，CPU 1010基于接收的数据执行图像搜索处理，移动处理到步骤S106以执行传输搜索到的图像数据的处理，然后终止处理。
在步骤S107中，CPU 1010执行图像登记处理，并且此后终止处理。
图27是图像数据库设备1的图像登记处理的流程图。
在步骤S111中，CPU 1010从接收的图像数据的拍摄位置获取域，并且移动处理到步骤S112以确定在获取的域中是否登记另一图像。当确定是是时，CPU 1010移动处理到步骤S113，而当确定是否时，CPU 1010移动处理到步骤S119。在步骤S113中，CPU 1010确定接收的图像数据的拍摄方向是否与在域中登记的图像数据的拍摄方向相同。当确定是是时，CPU 1010移动处理到步骤S114，而当确定是否时，CPU 1010移动处理到步骤S119。在步骤S114中，CPU 1010确定接收的图像数据的拍摄仰角是否与在域中登记的图像数据的拍摄仰角相同。当确定是是时，CPU 1010移动处理到步骤S115，而当确定是否时，CPU 1010移动处理到步骤S119。在步骤S115中，CPU 1010比较接收的图像数据与域中登记的图像数据以确定相似度是否位于预定范围内。当确定是是时，CPU 1010移动处理到步骤S119，而当确定是否时，CPU1010移动处理到步骤S116。在步骤S116中，CPU 1010划分域，并且移动处理到步骤S118以确定图像是否需要在划分的域中登记。当确定是是时，CPU1010移动处理到步骤S113，而当确定是否时，CPU 1010移动处理到步骤S119。
在步骤S119中，CPU 1010登记通过拍摄条件分类的接收图像数据，并且终止处理以将处理返回到主处理。
尽管CPU 1010在步骤S115的登记图像的比较中自动确定拍摄条件或相似度，但是交互式确定(CPU 1010请求确定并且根据输入进行确定)或半自动确定(自动确定和交互式确定的组合)是可能的。
图28是图像数据库设备1的图像搜索处理的流程图。
在步骤S121中，CPU 1010确定在邻接域中是否存在图像数据。当确定是是时，CPU 1010移动处理到步骤S124，而当确定是否时，CPU 1010移动处理到步骤S122。在步骤S122中，CPU 1010在域中执行图像搜索，并且移动处理到步骤S123。
在步骤S123中，CPU 1010获取搜索到的图像数据，然后终止处理并且将处理返回到主处理。
在步骤S124中，CPU 1010搜索邻接域中的图像，并且移动处理到步骤S123。
图29是图像处理单元11的主流程图。
CPU 2010在步骤S201中执行初始化处理，并且移动处理到步骤S202。在步骤S202中，CPU 2010执行接受处理条件的接受处理，并且移动处理到步骤S203。在步骤S203中，CPU 2010确定处理内容是否要求图像登记。当确定是是时，CPU 2010移动处理到步骤S204，而当确定是否时，CPU 2010移动处理到步骤S205。在步骤S204中，CPU 2010执行图像登记处理，并且此后终止处理。
在步骤S205中，CPU 2010执行图像显示处理，并且此后终止处理。
图30是图像处理单元11的图像登记处理的流程图。
CPU 2010在步骤S211中执行图像获取处理，并且移动处理到步骤S212。在步骤S212中，CPU 2010接受由用户进行的输入(如拍摄条件)，存储由用户输入的拍摄条件等，并且移动处理到步骤S213。在步骤S213中，CPU 2010接受由用户进行的输入(如图像属性)，存储由用户输入的图像属性等，并且移动处理到步骤S214。在步骤S214中，CPU 2010通过因特网传输信息(如存储的图像数据、拍摄条件和图像属性)到图像数据库设备1，并且终止处理以返回到主处理。
图31是图像处理单元11的图像显示处理的流程图。
CPU 2010在步骤S221中检测化身的位置，并且移动处理到步骤S222。在步骤S222中，CPU 2010确定检测到的位置是否位于显示空间中。当确定是是时，CPU 2010移动处理到步骤S226，而当确定是否时，CPU 2010移动处理到步骤S223。在步骤S223中，CPU 2010通过网络10传输位置数据到图像数据库设备1，并且移动处理到步骤S224。在步骤S224中，CPU 2010通过网络10获取从图像数据库设备1接收的图像数据，并且移动处理到步骤S225。在步骤S225中，CPU 2010执行用于显示空间的内部表示处理，并且终止处理以返回到主处理。
CPU 2010在步骤S226中执行用于显示空间的外部表示处理，并且终止处理以将处理返回到主处理。
图32是用于图像处理单元11的显示空间的内部表示处理的流程图。
在步骤S231中，CPU 2010确定在一个或多个空间中是否存在化身。当确定是是时，CPU 2010移动处理到步骤S232，而当确定是否时，CPU 2010移动处理到步骤S240。在步骤S232中，CPU 2010确定两个或多个空间是否相互交叉。当确定是是时，CPU 2010移动处理到步骤S233，而当确定是否时，CPU 2010移动处理到步骤S234。CPU 2010在步骤S233中设置显示模式，并且移动处理到步骤S235。
CPU 2010在步骤S234中设置显示模式，并且移动处理到步骤S235。
在步骤S235中，CPU 2010确定视角内是否存在图像。当确定是是时，CPU 2010移动处理到步骤S243，而当确定是否时，CPU 2010移动处理到步骤S236。在步骤S236中，CPU 2010确定是否使用邻接域中的图像。当确定是是时，CPU 2010移动处理到步骤S237，而当确定是否时，CPU 2010移动处理到步骤S244。在步骤S237中，CPU 2010从图像数据库设备1获取邻接域中的图像，并且移动处理到步骤S238。在步骤S238中，CPU 2010确定是否指示其是来自邻接域的图像。当确定是是时，CPU 2010移动处理到步骤S239，而当确定是否时，CPU 2010移动处理到步骤S245。在步骤S239中，CPU 2010根据在图像的亮度、色调和颜色改变的情况下的显示模式执行显示处理，然后终止处理以返回处理到图像显示处理。
在步骤S240中，CPU 2010确定是否存在另一包括的空间。当确定是是时，CPU 2010移动处理到步骤S241，而当确定是否时，CPU 2010移动处理到步骤S242。在步骤S241中，CPU 2010设置显示模式，并且移动处理到步骤S235。
在步骤S242中，CPU 2010设置显示模式，并且移动处理到步骤S235。
在步骤S243中，CPU 2010根据显示模式执行显示处理，然后终止处理以返回处理到图像显示处理。
在步骤S244中，CPU 2010根据显示模式执行具有预先登记的颜色和纹理的图像的显示处理，然后终止处理以返回处理到图像显示处理。
在步骤S245中，CPU 2010根据显示模式执行显示处理，然后终止处理以返回处理到图像显示处理。
图33是示出图像处理单元11中的显示空间中的全景图像的示例的图。图示了基于化身的位置、通过因特网接收的数据在显示空间中呈现并且显示在显示设备2022上。通过使用多显示技术(如覆盖和滚动)获取在与包括观看点位置的域相关联的观看方向中的真实拍摄图像、和对应于与到包括观看点位置的域的邻接域相关联的观看方向的真实拍摄图像的显示图像。
图34是示出搜索邻接域的示例的图。图示给出了通过上面参照图6说明的二进制数表示域的标签的方法。也就是说，对于具有左下端为(0，0)并且右上端为(1，1)的标准化空间，递归执行四分割以划分域。当四分割均匀重复3次时，在n＝3的情况下，例如，域划分为23×23＝64个域。在此情况下，左下端和右上端的标签分别变为(0(1/2)3，0(1/2)3)＝(000，000)和(7(1/2)3，7(1/2)3)＝(111，111)。在图中，数字指示各个域的标签。例如，在划分度n＝3并且位置k＝3的情况下，具体获得域(3(1/2)3，5(1/2)3)＝(011，101)的邻接域。这里，域(011，101)对应于域ID S-132。
在图34(1)中，在均匀划分的情况下，到域(011，101)的邻接域根据参照图6说明的等式表示为具有以下标签的域。
在北侧的邻接域由(3(1/2)3，(5+1)(1/2)3)＝(011，110)表示。
在东北侧的邻接域由((3+1)(1/2)3，(5+1)(1/2)3)＝(100，110)表示。
在东侧的邻接域由((3+1)(1/2)3，5(1/2)3)＝(100，101)表示。
在东南侧的邻接域由((3+1)(1/2)3，(5-1)(1/2)3)＝(100，100)表示。
在南侧的邻接域由(3(1/2)3，(5-1)(1/2)3)＝(011，100)表示。
在西南侧的邻接域由((3-1)(1/2)3，(5-1)(1/2)3)＝(010，100)表示。
在西侧的邻接域由((3-1)(1/2)3，5(1/2)3)＝(010，101)表示。
在西北侧的邻接域由((3-1)(1/2)3，(5+1)(1/2)3)＝(010，110)表示。
在图34(2)中，在没有均匀执行划分的情况下(粗略的划分度)，到域(011，101)的邻接域表示为具有以下标签的域。
在划分度m＝2的情况下，例如，在北侧的邻接域由(int(3/23-2)(1/2)2，int((5+1)/23-2)(1/2)2)＝(1(1/2)2，3(1/2)2)＝(01，11)表示。
在划分度m＝2的情况下，例如，在东北侧的邻接域由(int((3+1)/23-2)(1/2)2，int((5+1)/23-2)(1/2)2)＝(2(1/2)2，3(1/2)2)＝(10，11)表示。
在划分度m＝2的情况下，例如，在东侧的邻接域由(int((3+1)/23-2(1/2)2，int(5/23-2)(1/2)2)＝(2(1/2)2，2(1/2)2)＝(10，10)表示。
在划分度m＝2的情况下，例如，在东南侧的邻接域由(int((3+1)/23-2)(1/2)2，int((5-1)/23-2)(1/2)2)＝(2(1/2)2，2(1/2)2)＝(10，10)表示。
在划分度m＝3的情况下，例如，在南侧的邻接域由(int(3/23-3)(1/2)3，int((5-1)/23-3)(1/2)3)＝(3(1/2)3，4(1/2)3)＝(011，100)表示。
在划分度m＝3的情况下，例如，在西南侧的邻接域由(int((3-1)/23-3)(1/2)3，int((5-1)/23-3)(1/2)3)＝(2(1/2)3，4(1/2)3)＝(010，100)表示。
在划分度m＝3的情况下，例如，在西侧的邻接域由(int((3-1)/23-3)(1/2)3，int(5/23-3)(1/2)3)＝(2(1/2)3，5(1/2)3)＝(010，101)表示。
在划分度m＝3的情况下，例如，在西北侧的邻接域由(int((3-1)/23-2)(1/2)2，int((5+1)/23-2)(1/2)2)＝(1(1/2)2，3(1/2)2)＝(01，11)表示。
在图35(3)中，在没有均匀执行划分的情况下(精细的划分度)，到域(011，101)的邻接域表示为具有以下标签的域。
在划分度m＝4的情况下，例如，s是0≤s＜24-3的所有值，即，0和1，使得在北侧存在以下两个邻接域。也就是说，它们由((3x24-3+0)(1/2)4，((5+1)x24-3)(1/2)4＝(6(1/2)4，12(1/2)4)＝(0110，1100)和((3x24-3+1)(1/2)4，((5+1)x24-3)(1/2)4＝(7(1/2)4，12(1/2)4)＝(0111，1100)表示。
在划分度m＝4的情况下，例如，在东北侧的邻接域由((3+1)x24-3)(1/2)4，((5+1)x24-3)(1/2)4＝(8(1/2)4，12(1/2)4)＝(1000，1100)表示。
在划分度m＝4的情况下，例如，s是0≤s＜24-3的所有值，即，0和1，使得在东侧存在以下两个邻接域。也就是说，它们由((3+1)x24-3)(1/2)4，(5x24-3+0)(1/2)4＝(8(1/2)4，10(1/2)4)＝(1000，1010)和((3+1)x24-3)(1/2)4，(5x24-3+1)(1/2)4＝(8(1/2)4，11(1/2)4)＝(0111，1011)表示。
在划分度m＝4的情况下，例如，在东南侧的邻接域由((3+1)x24-3)(1/2)4，(5x24-3-1)(1/2)4＝(8(1/2)4，94)＝(1000，1001)表示。
在划分度m＝4的情况下，例如，s是0≤s＜24-3的所有值，即，0和1，使得在北侧存在以下两个邻接域。也就是说，它们由((3x24-3+0)(1/2)4，(5x24-3-1)(1/2)4＝(6(1/2)4，9(1/2)4)＝(0110，1001)和((3x24-3+1)(1/2)4，(5x24-3-1)(1/2)4＝(7(1/2)4，9(1/2)4)＝(0111，1001)表示。
在划分度m＝4的情况下，例如，在西南侧的邻接域由(3x24-3-1)(1/2)4，(5x24-3-1)(1/2)4＝(5(1/2)4，9(1/2)4)＝(0101，1001)表示。
在划分度m＝4的情况下，例如，s是0≤s＜24-3的所有值，即，0和1，使得在西侧存在以下两个邻接域。也就是说，它们由((3x24-3-1)(1/2)4，(5x24-3+0)(1/2)4＝(5(1/2)4，10(1/2)4)＝(0101，1010)和((3x24-3-1)(1/2)4，(5x24-3+1)(1/2)4＝(5(1/2)4，11(1/2)4)＝(0101，1011)表示。
在划分度m＝4的情况下，例如，在西北侧的邻接域由(3x24-3-1)(1/2)4，((5+1)x24-3)(1/2)4＝(5(1/2)4，12(1/2)4)＝(0101，1100)表示。
根据实施例，图像数据库设备1通过网络10经由通信接收由多个用户拍摄的图像。接收的图像具有由用户中使用的、表示拍摄图像的位置的公共坐标表示的拍摄位置、以及用于拍摄的拍摄条件和拍摄图像的图像属性。然后，接收的图像与包括接收的图像的拍摄位置的域相关联存储的图像比较。如果作为比较的结果、确定的图像的相似度在预定范围外并且拍摄条件位于预定范围内，则划分域，并且接收的图像与划分的域相关联存储，从而创建图像数据库。划分是四分割，并且图像数据库用四叉树(图4)管理域，使得可能基于用于显示图像的观看点位置，容易地搜索在与包括观看点位置的域相关联的观看方向上的真实拍摄图像、以及对应于与到包括观看点位置的域的邻接域相关联的观看方向的真实拍摄图像。
尽管上面已经描述了本发明，但是本发明不限于上述实施例。在本发明的实施例的描述中描述的效果仅仅是本发明带来的最合适的效果，并且本发明的效果不限于在本发明的实施例的描述中描述的那些。

Claims (12)

1.一种用于存储由多个用户拍摄的图像的图像数据库设备，包括：
数据接收单元，用于通过网络进行通信以接收拍摄图像；
图像存储单元，用于存储通过所述数据接收单元接收的图像、由用户中使用的公共坐标表示的拍摄位置、拍摄条件和拍摄图像的图像属性，所述拍摄位置表示拍摄图像的位置；
域存储单元，用于存储具有由坐标表示的范围的虚拟空间的域；
登记存储单元，用于相互关联地存储要在所述图像存储单元中存储的图像、和在所述域存储单元中存储的具有包括图像的拍摄位置的范围的域；
域划分单元，用于通过改变在所述域存储单元中存储的域的范围中的坐标、并且将改变的坐标存储在所述域存储单元中，从而划分域，并且将划分的域和拍摄位置重新存储在所述登记存储单元中，划分在所述域存储单元中存储的域；
确定单元，用于比较作为拍摄图像的特征的特征的计算量、与作为另一拍摄图像的特征的特征的计算量，以便获取图像的相似度；以及
控制单元，用于如果要在所述图像存储单元中存储的图像、以及要与包括前者图像的拍摄位置的域相关联地存储在所述登记存储单元中的图像满足预定要求，则使得所述域划分单元划分包括拍摄位置的域，并且相互关联地存储划分的域和在所述图像存储单元中存储的图像；
其中所述预定要求是使得拍摄条件位于预定范围内、并且由所述确定单元获取的相似度在预定范围外。
2.如权利要求1所述的图像数据库设备，其中如果与通过所述域划分单元划分的域相关联的图像存在于划分的域中、并且所述图像与所述图像存储单元中存储的图像满足所述预定要求，则所述控制单元重复通过所述域划分单元的域的划分，并且将划分的域和所述图像存储单元中存储的图像相互关联地存储在所述登记存储单元中。
3.如权利要求2所述的图像数据库设备，其中用户中使用的公共坐标是纬度和经度。
4.如权利要求3所述的图像数据库设备，其中所述拍摄条件包括拍摄方向，并且
如果所述拍摄方向在预定范围外，则所述控制单元将具有所述拍摄方向的图像和域相互关联地存储在所述登记存储单元中，从而存储通过所述拍摄方向分类的图像。
5.如权利要求4所述的图像数据库设备，其中所述拍摄条件包括拍摄仰角，并且
如果所述拍摄仰角在预定范围外，则所述控制单元将具有所述拍摄仰角的图像和域相互关联地存储在所述登记存储单元中，从而存储通过所述拍摄仰角分类的图像。
6.如权利要求5所述的图像数据库设备，其中所述拍摄条件包括拍摄日期，并且
如果所述拍摄日期在预定范围外，则所述控制单元将具有所述拍摄日期的图像和域相互关联地存储在所述登记存储单元中，从而存储通过所述拍摄日期分类的图像。
7.一种存储由多个用户拍摄的图像的方法，包括：
通过网络进行通信以接收拍摄图像的数据接收步骤；
将在所述数据接收步骤接收的图像、由用户中使用的公共坐标表示的拍摄位置、拍摄条件和拍摄图像的图像属性存储在图像存储单元中的步骤，所述拍摄位置表示拍摄图像的位置；
将具有由坐标表示的范围的虚拟空间的域存储在域存储单元中的步骤；
将要在所述图像存储单元中存储的图像、和在所述域存储单元中存储的具有包括图像的拍摄位置的范围的域相互关联地存储在登记存储单元中的步骤；
域划分步骤，通过改变在所述域存储单元中存储的域的范围中的坐标并且将改变的坐标存储在所述域存储单元中，从而划分域，并且将划分的域和拍摄位置重新存储在所述登记存储单元中，划分在所述域存储单元中存储的域；
确定步骤：比较作为拍摄图像的特征的特征的计算量、与作为另一拍摄图像的特征的特征的计算量，以便获取图像的相似度；以及
控制步骤，如果要在所述图像存储单元中存储的图像、以及要与包括前者图像的拍摄位置的域相关联地存储在所述登记存储单元中的图像满足预定要求，则使得所述域划分步骤划分包括拍摄位置的域，并且相互关联地存储划分的域和在所述图像存储单元中存储的图像；
其中所述预定要求是使得拍摄条件位于预定范围内、并且由所述确定步骤获取的相似度在预定范围外。
8.如权利要求7所述的方法，其中如果与通过所述域划分步骤划分的域相关联的图像存在于划分的域中、并且所述图像与所述图像存储单元中存储的图像满足所述预定要求，则所述控制步骤重复通过所述域划分步骤的域的划分，并且将划分的域和所述图像存储单元中存储的图像相互关联地存储在所述登记存储单元中。
9.如权利要求8所述的方法，其中用户中使用的公共坐标是纬度和经度。
10.如权利要求9所述的方法，其中所述拍摄条件包括拍摄方向，并且
如果所述拍摄方向在预定范围外，则所述控制步骤将具有所述拍摄方向的图像和域相互关联地存储在所述登记存储单元中，从而存储通过所述拍摄方向分类的图像。
11.如权利要求10所述的方法，其中所述拍摄条件包括拍摄仰角，并且
如果所述拍摄仰角在预定范围外，则所述控制步骤将具有所述拍摄仰角的图像和域相互关联地存储在所述登记存储单元中，从而存储通过所述拍摄仰角分类的图像。
12.如权利要求11所述的方法，其中所述拍摄条件包括拍摄日期，并且
如果所述拍摄日期在预定范围外，则所述控制步骤将具有所述拍摄日期的图像和域相互关联地存储在所述登记存储单元中，从而存储通过所述拍摄日期分类的图像。
CN2008801253768A 2007-11-22 2008-11-22 用于非职业志愿者的基于照片的虚拟世界创建系统 Expired - Fee Related CN101925892B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP303391/07 2007-11-22
JP2007303391A JP4963105B2 (ja) 2007-11-22 2007-11-22 画像を記憶する方法、装置
PCT/US2008/084443 WO2009067717A1 (en) 2007-11-22 2008-11-22 Photo-based virtual world creation system for non-professional volunteers

Publications (2)

Publication Number Publication Date
CN101925892A CN101925892A (zh) 2010-12-22
CN101925892B true CN101925892B (zh) 2013-04-17

Family

ID=40667886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801253768A Expired - Fee Related CN101925892B (zh) 2007-11-22 2008-11-22 用于非职业志愿者的基于照片的虚拟世界创建系统

Country Status (5)

Country Link
US (1) US8495066B2 (zh)
JP (1) JP4963105B2 (zh)
KR (1) KR20100086502A (zh)
CN (1) CN101925892B (zh)
WO (1) WO2009067717A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2538684A1 (en) * 2008-12-18 2012-12-26 LG Electronics Inc. Digital broadcast receiving method for displaying stereoscopic images and digital broadcast receiving apparatus using the same
EP2434457A4 (en) * 2009-05-18 2014-01-15 Kodaira Associates Inc METHOD FOR TRANSMITTING IMAGE INFORMATION
JP2011210138A (ja) * 2010-03-30 2011-10-20 Sony Corp 電子機器、画像出力方法及びプログラム
KR101029160B1 (ko) * 2011-02-07 2011-04-13 (주)올라웍스 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US9196086B2 (en) * 2011-04-26 2015-11-24 Here Global B.V. Method, system, and computer-readable data storage device for creating and displaying three-dimensional features on an electronic map display
KR20120140104A (ko) * 2011-06-20 2012-12-28 현대자동차주식회사 메모리의 데이터 저장 방법
JP5802167B2 (ja) * 2012-04-11 2015-10-28 アイキューブド研究所株式会社 メモリアドレス生成装置、メモリアドレス生成方法、およびプログラム
JP5982185B2 (ja) * 2012-06-01 2016-08-31 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法およびプログラム
US20130329061A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
JP5987694B2 (ja) * 2013-01-08 2016-09-07 コニカミノルタ株式会社 会議用表示システム及び同システムにおけるカメラ映像の表示方法並びに表示制御プログラム
KR101304454B1 (ko) * 2013-05-08 2013-09-04 주식회사 모리아타운 3d 갤러리 생성 장치 및 방법
US20170256283A1 (en) * 2014-09-08 2017-09-07 Sony Corporation Information processing device and information processing method
CN105139445B (zh) * 2015-08-03 2018-02-13 百度在线网络技术（北京）有限公司 场景重建方法及装置
CN105100629B (zh) * 2015-09-01 2019-03-29 联想(北京)有限公司 一种图片处理方法和电子设备
JP2017182481A (ja) * 2016-03-30 2017-10-05 前田建設工業株式会社 画像生成装置、画像生成方法、及び、画像生成プログラム
CN113542601B (zh) 2016-06-20 2024-01-23 麦克赛尔株式会社 摄像装置、显示装置和摄像显示系统
US10839598B2 (en) * 2016-07-26 2020-11-17 Hewlett-Packard Development Company, L.P. Indexing voxels for 3D printing
KR101986804B1 (ko) * 2016-12-29 2019-07-10 주식회사 얍컴퍼니 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법
JP6508288B2 (ja) * 2017-10-25 2019-05-08 株式会社リコー システム、画像共有システム、通信方法、及びプログラム
JP6871458B2 (ja) * 2020-05-12 2021-05-12 マクセル株式会社 撮像表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010036311A1 (en) * 2000-04-27 2001-11-01 Yoshiaki Tomomatsu Method and apparatus for processing an image, and storage medium
US20020045988A1 (en) * 2000-09-25 2002-04-18 International Business Machines Corporation Spatial information using system, system for obtaining information, and server system
US20040073578A1 (en) * 2002-10-14 2004-04-15 Nam Kwang Woo Spatial image information system and method for supporting efficient storage and retrieval of spatial images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3019771B2 (ja) * 1996-06-18 2000-03-13 ソニー株式会社 記録装置
JP2000322435A (ja) * 1999-05-13 2000-11-24 Nippon Telegr & Teleph Corp <Ntt> サイバー図鑑補足データ収集システムおよびその入力装置
JP2004139576A (ja) * 2002-09-27 2004-05-13 Fuji Photo Film Co Ltd アルバム作成装置および方法並びにプログラム
US7868904B2 (en) * 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP2006313991A (ja) * 2005-05-06 2006-11-16 Canon Inc 画像データ保管管理装置、画像データ保管管理方法、及びプログラム
US7911511B2 (en) * 2005-05-25 2011-03-22 Panasonic Corporation Imaging device, display control device, display device, printing control device, and printing device
JP4835135B2 (ja) * 2005-12-06 2011-12-14 ソニー株式会社 画像表示装置、画像表示方法、および、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010036311A1 (en) * 2000-04-27 2001-11-01 Yoshiaki Tomomatsu Method and apparatus for processing an image, and storage medium
US20020045988A1 (en) * 2000-09-25 2002-04-18 International Business Machines Corporation Spatial information using system, system for obtaining information, and server system
US20040073578A1 (en) * 2002-10-14 2004-04-15 Nam Kwang Woo Spatial image information system and method for supporting efficient storage and retrieval of spatial images

Also Published As

Publication number Publication date
US8495066B2 (en) 2013-07-23
US20100250617A1 (en) 2010-09-30
CN101925892A (zh) 2010-12-22
WO2009067717A1 (en) 2009-05-28
JP4963105B2 (ja) 2012-06-27
JP2009129182A (ja) 2009-06-11
KR20100086502A (ko) 2010-07-30

Similar Documents

Publication Publication Date Title
CN101925892B (zh) 用于非职业志愿者的基于照片的虚拟世界创建系统
JP5044817B2 (ja) 仮想空間を構築するための画像処理方法、装置
CN106296815B (zh) 一种交互式三维数字城市的构建和显示方法
JP4511826B2 (ja) ナビゲーションシステム、ビュー円錐台に対応づけられたタイルのイメージデータをアクセスする方法、および、コンピュータ読み取り可能な記録媒体
CN101872492B (zh) 三维仿真城市的多角度地图实现方法
EP1581782B1 (en) System and method for advanced 3d visualization for mobile navigation units
EP3170151B1 (en) Blending between street view and earth view
US20070271301A1 (en) Method and system for presenting virtual world environment
EP2555166A1 (en) Space error parameter for 3D buildings and terrain
EP3754469A1 (en) 3d structure engine-based computation platform
CN112784002B (zh) 一种虚拟场景生成方法、装置、设备和存储介质
CN108337664A (zh) 基于地理位置的旅游景区增强现实互动导览系统及方法
Faust et al. Real-time global data model for the digital earth
WO2019016820A1 (en) METHOD FOR PLACING, MONITORING AND PRESENTING AN ENVIRONMENT BASED ON REALITY-VIRTUALITY IMMERSIVE CONTINUUM WITH IDO AND / OR OTHER SENSORS INSTEAD OF A CAMERA OR VISUAL PROCESSING, AND ASSOCIATED METHODS
JP4511825B2 (ja) 複数のイメージからマルチ分解能イメージを生成する方法
Zhou et al. Customizing visualization in three-dimensional urban GIS via web-based interaction
KR20190089689A (ko) 거리뷰 제공 방법, 장치 및 컴퓨터 프로그램
Oppermann et al. Extending authoring tools for location-aware applications with an infrastructure visualization layer
US9007374B1 (en) Selection and thematic highlighting using terrain textures
CN114090713A (zh) 基于增强现实的服务提供方法、系统及电子设备
Bourdakis Making Sense of the City
Bourdakis Navigation in large VR urban models
Abdelguerfi 3D synthetic environment reconstruction
Alomia et al. Automatic 3D Urban Installation Generation in Virtual Cities
Xiangning 3D campus simulation based on vega and creator

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130417

Termination date: 20181122

CF01 Termination of patent right due to non-payment of annual fee