CN110770798B - 信息处理装置、信息处理方法及计算机可读存储介质 - Google Patents

信息处理装置、信息处理方法及计算机可读存储介质 Download PDF

Info

Publication number
CN110770798B
CN110770798B CN201880025502.6A CN201880025502A CN110770798B CN 110770798 B CN110770798 B CN 110770798B CN 201880025502 A CN201880025502 A CN 201880025502A CN 110770798 B CN110770798 B CN 110770798B
Authority
CN
China
Prior art keywords
person
viewpoint
information
construction
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880025502.6A
Other languages
English (en)
Other versions
CN110770798A (zh
Inventor
小柳卓藏
小柳直太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoliu Construction Co ltd
Original Assignee
Xiaoliu Construction Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaoliu Construction Co ltd filed Critical Xiaoliu Construction Co ltd
Publication of CN110770798A publication Critical patent/CN110770798A/zh
Application granted granted Critical
Publication of CN110770798B publication Critical patent/CN110770798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313Resource planning in a project environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Development Economics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Educational Administration (AREA)
  • Structural Engineering (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)

Abstract

能够在建设工地对更高效的施工计划的制定和执行进行支持。工地主管和工地工作人员在计划时将设计图作为3D全息图以实际尺寸进行显示,通过实际体验就能够在施工前对问题点进行确认。发包方和承包方(工地主管)能够通过时间滑块功能直观地理解施工工序,即使不熟悉工程也能够在施工前委托必要的变更。发包方、顾问和承包方能够参考相同的数据,并对为何需要变更设计以及怎样变更进行讨论。维护专家根据包含维护时的检查数据以及施工时的实际数据的更多的信息来做出正确的判断。位于相互分开的地点的销售和工地主管使用相同的3D全息设计图,边指示对象部位边进行交流。

Description

信息处理装置、信息处理方法及计算机可读存储介质
技术领域
本发明涉及信息处理装置、信息处理方法及计算机可读存储介质。
背景技术
以往,在建设工地中施工计划的制定和执行是非常重要的要素,极大地有助于建设对象的完成和工作人员的安全。
尽管如此,在以往的建设工地中,施工计划通常是基于设计图来计划的。因此,如果没有开始实际施工,则也会存在很多注意不到的问题。
另外,近年来,为了提高建设工程的效率,需要在发包方、各种顾问和承包方等与建设工程相关的人员之间进行顺畅的交流。
在这一方面提出了一种对建设计划的制定进行支持的建设模拟装置(例如参考专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开平10-280685号公报。
发明内容
然而,在包含专利文献1中记载的技术在内的现有技术中实际情况是只是对建设工地的情况进行三维化而能够模拟例如建设设备材料的搬入、要安装的各建设设备材料的限制条件,而不能充分地满足相关人员对于制定和执行施工计划的需求。
本发明是鉴于这种情况而完成的,其目的是提供一种用于对更高效的施工计划的制定和执行进行支持的技术。
用于解决问题的方案
为了达到上述目的,具有:
配置单元(例如图7的对象配置部101),其使与实际物体对应的对象配置在3维的虚拟空间,所述实际物体是在n维(n是2以上的整数值)中的至少1个以上的维度的方向(例如时间轴方向或公司轴方向)上状态发生变化的物体(例如桥等);
坐标获取单元(例如在时间轴的情况下为图7的时间信息获取部100),其获取在上述n维中的状态发生变化的维度的坐标(例如时间轴的坐标是指定时刻);以及
图像生成单元(例如图7的显示图像生成部105),其生成在所述虚拟空间中从规定的视点能够观看的图像的数据,所述虚拟空间通过所述配置单元配置了与所获取的所述维度的上述坐标处的状态的上述实际物体对应的对象。
本发明一个实施方式的信息处理方法及程序是与本发明的一个实施方式的信息处理装置对应的方法及程序。
发明效果
根据本发明,能够提供一种用于在建设工地对更高效的施工计划的制定和执行进行支持的技术。
附图说明
图1是表示本发明的一实施方式的信息处理系统的结构的图。
图2是表示图1的信息处理系统能够实现的功能的整体图像的一例的图。
图3是表示在图2所示的菜单中能够提供本服务的检查菜单的一例的图。
图4是表示在图2所示的菜单中能够提供本服务的检查菜单的一例的图。
图5是表示图1的信息处理系统中服务器的硬件结构的一例的框图。
图6是表示图1的信息处理系统中HMD的硬件结构的一例的框图。
图7是表示在图5的服务器和图6的HMD的功能结构中用于实现显示图像生成处理的功能结构的一例的功能框图。
图8是表示对由图5的服务器执行的显示图像生成处理的流程进行说明的流程图。
图9是示出了在图7的服务器/HMD的对象DB中保存的各种信息的图,是表示与图7不同的一例的图。
图10是表示用于说明与各期间所显示的层的关系的图。
图11是表示图1的信息处理系统能够实现的基本功能的一例的图。
图12是表示图1的信息处理系统能够实现的功能中的计划菜单(1/2)的一例的图。
图13是表示图1的信息处理系统能够实现的功能中的计划菜单(2/2)的一例的图。
图14是表示图1的信息处理系统能够实现的功能中的设计变更菜单(1/2)的一例的图。
图15是表示图1的信息处理系统能够实现的功能中的设计变更菜单(2/2)的一例的图。
图16是表示图1的信息处理系统能够实现的功能中的维护菜单的一例的图。
图17是表示图1的信息处理系统能够实现的功能中的交流菜单的一例的图。
图18是表示在图6的HMD的功能结构中用于实现使用图17等说明的“交流菜单”的功能结构的一例的功能框图。
图19是表示用于实现图18的“交流菜单”的各种信息的收发和虚拟人物(avatar)的配置条件的图。
图20是表示现有技术中的在同一空间内的3D对象的配置的图。
图21是关于现有技术中的在同一空间内的相关人员的移动的图。
图22是关于使用远程交流的另一空间内的相关人员的移动的图。
图23是关于使用远程交流的另一空间内的相关人员的移动的图,是表示与图22不同的例子的图。
图24是关于图22和图23的远程交流的虚拟人物的配置的图。
图25是表示本发明的一实施方式的信息系统能够实现的功能中对交流时的声音发出者进行识别时的一例的图。
图26是表示在不同的2个以上的空间内存在相关人员的情况的图。
图27是关于从现实空间内相关人员来看的情况下的显示对象的图。
图28是关于从现实空间内相关人员来看的情况下的显示对象的图。
具体实施方式
以下,参考附图对本发明的实施方式进行说明。
图1是表示本发明的一实施方式的信息处理系统的结构的图。
首先,在对本发明的实施方式进行说明之前,对作为本发明的一实施方式的信息处理系统的应用对象的服务(以下称为“本服务”)进行简单说明。
本服务是指如下服务。即,本服务是与规定的建设工程有关的相关人员一边针对在该建设工程中成为对象的建筑物模拟体验施工状态或竣工时的状况等,一边能够对各种施工工序进行确认的服务。
本服务能够提供给1位以上的任意人数的相关人员,在以下,为便于说明,以提供给图1所示的2位相关人员Ua、Ub为例进行说明。
在图1的例子中,各相关人员Ua、Ub在接受本服务的提供时,分别将HMD(HeadMounted Display:头戴式显示器)2a、2b佩戴在头部,并根据需要手持各控制器3a、3b。
此外,以下在不需要特别区分相关人员Ua、Ub的每一个的情况下,将其统称为“相关人员U”。另外,在统称为相关人员U的情况下,将HMD2a、2b统称为“HMD2”,且将控制器3a、3b统称为“控制器3”。
佩戴HMD2的相关人员U针对在建设工程中成为对象的建筑物(以下以“桥”为例)及其周边物体等,能够虚拟体验观看在位于实际的规定场所并朝着规定方向时可看得见的景色。即,相关人员U通过HMD2观看的图像是与以下的图像等效的图像,即:在与现实空间对应的虚拟空间上配置了与实际的桥对应的3D对象的状态下,从该虚拟空间内的该规定场所的位置处的朝向该规定方向的视点进行拍摄的图像。
此外,在仅称为“图像”的情况下设为包括“动态图像”和“静态图像”双方的图像。另外,该图像并不限于CG(Computer Graphics:计算机图形)图像、AR(Augmented Reality:增强现实)图像,也可以包括实际对现实空间进行拍摄的图像。
在此,相关人员U能够通过操作控制器3,发出变更虚拟空间内的时刻的指示。即,桥是在规定期间被施工的对象。该规定期间内的规定时刻的桥是建设中的未完成的状态。因此,如果被相关人员U指定该规定时刻,则与在配置有与建设中的未完成的状态的桥对应的3D对象的虚拟空间内从该规定场所的位置处的朝向该规定方向的视点进行拍摄的图像等效的图像被佩戴了HMD2的相关人员U观看。
即,在本服务中的虚拟空间内的桥的3D对象根据各种施工工序中的建设状态而随时间变化。因此,相关人员U能够观看任意时刻(在该时刻预定实施或已实施的施工工序)的桥的施工状况。即,相关人员U能够按照时间而顺序或逆序地对包含预定建设的桥的建设工地的施工状况的图像进行观看。
在此,相关人员U通过在现实空间内移动其所在位置(实际的规定场所)并使自己的头部转动而使视线的方向(规定方向)发生变化,从而能够使桥及其周边的景色的图像(相关人员U通过自己的肉眼观看的图像)发生变化。
与此相同地,佩戴了HMD2的相关人员U通过在虚拟空间内移动其所在位置(与现实空间中的规定场所对应的虚拟空间内的位置)并使自己的头部转动而使视线的方向(规定方向)发生变化,从而能够使桥及其周边的景色的图像(相关人员U通过HMD2观看的图像)发生变化。
即,相关人员Ua和Ub均针对所期望的施工工序中的建设工地的景色,能够对各自在所期望的站立位置朝向所期望的方向时看得见的包含桥的建设工地的状况(与各自的状况对应的各图像)进行观看。
由此,相关人员Ua和Ub能够共享在任意施工工序中的建设工地的图景,能够顺畅地实现交流。
应用这种本服务的图1的信息处理系统具有由本服务的提供者使用的服务器1、由相关人员Ua使用的HMD2a及控制器3a、和由相关人员Ub使用的HMD2b及控制器3b。
服务器1、HMD2a和HMD2b通过因特网等规定的网络N相互进行连接。HMD2a和控制器3a、HMD2b和控制器3b分别通过Bluetooth(注册商标)等进行连接。
以下,参考图2至图4,进一步对本服务中能够提供的各种功能进行说明。
图2是表示图1的信息处理系统能够实现的功能的整体图像的一例的图。
佩戴了HMD2的相关人员U能够操作或阅览的各功能通过各菜单来提供。在图2的例子中示出了用于向各菜单过渡的“TOP菜单”的一例。
作为能够从该“TOP菜单”进行过渡的菜单,准备了下面的5种菜单。即,准备了计划菜单、设计变更菜单、检查菜单、维护菜单和交流菜单。
图3和图4是表示在图2所示的菜单中本服务能够提供的检查菜单的一例的图。
佩戴了HMD2的相关人员U通过使用控制器3来选择图3和图4所示的检查菜单并进行各种操作或阅览,从而能够容易且可靠地确认在进行施工检查时的各施工工序的各种状况。
具体而言,例如在检查菜单中,作为本服务的一部分,提供时间滑块(TimeSlider)功能。
时间滑块功能是指如下的功能。即,针对建筑物(在本例子中是桥)的3D对象等的3D数据的每一个,将配置在该虚拟空间内的期间作为时间属性来赋予。因此,佩戴了HMD2的相关人员U对表示该建筑物的施工工序的工程表中的时间轴上的时刻(时点)进行指定。于是,对包含所指定的时刻(时点)的期间的时间属性进行赋予的3D数据配置在虚拟空间内。相关人员U能够在所期望的站立位置从所期望的视点对配置在该虚拟空间内的3D数据进行观看。即,对于相关人员U来说,与工程表中的规定期间内的过去、现在、未来中所指定的工序阶段的建筑物(桥)对应的3D对象等出现在HMD2中的虚拟空间上。
具体而言,例如在检查菜单中发挥各种功能。
若发挥图3所示的a功能,则在虚拟空间内配置与竣工状态的桥(建筑物)对应的3D对象(设计图的3D全息图)、和对用于分别选择竣工检查的各种确认文件的各个项目进行罗列的检查文件菜单。作为项目,具有施工计划书、工程管理、阶段确认书、材料确认书、品质管理、进度管理、照片管理、以及安全管理等。
相关人员U通过从这些中选择所期望的项目,能够在虚拟空间内观看与该所期望的项目对应的检查文件(数据)。
具体而言,例如若选择阶段确认书的项目,则发挥图3所示b的功能。于是,在虚拟空间内配置与竣工状态的桥(建筑物)对应的3D对象(设计图的3D全息图)、和罗列了土方工程、骨架施工、挡土墙、围堰等各种工种的项目的检查文件菜单。
相关人员U通过从这些中选择所期望的工种的项目,能够在虚拟空间内观看该所期望的工种的检查文件(数据)。在此,相关人员U能够选择多种工种的项目。
具体而言,若选择例如结构安装工程的项目,则发挥图3所示c功能。于是,在虚拟空间内配置工程表、时间滑块T以及与用该时间滑块T指定的时刻(时点)的建设中的状态的桥(建筑物)对应的3D对象。
在此,时间滑块T是指在发挥上述时间滑块功能时配置在虚拟空间内的用于对工程表的规定期间中的任意时刻(时点)进行指定的控制键(数据)。在图3所示的c功能的例子中,由表示工程表的规定期间的时间轴和能够在该时间轴上自如地移动的时钟图标构成了时间滑块T。该时钟图标的位置表示所指定的时刻(时点)。
即,佩戴了HMD2的相关人员U通过操作控制器3而使时间滑块T的时钟图标移动,对工程表中的时间轴上的时刻(时点)进行指定。于是,与所指定的时刻(时点)的建设中的状态的桥对应的3D对象被配置在虚拟空间内。相关人员U能够在所期望的站立位置从所期望的视点观看配置在该虚拟空间内的3D数据。
即,对于相关人员U来说,仅移动时间滑块T的时钟图标,工程表中的规定期间内的过去、现在、未来中与所期望的工序阶段的建筑物(桥)对应的3D对象等就显现在HMD2中的投影空间上。
而且,也发挥图3所示的d功能,也能够从配置于虚拟空间上的各项目菜单中对用时间滑块T的时钟图标指定的时刻(时点)的由确认书、进度、照片等构成的阶段确认结果文件(数据)进行选择。
或者,在检查菜单中也能够发挥图4的功能。
在检查菜单中有时发挥图4所示的a功能。在该情况下,在虚拟空间内显示与竣工状态的桥对应的3D对象(设计图3D全息图)、工程表、时间滑块T和检查文件菜单。
利用该图4所示的a功能,佩戴了HMD2的相关人员U能够一边用多窗口观看多个检查文件一边进行检查。另外,相关人员U通过操作时间滑块T,能够与图3所示c功能相同地发挥时间滑块功能。
并且,相关人员U通过发挥图4所示的b功能,能够在之后要确认的检查文件(在图4的例子中,为施工计划书)的特定的页面上设定书签(Bookmark)。由此,能够瞬间返回到该书签所在的页面。
以下,适当地参考图5至图8,对能够发挥伴随着提供本服务的各种功能的图1的信息处理系统的结构及处理进行说明。
图5是表示图1的信息处理系统中服务器的硬件结构的一例的框图。
服务器1具有:CPU(Central Processing Unit:中央处理器)11、ROM(Read OnlyMemory:只读存储器)12、RAM(Random Access Memory:随机存取存储器)13、总线14、输入输出接口15、输入部16、输出部17、存储部18、通信部19、驱动器20和可移动介质21。
CPU11、ROM12和RAM13经由总线14相互进行连接。在该总线14上还连接有输入输出接口15。在输入输出接口15连接有输入部16、输出部17、存储部18、通信部19和驱动器20。此外,在驱动器20还连接有可移动介质21。
CPU11按照在ROM12中存储的程序或从存储部18加载到RAM13的程序来执行各种处理。
在RAM13中还酌情存储由CPU11执行各种处理时所需的数据等。
输入部16由键盘、鼠标等构成,对各种信息进行输入。
输出部17由显示器、扬声器等构成,将各种信息作为图像、声音来输出。
存储部18由硬盘、DRAM(Dynamic Random Access Memory:动态随机存取存储器)等构成,对各种数据进行存储。
通信部19经由包括因特网的网络N在与其他装置(在图1的例子中,为HMD2a和HMD2b)之间进行通信。
在驱动器20酌情地安装由磁盘、光盘、光磁盘或者半导体存储器等构成的可移动介质21。通过驱动器20从可移动介质21读出的程序根据需要被安装到存储部18。
另外,可移动介质21也能够与存储部18相同地对存储于存储部18的各种数据进行存储。
图6是表示图1的信息处理系统中HMD的硬件结构的一例的框图。
HMD2具有CPU31、ROM32、RAM33、总线34、输入输出接口35、显示部36、传感器部37、存储部38、通信部39和驱动器40。
此外,对于与图5的服务器1相同的结构,在此省略其说明,在以下仅对与服务器1存在差异的点进行说明。
显示部36由各种液晶显示器等构成,向虚拟空间上对建筑物(桥等)的3D对象(3D全息图)、操作菜单等进行投影并显示。
传感器部37由倾斜传感器、加速度传感器、角速度传感器等各种传感器构成。传感器部37的检测信息作为例如与虚拟空间内的角度(方向)有关的各种检测信息来使用。
通信部39经由网络N在与其他装置(在图1的例子中,为服务器1或其他的控制器3)之间进行通信,除此之外还通过规定的无线通信方式与控制器3进行通信。
控制器3是在由HMD2的CPU31执行各种处理时受理相关人员U的指示操作、例如菜单选择、视点操作、在时间滑块功能中的时刻(时点)的指示操作等的输入设备。
此外,为了便于说明,在本实施方式中使用了控制器3,但是对于信息处理系统来说,并不是特别必要的结构要素。除此之外,例如也可以在相关人员U的周围设置运动传感器(motion sensors),并通过相关人员U的各种手势动作来进行各种指示操作。
通过这样的服务器1、HMD2和控制器3的各种硬件和各种软件之间的协作,能够发挥时间滑块功能。通过发挥时间滑块功能,信息处理系统能够将施工过程涉及的工程表中示出的时间信息内的规定时刻作为时间轴的坐标来进行获取,使该坐标下的与建设工地的实际物体(桥等建筑物)对应的3D对象配置在虚拟空间内,并生成从该虚拟空间内的规定位置处的规定视点能够观看的显示图像的数据。
以下,将通过发挥这种时间滑块功能而生成该显示图像的数据起到展示给相关人员U(相关人员U观看)为止的一连串的处理称为“显示图像生成处理”。
即,服务器1、HMD2和控制器3在执行显示图像生成处理时具有如图7所示的功能结构。
图7是表示在图5的服务器和图6的HMD的功能结构中用于实现显示图像生成处理的功能结构的一例的框图。
如图7所示,在服务器1的CPU11执行显示图像生成处理的情况下,时间信息获取部100、对象配置部101、视点信息获取部102、视点管理部103、虚拟空间构建部104、显示图像生成部105和显示控制部106发挥功能。
在服务器1的存储部18的一个区域设置有对象DB500。而且,虽然未图示,但是还设置有对阶段确认结果文件、显示于多窗口的检查文件、其他各种文件的数据进行存储的DB。如上文和后文所述,这些各种文件的数据当然也能够配置在虚拟空间内,并包含在显示图像中而展示给相关人员U。但是,至图8为止的说明中,为便于说明,设为在虚拟空间内仅配置建筑物(桥)等的3D对象。
在此,将相关人员Ua使用的HMD2a和控制器3a统称为UMa,将相关人员Ub使用的HMD2b和控制器3b统称为UMb。
以下,不按顺序对时间信息获取部100至显示控制部106的各功能块的细节进行说明。
服务器1的虚拟空间构建部104对用于配置建筑物(桥)的3D对象等的虚拟空间进行构建。
虽然在图7中省略了图示,但是在由虚拟空间构建部104所构建的虚拟空间配置上述的时间滑块T(图3等)。因此,相关人员U通过操作控制器3而使虚拟空间的时间滑块(显示在显示部36的时间滑块)的时钟图标在时间轴上移动,并指示规定时刻。
服务器1的时间信息获取部100通过通信部19获取表示像这样由相关人员U指示的时刻的信息(以下称为“时间信息”)。
在此,存在多位相关人员U的情况下,各自的时间信息可以是相同的,也可以不同的。在相同的情况下,例如预先确定主用户(例如相关人员Ua)和从属用户(例如相关人员Ub),时间信息获取部100获取表示由主用户的控制器3指定的时刻的信息作为时间信息。
服务器1的对象配置部101基于由时间信息获取部100获取到的时间信息,从对象DB500中抽取与在所指定的时刻(时点)的建设途中或建设后的状态的实际物体(桥等建筑物)对应的3D对象,并使其配置在虚拟空间。
此外,在图7中,为了易于理解本发明,以建设途中的各状态的桥的3D对象与各时刻t1至t3对应起来并存储在对象DB500中的方式进行绘制。然而,实际上如用后述的图9和图10说明的那样,建筑物的各部件以层为单位进行分割,将各层与存在于虚拟空间内的时间(在时间轴上有一定宽度的期间)对应起来,而不是与时刻这样的时间轴上的1点对应起来,并存储在对象DB500中。
服务器1的视点信息获取部102使通信部19接收相关人员U的HMD2的传感器部37的检测信息、来自控制器3的指示操作的信息,基于这些信息来获取表示虚拟空间内的视点的配置位置和该视点的方向的信息(以下称为“视点信息”)。
在此,存在多位相关人员U的情况下,视点信息可以是相同的,也可以不同的。但是,从进行模拟体验的观点出发,优选视点信息按多位相关人员U的每个人而各不相同。
因此,视点管理部103分别对多位相关人员U(在图7的例子中,是相关人员Ua、Ub)的每个人的视点信息进行管理。
此外,对于桥等3D对象,视点的方向未必需要从3D对象的外侧(外观)朝向3D对象,例如也可以是从对象的内侧(建筑物的内部)朝向3D对象。由此,例如能够随着施工的进展对人们在现实中无法观看的实际物体(建筑物)的内部的状态进行确认。即,视点信息能够具有全方位性。
而且,例如,对于在虚拟空间内缩小了较大的实际物体的3D对象、实际物体(建筑物)的与实物一样大的3D对象、和进一步放大了的大小的3D对象中的任一个,都能够生成表示从任意位置向任意方向的视线的视点信息。由此,建设工人等相关人员U能够在虚拟空间内事先进行作业模拟。即,视点信息能够相对于观看对象物体(3D对象)具有放大性或缩小性。
显示图像生成部105生成图像的数据作为显示图像的数据,该图像的数据是在配置有用时间信息表示的时刻(由相关人员U指定的时刻)的建设途中或建设后的状态的实际物体(桥等建筑物)对应的3D对象的虚拟空间中,从用视点信息表示的视点看得见的图像的数据。
显示控制部106通过经由通信部19发送由显示图像生成部105生成的显示图像的数据,从而执行使相关人员U的HMD2的显示部36显示该显示图像的控制。
接下来,参考图8,对由图5的服务器1执行的显示图像生成处理进行说明。
即,图8是对图5的服务器侧的显示图像生成处理的流程进行说明的流程图。
在步骤S1中,虚拟空间构建部104对虚拟空间进行构建。
在步骤S2中,时间信息获取部100获取表示由相关人员U指示的时刻的时间信息。
在步骤S3中,视点信息获取部102获取表示虚拟空间内的视点的配置位置和该视点的方向的视点信息。
在步骤S4中,对象配置部101基于在步骤S2的处理中获取到的时间信息,使与在所指定的时刻(时点)的建设途中或建设后的状态的实际物体(桥等建筑物)对应的3D对象配置在虚拟空间。
在步骤S5中,显示图像生成部105生成如下的图像的数据作为显示图像的数据,该图像的数据是在步骤S4的处理中配置有3D对象的虚拟空间中从由步骤S3的处理中获取到的视点信息表示的视点看得见的图像的数据。
在步骤S6中,显示控制部106通过经由通信部19发送在步骤S5的处理中生成的显示图像的数据,从而向相关人员U展示该显示图像。
在步骤S7中,服务器1对是否有处理结束的指示进行判断。
处理结束的指示不特别限定,可采用从例如HMD2发送了结束指示。
在没有从HMD2发送这样的结束指示的情况下,在步骤S7中判断为“否”,处理返回到步骤S2,并反复进行之后的处理。
与此相对,在从HMD2发送了结束指示的情况下,在步骤S7中判断为“是”,显示图像生成处理结束。
以上对本发明的一实施方式进行了说明,但本发明并不限定于上述的实施方式,在能够实现本发明的目的的范围内的变形、改良等包含在本发明之中。
在此,在上述第1实施方式中,采用通过将时间信息(例如规定的时刻)与建设工地中规定的3D对象(例如在规定的时刻相关人员U从规定的站立位置和角度能够观看的景色)相关联来确定相关人员U能够观看的虚拟空间上的3D对象等的例子进行了说明。
然而,也可以通过将构成上述3D对象等的各种层与时间信息(例如规定期间)相关联来确定相关人员U能够观看的虚拟空间上的3D对象、文档数据、图像及其他的数据。
以下,关于构成时间滑块功能的数据的处理方法,对采用了与上述第1实施方式不同的处理方法的第2实施方式进行说明。此外,层是指“3D对象(包含3D全息图)”、“文档数据”等构成能够配置于虚拟空间上的各种信息的最小单位,例如桥的铁桥部分等。
图9是示出了在图7的服务器/HMD中对象DB500中存储的各种信息的图,是表示与图7不同的一例的图。在图9的例子中,层b1至层b5与时间信息(规定的期间)相关联,该信息存储在对象DB500。
在此,规定的期间是指表示例如从时刻t1到时刻t5的固定的期间,不是例如表示时刻t1的1个时点。
当观察图9的表格的第1行时,显示了关于层b1的信息。层b1例如是预定建设的桥台中的1个。该层b1指定了时刻t1至时刻t5的期间。即层b1示出了在时刻t1的时点下作为预定建设的桥的一部分而显示在虚拟空间上,并且在时刻t5的时点下仍然显示在虚拟空间上。
另一方面,当观察表格的第5行时,显示了关于层b5的信息。层b5是例如在建设工地被工作人员使用的“脚手架”。该层b5指定了时刻t2至时刻t4的期间。即,层b5示出了在t2的时点下作为用于建设的脚手架而显示在虚拟空间上,在时刻t4即桥的竣工时点下没有显示。其原因是,在实际的建设工地中,在桥的竣工阶段脚手架全部被拆除。
接下来,参考图10,对存储在上述对象DB500中的各种信息和时间滑块功能之间的关系进行简单的说明。
图10是用于说明与各期间所显示的层的关系的图。
当观察图10时,在时刻t1到时刻t2、时刻t2到时刻t3、时刻t3到时刻t4、时刻t4到时刻t5的各个期间中显示有向相关人员U显示的图像。
例如,在时刻t1到时刻t2的期间,分别单独地显示了层b1和层b2。即,在时刻t1到时刻t2的期间的建设工序中,示出了仅对桥台部分进行建设的预定计划。相关人员U想要确认时刻t1到时刻t2的期间的建设状况的情况下,能够选择并显示该期间的建设工地的图像。
在这一点,参考图9如上文所述,通常例如层b5(用于建设的脚手架)仅在建设途中被使用,在竣工后被拆除。当观察图10时,层b5仅显示在时刻t2到时刻t3、时刻t3到时刻t4的期间。
即,意味着层b5在时刻t2的时点被设置,在时刻t4的时点被拆除。
像这样总结上述第1实施方式和图9及图10所示的第2实施方式,相关人员U利用例如上述时间滑块功能就能够进行以下的操作。
即,相关人员U由于能观看在“所指定的任意时间轴”上的预定建设的3D对象,所以可以说能够自由地在过去、未来之间往返(进行时间滑动)。
而且,例如,相关人员U能够在横向的时间轴(时间线)上使纵向的时间轴(时间滑块)滑动,能够观看任意的时间轴(例如期间)的预定建设的3D对象的图像(或建设工地的图像)。
在此,现有技术与上述第1实施方式及第2实施方式中时间滑块功能间的差异如下所述。
即,在如使预定建设的3D对象等的图像进行显示的情况下,在现有技术中通常对规定的1个时刻(时点)的数据进行处理并显示。与此相对,时间滑块功能由于能够将各层的时间轴以成为线(期间)的方式进行处理并显示,所以作为时间属性而具有结合性和连续性。
另外,若总结上述第1实施方式和第2实施方式中的时间滑块功能,则还能如以下这样来总结。
即:
(1)在现有技术中,将各层作为时间属性,仅能定义1个时点(例如最新的时点),与此相对,在各层作为时间属性,能够定义时间轴(例如期间)。
(2)由于能够针对各层定义时间轴(期间),所以无需按所指定的任意的每个时点来制作3D数据,就能够构建所指定的任意时间轴上的3维数据。
(3)能够在显示介质(例如图6的显示部36)上显示如(2)那样构建的各层。
(4)能够利用在(2)中所指定的任意的时间轴,对能够自由地进行时间滑动的4维数据(空间信息+时间信息)进行处理。
(5)能够在显示介质(例如图6的显示部36)上显示在(4)中处理了的4维信息(空间信息+时间信息)。
(6)而且,能够进一步关联2维数据(例如文档数据)等,并使其显示。
另外,在上述的第1实施方式和第2实施方式中,采用检查功能作为信息处理系统能够实现的基本功能的一例来进行了说明。然而,在图2中如上述那样,存在用于向各菜单过渡的“TOP菜单”。
作为能够从该“TOP菜单”过渡的菜单,准备了下面的5种菜单。即,准备了计划菜单、设计变更菜单、检查菜单、维护菜单和交流菜单。
在上述的实施方式中,虽然对能发挥时间滑块功能的信息处理系统进行了说明,但是应用本发明的信息处理系统能够发挥的功能不限于此。
即,在上述的实施方式中,虚拟空间的变化方向是时间轴的方向,但是并不特别限定于此,能够采用任意的轴的方向。
例如,能够定义表示各公司的轴(以下称为“公司轴”),使各公司对应于该公司轴的各坐标。若相关人员U能够任意指定该公司轴的各坐标,则能够观看所指定的坐标表示的公司进行建设的桥等建筑物的3D对象。即,例如若通过多个公司的设计竞赛来确定桥等建筑物的负责建设的公司,则能够对比参加该设计竞赛的多个公司的每个公司所设计的桥等建筑物。
进而,相关人员U能够指定的轴并不限于1个,也能够指定多个轴。例如,若能够指定公司轴和时间轴这2个,则相关人员U能够按每个施工工序来对比多个公司的建设途中的各自的状态。
即,应用本发明的信息处理装置只要采用如下的结构即可,能够得到各种各样的实施方式。
即,应用本发明的信息处理装置具有:
配置单元(例如图7的对象配置部101),其使与实际物体对应的3D对象配置在3维的虚拟空间,所述实际物体是在n维(n是2以上的整数值)中的至少1个以上的维度的方向(例如时间轴方向或公司轴方向)上状态发生变化的物体(例如桥等);
坐标获取单元(例如在时间轴的情况下为图7的时间信息获取部100),其获取在上述n维中的状态发生变化的维度的坐标(例如时间轴的坐标是指定时刻);以及
图像生成单元(例如图7的显示图像生成部105),其生成在所述虚拟空间中从规定的视点能够观看的图像的数据,所述虚拟空间通过所述配置单元配置了与所获取的所述维度的上述坐标处的状态的上述实际物体对应的对象。
由此,能够期待即使相关人员U对建设工程不熟悉也能直观地理解施工工序。
在此,在上述的第1实施方式和第2实施方式中,采用检查功能作为本发明的一实施方式的信息处理系统能够实现的基本功能的一例来进行了说明。然而,在图2中如上述那样,也能够采用例如“TOP菜单”、“计划菜单”、“设计变更菜单”、“交流菜单”和“维护菜单”等作为本发明的一种实施方式中信息处理系统能够实现的基本功能。
以下,参考图11至图25,对本服务的提供者可采用的各种功能分别进行说明。
图11是表示图1的信息处理系统能够实现的基本功能的一例的图,具体来说是表示采用了本发明的一实施方式的信息处理系统能够实现的基本功能中的图2示出的“TOP菜单”的情况的一例的图。
此外,“TOP菜单”是指例如在虚拟空间上显示的对象(也称为3D模型)的初始画面。
在图11所示的a情形下,由作为本服务的受益者的相关人员U和预定建设的建筑物(例如桥)构成。即,相关人员Ub能够在虚拟空间上将预定建设的建筑物作为3D对象来观看。
此外,除了预定建设的建筑物的3D对象以外,相关人员Ub也可以将不是检查对象的物体作为辅助对象,设为能够对例如用于建设的叉车等进行投影。
在图11所示的b情形下,示出了相关人员Ub向桥的左右移动的情况的例子。
即,相关人员Ub通过自己移动而改变观看的站立位置,能够从各种距离、角度对预定建设的建筑物进行观看。即,相关人员Ub在想要在建设工地移动时,更准确地说想要在与建设工地对应的虚拟空间内移动时,通过自己实际地移动,从而图6所示的HMD2b的传感器部37能够对其信息进行检测,并变更在虚拟空间内的站立位置。
另一方面,在图11所示的c情形下,相关人员Ub可以自己不移动,而使预定建设的建筑物移动到容易观看的位置并显示。
即,除了与图11所示的b情形不同,自己移动来改变站立位置的情况之外,相关人员Ub通过自己不移动而使该建筑物自身移动到任意的地点并显示,能够从各种距离、角度对各种作业阶段的建筑物进行观看并确认。
在本实施方式中,相关人员Ub能够在操作控制器3b来指定施工工序的同时,对在所期望的站立位置并朝向所期望的方向时看得见的包含预定建设的建筑物的建设工地的景色(拍摄了该景色的照片)进行观看。
但是,相关人员Ub未必需要使用控制器3b来确定“站立位置”、“视线的方向(规定方向)”。例如,可以由HMD2b的传感器部37检测相关人员Ub的动作,确定相关人员Ub的“站立位置”、“视线的方向(规定方向)”。
进而,在图11所示的d情形下,示出了多个相关人员对预定建设的建筑物进行观看的情况的例子。即,如在图11所示的d情形中示出的那样,相关人员Ua和相关人员Ub能够对同一预定建设的建筑物进行观看。但是,相关人员Ua和相关人员Ub也可以不选择同一时间轴的预定建设的建筑物。即,相关人员Ua和相关人员Ub也可以分别选择不同的作业阶段的预定建设的建筑物来观看。
进一步来说,相关人员Ua和相关人员Ub可以不选择同一预定建设的建筑物。即,例如相关人员Ua可以对其他的预定建设的建筑物(其他的桥等)进行观看。
图12和图13是表示图1的信息处理系统能够实现的基本功能的一例的图,具体来说是表示采用了本发明的一实施方式的信息处理系统能够实现的基本功能中的“计划菜单”的情况的一例的图。
图12所示的a功能示出了向未图示的相关人员(例如相关人员U)显示与时间滑块T功能有关的图像的情况下的显示图像的一例。即,未图示的相关人员(例如相关人员U)能够根据该时间滑块功能对施工的状况进行确认、选择。
具体来说,例如在图12所示的a功能的例子中,由未图示的相关人员U选择了“11月1日”为施工日T。然后,未图示的相关人员U能够对与用时间滑块T选择了的施工阶段对应的预定建设的建筑物、工程表及施工计划等、与其相关的施工计划书等进行确认。
并且,在图12所示的a功能的例子中,“11月1日”的时间滑块T处的预定建设的建筑物的状况显示在图12所示的a功能的上部。
另外,在图12所示的b功能的例子中,示出了未图示的相关人员U从任意的地点对该“11月1日”的时间滑块T处的预定建设的建筑物的施工状况进行观看的情况的例子。
即,未图示的相关人员U能够通过操作例如显示于图像的人形图标P来确定在虚拟空间上的自己的站立位置。
由此,即使在如预定建设的建筑物较大且难以移动至自身想要确认的地点来实际确认的情况下,也能容易地对预定建设的建筑物进行确认。
具体来说,例如图12所示的c功能示出的那样,可举出在钢筋周围的作业体验、板桩(sheetpile)内的作业的确认。
另外,在图13所示的d功能至f功能中,示出了相关人员Ub可利用的各种定制(customizing)功能。
即,若观察图13所示d功能,则相关人员Ub能够在显示与实物一样大的3D对象的同时,对3D对象上的显示位置进行微调。如图13所示的e功能示出的那样,能够用高光、声音来辨别与实物一样大的3D对象与现实的人之间的接触。如图13所示的f功能示出的那样,能够配置与实物一样大的工程机械等来模拟施工作业。
若对以上内容进行总结,则相关人员U通过利用上述各种功能,能够预先发现在没有开始实际施工时注意不到的问题。
具体来说,例如,相关人员U通过在施工作业开始前等对与实物一样大的桥进行观看并事前进行研究,能够预先显现了如手臂无法穿过钢筋的网眼而导致无法作业这样的实际施工作业时可能发生的问题。
即,相关人员U由于通过利用上述各种功能从而更直观地容易理解施工工序,所以即使是相关人员U对施工作业不熟悉的情况下,也容易在施工前委托必要的建设工序的修正。
因此,能够期待建设作业中的成本的削减、工期的缩短、安全性的提高等,作为其结果,可期待顾客满意度的提高。
对图14和图15进行说明。图14和图15是表示图1的信息处理系统能够实现的功能中的设计变更菜单的一例的图。
图14和图15是表示本发明的一实施方式中的信息处理系统能够实现的基本功能的一例的图,具体来说是表示采用了本发明的一实施方式的信息处理系统能够实现的基本功能中的“设计变更菜单”的情况的一例的图。
在图14所示的a情形下,示出了相关人员Ua和相关人员Ub一边在虚拟空间上观看预定建设的3D对象一边进行讨论的情况。
具体来说,在图14所示的a情形下,相关人员Ua和相关人员Ub能够针对同一3D对象从各自所希望的“站立位置”和“角度”进行观看。
即,该建设工程的相关人员U(发包方、顾问和承包方等)能够边参考同一3D对象(及其关联的数据),边预测在施工作业的各工序中可能发生的问题,在存在“是否需要进行设计变更”的情况下,讨论“如何变更”,并且针对该3D对象的施工作业的各工序是否合适进行研究。
另外,在例如预先设想多个施工作业的工序的模式等情况下,也能够针对各施工作业的工序来确认模拟了成本、日程、安全性等的结果。
接下来,图14所示的b情形示出了在虚拟空间中对3D对象进行放大和缩小的情况的例子。
即,未图示的相关人员U也能够对以例如1/400倍、1/200倍、1/100倍、1/50倍、1/25倍、2倍等倍率将虚拟空间上预定建设的3D对象放大或缩小了的3D对象进行观看。
具体来说,在例如大型建筑物的情况下,虽然在设计时进行地质调查等,但是在开始施工后,有时明确了与设计时的预想是不同的。另外,这些功能能够对例如该建设工程的相关人员(发包方、顾问和承包方等)为了顺畅的交流而会聚一堂并交换意见的工程顺利化推进会议等做出足够的贡献。
图15所示的a功能和图15所示的b功能示出了在进行设计变更的情况下的一例。
若观察图15所示的a功能,则能够根据新的图纸数据对3D对象进行更新。能够用高光来辨别变更部分的设计图。此外,图纸上的变更部分只要能够以原有尺寸进行确认即可。
即,例如上述图14的情况,该建设工程的相关人员U(发包方、顾问和承包方等)进行了交换意见,其结果是在判断为需要进行设计变更的情况下,能够对与设计变更对应的新的3D对象进行观看并确认。
并且,若观察图15所示的b功能,则在进行了上述的设计变更的情况下,显示有设计变更前的成本和设计变更后的成本、设计变更前的工期和设计变更后的工期。
即,例如,未图示的相关人员U能够对上述的设计变更前后的成本、工期等进行确认。另外,未图示的相关人员U除成本、工期以外,还能够对例如日程、安全性等进行确认。
换言之,该建设工程的相关人员U(发包方、顾问和承包方等)通过共享相同的数据且用3D对象(3D模型)进行直观的表现,能够期待交流的顺畅化、生产效率的提高。
图16是表示图1的信息处理系统能够实现的基本功能的一例的图,具体来说是表示采用了本发明的一实施方式的信息处理系统能够实现的基本功能中的“维护菜单”的情况的一例的图。
在此,对现有的建设工程中的维护的问题点进行简单的说明。在现有的维护中,维护负责人能够获取的施工时的实际数据少,需要根据检查时有限的数据对维护的内容等进行判断。进一步来说,由于如果不到工地就无法判断维护的内容等,所以存在1位专家能够负责的工地数量有限的问题。
对于这一点,如果维护负责人利用了上述的信息处理系统,就能获取不只是维护时的检查数据而且还包含施工时的实际数据,所以能够根据更多的信息来做出正确的判断。
具体来说,如图16所示的a情形中示出的那样,维护负责人能够选择自己想要检查的日期作为时间滑块T,并参考所选择的检查数据。在图16所示的a情形的例子中,选择了2016年6月左右作为想要检查的日期。
在此,维护负责人能够参考的检查数据是指例如检查列表、照片、无人机视频、以及3D扫描数据等。
即,在图16所示的a情形的例子中,维护负责人能够参考在2016年7月左右进行的维护所使用的检查列表等,掌握在本次维护中进行哪些维护,做出关于自己维护的判断。
另外,若观察图16所示的b情形,则选择了2015年9月左右作为想要检查的日期。此外,此时维护负责人能够参考的数据有由例如确认书、进度、照片等构成的阶段确认结果文件(数据)。
即,在图16所示的b情形的例子中,维护负责人能够参考2015年9月左右的时点的在施工时的各种数据(确认书、进度、照片等),做出关于自己维护的判断。
通过采用如此的“维护菜单”,例如维护负责人能够实现正确的维护(维护管理、诊断管理),因此能够期待在整体上的品质提高。
另外,维护负责人无需在所建设的实际物体设置脚手架等,也无需前往工地就能够从远程地点进行维护(维护管理、诊断管理),因此能够由1位负责人负责更多的工地,因而能够期待生产率的提高。
图17是表示图1的信息处理系统能够实现的基本功能的一例的图,具体来说是表示采用了本发明的一实施方式的信息处理系统能够实现的基本功能中的“交流菜单”的情况的一例的图。
在图17的例子中示出了相关人员Ua和相关人员Ub存在于相隔一定距离的地点的情况的例子。
即,通过利用本发明的一实施方式的信息处理系统,即使在相关人员Ua和相关人员Ub位于分离的地方也能够在各自的地点对同一3D对象进行观看,并互相共享建设工地的图景。
具体来说,相关人员Ua(例如位于外出地点的销售代表)和相关人员Ub(例如位于工地的工地主管)通过一边在各自的所在地点对预定建设的3D对象进行观看,一边互相进行交流,能够针对在实际的建设工地的作业及其工序具体地实现图景的共享。
进一步来说,这种多位相关人员也能够一边在远程地点看着设计图等,一边用标记等对正在观看的3D对象的特定部位进行指示,同时进行对话。
以下,对于参考图17等进行了说明的“交流菜单”的内容,参考图18至图25对其功能的概要和变形例等进行说明。
首先,对“交流菜单”的内容进行简单的说明。
交流菜单是在例如正使用HMD2的相关人员Ua、相关人员Ub共同地观看配置在虚拟空间内的3D对象等,同时针对工程的施工状况、施工方针进行研究的情况下被使用。
具体地说明,例如设为相关人员Ua和相关人员Ub存在于互相不能直接进行交流的范围。
在这种情况下,例如能够彼此使用各自的HMD2来观看3D对象。然而,在例如相关人员Ua和相关人员Ub要针对对象物体中的一个领域的状况进行讨论的情况下,如果不能正确地掌握对方要针对3D对象的哪个部分进行讨论,则难以进行讨论。
因此,本实施方式中的交流菜单采用虚拟人物(AVATAR)配置功能作为用于各相关人员顺畅地实现交流的功能。
该虚拟人物配置功能是与交流菜单相关的功能中最为重要的功能之一。在虚拟人物配置功能中,例如在相关人员Ua佩戴的HMD2中,将与其他相关人员(例如相关人员Ub)在虚拟空间内的位置、角度对应的人形的对象(以下称为“虚拟人物”)配置在虚拟空间内。
即,相关人员Ua通过该虚拟人物功能,能够在视觉上掌握相关人员Ub在虚拟空间内的位置、角度,因此能够更顺利地与相关人员Ub进行交流。
此外,关于用于HMD2在虚拟空间内配置虚拟人物的具体方法、处理,将参考图18等在后面记述。另外,将该HMD2在虚拟空间内进行配置并使其显示在显示部36的一连串的处理统称为虚拟人物配置处理,对于该虚拟人物配置处理,也将参考图18等在后面记述。
图18是表示针对在图6的HMD的功能结构中与用图17等进行了说明的“交流菜单”有关的功能的功能结构的一例的功能框图。
在此,图18的HMD的硬件结构是在上述图6的硬件结构中添加了声音输入输出部42的结构。虽然未图示,但是声音输入输出部42与图6的输入输出接口35进行连接。
具体来说,例如声音输入输出部42由话筒和头戴式耳机(耳麦)构成。
话筒被输入外部的声音,将其转换为电信号(以下将这种信号称为“声音信息”),并提供给CPU31的处理部303。
头戴式耳机使用靠近相关人员Ua、相关人员Ub等的耳朵(鼓膜)的发声体(扬声器等)将从CPU31的处理部303提供的声音信息转换为声音。
另外,如图18所示,在HMD2的CPU31中,显示控制部301、时间信息获取部302和处理部303发挥功能。
在存储部38中设置有3维数据DB401、文档数据DB402和时间属性定义DB403。
处理部303执行与经由显示控制部301而显示在显示部36的图像有关的各种处理、和与向声音输入输出部42输入输出的声音有关的各种处理。
首先,对于与声音有关的各种处理,以用上述图17说明了的“对话”为例来进行说明。
为了使分别存在于分开的地点的相关人员Ua和相关人员Ub之间的对话成立,相关人员Ua和相关人员Ub需要分别佩戴着具有图18所示的功能的结构的HMD2。
在此,为便于说明,对相关人员Ua所佩戴的HMD2侧的结构和处理进行说明。当然,对于相关人员Ub所佩戴的HMD2,也能实现与以下说明相同的结构和处理。
相关人员Ua发出的声音被输入到声音输入输出部42而转换成声音信息,并提供给处理部303。处理部303执行使该声音信息从通信部39经由网络N发送到服务器1的控制处理。
该声音信息从服务器1经由网络N发送到相关人员Ub所佩戴的HMD2。由此,相关人员Ub能够听到从该HMD2输出的与该声音信息对应的声音即相关人员Ua发出的声音。
另一方面,相关人员Ub发出的声音被输入到该相关人员Ub所佩戴的HMD2,转换成声音信息并输出,经由网络N发送到服务器1。该声音信息进一步从服务器1经由网络N发送到相关人员Ua所佩戴的HMD2。
处理部303使通信部39接收该声音信息,并实施各种处理后提供至声音输入输出部42。由此,相关人员Ua能够听到从声音输入输出部42输出的与该声音信息对应的声音即相关人员Ub所发出的声音。
在此,由处理部303对声音信息施加的处理并不特别限定,能够采用各种各样的处理。例如,通过处理部303执行如下的处理。
即,当执行基于处理部303的与图像有关的处理(细节后述)时,以对话的对方(例如在相关人员Ua的立场下为相关人员Ub)的虚拟人物配置在虚拟空间内的所在位置(与现实空间的规定场所对应的位置)的方式,使佩戴HMD2的人(例如相关人员Ua)观看。即,将像这样观看的图像显示在显示部36。
在该情况下,处理部303对声音信息实施以下的处理:设为在虚拟空间内声音的发生源为该虚拟人物的存在位置,并根据该声音的发生源与声音的发送目标(佩戴HMD2的人,例如相关人员Ua)之间的位置关系来调整声音输出的平衡。由此,例如在虚拟空间内虚拟人物存在于声音的发送目标(佩戴HMD2的人,例如相关人员Ua)的右侧的情况下,该虚拟人物发出的声音(实际上是例如相关人员Ub等的对话的对方在分开的地点发出的声音)从声音输入输出部42的右侧的扬声器输出,能够从声音的发送目标的右耳听到。
以上,对处理部303的处理中与声音有关的处理的一例进行了说明。接下来,对处理部303的处理中与图像有关的处理的一例进行说明。
与图像有关的处理是指与使用上述图7说明的显示图像生成处理对应的处理。显示图像生成处理作为在服务器1侧执行的处理而进行了说明,但未必需要在服务器1侧执行所有的处理。因此,这里假设显示图像生成处理在HMD2侧执行,并进行以下的说明。
即,作为与显示图像有关的处理,通过处理部303来执行例如以上述的显示图像生成处理为基础的如下的处理。
因此,在此与在图7的例子中设置于服务器1的存储部18中的各种DB对应的数据库设为设置在HMD2的存储部38中的数据库。
即,3维数据DB401是与图7的对象DB500对应的数据库。在此,如用图9、图10说明的那样,3D对象被分为各层,并与时间信息(规定的期间)相关联。
文档数据DB402存储有阶段确认结果文件、显示在多窗口的检查文件、其他各种文件的数据(以下将这些统称为“文档数据”)。
时间属性定义DB403存储有3D对象的各层和包含与时间信息进行的对应等的时间属性定义的信息。
换言之,存储部38将3D对象(3D模型)存储在3维数据DB401,将文档数据(2维)存储在文档数据DB402,将时间属性定义(4维)的信息存储在时间属性定义DB403。
在此,对于3D对象(3D模型),将最小模型单位设为层。对于文档数据,将文件单位设为层。
并且,对于各层,将由开始时刻和结束时刻表示的时间轴(期间)定义为时间属性。将这些按各层定义的内容设为时间属性定义的信息。
处理部303通过检索3维数据DB401和时间属性定义DB403来获取与由后述的时间信息获取部302指示的任意的时间轴(期间)或者时刻(例如2015年6月15日上午10点10分的时点)相关联的各层的信息。处理部303通过层叠这些各层来生成3D对象。
处理部303构建虚拟空间并配置上述3D对象。
处理部303在该虚拟空间内除了配置3D对象以外,还配置上述时间滑块T等各种各样的信息。
在此,处理部303还使对话的对方(例如在相关人员Ua立场下为相关人员Ub)的虚拟人物配置在虚拟空间内的所在位置(与现实空间的规定场所对应的位置)。
具体来说,例如处理部303为了在远程环境下的虚拟空间上配置虚拟人物而执行以下的处理。
即,在相关人员Ub等的对话的对方的HMD2中,取得表示存在位置的信息或用于确定该存在位置处的视点的信息、即距离基准点的位置、距离基准点的高度、头部的倾斜度、视线等信息作为虚拟人物信息,并发送给服务器1。
在此,基准点是指作为用于掌握相关人员U佩戴的HMD2的在虚拟空间中的虚拟人物或3D对象的配置位置、信息的基准的在虚拟空间上的基准的点。
由于该虚拟人物信息从服务器1发送来,所以处理部303通过通信部39来获取。处理部303根据该虚拟人物信息,使相关人员Ub等的对话的对方的虚拟人物配置在虚拟空间内。
在此,即使在相关人员Ub等的对话的对方的HMD2中,也构建了虚拟空间,因此需要使佩戴了HMD2的人(相关人员Ua等)的虚拟人物配置在该虚拟空间内。因此,处理部303基于来自传感器部37的信息等,生成佩戴了HMD2的人(相关人员Ua等)的虚拟人物信息,并经由通信部39发送到服务器1。
如以上所述,在处理部303中,能够执行包含与交流菜单有关的在虚拟空间上配置虚拟人物的虚拟人物配置处理的各种处理,由此,使用HMD2的各相关人员(例如Ua和Ub)能够更顺畅地进行交流。
时间信息获取部302经由通信部39获取与任意的时间轴(时间)或时刻有关的信息(以下称为“指定时间信息”)。
在此,指定时间信息除了例如通过未图示的控制器3进行的操作之外,还可以从服务器1、其他的HMD2获取。
进一步来说,例如,相关人员Ua和相关人员Ub所获取的指定时间信息可以是相同的,也可以未必是相同的。在使相关人员Ua和相关人员Ub获取相同的指定时间信息的情况下,例如可以预先确定主用户(例如相关人员Ua)和从属用户(例如相关人员Ub),将由主用户的HMD2获取到的指定时间信息作为由从属用户的HMD2获取的信息。
显示控制部301执行在显示部36显示3维数据(例如3D对象)、2维数据(例如文档数据)、虚拟人物等的控制。
此外,显示控制部301可以针对显示于显示部36的虚拟人物,不仅执行将其显示的控制,还可以执行如以下那样进行显示的控制。
具体来说,例如显示控制部301可以执行使与发出声音的相关人员对应的虚拟人物进行闪烁来显示的控制。
另外,显示控制部301可以执行将各相关人员的姓名显示在与各相关人员对应的虚拟人物的头上的控制。
另外,例如,显示控制部301可以执行与各相关人员的头部的动作连动地使虚拟人物的头部活动的控制。
图19是表示用于实现图18的“交流菜单”的各种信息的收发和虚拟人物的的配置条件的图。
在此,“本地”是指接收者和发送者存在于能够直接交流的范围内的情况。具体来说,例如接收者和发送者在同一会议室内使用HMD2进行会议的情况。
在此,“远程”是指接收者和发送者不存在于能够直接交流的范围内的情况。具体来说,例如在远程地点(东京和大阪等)互相使用HMD2进行会议的情况。
另外,发送者是指对由传感器部37等获取到的虚拟人物信息等进行发送的人,接收者是指获取由发送者接收到的虚拟人物信息等的人。
具体来说,如下所述。
如图19所示,例如在最上层的一栏里,从左侧起显示了“用户的关系发送者-接收者”、“位置”、“高度”、“声音”、“操作”、“虚拟人物显示”。
最上层的“用户的关系发送者-接收者”表示发送者与接收者的关系。
具体来说,例如左侧表示发送者,右侧表示接收者,“本地-本地”是发送者和接收者双方都在本地环境下的情况。
另外,最上层的“位置”是与距离由发送者侧所佩戴的HMD2的传感器部37获取到的基准点的位置有关的信息。
另外,最上层的“高度”是与距离由发送者侧所佩戴的HMD2的传感器部37获取到的基准点的高度有关的信息。
另外,最上层的“声音”是由发送者侧所佩戴的HMD2的声音输入输出部42获取到的声音信息。
另外,最上层的“操作”是指例如与用于使3D对象进行配置的时间信息的操作有关的信息(以下称为“操作信息”),上述3D对象使用了基于发送者侧的控制器3等的时间滑块功能。
另外,最上层的“虚拟人物显示”是将发送者侧的虚拟人物相对于接收者进行显示、即虚拟人物的配置。
在此,“○”意味着在“位置”、“高度”、“操作”的情况下发送者发送上述的信息,在“声音”、“虚拟人物显示”的情况下进行声音的输出、虚拟人物的配置。“×”意味着在“位置”、“高度”、“操作”的情况下发送者不发送上述信息,在“声音”、“虚拟人物显示”的情况下不进行声音的输出、虚拟人物的配置。
(1)关于“本地-本地”的情况。
在1位发送者和1位以上的接收者双方都存在于本地环境的情况下,“位置”、“高度”、“操作”的栏为“○”,发送者发送与距离基准点的位置、高度有关的信息、操作信息。另一方面,“声音”和“虚拟人物显示”的栏为“×”,不向接收者进行声音的输出、虚拟人物的配置。
这是因为,由于发送者和接收者都存在于本地环境中,所以虽然发送者发送与距离基准点的位置、高度有关的信息,但是不需要配置虚拟人物。另外,对于声音信息,也由于发送者和接收者都存在于本地环境中,所以虽然将声音信息发送给接收者,但是不需要进行输出。
由此,在(1)的情况下,在接收者所佩戴的HMD2中配置3D对象,且不配置发送者的虚拟人物。
(2)关于“远程-本地”的情况。
在1位发送者存在于远程环境中,而1位以上的接收者存在于本地环境中的情况下,“位置”、“高度”、“声音”、“操作”和“虚拟人物”为“○”。即,发送者向接收者进行与距离基准点的位置、高度有关的信息、声音信息、操作信息、虚拟人物的配置。由此,在(2)的情况下,在接收者所佩戴的HMD2中配置3D对象以及发送者的声音的输出、虚拟人物。
(3)关于“本地-远程”的情况。
在1位发送者存在于本地环境中,而1位以上的接收者存在于远程环境中的情况下,“位置”、“高度”、“声音”、“操作”和“虚拟人物显示”为“○”。即,与上述(2)相同地,发送者向接收者发送上述各种信息,并进行虚拟人物的配置。由此,在(3)的情况下,与(2)相同地,在接收者所佩戴的HMD2中配置3D对象以及发送者的声音的输出、虚拟人物。
图20是表示现有技术的在同一空间的3D对象的配置的图。
在此,为便于说明,将相关人员Ua所佩戴的HMD2设为HMD2-a,将相关人员Ub所佩戴的HMD2设为HMD2-b来进行说明。
在图20所示的a情形下,在此例如相关人员Ua存在于东京总公司的办公室等的规定空间(本地环境或远程环境)。
在图20所示的a情形下,相关人员Ua在上述规定空间中,能够对由相关人员Ua所佩戴的HMD2-a的显示部36显示的虚拟空间上的3D对象进行观看。
在此,图20所示的a情形下的基准点A是作为基准的虚拟空间上的点,该基准用于掌握相关人员Ua所佩戴的HMD2-a的虚拟空间中的虚拟人物或3D对象的配置位置、信息。并且,通过相关人员Ua设定基准点A,在虚拟空间上基准点A被固定,因此在图20所示的a情形下,在现有技术中能够以基准点A为中心而对3D对象进行配置。
在此,对于基准点A的设定方法,并不特别限定,具体来说,例如相关人员Ua可以使用在此未图示的控制器3等,将想要在虚拟空间上配置3D对象的任意的位置设定为基准点。
由此,相关人员Ua在观看3D对象时,能够与房间的宽度、窄度无关地将任意的位置设定为基准点,因此能够在自己容易看到的位置进行3D对象等的配置。
另外,相同地,在图20所示的b情形下,在此,例如相关人员Ub存在于大阪分公司的办公室等的与相关人员Ua不同的规定空间(以下称为“远程地点”)。
在图20所示的b情形下,相关人员Ub在例如上述远程地点能够对由相关人员Ub所佩戴的HMD2-b的显示部36显示的虚拟空间上的3D对象进行观看。
在此,在图20所示的b情形下,基准点A'是与基准点A相同地作为基准的虚拟空间上的基准的点,该基准用于掌握相关人员Ub所佩戴的HMD2-b的虚拟空间中的虚拟人物或3D对象的配置位置、信息。并且,通过相关人员Ub设定基准点A',在虚拟空间上基准点A'被固定,因此在图20所示的b情形下,在现有技术中能够以基准点A'为中心而对3D对象进行配置。对于基准点A’的设定方法,能够使用与基准点A的设定方法相同的方法由相关人员Ub进行设定。
由此,相关人员Ub在观看3D对象时,能够与房间的宽度、窄度无关地将任意的位置设定为基准点,因此能够在自己容易看到的位置进行3D对象等的配置。
另外,在图20所示的c情形下,在此例如相关人员Ua和相关人员Ub存在于同一规定空间。
并且,在图20所示的c情形下,在由相关人员Ua和相关人员Ub分别佩戴的HMD2-a和2-b的显示部36显示的虚拟空间上能够观看3D对象。
在此,例如相关人员Ua所佩戴的HMD2-a或相关人员Ub所佩戴的HMD2-b能够使相关人员Ua设定的基准点A和相关人员Ub设定的基准点A'成为相同的位置。
由此,在现有技术中,通过使相关人员Ua所设定的基准点A和相关人员Ub所设定的基准点A'成为相同的位置,能够由现有技术的设备识别距离该基准点A的方向、距离,并在同一虚拟空间上进行3D对象等的配置。
由此,在图20所示的c情形下,在相关人员Ua和相关人员Ub分别佩戴的HMD2-a和2-b的虚拟空间上配置同一3D对象,相关人员Ua能够从正面观看该3D对象,相关人员Ub能够从背面观看该3D对象。
另外,相关人员Ua和相关人员Ub能够通过共享同一虚拟空间来配置同一3D对象,并进行交流。
对图21进行说明。
图21是与现有技术的在同一空间的相关人员的移动有关的图。
如图21所示,在现有技术中,在同一空间存在多位相关人员U(例如相关人员Ua和相关人员Ub)的情况下,相关人员Ua和相关人员Ub能够一边自己移动,一边在上述同一虚拟空间上对同一3D对象进行观看。
另外,即使在相关人员Ua和相关人员Ub分别移动的情况下,也由于上述的设定的基准点A被固定,所以基于所固定的基准点A来配置3D对象。由此,相关人员Ua和相关人员Ub能够通过自己移动,在同一虚拟空间上以各种位置、角度对同一3D对象等进行观看。
图22是与在使用远程交流的另一空间中的相关人员的移动有关的图。
远程交流是指,多位相关人员U各自间隔有一定距离的情况下,使用HMD2通过服务器1由多个人分别在同一虚拟空间内使3D对象、虚拟人物等进行配置并进行对话、会议等。
例如,建设业务涉及到多位相关人员U。因此,多位相关人员U进行作业工序等的识别的共享化是非常重要的。因此,使用上述的远程交流,多位相关人员U一边同时在虚拟空间上对同一3D对象等进行参考、操作等,一边预先商讨每个工序的细节,除此之外还进行工地的安全性的确认等。
另外,例如相关人员Ua能够与存在于远程地点的相关人员Ub一起经由网络N配置同一3D对象,并且边识别各自的位置、视线等边进行对话、会议等。
此外,相关人员Ua通过在虚拟空间上使存在于远程地点的相关人员Ub作为虚拟人物Ub'进行配置,能够进行更接近现实的交流。
如图22所示,在此,例如是相关人员Ua存在于东京总公司的办公室等,而相关人员Ub存在于大阪分公司的办公室等远程地点的情况。
因此,相关人员Ua在相关人员Ua所佩戴的HMD2-a的虚拟空间上观看3D对象,观看存在于远程地点的相关人员Ub作为虚拟人物Ub'。
在图22的例子中,对相关人员Ua观看的3D对象和相关人员Ub的虚拟人物Ub'进行说明。
具体来说,例如,相关人员Ua能够一边自己移动一边观看显示在虚拟空间上的3D对象和相关人员Ub的虚拟人物Ub'。另外,相关人员Ub所佩戴的HMD2-b经由传感器部37获取与该相关人员Ub的动作对应的相关人员Ub的虚拟人物信息(距离基准点A的位置、角度等)。然后,将所获取的相关人员Ub的虚拟人物信息发送给相关人员Ua所佩戴的HMD2-a。
相关人员Ua所佩戴的HMD2-a获取该相关人员Ub的虚拟人物信息,基于该信息,配置(或重新配置)与相关人员Ub对应的虚拟人物Ub'并在显示部36显示。
即,通过进行这样的交谈,相关人员Ua和相关人员Ub能够在自己所佩戴的各HMD2-a和2-b中,观看反映了与3D对象的位置关系等的虚拟人物Ua'和Ub',因此即使在相关人员Ua和相关人员Ub分别存在于如不能直接进行交流这样的分离的空间的情况下,也能够通过网络N在同一虚拟空间内进行相互连动的表现。此外,对于图23也是相同的。
图23是与使用了远程交流的另一空间中的相关人员的移动有关的图,是表示与图22不同的例子的图。
如图23所示,与图22的例子相同地,是相关人员Ua存在于东京总公司的办公室等,而相关人员Ub存在于大阪分公司的办公室等远程地点的情况。
因此,相关人员Ub在相关人员Ub所佩戴的HMD2-b的虚拟空间上观看3D对象,观看存在于东京总公司的办公室等的相关人员Ua作为虚拟人物Ua'。
在图23的例子中,与图22的例子不同,对相关人员Ub观看的3D对象和相关人员Ua的虚拟人物Ua'进行说明。
具体来说,例如,与图22相同地,相关人员Ub能够一边自己移动一边观看显示在虚拟空间上的3D对象和相关人员Ua的虚拟人物Ua'。另外,相关人员Ua所佩戴的HMD2-a经由传感器部37获取与该相关人员Ua的动作对应的相关人员Ua的虚拟人物信息。然后,将所获取的的虚拟人物信息发送给相关人员Ub所佩戴的HMD2-b。
相关人员Ub所佩戴的HMD2-b能够获取该相关人员Ua的虚拟人物信息,基于该信息,配置(或重新配置)与相关人员Ua对应的虚拟人物Ua'并在显示部36显示。
图24是与图22和图23的通过远程交流进行的虚拟人物的配置有关的图。
在此,为了便于说明,以相关人员U是相关人员Ua、相关人员Ub和相关人员Uc这3位为例,对识别虚拟人物的声音发出者进行说明。
另外,将相关人员Ua所佩戴的HMD2设为HMD2-a、将相关人员Ub所佩戴的HMD2设为HMD2-b、将相关人员Uc所佩戴的HMD2设为HMD2-c来进行说明。
此外,作为前提,在图24中未图示的服务器1与HMD2-a、HMD2-b和HMD2-c间分别进行通信,接收各种信息。换言之,HMD2-a、HMD2-b和HMD2-c分别总是经由服务器1对表示自己的位置的信息、虚拟人物信息、声音信息等的要相互交换的信息(以下称为“交换信息”)进行收发。
因此,HMD2-a、HMD2-b和HMD2-c分别基于这些交换信息进行如下的处理。
在图24所示的a情形下,设为例如相关人员Ua、相关人员Ub和相关人员Uc存在于东京总公司的办公室等的同一空间。
在该情况下,相关人员Ua、相关人员Ub和相关人员Uc分别能够识别实际人物的存在。因此,相关人员Ua至Uc各自佩戴的各HMD2-a至2-c不输出声音,另外能够不使虚拟人物配置在虚拟空间上。
对是否配置虚拟空间上的虚拟人物和有无输出声音进行说明。
虽然在图18中省略了说明,但例如相关人员Ua至Uc各自佩戴的各HMD2-a至2-c能够具有对利用了GPS(Global Positioning System:全球定位系统)等的自己的当前位置(例如上述东京总公司的办公室)的信息进行通知的功能。
因此,例如相关人员Ua所佩戴的HMD2-a除了上述当前位置的信息以外,还将虚拟人物信息、声音信息等作为交换信息,经由服务器1发送给HMD2-b、2-c的每一个。
相同地,HMD2-b将交换信息经由服务器1发送给HMD2-a、2-c的每一个。HMD2-c将交换信息经由服务器1发送给HMD2-a、2-b的每一个。
像这样地,服务器1能够获取各HMD2-a至2-c的每一个的交换信息,因此例如基于各HMD2-a至2-c的每一个的所在位置的信息来判断相关人员Ua、相关人员Ub和相关人员Uc存在于一定的范围内。即,例如,服务器1判断为图19所示的(1)“本地-本地”的情况。
因此,相关人员Ua所佩戴的HMD2-a虽然接收了来自HMD2-b和2-c的交换信息(声音信息、虚拟人物信息等),但是不进行相关人员Ub和相关人员Uc的各自的声音输出,另外也不进行相关人员Ub的虚拟人物Ub'和相关人员Uc的虚拟人物Uc'的配置。
由此,在相关人员Ua所佩戴的HMD2-a的显示部36显示的虚拟空间中配置3D对象等,但不配置相关人员Ub的虚拟人物Ub'和相关人员Uc的虚拟人物Uc',也不从声音输入输出部42输出相关人员Ub和相关人员Uc的声音。
相同地,相关人员Ub所佩戴的HMD2-b虽然接收了来自HMD2-a和2-c的交换信息(声音信息、虚拟人物信息等),但是不进行相关人员Ua和相关人员Uc的各自的声音输出,另外不进行相关人员Ua的虚拟人物Ua'和相关人员Uc的虚拟人物Uc'的配置。
由此,在相关人员Ub所佩戴的HMD2-b的显示部36显示的虚拟空间中配置3D对象等,但不配置相关人员Ua的虚拟人物Ua'和相关人员Uc的虚拟人物Uc',也不从声音输入输出部42输出相关人员Ua和相关人员Uc的声音。
相同地,相关人员Uc所佩戴的HMD2-c虽然接收了来自HMD2-a和2-b的交换信息(声音信息、虚拟人物信息等),但是不进行相关人员Ua和相关人员Ub的各自的声音输出,另外也不进行相关人员Ua的虚拟人物Ua'和相关人员Ub的虚拟人物Ub'的配置。
由此,在相关人员Uc所佩戴的HMD2-c的显示部36显示的虚拟空间中配置3D对象等,但不配置相关人员Ua的虚拟人物Ua'和相关人员Ub的虚拟人物Ub',也不从声音输入输出部42输出相关人员Ua和相关人员Ub的声音。
此外,上述所在位置的信息并不限于GPS功能,例如也可以是通过信标(beacon)等的功能进行的所在位置的获取、发送。
另外,在图24所示的b情形的上半部分图中,设为例如相关人员Ua和相关人员Uc存在于东京总公司的办公室等的同一空间,相关人员Ub存在于大阪分公司的办公室等的另一空间。在该情况下,相关人员Ua和相关人员Uc能够识别实际的相关人员Ua和相关人员Uc的存在。但是,相关人员Ua和相关人员Uc不能够识别实际的相关人员Ub的存在。
因此,相关人员Ua和相关人员Uc各自所佩戴的HMD2-a和HMD2-c能够输出相关人员Ub的声音,另外能够在虚拟空间上配置相关人员Ub的虚拟人物Ub'。另外,相关人员Ua和相关人员Uc各自所佩戴的HMD2-a和HMD2-c能够不输出相关人员Ua和相关人员Uc的声音,另外不使相关人员Ua的虚拟人物Ua'和相关人员Uc的虚拟人物Uc'配置在虚拟空间上。
在此,对是否配置虚拟空间上的虚拟人物和有无输出声音进行说明。
例如相关人员Ua和相关人员Uc所佩戴的HMD2-a和HMD2-c除了当前位置信息以外,还将虚拟人物信息、声音信息等作为交换信息,经由服务器1发送给HMD2-b。
相同地,HMD2-b将交换信息经由服务器1分别发送给HMD2-a和2-c。此外,在HMD2-a和HMD2-c之间也将交换信息经由服务器1互相发送。
像这样地,服务器1能够获取HMD2-a至2-c的每一个的交换信息,因此例如基于各HMD2-a至2-c的每一个的所在位置的信息,判断为相关人员Ua与相关人员Uc存在于一定的范围内,相关人员Ub与相关人员Ua及相关人员Uc存在于一定的范围之外。即,对于相关人员Ua及相关人员Uc、和相关人员Ub的所在位置,服务器1判断为例如图19所示的(2)“远程-本地”或(3)“本地-远程”的情况。
因此,如图24所示的b情形的下半部分图那样,相关人员Ua和相关人员Uc所佩戴的HMD2-a和HMD2-c接收来自HMD2-b的交换信息(声音信息、虚拟人物信息等),输出相关人员Ub的声音,另外进行相关人员Ub的虚拟人物Ub'的配置。
由此,在相关人员Ua和相关人员Uc所佩戴的HMD2-a和HMD2-c的显示部36显示的虚拟空间中除配置3D对象等以外,还配置相关人员Ub的虚拟人物Ub',并从声音输入输出部42输出相关人员Ub的声音。
另外,相同地,相关人员Ub所佩戴的HMD2-b接收来自HMD2-a和HMD2-c的交换信息(声音信息、虚拟人物信息等),输出相关人员Ua和相关人员Uc的声音,另外进行相关人员Ua和相关人员Uc的虚拟人物Ua'和虚拟人物Uc'的配置。
由此,在相关人员Ub所佩戴的HMD2-b的显示部36显示的虚拟空间中除配置3D对象等以外,还配置相关人员Ua和相关人员Uc的虚拟人物Ua'和虚拟人物Uc',并从声音输入输出部42输出相关人员Ua和相关人员Uc的声音。
此外,在存在于同一空间的相关人员Ua和相关人员Uc所佩戴的HMD2-a和HMD2-c中,在显示于显示部36的虚拟空间不配置相关人员Ua的虚拟人物Ua'和相关人员Uc的虚拟人物Uc',也不从声音输入输出部42输出相关人员Ua和相关人员Uc的声音。
在图24所示的c情形下,示出了相关人员Ua、相关人员Ub和相关人员Uc与各自的虚拟人物之间的关系。
在此,在图24所示的c情形的上半部分图中,进行远程交流的多位相关人员U的数量与多位相关人员的虚拟人物U'的数量相同。
例如,相关人员Ua至Uc各自所佩戴的各HMD2-a至2-c根据接收到的虚拟人物信息,将不在同一空间的相关人员Ua至Uc的虚拟人物Ua'至Uc'配置在虚拟空间上。
即,在由相关人员Ua至Uc各自所佩戴的各HMD2-a至2-c的显示部36显示的虚拟空间上,作为虚拟人物来配置,从声音输入输出部42输出声音,因此相关人员Ua、相关人员Ub和相关人员Uc能够识别彼此好像存在于同一空间一样。
另外,图24所示c情形的下半部分图中,例如,在通过相关人员Ub和相关人员Uc进行移动而更换了位置的情况下,相关人员Ua能够观看的虚拟空间上的相关人员Ub的虚拟人物Ub'的配置也进行更换。
即,相关人员Ua的HMD2-a的处理部303能够通过通信部39获取与移动后的相关人员Ub对应的相关人员Ub的虚拟人物信息,并根据该虚拟人物信息使在显示部36显示的虚拟空间上的虚拟人物的配置的位置发生变化。因此,相关人员Ub的虚拟人物Ub'的配置的位置由于相关人员Ub的移动而发生变化。
由此,即使相关人员Ub和相关人员Uc进行移动而各自的位置发生了改变,相关人员Ua也能够识别各自的位置改变的情况。
图25是表示本发明的一实施方式的信息系统能够实现的功能中对交流时的声音发出者进行识别时的一例的图。
在图25中,在由相关人员Ua所佩戴的HMD2-a的显示部36显示的虚拟空间上,配置有相关人员Ub和相关人员Uc的虚拟人物Ub'和Uc'。
如图25所示,在由相关人员Ua所佩戴的HMD2-a的显示部36显示的虚拟空间中配置的虚拟人物为多个的情况下,仅观看该虚拟人物,相关人员Ua很难确定哪个相关人员U进行了发言。
因此,在相关人员Ub是发出声音的人(以下称为“声音发出者”)的情况下,例如,以使虚拟人物闪烁或其颜色变化等的方式使相关人员Ub的虚拟人物Ub'与虚拟空间上的边界(包含边缘、深处)处使虚拟人物闪烁或变化其颜色等。
作为使虚拟人物闪烁或其颜色变化等的方法,具体来说,例如相关人员Ua所佩戴的HMD2-a能够通过服务器1获取相关人员Ub的声音信息,并在获取了该声音信息的期间使相关人员Ub的虚拟人物Ub'闪烁或使其颜色等变化。
即,若从相关人员Ub发出声音,则该声音输入到相关人员Ub所佩戴的HMD2-b的声音输入输出部42,并转换为声音信息,获取相关人员Ub的声音作为声音信息。上述的声音信息经由网络N和服务器1发送到相关人员Ua所佩戴的HMD2-a的处理部303。然后,例如相关人员Ua所佩戴的HMD2-a的显示控制部301以获取到声音信息为条件,来进行用于使相关人员Ub的虚拟人物闪烁等的控制。然后,能够使相关人员Ua的HMD2-a显示部36显示上述的相关人员Ub的虚拟人物。
由此,相关人员Ua能够观看使相关人员Ub的虚拟人物Ub'闪烁或其颜色发生了变化的情况,因此能够确定相关人员Ub是声音发出者。
由此,相关人员Ua能够通过虚拟空间的虚拟人物来识别是哪个相关人员U正在发言,能够顺畅地进行交流。另外,还能够在虚拟人物上显示相关人员的姓名、名称等,能够识别是谁正在发言,能够更顺畅地进行交流。
以下,进一步参考图26至图28,对虚拟人物的配置和声音的识别进行详细的说明。
图26是相关人员存在于不同的2个以上的现实空间的情况的图。
在图26的例子中,相关人员Ua存在于东京总公司的办公室等现实空间RA1,相关人员Ub和相关人员Uc存在于大阪分公司的办公室等现实空间RA2。
虽然在图26中未图示,但是相关人员Ua至Uc分别佩戴了HMD2。服务器1经由网络N对相关人员Ua至Uc的每一个所佩戴的各HMD2-a至2-c进行控制。例如由于从相关人员Ua所佩戴的HMD2-a发送了相关人员Ua的声音信息和虚拟人物信息,所以服务器1将相关人员Ua的声音信息和虚拟人物信息分别发送到其他相关人员U(在图26的例子中为相关人员Ub和相关人员Uc)的各HMD2-b和2-c。其他的相关人员Ub和相关人员Uc的各虚拟人物信息和声音信息也同样地发送到其他的相关人员U的各HMD2。像这样,相关人员Ua至Uc的各虚拟人物信息和各声音信息在相关人员Ua至Uc的各自所佩戴的各HMD2-a至2-c中共享。
在此,如图26所示,所共享的虚拟人物信息包含关于虚拟空间内的虚拟人物的距离基准点的位置(X、Y坐标)、距离基准点的高度(Z坐标)、头部的朝向(上下左右方向)、视线(指向)。声音信息包含声音(话筒输入)的数据。
此外,与距离上述基准点的位置有关的信息是例如将在现实空间上从事先确定的位置到HMD2的相对距离表示为坐标(X、Y、Z)的信息。具体来说,上述位置信息是将现实空间上的从基准点到HMD2的位置设为坐标(X、Y),将现实空间上的从基准点到HMD2的高度设为坐标(Z)的信息。
即,HMD2的传感器部37基于现实空间上的从基准点到HMD的相对距离(现实空间上获取的坐标位置),在虚拟空间内的与上述坐标对应的位置配置虚拟人物。
另外,头部的朝向是与由HMD2的传感器部37(例如加速度传感器)得到的HMD2的倾斜度有关的信息。即,在使用各HMD2的相关人员的头部向上下左右倾斜的情况下,传感器部37获取与该动作对应的倾斜度有关的数值。
在图26的例子中,存在于现实空间RA1的相关人员Ua所佩戴的HMD2-a、存在于现实空间RA2的相关人员Ub和相关人员Uc所佩戴的HMD2-b和2-c的每一个中,能够经由网络N共享上述的各种信息。由此,HMD2-a至2-c的每一个都能够在虚拟空间内配置与相关人员各自的位置等对应的虚拟人物。
接下来,边参考图27,边对基准点和获取的各种信息之间的关系进行更详细的说明。图27是从现实空间RA1的相关人员Ua观察的情况下的与显示对象有关的图。
在图27的例子中,与图26的例子相同地,设为在现实空间RA1仅存在相关人员Ua,在现实空间RA2存在相关人员Ub和Uc。
当观察图27时,示出了3D对象的相对位置是(x:-1,y:1),虚拟人物Ub'的相对位置是(x:0,y:-3),虚拟人物Uc'的相对位置是(x:3,y:-3)。
即,示出了要配置3D对象、虚拟人物Ub'和虚拟人物Uc'的虚拟空间内的(距离所设定的基准点的)位置为各自的相对位置。在此,如上所述,要配置虚拟人物Ub'和虚拟人物Uc'的虚拟空间内的位置是基于存在于现实空间RA2的相关人员Ub和相关人员Uc的(距离所设定的基准点的)位置来决定的。
在此,作为前提,在相关人员Ua至Uc所佩戴的HMD2-a至2-c中,在距离基准点的位置是(x:-1,y:1)的位置,共同地显示3D对象。然后,例如,相关人员Ub从任意的位置和角度对这样显示的3D对象进行观看。相关人员Ub所佩戴的HMD2-b如上所述,通过将与这样的相关人员Ub的动作对应的位置信息等经由网络发送到相关人员Ua所佩戴的HMD2-a等,能够对相关人员Ub的相对位置等虚拟人物信息等进行共享。
并且,在相关人员Ua所佩戴的HMD2-a中,基于所共享的相关人员Ub的相对位置,在虚拟空间内的规定的位置配置虚拟人物Ub'。
另外,与图27相同地,边参考图28,边对基准点和获取的各种信息之间的关系进行详细的说明。图28是从现实空间RA2的相关人员Ub和相关人员Uc观察的情况下的与显示对象有关的图。
在图28的例子中,与图26的例子相同地,设为在现实空间RA1仅存在相关人员Ua,在现实空间RA2存在相关人员Ub和Uc。
若观察图28时,示出了3D对象的相对位置是(x:-1,y:1),虚拟人物Ua'的相对位置是(x:-3,y:-3)。
即,要配置3D对象、虚拟人物Ua'的虚拟空间内的(距离所设定的基准点的)的位置是各自的相对位置。在此,如上所述,要配置虚拟人物Ua'的虚拟空间内的位置是基于存在于现实空间RA1的相关人员Ua的(距离所设定的基准点的)位置来决定的。
在此,作为前提,在相关人员Ua至Uc所佩戴的HMD2-a乃至2-c中,在距离基准点的相对位置是(x:-1,y:1)的位置,共同地显示3D对象。然后,例如,相关人员Ub从任意的位置和角度对这样显示的3D对象进行观看。相关人员Ub所佩戴的HMD2-b如上所述,通过将与这样的相关人员Ub的动作对应的位置信息等经由网络发送到相关人员Ua所佩戴的HMD2-a等,能够对相关人员Ub的相对位置等虚拟人物信息等进行共享。
并且,在相关人员Ub和相关人员Uc所佩戴的HMD2-b和2-c的每一个中,基于所共享的相关人员Ub的相对位置,在虚拟空间内的规定的位置配置虚拟人物Ua'。
另外,例如在上述实施方式(特别是图1至图8所示的实施方式)中采用3D对象或3D模型作为配置在虚拟空间内的对象来进行了说明,但并不特别限定于此。
即,所谓对象并不限于由3D构成的对象,也可以采用例如由2D(在平面上)构成的对象。
另外,例如在上述实施方式(特别是图17、图22至图28所示的实施方式)中,在虚拟空间内配置虚拟人物、3D对象,并进行交流,但并不特别限定于此。
即,不限于虚拟人物、3D对象,也可以在虚拟空间上配置例如必要的资料数据、文档数据等。
在此,相关人员U所佩戴的HMD2能够将上述远程交流所需要的资料数据、文档数据作为电子数据而存储在文档数据DB402。然后,相关人员U所佩戴的HMD2从文档数据DB402中抽取想要配置在虚拟空间上的文档数据。相关人员U所佩戴的HMD2能够在虚拟空间上将上述文档数据与其他的相关人员U的虚拟人物U'、3D对象一起进行显示。由此,相关人员U通过在同一虚拟空间上使3D对象、需要的数据等可视化,能够进行使用了大空间的确认、协商。
另外,例如在上述实施方式中,作为本服务,以对于规定的建设工程的相关人员能够针对该建设工程中作为对象的建筑物一边模拟体验施工状态、竣工时的状况等一边进行各种施工工序的确认的服务为例进行了说明,但并不特别限定于此。即,本发明的一实施方式的信息处理系统例如不仅是建设工程,还能够在制造业、服务业等、包含金融产业等的产业等可应用的所有场景下应用。
另外,例如上述一连串的处理能够通过硬件来执行,也能够通过软件来执行。
换言之,图7和图18的功能结构只不过是示例,并不特别限定。
即,只要信息处理系统具有能够将上述一连串的处理作为整体来执行的功能即可,为实现该功能而使用哪种功能模块并不特别限定于图2的例子。另外,功能模块的存在地点并不特别限定于图7和图18,可以是任意的。
具体来说,例如可以将存储在图18的存储部38中的3维数据DB401、文档数据DB402和时间属性定义DB403存储到服务器1的存储部18。另外,也可以使服务器1具有处理部303。
另外,1个功能块可以由硬件单体构成,也可以由软件单体构成,还可以由这些的组合构成。
另外,例如在通过软件执行一连串的处理的情况下,构成该软件的程序从网络、存储介质安装到计算机等中。
计算机可以是组装到专用的硬件的计算机。
另外,计算机可以是通过安装各种程序就能够执行各种功能的计算机,例如是服务器以外的通用智能手机、个人计算机。
另外,例如包含这种程序的存储介质不仅由为了向用户提供程序而与装置主体不同地分布的未图示的可移动介质构成,而且由以预先组装到装置主体的状态提供给用户的存储介质等构成。
此外,在本说明书中,在对记录在记录介质的程序进行记述的步骤中,当然包含按照其顺序时序地执行的处理,而且包含尽管未必时序地执行但并行或单独地执行的处理。
另外,在本说明书中,设为系统的术语意味着由多个装置或多个单元等构成的整体的装置。
附图标记说明
1:服务器
2:HMD
3:控制器
11:CPU
18:存储部
36:显示部
37:传感器部
42:声音输入输出部
100:时间信息获取部
101:对象配置部
102:视点信息获取部
103:视点管理部
104:虚拟空间构建部
105:显示图像生成部
106:显示控制部
303:处理部
401:3维数据DB
402:文档数据DB
403:时间属性定义DB
500:对象DB

Claims (6)

1.一种信息处理装置,其用于建设工程中的施工计划的制定和执行,且在多个相关人员之间使用,所述信息处理装置具有:
配置单元,其使与实际物体对应的对象配置在3维的虚拟空间,所述实际物体是在n维中的至少1个以上的维度的方向上状态发生变化的物体,其中,n是2以上的整数值;
坐标获取单元,其获取所述n维中的状态发生变化的至少1个以上的维度的坐标;
视点信息获取单元,其获取表示所述虚拟空间内的视点的配置位置和该视点的方向的视点信息;
视点管理单元,其管理所述视点信息;
图像生成单元,其生成在所述虚拟空间中从基于所述视点信息的规定的视点能够观看的图像的数据,所述虚拟空间通过所述配置单元配置了与所获取的所述至少1个以上的维度的所述坐标处的状态的所述实际物体对应的对象;以及
显示控制单元,其使所述图像生成单元所生成的图像的数据显示为显示图像,
所述n维中的所述状态发生变化的所述至少1个以上的维度包含时间方向,
所述信息处理装置具有将所述时间方向作为坐标轴并通过在所述坐标轴上滑动从而能够移动所述时间方向的坐标的时间滑块功能,
所述坐标获取单元获取利用所述时间滑块功能而指定的规定时刻作为所述时间方向的坐标,
所述实际物体是根据所设定的施工工序在规定时间内进行建设的建筑物,
所述图像生成单元生成在由所述坐标获取单元获取的所述规定时刻的建设途中或建设后的状态的所述建筑物对应的对象的所述图像的数据和基于所述施工工序的工程表的数据,并且生成模拟与所述建筑物的建设相关的设计、成本、日程、安全性中的任一个的确认作业或施工作业、能够缩小或扩大所述对象的所述图像的数据,
所述视点信息获取单元和所述视点信息管理单元中的所述视点信息具有包含从所述对象的外侧朝向所述对象的视点的方向、和用于确认所述建筑物的内部的状态的从所述对象的内部朝向所述对象的外部的视点的方向的全方位性,并且所述视点信息包含与用于所述相关人员互相共享图景的特定部位的标记相关的信息,
所述显示控制单元使所述时间滑块功能能够被操作,并且执行用于伴随着所述图像数据还根据所述获取的坐标使作为与所述实际物体关联的、与所述实际物体的确认、检查、管理中的任一个有关的文档或资料的数据显示为显示图像的控制,并执行用于在具有与所述标记相关的信息作为所述视点信息的情况下使标记在所述特定部位显示的控制。
2.根据权利要求1所述的信息处理装置,其中,
所述图像生成单元生成为了使所述对象看上去与实物一样大而能够对所述图像中的所述对象进行与实物一样大的人或与实物一样大的工程机械的配置、和与需要对应的接触的所述图像的数据。
3.根据权利要求1所述的信息处理装置,其中,
所述视点信息获取单元获取在所述虚拟空间内的规定的用户的视点所对应的所述视点信息,
所述图像生成单元生成与所述规定的用户的视点相关联的图像的数据。
4.根据权利要求1至3中的任一项所述的信息处理装置,其中,
针对所述实际物体的一部分和所述相关的物体分别定义了层,
针对上述时间方向,将每个层与虚拟空间中能够存在的期间对应起来,
所述图像生成单元生成在所述虚拟空间中从所述规定的视点看得见的所述图像的数据,所述虚拟空间通过所述配置单元配置了所述各层中的与包含所获取的所述规定时刻的期间对应起来的层。
5.一种信息处理方法,由用于建设工程中的施工计划的制定和执行且在多个相关人员之间使用的信息处理装置来执行,所述信息处理方法包含:
配置步骤,使与实际物体对应的对象配置在3维的虚拟空间,所述实际物体是在n维中的至少1个以上的维度的方向上状态发生变化的物体,其中,n是2以上的整数值;
坐标获取步骤,获取所述n维中的状态发生变化的至少1个以上的维度的坐标;
视点信息获取步骤,获取表示所述虚拟空间内的视点的配置位置和该视点的方向的视点信息;
视点管理步骤,管理所述视点信息;
图像生成步骤,生成在所述虚拟空间中从基于所述视点信息的规定的视点看得见的图像的数据,所述虚拟空间在所述配置步骤中配置了与所获取的所述至少1个以上的维度的所述坐标处的状态的所述实际物体对应的对象;以及
显示控制步骤,使由所述图像生成步骤生成的图像的数据显示为显示图像,
所述n维中的所述状态发生变化的所述至少1个以上的维度包含时间方向,
所述信息处理方法具有时间滑块功能的操作步骤,所述时间滑块功能为将所述时间方向作为坐标轴并通过在所述坐标轴上滑动从而能够移动所述时间方向的坐标的功能,
在所述坐标获取步骤中,获取利用所述时间滑块功能而指定的规定时刻作为所述时间方向的坐标,
所述实际物体是根据所设定的施工工序在规定时间内进行建设的建筑物,
在所述图像生成步骤中,生成在由所述坐标获取单元获取的所述规定时刻的建设途中或建设后的状态的所述建筑物对应的对象的所述图像的数据、和基于所述施工工序的工程表的数据,并且生成模拟与所述建筑物的建设相关的设计、成本、日程、安全性中的任一个的确认作业或施工作业、能够缩小或扩大所述对象的所述图像的数据,
在所述视点信息获取步骤和所述视点信息管理步骤中的所述视点信息具有包含从所述对象的外侧朝向所述对象的视点的方向和用于确认所述建筑物的内部的状态的从所述对象的内部朝向所述对象的外部的视点的方向的全方位性,并且所述视点信息包含与用于所述相关人员互相共享图景的特定部位的标记相关的信息,
在所述显示控制步骤中,使所述时间滑块功能的操作步骤能够进行,并且执行用于伴随着所述图像数据还根据所述获取的坐标使作为与所述实际物体关联的、与所述实际物体的确认、检查、管理中的任一个有关的文档或资料的数据显示为显示图像的控制,并执行用于在具有与所述标记相关的信息作为所述视点信息的情况下使标记在所述特定部位显示的控制。
6.一种计算机可读存储介质,其存储有计算机程序,所述计算机可读存储介质使计算机执行包含以下步骤的控制处理:
配置步骤,使与实际物体对应的对象配置在3维的虚拟空间,所述实际物体是在n维中的至少1个以上的维度方向上状态发生变化的物体,其中,n是2以上的整数值;
坐标获取步骤,获取所述n维中的状态发生变化的至少1个以上的维度的坐标;
视点信息获取步骤,获取表示所述虚拟空间内的视点的配置位置和该视点的方向的视点信息;
视点管理步骤,管理所述视点信息;图像生成步骤,生成在所述虚拟空间中从基于所述视点信息的规定的视点能够观看的图像的数据,所述虚拟空间在所述配置步骤中配置了与所获取的所述至少1个以上的维度的所述坐标处的状态的所述实际物体对应的对象;以及
显示控制步骤,使由所述图像生成步骤生成的图像的数据显示为显示图像,
所述n维中的所述状态发生变化的所述至少1个以上的维度包含时间方向,
所述信息处理方法具有时间滑块功能的操作步骤,所述时间滑块功能为将所述时间方向作为坐标轴并通过在所述坐标轴上滑动从而能够移动所述时间方向的坐标的功能,
在所述坐标获取步骤中,获取利用所述时间滑块功能而指定的规定时刻作为所述时间方向的坐标,
所述实际物体是根据所设定的施工工序在规定时间内进行建设的建筑物,
在所述图像生成步骤中,生成在由所述坐标获取单元获取的所述规定时刻的建设途中或建设后的状态的所述建筑物对应的对象的所述图像的数据和基于所述施工工序的工程表的数据,并且生成模拟与所述建筑物的建设相关的设计、成本、日程、安全性中的任一个的确认作业或施工作业、能够缩小或扩大所述对象的所述图像的数据,
在所述视点信息获取步骤和所述视点信息管理步骤中的所述视点信息具有包含从所述对象的外侧朝向所述对象的视点的方向、和用于确认所述建筑物的内部的状态的从所述对象的内部朝向所述对象的外部的视点的方向的全方位性,并且所述视点信息包含与用于所述相关人员互相共享图景的特定部位的标记相关的信息,
在所述显示控制步骤中,使所述时间滑块功能的操作步骤能够进行,并且执行用于伴随着所述图像数据还根据所述获取的坐标使作为与所述实际物体关联的、与所述实际物体的确认、检查、管理中的任一个有关的文档或资料的数据显示为显示图像的控制,并执行用于在具有与所述标记相关的信息作为所述视点信息的情况下使标记在所述特定部位显示的控制。
CN201880025502.6A 2017-04-19 2018-04-19 信息处理装置、信息处理方法及计算机可读存储介质 Active CN110770798B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017083028 2017-04-19
JP2017-083028 2017-04-19
JP2017214245 2017-11-06
JP2017-214245 2017-11-06
PCT/JP2018/016196 WO2018194137A1 (ja) 2017-04-19 2018-04-19 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN110770798A CN110770798A (zh) 2020-02-07
CN110770798B true CN110770798B (zh) 2024-03-19

Family

ID=63856634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880025502.6A Active CN110770798B (zh) 2017-04-19 2018-04-19 信息处理装置、信息处理方法及计算机可读存储介质

Country Status (5)

Country Link
US (1) US10950050B2 (zh)
EP (1) EP3614345A4 (zh)
JP (1) JP6814878B2 (zh)
CN (1) CN110770798B (zh)
WO (1) WO2018194137A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6722786B1 (ja) * 2019-02-05 2020-07-15 凸版印刷株式会社 空間情報管理装置
JP6717476B1 (ja) * 2019-05-23 2020-07-01 株式会社インフォマティクス 空間認識システム、空間認識装置、空間認識方法及びプログラム
JP2021081943A (ja) * 2019-11-19 2021-05-27 株式会社桑山瓦 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム
JP6733927B1 (ja) * 2019-11-27 2020-08-05 株式会社インフォマティクス 空間認識システム、空間認識装置、空間認識方法及びプログラム
WO2023189603A1 (ja) * 2022-03-28 2023-10-05 日本電気通信システム株式会社 情報処理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091057A (ja) * 1996-09-17 1998-04-10 Mitsubishi Electric Corp 技術相談支援システム
JP2001249985A (ja) * 1999-12-27 2001-09-14 Ohbayashi Corp 施工計画支援システム、施工計画支援方法、および、施工計画支援システムを実現するためのコンピュータプログラムを記録した記録媒体
CN101821752A (zh) * 2007-11-09 2010-09-01 株式会社理光 信息处理装置和信息处理方法
JP2011008351A (ja) * 2009-06-23 2011-01-13 Canon Inc 画像処理方法及び画像処理装置
WO2011081193A1 (ja) * 2009-12-28 2011-07-07 サイバーアイ・エンタテインメント株式会社 画像表示システム
JP2015118535A (ja) * 2013-12-18 2015-06-25 大成建設株式会社 施工情報管理システムおよび施工情報管理方法
JP2017062720A (ja) * 2015-09-25 2017-03-30 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3907081B2 (ja) 1997-04-01 2007-04-18 日揮株式会社 建設シミュレーション装置及び記録媒体
JP2002266498A (ja) * 2001-03-08 2002-09-18 Toshiba Corp 発電所の建設計画装置
US7042468B2 (en) * 2001-05-04 2006-05-09 Disney Enterprises, Inc. Text overlay for multi-dimensional construction project models
JP5881022B1 (ja) * 2014-09-11 2016-03-09 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091057A (ja) * 1996-09-17 1998-04-10 Mitsubishi Electric Corp 技術相談支援システム
JP2001249985A (ja) * 1999-12-27 2001-09-14 Ohbayashi Corp 施工計画支援システム、施工計画支援方法、および、施工計画支援システムを実現するためのコンピュータプログラムを記録した記録媒体
CN101821752A (zh) * 2007-11-09 2010-09-01 株式会社理光 信息处理装置和信息处理方法
JP2011008351A (ja) * 2009-06-23 2011-01-13 Canon Inc 画像処理方法及び画像処理装置
WO2011081193A1 (ja) * 2009-12-28 2011-07-07 サイバーアイ・エンタテインメント株式会社 画像表示システム
JP2015118535A (ja) * 2013-12-18 2015-06-25 大成建設株式会社 施工情報管理システムおよび施工情報管理方法
JP2017062720A (ja) * 2015-09-25 2017-03-30 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Alcínia Z. Sampaio等 .Collaborative maintenance and construction of buildings supported on Virtual Reality technology.6th Iberian Conference on Information Systems and Technologies (CISTI 2011).2011,第III.A部分,第V部分,图4. *
Collaborative maintenance and construction of buildings supported on Virtual Reality technology;Alcínia Z. Sampaio and etc;6th Iberian Conference on Information Systems and Technologies (CISTI 2011);第III.A部分,第V部分,图4 *
Leen-Seok Kang等.Application of VR Technology Linked with 4D CAD System for Construction Project.2009 International Conference on New Trends in Information and Service Science.2009,全文. *
Sampaio Alcinia Zita.Management of building supported on virtual interactive models:construction planning and preventive maintenance.ITcon 17.2012,全文. *

Also Published As

Publication number Publication date
JPWO2018194137A1 (ja) 2019-11-07
US10950050B2 (en) 2021-03-16
JP6814878B2 (ja) 2021-01-20
WO2018194137A1 (ja) 2018-10-25
CN110770798A (zh) 2020-02-07
EP3614345A1 (en) 2020-02-26
US20200118336A1 (en) 2020-04-16
EP3614345A4 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
CN110770798B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
US11206373B2 (en) Method and system for providing mixed reality service
US10304252B2 (en) Collaboration methods to improve use of 3D models in mixed reality environments
Wang et al. Mixed reality in architecture, design, and construction
AU2022291565A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
Henderson et al. Augmented reality for maintenance and repair (armar)
US20180356885A1 (en) Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
JP6722786B1 (ja) 空間情報管理装置
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US11989838B2 (en) Mixed reality display device and mixed reality display method
US20200334396A1 (en) Method and system for providing mixed reality service
WO2023190344A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017010228A (ja) 情報処理装置、情報処理方法、プログラム
KR20220080885A (ko) 혼합현실을 활용한 bim 기반의 원격협업 공사관리 시뮬레이션 서버
Schmidt et al. A layer-based 3d virtual environment for architectural collaboration
TW201918940A (zh) 資訊處理裝置、資訊處理方法及程式
WO2023190091A1 (ja) 仮想現実会議システム
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
JP7253044B2 (ja) 図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法
Lee et al. Mirage: A touch screen based mixed reality interface for space planning applications
JP7329114B1 (ja) 情報処理装置、情報処理方法及びプログラム
US11921970B1 (en) Coordinating virtual interactions with a mini-map
JP7381680B1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023238759A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2022155553A (ja) 業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant