CN102667881B - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN102667881B
CN102667881B CN2011800043251A CN201180004325A CN102667881B CN 102667881 B CN102667881 B CN 102667881B CN 2011800043251 A CN2011800043251 A CN 2011800043251A CN 201180004325 A CN201180004325 A CN 201180004325A CN 102667881 B CN102667881 B CN 102667881B
Authority
CN
China
Prior art keywords
information
equipment
input
virtual image
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011800043251A
Other languages
English (en)
Other versions
CN102667881A (zh
Inventor
庵原升
屉尾和宏
横山甲
樱井新
冈本武藏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011061339A external-priority patent/JP4934228B2/ja
Priority claimed from JP2011066594A external-priority patent/JP4950348B2/ja
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Publication of CN102667881A publication Critical patent/CN102667881A/zh
Application granted granted Critical
Publication of CN102667881B publication Critical patent/CN102667881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0216—Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及一种信息处理装置，具有：拍摄图像输入单元，其输入由拍摄装置(2)拍摄的设备的拍摄图像；测量信息输入单元，其输入由设置于设备的传感器测量的测量信息；制作单元，其根据由测量信息输入单元输入的测量信息，生成表示设备外部或内部的状况的虚拟图像；显示控制单元，其将由制作单元生成的虚拟图像与由拍摄图像输入单元输入的拍摄图像重叠显示于显示装置(4)。

Description

信息处理装置、信息处理方法以及程序
技术领域
本发明涉及信息处理装置、信息处理方法以及程序。 
背景技术
(第一方面) 
以往参观设施和工厂等时，大多是参观者观看实际的设施和设备，或观看事先准备的展示板或影像。对此，例如，在专利文献1中提出了随着参观者的移动，将当前场景中的要素信息，与由携带的终端等拍摄的实景图像重叠显示的方案。 
(第二方面) 
在工厂和工程现场等，在有操作员进行操作的危险场所，通过喷涂等标识危险区域，或竖立标志牌。由于这些危险场所的标志(危险场所标志)是固定的，因此通常要在可能发生危险的范围内无遗漏地加以标识或竖立标志牌。 
另外，作为危险场所，有总是危险的情形，和在时间上仅某一特定时期危险的情形。例如，工厂内进行吊装操作的场所，仅在起重机工作时，吊装物下方为危险场所。 
现有技术文献 
专利文献 
专利文献1：日本发明专利公开第2004-102835号公报 
专利文献2：日本发明专利公开第2002-7703号公报 
发明内容
本发明所要解决的问题 
(第一方面) 
根据设施和工厂的情况，有存在危险，不能让参观者靠近设备的情形。还有即便是接近了设备也不能看到设备内部的情形。 
例如，及时将专利文献1中的技术应用于参观设施和工厂，但只能看到设备的名称等的虚拟图像，参观者没有身临其境的感觉。 
另外，在工厂，有时需要通过模拟来预测设备的工作状况，但模拟结果只不过以二维剖面图显示在计算机终端的画面。因此，操作者不容易把握模拟结果。 
本发明鉴于以上问题，其第一目的在于，身临其境地向设施和工厂的参观者以及操作员展示设备等的工作状况和模拟结果。 
(第二方面) 
以往对固定式的吊装工具悬臂梁等做危险场所标识时，例如，将吊装工具的悬臂梁的可动范围整体看作危险场所，在地面上做出危险场所标识(标识阴影等)。因此，现有的危险场所标识将危险场所范围确定得过大，导致危险场所不明确。另外，现有的危险场所标识会由于受到粉尘和油分等污染而看不见标识，被污染后需要清扫和再喷涂等维护。 
另一方面，以往对移动式起重车等做危险场所标识时，由于使用场所不固定，因而在起重车上标识“禁止进入半径10m以内”等，但不能目视到危险场所，危险场所不明确。另外，还有用锥筒等以实物阻挡禁止入内的情形，但其准备工作繁琐。 
本发明鉴于以上问题，其第二目的在于，在危险场所随时间变化的情形下，更准确地告知危险的场所。 
解决上述课题的技术手段 
(第一方面) 
本发明的信息处理装置具有：拍摄图像输入单元，其输入由拍摄装置拍摄的设备的拍摄图像；测量信息输入单元，其从设置于所述设备的传感器输入由所述传感器测量的测量信息；制作单元，其根据由所述测量信息输入单元输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像；和显示控制单元，其将由所述制作单元生成的虚拟图像和由所述拍摄图像输入单元输入的拍摄图像重叠显示于显示装置。 
根据上述构成，能够身临其境地向设施和工厂的参观者展示设备 等的工作状况。 
信息处理装置例如对应于后述的AR服务器。 
另外，本发明的信息处理装置具有：测量信息输入单元，其从设置于设备的传感器输入由所述传感器测量的测量信息；制作单元，其根据由所述测量信息输入单元输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像；和显示控制单元，其将由所述制作单元制作的虚拟图像，叠加于透过显示装置显示的所述设备而进行显示。 
根据上述构成，能够身临其境地向设施和工厂的参观者展示设备等的工作状况。 
信息处理装置，例如对应于后述的AR服务器。 
(第二方面) 
本发明的信息提供装置具有显示部，能与存储部通信连接，并且包括：读取单元，其读取存储在所述存储部中的、表示危险目标在各状态下的危险范围的危险范围信息，和表示所述危险目标的位置的危险目标位置信息；位置信息取得单元，其取得装置位置信息，所述装置位置信息是根据位置检测装置检测的表示该信息提供装置的位置的信息计算得到的；方位信息取得单元，其取得方位信息，所述方位信息是根据方位检测装置检测的表示该信息提供装置的方位的信息计算得到的；姿态信息取得单元，其取得姿态信息，所述姿态信息是根据姿态检测装置检测的表示该信息提供装置的姿态的信息计算得到的；确定单元，其根据由所述位置信息取得单元取得的装置位置信息、由所述方位信息取得单元取得的方位信息、由所述姿态信息取得单元取得的姿态信息、以及预先规定的该信息提供装置的视野信息，确定该信息提供装置的视野；和显示控制单元，其根据所述装置位置信息、所述方位信息、所述姿态信息、以及由所述读取单元读取的危险范围信息和危险目标位置信息，确定在所述视野内包含的危险目标，对于所确定的危险目标，生成危险范围图像，并显示于所述显示部。 
例如，在此，“读取单元”对应于后述的读取部1055。“位置信息取得单元”对应于后述的测量部1040。“方位信息取得单元”对应于后述的 方位信息取得部1045。“姿态信息取得单元”对应于后述的姿态信息取得部1050。“确定单元”对应于后述的视野确定部1060。“显示控制单元”对应于后述的显示控制部1065。 
本发明的效果 
(第一方面) 
根据本发明，能够身临其境地向设施和工厂的参观者展示设备等的工作状况。 
(第二方面) 
另外，根据本发明，在危险场所随时间变化的情形下，能更准确的告知危险的场所。 
附图说明
图1表示实施方式1的设备引导系统的系统结构的一个例子。 
图2表示AR服务器的硬件结构的一个例子。 
图3表示实施方式1的AR服务器的软件结构的一个例子。 
图4表示实施方式1中虚拟图像和拍摄图像重叠显示的一个例子(第一方面)。 
图5表示实施方式1中虚拟图像和拍摄图像重叠显示的一个例子(第二方面)。 
图6表示实施方式1中虚拟图像和拍摄图像重叠显示的一个例子(第三方面)。 
图7表示实施方式1中AR服务器进行显示控制处理的一个例子的流程图。 
图8表示实施方式2的设备引导系统的系统结构的一个例子。 
图9表示实施方式2中AR服务器的软件结构的一个例子。 
图10表示实施方式2中虚拟图像和拍摄图像重叠显示的一个例子(第一方面)。 
图11表示实施方式2中AR服务器进行显示控制处理的一个例子的流程图。 
图12是表示实施方式3的AR服务器的显示控制处理的一个例子 的流程图。 
图13A表示以每个显示图层显示设备的一个例子(第一方面)。 
图13B表示以每个显示图层显示设备的一个例子(第二方面)。 
图13C表示以每个显示图层显示设备的一个例子(第三方面)。 
图13D表示以每个显示图层显示设备的一个例子(第四方面)。 
图14表示实施方式5的设备引导系统的系统结构的一个例子。 
图15表示实施方式5的AR服务器的软件结构的一个例子。 
图16表示实施方式5中AR服务器进行显示控制处理的一个例子的流程图。 
图17表示实施方式6的操作辅助系统的系统结构的一个例子。 
图18表示实施方式6的操作辅助系统的软件结构的一个例子。 
图19表示实施方式6中操作辅助系统进行处理的一个例子的流程图。 
图20表示实施方式7的操作辅助系统的系统结构的一个例子。 
图21表示设备标记对应表的一个例子。 
图22表示设备利用状况表的一个例子。 
图23表示带摄像机的HMD的软件结构的一个例子。 
图24表示实施方式7中操作辅助系统进行处理的一个例子的流程图。 
图25表示实施方式7的操作辅助系统的系统结构的一个例子。 
图26表示信息提供系统的结构的一个例子。 
图27表示AR提供装置的硬件结构的一个例子。 
图28表示AR提供装置的功能结构的一个例子。 
图29表示信息处理装置的硬件结构的一个例子。 
图30表示保存关于危险物的信息的表的一个例子。 
图31表示保存关于危险物的信息的表的一个例子。 
图32表示工作状态设定处理的一个例子的流程图。 
图33表示工作状态设定处理的一个例子的流程图。 
图34表示位置信息设定处理的一个例子的流程图。 
图35表示显示处理的一个例子的流程图。 
图36表示AR视野的一个例子。 
图37A表示显示三维增强图像时的一个例子。 
图37B表示显示二维增强图像时的一个例子。 
图37C表示显示增强图像时的一个例子。 
图37D表示显示增强图像时的一个例子。 
图38表示显示处理的一个例子的流程图。 
图39表示危险物接近时的显示的一个例子。 
图40表示显示处理的一个例子的流程图。 
图41表示保存关于危险物的信息的表的一个例子。 
图42表示显示处理的一个例子的流程图。 
具体实施方式
以下，根据附图说明本发明的具体实施方式。 
<实施方式1> 
图1表示实施方式1的设备引导系统的系统结构。如图1所示，设备引导系统中，AR(Augmented Reality)服务器1、摄像机2、传感器31～35、显示装置4通过网络连接。 
AR服务器1从摄像机2输入由摄像机2拍摄的工厂内的设备(在图1的例中为高炉)的拍摄图像。作为本实施方式及以下的实施方式中的工厂设备的一个例子，以炼铁厂的设备为例进行说明。但这不限定本实施方式及以下实施方式。 
AR服务器1从传感器31～35输入由传感器31～35测量的测量信息(例如，高炉内部温度信息等)。图1中，表示出5个传感器，但本实施方式不限定于此，可以比5个少，也可以比5个多。另外，本实施方式中，传感器3设置在设备的外部和内部，但例如，根据设备的情况，可以仅设置在设备内部，也可以仅设置在设备外部。例如，对于高炉来说，传感器3设置在高炉的外部和内部。在后述的转炉的情况下，传感器3设置在转炉的内部。在后述的连铸机的情况下，传感器3设置在连铸机的外部。另外，传感器不限于测量温度信息的温度传感器，例如，也可以是测量气压信息的气压传感器，或者测量压力信息的压力传感器，测量气体种类和浓度的气体传感器等。传感器31～35可以是相同种类的传感器(如温度传感器等)，也可以是不同种类的传 感器(如，温度传感器、气体传感器、压力传感器等)。 
以下为了简化说明，除非特别说明，将上述多个传感器简称为传感器。 
AR服务器1进行如下控制，即，根据输入的测量信息，生成表示设备外部或内部的状况的虚拟图像，将生成的虚拟图像和从摄像机2输入的拍摄图像重叠显示于显示装置4。 
工厂参观者通过观看显示装置4就可以身临其境地了解由于危险而禁止进入的区域内的设备的工作状况和设备内部的工作状况等。 
图2表示AR服务器1的硬件结构。 
如图2所示，AR服务器1的硬件结构包括CPU11、存储装置12、通信装置13。CPU11根据存储在存储装置12中的程序控制AR服务器1执行处理等。存储装置12存储在程序和CPU11执行处理时所要利用的数据。通信装置13控制AR服务器1与其他装置(例如，传感器3、摄像机2或显示装置4等)之间的通信。 
CPU11通过根据程序执行处理，实现下述软件的结构和下述流程图的相关处理。 
图3表示实施方式1的AR服务器1软件结构。 
如图3所示，AR服务器1的软件结构包括拍摄图像输入部21、测量信息输入部22、制作部23、显示控制部24。 
拍摄图像输入部21从摄像机2接收并输入由摄像机2拍摄的工厂内设备的拍摄图像。 
测量信息输入部22从传感器31～35接收并输入由传感器31～35测量的测量信息。 
制作部23根据由测量信息输入部22输入的测量信息，生成表示设备外部或内部状况的虚拟图像。 
例如，制作部23从测量信息输入部22接收测量信息，并从测量信息输入部22接收表示是在哪个设备测得的该测量信息的设备信息。制作部23，根据接收到的设备信息，判定设备信息所示设备是否是为生成设备内部的虚拟图像而设定的设备。在设备信息所示设备是为生成设备内部的虚拟图像而设定的设备时，制作部23根据上述设备信息，从存储装置12等中选择与所述设备信息关联的设备内估计模型(设备 内估计数学模型公式)。具体来说，在存储装置12等中，例如将高炉和高炉内估计模型相关联并加以存储。在存储装置12等中，例如还将转炉和转炉内估计模型相关联并加以存储。当设备信息所指的设备表示高炉时，制作部23从存储装置12等选择与高炉关联的高炉内估计模型。接着，制作部23将由测量信息输入部22输入的测量信息代入到所选择的高炉内估计模型中，估计高炉内的状况，生成表示高炉内状况的虚拟图像。 
需要注意，各估计模型只不过作为理论模型存储于存储装置12，例如，根据由传感器31～35测量的测量信息再次计算，生成接近于实际状态的虚拟图像。因此，虽然数学模型公式为优选对象，更也可以预先根据数学模型公式生成计算机图形，并通过改变参数而变更显示。具体来说，根据高炉内原材料的投入量，做高度方向上的调整，或是在后述的转炉的例子中，根据传感器的测量值变更炉内熔钢的表面位置。或者，也可以在高炉内估计模型中使用传感器31～35测量的温度信息，生成实际温度分布的虚拟图像。 
显示控制部24进行如下控制，即，将由制作部23生成的表示设备外部或内部的状况的虚拟图像，和由拍摄图像输入部21输入的所述设备的拍摄图像重叠显示于显示装置4(参照图4-图6)。 
图4表示实施方式1中重叠显示虚拟图像和拍摄图像的一个例子(第一方面)。在图4中表示重叠显示高炉的拍摄图像，和根据高炉内部的温度信息生成的高炉内部的虚拟图像的一个例子。 
图5表示实施方式1中重叠显示虚拟图像和拍摄图像的一个例子(第二方面)。在图5中表示重叠显示转炉的拍摄图像，和根据转炉内部的温度信息生成的转炉内部的虚拟图像的一个例子。 
图6表示实施方式1中重叠显示虚拟图像和拍摄图像的一个例子(第三方面)。在图6中表示重叠显示在连铸机和连铸机之间通过的熔融状态钢的拍摄图像，和根据连铸机外部的温度信息生成的通过连铸机的熔融状态的钢固化的虚拟图像的一个例子。 
图7是表示实施方式1的AR服务器1的显示控制处理的一个例子的流程图。 
在步骤S10中，拍摄图像输入部21从摄像机2接收并输入由摄像 机2拍摄的工厂内的设备的拍摄图像。 
在步骤S11中，测量信息输入部22从传感器31～35接收并输入由传感器31～35测量的测量信息。 
在步骤S12中，制作部23根据在步骤S11中输入的测量信息，生成表示设备外部或内部状况的虚拟图像。 
在步骤S13中，显示控制部24进行控制，将在步骤S12生成的设备外部或内部状况的虚拟图像和在步骤S10输入的所述设备的拍摄图像重叠显示于显示装置4。 
在步骤S14中，例如，显示控制部24根据是否从显示装置4等接收到显示结束的信息等，判定是否结束图7所示的处理。在显示控制部24判定为结束处理时，则结束如图7所示的处理，在判定为不结束处理时，则返回步骤S10进行处理。 
在由摄像机2进行拍摄时，拍摄图像输入部21可以一直从摄像机2接收并输入拍摄图像。同样，在由传感器31～35进行测量时，测量信息输入部22可以一直从传感器31～35接收并输入测量信息。以下的实施方式也相同。利用上述结构，AR服务器1进行控制，以根据实时输入的测量信息生成虚拟图像，将虚拟图像与实时输入的拍摄图像重叠并显示于显示装置4。 
根据本实施方式，可以身临其境地向设施和工厂的参观者展示设备等的工作状况。特别是，不是像现有技术那样总是播放影像，而是可以显示正处于工作状态的设备的状况，所以能够提供现有技术中没有的身临其境的感觉。 
<实施方式2> 
图8表示实施方式2的设备引导系统的系统结构。如图8所示，与实施方式1的设备引导系统的系统结构相比，实施方式2的设备引导系统的系统结构还包含了操作服务器5。 
操作服务器5向工厂内的设备发送控制信息。上述设备根据上述控制信息进行处理。例如，在设备为高炉时，操作服务器5向高炉发送以下信息，即，用于指示投入烧结矿等的烧结矿等投入指示信息；指示投入例如焦炭等材料的焦炭投入指示信息；指示吹入还原气的还原气吹入指示信息；指示从出铁口出铁的出铁指示信息等。 
控制信号不只限于此，在设备为转炉的情况下，还包括，指示从转炉上部吹入氧气的氧气吹入指示信息；指示从转炉下部吹入氧气、燃料气体及碳酸气、非活性气体等各种吹入指示信息等。在将炉体倾斜装入铁屑，或在吹炼后再次倾斜炉体将熔钢注入钢包的操作中，还有指示将炉体倾斜的指示信息等。设备为连铸机时，还有加压或减压的压力指示信息等。 
AR服务器1输入从操作服务器5发送给设备的控制信息。AR服务器1进行控制，以根据输入的控制信息和输入的测量信息，生成表示设备外部或内部的状况的虚拟图像，将生成的虚拟图像和从摄像机2输入的拍摄图像重叠并显示于显示装置4。 
工厂的参观者通过观看显示装置4，可以身临其境地了解因危险而禁止进入的区域中的设备的工作状况和设备内部的工作状况。 
图9表示实施方式2的AR服务器1的软件结构。 
如图9所示，与实施方式1的软件结构相比，实施方式2的AR服务器1的软件结构还包括控制信息输入部25。 
控制信息输入部25从操作服务器5接收并输入从操作服务器5发送给设备的控制信息。 
制作部23，根据由测量信息输入部22输入的测量信息，和由控制信息输入部25输入的控制信息，生成表示设备外部或内部的状况的虚拟图像。例如，如实施方式1所示，制作部23将测量信息代入到对应设备的设备内估计模型中，估计设备内的状况，生成基于估计结果的虚拟图像。 
同时，例如，在控制信息为焦炭投入指示信息时，制作部23根据控制信息，在上述虚拟图像中追加表示在设备内投入焦炭的情形的图像，得到表示最终设备内部状况的虚拟图像。 
图10表示实施方式2中重叠显示虚拟图像和拍摄图像示的例子(第一方面)。图10表示根据高炉的拍摄图像、高炉内部温度信息、及高炉内焦炭投入指示信息生成的、重叠显示高炉内部和在高炉内投入焦炭的虚拟图像的例子。 
根据本实施方式，制作部23不仅根据测量信息，还根据控制信息生成虚拟图像，因此可以生成更具身临其境感的虚拟图像。特别是转 炉，由于在炉体倾斜时，重叠显示的虚拟图像也随着该动作变化，更增添了身临其境感。 
图11是表示实施方式2的AR服务器1的显示控制处理的例子的流程图。 
在步骤S20中，拍摄图像输入部21从摄像机2接收并输入由摄像机2拍摄的工厂内的设备的拍摄图像。 
在步骤S21中，测量信息输入部22从传感器31～35接收并输入由传感器31～35测量的测量信息。 
在步骤S22中，控制信息输入部25从操作服务器5接收并输入控制信息。另外，每当从操作服务器5向设备发送控制信息时，控制信息输入部25输入控制信息。 
在步骤S23中，制作部23根据在步骤S21中输入的测量信息，和在步骤S22中输入的控制信息生成表示设备外部或内部状况的虚拟图像。 
在步骤S24中，显示控制部24进行控制，以将在步骤S23中生成的表示设备外部或内部状况的虚拟图像，和在步骤20中输入的上述设备的拍摄图像重叠显示于显示装置4。 
在步骤S25中，例如，显示控制部24根据是否从显示装置4等接收到显示结束的信息等，判定是否结束图11所示的处理。显示控制部24在判定为结束处理时，则结束图11所示的处理结束，在判定为不结束处理时，则返回步骤S20进行处理。 
根据本实施方式，可以更加身临其境地向设施和工厂的参观者展示设备等的工作状况。 
<实施方式3> 
根据工厂的情况，有时设备全年无休连续运转，有时因需要维护和清洁设备停止运转。在本实施方式中说明，即使在设备停止运转的情形下，仍然可以身临其境地向设施和工厂的参观者展示设备等的运转状况的方法。这里，如不特殊说明，本实施方式的系统结构和软件结构等与实施方式1的结构相同。 
本实施方式的制作部23根据从测量信息输入部22输入的测量信息，判定设备是否正在工作，如判断设备正在工作，则根据测量信息 生成虚拟图像，如判断设备为未工作，则根据理论值或到此前的测量信息的平均值等从存储装置12等取得预先生成的虚拟图像。 
例如，制作部23从测量信息输入部22接收测量信息，并从测量信息输入部22接收表示该测量信息是在哪个设备测得的设备信息。制作部23，根据接收到的设备信息，从存储装置12等取得与设备信息关联的预先生成的虚拟图像。 
图12是表示实施方式3的AR服务器1中显示控制处理的例子的流程图。 
在步骤S30中，拍摄图像输入部21从摄像机2接收并输入摄像机2拍摄的工厂内设备的拍摄图像。 
在步骤S31中，测量信息输入部22从传感器31～35接收并输入传感器31～35测量的测量信息。 
在步骤S32中，制作部23根据从测量信息输入部22输入的测量信息，判定设备是否正在工作。例如，当测量信息不在预定范围内时，制作部23判定设备未工作。在判定设备正在工作时，制作部23进行步骤S33的处理，在判定设备未工作时，制作部23进行步骤34的处理。 
在步骤S33中，制作部23根据在步骤S31中输入的测量信息，生成表示设备外部或内部的状况的虚拟图像。 
另一方面，在步骤S34中，制作部23从存储装置12等取得与设备相应的、根据理论值等预先生成的表示设备外部或内部的状况的虚拟图像。 
在步骤S35中，显示控制部24进行控制，以将在步骤S33中生成的或是在步骤S34中取得的表示设备外部或内部的状况的虚拟图像，和在步骤S30中输入的上述设备的拍摄图像重叠显示于显示装置4。 
在步骤S36中，例如，显示控制部24根据是否从显示装置4等接收到显示结束的信息等，判定是否结束图12所示的处理。显示控制部24在判定为结束处理时，则结束图12所示的处理，在判定为不结束处理时，则返回步骤S30进行处理。 
以上，根据本实施方式，设备工作时，通过将根据测量信息生成的虚拟图像与设备的拍摄图像重叠显示，能够身临其境地向设施和工 厂的参观者展示设备等的工作状况。另外，根据本实施方式，在设备未工作时，通过将根据理论值或此前的测量信息的平均值生成的虚拟图像与设备的拍摄图像重叠显示，能够身临其境地向设施和工厂的参观者展示设备等的工作状况。 
这里设定本实施方式的系统结构和软件结构等与实施方式1的结构相同，但是，也可以与实施方式2的结构相同，此时，制作部23根据测量信息和/或控制信息，判定设备是否在工作。例如，当测量信息不在规定的范围内，以及/或者，当在一定期间从操作服务器5没有传送控制信息到设备时，可以判定设备没有处于工作中。 
<实施方式4> 
显示控制部24可以根据参观者在显示装置4上的画面操作等，将针对每个设备设定的显示图层发送到显示装置4。图13A～图13D表示以每个显示图层显示设备的例子。图13A表示高炉的外观。图13B表示高炉内部的耐火砖。图13C表示高炉内的铁矿石和焦炭的情形。图13D表示高炉的剖面。 
在显示装置4请求如图13A或图13B所示的显示图层时，显示控制部24控制从存储装置12取得预先生成的显示图层的虚拟图像，将取得的显示图层的虚拟图像和由拍摄图像输入部21输入的拍摄图像重叠显示于显示装置4。 
根据本实施方式，根据参观者的要求等，将以各种显示图层表示设备等的工作状况的虚拟图像与设备的拍摄图像重叠显示，由此可以更加身临其境地、详细地向设施和工厂的参观者展示设备等的工作状况。 
<实施方式5> 
图14表示实施方式5的设备引导系统的系统结构的一个例子。如图14所示，与实施方式1的设备引导系统的系统结构相比，实施方式5的设备引导系统的系统结构不包括摄像机2。例如，本实施方式的显示装置4是贴于窗体的透视型的液晶薄膜。 
AR服务器1从传感器31～35输入由传感器31～35测量的测量信息(例如，高炉内部的温度信息等)。 
AR服务器1进行控制，以根据输入的测量信息生成表示设备外部或内部状况的虚拟图像，并将生成的虚拟图像与透过设置有显示装置4的视窗所看见的设备重叠显示。 
图15表示实施方式5的AR服务器1的软件结构的一个例子。 
如图15所示，AR服务器1的软件结构包括，测量信息输入部22、制作部23、显示控制部24。 
测量信息输入部22从传感器31～35接收并输入由传感器31～35测量的测量信息。 
制作部23根据测量信息输入部22输入的测量信息生成表示设备外部或内部的状况的虚拟图像。 
显示控制部24进行控制，将由制作部23生成的表示设备外部或内部的状况的虚拟图像与透过设置有显示装置4的窗体看见的设备重叠并显示。 
图16是表示实施方式5的AR服务器1的显示控制处理的的一个例子的流程图。 
在步骤S40中，测量信息输入部22从传感器31～35接收并输入由传感器31～35测量的测量信息。 
在步骤S41中，制作部23根据步骤S40输入的测量信息，生成表示设备外部或内部状况的虚拟图像。 
在步骤S42中，显示控制部24进行控制，将在步骤S41中生成的表示设备外部或内部状况的虚拟图像与透过设置有显示装置4的窗体看见的设备重叠显示。 
在步骤S43中，例如，显示控制部24，根据是否从显示装置4等接收到显示结束的信息等，判定是否结束如图16所示的处理。在显示控制部24判定为结束处理时，则结束如图16所示的处理，在判定为不结束处理时，则返回步骤S40进行处理。 
以上，根据本实施方式，也可以身临其境地向设施和工厂的参观者展示设备等的工作状况。 
<实施方式6> 
即使在计算机控制全盛的现今的时代，炼铁厂内，经常还是由操作者根据从高炉的监视窗口观察到的生铁的颜色或根据从转炉口喷射出的火焰等预测高炉和转炉内部的状况，并根据与此时的状况相应的操作者的判断来进行工厂设备的控制。但是，此判断所需熟练度，并非易事，在操作者不能适当判断的情况下，可能招致工厂设备所生产的产品质量下降。
因此，在本实施方式中，在根据操作者的判断对工厂设备进行控制时的操作辅助系统进行说明，该系统模拟进行控制时工厂设备的状况(例如高炉和转炉的内部状况)如何，将模拟结果以三维图像的形式显示给操作者。 
在实施方式1～5的设备引导系统中，根据测量信息和控制信息生成表示当前设备内部的状况的三维虚拟图像，显示给参观者。但是，在实施方式6的操作辅助系统中，除测量信息外，还根据表示此后要进行的控制内容的信息(预定控制信息)，通过模拟来预测如果进行该控制，设备内部的状况如何变化，并将其预测结果显示给操作者。操作者观看该预测结果，最终判断实际上进行怎样的控制。 
以下，关于本实施方式的操作辅助系统，进一步进行详细说明。图17表示实施方式6的操作辅助系统的系统结构的一个例子。如图17所示，在操作辅助系统中，将服务器101，连接带摄像机的HMD102(以下，简称为HMD102)，传感器1031～1035通过无线网络连接。 
图18表示实施方式6的操作辅助系统的软件结构。 
与实施方式1的AR服务器1的软件结构相比，本实施方式的操作辅助系统的软件结构还包含预定控制信息输入部26。 
本实施方式中，软件功能分散于服务器101和HMD102。服务器101的软件结构包含测量信息输入部22、预定控制信息输入部26、模拟部27。HMD102具有摄像机和作图功能，软件结构包含拍摄图像输入部21和作图/显示控制部28。本实施方式中，虽然软件功能分散于服务器101和HMD102，但也可与实施方式1一样，使服务器101具备全部功能，或者，也可以是使HMD10具备全部功能，对此没有特别的限定。 
首先说明服务器101的功能。 
测量信息输入部22从传感器1031～1035测量接收由传感器1031～ 1035测量的测量信息作为输入数据。此时，传感器1031～1035通过无线网络服务器101发送测量信息。 
预定控制信息输入部26接收由操作者输入的预定控制信息作为输入数据。与控制信息相同，预定控制信息除了有烧结矿等投入指示信息、焦炭投入指示信息、还原剂吹入指示信息和出铁指示信息外，还有氧气、空气或各种气体的吹入指示、以及压力指示信息。操作者可通过与服务器相连的输入装置输入预定控制信息，也可以通过便携式终端远程输入预定控制信息。 
模拟部27根据由测量信息输入部22接收的测量信息，和由预定控制信息输入部26接收的预定控制信息，模拟在执行由预定控制信息所表示的内容的控制时设备外部或内部的状况。例如，模拟部27将测量信息(高炉的当前温度等)和预定控制信息(表示经各送风口吹入氧气及空气的吹入量的吹入指示信息)代入到与设备相应的设备内估计模型，对设备内的状况进行数值分析，输出表示其结果的数值数据。 
作为利用设备内估计模型的技术，例如，在日本发明专利公开平8-295910号公报等中，公开了导入将炉内状态模型化的数学公式模型来模拟高炉的动作的技术。利用该技术，能够得到炉内的三维坐标中的各点的温度和压力等数据。 
其次说明HMD102的功能。 
拍摄图像输入部21作为输入数据接收由HMD102中的摄像机拍摄的工厂内设备的拍摄图像。 
作图·显示控制部28接收由模拟部27得到的表示模拟结果的数值数据，根据该数值数据绘制三维虚拟图像。并且，作图·显示控制部28进行控制，将绘制的表示对设备外部或内部的状况模拟的结果的三维虚拟图像，和由拍摄图像输入部21输入的上述设备的拍摄图像重叠显示于HMD102的显示装置。此时，服务器101通过无线网络将表示模拟结果的数值数据发送给HMD102。 
图19是表示实施方式6的操作辅助系统中处理的一个例子的流程图。 
在步骤S50中，拍摄图像输入部21接收由HMD102的摄像机拍摄的工厂内设备的拍摄图像，作为输入数据。 
在步骤S51中，测量信息输入部22接收由传感器1031～1035测量的测量信息，作为输入数据。 
在步骤S52中，预定控制信息输入部26接收由操作者输入的预定控制信息。 
在步骤S53中，模拟部27根据在步骤S51中输入的测量信息和在步骤S52中输入的预定控制信息，执行对设备外部或内部状况进行估计的模拟，输出表示模拟结果的数值数据。并且，作图·显示控制部28根据表示模拟结果的数值数据生成三维虚拟图像。 
在步骤S54中，作图·显示控制部28进行控制，将在步骤S53中生成的表示对设备外部或内部的状况模拟结果的三维虚拟图像，和在步骤S50中输入的上述设备的拍摄图像重叠显示于HMD102的显示器(显示装置)。 
在步骤S55中，例如，作图·显示控制部28根据是否从HMD102等接收到显示结束的信息等，判定是否结束图19所示的处理。在作图·显示控制部28判定为结束处理时，则结束图19所示的处理，在判定为不结束处理时，则返回步骤S50进行处理。 
以下，以将表示经各送风口吹入氧气、空气的吹入量的吹入指示信息用作预定控制信息的情形为例，更具体地说明将由作图·显示控制部28生成的三维虚拟图像与拍摄图像重叠显示的处理。 
在大型高炉中，在本体的下部设置了30～40处将空气送入炉内的送风口，如果送风口的送入量不同，则各送风口周边的温度分布也各不相同。 
因此，对各送风口分配识别用的ID(以下，简称送风口ID)，在模拟部27执行模拟时，作为预定控制信息，指定送风口ID并输入表示氧气、空气的吹入量的吹入指示信息。由此，便输入了与各送风口相应的、表示三维坐标中各点的吹入量的数据。将基于由传感器得到的测量信息的计算值输入，作为高炉内的三维坐标的各点的温度数据的初始值。 
模拟部27将输入的预定控制信息和测量信息作为初始条件，根据表示高炉内的状态的数学公式模型，进行流体的运动方程式和热传导法方程式的数值分析，从而计算出经过一定时间后，高炉内三维坐标中各点处的各种数值数据(温度数据、速度数据、压力数据等)。 
作图·显示控制部28从模拟部27接收表示模拟结果的高炉内三维坐标上各点处的数值数据，根据接收的数值数据生成表示模拟结果(温度分布、速度分布、压力分布等)的三维虚拟图像。 
进而，作图·显示控制部28在将生成的三维虚拟图像和拍摄图像重叠显示时，例如，根据HMD102上的摄像机拍摄的高炉的图像，识别用户正观看的部分的方位和角度。具体来说，由于HMD102上的摄像机所拍摄的高炉的图像，与用户的视野范围内捕捉到的高炉的图像大致相同，因此预先将从各种角度、方位拍摄高炉的图像存储在HMD102内的存储器中，通过对HMD102的摄像机拍摄的图像和存储在存储器内的图像进行匹配，从而识别用户正观看的部分的方位、角度。然后，作图·显示控制部28根据识别的方位、角度，控制显示给操作者的表示模拟结果的三维虚拟图像的方向。 
而且，操作者也可以通过输入装置自己操作调整三维虚拟图像的方向，对此没有特别限定。 
根据上述结构，操作者可以根据模拟的结果提前确认，自己之后所要进行的控制会使高炉或转炉内的温度分布及压力分布成为何种状况。 
由此，例如，若高炉内的模拟结果显示温度分布良好，则操作者可进行预定的控制，若模拟结果显示温度分布不良，则操作者可再次研究控制内容，选择适当的操作。因此，即便是经验少的操作者也可以使要求熟练度的高炉等工厂设备的良好运转。而且，由于内部的温度分布等以三维的虚拟图像与实际的高炉或转炉重叠而进行显示，因此操作者可以直观掌握设备内部的状况，并能够快速且正确地了解模拟结果是否良好。 
在本实施方式中，以使用带有摄像机的非透视型的HMD102的情形为例进行了说明，但也可以适用实施方式5的结构，通过使用透视型的HMD，而不含有摄像机。即，HMD不具有拍摄图像输入部21，作图·显示控制部28进行控制，将所生成的三维虚拟图像叠加于从HMD实际观看到的设备并显示。此时，如果在HMD上配备了GPS及加速度传感器，则HMD可识别用户从何方位、角度观看设备。而且， 预先定义了模拟所用的三维坐标与实际的设备的方位之间的关系。由此，即使在不具有摄像机的HMD的情形下，也可根据识别出的方位、角度，对用于向操作者显示的表示模拟结果的三维虚拟图像的方向进行控制，叠加于从透视型的HMD观看到的设备进行显示。 
<实施方式7> 
在炼铁厂，将从高炉里出来的熔铁装入混铁车(鱼雷车)等搬运到炼钢车间，保持溶解状态装入炼钢炉。因此，对于混铁车，也可将其作为车间设备的一部分，与实施方式1相同，生成表示内部状况的虚拟图像，与混铁车重叠显示，而向操作员显示。即，可以从传感器获取混铁车的内部、表面的温度、压力等测量信息，使用该测量信息并根据与混铁车关联的设备内估计模型，生成表示温度分布等的虚拟图像，将该虚拟图像与实际的混铁车重叠显示。 
在本实施方式中，还可以表示与由混铁车搬运的熔铁相应的订货编号。下面进一步详细说明本实施方式的操作辅助系统。图20表示实施方式7的操作辅助系统的系统结构的一个例子。如图20所示，操作辅助系统中，服务器101，带有摄像机的HMD102(以下，简称HMD102)和传感器1041～1045通过无线网络连接。 
在实施方式7中，在HMD102中执行实施方式1中由AR服务器执行的各种处理。下面详细说明HMD102的功能。 
HMD102获取由一体配置于本机的摄像机拍摄的工厂内设备(图20的例中为混铁车)的拍摄图像。HMD102还通过无线网络等获取由传感器1041～1045测量的测量信息(例如，混铁车内部的温度信息等)。 
本实施方式中，在工厂内的设备上贴附用于识别工厂内各设备的标记，HMD102可通过配置于本机的摄像机识别各标记来识别各设备。具体来说，HMD102，在本机的存储器中保存用于识别各设备的设备ID和与各标记相应的图21所示的设备标记对应表，通过由摄像机识别标识，从设备标记对应表中读出与各标记对应的设备ID，从而识别各设备。图21表示设备标记对应表的例子。 
HMD102进行控制，根据获取的测量信息生成表示设备外部或内部的状况的虚拟图像，并将生成的虚拟图像与由摄像机拍摄的拍摄图像重叠显示于装备于本机的显示器(显示装置)。 
本实施方式的特征为，HMD102根据设备ID生成表示分配给设备内的产品的订货编号的虚拟图像，将生成的订货编号的虚拟图像与由摄像机拍摄的设备的拍摄图像重叠显示于本机的显示装置。下面对此详细说明。 
本实施方式中，服务器101保存将用于识别各设备的设备ID和订货编号相关联的图22所示的设备利用状况表。在向工厂内的制造管理系统登记数据时等，由操作者更新该设备利用状况表。例如，在开始利用高炉制造生铁的作业时，操作者向制造管理系统输入分配给在该高炉中制造的生铁的订货编号，由此，更新上述设备利用状况表。即，本实施方式中，服务器101与如图2所示的AR服务器1不同，其存储制造管理系统的数据。图22表示设备利用状况表的例子。 
HMD102的硬件结构与如图2所示的AR服务器1相同，包括CPU、存储装置(存储器)、通信装置。CPU根据在存储装置中的程序和数据，执行控制HMD102的处理等，由此实现基于下述软件结构和流程图的处理。 
图23表示带有摄像机的HMD的软件结构。如图23所示，HMD102的软件结构包括拍摄图像输入部21、测量信息输入部22、确定处理部29、制作部23、显示控制部24。 
拍摄图像输入部21接收由配置于HMD102的摄像机拍摄的工厂内设备的拍摄图像，作为输入数据。 
测量信息输入部22从传感器31～35接收由传感器31～35测量的测量信息，作为输入数据。 
确定处理部29确定与各设备内的产品对应的订货编号。具体来说，确定处理部29从上述设备标记对应表中读取与摄像机捕捉的贴于工厂内设备的标记对应的设备ID。 
图20所示的例子中，在配置于本机的摄像机捕捉到贴于混铁车A的标记A和贴于混铁车B的标记B时，确定处理部29分别从设备标记对应表读取与标记对应的设备ID，并识别贴有标记A的设备为混铁车A，贴有标记B的设备为混铁车B。 
确定处理部29从上述设备利用状况表中读取各设备ID所对应的订货编号，确定与各设备内的产品等对应的订货编号。 
图20所示的例子中，在识别了混铁车A和混铁车B后，确定处理部29分别从设备利用状况表读取与设备ID对应的产品ID，确定混铁车A的产品ID为“ABC123”，搬运“EDF456”的生铁，混铁车B的产品ID为“G123”，搬运“X456”的生铁。 
制作部23根据由测量信息输入部22输入的测量信息，生成表示设备外部或内部状况的虚拟图像。另外，制作部23还生成表示由确定处理部29确定的订货编号的虚拟图像。 
显示控制部24进行控制，将由制作部23生成的表示设备外部或内部状况的虚拟图像和由拍摄图像输入部21输入的上述设备的拍摄图像重叠显示于HMD102的显示装置。另外，显示控制部24进行控制，将由制作部23生成的表示订货编号的虚拟图像和由拍摄图像输入部21输入上述设备的拍摄图像重叠显示于HMD102的显示装置。 
图20表示在HMD102中利用显示控制部24，将由制作部23生成的表示订货编号的虚拟图像和由摄像机拍摄的混铁车的图像重叠的情形。 
在图20中虽未示出将表示设备外部或内部状况的虚拟图像重叠显示的例子，但是，可以用实施方式4的结构通过切换显示图层来显示。 
另外，在图20所示的例子中说明了为识别工厂设备而使用标记的结构，但也可以代替标记，利用RFID等无线IC标签识别工厂设备。即，也可以，HMD102具有无线IC标签读取功能，对各设备附加存储各设备ID的无线IC标签，从中直接读取设备ID，对此没有特别限定。 
图24是表示实施方式7的操作辅助系统中进行处理的一个例子的流程图。 
在步骤S60中，拍摄图像输入部21接收并输入由配置于HMD102的摄像机拍摄的工厂内设备的拍摄图像。 
在步骤S61中，测量信息输入部22从传感器31～35接收并输入由传感器31～35测量的测量信息。 
在步骤S62中，确定处理部29根据由配置于HMD102的摄像机捕捉到的标记，确定各设备的设备ID，并根据所确定的设备ID，确定在各设备中保管的产品等的订货编号。 
在步骤S63中，制作部23根据在步骤S61中输入的测量信息，生 成表示设备外部或内部状况的三维虚拟图像。另外，制作部23根据在步骤S62中确定的订货编号，生成表示订货编号的虚拟图像。 
在步骤S64中，显示控制部24进行控制，将在步骤S63中生成的表示设备外部或内部状况的三维虚拟图像，与在步骤S60中输入的上述设备的拍摄图像重叠显示于显示装置4。另外，显示控制部24进行控制，将在步骤S63中生成的表示订货编号的虚拟图像，与在步骤S60中输入的所述设备的拍摄图像重叠显示于显示装置4。 
在步骤S65中，例如，显示控制部24根据是否从显示装置4等接收到显示结束的信息等，判定是否结束图24所示的处理。在显示控制部24判定为结束处理时，则结束图24所示的处理，在判定不结束处理时，则返回步骤S60进行处理。 
本实施方式不仅仅适用于工厂的设备，也适用于等待发货的产品。此时，由于不需要对表示设备内部或外部的情形的虚拟图像进行重叠显示，因此可以跳过S61，并在S63中不进行生成表示设备内部或外部的情形的虚拟图像的处理，对此没有特别限定。 
图25表示实施方式7的操作辅助系统的系统结构的一个例子。在图25中表示在等待发货的线圈状标识上显示订货编号的例子。在该例中，对等待发货的线圈状标识附加标记1051～1053，并利用HMD102捕捉该标记，由此能够获取各线圈状标识的订货编号，详细的处理内容，与图20中说明的例子相同，在此省略说明。 
图25所示的例子，除了显示订货编号外，还利用AR显示装载顺序说明书。此时，操作者预先在服务器101中登记有关装载顺序的信息(利用订货编号定义的装载顺序等的信息)。在确定处理部29确定产品的订货编号时，读取在服务器101中登记的与装载顺序相关信息，制作部23生成表示装载顺序说明书的虚拟图像。 
由此，由于能够快速掌握与设备内收容的产品、半成品或材料等对应的订货编号及装载顺序，因此操作员只需观看工厂内的设备和产品，就可以顺利地进行发货的准备、输送到下一个工序的作业，并可防止作业发生错误。 
在本实施方式中也说明了使用带有摄像机的非透视型HMD102的情形的例子，但也可以适用实施方式5的结构，使用透过型的HMD， 而不包括摄像机。此时，在HMD中不具备拍摄图像输入部21，所以要进行将制作部23生成的三维虚拟图像叠加于通过HMD实际观察到的设备并显示的控制。 
以上，对本发明的优选实施方式进行了详细叙述，但是本发明不限定与上述特定的实施方式，可以在权利要求中记载的本发明的要点的范围内做各种变形、变更。 
例如，在上述实施方式中说明了对内部难以看到的炼铁厂的高炉或转炉等的设备内部状况进行显示的例子。然而，上述各实施方式也可适用于食品制造、化学·药品制造等，在透明容器内取用液体或粉末的设备。在将上述各实施方式适用于这样的设备时，可以使参观者直接看正在投入的液体或粉末，可以以标签等显示方式重叠显示该液体或粉末的属性(材料名、温度、粘度、酸度、酒精度、一次的投入量等)。这样，可以一边观看实时的运转状况，一边通过标签信息得到更具体的信息，并向参观者提供更容易理解的参观服务。 
在上述实施方式中，说明了所谓非透视型的显示器和透视型的显示器的例子，但是，本发明也可适用于非透视型的投影仪和透视型的投影仪。例如，可以不用显示装置4，而使用佩戴在参观者头部等的具有眼镜型显示部的显示装置。另外，例如，AR服务器1在对拍摄图像和虚拟图像重叠显示时，进行拍摄图像和虚拟图像的坐标匹配。坐标匹配的方法例如有，在设备上预先配置固定标记，根据由摄像机2拍摄的图像中的固定标记，进行拍摄图像和虚拟图像的坐标匹配。另外，使用佩戴在参观者头部等的具有眼镜型显示部的显示装置时，AR服务器1根据到显示装置的位置信息、方向信息等，估计参观者在观看何处，并进行坐标匹配以与估计的位置相符。 
可以对上述实施方式任意组合而实施。 
上述AR服务器1为计算机的一个例子。 
<实施方式8> 
图26表示本实施方式的信息提供系统的结构的一个例子。信息提供系统具有AR提供装置1000和信息处理装置200。AR提供装置1000和信息处理装置200通过网络连接，可以相互通信。 
AR提供装置1000是信息提供装置(计算机)的一个例子，其可 以是HMD(Head Mounted Display：头戴式显示器)等，将由AR提供装置1000生成的图像(计算机图形图像)显示在与通过AR提供装置1000感知的现实空间相符的位置，由此提供增强的现实感(AR：Augmented Reality：增强现实)。例如，AR提供装置1000将表示起重车300的危险范围的危险范围图像310重叠于现实空间的起重车300进行显示。例如，信息处理装置200为服务器计算机，其管理与起重车300等危险物(危险目标的一个例子)相关的各种信息。在此，危险目标不限于危险物本身，还包含任意的多个危险物频繁通过的道路等危险场所和空间。 
图27表示AR提供装置1000的硬件结构的一个例子。 
AR提供装置1000包括控制装置1005、存储装置1010、通信装置1015、显示装置1020、方位检测装置1025、姿态检测装置1030、以及拍摄装置1035。 
控制装置1005例如为CPU(Central Processing Unit：中央处理器)，根据需要从存储装置1010读取程序，并执行程序。通过执行程序，实现AR提供装置1000的后述功能，和后述的流程图中的处理。 
存储装置1010为ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存储区)、HD(Hard Disk：硬盘)等，其存储各种信息。具体来说，存储装置1010(ROM)用于存储在AR提供装置1000接通电源时最初要读取的程序等。存储装置1010(RAM)起到AR提供装置1000的主存储器的功能。存储装置1010(HD)存储程序以外由控制装置1005计算的数值数据等。并且，AR提供装置1000也可以从CD-ROM等记录介质获取存储在存储装置1010中的各种信息，或通过网络等下载。 
通信装置1015以有线或无线的方式与信息处理装置200通信，获取与危险物相关的各种信息。另外，通信装置1015与作为位置检测装置的一个例子的卫星通信，获取轨道信息。 
显示装置1020为显示部的一个例子，可以是透视型液晶显示器等，其显示各种图像。 
方位检测装置1025例如为电子罗盘，其检测微弱的地磁(例如前后方向的地磁和左右方向的地磁)，根据地磁强度计算北方朝向，并计 算出AR提供装置1000的方位(方位信息)。 
姿态检测装置1030例如为陀螺仪传感器，检测物体的角速度，通过对角速度积分等，计算出角度(AR提供装置1000的姿态(姿态信息))。 
拍摄装置1035拍摄现实空间。 
AR提供装置1000的硬件结构不限于此。例如，可以不采用方位检测装置1025和姿态检测装置1030，而采用将方位检测装置1025和姿态检测装置1030的功能一体化的方位姿态检测装置。 
图28表示AR提供装置1000的功能结构的一个例子。 
AR提供装置1000包含测量部1040、方位信息取得部1045、姿态信息取得部1050、获取部1055、视野确定部1060、显示控制部1065以及影像取得部1070。 
测量部1040是位置信息获取单元的一个例子，其根据由通信装置1015从卫星获取的轨道信息，测量(计算得到)表示AR提供装置1000的当前位置的信息(作为装置位置信息的一个例子的AR位置信息)。 
方位信息取得部1045获取由方位检测装置1025计算的方位信息。方位信息取得部1045也可以从方位检测装置1025接收地磁等的检测信息来计算方位信息。 
姿态信息取得部1050获取由姿态检测装置1030计算的姿态信息。姿态信息取得部1050也可以从姿态检测装置1030接收角速度等的检测信息来计算姿态信息。 
从保存在信息处理装置200的后述的存储装置280里，获取部1055从存放有用于生成表示危险物危险范围的危险范围图像的信息的表中(后述的位置固定对象表、后述的移动对象表等)，获取(读取)需要的信息作为与危险物相关的各种信息。 
视野确定部1060根据由方位信息取得部1045取得的方位信息，和由姿态信息取得部1050取得的姿态信息，确定(推算)佩戴着AR提供装置1000的用户的视野。 
显示控制部1065根据由方位信息取得部1045取得的方位信息、由姿态信息取得部1050取得的姿态信息、以及获取部1055获取的信息，生成增强图像，并显示于显示装置1020。此时，显示控制部1065 进行坐标校对，以使增强图像与现实空间的危险物匹配并显示于显示装置1020。 
为正确地进行现实空间与显示空间(虚拟空间)之间的坐标校对(几何位置校准)，需要使生成虚拟空间的增强图像的参数(内部参数和外部参数)与显示装置1020的参数一致。由于显示装置1020的内部参数已知，因此几何位置匹配的问题归结为求得显示装置1020的外部参数(即，AR提供装置1000的位置和姿态)。 
在此，为了求AR提供装置1000的位置和姿态，可以适当组合方位检测装置1025(磁场传感器)、姿态检测装置1030(陀螺仪传感器)、控制装置1005(GPS)、以及显示装置1020，采用各种方法。换言之，可分类为，利用传感器测量的结果(AR位置信息、方位信息以及姿态信息)的方法；利用由显示装置1020拍摄的图像的方法；将显示装置1020与传感器组合以修正位置匹配的偏差的方法。 
本实施方式中对以下方法进行说明，即，在事先校准显示装置1020的内部参数(焦距、镜头变形、纵横比等)的前提下，显示控制部1050采用取得测量到的AR提供装置1000的AR位置信息、方位信息以及姿态信息，求出表示虚拟环境的虚拟坐标系与预先设定的现实空间的基准坐标系之间的几何变换矩阵(与虚拟坐标系和基准坐标系之间的变换相对应的变换信息)。 
如上所述，显示控制部1065可以利用例如所拍摄的图像中的某些标志实时推算显示装置1020的外部参数(位置和姿态)，由此求得几何变换矩阵。此时，作为用于推算AR提供装置1000的位置和姿态的标志，可使用故意附加上的标记等的标志，可以使用轮廓信息、亮度边缘、特征点等的自然特征。 
影像取得部1070取得由拍摄装置1035拍摄的现实空间的影像数据。 
图29表示信息处理装置200的硬件结构的一个例子。 
信息处理装置200包括控制装置275、存储装置280、通信装置285、显示装置290和输入装置295。 
控制装置275例如为CPU(Central Processing Unit)，其根据需要从存储装置280读取程序，并执行程序。通过执行程序，实现信息处 理装置200的后述功能，和后述流程图中的处理。 
存储装置280为存储部的一个例子，可以为ROM(Read Only Memeory)、RAM(Random Access Memory)、HD(Hard Disk)等，其存储各种信息。进一步详细说明，存储装置1010(ROM)用于存储信息处理装置200接通电源时最初要读取的程序等。存储装置280(RAM)起到信息处理装置200的主存储器的功能。存储装置280(HD)存储程序以外由控制装置275计算的数值数据等。并且，信息处理装置200也可以从CD-ROM等记录介质获取存储在存储装置280中的各种信息，或通过网络下载。 
通信装置285与用于检测危险物正在工作的状态(工作状态)的工作状态检测传感器通信，从工作状态检测传感器取得表示危险物当前位置的信息(作为危险目标位置信息的例子的危险物位置信息)。 
显示装置290为液晶显示器等，其显示各种信息。 
输入装置295为用户操作的键盘和鼠标等，其用于向信息处理装置200输入各种信息。 
图30是保存有关危险物的信息的表的一个例子(固定位置对象表210)。 
固定位置对象表210中包括危险物ID、危险物名称、危险种类、基准位置、状态、各状态下的危险范围、现状信息。除现状信息以外，各种信息例如由管理者通过输入装置295等设定。关于现状信息的设定在后面进行说明。 
危险物ID信息为用于识别危险物的识别信息。危险物名称信息为表示危险物的名称的信息。危险物种类的信息为表示不同危险物的危险种类的信息。 
基准位置信息是表示设置危险物的位置(纬度和经度)的信息(设置位置信息)。并且，设置位置信息是表示被固定的危险物的位置的信息，表示危险物的当前位置，因此与危险物信息等同。另外，设置位置信息也用于确定表示危险范围图像的位置的信息(显示位置信息)。在此，例如，对维度“35.354417”，经度“139.867623”的位置信息，位置信息表示为“35.354417，139.867623”。本实施方式中，为说明方便，认为危险物的高度为“0”。 
状态信息是用于识别危险物的工作状态的信息(状态识别信息)。在图30中示出两种状态识别信息。第一种是，根据当前时刻，为识别危险物是否在工作的状态识别信息(“9:00～17:00”、工作中等)。第二种是，根据危险物工作时(工作中)的状态，识别危险物正以何种状态工作的状态识别信息(完全工作、仅东侧工作等)。 
各状态下的危险范围信息是危险范围信息的一个例子，是表示与危险物的状态相应的危险范围的信息。现状信息是表示危险物是否在工作的信息。本实施方式中，危险物正在工作时，通过信息处理装置200，设定为“○”，危险物不工作时，不进行任何设定(被清除)。 
图31是表示保存与危险物相关的信息的表的例子(移动对象表220)。 
移动对象表220中包括危险物ID、危险物名称、危险物种类、测位基准、状态、各状态下的危险范围、现状、当前位置信息。除现状的信息和当前位置信息外，各种信息例如由管理者通过输入装置295等设定。关于现状信息和当前位置信息在后面进行说明。 
测位基准信息为用于显示危险范围图像位置的信息(显示位置信息)。当前位置信息为表示危险物当前的位置的信息(危险物位置信息)。这里，省略与图30所示的相同的项目的说明。 
在本实施方式中，与危险物相关的信息以表的形式、且对应于危险物的种类(是固定危险物还是移动危险物)保存在多个表中，但不限于这样的结构。例如，可以将与危险物相关的信息保存为一个或者多个文件。另外，例如，也可以将与危险物相关的信息保存为一个表。 
图32表示作为信息处理装置200的一个例子的工作状态设定部对“现状”进行设定的处理(工作状态设定处理)的一个例子的流程图。 
图32所示的流程图中的处理每隔一定间隔(例如，1分钟)进行一次。 
首先，工作状态设定部获取当前时刻(步骤S105)。 
其次，工作状态设定部从存储装置280读出与危险物相关的信息(步骤S110)。 
再次，工作状态设定部，根据当前时刻和与危险物相关的信息，对“现状”进行设定(步骤S115)，工作状态设定处理结束。 
具体来说，工作状态设定部依次读出与危险物相关的信息，在状态信息是用于根据当前时刻识别危险物是否在工作的状态识别信息(时间带)时，判定当前时刻是否包含在此时间带内。此时，如果工作状态设定部判定当前时刻包含在此时间带内，则设定“现状”为“○”。另一方面，如果工作状态设定部判定当前时刻不包含在此时间带内，则清除“现状”。 
在此，举例说明当前时刻为“15:00”时，进行如图32所示的流程图的处理的情形。 
首先，在步骤S105中，工作状态设定部获取当前时刻“15:00”。 
其次，在步骤S110中，工作状态设定部从固定位置对象表210和移动对象表220中读出状态信息。 
再次，在步骤S115中，工作状态设定部一件一件地设定与状态信息相应的“现状”，例如，在读出的状态信息为时间带“9:00～17:00”时，判定当前时刻“15:00”是否包含在时间带“9:00～17:00”内。另外，工作状态设定部判定当前时刻“15:00”包含在时间带“9:00～17:00”内时，则设定与状态信息(时间带“9:00～17:00”)相应的“现状”为“○”。 
设定“现状”的处理不限于上述处理。例如，也可以用一下处理取代步骤S105～步骤S115的处理，即，工作状态设定部通过工作状态检测传感器接收表示危险物是否在工作的信息，判定实际上危险物是否在工作，当判断危险物在工作时，设定“现状”为“○”，当判断危险物未在工作时，则进行清除“现状”。 
图33表示工作状态设定部对“现状”进行设定的处理(工作状态设定处理)一个例子的流程图，其中工作状态设定部是信息处理装置200的功能的一个例子。当从工作状态传感器接收到危险物状态信息时，进行图33所示的流程图的处理。 
首先，工作状态设定部从工作状态检测传感器接收危险物状态信息(步骤S120)。危险物状态信息中包含了危险物ID信息、和表示危险物工作状态的信息(工作状态信息)。例如，作为工作状态信息设定危险物不工作时为“0”；危险物以第1种状态工作时为“1”；危险物以第2种状态工作时为“2”等。 
其次，工作状态设定部从存储装置280读出与危险物相关的信息 (步骤S125)。具体来说，工作状态设定部读出在危险物状态信息中对应于危险物ID信息的与危险物相关的信息。 
再次，根据接收的危险物状态信息和与危险物相关的信息，工作状态设定部对“现状”进行设定(步骤S130)，工作状态设定处理结束。 
具体来说，工作状态设定部，在根据读出的与危险物相关的信息，确定危险物状态信息中的与工作状态信息对应的“状态”时，将与所确定的“状态”相应的“现状”设定为“○”。另一方面，工作状态设定部在不能确定时(工作状态信息表示危险物未在工作时)，则清除读出的全部“现状”。 
在此举例说明，在从检测危险物ID“001”的工作状态的工作状态传感器，接收到危险物状态信息(危险物ID“001”，工作状态信息“2”)时，进行图33所示流程图的处理。 
首先，在步骤S120中，工作状态设定部，从用于检测危险物ID“001”的危险物“起重机”的工作状态的工作状态检测传感器，接收危险物状态信息。 
其次，在步骤S125中，工作状态设定部从固定位置对象表210和移动对象表220，读出对应于危险物ID“001”的状态“完全工作”和“仅东侧工作”。在本实施方式中，状态“完全工作”作为第一种形态下的工作，规定为“1”；状态“仅东侧工作”作为第二种形态下的工作，规定为“2”。 
再次，在步骤S130中，工作状态设定部根据读出的状态“完全工作：1”和“仅东侧工作：2”，确定危险物状态信息中的与工作形态信息“2”对应的状态“仅东侧工作”，并将与所确定的状态“仅东侧工作”对应的“现状”设定为“○”。 
图34表示位置信息设定部对危险物的现在的位置信息进行设定的处理(位置信息设定处理)的一个例子的流程图，其中，位置信息设定部为信息处理装置200的功能的一个例子。 
首先，位置信息设定部从用于测量危险物位置的测量器(或设有测量器的危险物)接收危险物确定信息(步骤S135)。在危险物确定信息中，包含危险物的当前位置信息(危险物位置信息)和危险物ID信息。这里，也可以不使用危险物位置信息，而是接收用于计算危险物位置信息的轨道信息等，并由位置信息设定部计算危险物位置信息。 
其次，位置信息设定部根据接收到的危险物位置信息和与危险物相关的信息，设定(更新)“当前位置”(步骤S140)，位置信息设定处理结束。 
例如，在步骤S140中，当位置信息设定部接收到包含危险物ID“010”、危险物位置信息“35.355187，139.874618”的危险物确定信息时，参照固定位置对象表210和移动对象表220，在与危险物ID“010”对应的“当前位置”，设定危险物位置信息“35.355187，139.874618”。 
图35是由AR提供装置1000的各功能进行的显示处理的一个例子的流程图。在用于识别是否利用AR功能的模式(AR模式)为ON时，重复进行显示处理。这里，用户通过按下切换AR模式的开关，来切换AR模式的ON/OFF(开/关)。 
首先，在步骤S145中，获取部1055从信息处理装置200，由固定位置对象表210和移动对象表220获取(提取)现状为“○”的目标数据。并且，在从固定位置对象表210中提取的目标数据中包含危险物ID、基准位置、以及各状态下危险范围的信息。并且，在从固定位置对象表210中提取的目标数据中包含危险物ID、基准位置、以及各状态下危险范围、当前位置的信息。 
在本实施方式中，如图30和图31所示，读取到4个现状为“○”的目标数据。例如，根据危险物ID“001”的状态“2(仅东侧工作)”，读取确定的目标的数据，该目标数据中包含危险物ID“001”、基准位置“35.355187，139.874618”、以及各状态下危险范围“半径15m，高度20m，方位0°～180°”。 
其次，在步骤S150中，影像取得部1070获取由拍摄装置1035拍摄的现实空间的影像数据。 
其次，在步骤S155中，测量部1040通过通信装置1015从卫星获取轨道信息，并根据该信息测量表示AR提供装置1000当前位置的信息(AR位置的信息)。 
其次，在步骤S160中，方向确定部(方位信息取得部1045和姿态信息取得部1050)确定AR提供装置1000的方向(方位和姿态)。即，方位信息取得部1045获取方位检测装置1025计算的方位信息，姿态信息取得部1050获取姿态检测装置1030计算的姿态信息。 
其次，在步骤S165中，视野确定部1060根据测量结果(在步骤S150和步骤S155中获取的信息)等，确定佩戴着显示装置1020的用户的AR视野。 
在此，图36表示用户400的AR视野U的例子。在本实施方式中，由于设定危险物的高度为“0”，因此将AR视野定为平面(二维)的。但是，当在危险物位置信息中加入高度信息时，也可以将AR视野定位为立体(三维)的。 
另外，在本实施方式中，作为用户400的视野，例如预先设定左右方向160°(加入高度信息时，例如上下方向120°)范围的信息(视野信息)，并保存在存储装置1010中。 
例如，视野确定部1060将以AR位置信息410为基准预先设定的范围(例如，半径100m)内，以方位信息420为中心的视野，确定为AR视野U。 
其次，在步骤S170中，显示控制部1065根据影像数据、测量结果和目标数据，生成包含在AR视野中的危险物的危险范围图像(增强图像)。 
具体来说，首先，当目标数据中的危险物位置信息包含在AR视野中时，显示控制部1065确定危险物位置信息所指位置上的危险物包含于AR视野。例如，在图36中，由于危险物位置信息430包含于AR视野U，因此确定危险物位置信息430所指位置上的危险物包含于AR视野U。另外，由于危险物位置信息440不包含于AR视野U，因此确定危险物位置信息440所指位置上的危险物不包含于AR视野U。 
然后，显示控制部1065根据AR位置信息、方位信息和姿态信息求得几何变换矩阵。 
此时，在危险物固定的情形下，显示控制部1065根据基准坐标系中危险物位置信息的坐标，计算与所确定的危险物相应的各状态下危险范围的坐标(范围坐标)，对计算的范围坐标适用几何变换矩阵，生成危险范围图像(增强图像)。 
另一方面，在危险物移动时，显示控制部1065分析影像数据(构成影像数据的图像数据)，确定附加在该危险物上的表示测位基准的标记在基准坐标系中的坐标，以该坐标为起点，计算各状态下的危险范 围的危险范围坐标，对计算的范围坐标适用几何变换矩阵而生成增强图像。 
生成增强图像的方法不仅限于上述结构。例如，显示控制部1065也可以根据影像数据计算虚拟坐标系中与危险物位置信息相应的点和对应于AR位置信息的点，根据这些点的距离(相对距离)，以及在基准坐标中危险物位置信息和AR位置信息之间的距离(绝对距离)计算倍率，生成增强图像。 
此时，在危险物固定的情形下，显示控制部1065对与危险物相应的各状态下危险范围乘以倍率，生成增强图像。 
另一方面，在危险物移动时，显示控制部1065分析影像数据(构成影像数据的图像数据)，确定附加在该危险物上的表示测位基准的标记在基准坐标系中的坐标，对所确定的坐标适用几何变换矩阵，计算虚拟坐标系中的坐标(显示坐标)，以该显示坐标为基点，对与危险物相应的各状态下危险范围乘以倍率，生成增强图像。 
在步骤S175中，显示控制部1065对显示装置1020进行透过控制(使其可观看到危险物)，并显示增强图像，以使增强图像与现实空间的危险物重叠。 
在此，显示控制部1065在确定AR视野中有多个危险物时，生成各个危险物的增强图像并显示。显示控制部1065也可以将生成的增强图像叠加于影像数据并显示于显示装置1020。 
显示增强图像的方法不仅限于以上所述结构。例如，也可以根据危险物ID从信息处理装置200取得预先登记的用于确定危险物的信息(特征量等)，显示控制部1065利用特征量等对影像数据进行识别处理而确定危险物，在已确定的危险物的坐标处显示危险范围图像(增强图像)。根据此结构，可以将显示增强图像的位置相对现实空间修正到更恰当的位置。 
图37A是危险物固定时的显示例，表示将增强图像510叠加于起重机(危险物ID“001”，状态“仅东侧工作”)500进行显示。在该例中，由于在各状态下的危险范围中，高度设定为“20m”，因此显示立体的(三维的)增强图像510。此外，高度设定为“0m”时，则显示平面(二维的)增强图像。图37B的例子中，显示二维的增强图像520。 
图37C是危险物移动时的显示例，将增强图像610叠加于附有显示测位基准的标记620的起重机(危险物ID“011”，状态“移动”)而进行显示。 
本实施方式说明了生成并显示危险范围图像的结构，但不限于此。例如，可以设置对是否利用安全显示功能进行识别的模式(安全显示模式)，在安全显示为ON时，显示控制部1065在危险范围图像上，或者取代危险范围图像，在显示装置1020上显示与安全相关的图像(安全通道图像，或者安全地带图像)。 
例如，显示控制部1065分析危险范围图像，确定不是危险范围图像的部分(未设定为危险范围的范围)为安全范围，生成表示安全范围的图像(安全地带的图像)。另外，例如，显示控制部1065根据预先设定的表示工厂出口位置的位置信息和AR位置信息，计算安全通道，生成表示所计算的安全通道的图像。图37D为显示与安全相关的图像的例子(安全通道图像700)。 
用户通过按下切换安全显示模式的按钮(图上没显示)，切换安全显示模式的ON/OFF。 
在步骤S180中，显示控制部1065判断是否中止显示。此时，AR模式为ON时，显示控制部1065判断不中止显示，继续进行步骤S145的处理。另一方面，当AR模式为OFF时，显示控制部1065判断为中显示，则结束显示处理。 
图38是AR提供装置1000中利用各功能进行显示处理的一个例子的流程图。该显示处理接着步骤S175的处理后进行，或者是替代步骤S170和步骤S175的处理。 
首先，获取部1055，从信息处理装置200获取运行计划信息，该运行计划信息作为移动预定信息，表示危险物预定的移动(步骤S185)。运行计划信息包含表示危险物预定运行的位置的运行位置信息、和表示其时刻的运行时刻信息。 
其次，在步骤S190中，显示控制部1065确定危险预定范围。具体来说，显示控制部1065确定以危险物位置信息为中心预先确定的范围(例如，半径50m的圆的内侧)为危险预定范围。 
其次，在步骤S195中，显示控制部1065，根据获取的运行计划信 息和当前时刻，判定危险物是否进入危险预定范围。具体来说，显示控制部1065从运行计划信息中获取从当前时刻起一定的时间内(例如，5分钟以内)的运行位置信息，判定所获取的运行位置信息是否包含在危险预定范围内。此时，显示控制部1065在判定为包含在内(危险物进入危险预定范围)时，继续进行步骤S200的处理。另一方面，在判定为不包含在内(危险物没有进入危险预定范围)时，结束显示处理。当危险物位置信息处在AR视野内时，显示控制部1065判定不包含在内。 
在步骤S200中，显示控制部1065在显示装置1020上显示表示危险物正在接近的图像。具体来说，显示控制部1065根据获取的运行预定位置和测量结果，确定危险物正在接近的方向，在显示装置1020上显示用于通知危险物正从所确定的方向接近的图像。图39是表示危险物(AGV：Automatic Guided Vehicle，无人搬运车)正在从用户的左侧接近的例子(警告显示图像800)。 
虽然显示控制部1065判定危险物是否进入危险预定范围，但不限定于此形态。例如，也可以根据当前时刻、运行计划信息及测量结果，判定危险物是否正在接近AR提供装置1000。 
<实施方式9> 
实施方式8中，AR提供装置1000具有拍摄装置1035，实施方式9的AR提供装置1000的特征是不具有拍摄装置1035。以下，说明与实施方式8不同的主要结构。 
图40是AR提供装置1000中利用各功能进行显示处理的一个例子的流程图。对于与实施方式8的图35所示处理相同的处理，使用相同的符号，并省略说明。由于AR提供装置1000不具有拍摄装置1035，因此不进行如图35所示的步骤S150的处理。 
在步骤S305中，显示控制部1065根据测量结果和目标数据，生成包含在AR视野中的危险物的危险范围图像(增强图像)。 
具体来说，首先，显示控制部1065在目标数据中的危险物位置信息包含在AR视野内时，确定危险物位置信息所指位置上的危险物为包含在AR视野中的危险物。 
显示控制部1065根据AR位置信息、方位信息、以及姿态信息， 求得几何变换矩阵。 
显示控制部1065根据危险物位置信息的坐标，计算在基准坐标系下，与该危险物对应的各状态下危险范围的范围坐标，对该算出的范围坐标适用几何变换矩阵，生成增强图像。实施方式8中，根据危险物是否固定采用不同的生成增强图像的方法，但是在实施方式9中，由于不能拍摄标记，因此无论危险物是否固定，都通过上述方法生成增强图像。 
<其他实施方式> 
上述AR提供装置从信息处理装置获取与危险物相关的信息，生成增强图像，但不限定于此。例如，AR提供装置在存储装置1010中存储用于确定危险物的信息(特征量，危险物的图像数据等)，分析由拍摄装置1035拍摄的影像数据，通过识别处理确定包含在影像数据中的危险物，当判断所确定的危险物正在反复动作(旋转运动、往复运动等)时，设想所确定的危险物的危险范围，生成危险范围图像(增强图像)。 
另外，作为AR提供装置，可以采用各种各样的形态。例如，可以采用携带终端型的AR提供装置。此时，可采用非透视型的液晶显示器来取代透视型液晶显示器。例如，可以采用将增强图像与光学方式透过映出的现实空间的目标物合成显示的平视显示器(headup display)型AR提供装置。 
另外，上述实施方式中，AR提供装置1000和信息处理装置200具有各自的功能，但也可以由一个装置实现，或者不是由AR提供装置1000，而是由信息处理装置200来生成增强图像，即，可以由与本实施方式中描述的装置不同的装置来实现同样的功能。 
以上所述实施方式中，作为固定的危险物，例举了起重机、气体管道、车床，但不仅限于此。例如，危险物也可以是传送电力的送电线。此时，当电压达到规定值(规定电压)时，工作状态检测传感器检测其(危险物)正在工作。例如，危险物也可以是输送流体的配管。此时，当流体的温度达到规定值(规定温度)时工作状态检测传感器检测其正在工作。例如，危险物也可以是驱动砂轮旋转来研磨工件的面的磨床。此时，工作状态检测传感器检测工作状态信号、动作预定 信号，来检测其正在工作。 
另外，上述实施方式中，当危险物被AR提供装置1000识别时，生成该危险物的危险范围的增强图像并进行显示，但是未必要对AR提供装置1000识别的全部危险物生成并显示危险范围的增强图像。 
例如，当在AR提供装置1000的视野中捕捉到多个危险物时，如果对全部危险物都提示危险范围，可能会使用户搞不清应该注意何处。具体来说，对于当前相对不会给用户带来危险的远处的危险物，没必要生成并提示危险范围的增强图像。如果对于这些几乎不具有危险性的危险物也提示增强图像，则用户可能会漏掉本应注意的近处危险物增强图像。 
因此，可以仅对当前有必要显示的危险范围的危险物，向用户显示表示其危险范围的增强图像。对此在下面做具体说明。 
该结构中，AR提供装置1000，例如，仅在用户的位置距离危险物规定距离以下(预定的阈值以下)时，为用户生成危险物危险范围的增强图像。图41是保存有关危险物的信息的表的一个例子(固定位置对象表910)。与图30所示的表相比，如图41所示的表增加了显示条件的项目。 
在使用固定位置对象表910时，例如，由于危险物ID“001”的起重机的显示条件为30m以内，AR提供装置1000仅在距危险物ID“001”的起重机距离在30m以内时生成增强图像并显示给用户。其他项目与图30所示的表相同，说明省略。 
图42是显示处理的一个例子的流程图。与图35所示的流程图相比，如图42所示的流程图增加了判定AR提供装置1000与危险物之间的距离的步骤S405。 
在步骤S405中，当确定AR视野内的危险物时，显示控制装置1065取得距该危险物的距离。 
显示控制部1065可根据表示AR提供装置1000当前位置的信息(AR位置信息)和图41所示危险物的基准位置计算AR提供装置1000与危险物之间的距离。或者，在AR提供装置1000设置测量部，测量部向目标危险物发射激光，测量部根据发射的激光被危险物反射回测量部的时间计算距离。步骤S405以外的步骤与图35所示的流程图相 同，说明省略。 
显示控制部1065从固定位置对象表910中读出作为表示条件而保存的距离，与到危险物的距离的测量结果进行比较。当到危险物的距离的测量结果满足保存在固定位置对象表910中的表示条件时，转到步骤S170进行处理。 
例如，在危险物ID“001”起重机的情形下，显示控制部1065确定AR视野中的起重机，获取到起重机的距离。显示控制部1065从固定位置对象表读取与危险物ID“001”的起重机对应的显示条件“30m以内”。并且，显示控制部1065判定获取的到起重机的距离是否满足显示条件的“30m以内”。判定的结果，如果是在30m以内时，进入步骤S170进行处理，显示控制部1065对危险物生成表示危险范围增强图像，并叠加显示。另一方面，如果超过30m，则返回到S145进行处理。 
上述例子中说明了在图30所示的固定位置对象表中增加显示条件的项目的情形，但也可以在图31所示移动对象表中增加显示条件的项目，从而可以针对移动的危险物使用图42所示的流程图，但没有特别限定。 
上述实施方式中，是向作业员显示与危险物相关的信息等，但也可以向操作员以外的巡回于作业现场的安保人员提供与危险物相关的信息，对此没有特别限定。 
根据上述实施方式，在危险场所随时间变化的情况下，可以更准确地告知危险场所。 
以上，对本发明的优选实施方式进行了详细的叙述，但是本发明不限定于这些特定的实施方式，可在权利要求记载的本发明的要点范围内，做各种各样的变形·变更。 
以上所述实施方式可以任意组合并予以实施。 
产业上的利用可能性 
适用于对设备等的工作状况向设施和工厂的参观者进行AR显示的技术。适用于在危险场所随时间变化的情况下，对危险场所进行AR显示的技术。 

Claims (8)

1.一种信息处理装置，其特征在于，包括：
拍摄图像输入单元，其输入由拍摄装置拍摄的设备的拍摄图像；
测量信息输入单元，其从设置于所述设备的传感器输入由所述传感器测量的测量信息；
控制信息输入单元，其输入从对所述设备进行控制的控制装置向所述设备发送的控制信息；
制作单元，其根据由所述控制信息输入单元输入的所述控制信息，和由所述测量信息输入单元输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像；和
显示控制单元，其将由所述制作单元生成的虚拟图像和由所述拍摄图像输入单元输入的拍摄图像重叠显示于显示装置；
所述设备是炼铁厂内的设备，
所述传感器是所述设备内部或外部的多个温度传感器，或压力传感器，
所述控制信息是向所述设备内吹入气体，或者向所述设备内投入材料的信息。
2.一种信息处理装置，其特征在于，包括：
测量信息输入单元，其从设置于设备的传感器输入由所述传感器测量的测量信息；
控制信息输入单元，其输入从对所述设备进行控制的控制装置向所述设备发送的控制信息；
制作单元，其根据由所述控制信息输入单元输入的所述控制信息，和由所述测量信息输入单元输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像；和
显示控制单元，其将由所述制作单元制作的虚拟图像，叠加于透过显示装置显示的所述设备而进行显示；
所述设备是炼铁厂内的设备，
所述传感器是所述设备内部或外部的多个温度传感器，或压力传感器，
所述控制信息是向所述设备内吹入气体，或者向所述设备内投入材料的信息。
3.根据权利要求1或2所述的信息处理装置，其特征在于，还具有，
预定控制信息输入单元，其输入表示对所述设备预定进行的控制内容的预定控制信息；和
模拟单元，其根据由所述预定控制信息输入单元输入的预定控制信息，和由所述测量信息输入单元输入的所述测量信息进行模拟，估计在进行基于所述预定控制信息的控制时，所述设备外部或内部的状况，
所述制作单元，根据表示所述模拟的结果的数值数据，生成表示所述模拟的结果的三维虚拟图像。
4.根据权利要求1或2所述的信息处理装置，其特征在于，
还具有确定单元，其确定与所述设备内的产品相应的订货编号，
所述制作单元生成表示由确定单元确定的订货编号的虚拟图像。
5.根据权利要求1所述的信息处理装置，其特征在于，
所述制作单元，在所述设备工作时，根据由所述控制信息输入单元输入的所述控制信息，和由所述测量信息输入单元输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像，
所述的显示控制单元，在所述设备工作时，将由所述制作单元生成的虚拟图像，和由所述拍摄图像输入单元输入的拍摄图像重叠显示于显示装置；在所述设备未工作时，将预先生成的虚拟图像，和由所述拍摄图像输入单元输入的拍摄图像重叠显示于显示装置。
6.根据权利要求2所述的信息处理装置，其特征在于，
所述制作单元，在所述设备工作时，根据由所述控制信息输入单元输入的所述控制信息，和由所述测量信息输入单元输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像，
所述显示控制单元，在所述设备工作时，将由所述制作单元生成的虚拟图像，叠加于透过显示装置显示的所述设备而进行显示，在所述设备未工作时，将预先生成的虚拟图像，叠加于透过显示装置显示的所述设备而进行显示。
7.一种信息处理装置执行的信息处理方法，其特征在于，包括：
拍摄图像输入步骤，输入拍摄装置拍摄的设备的拍摄图像；
测量信息输入步骤，从设置于所述设备的传感器输入所述传感器测量的测量信息；
控制信息输入步骤，输入从对所述设备进行控制的控制装置向所述设备发送的控制信息；
制作步骤，根据由所述控制信息输入步骤输入的所述控制信息，和由所述测量信息输入步骤输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像；和
显示控制步骤，将在所述制作步骤生成的虚拟图像，与在所述拍摄图像输入步骤输入的拍摄图像重叠显示于显示装置；
所述设备是炼铁厂内的设备，
所述传感器是所述设备内部或外部的多个温度传感器，或压力传感器，
所述控制信息是向所述设备内吹入气体，或者向所述设备内投入材料的信息。
8.一种信息处理装置执行的信息处理方法，其特征在于，包括：
测量信息输入步骤，从设置于设备的传感器输入所述传感器测量的测量信息；
控制信息输入步骤，其输入从对所述设备进行控制的控制装置向所述设备发送的控制信息；
制作步骤，根据由所述控制信息输入步骤输入的所述控制信息，和由所述测量信息输入步骤输入的所述测量信息，生成表示所述设备外部或内部的状况的虚拟图像；和
显示控制步骤，将在所述制作步骤生成的虚拟图像，叠加于透过显示装置显示的所述设备而进行显示；
所述设备是炼铁厂内的设备，
所述传感器是所述设备内部或外部的多个温度传感器，或压力传感器，
所述控制信息是向所述设备内吹入气体，或者向所述设备内投入材料的信息。
CN2011800043251A 2010-03-30 2011-03-29 信息处理装置、信息处理方法以及程序 Active CN102667881B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2010-079219 2010-03-30
JP2010079219 2010-03-30
JP2010138517 2010-06-17
JP2010-138517 2010-06-17
JP2011061339A JP4934228B2 (ja) 2010-06-17 2011-03-18 情報処理装置、情報処理方法及びプログラム
JP2011-061339 2011-03-18
JP2011066594A JP4950348B2 (ja) 2010-03-30 2011-03-24 情報提供装置、情報提供方法、及びプログラム
JP2011-066594 2011-03-24
PCT/JP2011/057769 WO2011122610A1 (ja) 2010-03-30 2011-03-29 情報処理装置、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210175275XA Division CN102737476B (zh) 2010-03-30 2011-03-29 信息提供装置及信息提供方法

Publications (2)

Publication Number Publication Date
CN102667881A CN102667881A (zh) 2012-09-12
CN102667881B true CN102667881B (zh) 2013-11-27

Family

ID=46774770

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210175275XA Active CN102737476B (zh) 2010-03-30 2011-03-29 信息提供装置及信息提供方法
CN2011800043251A Active CN102667881B (zh) 2010-03-30 2011-03-29 信息处理装置、信息处理方法以及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201210175275XA Active CN102737476B (zh) 2010-03-30 2011-03-29 信息提供装置及信息提供方法

Country Status (6)

Country Link
US (2) US9030494B2 (zh)
EP (2) EP2549352B1 (zh)
CN (2) CN102737476B (zh)
MY (2) MY183362A (zh)
SG (2) SG188076A1 (zh)
WO (1) WO2011122610A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
US9685000B1 (en) * 2011-09-28 2017-06-20 EMC IP Holding Company LLC Using augmented reality in data storage management
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8947456B2 (en) * 2012-03-22 2015-02-03 Empire Technology Development Llc Augmented reality process for sorting materials
US9448407B2 (en) 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
EP2936445A2 (en) 2012-12-20 2015-10-28 Accenture Global Services Limited Context based augmented reality
US20140184643A1 (en) * 2012-12-27 2014-07-03 Caterpillar Inc. Augmented Reality Worksite
RU2621488C2 (ru) 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9547917B2 (en) * 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
US9127891B2 (en) 2013-07-10 2015-09-08 Honeywell International, Inc. Furnace visualization
US9430045B2 (en) * 2013-07-17 2016-08-30 Lenovo (Singapore) Pte. Ltd. Special gestures for camera control and image processing operations
JP6115639B2 (ja) * 2013-07-19 2017-04-19 富士通株式会社 情報処理装置、検査範囲の計算方法、及びプログラム
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
US9212851B2 (en) * 2014-02-10 2015-12-15 Honeywell International Inc. Multi resolution, hierarchical radiance field estimation
CN104918001B (zh) * 2014-03-12 2018-06-15 上海届远信息技术有限公司 炼钢行车监控系统
CN104460574A (zh) * 2014-04-10 2015-03-25 江苏永钢集团有限公司 一种可实时立体监视高炉状态的系统和方法
US9342743B2 (en) * 2014-06-02 2016-05-17 Tesa Sa Method for supporting an operator in measuring a part of an object
CN106462142B (zh) * 2014-06-19 2019-03-29 株式会社牧野铣床制作所 机床的控制装置
JP5777786B1 (ja) * 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10950051B2 (en) 2015-03-27 2021-03-16 Rockwell Automation Technologies, Inc. Systems and methods for presenting an augmented reality
US20160292920A1 (en) * 2015-04-01 2016-10-06 Caterpillar Inc. Time-Shift Controlled Visualization of Worksite Operations
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US9454010B1 (en) 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
US9606362B2 (en) 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
US9990008B2 (en) 2015-08-07 2018-06-05 Ariadne's Thread (Usa), Inc. Modular multi-mode virtual reality headset
JP6367166B2 (ja) 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
US9783112B2 (en) * 2015-10-27 2017-10-10 Cnh Industrial America Llc Rear windshield implement status heads-up display
JPWO2017149597A1 (ja) * 2016-02-29 2018-03-08 三菱電機株式会社 機器分類装置
JP6710555B2 (ja) * 2016-03-17 2020-06-17 Kddi株式会社 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10578880B2 (en) * 2016-06-21 2020-03-03 Intel Corporation Augmenting reality via antenna and interaction profile
US10545492B2 (en) 2016-09-26 2020-01-28 Rockwell Automation Technologies, Inc. Selective online and offline access to searchable industrial automation data
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10866631B2 (en) 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
EP3574494A4 (en) * 2017-01-24 2021-03-24 Lonza Limited METHODS AND SYSTEMS FOR USING A VIRTUAL OR EXTENDED REALITY DISPLAY TO PERFORM INDUSTRIAL MAINTENANCE
CN110199324B (zh) * 2017-01-31 2023-12-29 株式会社和冠 显示装置及其控制方法
CN107203267B (zh) * 2017-05-25 2018-10-02 福州市极化律网络科技有限公司 基于视野判断的虚拟世界探索方法及装置
CN109144234B (zh) * 2017-06-16 2021-04-02 宏碁股份有限公司 具有外置追踪及内置追踪的虚拟现实系统及其控制方法
WO2019085945A1 (zh) * 2017-10-31 2019-05-09 杭州美盛红外光电技术有限公司 探测装置、探测系统和探测方法
US10445944B2 (en) 2017-11-13 2019-10-15 Rockwell Automation Technologies, Inc. Augmented reality safety automation zone system and method
US10748343B2 (en) * 2018-07-16 2020-08-18 Microsoft Technology Licensing, Llc Modifiable simulation of physical object behavior
JP2020051092A (ja) * 2018-09-26 2020-04-02 コベルコ建機株式会社 作業機械情報表示システム
US20220139046A1 (en) * 2019-02-04 2022-05-05 Beam Therapeutics Inc. Systems and methods for implemented mixed reality in laboratory automation
CN109767591B (zh) * 2019-03-08 2021-08-24 郭弋硙 一种森林防火预警系统及方法
CN110110647A (zh) * 2019-04-30 2019-08-09 北京小米移动软件有限公司 基于ar设备进行信息显示的方法、装置及存储介质
US11191423B1 (en) 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
US10671934B1 (en) * 2019-07-16 2020-06-02 DOCBOT, Inc. Real-time deployment of machine learning systems
US11423318B2 (en) 2019-07-16 2022-08-23 DOCBOT, Inc. System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms
EP4036047A4 (en) * 2019-09-27 2023-11-01 Tadano Ltd. CRANE INFORMATION DISPLAY SYSTEM
US11478124B2 (en) 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001013009A (ja) * 1999-06-29 2001-01-19 Nec San-Ei Instruments Ltd 赤外放射温度測定装置及びその測定方法並びに画像切り出し方法
JP2001134357A (ja) * 1991-04-08 2001-05-18 Hitachi Ltd 映像操作方法，映像探索方法，映像処理定義方法，遠隔運転監視方法、および装置またはシステム
CN2555268Y (zh) * 2002-08-07 2003-06-11 郭燕昌 用于高炉上的监视装置
CN1445513A (zh) * 2002-03-19 2003-10-01 佳能株式会社 传感器校准装置及方法、程序、存储介质、信息处理方法及装置
JP2008026185A (ja) * 2006-07-21 2008-02-07 Tepco Systems Corp 放射線可視化システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63761A (ja) * 1986-06-20 1988-01-05 Mitsubishi Electric Corp 映像による知識ベ−ス型故障発見装置
KR100318330B1 (ko) * 1991-04-08 2002-04-22 가나이 쓰도무 감시장치
JP3033466B2 (ja) 1995-04-28 2000-04-17 住友金属工業株式会社 高炉の操業方法
US6289299B1 (en) 1999-02-17 2001-09-11 Westinghouse Savannah River Company Systems and methods for interactive virtual reality process control and simulation
JP2002538543A (ja) * 1999-03-02 2002-11-12 シーメンス アクチエンゲゼルシヤフト 強調現実感技術により対話を状況に応じて支援するためのシステム及び方法
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20020191004A1 (en) * 2000-08-09 2002-12-19 Ebersole John Franklin Method for visualization of hazards utilizing computer-generated three-dimensional representations
JP2002007703A (ja) 2000-06-19 2002-01-11 Sumisho Lease Co Ltd インターネットによる金融取引システム
JP2003006219A (ja) 2001-06-26 2003-01-10 Matsushita Electric Works Ltd 情報提示システム
JP2004102835A (ja) 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP4661512B2 (ja) * 2004-11-05 2011-03-30 株式会社日立製作所 遠隔メンテナンスシステム，モニタリングセンター計算機及びメンテナンス指示方法
US7212216B2 (en) 2005-06-29 2007-05-01 Honeywell International, Inc. Perspective view primary flight display with terrain-tracing lines and method
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US7587260B2 (en) * 2006-07-05 2009-09-08 Battelle Energy Alliance, Llc Autonomous navigation system and method
US8082132B2 (en) 2007-04-09 2011-12-20 Honeywell International Inc. Method for modeling smoke propagation
CN100494900C (zh) * 2007-07-03 2009-06-03 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
AU2010263264B2 (en) 2009-06-25 2015-02-12 Certusview Technologies, Llc Locating equipment for and methods of simulating locate operations for training and/or skills evaluation
EP2280359A1 (en) 2009-07-31 2011-02-02 EADS Construcciones Aeronauticas, S.A. Training method and system using augmented reality
WO2011080882A1 (ja) 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134357A (ja) * 1991-04-08 2001-05-18 Hitachi Ltd 映像操作方法，映像探索方法，映像処理定義方法，遠隔運転監視方法、および装置またはシステム
JP2001013009A (ja) * 1999-06-29 2001-01-19 Nec San-Ei Instruments Ltd 赤外放射温度測定装置及びその測定方法並びに画像切り出し方法
CN1445513A (zh) * 2002-03-19 2003-10-01 佳能株式会社 传感器校准装置及方法、程序、存储介质、信息处理方法及装置
CN2555268Y (zh) * 2002-08-07 2003-06-11 郭燕昌 用于高炉上的监视装置
JP2008026185A (ja) * 2006-07-21 2008-02-07 Tepco Systems Corp 放射線可視化システム

Also Published As

Publication number Publication date
US9001152B2 (en) 2015-04-07
US20120320046A1 (en) 2012-12-20
EP2549352A1 (en) 2013-01-23
MY173983A (en) 2020-03-02
WO2011122610A1 (ja) 2011-10-06
EP2521109A4 (en) 2013-02-06
SG182514A1 (en) 2012-08-30
US20120320088A1 (en) 2012-12-20
EP2521109B1 (en) 2015-05-06
EP2549352A3 (en) 2014-05-21
CN102737476A (zh) 2012-10-17
CN102737476B (zh) 2013-11-27
EP2549352B1 (en) 2016-06-01
SG188076A1 (en) 2013-03-28
EP2521109A1 (en) 2012-11-07
MY183362A (en) 2021-02-18
CN102667881A (zh) 2012-09-12
US9030494B2 (en) 2015-05-12

Similar Documents

Publication Publication Date Title
CN102667881B (zh) 信息处理装置、信息处理方法以及程序
JP4950348B2 (ja) 情報提供装置、情報提供方法、及びプログラム
JP6683727B2 (ja) 自律スキャナを用いた、金属容器の耐火ライニングの評価
JP5102905B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112313046A (zh) 使用增强现实可视化和修改操作界定区域
CN103930854B (zh) 借助指示器的姿态的测量控制光标的方法及实施所述方法的指示器
CN108089553B (zh) 用于启动多轴系统的方法和装置
JP2021005409A (ja) 自動装置ペアリングのためのシステム及び方法
WO2019107420A1 (ja) 設備管理システム
KR20150114106A (ko) 증강현실기반 플랜트 현장운영자용 정보제공장치 및 이를 이용한 정보제공방법
US11551443B2 (en) Augmented reality and wearable technology for vehicle service
CN108081267B (zh) 用于启动多轴系统的方法和装置
TWI439671B (zh) 圖資建立系統、建立方法及記錄媒體
CN106403946A (zh) 一种用于热网运检人员的智能微惯导三维定位系统
US20230142960A1 (en) Construction of formwork and scaffolding using mobile devices
EP3704565B1 (en) Method for visualizing a 2d technical drawing on a physical surface of a vessel
KR20150042040A (ko) 정찰 로봇의 제어 방법
JP2019065467A (ja) 杭位置検査装置及び杭位置検査方法
US20220290964A1 (en) Method and system for tactile measurement, in particular layer thickness measurement
CN117460924A (zh) 用于记录检验数据的方法
JP2022178396A (ja) 誘導型遠隔操作方法及び装置
CN117464662A (zh) 为机器工作单元中的操作者提供动态安全区的系统和方法
JP2006051550A (ja) 移動体への位置教示装置および位置教示方法
CN117506854A (zh) 一种建设工地巡检机器人和机器人控制方法
JP2019158810A (ja) 放射線量分布表示装置及び放射線量分布表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Japan's Tokyo new central Sichuan two chome 20 No. 15

Applicant after: Nippon Steel & Sumitomo Metal System Integration Co., Ltd.

Address before: Japan's Tokyo new central Sichuan two chome 20 No. 15

Applicant before: Nippon Steel Sytem Integration Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: NIPPON STEEL SYTEM INTEGRATION CO. LTD. TO: NIPPON STEEL + SUMITOMO METALSYSTEM INTEGRATION CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant