CN105745586A - 作业辅助用数据生成程序 - Google Patents

作业辅助用数据生成程序 Download PDF

Info

Publication number
CN105745586A
CN105745586A CN201480063631.6A CN201480063631A CN105745586A CN 105745586 A CN105745586 A CN 105745586A CN 201480063631 A CN201480063631 A CN 201480063631A CN 105745586 A CN105745586 A CN 105745586A
Authority
CN
China
Prior art keywords
manipulating object
visual point
point image
panoramic picture
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480063631.6A
Other languages
English (en)
Other versions
CN105745586B (zh
Inventor
佐川浩彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105745586A publication Critical patent/CN105745586A/zh
Application granted granted Critical
Publication of CN105745586B publication Critical patent/CN105745586B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063116—Schedule adjustment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

提供一种技术，容易地进行作业步骤与基于实际的作业区域的状态的三维模型的对应、作业视点图像向三维模型的追加/登录、既有的作业步骤中的作业项目向三维模型的登录。一种数据生成程序，其使计算机执行以下步骤：根据从包含多个作业对象的多个全景图像生成的三维模型，生成改变视点后的全景图像即变形全景图像的步骤；根据将从进行作业的视线拍摄到的图像即作业视点图像与变形全景图像进行比较而得到的相似度来求出作业视点图像的位置，在全景图像上登录与进行作业的对象即作业对象相关联的信息的步骤；根据作业视点图像相对于全景图像的位置关系来检索与登录的作业对象对应的作业视点图像，并将检索到的作业视点图像与作业对象对应起来的步骤。

Description

作业辅助用数据生成程序
技术领域
本发明涉及一种生成作业辅助用数据的程序以及方法，该作业辅助用数据在用于对进行施工或设备的维护/检查等各种作业的作业者进行辅助的装置等中使用。
背景技术
通常，在执行施工或设备的维护/检查等各种作业时，会准备记载了作业内容和顺序的作业步骤书。在作业步骤书的形式中存在各种各样的形式，一般来说，很多时候按照执行的顺序，顺次将表示各个作业的作业项目所相关的内容和根据需要表示实际状况的照片和图画等一起进行记载(一览形式作业步骤书)。作业者按照这样的作业步骤书的内容执行作业，由此可正确地完成目标作业。
另一方面，近年来，通过在反映真实世界的影像上的适当位置提示其他的图像或文字等虚拟信息，来辅助使用者理解真实世界的技术，即称为增强现实的技术受到关注。通过使用增强现实，可将适当的定时、位置、内容提示给作业者，因此期待通过增强现实技术向作业者赋予指示的作业引导有助于防止人为错误。
为了在作业引导中利用增强现实技术，一般来说，需要准备与进行作业的空间(作业区域)以及在该空间中设置的仪表和阀、开关类等作业对象物(作业对象)相关的三维信息(三维模型)，并且保存为将作业项目与三维模型对应起来的数据(增强现实用作业步骤数据)。
作为将各种信息在三维模型上对应起来的技术，在专利文献1中记载了在画面上显示三维模型，并且通过鼠标等输入单元来指定对象的位置，将图像等对应起来的技术。另外，在专利文献2中记载了显示三维模型，并且通过菜单形式来显示三维模型中包含的部件信息，通过菜单选择成为对象的部件，并且将关联的信息链接起来的技术。
现有技术文献
专利文献
专利文献1：日本特开2010-9479号公报
专利文献2：日本特开2001-356813号公报
发明内容
发明所要解决的课题
在上述的发明中，虽然记载了将信息在三维模型上对应起来的方法，但是没有考虑将具有顺序关系的作业步骤所相关的信息与三维模型对应起来的方法。为了生成增强现实用作业步骤数据，需要能够容易地将包含顺序关系的作业步骤与三维模型对应起来。
另外，虽然增强现实用作业步骤数据适合于向使用利用了增强现实的系统的作业者提供信息，但是考虑到不适合于不使用利用了增强现实的系统的监督者确认作业的内容和作业的流程，而原有的一览形式作业步骤书适合。因此，希望从与增强现实用作业步骤数据相同的数据还能够输出一览形式作业步骤书。
另外在上述的发明中，生成与作业区域相关的尽可能正确的三维模型成为前提，但是三维模型的构建并不容易。近年来，虽然基于三维模型的设计成为主流，但是也存在设计中的三维模型和实际的作业区域的状态不一致的情况。因此，希望能更容易地生成基于实际作业区域的状态的增强现实用作业步骤数据。
另外，很多时候在一览形式作业步骤书中附加从进行作业的视点拍摄到的图像(作业视点图像)，但是由于考虑到作业视点图像在使用增强现实的系统中也有用，因此希望能够将作业视点图像登录到增强现实用作业步骤数据中。通常，考虑在实施作业的现场拍摄作业视点图像，在带回办公室等后追加到作业步骤中的方法，但是因为作业视点图像只是对特定的作业对象关注的图像，所以还预想到难以判断是与作业区域的哪里相对应的图像。因此，希望能够容易地在增强现实用作业步骤数据中追加/登录作业视点图像。
并且，考虑到根据既有的作业步骤的内容来构筑增强现实用作业步骤数据的情况，此时，希望容易地将各个作业项目和相关联的作业对象对应起来。
本发明的目的在于，提供一种技术，能够将还包含顺序关系的作业步骤与基于实际的作业区域的状态的三维模型对应起来，并且高效地生成增强现实用作业步骤数据和可输出一览形式作业步骤书的数据。本发明的其他目的在于，提供一种技术，容易地进行作业视点图像向三维模型的追加/登录、既有的作业步骤中的各个作业项目向三维模型的登录。
解决课题的手段
为了解决上述课题，例如采用权利要求书记载的结构。本申请包含多个解决上述课题的手段，下面举出其中一个例子：
一种作业辅助用数据生成装置，其具有：输入部，其输入包含多个作业对象的多个全景图像；模型生成部，其从输入的全景图像生成三维模型；图像转换部，其根据三维模型生成改变了视点的全景图像即变形全景图像；位置确定部，其根据将从进行作业的视线拍摄到的图像即作业视点图像与变形全景图像进行比较而得到的相似度来求出作业视点图像相对于全景图像的位置关系；作业对象登录部，其在全景图像上登录与进行作业的对象即作业对象相关联的信息；对应部，其根据作业视点图像相对于全景图像的位置关系来检索与登录的作业对象对应的作业视点图像，并将检索到的作业视点图像与作业对象对应起来；存储部，其将作业对象以及与作业对象对应的作业视点图像与三维模型对应起来进行保存。
或者，一种记录了作业辅助用数据生成程序的信息记录介质，该程序使计算机执行以下步骤：从包含多个作业对象的多个全景图像生成三维模型的步骤；根据三维模型生成改变了视点的全景图像即变形全景图像的步骤；根据将从进行作业的视线拍摄到的图像即作业视点图像与变形全景图像进行比较而得到的相似度来求出作业视点图像相对于全景图像的位置关系的步骤；在全景图像上登录与进行作业的对象即作业对象相关联的信息的步骤；根据作业视点图像相对于全景图像的位置关系来检索与登录的作业对象对应的作业视点图像，并将检索到的作业视点图像与作业对象对应起来的步骤；将作业对象以及与作业对象对应的作业视点图像与三维模型对应起来进行保存的步骤。
发明的效果
根据本发明，能够将还包含顺序关系的作业步骤与基于实际的作业区域的状态的三维模型对应起来，并且高效地生成增强现实用作业步骤数据和可输出一览形式作业步骤书的数据。
附图说明
图1是通过一般的计算机执行应用本发明的实施例的程序时的计算机的结构图。
图2是通过作业对象登录程序106执行的处理的流程图。
图3表示作业区域的一个例子。
图4表示拍摄作业区域得到的全景图像的一个例子。
图5表示三维模型的数据格式的一个例子。
图6表示保存照相机的内部参数和外部参数的数据格式的一个例子。
图7说明在全景图像上指定作业对象的位置的方法的一个例子。
图8表示保存在全景图像上登录的作业对象信息的数据格式的一个例子。
图9是通过新作业项目追加程序108执行的处理的流程图。
图10表示保存与作业项目相关的信息的数据格式的一个例子。
图11是通过全景图像-作业视点图像对应程序109执行的处理的流程图。
图12是通过作业步骤-作业视点图像对应程序110执行的处理的流程图。
图13是通过作业步骤顺序变更程序111执行的处理的流程图。
图14是通过作业步骤-三维模型对应程序112执行的处理的流程图。
图15表示通过作业步骤书输出程序113输出的一览形式的作业步骤书的一个例子。
图16表示保存三维作业步骤数据中的作业步骤所相关的信息的数据格式的一个例子。
图17表示三维作业步骤数据的图像。
图18表示用于进行图像或信息的删除或修改的画面的一个例子。
图19表示正在执行基于增强现实技术的作业引导的例子。
图20表示在平板电脑的画面上重叠显示作业项目内容的一个例子。
具体实施方式
使用图1至图20对本发明的实施例进行说明。
图1是通过一般的计算机执行本发明实施例的程序时的计算机的结构图。
图1中的101是用于执行本发明的各种程序的信息处理装置。输入装置102由以下构成：用于输入包含多个作业对象(仪表和阀、开关等进行作业的对象物)的画像即全景画像和从进行作业的视点拍摄到的图像即作业视点图像的照相机；用于使用者对各种程序赋予指示的键盘、鼠标或者触摸屏等一般计算机的输入单元。输出装置103是用于向使用者提示信息，此外在纸上进行打印的装置，可以使用在计算机中一般使用的监视器和打印机等。
程序存储装置104是用于存储本发明中的各种程序的单元，控制程序105是根据来自使用者的输入，对106到113所示的各种程序进行控制的程序。作业对象登录程序106是用于登录多个全景图像，使用三维模型生成程序107来取得在全景图像上映出的空间(作业区域)的三维信息(三维模型)，并在全景图像上登录作业对象的程序。新作业项目追加程序108是用于使用全景图像-作业视点图像对应程序109求出作业视点图像和全景图像的对应关系，根据求出的对应关系将作业视点图像与作业对象对应起来，并且将包含对应起来的作业对象和作业视点图像的作业项目生成为新的作业项目，并将其追加到作业步骤中的程序。
在此，作业步骤是指，将针对作业对象实施的各个作业所相关的信息即作业项目按照执行作业的顺序进行排列的形式的信息。作业步骤-作业视点图像对应程序110检索预先准备的作业步骤中的各作业项目所对应的测量仪器类等作业对象，并将检索到的作业对象与作业项目对应起来。并且是根据与作业项目对应的作业对象在全景图像上的位置来检索与作业对象对应的作业视点图像，并将检索到的作业视点图像与作业项目对应起来的程序。
作业步骤顺序变更程序111是用于对全景图像上的作业对象附加表示顺序的信息，并根据与附加的顺序相关的信息来变更与作业对象对应的作业项目的顺序的程序。作业步骤-三维模型对应程序112是用于根据作业对象在全景图像上的位置和全景图像与三维模型之间的对应关系，将作业步骤中的作业项目与三维模型上的位置坐标对应起来的程序。作业步骤书输出程序113是用于输出与三维模型对应的作业步骤的信息，并且在纸上进行作业步骤书打印的程序。图1中的数据存储装置114是用于存储全景图像、作业视点图像、从全景图像取得的三维模型、全景图像和作业视点图像之间的对应关系、与作业步骤有关的信息等各种数据和信息的装置。
使用图2对作业对象登录程序106的处理进行说明。在图2的步骤201中，登录多个对包含多个作业对象的作业区域进行拍摄而得到的图像即全景图像。使用者通过操作键盘或鼠标等来指定进行登录的全景图像，由此进行全景图像的登录。当作业区域是图3所示的结构时，全景图像是图4所示那样的图像。
图3中的301、302、303以及304是设置在实际空间中的，作业者实际进行作业的对象物(作业对象)，在图4所示的全景图像上分别表现为401、402、403以及404。另外，在步骤201登录的各个全景图像是从不同的位置以及角度拍摄作业区域得到的图像。在步骤202中从在步骤201登录的多个全景图像取得作业区域的三维信息(三维模型)。关于从拍摄同一对象而得到的多个图像取得三维模型的方法，通过使用众所周知的被称为捆绑调整的方法可以容易地实现。通过使用捆绑调整，作为三维空间上的点的集合取得三维模型。另外，针对各图像，取得照相机的内部参数(焦距以及图像的中心位置)和外部参数(照相机的位置和朝向)。
图5表示用于保存从全景图像取得的三维模型的数据格式的一个例子。图5表示构成三维模型的各点的数据格式，按照取得的点的数量保存图5所示的数据格式的数据。在图5中501是成为对象的点的位置坐标，如果是三维空间的点，则通常能够通过分别与X轴、Y轴、Z轴相对的坐标值的组合来表示。502是成为对象的点的颜色信息，例如能够通过表示红色成份、绿色成份、蓝色成份的比例的三个数值的组合来表示。作为颜色的表现方法，除了上述以外，如果是一般使用的方法，则能够使用任何方法。503以下的信息是表示成为对象的点在各全景图像上与哪个位置对应的信息。503是成为对象的点所对应的全景图像的数量，504是在成为对象的点所对应的全景图像内第一个全景图像的名称，505是成为对象的点在第一个全景图像上的位置坐标。全景图像上的位置表示为二维的位置坐标。另外，506是在成为对象的点所对应的全景图像内第n个全景图像的名称，507是成为对象的点在第n个全景图像上的位置坐标。
图6表示一数据格式的一个例子，该数据格式用于保存在从全景图像取得三维模型时同时取得的照相机的内部参数以及外部参数。针对各全景图像来保存照相机的内部参数以及外部参数。图6中的601是全景图像的名称，602是照相机的内部参数，603是照相机的外部参数。照相机的内部参数如上所述，通过照相机的焦距以及图像的中心位置的组合来表示。焦距通常是针对图像的X轴方向以及Y轴方向定义的值。图像的中心位置也是图像的X轴方向以及Y轴方向的坐标值，因此将内部参数表示为四个数值的组合。另一方面，外部参数中的照相机的朝向能够通过旋转矩阵、表示围绕X轴、Y轴以及Z轴的旋转角度的三个数值中的任意一个来表示。在为旋转矩阵的情况下，通常通过3行×3列的矩阵来表示。另外，关于照相机的位置，通过X轴、Y轴以及Z轴上的坐标值来表示。由此，关于照相机的外部参数，当在照相机的朝向中使用旋转矩阵时，包含照相机的位置在内表现为3行×4列的变换矩阵，另外，作为照相机的朝向使用围绕各轴的旋转角度时，表现为6个数值的组合。
在图2的步骤203中，选择在步骤201登录的全景图像内的一个全景图像，并在选择的全景图像上登录拍摄的作业对象的名称、位置等信息。作为作业对象的位置的指定方法，例如图7的701所示，可以通过键盘、鼠标等的操作来指定与作业对象对应的区域。在701中使用四边形来指定作业对象的区域，也能够通过圆形或者任意的多边形来指定。另外，在指定作业对象的位置时，通过键盘、鼠标等的操作来输入并登录作业对象的名称。除了作业对象的名称以外，还可以同时登录作业对象附带的各种信息。并且，上述对登录的全景图像内的一个全景图像登录作业对象，但是也可以对登录的全部全景图像登录作业对象的名称和位置。图8表示用于保存在全景图像上登录的作业对象的信息的数据格式的一个例子。在图8中801是登录了作业对象的全景图像的名称。802是在全景图像登录的作业对象的数量，803是第一个作业对象的名称，804是第一个作业对象的位置。关于作业对象的位置，当通过四边形或任意的多边形指定其区域时，可以通过四边形或多边形的各顶点在全景图像上的位置坐标的组合来表示，在通过圆形指定时可以通过中心位置和半径来表示。另外，805是第n个作业对象的名称，806是第n个作业对象的位置。
在图2的步骤204中，保存从全景图像取得的三维模型、照相机的参数、以及在全景图像上登录的作业对象的信息，然后结束处理。
使用图9对新作业项目追加程序108的处理进行说明。在图9的步骤901中，追加作业视点图像。关于作业视点图像的追加，由使用者操作键盘或鼠标等指定进行追加的作业视点图像来进行。在步骤S902中，通过调出全景图像-作业视点图像对应程序109来求出全景图像与追加的作业视点图像之间的对应关系。在步骤902进行的处理的详细内容如后所述。通过步骤902求出作业视点图像在对应的全景图像上的位置。全景图像上对应的作业视点图像的位置可以通过表示一个点的位置坐标来表示，或者也可以通过在全景图像上表示作业视点图像所对应的区域的图形来表示。在为后者时，可以使用表示区域的圆形，或者可以通过任意多边形来表示。另外，在全景图像上明示作为步骤902的结果而求出的作业视点图像在全景图像上的位置。此时，使用者可通过操作键盘或鼠标来选择在全景图像上明示的作业视点图像的位置是仅针对新追加的作业视点图像的位置，或者是针对登录的全部的作业视点图像的位置。然后，在步骤903中，根据上述求出的全景图像上的作业视点图像的位置和通过作业对象登录程序登录的作业对象的位置，来检索与作业对象对应的作业视点图像。该处理例如能够通过如下那样进行：求出作业对象区域的中心位置的坐标和作业视点图像在全景图像上对应的区域的中心位置的坐标，将具有与某作业对象的中心位置最近的中心位置的作业视点图像视为与该作业对象对应的作业视点图像。或者，也可以将某作业对象的中心位置与作业视点图像的中心位置之间的距离存在于预先决定的阈值以内的作业视点图像视为与该作业对象对应的作业视点图像。
在图9的步骤904中，生成包含在步骤903对应起来的作业对象以及作业视点图像的作业项目，并追加到作业步骤中。图10表示用于保存与作业项目相关的信息的数据格式的一个例子。通过将图10所示的数据格式所表示的多个作业项目按照执行作业的顺序进行排列的形式，构成并保存与作业步骤相关的信息。在图10中，1001是作业项目的名称，在新进行追加时，能够设定对应的作业对象的名称等。或者，在进行追加时，也可以由使用者操作键盘或鼠标等进行输入。另外，还能够容易地实现之后由使用者变更作业项目的名称。图10中的1002是与作业项目的内容相关的信息，在新进行追加时为空白。该信息也能够之后由使用者操作键盘或鼠标等进行追加以及修正，在进行追加时可以由使用者进行输入。
1003是在求出作业对象与作业视点图像的对应时使用的全景图像的名称。1004以及1005分别设定在步骤903对应起来的作业对象的名称以及作业视点图像的名称。1006是作业项目在对应的三维模型上的位置，该信息是通过后述的作业步骤-三维模型对应程序112设定的信息，在此保持为空白。在图10中成为一种数据格式，该数据格式假定将作业对象的名称1004和作业视点图像的名称1005以及三维模型上的位置坐标1006各设定一个。因此，当存在多个与作业对象对应的作业视点图像时，通过操作键盘或鼠标等来选择进行登录的作业视点图像。或者，也可以登录多个与作业对象对应的作业视点图像。
在图9的步骤905中，使用者操作键盘或鼠标等来登录作业项目的内容，即图10中的1002的内容。在步骤906中，保存追加的作业项目的内容，然后结束处理。
使用图11对图9的步骤902的处理，即全景图像-作业视点图像对应程序109的处理的详细内容进行说明。在步骤902的处理中，通过改变三维模型来生成从与图2的步骤201中登录的全景图像不同的视点看到的全景图像(变形全景图像)，并根据生成的转换图像与作业视点图像之间的相似度来求出变形全景图像中作业视点图像对应的位置，并且根据该结果来求出在图2的步骤201中登录的全景图像上作业视点图像对应的位置。
为了进行该处理，首先要定义改变三维模型的方法。作为该方法，可以使用通过围绕坐标轴的旋转角度和平行移动来改变三维模型的方法。在通过围绕坐标轴的旋转角度改变三维模型的方法中具有多个方法，本发明可以使用其中的任意一个的方法。在表示三维模型的坐标系中将围绕X轴、Y轴、Z轴的旋转角度设为ax、ay、以及az，将各轴向的平行移动的大小设为tx、ty、tz时，三维模型可以如(式1)那样变化。在(式1)中，(x、y、z、l)T是原有的三维模型上的点的位置坐标，(X、Y、Z)T是变化后的三维模型上的点的位置坐标。
(式1)
X Y Z = r 11 r 12 r 13 t x r 21 r 22 r 23 t y r 31 r 32 r 33 t z x y z 1 = cos a x cos a y cos a x sin a y sin a z - sin a x cos a z cos a x sin a y cos a z + sin a x sin a z t x sin a x cos a y sin a x sin a y sin a z + cos a x cos a z sin a x sin a y cos a z - cos a x sin a z t y - sin a y cos a y sin a z cos a y cos a z t z x y z 1
在步骤902的处理中，将表示围绕各坐标轴的旋转角度和平行移动的6个数值作为参数来改变三维模型。在以下的说明中，将该6个数值构成的参数称为视点参数。
在图11的步骤1101中进行视点参数的初始化。在此，以使用在预先决定的范围内改变视点参数中的各数值的方法为前提，在步骤1101中，作为视点参数的各数值，设定预先决定的值的下限值。作为对视点参数进行初始化的方法，除此以外还已知以下的方法：从全景图像和作业视点图像抽出被称为自然特征量的特征量，并根据它们的对应关系计算三维模型的旋转角度和平行移动的方法、通过使用从另外设置的传感器取得的值等来进行计算的方法等，也可以使用这些方法来对视点参数进行初始化。
在步骤1102中，检查是否对预先准备的视线参数的全部模式执行了步骤1103以后的处理，在有未处理的模式时向步骤1103前进。在步骤1103中，改变视点参数从而成为未处理的视点参数的模式。在步骤1104中，根据在步骤1103设定的视点参数，使用(式1)来改变构成三维模型的各点的位置坐标。并且，在步骤1105中，从变化后的三维模型生成全景图像(变形全景图像)。三维模型上的点(X、Y、Z)T在二维图像上的对应的位置(sx、sy、l)T能够使用照相机的内部参数通过(式2)来计算。在(式2)中，fx以及fy分别是照相机的X轴、Y轴方向的焦距，(cx、cy)是图像的中心位置的坐标。另外，k是称为尺寸系数的值。
(式2)
k s x s y 1 = f x 0 c x 0 f y c y 0 0 1 X Y Z
如果在图2的步骤201登录的全景图像全部为通过相同的照相机拍摄到的图像，则在步骤202求出的照相机的内部参数全部相同。另一方面，在拍摄全景图像的照相机不同时，可能内部参数不同。此时，在生成变形全景图像时使用的内部参数使用在步骤202求出的内部参数的平均值即可。在步骤1105中，关于在步骤1104变化后的三维模型上的全部的点，求出二维图像上的对应位置，通过在该位置描绘使用原有的点的颜色信息的点，能够生成变形全景图像。
在步骤1106中，针对生成的变形全景图像检查是否对全部的作业视点图像进行了步骤1107以后的处理。在留有未处理的作业视点图像时向步骤1107前进。在步骤1107中，选择一个未处理的作业视点图像。在步骤1108中，求出在步骤1107选择的作业视点图像与在步骤1105生成的变形全景图像之间的相似度。根据在变形全景图像上重合作业视点图像时重合的像素的值来计算相似度。作为相似度的计算方法，可以计算像素具有的值的差的平方和或相关系数等一般使用的评价尺度来作为相似度。另外，在计算相似度时，一边改变作业视点图像的大小以及重合作业视点图像的变形全景图像上的位置，一边进行重合。
由此，针对作业视点图像的大小和变形全景图像上的位置的每个组合，求出相似度。在步骤1109中，从在步骤1108求出的相似度中选择最大的相似度和此时的作业视点图像的大小以及变形图像上的位置，与视点参数一起进行保存。通过以上的步骤1107到1109的处理，对于各作业视点图像求出与变形全景图像之间的相似度最大的作业视点图像的大小和变形全景图像上的位置。在步骤1106中，当未留有未处理的作业视点图像时，返回步骤1102。
通过步骤1102，在判断为对全部的视点参数的模式进行了处理时，向步骤1110前进。在步骤1110中，对于各作业视点图像选择与全景图像之间的相似度最大的视点参数、作业视点图像的大小以及变形全景图像上的位置。在步骤1111中，根据在步骤1110选择的视点参数、作业视点图像的大小以及变形全景图像上的位置，求出在作业视点图像中拍摄的内容与变化前的三维模型的哪个位置相对应。在通过(式1)改变三维模型上的点之后，使用(式2)将变化后的三维模型上的各点转换为二维图像上的点来生成变形全景图像。由此，在通过(式1)以及(式2)进行转换时，通过保存转换前后的点的对应关系，容易地从变形全景图像上的位置通过(式1)求出变化前的三维模型上的位置。
在步骤1111中，从针对各作业视点图像保存的作业视点图像的大小以及变形全景图像上的位置，列出在求出相似度时的与作业视点图像重合的变形全景图像上的位置坐标，然后根据变形全景图像上的点与三维模型上的点的对应关系，列出与所列出的变形全景图像上的位置坐标对应的三维模型上的位置坐标。由于列出的三维模型上的点具有空间上的扩展，因此将列出的三维模型上的点的中心位置或重心位置作为作业视点图像所对应的三维模型上的位置。或者，也可以求出内包所列出的三维模型上的点的长方体，将表示求出的长方体的信息(例如长方体的各顶点的位置坐标)作为作业视点图像所对应的三维模型上的位置。并且，可以将列出的三维模型上的点的集合与作业视点图像对应起来。另外，在列出与作业视点图像对应的变形全景图像上的位置坐标时，可以不是与全体作业视点图像对应的位置坐标，例如从作业视点图像的中心列出与预先决定的范围内的区域对应的变形全景图像上的位置坐标。或者，可以从颜色信息或轮廓信息、特征量等信息中抽出在作业视点图像上判断为作业对象的区域，仅列出与抽出的区域对应的变形全景图像上的位置坐标。并且，还可以由使用者操作键盘或鼠标等来指定作业视点图像上的区域，列出与指定的区域对应的变形全景图像上的位置坐标。
最后在步骤1112中，根据在步骤1111求出的三维模型上的位置来求出作业视点图像与全景图像上的哪个位置相对应。三维模型上的点的位置坐标和各全景图像上的位置坐标的对应关系如上述那样，在从全景图像取得三维模型时进行计算，因此可以容易地根据三维模型上的位置求出对应的全景图像上的位置。作为作业视点图像在对应的全景图像上的位置，可以通过特定的点的位置坐标来表示，或者也可以通过圆形或多边形表示为作业视点图像在对应的全景图像上的区域。
使用图12对作业步骤-作业视点图像对应程序110的处理进行说明。在图12的步骤1201中，追加预先准备的作业步骤中的作业项目。关于作业项目的追加，通过由使用者操作键盘或鼠标等指定进行追加的作业项目来进行。设在步骤1201追加的作业项目为在图10所示的与作业项目相关的信息的数据格式中，由作业项目的名称1001以及作业项目的内容1002构成的信息。在步骤1202中，从全景图像上登录的作业对象中检索与追加的作业项目对应的作业对象。
关于作业项目是否与作业对象对应的判断，能够根据在作业项目的名称以及内容中是否包含作业对象的名称来进行判定。或者，可以另外保存针对作业对象的关键字的集合，根据在作业项目的名称以及内容中是否包含相应的关键字来确定与作业项目对应的作业对象。
在步骤1203中在检索到与作业项目对应的作业对象时，将检索到的作业对象与作业项目对应起来。具体来说，在图10的与作业项目相关的信息的数据格式中，向1004登录检索到的作业对象的名称。在检索到的作业对象为多个时，可以在登录时由使用者操作键盘或鼠标等来选择进行登录的作业对象，或者也可以向1004登录多个作业对象的名称。在步骤1204中检索与检索到的作业项目对应的作业对象所对应的作业视点图像。关于作业视点图像，在图9的步骤902中，因为求出了在全景图像上对应的位置，所以能够使用登录了作业对象的全景图像上的位置和作业视点图像在对应的全景图像上的位置，选择两者间的距离最小的作业视点图像，或者选择两者间的距离小于预先设定阈值的作业视点图像，由此检索与作业对象对应的作业视点图像。
在步骤1205中，将检索到的作业视点图像与作业项目对应起来。具体来说，在图10的与作业项目相关的信息的数据格式中，向1005登录检索到的作业视点图像的名称。在检索到的作业视点图像为多个时，可以在登录时由使用者操作键盘或鼠标等来选择进行登录的作业视点图像，或者也可以向1005登录多个作业视点图像的名称。在步骤1206中，保存作业项目的内容，然后结束处理。以上的处理是在追加的作业项目中不包含作业视点图像时的处理。当在追加的作业项目中包含作业视点图像时，通过使用全景图像-作业视点图像对应程序109来求出作业项目中包含的作业视点图像在对应的全景图像上的位置，并且通过检索与作业视点图像对应的作业对象，能够将作业项目、作业对象以及作业视点图像对应起来。或者，可以执行使用作业项目的名称以及内容的处理和使用作业项目中包含的作业视点图像的处理的双方，作为各自处理的结果，将作为对应的作业对象检索到的作业对象与作业项目对应起来。
使用图13对作业步骤顺序变更程序111的处理进行说明。在图13的步骤1301中，对在全景图像上登录的作业对象附加表示顺序的信息。由使用者操作键盘或鼠标等来进行表示顺序的信息的附加。作为表示顺序的信息，可以使用表示顺序的数值或记号。在步骤1302中，在变量i中代入数值1。在步骤1303中检查变量i的值是否小于附加了表示顺序的信息的作业对象的数量。在变量i的值小于等于相应的作业对象的数量时向步骤1304前进。在步骤1304中，从全景图像上登录的作业对象中检索并选择附加了与变量i的值对应的顺序信息的作业对象。例如，如果i＝1则选择附加了表示第一的顺序信息的作业对象，如果i＝2则选择附加了表示第二的顺序信息的作业对象。在步骤1305中，从作业步骤中检索与选择的作业对象对应的作业项目，并进行移动从而成为变量i的值所示的顺序。在步骤1306中，对变量i的值加1，并返回到步骤1303。在步骤1303中，在变量i的值大于附加了表示顺序的信息的作业对象的数量时结束处理。
使用图14对作业步骤-三维模型对应程序112的处理进行说明。在图14的步骤1401中，求出三维模型上的各作业对象的位置。如上所述，因为在从全景图像取得三维模型时计算出全景图像上的位置坐标与三维模型上的位置坐标之间的对应关系，因此在步骤1401中列出与作业对象对应的全景图像上的区域所对应的三维模型上的位置坐标。因为列出的三维模型上的点具有空间上的扩展，因此将列出的三维模型上的点的中心位置或重心位置作为与作业对象对应的三维模型上的位置。或者，也可以求出内包所列出的三维模型上的点的长方体，并将表示求出的长方体的信息(例如长方体的各顶点的位置坐标)作为与作业对象对应的三维模型上的位置。
在步骤1402中求出与各作业对象对应的作业项目。这可以通过确认图10所示的与作业项目相关联的信息的数据格式中的作业对象的名称1004而容易地进行。并且在步骤1403中，将针对作业对象求出的三维模型上的位置与该作业对象所对应的作业项目对应起来。具体来说，在图10所示的与作业项目相关联的信息的数据格式的三维模型上的位置坐标1006中，登录在步骤1401取得的三维模型上的位置坐标。在步骤1404中保存作业项目的内容，然后结束处理。
通过在将作业对象、作业视点图像以及三维模型上的位置与作业步骤中的各作业项目对应起来的状态下，执行作业步骤书输出程序113，输出一览形式的作业步骤书和与三维模型对应的作业步骤的信息(三维作业步骤数据)。图15表示通过作业步骤书输出程序113输出的一览形式的作业步骤书。图15的1501、1502、1503以及1504表示各作业项目，表示了顺序、作业视点图像以及作业的内容。一览形式的作业步骤书能够通过以下来得到：从图10所示的与作业项目相关的信息中抽出必要的信息，例如抽出作业项目的名称1001、作业项目的内容1002以及作业视点图像的名称1005，在变换为预先决定的布局和形式后，按照登录的顺序进行打印。可以准备多个在打印时使用的布局，能够在打印时由使用者操作键盘或鼠标等来进行选择。另外，还可以由使用者操作键盘或鼠标等来选择与打印的作业项目相关的信息。另外，三维作业步骤数据由与作业步骤相关的信息和三维模型构成。
图16表示用于保存三维作业步骤数据中的作业步骤所相关的信息的数据格式的一个例子。在图16中1601是作业项目的数量，1602是第一个作业项目的名称，1603是第一个作业项目的内容，1604是在三维模型上第一个作业项目所对应的位置坐标。1605是第n个作业项目的名称，1606是第n个作业项目的内容，1607是在三维模型上第n个作业项目所对应的位置坐标。另外，1602以及1605对应于图10所示的与作业项目相关的信息的数据格式中的1001，1603以及1606对应于1002，1604以及1607对应于1006。即，从通过图10所示的数据格式保存的与作业项目相关的信息中抽出1001、1002以及1006的信息，来生成三维作业步骤数据中的作业步骤所相关的信息。或者也可以包含作业对象的名称1004和作业视点图像1005来抽出。三维作业步骤数据中的三维模型与从全景图像取得的三维模型相同。由此，作为图17所示的图像的数据，输出三维作业步骤数据。图17表示将作业项目1701、1702、1703、1704与图3的作业区域对应起来的状态的图像，在实际的三维作业步骤数据中，作业项目1701、1702、1703、1704以与三维模型上的位置坐标相对应的形式进行存储。另外，在图17中还省略了与作业项目的顺序相关的信息。
在以上的说明中，说明了追加全景图像、作业视点图像、作业步骤等信息时的处理，通过在图1的控制程序105中应用计算机的一般的用户界面技术，能够在追加图像和信息后，由使用者进行图像和信息的删除和修正。例如，可以在计算机的画面上显示如图18所示那样设置的画面。在图18中，1801是显示全景图像的区域，1802、1803、1804以及1805在全景图像上重叠显示了在全景图像上登录的作业对象的位置。另外，1806是显示作业步骤的区域，1807、1808、1809、以及1810是与作业项目相关的信息，在作业视点图像的右侧显示了作业项目的内容。通过使用计算机的一般用户界面技术，能够容易地由使用者在图18所示的画面上操作键盘或鼠标等来选择作业对象、作业步骤的内容，并且进行图像、信息的删除和修正。另外，虽然在图18中没有明示，但是可以在1801、1806的周围设置用于使用者指定要执行的操作的菜单或按键等。
另外，在图19中表示了使用通过本发明的实施例输出的三维作业步骤数据，来实施基于增强现实技术的作业引导的例子。增强现实技术是通过在反映真实世界的影像上的适当位置提示其他的图像或文字等虚拟信息，从而帮助使用者理解真实世界的技术。图19是作为面向使用者的输入输出装置，使用了在背面具有照相机的平板型计算机1901的例子，除此以外，也可以是使用带有照相机的头部安装型显示装置(头部安装显示器)和便携型计算机的形式。在通过图19所示的方式进行作业引导时，通过平板型计算机1901的照相机拍摄作业区域，并在计算机的画面上显示作业区域的图像。并且，计算机进行拍摄到的作业区域的图像与三维作业步骤数据中的三维模型之间的对位。关于作业区域的图像与三维模型之间的对位，例如已知在作业区域中设置具有特殊形状和图案的标记，通过计算标记与照相机的位置关系来进行对位的方法。可通过预先执行标记与三维模型的对位，来计算在作业区域的图像中反映了三维模型的哪个部分。作为进行了作业区域的图像与三维模型的对位的结果，当在作业区域的图像上存在与作业项目对应的部位时，在作业区域的图像上重叠显示相应的作业项目的内容。
图20表示在平板型计算机的画面上重叠显示了作业项目的内容的一个例子。在图20中，2001表示与作业项目对应的部位，2002表示作业项目的内容。另外，在图20中假设将作业项目与在三维模型上具有空间上的扩展的区域(例如，与作业对象对应的区域)对应起来，在图20所示的画面上通过将三维模型上的区域转换为二维图像上的区域，如2001所示那样通过四边形来明示。并且，在图20中，将2002所示的作业项目的内容与其所对应的位置关联起来进行显示。关于作业项目的内容的显示，例如可以在画面的左上等预先决定的位置进行显示。另外，因为在作业项目中具有顺序关系，如果有未成为对象的作业项目，则即使在作业区域的图像上存在该作业项目所对应的位置也不进行显示。或者，可以由使用者操作键盘或鼠标等，也显示未成为对象的作业项目的信息。
根据以上所述，本实施例所记载的作业辅助用数据生成程序的特征在于，具有：根据包含多个作业对象的多个全景图像生成三维模型的步骤；根据所述三维模型生成改变视点后的全景图像即变形全景图像的步骤；根据将从进行作业的视线拍摄到的图像即作业视点图像与变形全景图像进行比较而得到的相似度来求出作业视点图像相对于全景图像的位置关系的步骤；在全景图像上登录与进行作业的对象即作业对象相关联的信息的步骤；根据作业视点图像相对于全景图像的位置关系来检索与登录的作业对象对应的作业视点图像，并将检索到的作业视点图像与作业对象对应起来的步骤；将作业对象以及与作业对象对应的作业视点图像与三维模型对应起来进行保存的步骤。
另外，记录了该程序的信息记录介质也在本发明的技术思想的范围内。
通过采用本结构，能够高效地生成增强现实用作业步骤数据和可输出一览形式作业步骤书的数据。
符号的说明
101：信息处理装置
102：输入装置
103：输出装置
104：程序存储装置
105：控制程序
106：作业对象登录程序
107：三维模型生成程序
108：新作业项目追加程序
109：全景图像-作业视点图像对应程序
110：作业步骤-作业视点图像对应程序
111：作业步骤顺序变更程序
112：作业步骤-三维模型对应程序
113：作业步骤书输出程序
114：数据存储装置
1901：平板型计算机。

Claims (11)

1.一种记录了程序的信息记录介质，其特征在于，
所述程序使计算机执行以下步骤：
从包含多个作业对象的多个全景图像生成三维模型的步骤；
根据所述三维模型生成改变了视点的全景图像即变形全景图像的步骤；
根据将从进行作业的视线拍摄到的图像即作业视点图像与所述变形全景图像进行比较而得到的相似度，求出所述作业视点图像相对于所述全景图像的位置关系的步骤；
在所述全景图像上登录与进行作业的对象即作业对象相关联的信息的步骤；
根据所述作业视点图像相对于所述全景图像的位置关系，检索与已登录的所述作业对象对应的所述作业视点图像，并将检索到的所述作业视点图像与所述作业对象对应起来的步骤；
将所述作业对象以及与所述作业对象对应的作业视点图像与所述三维模型对应起来进行保存的步骤。
2.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
在检索到与所述作业对象对应的所述作业视点图像时，所述程序使计算机执行以下步骤：
针对按照执行作业的顺序排列了多个表示作业内容的信息即作业项目而得到的信息即作业步骤，将检索到的所述作业视点图像和所述作业对象作为新的作业项目追加到所述作业步骤的步骤；
在已追加的所述作业项目中登录表示作业内容的信息的步骤。
3.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
还具有以下步骤：
根据已登录的所述作业对象的信息，从预先存储的所述作业步骤的内容中检索关联的所述作业项目，并将检索到的所述作业项目与所述全景图像上的所述作业对象对应起来的步骤；
根据所述作业视点图像相对于所述全景图像的位置关系，检索与所述作业项目对应的所述作业对象所对应的所述作业视点图像的步骤；
将检索到的所述作业视点图像与所述作业项目对应起来的步骤。
4.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
还具有根据所述作业视点图像相对于所述全景图像的位置关系，在所述全景图像上显示所述作业视点图像的位置的步骤。
5.根据权利要求2所述的记录了程序的信息记录介质，其特征在于，
还具有以下步骤：
对已登录的所述作业对象附加表示顺序的顺序信息的步骤；
根据所述顺序信息，修正所述作业步骤中的所述作业项目的顺序的步骤。
6.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
还具有以下步骤：
根据所述全景图像和所述三维模型的对应关系，求出所述作业对象在所述三维模型上的位置的步骤；
将与所述作业对象关联的信息或者与所述作业对象对应的所述作业项目的内容与求出的所述作业对象的位置关联起来进行保存的步骤。
7.一种数据生成装置，其特征在于，具有：
输入部，其输入包含多个作业对象的多个全景图像；
模型生成部，其从输入的所述全景图像生成三维模型；
图像转换部，其根据所述三维模型生成改变了视点的全景图像即变形全景图像；
位置确定部，其根据将从进行作业的视线拍摄到的图像即作业视点图像与所述变形全景图像进行比较而得到的相似度，求出所述作业视点图像相对于所述全景图像的位置关系；
作业对象登录部，其在所述全景图像上登录与进行作业的对象即作业对象相关联的信息；
对应部，其根据所述作业视点图像相对于所述全景图像的位置关系，检索与已登录的所述作业对象对应的所述作业视点图像，并将检索到的所述作业视点图像与所述作业对象对应起来；
存储部，其将所述作业对象以及与所述作业对象对应的作业视点图像与所述三维模型对应起来进行保存。
8.根据权利要求7所述的数据生成装置，其特征在于，
还具有：
顺序变更部，其在检索到与所述作业对象对应的所述作业视点图像时，针对按照执行作业的顺序排列了多个表示作业内容的信息即作业项目而得到的信息即作业步骤，将检索到的所述作业视点图像和所述作业对象作为新的作业项目追加到所述作业步骤；
项目追加部，其在已追加的所述作业项目中登录表示作业内容的信息。
9.根据权利要求7所述的数据生成装置，其特征在于，
所述项目追加部根据登录的所述作业对象的信息，从所述存储部中存储的所述作业步骤的内容中检索关联的所述作业项目，并将检索到的所述作业项目与所述全景图像上的所述作业对象对应起来，根据所述作业视点图像相对于所述全景图像的位置关系，检索与所述作业项目对应的所述作业对象所对应的所述作业视点图像，将检索到的所述作业视点图像与所述作业项目对应起来。
10.根据权利要求8所述的数据生成装置，其特征在于，
所述顺序变更部对已登录的所述作业对象附加表示顺序的顺序信息，并根据所述顺序信息，修正所述作业步骤中的所述作业项目的顺序。
11.根据权利要求7所述的数据生成装置，其特征在于，
所述项目追加部根据所述全景图像和所述三维模型的对应关系，求出所述作业对象在所述三维模型上的位置，并将与所述作业对象关联的信息或者与所述作业对象对应的所述作业项目的内容与求出的所述作业对象的位置关联起来进行保存。
CN201480063631.6A 2014-01-17 2014-01-17 作业辅助用数据生成程序 Expired - Fee Related CN105745586B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/050732 WO2015107665A1 (ja) 2014-01-17 2014-01-17 作業支援用データ作成プログラム

Publications (2)

Publication Number Publication Date
CN105745586A true CN105745586A (zh) 2016-07-06
CN105745586B CN105745586B (zh) 2018-04-03

Family

ID=53542584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480063631.6A Expired - Fee Related CN105745586B (zh) 2014-01-17 2014-01-17 作业辅助用数据生成程序

Country Status (4)

Country Link
US (1) US20160335578A1 (zh)
JP (1) JP6144364B2 (zh)
CN (1) CN105745586B (zh)
WO (1) WO2015107665A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
FR3022065B1 (fr) * 2014-06-04 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de generation d'une maquette numerique enrichie
JP6696149B2 (ja) 2015-10-29 2020-05-20 富士通株式会社 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法
EP3171302A1 (en) * 2015-11-18 2017-05-24 F. Hoffmann-La Roche AG A method for generating an entry for an electronic laboratory journal
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
JP7017689B2 (ja) 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
US11443495B2 (en) 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
JP7065795B2 (ja) * 2019-01-17 2022-05-12 株式会社日立製作所 データ作成システム及びデータ作成方法
JP7347764B2 (ja) 2021-06-25 2023-09-20 株式会社長大 複合浮体基盤および当該複合浮体基盤を備える浮体式洋上風力発電設備
JP2023082923A (ja) * 2021-12-03 2023-06-15 株式会社日立製作所 作業支援システム、作業対象特定装置および方法
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161031A (ja) * 1994-12-07 1996-06-21 Meidensha Corp 監視制御システム
CN1159036A (zh) * 1995-10-05 1997-09-10 株式会社日立制作所 图象编辑装置
JP2001265756A (ja) * 2000-03-17 2001-09-28 Pfu Ltd 作業手順書作成装置及びプログラム記録媒体
US20060026101A1 (en) * 2003-06-19 2006-02-02 Hiroshi Ogura Work support and management system for working machine
JP2006065807A (ja) * 2004-08-30 2006-03-09 Ricoh Co Ltd 手順書作成方法及び手順書作成プログラム
CN102663196A (zh) * 2012-04-17 2012-09-12 中南大学 一种基于虚拟现实的汽车起重机吊装仿真方法
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
JP2013164506A (ja) * 2012-02-10 2013-08-22 Keyence Corp マニュアル作成支援装置及びマニュアル作成支援方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356813A (ja) * 2000-06-14 2001-12-26 Chiyoda Corp プラント保全支援システム
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US9176235B2 (en) * 2008-04-11 2015-11-03 Caterpillar Trimble Control Technologies Llc System and method for presenting topographical data for an earthmoving operation
JP5072736B2 (ja) * 2008-06-30 2012-11-14 株式会社東芝 遠隔目視検査支援システムおよび遠隔目視検査支援コンピュータプログラム
JP2010121999A (ja) * 2008-11-18 2010-06-03 Omron Corp ３次元モデルの作成方法および物体認識装置
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US20150062123A1 (en) * 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161031A (ja) * 1994-12-07 1996-06-21 Meidensha Corp 監視制御システム
CN1159036A (zh) * 1995-10-05 1997-09-10 株式会社日立制作所 图象编辑装置
JP2001265756A (ja) * 2000-03-17 2001-09-28 Pfu Ltd 作業手順書作成装置及びプログラム記録媒体
US20060026101A1 (en) * 2003-06-19 2006-02-02 Hiroshi Ogura Work support and management system for working machine
JP2006065807A (ja) * 2004-08-30 2006-03-09 Ricoh Co Ltd 手順書作成方法及び手順書作成プログラム
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
JP2013164506A (ja) * 2012-02-10 2013-08-22 Keyence Corp マニュアル作成支援装置及びマニュアル作成支援方法
CN102663196A (zh) * 2012-04-17 2012-09-12 中南大学 一种基于虚拟现实的汽车起重机吊装仿真方法

Also Published As

Publication number Publication date
JP6144364B2 (ja) 2017-06-07
US20160335578A1 (en) 2016-11-17
CN105745586B (zh) 2018-04-03
WO2015107665A1 (ja) 2015-07-23
JPWO2015107665A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
CN105745586A (zh) 作业辅助用数据生成程序
KR101863041B1 (ko) 저작 시스템을 이용한 재생가능한 장면의 생성
CN103505178B (zh) 内窥镜装置以及内窥镜图像记录用文件夹生成方法
US7420556B2 (en) Information processing method and information processing apparatus
JP4809121B2 (ja) パーツカタログ作成方法およびパーツカタログ作成装置およびプログラム
JP2008275341A (ja) 情報処理装置、情報処理方法
WO2019151877A1 (en) Method and system for augmented reality assembly guidance
JP3611239B2 (ja) 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体
JP3245336B2 (ja) モデリング方法およびモデリングシステム
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
US20080184153A1 (en) Analyzation apparatus and control method thereof
US20210295118A1 (en) Using augmented reality to perform complex print jobs
US20100328060A1 (en) Vehicle measurement system with user interface
JP2013008257A (ja) 画像合成プログラム
JP7381556B2 (ja) メディアコンテンツ計画システム
JP2016122443A (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
Gimeno et al. An occlusion-aware AR authoring tool for assembly and repair tasks
CN113836337A (zh) Bim的展示方法、装置、设备及存储介质
Andreev et al. Expansion of the Functions of the Multi-View Stereomaker Software for Automatic Construction of Complex Stereo Images
JP2021015572A (ja) 情報管理システムおよび情報管理方法
JP2007213437A (ja) 情報処理方法、情報処理装置
CN115531877B (zh) 一种虚拟引擎中距离测量的方法及其系统
JP2015121892A (ja) 画像処理装置、画像処理方法
WO2021176877A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP3462130A1 (en) Vehicle measurement system with user interface

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180403

Termination date: 20200117

CF01 Termination of patent right due to non-payment of annual fee