CN112424838A - 示出夹具的配置的影像处理系统 - Google Patents

示出夹具的配置的影像处理系统 Download PDF

Info

Publication number
CN112424838A
CN112424838A CN201980047253.5A CN201980047253A CN112424838A CN 112424838 A CN112424838 A CN 112424838A CN 201980047253 A CN201980047253 A CN 201980047253A CN 112424838 A CN112424838 A CN 112424838A
Authority
CN
China
Prior art keywords
arrangement
jig
information
unit
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980047253.5A
Other languages
English (en)
Other versions
CN112424838B (zh
Inventor
山﨑健生
宫村一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Korea Co Ltd
Original Assignee
NTT Korea Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Korea Co Ltd filed Critical NTT Korea Co Ltd
Publication of CN112424838A publication Critical patent/CN112424838A/zh
Application granted granted Critical
Publication of CN112424838B publication Critical patent/CN112424838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

影像显示系统(100)用于部件相对于结构体(110)的安装作业，其中，所述影像显示系统具有：存储部(105)，其存储相对于结构体(110)进行部件的定位的夹具的配置信息；结构体配置检测部(152)，其检测配置在实际空间中的结构体(110)的配置；以及控制部(107)，其根据存储部(105)所存储的夹具(120)的配置信息和结构体配置检测部(152)的检测结果，进行相对于配置在实际空间中的结构体(110)示出夹具的配置的显示处理。

Description

示出夹具的配置的影像处理系统
技术领域
本公开涉及显示辅助用户的作业的影像的影像显示系统。
背景技术
例如，已知有关于针对配置于实际空间中的实际物体通过计算机图形等显示虚拟信息的混合现实(Mixed Reality；以下称作“MR”)技术。专利文献1记载了将拍摄作为实际物体的建筑模型所得到的实际影像与虚拟影像合成并显示的技术。
现有技术文献
专利文献
专利文献1：日本特开2006-18444号公报
发明内容
发明要解决的课题
作为MR技术的使用方法，考虑经由头戴式显示器(Head Mount Display，HMD)等(以下，称作“MR设备”)使辅助用户的作业的虚拟影像与实际物体对应而提供给用户。例如，在钢材的焊接作业中，需要进行图纸的解读、对钢材的画线、画线的确认这样的作业。在复杂的图纸中，即使是熟练技师，理解也需要时间，如果焊接部分较多，则会发生因单纯错误引起的返工。因此，现有的钢材焊接作业需要熟练的技术。因此，考虑利用MR设备将表示安装部件的虚拟物体重叠显示在实物钢材上。
但是，仅通过使表示安装部件的虚拟物体重叠显示在钢材等结构体上，存在无法改善安装作业的困难性的情况。例如，存在在使尺寸或重量比较大的安装部件相对于结构体倾斜的状态下在安装部件与结构体之间进行焊接等安装作业的情况。在这样的情况下，很难一边保持与虚拟物体的显示对应地配置安装部件的状态一边进行上述安装作业。
本发明正是鉴于上述问题而完成的，其目的在于提供一种能够容易地进行部件相对于结构体的安装作业的影像显示系统。
用于解决课题的手段
为了达成上述的目的，本公开的影像显示系统用于部件相对于结构体的安装作业，其中，所述影像显示系统具有：存储部，其存储相对于结构体进行部件的定位的夹具的配置信息；结构体配置检测部，其检测配置在实际空间中的结构体的配置；以及控制部，其根据存储部所存储的夹具的配置信息和结构体配置检测部的检测结果，进行相对于配置在实际空间中的结构体示出夹具的配置的显示处理。
在本公开的影像显示系统中，存储有相对于结构体进行部件的定位的夹具的配置信息，进行相对于配置在实际空间中的结构体示出上述夹具的配置的显示处理。用户能够依照示出夹具的配置的显示处理，容易地配置该夹具。其结果，能够通过该夹具将上述部件定位于结构体，并容易地进行部件相对于结构体的安装作业。
发明效果
根据本公开，可提供一种能够容易地进行部件相对于结构体的安装作业的影像显示系统。
附图说明
图1是用于说明一个实施方式的影像显示系统的功能的图。
图2是用于说明结构体和影像显示系统的显示的图。
图3是用于说明安装部件的一例的图。
图4是示出使用影像显示系统和夹具安装了安装部件的状态的图。
图5是示出安装作业中的夹具的配置的图。
图6是示出本实施方式的变形例的安装作业中的夹具的配置的图。
图7是用于说明影像显示系统的夹具的位置偏移检测的图。
图8是用于说明本实施方式的变形例的影像显示系统的夹具的位置偏移检测的图。
图9是用于说明影像显示系统的显示选择的图。
图10是用于说明影像显示系统的显示选择的图。
图11是示出由影像显示系统进行的处理的一例的流程图。
图12是示出由控制部进行的显示处理的一例的流程图。
图13是示出一个实施方式的影像显示系统的硬件结构的图。
具体实施方式
以下，参照附图对本公开的影像显示系统的实施方式详细地进行说明。另外，在附图的说明中，对相同要素标注相同的标号，并省略重复说明。
[影像显示系统的概要]
首先，对本实施方式的影像显示系统进行说明。图1示出影像显示系统的框图。影像显示系统100显示基于与实际空间(世界坐标系)相对应的CG(Computer graphics：计算机图形)的虚拟物体。影像显示系统100通过例如包含用户所佩戴的HMD的信息处理终端等来实现。影像显示系统100也可以是平板终端和投影映射(projection mapping)等。以下，以影像显示系统100是MR技术中使用的HMD为例进行说明。影像显示系统100采用了使用半反射镜来使用户看到实际空间的实际物体和虚拟物体的光学透视方式。影像显示系统100也可以采用在实际空间的影像中融合虚拟物体而使用户看到的视频透视方式。在本实施方式中，影像显示系统100为视频透视方式。
影像显示系统100以与用户的视线相同的摄像方向等进行摄像。影像显示系统100在进行拍摄而得到的图像中重叠显示虚拟物体。用户通过观察该显示，能够观察与配置在实际空间中的实际物体的配置相对应的、现实中不存在的虚拟物体。“配置”意味着通过预定的三维坐标轴上的坐标和绕三维坐标轴的各轴旋转(三维坐标上的方向)而规定的6个自由度的状态。
影像显示系统100使用作为三维坐标的虚拟空间(屏幕坐标系)来显示虚拟物体。影像显示系统100预先在虚拟空间上的预定位置处配置虚拟物体，计算虚拟空间与实际空间的对应关系。将虚拟物体在虚拟空间上的配置称作“显示配置”。在以下的说明中，将表示虚拟空间中虚拟物体的位置的坐标轴称作“虚拟坐标轴α”。影像显示系统100设从与实际空间中的摄像位置及摄像方向对应的虚拟空间上的位置及方向观察到的图像为虚拟物体的显示。即，显示从虚拟用户的视线观察虚拟空间上的虚拟物体所得到的图像。上述的虚拟物体的显示能够使用现有的MR技术来实施。影像显示系统100检测用户的移动，根据该移动来使显示处理发生变化以符合与用户的移动对应的视线的变化。
影像显示系统100被用于部件(以下，称作“安装部件”)相对于配置在实际空间中的结构体110的安装作业。图2示出了影像显示系统100使用户看到的显示。图3示出了使用影像显示系统100安装了安装部件的状态。影像显示系统100与作为配置在实际空间中的实际物体的结构体110的配置相对应地，在显示器上显示示出夹具120的配置的虚拟物体。换言之，影像显示系统100进行相对于配置在实际空间中的结构体110示出夹具120的配置的显示处理。在本实施方式中，结构体110为长条状的H钢材。
夹具120是将安装部件定位在结构体110上的部件。用户例如在通过夹具120将安装部件定位在结构体110上的状态下，进行安装部件与结构体之间的焊接等安装作业。在本实施方式中，在上述的虚拟物体中包含：表示实际空间的结构体110的信息、表示安装在结构体110上的预定的安装部件的信息、以及表示从基准位置到配置夹具120的位置的距离的信息。基准位置为结构体110的端部110a。
在本实施方式中，如图2所示，影像显示系统100显示表示安装于结构体110的预定安装部件的虚拟安装部件201、202、203、204、以及表示从基准位置到配置夹具120的位置的距离的信息206、207。影像显示系统100向用户进行显示，使得示出夹具120的配置的虚拟物体与配置在实际空间中的结构体110重叠地被看到，并且示出应该在结构体110上安装夹具120的位置。图2所示的虚拟安装部件201与安装部件131相对应。显示有虚拟安装部件201的配置是要安装安装部件131的预定配置。图2所示的虚拟安装部件203与安装部件132相对应。显示有虚拟安装部件203的配置是要安装安装部件132的预定配置。
在本实施方式中，影像显示系统100显示从结构体110的延伸方向上的端部110a到安装部件的最短距离和从结构体110的延伸方向上的端部110a到安装部件的最长距离，作为从基准位置到配置夹具120的位置的距离。如图2和图3所示，通过影像显示系统100可知从结构体110的延伸方向上的端部110a到安装部件的最短距离为260mm，并可知从结构体110的延伸方向上的端部110a到安装部件的最长距离为310mm。
影像显示系统100在实际空间中利用相对于结构体110配置的基准标志125来检测基准位置。在进行作业之前，基准标志125与结构体110按照预定的配置关系配置。在本实施方式中，基准标志125在结构体110的面板112上沿着结构体110的端部110a设置。基准标志125具有影像显示系统100能够通过图像识别来识别出实际空间中的基准标志125的三维配置的特征点。例如，基准标志125也可以包含具有这样的特征点的图形等(例如，二维码)。只要影像显示系统100能够识别出实际空间中的基准标志125的三维配置即可，基准标志125不限定于该方式。例如，基准标志125的上述特征点可以通过基准标志125的颜色或闪烁来示出。也可以通过使用磁信号或声波信号等的三维位置的识别方法来识别基准标志125的三维位置。
图4示出了将安装部件安装在结构体110上的状态的一例。在图4中，示出了安装部件相对于结构体110被倾斜地安装的状态的三面图。如图2至图4所示，结构体110具有在长条方向上延伸的3个面板111、112、113被连接为一体的结构。面板111、112、113均呈矩形。
面板111具有相互对置的主面111a、111b。面板112具有相互对置的主面112a、112b。面板113具有相互对置的主面113a、113b。各面板111、112、113的主面111a、111b、112a、112b、113a、113b在长条方向上延伸并且与安装部件接触。面板111以与面板112、113垂直的方式连接。面板111的一对长边分别与面板112的主面112a的中央部分及面板113的主面113a的中央部分连接。
图4针对安装有安装部件131的结构体110，示出了从与面板112的主面112b垂直的方向观察到的外观、从与面板111的主面111a垂直的方向观察到的外观、与从结构体110的延伸方向观察到的外观的相关性。如图4所示，安装部件131在俯视观察时为梯形，具有4个角部131a、131b、131c、131d。图4用点划线连接相同的角部来示出。
如图4所示，安装部件131相对于面板111的主面111a倾斜，并相对于面板112的主面112a及面板113的主面113a也倾斜。连接角部131b和角部131c的边与结构体110的主面111a接触。连接角部131a和角部131b的边与结构体110的主面112a接触。连接角部131c和角部131d的边与结构体110的主面113a接触。在该情况下，在结构体110的延伸方向上，角部131a的位置为距结构体110的端部110a最短距离的位置。在结构体110的延伸方向上，角部131c的位置为距结构体110的端部110a最长距离的位置。
图5是示出结构体110、夹具120与影像显示系统100的显示的配置关系的部分放大图。图5的(a)示出了从与面板112的主面垂直的方向观察到的外观。图5的(b)示出了从与面板111的主面111a垂直的方向观察到的外观。虚拟安装部件201具有与安装部件131相同的形状，具有4个角部131a、131b、131c、131d。
如图3和图5所示，夹具120包含第一夹具121和第二夹具122。第一夹具121具有平面121a。第二夹具122具有平面122a。在本实施方式中，第一夹具121的平面121a及第二夹具122的平面122a被配置成与主面111a及主面113a垂直。第一夹具121和第二夹具122分别具有长方体形状。第一夹具121和第二夹具122分别被配置成至少与结构体110的主面111a及主面113a接触。
第一夹具121的平面121a根据影像显示系统100的显示而被配置于从结构体110的延伸方向上的端部110a到安装部件131的最短距离的位置。第二夹具122的平面122a根据影像显示系统100的显示而被配置于从结构体110的延伸方向上的端部110a到安装部件的最长距离的位置。
影像显示系统100除了表示从基准位置到配置夹具120的位置的距离的信息206、207的显示以外，还显示虚拟安装部件201。第一夹具121配置成与虚拟安装部件201中的、位于在结构体110的延伸方向上距端部110a最短距离处的部分接触。第二夹具122配置成与虚拟安装部件201中的、位于在结构体110的延伸方向上距端部110a最长距离处的部分接触。在本实施方式中，第一夹具121配置成平面121a与虚拟安装部件201的角部131a接触，第二夹具122配置成平面122a与虚拟安装部件201的角部131d接触。这时，第一夹具121的平面121a与第二夹具122的平面122a相互对置。由此，夹具120被配置成对结构体110的延伸方向上的安装部件131的位置、安装部件131相对于结构体110的主面111a的倾斜角度、以及安装部件131相对于与主面111a垂直的轴的旋转角度进行限制。例如，通过配置成安装部件131与结构体110的主面111a、第一夹具121的平面121a及第二夹具122的平面122a抵接，可以按照期望的配置对安装部件131进行定位。
图6是示出本实施方式的变形例的安装作业中的夹具的配置的图。在本变形例中，将与面板111的主面111a交叉的方向上的长度比安装部件131长的安装部件135安装在结构体110上。安装部件135也具有4个角部131a、131b、131c、131d。在与主面111a交叉的方向上，安装部件135的长度比夹具120的长度大。在该情况下，平面122a与角部131d接触，但是，平面121a可以不与角部131a接触。在该情况下，第一夹具121配置成平面121a与连接角部131a和角部131b的边接触。影像显示系统100表示连接角部131a和角部131b的边中的、与第一夹具121的平面121a接触的部分。换言之，影像显示系统100显示从端部110a到由第一夹具121和第二夹具122夹持的区域内的安装部件135的结构体110在延伸方向上的最短距离的位置，作为示出第一夹具121的平面121a的配置的信息的显示。影像显示系统100显示从端部110a到由第一夹具121和第二夹具122夹持的区域内的安装部件的结构体110在延伸方向上的最长距离的位置，作为示出第二夹具122的平面122a的配置的信息的显示。
[影像显示系统的结构]
如图1所示，影像显示系统100具有摄像部101、惯性计测部102、显示部103、环境信息检测部104、存储部105、操作检测部106和控制部107。摄像部101、惯性计测部102、显示部103、环境信息检测部104、存储部105、操作检测部106和控制部107可以容纳在一个壳体中，也可以分开容纳在多个壳体中。在容纳在多个壳体中的情况下，可以以有线的方式连接，也可以以无线的方式连接。
影像显示系统100中的、摄像部101和显示部103中的至少一个可携带。影像显示系统100也可以不具有摄像部101。在携带显示部103而不携带摄像部101的情况下，显示部103和惯性计测部102容纳在一个壳体中。例如，影像显示系统100不仅用于使用HMD的情况，也能够用于用户携带摄像部101不工作的平板等的情况、以及用户用手边的显示部103确认并远程地操作具有摄像部101的终端的移动的情况。在本实施方式中，以使用如下HMD的情况为主进行说明，在该HMD中，摄像部101、惯性计测部102和显示部103收纳在一个壳体中并且该壳体被固定于用户的头部。
摄像部101拍摄实际空间并依次向环境信息检测部104发送所拍摄的图像。在本实施方式中，摄像部101固定于用户的头部，摄像部101的位置和姿势与用户的头的移动对应地发生变动。摄像部101的位置为摄像部101的坐标位置。摄像部101的姿势为绕三维坐标的各轴的旋转(三维坐标上的方向)。摄像部101由深度照相机和RGB照相机等多个照相机构成。摄像部101不仅包含拍摄用户的视线方向的前置摄像机，还包含拍摄用户的侧方等的环境摄像机。
惯性计测部102计测作用于摄像部101或显示部103的外力，并依次向环境信息检测部104发送计测结果。在本实施方式中，惯性计测部102由固定在用户的头部的加速度传感器、陀螺仪传感器和方位传感器等构成。
显示部103包含进行显示的显示器。显示部103根据摄像部101或显示部103的位置和姿势来显示包含虚拟物体的虚拟影像。在本实施方式中，显示部103在用户能够适当地看到虚拟物体的状态下被固定在用户的头部。关于显示部103，显示部103的位置和姿势与用户的头部的移动对应地发生变动。显示部103的位置是显示部103的坐标位置。显示部103的姿势是绕三维坐标的各轴的旋转(三维坐标上的方向)。在本实施方式中，显示部103根据来自后述的控制部107的指示，进行表示实际空间的结构体110的显示、表示安装在结构体110上的预定安装部件的显示、以及表示从基准位置到配置夹具120的位置的距离的信息的显示。
环境信息检测部104根据由摄像部101拍摄出的图像和惯性计测部102的计测结果中的至少一个，来检测各种各样的信息。影像显示系统100也可以不具有惯性计测部102。在该情况下，影像显示系统100根据由摄像部101拍摄的图像，由环境信息检测部104进行各种各样的处理。在影像显示系统100不具有摄像部101的情况下，影像显示系统100根据惯性计测部102，由环境信息检测部104进行各种各样的处理。环境信息检测部104具有基准位置检测部151、结构体配置检测部152、用户位置检测部153、视线方向检测部154、显示器配置检测部155和夹具配置检测部156。
基准位置检测部151检测配置虚拟坐标轴α的原点N的基准位置。在本实施方式中，基准位置检测部151根据由摄像部101拍摄出的图像检测能够识别出实际空间中的基准标志125的三维配置的特征点。基准位置检测部151根据检测出的上述特征点，检测实际空间中的基准位置。例如，在沿着结构体110的端部110a配置有基准标志125的状态下，基准位置检测部151根据基准标志125的特征点，将面板112中的端部110a的中央检测为基准位置。基于基准位置检测部151的基准位置的检测结果例如是距离摄像部101或显示器的基准位置的相对位置。
基准位置检测部151也可以不根据基准标志125，而根据由摄像部101拍摄出的图像中的结构体110的边缘的配置或由摄像部101拍摄出的图像中的结构体110的周边环境等来检测基准位置。基准位置检测部151也可以以无线或有线的方式另行取得表示实际空间中的基准位置的信号。基于基准位置检测部151的基准位置的检测结果也可以是由摄像部101拍摄出的图像上的位置。
结构体配置检测部152检测配置在实际空间中的结构体110的配置。在本实施方式中，结构体配置检测部152根据由基准位置检测部151检测出的基准位置和确定结构体110的朝向的其他特征点，检测结构体110的配置。确定结构体110的朝向的其他特征点也可以是基准标志125的朝向、与基准标志125分开地设置于结构体110的标志的配置、结构体110的边缘的配置或结构体110的周边环境。例如，结构体配置检测部152根据由摄像部101拍摄出的图像，检测实际空间中的结构体110的边缘的配置。
结构体配置检测部152对结构体110的配置的检测结果例如是结构体110相对于摄像部101或显示器的相对配置。结构体配置检测部152也可以以无线或有线的方式另行取得示出实际空间中的结构体110的配置的信号。结构体配置检测部152对结构体110的配置的检测结果也可以是由摄像部101拍摄出的图像上的配置。
用户位置检测部153检测进行安装作业的用户的位置。在本实施方式中，用户位置检测部153将摄像部101相对于基准位置的相对位置检测为用户的位置。例如，用户位置检测部153根据由摄像部101拍摄出的图像，检测周边环境的特征点。用户位置检测部153根据检测出的上述特征点，检测实际空间中的摄像部101的位置。用户位置检测部153也可以根据由摄像部101拍摄出的图像、基准位置的检测结果和惯性计测部102的计测结果，检测摄像部101的位置。
用户位置检测部153也可以将显示部103的显示器相对于基准位置的相对位置检测为用户的位置。用户位置检测部153也可以将摄像部101相对于基准位置的相对位置检测为显示器的位置。用户位置检测部153也可以根据由摄像部101拍摄出的图像、基准位置的检测结果和惯性计测部102的计测结果，检测显示器的位置。用户位置检测部153也可以在不使用由摄像部101拍摄出的图像的情况下检测显示器的位置。用户位置检测部153也可以从例如外部的摄像部等另行取得表示实际空间中的摄像部101或显示器的位置的信号。
用户位置检测部153也可以不检测用户相对于基准位置的位置，而检测用户相对于结构体110的任意位置的位置。用户位置检测部153也可以检测用户相对于夹具120的位置。
视线方向检测部154检测进行安装作业的用户的视线方向。另外，“视线方向”可以是前置摄像机朝向的方向，也可以是所拍摄的图像的中心，也可以是显示器朝向的方向，还可以是根据用户的眼球的朝向计算出的方向。在本实施方式中，视线方向检测部154将摄像部101相对于基准位置的姿势检测为视线方向。例如，视线方向检测部154根据由摄像部101拍摄出的图像，检测周边环境的特征点。视线方向检测部154根据检测出的上述特征点，检测实际空间中的摄像部101的姿势。视线方向检测部154也可以根据由摄像部101拍摄出的图像、基准位置的检测结果和惯性计测部102的计测结果，检测摄像部101的姿势。
视线方向检测部154也可以将显示部103的显示器相对于基准位置的姿势检测为视线方向。视线方向检测部154也可以将摄像部101相对于基准位置的姿势检测为显示器的姿势。视线方向检测部154也可以根据由摄像部101拍摄出的图像、基准位置的检测结果和惯性计测部102的计测结果，检测显示器的姿势。视线方向检测部154也可以在不使用由摄像部101拍摄出的图像的情况下检测显示器的姿势。视线方向检测部154也可以例如从外部的摄像部等另行取得表示实际空间中的摄像部101或显示器的姿势的信号。
显示器配置检测部155检测显示器的配置。在本实施方式中，显示器配置检测部155根据用户位置检测部153的检测结果和视线方向检测部154的检测结果，检测显示器相对于基准位置的配置。
夹具配置检测部156检测配置在实际空间中的夹具120的配置。在本实施方式中，夹具配置检测部156根据由摄像部101拍摄出的图像，检测第一夹具121和第二夹具122各自具有的特征点。如图7所示，第一夹具121和第二夹具122各自具有的特征点例如也可以是设置在第一夹具121和第二夹具122各自上的标志140。在本实施方式中，在标志140上附有QR码(注册商标)。夹具配置检测部156例如根据由摄像部101拍摄出的图像来识别标志140的QR码，对第一夹具121和第二夹具122的配置进行运算。标志140也可以不具有QR码，而具有其他特征图案。夹具配置检测部156也可以从第一夹具121和第二夹具122检测颜色、闪烁或电磁信息等，从而检测第一夹具121和第二夹具各自的配置。
如图8所示，夹具配置检测部156也可以根据从配置于结构体110的两端部的激光距离计测装置171、172所取得的信息，检测第一夹具121和第二夹具各自的配置。例如，激光距离计测装置171向夹具配置检测部156发送从结构体110的一端部到第一夹具121的端部的距离。夹具配置检测部156根据从结构体110的一端部到第一夹具121的端部的距离，检测第一夹具121的配置。激光距离计测装置172向夹具配置检测部156发送从结构体110的另一端部到第二夹具122的端部的距离。夹具配置检测部156根据从结构体110的另一端部到第二夹具122的端部的距离，检测第二夹具122的配置。夹具配置检测部156也可以使用预先所取得的结构体110的全长和第一夹具121及第二夹具122的厚度，检测第一夹具121和第二夹具各自的配置。影像显示系统100也可以包含激光距离计测装置171、172。
存储部105预先存储有虚拟物体的显示所需的各种信息(CG数据)。存储部105存储有夹具120相对于结构体110的配置信息。在本实施方式中，夹具120的配置信息包含平面121a及平面122a与安装部件接触的第一夹具121及第二夹具122的配置信息。第一夹具121和第二夹具122的配置信息包含限制结构体110的延伸方向上的安装部件的位置、安装部件相对于结构体110的主面111a的倾斜角度和安装部件相对于与主面111a垂直的轴的旋转角度在内的夹具的配置信息。
例如，存储部105预先存储有与虚拟空间中的虚拟坐标轴α预先建立了对应的虚拟安装部件201、202、203、204的显示配置、以及表示从基准位置到配置夹具120的位置的距离的信息206、207。存储部105存储有虚拟安装部件201、202、203、204的显示配置、以及配置夹具120的位置的虚拟坐标轴α上的坐标。通过将虚拟坐标轴α与实际空间建立对应，可决定与实际空间中的摄像部101的位置及姿势对应的虚拟安装部件201、202、203、204的显示配置、以及配置夹具120的位置。
存储部105也预先存储有预先确定的、配置在实际空间中的基准标志125与虚拟坐标轴α的配置关系。在本实施方式中，将基准标志125的实际空间上的基准点M的位置与配置虚拟坐标轴α的原点N的基准位置建立对应。即，将实际空间中的基准标志125的配置与虚拟坐标轴α的原点N建立对应。
操作检测部106检测用户的操作。例如，检测影像显示系统100的触摸面板显示器中的、用户所触摸的位置。操作检测部106向控制部107依次发送所检测的信息。例如，操作检测部106根据用户的操作，向控制部107发送表示所选择的虚拟安装部件201、202、203、204的信号。由操作检测部106检测的用户的操作也可以为手势、眨眼或按钮输入。
控制部107根据环境信息检测部104的检测结果、操作检测部106的检测结果和存储部105所存储的信息进行各种各样的控制。控制部107具有基准配置设定部157、显示控制部158和部件判断部159。
基准配置设定部157设定规定虚拟物体的显示配置的虚拟坐标轴α、与由用户位置检测部153和视线方向检测部154检测出的摄像部101或显示器的位置及姿势之间的关系。在本实施方式中，基准配置设定部157依照由结构体配置检测部152检测出的结构体110的配置，将虚拟坐标轴α与实际空间建立对应。换言之，基准配置设定部157根据由结构体配置检测部152检测出的检测结果，将虚拟坐标轴α的原点N配置于基准位置，并且设定实际空间中的虚拟坐标轴α的方向。
显示控制部158根据存储部105所存储的夹具120的配置信息和结构体配置检测部152的检测结果，进行相对于配置在实际空间中的结构体110示出夹具120的配置的显示处理。例如，显示控制部158对显示部103指示示出多个部件的配置的信息的显示，如图2所示，对于配置在实际空间中的结构体110，使显示部103显示虚拟安装部件201、202、203、204。在本实施方式中，显示控制部158从存储部105取得夹具120的配置信息。显示控制部158根据所取得的夹具120的配置信息，将虚拟安装部件201、202、203、204的显示配置以及表示从基准位置到配置夹具120的位置的距离的信息206、207的配置与在基准配置设定部157中和实际空间建立了对应的虚拟坐标轴α建立对应。其结果，虚拟安装部件201、202、203、204的显示配置、以及表示从基准位置到配置夹具120的位置的距离的信息206、207的配置与基准位置建立对应。在本实施方式中，显示控制部158根据用户的位置和视线方向，使显示部103显示与基准位置建立了对应的、虚拟安装部件201、202、203、204和表示到配置夹具120的位置的距离的信息206、207。
显示控制部158也可以根据由显示器配置检测部155检测出的显示器的配置，变更示出夹具120的配置的信息的显示配置。例如，在用户变更了显示器的配置的情况下，显示控制部158也可以根据该变更，使显示器上的结构体110的显示位置、虚拟安装部件201、202、203、204的显示配置和表示到配置夹具120的位置的距离的信息206、207的显示配置变更。
显示控制部158根据由夹具配置检测部156检测出的夹具120的配置和存储部105所存储的夹具120的配置信息，使示出夹具120的位置偏移的信息显示。例如，在由夹具配置检测部156检测出的夹具120的配置从存储部105所存储的夹具120的配置信息偏移了容许误差以上的情况下，显示控制部158在显示部103进行表示该偏移发生的显示处理。例如，在判断为发生了上述偏移的情况下，如图7所示，显示控制部158使显示部103显示表示发生了偏移的信息160。在判断为发生了上述偏移的情况下，显示控制部158也可以改变虚拟安装部件的颜色。
部件判断部159从与存储部105所存储的多个虚拟安装部件对应的多个安装部件中，判断用户要进行安装作业的安装部件。例如，部件判断部159例如根据操作检测部106的检测结果、用户相对于结构体110的位置和用户的视线方向中的至少一个，将上述多个安装部件中的至少一个安装部件判断为用户要进行安装作业的安装部件。显示控制部158将示出由部件判断部159判断出的安装部件所对应的夹具120的配置的信息判断为用户在夹具120的配置中使用的信息，并对于示出其以外的安装部件所对应的夹具120的配置的信息进行显示处理。例如，在由部件判断部159将也与虚拟安装部件201对应的安装部件131判断为用户要进行安装作业的安装部件的情况下，显示控制部158对显示部103指示将示出与剩余的安装部件对应的夹具120的配置的信息非显示。针对剩余的夹具120的显示处理，不限于非显示，还包含半透明显示、闪烁显示、轮廓线显示、颜色的变更和显示浓度的变更等在显示上赋予变化的情况。针对剩余的夹具120，也可以仅对表示该夹具120的距离的信息在显示上赋予变化。
显示控制部158也可以对示出由部件判断部159判断出的安装部件所对应的夹具120的配置的信息在显示上赋予变化。在图9中，示出了使与虚拟安装部件202、203、204相关的信息为非显示的状态。显示控制部158也可以根据非显示的状态，使显示部103显示表示由部件判断部159判断出的安装部件所对应的夹具120的配置的信息。
例如，部件判断部159根据操作检测部106的检测结果和存储部105中存储的夹具120的配置信息，判断多个安装部件中的、与用户的操作对应的安装部件。显示控制部158进行示出与所判断的安装部件对应的夹具120的配置的信息的显示处理。例如，在用户触摸了虚拟安装部件201的情况下，部件判断部159将与用户所操作的虚拟安装部件201对应的安装部件131判断为用户要进行安装作业的安装部件。显示控制部158也可以根据针对结构体110显示了虚拟安装部件201、202、203、204的状态，如图9所示，使用户所操作的虚拟安装部件201的显示以及与其对应的距离的显示保留，使虚拟安装部件202、203、204成为非显示。在操作检测部106中表示夹具120的距离的信息206、207被操作而虚拟安装部件未被操作的情况下，部件判断部159也可以将与所操作的信息206、207对应的安装部件判断为用户要进行安装作业的安装部件。
例如，部件判断部159根据视线方向检测部154的检测结果和存储部105所存储的夹具120的配置信息，判断多个安装部件中的、与视线方向检测部154的检测结果对应的安装部件。显示控制部158进行示出与所判断的安装部件相关的夹具120的配置的信息的显示处理。例如，如图9所示，显示控制部158也可以使与由视线方向检测部154检测出的视线方向对应的虚拟安装部件201的显示以及与其对应的信息206、207的显示保留，使虚拟安装部件202、203、204成为非显示。与视线方向对应的虚拟安装部件也可以是位于视线方向的半直线上的、最近前的虚拟安装部件。显示控制部158也可以改变位于视线方向的延长线上的虚拟安装部件的颜色来显示，根据操作检测部106对用户的操作的检测结果来确定夹具120的配置中使用的显示。
例如，部件判断部159根据用户位置检测部153的检测结果和存储部105所存储的夹具120的配置信息，判断多个安装部件中的、与用户位置检测部153的检测结果对应的安装部件。显示控制部158进行示出与所判断的安装部件相关的夹具120的配置的信息的显示处理。例如，部件判断部159根据用户位置检测部153的检测结果和存储部105所存储的夹具120的配置信息，判断用户相对于结构体110位于上下左右的哪个位置。例如，如图10所示，与结构体110的延伸方向垂直的面被划分为4个区域R1、R2、R3、R4。在由用户位置检测部153检测出的用户的位置为区域R1的情况下，部件判断部159将与区域R1对应的虚拟安装部件202作为判断结果输出。显示控制部158也可以使虚拟安装部件202以及表示与该虚拟安装部件202对应的距离的信息的显示保留，使剩余的信息为非显示。在用户的位置位于不同的区域之间附近的情况下，部件判断部159将与双方的区域对应的虚拟安装部件作为判断结果输出。
部件判断部159也可以根据用户位置检测部153的检测结果来运算用户与结构体110之间的距离，根据该距离判断安装部件。例如，部件判断部159也可以将位于距离用户2m以内的虚拟安装部件作为判断结果输出。在该情况下，显示控制部158例如也可以使位于距离用户2m以内的虚拟安装部件以蓝色显示，使远离用户2m以上的虚拟安装部件成为非显示或以半透明显示。显示控制部158可以使位于距离用户2m以内的虚拟安装部件成为非显示，也可以使位于隔着结构体110与用户相反的一侧的虚拟安装部件成为非显示。例如，在图9中，即使虚拟安装部件202位于距离用户2m以内的位置，由于虚拟安装部件202位于隔着结构体110与用户相反的一侧，所以显示控制部158使虚拟安装部件202成为非显示。部件判断部159也可以根据用户位置检测部153的检测结果取得用户与夹具120的配置关系，根据该配置关系判断安装部件。
[影像显示系统中的处理]
接着，参照图11，对由影像显示系统100进行的处理的一例进行说明。图11是示出由影像显示系统100进行的处理的一例的流程图。
在步骤S101中，基准位置检测部151检测配置虚拟坐标轴α的原点N的基准位置。接着，使处理进入步骤S102。
在步骤S102中，结构体配置检测部152检测配置在实际空间中的结构体110的配置。接着，使处理进入步骤S103。
在步骤S103中，显示器配置检测部155检测显示部103的显示器的配置。接着，使处理进入步骤S104。
在步骤S104中，夹具配置检测部156检测配置在实际空间中的夹具120的配置。接着，使处理进入步骤S105。
在步骤S105中，控制部107根据在步骤S102至步骤S104中检测出的信息进行显示处理。显示部103根据来自控制部107的指示，显示各种信息。
接着，参照图12，对控制部107的显示处理进行说明。图12是示出由控制部107进行的显示处理的流程图。
在步骤S111中，控制部107判断是否存在部件的选择信息。所谓部件的选择信息，是例如根据操作检测部106的检测结果、用户相对于结构体110的位置和用户的视线方向中的至少一个，部件判断部159判断出的判断结果。在判断为不存在部件的选择信息的情况下(在步骤S111中为“否”)，控制部107使处理进入步骤S112。在判断为存在部件的选择信息的情况下(在步骤S111中为“是”)，控制部107使处理进入步骤S113。
在步骤S112中，控制部107利用显示控制部158使显示部103显示存储部105所存储的全部虚拟安装部件，使处理进入步骤S117。
在步骤S113中，控制部107判断是否在夹具配置检测部156中检测出夹具配置。在判断为未检测出夹具配置的情况下(在步骤S113中为“否”)，控制部107使处理进入步骤S114。在判断为检测出夹具配置的情况下(在步骤S113中为“是”)，控制部107使处理进入步骤S115。
在步骤S114中，控制部107通过显示控制部158使显示部103显示与由部件判断部159判断出的安装部件对应的虚拟安装部件，使处理进入步骤S117。
在步骤S115中，控制部107根据夹具配置检测部156的检测结果，判断夹具配置是否适当。在判定为夹具配置适当的情况下(在步骤S115中为“是”)，控制部107使处理进入步骤S114。在判断为夹具配置不适当的情况下(在步骤S115中为“否”)，控制部107使处理进入步骤S116。
在步骤S116中，控制部107通过显示控制部158使显示部103显示与由部件判断部159判断出的安装部件对应的虚拟安装部件、以及错误，控制部107使处理进入步骤S117。在该情况下，显示控制部158例如使显示部103显示表示产生了偏移的信息160。
在步骤S117中，控制部107判断是否结束显示处理。在判断为不结束显示处理的情况下(在步骤S117中为“否”)，控制部107使处理进入步骤S111。在判断为结束显示处理的情况下(在步骤S117中为“是”)，控制部107结束显示处理。
[影像显示系统的作用和效果]
接着，对本实施方式的影像显示系统100的主要作用和效果进行说明。
在影像显示系统100中，存储有相对于结构体110进行安装部件的定位的夹具120的配置信息，进行相对于配置在实际空间中的结构体110示出上述夹具120的配置的显示处理。用户能够依照示出夹具120的配置的显示处理，容易地配置该夹具120。其结果，能够通过该夹具120将上述安装部件定位在结构体110上，并容易地进行安装部件相对于结构体110的安装作业。
例如，安装部件131在相对于面板111的主面111a倾斜并且也相对于面板112的主面112a和面板113的主面113a倾斜的状态下被安装在结构体110上。这样的状态下的安装作业非常困难。夹具120包含：第一夹具121，其具有平面121a；以及第二夹具122，其具有与平面121a相对的平面122a。夹具120的配置信息包含平面121a及平面122a与安装部件抵接的、夹具120的配置信息。因此，根据影像显示系统100，能够容易且适当地配置上述夹具120，并且也能够容易进行安装部件131相对于结构体110的定位。
结构体110具有在预定方向上延伸并且与安装部件接触的主面111a。夹具120的配置信息包含限制预定方向上的安装部件的位置、安装部件相对于主面111a的倾斜角度和部件相对于与主面111a垂直的轴的旋转角度的夹具120的配置信息。因此，根据影像显示系统100，能够容易且适当地配置上述夹具120，并且也能够容易进行安装部件131相对于结构体110的定位。
影像显示系统100具有显示器配置检测部155，该显示器配置检测部155检测进行基于显示处理的显示的显示器的配置。控制部107根据由显示器配置检测部155检测出的显示器的配置，变更该显示器上的结构体的显示和示出夹具120的配置的信息的显示配置。因此，用户通过使显示器移动，能够针对任意的位置确认夹具120相对于结构体的配置。
影像显示系统100具有夹具配置检测部156，该夹具配置检测部156检测配置在实际空间中的夹具120的配置。控制部107根据由夹具配置检测部156检测出的夹具120的配置和存储部105所存储的夹具120的配置信息，使得显示示出夹具120的位置偏移的信息160。因此，用户能够容易地确认夹具120的配置是否适当。
影像显示系统100具有操作检测部106，该操作检测部106检测用户的操作。控制部107根据操作检测部106的检测结果和存储部105所存储的夹具120的配置信息，进行如下信息的显示处理：该信息示出跟多个安装部件中与用户的操作对应的安装部件相关的夹具的配置。因此，用户能够选择表示要显示的夹具的配置的信息。
存储部105存储多个安装部件相对于结构体110的配置信息。控制部107根据存储部105所存储的多个部件的配置信息，指示进行示出多个安装部件的配置的信息的显示。控制部107判断多个安装部件中与操作检测部106的检测结果对应的安装部件，进行示出跟所判断出的安装部件相关的夹具120的配置的显示处理。因此，用户通过操作所显示的安装部件，能够选择示出夹具的配置的信息。
影像显示系统100具有用户位置检测部153，该用户位置检测部153检测用户的位置。控制部107根据用户位置检测部153的检测结果和存储部105所存储的夹具120的配置信息，进行如下信息的显示处理：该信息示出跟多个安装部件中与用户的位置对应的安装部件相关的夹具的配置。因此，能够根据用户的位置来显示示出适当的夹具的配置的信息。
影像显示系统100具有视线方向检测部154，该视线方向检测部154检测用户的视线方向。控制部107根据视线方向检测部154的检测结果和存储部105所存储的夹具120的配置信息，进行如下信息的显示处理：该信息示出跟多个安装部件中与用户的视线方向对应的安装部件相关的夹具的配置。因此，能够根据用户的视线方向来显示示出适当的夹具的配置的信息。
另外，上述实施方式的说明中使用的框图示出了以功能为单位的块(block)。这些功能块(结构部)通过硬件和软件中的至少一方的任意组合来实现。此外，各功能块的实现方法没有特别限定。即，各功能块可以使用物理地或逻辑地结合而成的一个装置来实现，也可以将物理地或逻辑地分开的两个以上的装置直接或间接(例如，使用有线、无线等)地连接，使用这些多个装置来实现。功能块也可以在上述一个装置或上述多个装置中组合软件来实现。
功能中包含判断、决定、判定、计算、算出、处理、导出、调查、搜索、确认、接收、发送、输出、接入、解决、选择、选定、建立、比较、设想、期待、视作、广播(broadcasting)、通知(notifying)、通信(communicating)、转发(forwarding)、配置(configuring)、重新配置(reconfiguring)、分配(allocating、mapping)、分派(assigning)等，但是不限定于这些。例如，使发送发挥功能的功能块(结构部)称作发送部(transmitting unit)或发送机(transmitter)。如上所述，在任意一个的情况下，实现方法均不受特别限定。
例如，本公开的一个实施方式中的影像显示系统也可以作为进行本实施方式中的处理的计算机发挥功能。图13是示出本公开的一个实施方式的影像显示系统100的硬件结构的一例的图。上述的影像显示系统100可以构成为在物理上包含处理器1001、内存1002、存储器1003、通信装置1004、输入装置1005、输出装置1006和总线1007等的计算机装置。此外，影像显示系统100除了上述以外，也具有摄像部101、惯性计测部102中使用的传感器和显示器等硬件。
另外，在下面的说明中，“装置”这一措辞可以替换为“电路”、“设备(device)”、“单元(unit)”等。影像显示系统100的硬件结构可以构成为包含1个或多个附图示出的各装置，也可以构成为不包含一部分的装置。
影像显示系统100中的各功能通过如下方法实现：在处理器1001、内存1002等硬件上读入预定的软件(程序)，从而处理器1001进行运算，并控制通信装置1004的通信，或者控制内存1002和存储器1003中的数据的读出和写入中的至少一方。
处理器1001例如使操作系统工作而对计算机整体进行控制。处理器1001也可以由包含与周边装置的接口、控制装置、运算装置、寄存器等的中央处理装置(CPU：CentralProcessing Unit)构成。例如，环境信息检测部104和控制部107等可以通过处理器1001来实现。
此外，处理器1001从存储器1003和通信装置1004中的至少一方向内存1002读取程序(程序代码)、软件模块、数据等，据此执行各种处理。作为程序，使用了使计算机执行在上述实施方式中所说明的动作的至少一部分的程序。例如，可以通过存储在内存1002并在处理器1001中进行动作的控制程序实现显示部103、环境信息检测部104、操作检测部106和控制部107，也可以同样地实现其它的功能块。虽然说明了通过1个处理器1001执行上述的各种处理，但也可以通过2个以上的处理器1001同时或依次执行上述的各种处理。可以通过1个以上的芯片来安装处理器1001。另外，也可以经由电信线路从网络发送程序。
内存1002是计算机可读取的记录介质，例如也可以由ROM(Read Only Memory：只读存储器)、EPROM(Erasable Programmable ROM：可擦除可编程ROM)、EEPROM(Electrically Erasable Programmable ROM：电可擦除可编程ROM)、RAM(Random AccessMemory：随机存取存储器)等中的至少一个构成。内存1002也可以称为寄存器、高速缓存、主内存(主存储装置)等。内存1002能够保存为了实施本公开的一个实施方式的无线通信方法而可执行的程序(程序代码)、软件模块等。
存储器1003是计算机可读取的记录介质，例如也可以由CD-ROM(Compact DiscROM：光盘只读存储器)等光盘、硬盘驱动器、软盘、磁光盘(例如，压缩盘、数字多用途盘、Blu-ray(注册商标)盘、智能卡、闪存(例如卡、棒、键驱动(Key drive))、Floppy(注册商标)盘、磁条等中的至少一个构成。存储器1003也可以称为辅助存储装置。上述的存储介质可以是例如包含内存1002和存储器1003中的至少一方的数据库、服务器及其它适当的介质。
通信装置1004是用于经由有线网络和无线网络中的至少一方进行计算机之间的通信的硬件(收发设备)，例如，也可以称为网络设备、网络控制器、网卡、通信模块等。
输入装置1005是受理来自外部的输入的输入设备(例如，键盘、鼠标、麦克风、开关、按键、传感器等)。输出装置1006是实施向外部的输出的输出设备(例如，显示器、扬声器、LED灯等)。另外，输入装置1005和输出装置1006也可以一体地构成(例如，触摸面板)。此外，处理器1001和内存1002等各装置通过用于对信息进行通信的总线1007来连接。总线1007可以使用单一的总线构成，也可以按照每个装置间使用不同的总线构成。
此外，影像显示系统100可以构成为包含微处理器、数字信号处理器(DSP：DigitalSignal Processor)、ASIC(Application Specific Integrated Circuit：专用集成电路)、PLD(Programmable Logic Device：可编程逻辑器件)、FPGA(Field Programmable GateArray：现场可编程门阵列)等硬件，可以通过该硬件来实现各功能块的一部分或全部。例如，可以使用这些硬件中的至少1个硬件来安装处理器1001。
在本公开中所说明的各形态/实施方式可以单独使用，也可以组合使用，还可以伴随执行来切换使用。此外，预定信息的通知不限于显式地(例如，“是X”的通知)进行，也可以隐式地(例如，不进行该预定信息的通知)进行。
以上，对本公开详细地进行了说明，但对于本领域技术人员而言，应清楚本公开不限于在本公开中说明的实施方式。本公开能够在不脱离由权利要求确定的本公开的主旨和范围的情况下，作为修正和变更方式来实施。因此，本公开的记载目的在于例示说明，对本公开不具有任何限制意义。
本公开中说明的各形式/实施方式也可以应用于LTE(Long Term Evolution：长期演进)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobilecommunication system，第四代移动通信系统)、5G(5th generation mobilecommunication system，第五代移动通信系统)、FRA(Future Radio Access，未来的无线接入)、NR(New Radio，新无线)、W-CDMA(注册商标)、GSM(注册商标)、CDMA 2000、UMB(UltraMobile Broadband，超移动宽带)、IEEE 802.11(Wi-Fi(注册商标))、IEEE 802.16(WiMAX(注册商标))、IEEE 802.20、UWB(Ultra-WideBand：超宽带)、Bluetooth(蓝牙)(注册商标)、使用其它适当系统的系统和据此扩展的下一代系统中的至少一个。此外，也可以组合多个系统(例如，LTE及LTE-A中的至少一方与5G的组合等)来应用。
对于本公开中说明的各形式/实施方式的处理过程、时序、流程等，在不矛盾的情况下，可以更换顺序。例如，对于本公开中说明的方法，使用例示的顺序提示各种步骤的要素，但不限于所提示的特定的顺序。
输入或输出的信息等可以保存在特定的位置(例如，内存)，也可以使用管理表来管理。可以重写、更新或追记要输入或输出的信息等。也可以删除所输出的信息等。还可以向其它装置发送所输入的信息等。
判定可以通过1比特所表示的值(0或1)来进行，也可以通过布尔值(Boolean：true或false)来进行，还可以通过数值的比较(例如，与预定值的比较)来进行。
在本公开中说明的信息、信号等可以使用各种不同的技术中的任意一种来表示。例如，可以通过电压、电流、电磁波、磁场或磁性颗粒、光场或光子或者它们的任意组合来表示上述说明整体所可能涉及的数据、命令、指令(command)、信息、信号、比特、码元(symbol)、码片(chip)等。
在本公开中说明的信息、信号等可以使用各种不同的技术中的任意一种来表示。例如，可以通过电压、电流、电磁波、磁场或磁性颗粒、光场或光子或者这些的任意组合来表示上述说明整体所可能涉及的数据、命令、指令(command)、信息、信号、比特、码元(symbol)、码片(chip)等。
本公开中使用的“判断(determining)”、“决定(determining)”这样的用语有时包含多种多样的动作。“判断”、“决定”例如可以包含将进行了判定(judging)、计算(calculating)、算出(computing)、处理(processing)、导出(deriving)、调查(investigating)、搜索(looking up、search、inquiry)(例如，表格、数据库或其它数据结构中的搜索)、确认(ascertaining)的事项视为进行了“判断”、“决定”的情况等。此外，“判断”、“决定”可以包含将进行了接收(receiving)(例如，接收信息)、发送(transmitting)(例如，发送信息)、输入(input)、输出(output)、访问(accessing)(例如，访问存储器中的数据)的事项视为进行了“判断”、“决定”的事项。此外，“判断”、“决定”可以包含将进行了解决(resolving)、选择(selecting)、选定(choosing)、建立(establishing)、比较(comparing)等的事项视为进行了“判断”、“决定”的事项。即，“判断”、“决定”可以包含“判断”、“决定”了任意动作的事项。此外，“判断(决定)”可以用“设想(assuming)”、“期待(expecting)”、“视作(considering)”等替换。
本公开中使用的“根据”这样的记载，除非另有明确记载，否则不是“仅根据”的意思。换而言之，“根据”这样的记载意味着“仅根据”和“至少根据”这两者。
对使用了在本公开中使用的“第1”、“第2”等称呼的要素的任何参考也并非全部限定这些要素的数量或者顺序。这些称呼在本公开中能够用作对2个以上的要素间进行区别的简便方法。因此，对第1要素和第2要素的参考并不意味着仅能够采用2个要素或者在任何形式下第1要素必须先于第2要素。
在本公开中，在使用“包括(include)”、“包含(including)”和它们的变形的情况下，这些用语与用语“具有(comprising)”同样意味着包括性的。并且，在本公开中使用的用语“或者(or)”意味着不是异或。
在本公开中，在例如如英语中的a、an和the那样由于翻译而追加了冠词的情况下，本公开可以包含在这些冠词之后紧接着的名词是复数的情况。
在本公开中，“A和B不同”这样的用语也可以表示“A与B相互不同”。另外，该用语也可以表示“A和B分别与C不同”。“分离”、“结合”等用语也可以同样地解释为“不同”。
标号说明
100：影像显示系统；105：存储部；106：操作检测部；107：控制部；110：结构体；111a：主面；120：夹具；121：第一夹具；121a、122a：平面；122：第二夹具；131、132：安装部件；152：结构体配置检测部；153：用户位置检测部；154：视线方向检测部；155：显示器配置检测部；156：夹具配置检测部；201、202、203、204：虚拟安装部件。

Claims (9)

1.一种影像显示系统，其用于部件相对于结构体的安装作业，其中，所述影像显示系统具有：
存储部，其存储相对于所述结构体进行所述部件的定位的夹具的配置信息；
结构体配置检测部，其检测配置在实际空间中的所述结构体的配置；以及
控制部，其根据所述存储部所存储的所述夹具的配置信息和所述结构体配置检测部的检测结果，进行相对于配置在所述实际空间中的所述结构体示出所述夹具的配置的显示处理。
2.根据权利要求1所述的影像显示系统，其中，
所述影像显示系统还具有显示器配置检测部，所述显示器配置检测部检测进行基于所述显示处理的显示的显示器的配置，
所述控制部根据由所述显示器配置检测部检测出的所述显示器的配置，变更该显示器上的所述结构体的显示配置以及示出所述夹具的配置的信息的显示配置。
3.根据权利要求1或2所述的影像显示系统，其中，
所述影像显示系统还具有夹具配置检测部，所述夹具配置检测部检测配置于所述实际空间中的所述夹具的配置，
所述控制部根据由所述夹具配置检测部检测出的所述夹具的配置和所述存储部所存储的所述夹具的配置信息，使得显示如下信息：该信息示出所述夹具的位置偏移。
4.根据权利要求1或2所述的影像显示系统，其中，
所述影像显示系统还具有操作检测部，所述操作检测部检测用户的操作，
所述控制部根据所述操作检测部的检测结果和所述存储部所存储的所述夹具的配置信息，进行如下信息的显示处理：该信息示出跟多个所述部件中与所述用户的操作对应的部件相关的所述夹具的配置。
5.根据权利要求4所述的影像显示系统，其中，
所述存储部存储多个所述部件相对于所述结构体的配置信息，
所述控制部根据所述存储部所存储的多个所述部件的配置信息，指示进行示出多个所述部件的配置的信息的显示，
所述控制部判断多个所述部件中与所述操作检测部的检测结果对应的部件，
所述控制部进行示出跟判断出的所述部件相关的所述夹具的配置的显示处理。
6.根据权利要求1～5中的任意一项所述的影像显示系统，其中，
所述影像显示系统还具有用户位置检测部，所述用户位置检测部检测用户的位置，
所述控制部根据所述用户位置检测部的检测结果和所述存储部所存储的所述夹具的配置信息，进行如下信息的显示处理：该信息示出跟多个所述部件中与所述用户的位置对应的部件相关的所述夹具的配置。
7.根据权利要求1～6中的任意一项所述的影像显示系统，其中，
所述影像显示系统还具有视线方向检测部，所述视线方向检测部检测用户的视线方向，
所述控制部根据所述视线方向检测部的检测结果和所述存储部所存储的所述夹具的配置信息，进行如下信息的显示处理：该信息示出跟多个所述部件中与所述用户的视线方向对应的部件相关的所述夹具的配置。
8.根据权利要求1～7中的任意一项所述的影像显示系统，其中，
所述夹具包含：第一夹具，其具有第一面；以及第二夹具，其具有与所述第一面相对的第二面，
所述夹具的配置信息包含：所述第一面及所述第二面与所述部件抵接的、所述第一夹具和第二夹具的配置信息。
9.根据权利要求1～8中的任意一项所述的影像显示系统，其中，
所述结构体具有在预定方向上延伸并且与所述部件接触的面，
所述夹具的配置信息包含对所述预定方向上的所述部件的位置、所述部件相对于所述面的倾斜角度、和所述部件相对于与所述面垂直的轴的旋转角度进行限制的所述夹具的配置信息。
CN201980047253.5A 2019-04-25 2019-12-25 示出夹具的配置的影像处理系统 Active CN112424838B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-084245 2019-04-25
JP2019084245 2019-04-25
PCT/JP2019/050957 WO2020217591A1 (ja) 2019-04-25 2019-12-25 治具の配置を示す映像処理システム

Publications (2)

Publication Number Publication Date
CN112424838A true CN112424838A (zh) 2021-02-26
CN112424838B CN112424838B (zh) 2023-11-21

Family

ID=72942573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047253.5A Active CN112424838B (zh) 2019-04-25 2019-12-25 示出夹具的配置的影像处理系统

Country Status (5)

Country Link
US (1) US20210264678A1 (zh)
EP (1) EP3779893A4 (zh)
JP (1) JP7066013B2 (zh)
CN (1) CN112424838B (zh)
WO (1) WO2020217591A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102355733B1 (ko) * 2021-06-25 2022-02-09 주식회사 인터랙트 가상현실 훈련 시스템 및 이를 위한 바닥유닛

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038867A (ja) * 2014-08-11 2016-03-22 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
US20160357261A1 (en) * 2015-06-03 2016-12-08 Oculus Vr, Llc Virtual Reality System with Head-Mounted Display, Camera and Hand-Held Controllers
JP2017039168A (ja) * 2015-08-18 2017-02-23 リンカーン グローバル， インコーポレイテッドＬｉｎｃｏｌｎ Ｇｌｏｂａｌ， Ｉｎｃ． 溶接作業順序立てのための拡張現実インタフェース
CN107000099A (zh) * 2014-08-18 2017-08-01 伊利诺斯工具制品有限公司 焊接训练系统和方法
CN107250882A (zh) * 2014-11-07 2017-10-13 奥斯特豪特集团有限公司 用于头戴式计算的电源管理
JP2018047240A (ja) * 2016-09-16 2018-03-29 インテリジェンスファクトリー合同会社 手術支援端末及びプログラム
CN107912061A (zh) * 2015-03-06 2018-04-13 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
CN109213078A (zh) * 2017-06-29 2019-01-15 发那科株式会社 虚拟对象显示系统
CN110709850A (zh) * 2017-05-25 2020-01-17 三菱电机株式会社 设计图复查装置、设计图复查方法以及程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018444A (ja) 2004-06-30 2006-01-19 Taisei Corp 画像処理システム及び付加情報指示装置
DE102009056013A1 (de) * 2009-09-09 2011-03-10 Volkswagen Ag Verfahren zum Erzeugen eines Augmented-Reality-Bildes
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
JP7125049B2 (ja) * 2018-06-01 2022-08-24 インテリジェンスファクトリー合同会社 手術支援用マーカー及び手術支援システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038867A (ja) * 2014-08-11 2016-03-22 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
CN107000099A (zh) * 2014-08-18 2017-08-01 伊利诺斯工具制品有限公司 焊接训练系统和方法
CN107250882A (zh) * 2014-11-07 2017-10-13 奥斯特豪特集团有限公司 用于头戴式计算的电源管理
CN107912061A (zh) * 2015-03-06 2018-04-13 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
US20160357261A1 (en) * 2015-06-03 2016-12-08 Oculus Vr, Llc Virtual Reality System with Head-Mounted Display, Camera and Hand-Held Controllers
JP2017039168A (ja) * 2015-08-18 2017-02-23 リンカーン グローバル， インコーポレイテッドＬｉｎｃｏｌｎ Ｇｌｏｂａｌ， Ｉｎｃ． 溶接作業順序立てのための拡張現実インタフェース
JP2018047240A (ja) * 2016-09-16 2018-03-29 インテリジェンスファクトリー合同会社 手術支援端末及びプログラム
CN110709850A (zh) * 2017-05-25 2020-01-17 三菱电机株式会社 设计图复查装置、设计图复查方法以及程序
CN109213078A (zh) * 2017-06-29 2019-01-15 发那科株式会社 虚拟对象显示系统

Also Published As

Publication number Publication date
EP3779893A4 (en) 2021-08-04
EP3779893A1 (en) 2021-02-17
JP7066013B2 (ja) 2022-05-12
WO2020217591A1 (ja) 2020-10-29
US20210264678A1 (en) 2021-08-26
JPWO2020217591A1 (ja) 2021-06-03
CN112424838B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN107615214B (zh) 界面控制系统、界面控制装置、界面控制方法及程序
JP5355683B2 (ja) 表示入力装置および車載情報機器
JP5374071B2 (ja) 携帯端末および領域特定処理実行方法
US20160292525A1 (en) Image analyzing apparatus and image analyzing method
US20050174361A1 (en) Image processing method and apparatus
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
CN104808923B (zh) 一种屏幕控制方法和电子设备
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US10261327B2 (en) Head mounted display and control method for head mounted display
KR101484916B1 (ko) 위치 확인의 정확도를 높인 디지타이저
JP6483556B2 (ja) 操作認識装置、操作認識方法及びプログラム
JP2022007868A (ja) 空中像表示入力装置及び空中像表示入力方法
CN112424838A (zh) 示出夹具的配置的影像处理系统
JPWO2020196276A1 (ja) 保守支援システム、保守支援方法、プログラム及び加工画像の生成方法
CN104133578A (zh) 触摸屏面板显示器和触摸键输入系统
JP6836979B2 (ja) 映像表示システム
JP6878235B2 (ja) 映像表示システム
US20230316668A1 (en) Display device for industrial machine
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム
US20220113791A1 (en) Terminal apparatus and method for controlling terminal apparatus
US20230333661A1 (en) Work support system and work support method
JP7246254B2 (ja) 情報処理装置及びプログラム
JP7179180B2 (ja) 表示制御装置及び表示制御方法
JP7452917B2 (ja) 操作入力装置、操作入力方法及びプログラム
WO2020196276A1 (ja) 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant