CN109116807B - 复合现实模拟装置以及计算机可读介质 - Google Patents

Abstract

本发明提供一种复合现实模拟装置以及计算机可读介质，能够适当地使用复合现实技术来进行模拟。复合现实模拟装置(1)具备：复合信息显示部(300)，其将虚拟对象立体地重叠在现实的被配置物上来显示；距离测量部(200)，其测量从复合信息显示部(300)到现实的被配置物的距离；虚拟对象相对移动部(400)，其使虚拟对象在复合信息显示部(300)中相对于现实的被配置物相对移动并显示；以及对它们进行控制的控制部(100)。

Description

复合现实模拟装置以及计算机可读介质

技术领域

本发明涉及用于使用复合现实技术进行模拟的复合现实模拟装置以及计算机可读介质。

背景技术

在研究在工厂设备中导入机器人时，需要确认机器人和已有的周边设备之间的干扰。已知一种技术(例如参照专利文献1)，为了进行该确认，例如使用实际的机器人和使该机器人动作的动作程序来检查机器人的周边设备与机器人之间的干扰。

另外，已知以下的技术(例如参照专利文献2)，将周边设备的尺寸和周边设备的设置信息作为三维数据进行测量，取入到ROBOGUIDE(注册商标)这样的模拟器中进行模拟，或者使用通过动作数据以及三维形状数据将工厂的设备等资源进行模型化而得的虚拟工厂的设备模型来进行模拟。

另外，已知以下模拟方法(例如参照专利文献3)，将构成的部件大型且大重量的冲压机这样的大型机械的大型部件进行分解组装。

但是，在上述专利文献1记载的、使用实际的机器人和使该机器人动作的动作程序来检查机器人的周边设备与机器人之间的干扰的技术中，为了确认机器人与已有的周边设备之间的干扰，需要实际设置机器人并使机器人动作。因此，确认机器人与已有的周边设备之间的干扰并不容易。

另外，在上述专利文献2记载的、将周边设备的尺寸和周边设备的设置信息作为三维数据进行测量且取入到模拟器来进行模拟的方法中，需要熟练地进行三维数据的测量。即，三维数据的测量，由于测量结果会根据进行测量的操作员而发生变化，因此为了得到更加准确的数据，要求是熟练的操作员。另外，三维数据的测量为人工进行的手动测量，因此可能会产生测量错误。因此，由于测量错误或测量到的数据的输入错误，可能得到没有发生干扰的设备会发生干扰的测量结果。进一步，存在为了确认机器人和周边设备之间的干扰而花费时间的问题。

另外，如上述专利公报3所记载的那样分解组装大型机械的大型部件的模拟方法，难以直接用于机器人的周边设备与机器人之间的干扰的检查。

专利文献1：日本特开2014-180707号公报

专利文献2：日本特开2000-081906号公报

专利文献3：日本特开2003-178332号公报

发明内容

本发明的目的为提供能够适当地使用复合现实技术来进行模拟的复合现实模拟装置以及复合现实模拟程序.

(1)本发明的复合现实模拟装置(例如后述的复合现实模拟装置1)具备：复合信息显示部(例如后述的HMD300)，其将虚拟对象(例如后述的虚拟3D对象I)立体地重叠在现实的被配置物(例如后述的现实的被配置物R)上来显示；距离测量部(例如后述的距离图像传感器200)，其测量从上述复合信息显示部到上述现实的被配置物的距离；虚拟对象相对移动部(例如后述的控制器400)，其将上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示；以及控制部(例如后述的控制装置100)，其对上述复合信息显示部进行控制，使得上述虚拟对象在上述复合信息显示部中立体地重叠在上述现实的被配置物上来显示，并且对上述虚拟对象相对移动部进行控制，使得上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示。

(2)上述(1)记载的复合现实模拟装置，上述虚拟对象可以包括机器人(例如后述的虚拟机器人I1)和表示上述机器人的动作范围的区域显示(例如后述的区域显示I2)。

(3)上述(1)或(2)记载的复合现实模拟装置，能够输出表示在上述复合信息显示部中与上述现实的被配置物立体地重叠并显示的上述虚拟对象与上述现实的被配置物之间的相对位置关系的信息。

(4)上述(1)～(3)中的任意一项记载的复合现实模拟装置，上述复合信息显示部可以由头戴式显示器构成。

(5)上述(1)～(3)中的任意一项记载的复合现实模拟装置可以由平板型终端构成。

(6)用于使本发明的计算机作为复合现实模拟装置发挥功能的复合现实模拟程序使上述计算机作为复合现实模拟装置发挥功能，该复合现实模拟装置具备：复合信息显示部，其将虚拟对象立体地重叠在现实的被配置物上来显示；距离测量部，其测量从上述复合信息显示部到上述现实的被配置物的距离；虚拟对象相对移动部，其将上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示；以及控制部，其对上述复合信息显示部进行控制，使得上述虚拟对象在上述复合信息显示部中立体地重叠在上述现实的被配置物上来显示，并且对上述虚拟对象相对移动部进行控制，使得上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示。

根据本发明，可以提供能够适当地使用复合现实技术来进行模拟的复合现实模拟装置以及复合现实模拟程序。

附图说明

图1是表示本发明第一实施方式的复合现实模拟装置1的整体结构的概略图。

图2是表示本发明第一实施方式的复合现实模拟装置1的复合现实模拟方法的流程图。

图3是在本发明第一实施方式的复合现实模拟装置1的HMD300中，从一个方向观察虚拟3D对象I的虚拟机器人I1被立体重叠在现实的被配置物R上来显示的图像的概念图。

符号说明

1：复合现实模拟装置、100：控制装置(控制部)、200：距离图像传感器(距离测量部)、300：HMD(复合信息显示部)、400：控制器(虚拟对象相对移动部)、I：虚拟3D对象、I1：虚拟机器人、I2：区域显示、R：现实的被配置物。

具体实施方式

接着，参照附图详细说明本发明的实施方式。图1是表示本发明第一实施方式的复合现实模拟装置1的整体结构的概略图。图3是在本发明第一实施方式的复合现实模拟装置1的HMD300中，从一个方向观察虚拟3D对象I的虚拟机器人I1被立体地重叠在现实的被配置物R上来显示的图像的概念图。

本实施方式的复合现实模拟装置1是在研究对工厂导入机器人时用于确认机器人与工厂内的已有的周边设备等现实的被配置物R(参照图3)之间的干扰的模拟装置，具备作为控制部的控制装置100、作为距离测量部的距离图像传感器200、作为复合信息显示部的头戴式显示器300(以下称为“HMD300”)、以及作为虚拟对象相对移动部的控制器400。

控制装置100对HMD300进行控制，使得后述的虚拟3D对象I(参照图3)的虚拟机器人I1在HMD300中立体重叠在现实的被配置物R上来显示，并且对控制器400进行控制，使得虚拟对象I1在HMD300中相对于现实的被配置物R相对移动并显示。

具体地说，控制装置100具备CPU(Central Processing Unit中央处理单元)等运算处理装置。另外，控制装置100具备存储了各种程序的HDD(hard diskdrive硬盘驱动器)和SSD(solid state drive固态硬盘)等辅助存储装置、用于存储运算处理装置在执行程序时暂时所需要的数据的RAM(Random AccessMemory随机存取存储器)等主存储装置。另外，在控制装置100中，运算处理装置从辅助存储装置读入各种程序，使读入的各种程序展开到主存储装置，并且进行基于这些各种程序的运算处理。然后，根据该运算结果来控制与控制装置100连接的硬件，从而作为复合现实模拟装置1发挥功能。

另外，控制装置100具备与HMD300、距离图像传感器200以及控制器400进行通信的功能，控制装置100与HMD300、距离图像传感器200以及控制器400可通信地连接。

然后，控制装置100能够输出表示在HMD300中与现实的被配置物R立体重叠地显示的实际不存在的机器人(以下称为“虚拟机器人I1”)和现实的被配置物R之间的相对位置关系的信息。具体地说，能够输出在虚拟机器人I1被设置在与现实的被配置物R不干扰的适当场所时的二维图(知道在水平面上配置了虚拟机器人I1和现实的被配置物R的各自的位置关系的图)的数据、表示相对于现实的被配置物R的虚拟机器人I1的相对位置关系的数据、即表示“从墙壁离开1m50cm的位置”这样的位置关系的数据。

距离图像传感器200被固定在HMD300的上部，具有三维摄像机，用于捕捉作业人员的位置、姿势的变化量。即，距离图像传感器200通过测量从HMD300到现实的被配置物R的距离，通过三维测量来测量HMD300的当前位置。更具体地说，例如通过飞行时间(Time-of-Flight(TOF))方法来测量从设置在距离图像传感器200上的光源对现实的被配置物R照射光且反射并返回到距离图像传感器200为止的时间，从而测量从HMD300到现实的被配置物R为止的距离。

这里，现实的被配置物R表示不仅包括在工厂中要设置机器人的场所的附近现实地配置的周边设备，还包括工厂的地面和栅栏等所有可能与机器人发生干扰的物体。因此，距离图像传感器200针对在HMD300的正面存在的所有物体的外表面，即与HMD300对置的外表面部分的所有区域，平均地测量从HMD300到该外表面之间的距离。

HMD300是一般的头戴式显示器。HMD300将虚拟机器人I1立体重叠在现实的被配置物R上来显示，虚拟机器人11显示仿佛存在(设置)于实际空间内的复合现实图像。例如，当虚拟机器人I1大时，将缩小显示的虚拟机器人I1的尺寸的比例尺作为基准，通过相同的比例尺对现实的被配置物R也进行显示。

具体地说，HMD300取得控制装置100输出的虚拟机器人I1、其显示位置以及显示角度。然后，HMD300根据所取得的信息在HMD300所具备的显示器中显示虚拟机器人I1。虚拟机器人I1根据距离图像传感器200检测出的距离数据进行显示，使得维持相对于现实的被配置物R的实际空间的相对位置关系。

即，通过距离图像传感器200始终测量从HMD300到现实的被配置物R的距离，计算HMD300相对于现实的被配置物R的位置，因此例如当以预定的位置(角度)观察现实的被配置物R时和以其他的位置(角度)观察现实的被配置物R时，经由HMD300观察现实的被配置物R的位置(观察角度)发生变化，所以以跟随该变换使虚拟机器人I1的观察角度发生变化的方式，在HMD300的显示器上显示虚拟机器人I1。

另外，虚拟3D对象I不仅包括虚拟机器人I1，也包括表示虚拟机器人I1的动作范围的区域显示I2。即，作为要设置的机器人的一部分的机器人进行动作的部分，不仅在机器人的轮廓内，也在比轮廓更外侧的预定区域内(预定空间内)进行动作。在工厂内设置机器人时，需要针对这样的预定区域，确认现实的被配置物R是否干扰，但是关于这样的预定区域，显示为虚拟3D对象I的一部分。区域显示I2在虚拟机器人I1的周围半球状地进行显示，为了能够容易地视觉确认是区域显示I2，例如通过半透明的红色进行显示。

控制器400通过作业人员进行操作，从而使显示在HMD300的显示器上的虚拟3D对象I相对于现实的被配置物R相对移动来进行显示。

具体地说，如图1所示，控制器400具备十字键401、A按钮402以及B按钮403。A按钮402通过被作业人员按压，成为使虚拟3D对象I相对于现实的被配置物R能够相对移动的模式(以下称为“可移动模式”)。十字键401在成为可移动模式时，当使显示在HMD300的显示器上的虚拟3D对象I前后或左右移动时，通过作业人员按压十字的4个部分中的任意一个，虚拟3D对象I相对于现实的被配置物R向相当于该被按压的部分的方向进行相对移动。在显示在HMD300的显示器上的虚拟3D对象I相对于现实的被配置物R被配置在预定位置后，B按钮403通过被作业人员按压，固定相对于现实的被配置物R的虚拟3D对象I的相对位置。

接着，说明使用了复合现实模拟装置1的复合现实模拟的方法。图2是表示本发明第一实施方式的复合现实模拟装置1的复合现实模拟方法的流程图。

首先，在步骤S101中，作业人员遮住双眼地将HMD300佩戴到头部，视觉确认能够经由HMD300看到的现实的被配置物R，并通过自己步行进行移动。然后，作业人员在要设置机器人的位置附近停止。

接着，在步骤S102中，使用控制器400在显示于HMD300的虚拟空间上设置机器人。所设置的机器人的位置、姿势在与由距离图像传感器200得到的现实的被配置物R的位置相关的坐标系相同的坐标系中表现，保持在HMD300内。

具体地说，作业人员按压控制器400的A按钮402，将虚拟3D对象I设为相对于现实的配置物R可移动的模式。然后，作业人员通过按压十字键401的4个键中的任意一个，使虚拟3D对象I向与该键对应的方向移动，在要设置机器人的位置配置机器人的虚拟3D对象I。然后，作业人员按压控制器400的B按钮403，使虚拟3D对象I相对于现实的配置物R固定。

接着，在步骤S103中，作业人员通过自己步行进行移动，从各个角度确认虚拟3D对象I的虚拟机器人I1以及预定的区域显示I2与现实的被配置物R之间的位置关系，判断是否没有干扰。此时，通过距离图像传感器200来测量作业人员的移动量，并输出给HMD300。然后，使用从HMD300输出的移动量来修正在步骤S102中所保持的虚拟机器人I1的位置、姿势，并显示在HMD300中。即，通过该修正，HMD300中的虚拟机器人I1的显示位置和所显示的角度也根据作业人员的物理的移动量而发生变化。因此，实际空间上的虚拟机器人I1的位置、姿势没有变化。

然后，在步骤S103中，作业人员经由HMD300观察到虚拟3D对象1的虚拟机器人I1以及预定的区域和现实的被配置物R时，当判断为无论从哪个角度观察虚拟3D对象I的虚拟机器人I1以及预定的区域显示I2和现实的被配置物R时都没有干扰时(是)，结束复合现实模拟的方法中的动作。在步骤S103中，当判断为从某个角度观察虚拟3D对象I的虚拟机器人I1以及预定的区域显示I2和现实的被配置物R时，有干扰时(否)，返回步骤S102，变更虚拟机器人I1的设置位置。

另外，上述复合信息显示部、距离测量部、虚拟对象相对移动部以及控制部分别能够通过硬件、软件或它们的组合来实现。另外，通过上述复合信息显示部、距离测量部、虚拟对象相对移动部以及控制部的协作而进行的复合现实模拟的方法也能够通过硬件、软件或它们的组合来实现。这里，通过软件实现是指通过计算机读入程序并执行来实现。

能够使用各种类型的非瞬态的计算机可读介质(non-transitory computerreadable medium)来存储程序，并提供给计算机。非瞬态的计算机可读介质包括各种类型的有实体的记录介质(tangible storage medium，有形存储介质)。非瞬态的计算机可读介质包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如磁光盘)、CD-ROM(Read Only Memory，只读存储器)、CD-R、CD-R/W、半导体存储器(例如掩模ROM、PROM(programmable ROM，可编程ROM)、EPROM(Erasable PROM，可擦除PROM)、闪存ROM、RAM(random access memory，随机存取存储器))。另外，也可以通过各种类型的瞬态的计算机可读介质(transitory computer readable medium)对计算机提供程序。瞬态的计算机可读介质包括电信号、光信号以及电磁波。瞬态的计算机可读介质经由电线以及光纤等有线通信路径或无线通信路径将程序提供给计算机。

以上说明的本实施方式会达到以下的效果。

在本实施方式中，复合现实模拟装置I具备：HMD300，其将虚拟3D对象I立体重叠在现实的被配置物R上来显示；距离图像传感器200，其测量从HMD300到现实的被配置物R的距离；控制器400，其使虚拟3D对象I在HMD300中相对于现实的被配置物R相对移动并显示；以及控制装置100，其对HMD300进行控制，使得虚拟3D对象I在HMD300中立体重叠在现实的被配置物R上来显示，对控制器400进行控制，使得虚拟3D对象I在HMD300中相对于现实的被配置物R相对移动并显示。

这样，在具备距离图像传感器200的复合现实模拟装置1的HMD300中，能够在实际空间上虚拟地配置虚拟机器人I1并进行显示。因此，为了确认配置在实际空间内的虚拟3D对象I与现实的被配置物R之间的位置关系，能够从各个方向改变视点来视觉确认虚拟3D对象I与现实的被配置物R。该结果为，在要设置机器人等的场所中，作业人员能够当场通过目视容易地确认该虚拟3D对象I是否干扰设置在实际空间内的周边装置等、该虚拟3D对象I的动作范围等。

因此，不需要测量周边装置等的三维数据并将其取入模拟器中的作业，就能够在现场实时地确认虚拟3D对象I与已有的周边装置等现实的被配置物R之间的干扰。另外，干扰检查始终由作业人员目视进行，不使用PC等，因此能够低成本地实现。

另外，在本实施方式中，虚拟3D对象I包括虚拟机器人I1、表示虚拟机器人I1的动作范围的区域显示I2。这样，作业人员能够通过目视当场容易地确认是否有在实际设置机器人并进行动作时干扰机器人的物体。

另外，本实施方式中，能够输出表示在HMD300中与现实的被配置物R立体重叠地显示的虚拟3D对象I与现实的被配置物R之间的相对位置关系的信息。这样，在要设置机器人等的场所中，能够保存通过复合现实模拟得到的、关于能够设置机器人的位置的信息。然后，将机器人设置在工厂的作业人员能够根据该信息，容易地将机器人以高精度设置在工厂的预定设置位置。

另外，在本实施方式中，复合信息显示部由HMD300构成。这样，在要设置机器人的场所中，作业人员能够经由HMD300通过仿佛在实际空间内实际设置了机器人的图像来确认虚拟机器人I1与现实的被配置物R是否干扰。

另外，在本实施方式中，用于使计算机作为复合现实模拟装置1发挥功能的复合现实模拟程序使计算机作为复合现实模拟装置1发挥功能，该计算机由与HMD300、距离图像传感器200、控制器400连接的控制装置100构成，该复合现实模拟装置1具备：HMD300，其将虚拟3D对象I立体重叠在现实的被配置物R上来显示；距离图像传感器200，其测量从HMD300到现实的被配置物R的距离；控制器400，其将虚拟3D对象I在HMD300中相对于现实的被配置物R相对移动并显示；以及控制装置100，其对HMD300进行控制，使得虚拟3D对象I在HMD300中立体重叠在现实的被配置物R上来显示，对控制器400进行控制，使得虚拟3D对象I在HMD300中相对于现实的被配置物R相对移动并显示。

这样，在由与HMD300、距离图像传感器200、控制器400连接的控制装置100构成的计算机中执行复合现实模拟程序，由此能够容易地实现复合现实模拟装置1。

接着，说明本发明的第二实施方式。

在第二实施方式中，具有复合信息显示部、距离测量部、虚拟对象相对移动部以及控制部的复合现实模拟装置在由平板型终端构成这一点与第一实施方式不同。关于这以外的结构与第一实施方式的结构相同，因此对与第一实施方式种的各个结构相同的结构省略其说明。

平板型终端构成复合现实模拟装置。具体地说，平板型终端的监视器构成复合信息显示部。平板型终端的监视器将由设置在平板型终端上的摄像机拍摄到的现实的被配置物与虚拟机器人以及表示虚拟机器人的动作范围的预定区域立体地重叠来进行显示。

设置在平板型终端上的摄像机构成距离测量部。通过由摄像机拍摄到的现实的被配置物来测量从平板型终端到现实的被配置物的距离。

触摸面板构成虚拟对象相对移动部。拖动显示在平板型终端的监视器上的虚拟3D对象并使之在触摸面板上移动，由此，使虚拟3D对象在平板型终端的监视器中相对于现实的被配置物相对移动并进行显示。

平板型终端的CPU等运算处理装置构成控制部。平板型终端的运算处理装置，对监视器进行控制，使得虚拟3D对象在监视器中立体地重叠在现实的被配置物上来显示，对监视器的触摸面板进行控制，使得虚拟3D对象在监视器中相对于现实的被配置物相对移动并显示。

如上所述，复合现实模拟装置由平板型的终端构成。因此，能够提高便携性，能够在各种场所中容易地进行复合现实模拟。

以上说明了本实施方式。上述实施方式是本发明的优选实施方式，但是不将本发明的范围仅限于上述实施方式，在不脱离本发明主旨的范围中能够实施进行了各种变更的方式。例如，能够如以下说明的变形例那样进行变形来实施。

例如，在本实施方式中，复合现实模拟装置由HMD300和平板型的终端构成，但是不限于此。另外，复合信息显示部、距离测量部、虚拟对象相对移动部以及控制部等各部的结构不限于本实施方式中的HMD300、距离图像传感器200、控制器400、控制装置100等。

同样，虚拟对象包括虚拟机器人和表示机器人的动作范围的区域显示，但是不限于此。例如，现实的被配置物可以是机床，此时虚拟对象例如可以是作为由机床进行加工的被加工物的工件。

另外，距离图像传感器200通过飞行时间(Time-of-Flight(TOF))方法来测量从HMD300到现实的被配置物的距离，但是不限于该方法。例如也可以通过激光测量从复合信息显示部到现实的被配置物的距离。另外，在HMD等复合信息显示部具备测量从复合信息显示部到现实的被配置物的距离的测量装置的情况下，该测量装置构成距离测量部即可。

另外，通过控制器400构成的虚拟对象相对移动部，在复合信息显示部具备操作装置时，设置在该复合信息显示部中的操作装置构成虚拟对象相对移动部即可。

另外，在本实施方式中，只显示了一个虚拟机器人，但是不限于此。例如显示多个虚拟机器人，能够分别独立地通过虚拟对象相对移动部移动，可以对一个虚拟机器人和另一个虚拟机器人是否相互干扰进行复合现实模拟。

Claims (5)

1.一种复合现实模拟装置，其特征在于，

该复合现实模拟装置具备：

复合信息显示部，其显示将虚拟对象立体地重叠在现实的被配置物上的图像；

距离测量部，其测量从上述复合信息显示部到上述现实的被配置物的距离；

虚拟对象相对移动部，其将上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示；以及

控制部，其对上述复合信息显示部进行控制，使得上述虚拟对象在上述复合信息显示部中立体地重叠在上述现实的被配置物上来显示，并且对上述虚拟对象相对移动部进行控制，使得上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示，

上述虚拟对象包括机器人和表示上述机器人的动作范围的区域显示，

能够在上述图像中确认上述虚拟对象与上述现实的被配置物的干扰。

2.根据权利要求1所述的复合现实模拟装置，其特征在于，

能够输出表示在上述复合信息显示部中与上述现实的被配置物立体地重叠并显示的上述虚拟对象与上述现实的被配置物之间的相对位置关系的信息。

3.根据权利要求1或2所述的复合现实模拟装置，其特征在于，

上述复合信息显示部由头戴式显示器构成。

4.根据权利要求1或2所述的复合现实模拟装置，其特征在于，

该复合现实模拟装置由平板型终端构成。

5.一种计算机可读介质，记录了用于使计算机作为复合现实模拟装置发挥功能的复合现实模拟程序，其特征在于，

该复合现实模拟装置具备：

复合信息显示部，其显示将包括表示机器人的动作范围的区域显示的虚拟对象立体地重叠在现实的被配置物上的图像；

距离测量部，其测量从上述复合信息显示部到上述现实的被配置物的距离；

虚拟对象相对移动部，其将上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示；以及

控制部，其对上述复合信息显示部进行控制，使得上述虚拟对象在上述复合信息显示部中立体地重叠在上述现实的被配置物上来显示，并且对上述虚拟对象相对移动部进行控制，使得上述虚拟对象在上述复合信息显示部中相对于上述现实的被配置物相对移动并显示，

能够在上述图像中确认上述虚拟对象与上述现实的被配置物的干扰。

Images