CN112423945B - 信息处理装置、机器人操作系统以及机器人操作方法 - Google Patents

Abstract

机器人操作系统具备：游戏终端，具有游戏电脑、游戏控制器以及显示虚拟空间的显示器；机器人，基于机器人控制数据来在实际空间进行作业；以及信息处理装置，对游戏终端与机器人进行中介。信息处理装置将与作业的内容建立了关联的游戏数据向游戏终端供给，取得包括游戏控制器在反映了游戏数据的游戏的娱玩中受理到的操作的输入的历史记录的游戏操作数据，基于规定的转换规则将游戏操作数据转换为机器人控制数据，并将机器人控制数据向机器人供给。

Description

信息处理装置、机器人操作系统以及机器人操作方法

技术领域

本发明涉及将电脑游戏与工业用机器人融合的技术。

背景技术

以往，提出了一种将电脑游戏与作为真实物体的机器人组合的技术。专利文献1、2公开了这种技术。其中，本说明书中的“电脑游戏”是在电脑上动作并在电脑与真人之间进行的游戏的统称，亦被称为视频游戏等。

专利文献1中记载了如下内容：焊接用以及激光加工用的工业用机器人具备家庭用电脑游戏终端的游戏控制器作为教导以及操作输入用的控制器。一般使用市售的个人电脑并通过公知的程序手段来进行游戏控制器与工业用机器人的关联建立。

在专利文献2中公开一种如下所述的系统：具备多个物理代理(Agent)(例如车辆及其配件等游戏用机器人)所存在的实际空间、受理通过用户输入向物理代理的动作指令的控制器、以及在物理代理与控制器之间居中调停的主机设备，并用于执行使多个物理代理在实际空间进行竞争的游戏(例如赛车游戏)。主机设备使物理代理动作来使实际空间的状态变化、或者使虚拟空间的状态变化，以便处于用户的控制下的虚拟空间与实际空间维持实时等效性。

专利文献1：日本特开2012-139746号公报

专利文献2：日本特表2015-533534号公报

熟练的游戏用户能够瞬间掌握在电脑游戏终端的显示器映现出的虚拟空间的状态，并通过与之对应而直感且准确地操作游戏控制器来输入指令。本申请的发明人们对灵活利用这样的游戏用户出色的技能作为工业用的资源进行了研究。

在专利文献1中，主张了机器人操作人员能够通过游戏感觉来操作工业用机器人这一效果。然而，对于机器人操作人员而言，由于使工业用机器人进行作业的实际空间在眼前，所以劳动这一感觉多于游戏感觉。

在专利文献2中，由于处于游戏用户的控制下的虚拟空间与实际空间具有等效性，所以游戏用户所识别的虚拟空间不超过实际空间的范畴。

本来，游戏是以娱乐为目的的。对于游戏用户而言，受到劳动这一感觉的游戏会缺乏趣味，存在导致欲望降低的担忧。在本发明中，提出一种机器人根据游戏用户在游戏娱玩中输入的操作来进行劳动而不破坏享受非日常的虚拟空间这一娱乐性的方案。

发明内容

本发明的一个方式所涉及的信息处理装置对游戏终端与机器人进行中介，上述游戏终端具有执行游戏程序的游戏电脑、受理对上述游戏电脑的操作的输入的游戏控制器、以及显示从上述游戏电脑输出的虚拟空间的显示器，上述机器人基于机器人控制数据来在实际空间进行作业，

所述信息处理装置的特征在于，具备：

游戏数据供给部，将与上述作业的内容建立了关联的游戏数据向上述游戏终端供给；

游戏操作数据取得部，取得游戏操作数据，该游戏操作数据包括上述游戏控制器在反映了上述游戏数据的上述游戏程序被执行的期间受理到的操作的输入的历史记录；

第1转换部，基于规定的转换规则将上述游戏操作数据转换为上述机器人控制数据；以及

机器人控制数据供给部，将上述机器人控制数据向上述机器人供给。

本发明的一个方式所涉及的机器人操作系统的特征在于，具备：

游戏终端，具有执行游戏程序的游戏电脑、受理对上述游戏电脑的操作的输入的游戏控制器、以及显示从上述游戏电脑输出的虚拟空间的显示器；

机器人，基于机器人控制数据来在实际空间进行作业；以及

上述的信息处理装置，对上述游戏终端与上述机器人进行中介。

本发明的一个方式所涉及的机器人操作方法用于使用游戏终端来操作机器人，上述游戏终端具有执行游戏程序的游戏电脑、受理对上述游戏电脑的操作的输入的游戏控制器、以及显示从上述游戏电脑输出的虚拟空间的显示器，上述机器人基于机器人控制数据来在实际空间进行作业，

所述机器人操作方法的特征在于，包括：

游戏程序供给步骤，将与上述作业的内容建立了关联的游戏数据向上述游戏终端供给；

游戏操作数据取得步骤，取得游戏操作数据，该游戏操作数据包括上述游戏控制器在反映了上述游戏数据的上述游戏程序被执行的期间受理到的操作的输入的历史记录；

机器人控制数据生成步骤，基于规定的转换规则将上述游戏操作数据转换为上述机器人控制数据；以及

机器人控制数据供给步骤，将上述机器人控制数据向上述机器人供给。

在上述信息处理装置、机器人操作系统以及机器人控制方法中，由于基于转换规则将游戏操作数据转换为机器人控制数据，所以不需要游戏用户所享受的电脑游戏的内容(即在游戏的虚拟空间中出现的角色、项目、效果、游戏的规则等)与机器人所进行的作业的内容直接关联。即，游戏终端的显示器所映现出的虚拟空间能够是与机器人在真实世界所进行的作业相差甚远的游戏独自的世界，不会破坏享受非日常的虚拟空间这一游戏的娱乐性。

因此，根据上述信息处理装置、机器人操作系统以及机器人控制方法，也作为机器人操作人员的游戏用户能够既纯粹地享受游戏的虚拟世界、又通过在游戏娱玩中输入的操作来使机器人进行劳动。

根据本发明，能够提出一种机器人根据游戏用户在游戏娱玩中输入的操作进行劳动而不破坏享受非日常的虚拟空间这一娱乐性的方案。

附图说明

图1是表示本发明的一个实施方式所涉及的机器人操作系统的整体结构的框图。

图2是表示游戏终端的结构的框图。

图3是游戏控制器的一个例子的外观图。

图4是中介服务器的功能框图。

图5是表示作为中介服务器发挥功能的电脑的结构的框图。

图6是对学习装置涉及的机器学习的流程的进行说明的图。

图7是对游戏数据生成装置的功能进行说明的图。

图8是对机器人控制数据生成装置的功能进行说明的图。

图9是在应用例1中显示于游戏终端的显示器的游戏画面的一个例子。

图10是对应用例1中的作业数据的一个例子进行说明的图。

图11是机器人操作系统涉及的处理的流程图。

图12是变形例1所涉及的中介服务器的功能框图。

图13是对机器人操作系统的应用例2进行说明的、表示机器人操作系统的整体结构的框图。

图14是在应用例2中显示于游戏终端的显示器的游戏画面的一个例子。

图15是对应用例2中的作业数据的一个例子进行说明的图。

具体实施方式

接下来，参照附图对本发明的实施方式进行说明。

图1是对本发明的一个实施方式所涉及的机器人操作系统1的结构进行说明的框图。机器人操作系统1具备游戏终端3、中介服务器2、机器人5以及通信机构4。通信机构4将游戏终端3与中介服务器2之间连接为相互可通信，并将中介服务器2与机器人5之间连接为相互可通信。通信机构4例如可以是LAN、WAN、因特网等通信网络。在该机器人操作系统1中，游戏用户是使用游戏终端3来享受电脑游戏的游戏玩家，并且是操作机器人5的机器人操作人员。

〔游戏终端3〕

游戏终端3具备游戏电脑31、游戏控制器38、显示器35以及扬声器37。作为游戏终端3，能够使用业务用游戏专用机、利用电视机作为显示器的家庭用游戏终端、便携式液晶游戏终端、信息亭终端、智能手机、平板电脑、台式电脑、以及笔记本电脑等。这里，对采用家庭用游戏终端作为游戏终端3的例子进行说明。

图2是表示游戏终端3的简要结构的框图。如图2所示，游戏终端3的游戏电脑31包括主处理器311、声音处理器312、I/O处理器313、图形处理器315以及存储器316。声音处理器312以及存储器316经由内部总线与I/O处理器313连接。主处理器311与I/O处理器313相互连接。主处理器311与图形处理器315相互连接。I/O处理器313经由未图示的串行接口与游戏控制器38等输入输出设备连接。I/O处理器313经由未图示的通信接口与中介服务器2等外部装置通信。

游戏终端3通过与中介服务器2之间进行通信，能够从中介服务器2下载游戏程序。下载的游戏程序、保存数据被储存于存储器316。游戏程序、保存数据也可以被储存于存储装置314。

I/O处理器313将来自游戏用户所操作的游戏控制器38的操作信号向主处理器311供给。主处理器311读出游戏程序并执行，进行规定的运算。图形处理器315根据来自主处理器140的指示来进行描绘处理，生成帧数据，将视频信号输出至显示器35。声音处理器312根据来自主处理器140的指示来解密声音数据进行再生，输出至扬声器37。

主处理器311根据游戏用户经由游戏控制器38输入的操作信号等来创建游戏操作数据，并转给I/O处理器313。I/O处理器313将游戏操作数据向中介服务器2发送。游戏操作数据至少包括游戏程序的识别信息、游戏用户的识别信息、以及游戏用户在游戏娱玩中经由游戏控制器38输入的操作的历史记录。

游戏控制器38具备操作件381、检测操作件381的操作量的操作检测器382、以及向游戏电脑31输出由操作检测器382检测到的操作量作为操作信号的通信器383。操作件381例如可以是触摸显示器、键盘、鼠标、十字键、操纵杆、按钮、球、杆等公知的操作件中的1个或者多个的组合。

图3是游戏控制器38的一个例子的外观图。图3所示的游戏控制器38大致呈U字形的外形。游戏用户用左右双手把持两翼部的手柄101L、101R来进行操作。在游戏控制器38的左右上表面设置有操作按钮组110、120、模拟操纵杆112、122，在游戏控制器38的右前表面设置有R按钮111，在左前表面设置有L按钮121。操作按钮组110以及模拟操纵杆112由游戏用户的右手大拇指操作，操作按钮组120以及模拟操纵杆122由游戏用户的左手大拇指操作。另外，R按钮111、L按钮121分别由游戏用户的右手食指、左手食指操作。游戏控制器38在操作按钮组110与操作按钮组120之间还具备触摸显示器130。

〔机器人5〕

机器人5例如被设置于工厂等现场，是在实际空间进行作业的工业用机器人。作为这样的工业用机器人，可例示垂直多关节型机器人、水平多关节型机器人、平行连杆型机器人、极坐标机器人、圆柱坐标型机器人、直角坐标型机器人等。此外，在图1中示出了1台机器人5，但机器人操作系统1可以具备多个机器人5。

在本实施方式中，作为机器人5的一个例子，使用进行涂装作业的涂装用机器人。机器人5具备机械手(manipulator)204、安装于机械手204的前端的末端执行器206、以及机器人控制器201。机器人5还具备受理针对机器人5(详细而言是机械手204以及末端执行器206)的操作的输入的机器人操作器213。机器人5可以还具备机器人视觉系统(Robotvision，省略图示)。机器人控制器201与机械手204、末端执行器206以及机器人操作器213连接为可通信。机器人控制器201具备电脑，通过处理器进行所储存的程序、从机器人操作器213输入的各种信号的解读、运算处理，来管理机械手204的动作控制、末端执行器206的动作控制、以及来自各种输出端口的信号输出等。

在本实施方式中，末端执行器206是涂装枪206A。涂装枪206A具备喷嘴207、向喷嘴207供给涂料的涂料供给装置202、向喷嘴207送出压缩空气的压缩机205、以及调整来自喷嘴207的涂料的排出量(包括排出的开/关)的阀装置203。阀装置203的动作由机器人控制器201控制。

在机器人5的附近配置有保持工件211的夹具210。另外，在机器人5的附近设置有拍摄装置CA，该拍摄装置CA对包括夹具210、工件211、以及机器人5的机器人5的作业空间进行三维拍摄。拍摄装置CA也可以是对作业空间进行二维拍摄的结构。由拍摄装置CA生成的拍摄数据经由通信机构4向中介服务器2发送。

〔中介服务器2〕

图4是表示中介服务器2的结构的框图。如图4所示，中介服务器2具备第1学习装置41、游戏数据生成装置42、机器人控制数据生成装置43以及存储装置24。第1学习装置41使用AI(artificial intelligence)技术来创建第1学习完毕模型。游戏数据生成装置42根据机器人5的作业数据生成游戏数据，并将其向游戏终端3提供。机器人控制数据生成装置43使用从游戏终端3取得的游戏操作数据来生成机器人控制数据，并将其向机器人5提供。存储装置24对学习完毕模型、学习数据、教导数据、游戏程序、游戏参数等在中介服务器2中使用的数据进行储存。

中介服务器2具备运算控制器20a和存储装置24。中介服务器2的各功能部可以由至少1个运算控制器20a构成，也可以多个功能部中的2个以上由1个运算控制器20a构成。如图5所示，中介服务器2的各运算控制器20a具备处理器21、ROM及RAM等存储器22、以及I/O部25。经由接口20b在运算控制器20a连接有存储装置24。运算控制器20a可以具备进行集中控制的单个处理器21，也可以具备进行分散控制的多个处理器21。运算控制器20a例如能够由电脑、个人电脑、微控制器、微处理器、FPGA(field-programmable gate array)等PLD(programmable logic device)、PLC(programmable logic controller)、以及逻辑电路中的至少1个或2个以上的组合构成。在存储器22、存储装置24储存有供处理器21执行的基本程序、软件程序等。通过处理器21读出并执行程序，由此运算控制器20a实现构成为该软件程序的功能。

第1学习装置41具备学习数据取得部41a、预处理部41b以及第1学习部41c的各功能部。在存储装置24构成有储存了学习数据的学习数据DB、储存了教导数据的教导数据DB、以及储存了游戏参数的参数DB。

图6是对学习装置(第1学习装置41)涉及的机器学习的流程进行说明的图。如图6所示，学习数据取得部41a取得学习数据等在机器学习中使用的数据。预处理部41b对学习数据进行预处理，创建教导数据。预处理包括数据形式的转换、异常的确认、数据的提取、变量名、文件名的变更等各种处理中的至少1个。

第1学习部41c通过机器学习来学习输入数据与输出数据的相关关系。在本实施例中，输入数据是游戏操作数据，输出数据是机器人控制数据。作为机器学习的学习算法的一个例子，第1学习部41c执行有教导学习。一般，有教导学习是被预先大量赋予输入数据和与之对应的输出数据的已知的数据集(称为教导数据)并通过从这些教导数据中识别对输入数据与输出数据的相关性进行暗示的特征来学习用于推断针对新的输入数据所需要的输出数据的相关性模型的手法。在学习算法的开始时，输入数据与输出数据的相关性实际是未知的，但第1学习部41c随着推进学习而逐渐识别特征来解释相关性。若输入数据与输出数据的相关性被解释到在某种程度上可信赖的水准，则第1学习部41c反复输出的学习结果成为能够为了进行相对于输入数据输出数据应该是什么样的数据这一推断而使用的结果。即，伴随着学习算法的推进，第1学习部41c能够使输入数据与输出数据的相关性逐渐接近最佳解。

在本实施方式中，第1学习部41c将教导数据输入至神经网络来学习输入数据与输出数据之间的关联性。对神经网络设定的各种参数被存储于参数DB。例如，参数DB存储被学习后的神经网络的突触的权重等。设定了所存储的各参数的神经网络成为学习完毕模型。

返回到图4，游戏数据生成装置42具备作业数据取得部42a、转换部42b、以及游戏数据供给部42c。

图7是对游戏数据生成装置42的功能进行说明的图。如图7所示，作业数据取得部42a从机器人5、拍摄装置CA取得作业数据。作业数据包括与作业的内容有关的信息、和与作为作业对象的工件211有关的信息。与作业的内容有关的信息例如可以包括机械加工、输送、涂装等作业的种类、在作业中使用的末端执行器206的种类、螺钉、涂料等在作业中使用的零件等信息。与工件211有关的信息例如可以包括工件211的种类、形状等。

转换部42b通过按照规定的转换规则转换作业数据来生成游戏数据。转换规则被预先存储于存储装置24。游戏数据能够包括在游戏终端3执行的游戏程序。另外，在游戏程序被预先安装于游戏终端3的情况下，游戏数据能够包括可应用于游戏程序的游戏参数。游戏数据供给部42c将所生成的游戏数据向游戏终端3供给。

返回至图4，机器人控制数据生成装置43具备游戏操作数据取得部43a、转换部43b、以及输出机器人控制数据的机器人控制数据供给部43c。

图8是对机器人控制数据生成装置43的功能进行说明的图。如图8所示，游戏操作数据取得部43a从游戏终端3取得游戏操作数据。转换部43b通过按照规定的转换规则转换游戏操作数据来生成机器人控制数据。机器人控制数据能够包括末端执行器206的位置指令信息、末端执行器206的动作指令信息等。机器人控制数据供给部43c将所生成的机器人控制数据向机器人5供给。在机器人5中，机器人5基于所取得的机器人控制数据来进行作业。

〔应用例1〕

以下，对将上述结构的机器人操作系统1应用于进行涂装作业的机器人5的应用例1进行说明。

参照图1，进行涂装作业的机器人5在手指尖具备涂装枪206A的喷嘴207。机器人操作器213具有第1杆A、第2杆B以及按钮C。机械手204根据对于第1杆A以及第2杆B输入的操作而动作，使得喷嘴207的位置发生变化。

第1杆A能够输入喷嘴207的向左右以及前后方向移动的指令。通过第1杆A输入的操作输入信号值根据第1杆A的操作位置而从0至1连续地变化。第2杆B能够输入喷嘴207的向上下方向移动的指令。通过第2杆B输入的操作输入信号值根据第2杆B的操作位置而从0至1连续地变化。按钮C能够输入涂料的排出量的指令。通过按钮C输入的操作输入信号值根据按钮C的操作位置而从0至1连续地变化。

上述结构的机器人5的作业对象亦即工件211被保持于夹具210，但各自存在姿势、形状的偏差。在工件211的表面有凹凸，为了对该表面无不均地进行涂装，机器人操作人员被要求很高的技能。

在游戏终端3中执行下落游戏的游戏程序。图9是表示显示于游戏终端3的显示器35的游戏画面92的一个例子。在游戏画面92显示游戏固有的虚拟空间而非机器人5所存在的实际空间。在图9所示的游戏画面92中，在其中央部显示有20列的队列92a，从各列的最上部以规定的下落模式落下块体。在游戏画面92的下部显示有作为游戏用户的操作对象项目的射击枪92b和分数92c。游戏用户能够操作游戏控制器38来将与射击枪92b的子弹的发射方向和发射时机相关的指令向游戏电脑31输入。

在游戏控制器38设置有拨盘X和按钮Y作为操作件381。拨盘X的操作输入信号值根据拨盘X的旋转角度而从0～1连续地变化。能够通过拨盘X使射击枪92b沿游戏画面92上的左右方向移动。拨盘X的操作输入信号值与射击枪92b的发射方向对应。对于射击枪92b的发射方向而言，在拨盘X的操作输入信号值为0时朝向画面上最左端，在操作输入信号值为1时朝向画面上最右端，在操作输入信号值为0.5时朝向画面上左右中央。按钮Y的操作输入信号值根据按钮Y是否被按压来取0或者1的值。能够通过按钮Y来输入从射击枪92b发射子弹的指令。即，将按钮Y的操作输入信号值从0变为1作为触发来瞬间发射子弹。在除此以外的时候不发射子弹。

在被显示于游戏画面92的虚拟空间中，用从射击枪92b发射出的弹来击落下落中的块体。若子弹命中下落物，则下落物从游戏画面92消失。若能够击落全部的块体，则任务成功。游戏用户获得与任务的成功与否、击落的块体的数量、以及射击枪92b的左右移动总量的多少对应的得分，来竞争高得分。

游戏中的块体的下落模式根据游戏参数来决定。通过由转换部42b将作业数据转换为游戏参数来生成游戏参数。在本应用例中，作业数据包括作为作业的内容的涂装、涂料的种类、由拍摄装置CA获得的包括工件211及其周边的三维图像。转换部42b根据规定的转换规则将工件211的表面形状转换为游戏娱玩中的块体的下落模式，生成对该下落模式进行再现的游戏参数。

图10是对作业数据的一个例子进行说明的图。例如，如图10所示，由拍摄装置CA获得的包括工件211及其周边的三维图像(或者二维图像)被转换为由规定量(在图10的例中为20×30)的点构成的平面的映射(map)91。在映射91中，对存在工件211的点(图10中的91a)赋予1，对不存在工件211的点(图10中的91b)赋予0。并且，裁出映射91的各行，形成为连续的多行(在图10的例中为30行)的行数据。而且，生成块体仅在各行数据中被分配了1的点出现那样的游戏参数。

如上述那样由游戏数据生成装置42生成的游戏参数被向游戏终端3发送。游戏终端3的游戏电脑31使游戏程序应用游戏参数，来决定显示于显示器35的游戏画面92的块体的出现部位以及出现时机。在游戏电脑31中，可以根据预先取得的游戏用户的技能等级来设定修正游戏参数的过滤器。若游戏开始，则首先与第1行对应的块体组在画面的最上部出现。出现的块体以规定的速度下落。块体的下落速度可以根据游戏用户的技能等级而不同。若从与第1行对应的块体组出现起经过了规定时间，则与第2行对应的块体组在画面的最上部出现。这样，一边按照恒定时间间隔使行编号从第一行逐个增加至最后一行，一边使与行编号对应的行的块体组在画面的最上部出现，出现的块体逐渐下落。

＜学习方法＞

首先，对由中介服务器2的第1学习装置41进行的学习的方法进行说明。

为了学习而准备多个工件211。学习用的工件211的表面形状各自不同。熟练的机器人操作人员使用机器人操作器213来针对学习用的多个工件211分别根据自身的经验以最适于表面形状的作业顺序输入操作。机器人控制器201取得熟练的机器人操作人员对于机器人操作器213进行的操作输入信号，按每个工件211将操作输入信号的历史记录与该工件211建立对应地存储。例如，对于某个工件211的操作输入信号的历史记录包括以单位时间间隔记录了第1杆A的操作输入信号值的数值列An、以单位时间间隔记录了第2杆B的操作输入信号值的数值列Bn、以及以单位时间间隔记录了按钮C的操作输入信号值的数值列Cn。

游戏终端3的游戏电脑31对游戏用户在从游戏开始至结束为止的游戏娱玩中输入的操作的历史记录进行存储。根据任务成功且获得高得分的游戏用户(以下，称为“高分数用户”)的操作的历史记录创建以单位时间间隔记录了拨盘X的操作输入信号值的数值列Xn，并创建以单位时间间隔记录了按钮Y的操作输入信号值的数值列Yn。

针对某个工件Wm，从熟练的机器人操作人员的操作的历史记录获得的数值列为{Anm、Bnm、Cnm}。另外，在反映了与该工件Wm建立了关联的游戏参数的游戏娱玩中，从高分数用户的操作的历史记录获得的数值列是{Xnm、Ynm}(m＝1、2、…)。这样，从与工件Wm建立了关联的熟练的机器人操作人员的操作的历史记录以及高分数用户的操作的历史记录获得一个学习数据集。

学习数据取得部41a取得庞大的数量的学习数据集并存储。预处理部41b进行学习数据集的预处理并生成教导数据集。第1学习部41c将教导数据集输入至神经网络，来学习作为输入数据的数值列{Xn、Yn}与作为输出数据的数值列{An、Bn、Cn}之间的关联性。对神经网络设定的各种参数被存储于参数DB。设定了所存储的各参数的神经网络成为学习完毕模型。

＜机器人操作方法＞

接着，对使用了上述的学习完毕模型的机器人操作方法进行说明。

图11是对游戏方法的处理的流程进行说明的流程图。图11总括地表示了机器人操作系统1中的从游戏的开始准备至机器人5进行作业为止的一系列处理，左列表示游戏终端3的处理，中央列表示中介服务器2的处理，右列表示机器人5的处理。

在游戏开始时，游戏终端3对于中介服务器2发送登录信息和游戏开始请求(步骤S01)。登录信息包括游戏用户ID等。中介服务器2若取得游戏开始请求(步骤S02)，则将作业数据请求向机器人5发送(步骤S03)。机器人5若取得作业数据请求(步骤S04)，则与之对应地向中介服务器2发送作业数据(步骤S05)。在本应用例中，作业数据包括作业的内容和工件211的拍摄图像。

取得了作业数据的中介服务器2(步骤S06)根据作业数据生成游戏数据(步骤S07)。在本应用例中，通过转换作业数据所包括的拍摄图像来创建游戏数据，游戏数据中包括游戏参数。中介服务器2将游戏数据向游戏终端3发送(步骤S08)。

取得了游戏数据的游戏终端3(步骤S09)使预先存储的游戏程序应用游戏数据(游戏参数)并执行。在游戏终端3中，所取得的游戏数据被应用于游戏程序而开始游戏。通过游戏用户在游戏娱玩中操作游戏控制器38而输入的操作输入被存储。由此，游戏终端3开始反映了游戏参数的游戏(步骤S10)。在本应用例中，游戏用户能够享受将下落的块体击落的射击游戏。

游戏终端3对游戏用户在游戏娱玩中通过游戏控制器38进行的操作的历史记录进行记录(步骤S11)。若游戏结束(步骤S12)，则游戏终端3将包括该游戏娱玩中的操作的历史记录的游戏操作数据向中介服务器2发送(步骤S13)。游戏操作数据与作业数据或者游戏数据的至少一方建立关联。

在中介服务器2的机器人控制数据生成装置43中，游戏操作数据取得部43a取得游戏操作数据(步骤S14)，转换部43b通过使用上述的学习完毕模型对游戏操作数据进行转换来生成部机器人控制数据(步骤S15)。从游戏终端3向中介服务器2输送的游戏操作数据中可以包括游戏的分数。游戏的分数能够成为游戏用户的技能等级的指标。在将游戏操作数据转换为机器人控制数据时，可以还考虑游戏用户的技能等级。

中介服务器2将所生成的机器人控制数据向机器人5发送。机器人5取得机器人控制数据(步骤S17)，并基于此来使机器人5的机械手204以及末端执行器206动作，由此机器人5进行作业(步骤S18)。在本应用例中，机器人5进行工件211的涂装作业。

这样，在本应用例中，乍一看游戏用户所进行的游戏的内容与机器人5所进行的作业的内容的相关性低。游戏用户观察在显示器35映现出的虚拟空间来对于游戏控制器38进行操作输入。即，能够使游戏用户一边享受游戏边一向机器人5输入指令来使机器人5进行劳动而不观察机器人5进行作业的实际空间。

如以上说明那样，本实施方式所涉及的机器人操作系统1的特征在于，具备：游戏终端3，具有执行游戏程序的游戏电脑31、受理对游戏电脑31的操作的输入的游戏控制器38、以及显示从游戏电脑31输出的虚拟空间的显示器35；机器人5，基于机器人控制数据来在实际空间进行作业；以及中介服务器2(技术方案中的“信息处理装置”)，居中调停游戏终端3与机器人5。

中介服务器2具备：游戏数据供给部42c，将与作业的内容建立了关联的游戏数据向游戏终端3供给；游戏操作数据取得部43a，取得游戏操作数据，该游戏操作数据包括游戏控制器38在反映了游戏数据的游戏程序正被执行的期间受理到的操作的输入的历史记录；第1转换部43b，基于规定的转换规则将游戏操作数据转换为机器人控制数据；以及机器人控制数据供给部43c，将机器人控制数据向机器人5供给。

另外，本实施方式所涉及的机器人操作方法使用游戏终端3来操作基于机器人控制数据在实际空间进行作业的机器人5，上述机器人操作方法的特征在于，包括：游戏程序供给步骤，将与作业的内容建立了关联的游戏数据向游戏终端3供给；游戏操作数据取得步骤，取得游戏操作数据，该游戏操作数据包括游戏控制器38在反应了游戏数据的游戏程序正被执行的期间受理到的操作的输入的历史记录；机器人控制数据生成步骤，基于规定的转换规则将游戏操作数据转换为机器人控制数据；以及机器人控制数据供给步骤，将机器人控制数据向机器人5供给。

在上述的机器人操作系统1和其中介服务器2、以及机器人控制方法中，由于游戏操作数据基于转换规则被转换为机器人控制数据，所以不需要游戏用户所享受的电脑游戏的内容(即在游戏的虚拟空间出现的角色、项目、效果、游戏的规则等)与机器人5所进行的作业的内容直接关联。即，在游戏终端3的显示器35映现出的虚拟空间能够是与机器人5在真实世界所进行的作业相差甚远的游戏独自的世界，不会破坏享受非日常的虚拟空间这一游戏的娱乐性。

由此，根据本实施方式所涉及的机器人操作系统1和其中介服务器2、以及机器人控制方法，也作为机器人操作人员的游戏用户能够既纯粹地享受游戏的假想世界、又通过在游戏娱玩中输入的操作来使机器人5进行劳动。

在本实施方式中，中介服务器2还具备第1学习部41c，该第1学习部41c使用包括与作业的内容建立了关联的游戏操作数据和机器人控制数据的第1学习数据来学习游戏操作数据与机器人控制数据的关联性，生成第1学习完毕模型。而且，上述的第1转换部43b构成为通过对于学习了游戏操作数据与机器人控制数据的关联性的第1学习完毕模型输入游戏操作数据来将游戏操作数据转换为机器人控制数据。

同样，在本实施方式中，上述的机器人操作方法还包括第1学习步骤，该第1学习步骤使用包括与作业的内容建立了关联的游戏操作数据和机器人控制数据的第1学习数据来学习游戏操作数据与机器人控制数据的关联性，生成第1学习完毕模型。而且，上述的机器人操作方法的机器人控制数据生成步骤包括通过对于学习了游戏操作数据与机器人控制数据的关联性的第1学习完毕模型输入游戏操作数据来将游戏操作数据转换为机器人控制数据。

这样，通过为了将游戏操作数据转换为机器人控制数据而利用学习完毕模型，由此即便游戏的内容与机器人5的作业内容的直接的相关性低，也能够以更高的精度将游戏操作数据与机器人控制数据建立关联。即，能够使游戏的内容相对于机器人5的作业的内容的自由度提高。

＜变形例1＞

接下来，对上述实施方式的变形例1进行说明。图12是变形例1所涉及的机器人操作系统1的中介服务器2A的功能框图。除了中介服务器2A的第2学习装置44之外，变形例1所涉及的机器人操作系统1具有与上述实施方式实际相同的结构。因此，在变形例1的说明中，对第2学习装置44详细地进行说明，省略与上述的实施方式重复的说明。

在上述实施方式中，具备基于规定的转换规则将作业的内容转换为游戏数据的第2转换部42b(游戏数据生成部)。在本变形例中，第2转换部42b也与第1转换部43b(机器人控制数据生成部)同样，利用学习完毕模型(第2学习完毕模型)将包括作业的内容的作业数据转换为游戏数据。

变形例1所涉及的中介服务器2A是上述的实施方式所涉及的中介服务器2还具备第2学习装置44的结构。以下，省略第1学习装置41、游戏数据生成装置42以及机器人控制数据生成装置43的说明，对第2学习装置44详细地进行说明。

如图12所示，第2学习装置44具备学习数据取得部44a、预处理部44b、第2学习部44c的各功能部。学习数据取得部44a将与作业数据建立了关联的游戏数据作为学习数据集，取得庞大的数量的学习数据集。预处理部44b对学习数据集进行预处理，创建教导数据集。第2学习部44c将教导数据集输入至神经网络，学习作为输入数据的作业数据与作为输出数据的游戏数据之间的关联性。对神经网络设定的各种参数被存储于参数DB。设定了所存储的各参数的神经网络成为第2学习完毕模型。

如以上那样，变形例1所涉及的中介服务器2A具备第2学习部44c，该第2学习部44c使用包括作业的内容和与之建立了关联的游戏数据的第2学习数据来学习作业的内容与游戏数据的关联性，生成第2学习完毕模型。

而且，中介服务器2A构成为通过第2转换部42b(游戏数据生成部)对于学习了作业的内容与游戏数据的关联性的第2学习完毕模型输入作业的内容来将作业的内容转换为游戏数据。

同样，变形例1所涉及的机器人操作方法在上述的实施方式所涉及的机器人操作方法的基础上，还包括下述的第2学习步骤：使用包括作业的内容和与之建立了关联的游戏数据的第2学习数据来学习作业的内容与游戏数据的关联性，生成第2学习完毕模型。而且，变形例1所涉及的机器人操作方法在上述的实施方式所涉及的机器人操作方法的游戏数据生成步骤中包括通过对于学习了作业的内容与游戏数据的关联性的第2学习完毕模型输入作业的内容来将作业的内容转换为游戏数据。

通过这样使用学习完毕模型将作业的内容(作业数据)变更为游戏数据，即使对于更复杂的作业的内容也能够创建适于其的游戏数据。因此，能够使游戏的内容相对于机器人5的作业的内容的自由度提高。

〔应用例2〕

以下，对将上述结构的机器人操作系统1应用于进行垃圾的输送作业的机器人5A的应用例2进行说明。

图13是表示应用例2所涉及的机器人操作系统1的整体结构的框图。图13所示的机器人5A是对垃圾坑215的垃圾进行搅拌的起重机机器人。机器人5A具备起重机208、使起重机208的左右以及前后位置变化的起重机架209、以及控制起重机208和起重机架209的动作的机器人控制器201。在垃圾坑215设置有对垃圾坑215内进行三维拍摄的拍摄装置CA。

机器人操作器213具有第1杆A、第2杆B以及按钮C。起重机架209根据对于第1杆A以及第2杆B输入的操作来动作，使得起重机208的二维位置发生变化。第1杆A能够输入起重机208的向前后左右方向移动的指令。通过第1杆A输入的操作输入信号值根据第1杆A的操作位置而从0至1连续地变化。第2杆B能够输入起重机208的向上下方向移动的指令。通过第2杆B输入的操作输入信号值根据第2杆B的操作位置而从0至1连续地变化。按钮C能够输入起重机208的把持垃圾的指令。通过按钮C输入的操作输入信号值根据按钮C的操作位置而从0至1连续地变化。

对于上述结构的机器人5的作业对象亦即垃圾坑215的垃圾而言，其表面高度、性状存在偏差，垃圾坑215内的垃圾必须被搅拌为更均匀。通过使垃圾坑215的某个坐标的垃圾向其他坐标移动来进行垃圾的搅拌。为了高效地进行垃圾的搅拌作业，优选起重机208的移动轨迹少。关于使哪个坐标的垃圾如何移动、以及其移动顺序，对操作机器人5A的机器人操作人员要求很高的技能。

在游戏终端3中，执行益智游戏(puzzle game)的游戏程序。图14是显示于游戏终端3的显示器35的游戏画面92A的一个例子。在游戏画面92A显示游戏固有的虚拟空间而非机器人5A所存在的实际空间。在图14所示的游戏画面92A中，在其中央部显示有网格，在网格的各团块配置有面板。面板被用红色、蓝色、紫色这3种颜色进行颜色区分，若在蓝色的面板之上重叠红色的面板则变化为紫色的面板。无法在红色以及紫色的面板之上重叠其他面板。游戏用户能够操作游戏控制器38来将与要移动的面板的选择和面板的移动位置相关的指令向游戏电脑31输入。

在游戏控制器38设置有十字键X和按钮Y作为操作件381。十字键X的操作输入信号值从0～1连续地变化。能够通过十字键X来使指示器沿游戏画面92A上的左右以及前后方向移动。十字键X的操作输入信号值与指示器的移动方向以及移动量对应。按钮Y的操作输入信号值根据按钮Y是否被按压来取0或者1的值。按钮Y能够输入选择的指令。例如，若在指示器位于要移动的第1面板之上的状态下按钮Y的操作输入信号值从0变为1，则第1面板被选择。另外，若在选择了第1面板且指示器位于移动目标的第2面板之上的状态下按钮Y的操作输入信号值从0变为1，则在第2面板重叠第1面板。若全部的面板的颜色变为紫色，则任务成功。游戏用户获得与任务的成功与否、指示器的移动量的多少对应的得分，来竞争高得分。

益智游戏中的面板的配色模式根据游戏参数来决定。通过由第2转换部42b将作业数据转换为游戏参数来生成游戏参数。在本应用例中，作业数据包括通过拍摄装置CA获得的垃圾坑215内的三维图像。转换部42b根据规定的转换规则将垃圾坑215的堆积垃圾的表面形状转换为游戏娱玩中的面板的配色模式，生成对该配色模式进行再现的游戏参数。

图15是对作业数据的一个例子进行说明的图。例如，如图15所示，通过拍摄装置CA获得的垃圾坑215的三维图像被转换为由规定量(在图15的例子中为15×10)的点构成的平面的映射94。通过三维图像的解析来将堆积垃圾表面的高度分类为高中低，对高的点赋予1，对中的点赋予0，对低的点赋予－1。而且，生成在1的点出现红色的面板、在0的点出现紫色的面板、在－1的点出现蓝色的面板那样的游戏参数。游戏数据包括这样的游戏参数。

＜学习方法＞

首先，对由中介服务器2的第2学习装置44进行的学习的方法进行说明。

为了学习而准备大量的学习数据。学习数据包括垃圾坑215的堆积垃圾的表面形状和与该表面形状建立了关联的由熟练的机器人操作人员进行的操作的历史记录。堆积垃圾的表面形状包括高度位置。熟练的机器人操作人员通过使用机器人操作器213并根据自身的经验以最适于堆积垃圾的表面形状的作业顺序输入操作，来搅拌垃圾坑215内的堆积垃圾。机器人控制器201取得熟练的机器人操作人员对于机器人操作器213进行的操作输入信号，并将操作输入信号的历史记录与该堆积垃圾的表面形状建立关联地存储。

垃圾坑215的三维图像被转换为由规定量(在图15的例子中为15×10)的点构成的平面的堆积垃圾映射94。对堆积垃圾映射94的各点分配有地址，各点具有与堆积垃圾高度(点的平均值)相关的信息。根据操作输入信号的历史记录，会知晓垃圾坑215内的垃圾被带出的点的地址和被放置了该垃圾的点的地址。将被带出了垃圾的点分类为“高”，将被放置了垃圾的点分类为“低”，将没有垃圾的移动的点分类为“中”。在学习数据的预处理中，基于上述的规则来对于堆积垃圾映射94的各点赋予“高”、“中”、“低”。创建将堆积垃圾映射94作为输入数据、将堆积垃圾映射94的各点的高中低的分类作为输出数据的1组教导数据。

学习装置使用大量的教导数据使模型学习应该将堆积垃圾映射94的各点分类为“高”、“中”、“低”的哪一个。游戏数据生成装置42对于该学习完毕模型输入作为作业数据的堆积垃圾映射94，获得堆积垃圾映射94的各点的高中低的分类的输出，并基于此生成游戏数据。

＜机器人操作方法＞

接着，对机器人操作方法进行说明。

游戏方法的处理的流程与第1应用例实际相同。即，如图11所示，游戏终端3对于中介服务器2发送登录信息和游戏开始请求(步骤S01)。中介服务器2若取得游戏开始请求(步骤S02)，则将作业数据请求向机器人5A发送(步骤S03)。机器人5A若取得作业数据请求(步骤S04)，则与之对应地向中介服务器2发送作业数据(步骤S05)。在本应用例中，作业数据包括作业的内容和垃圾坑215的三维图像。

取得了作业数据的中介服务器2(步骤S06)根据作业数据生成游戏数据(步骤S07)。在本应用例中，通过使用上述的学习完毕模型转换作业数据所包括的拍摄图像来创建游戏数据，游戏数据包括游戏参数。中介服务器2将游戏数据向游戏终端3发送(步骤S08)。

取得了游戏数据的游戏终端3(步骤S09)使预先存储的游戏程序应用游戏数据(游戏参数)并执行。在游戏终端3中，所取得的游戏数据被应用于游戏程序而开始游戏。通过游戏用户在游戏娱玩中操作游戏控制器38而输入的操作输入被存储。由此，游戏终端3开始反映了游戏参数的游戏(步骤S10)。在本应用例中，游戏用户能够享受将蓝色和红色的面板替换为紫色的彩色益智游戏。

游戏终端3对游戏用户在游戏娱玩中通过游戏控制器38进行的操作的历史记录进行记录(步骤S11)。若游戏结束(步骤S12)，则游戏终端3将包括该游戏娱玩中的操作的历史记录的游戏操作数据向中介服务器2发送(步骤S13)。游戏操作数据与作业数据或者游戏数据的至少一方建立关联。

在中介服务器2的机器人控制数据生成装置43中，游戏操作数据取得部43a取得游戏操作数据(步骤S14)，转换部43b通过将游戏操作数据转换为机器人控制数据来生成机器人控制数据(步骤S15)。在本应用例中，游戏操作数据包括要移动的面板的坐标与该面板的移动目标的坐标的组合、以及面板的移动顺序。根据这样的游戏操作数据，生成包括在垃圾坑215中将垃圾带出的坐标与将垃圾带入的坐标的组合、以及垃圾的移动顺序的机器人控制数据。

中介服务器2将所生成的机器人控制数据向机器人5A发送。机器人5A取得机器人控制数据(步骤S17)，并基于此来使起重机架209、起重机208动作，由此机器人5A进行作业(步骤S18)。在本应用例中，机器人5A进行垃圾坑215的搅拌作业。

这样，在本应用例中，游戏用户所进行的游戏的内容与机器人5A所进行的作业的内容不直接关联，但游戏中的指示器的移动与起重机208的移动存在相关性。即便如此，游戏用户也能够不观察机器人5A进行作业的实际空间，而观察在显示器35映现出的虚拟空间来对于游戏控制器38进行操作输入，一边享受游戏一边向机器人5A输入指令，使机器人5A进行劳动。

以上对本发明的优选实施方式进行了说明，但在不脱离本发明的思想的范围内变更了上述实施方式的具体构造以及/或者功能的实施方式也能够包括在本发明内。上述的机器人操作系统1以及机器人操作方法能够如以下那样进行变更。

例如，在上述实施方式中，游戏终端3、中介服务器2以及机器人5、5A是各自独立的装置，但作为中介服务器2的功能也可以装备于游戏终端3以及机器人5、5A中的任一方。

例如，在上述实施方式中，以使作为学习模型的一个例子的神经网络模型进行学习的情况为例进行了说明，但学习算法并不限定于此。例如，可以通过其他学习方法来使与神经网络模型不同的其他模型学习。

例如，在上述实施方式中，对游戏程序被预先存储(安装)于游戏终端3的方式进行了说明。该游戏程序经由通信机构4被从中介服务器2向游戏终端3供给，但也可以记录于CD-ROM、DVD-ROM以及微SD卡等记录介质来向游戏终端3提供。另外，游戏程序并不局限于被预先存储于游戏终端3的方式，也可以每当游戏时将预先应用了游戏参数的游戏程序从中介服务器2向游戏终端3供给。该情况下，游戏数据包括应用了游戏参数的游戏程序。

附图标记说明：

1…机器人操作系统；2、2A…中介服务器(信息处理装置的一个例子)；3…游戏终端；4…通信机构；5、5A…机器人；20a…运算控制器；20b…接口；21…处理器；22…存储器；24…存储装置；25…I/O部；31…游戏电脑；35…显示器；37…扬声器；38…游戏控制器；41…第1学习装置；41a…学习数据取得部；41b…预处理部；41c…第1学习部；42…游戏数据生成装置；42a…作业数据取得部；42b…转换部(第2转换部)；42c…游戏数据供给部；43…机器人控制数据生成装置；43a…游戏操作数据取得部；43b…转换部(第1转换部)；43c…机器人控制数据供给部；44…第2学习装置；44a…学习数据取得部；44b…预处理部；44c…第2学习部；91…映射；92…游戏画面；92a…队列；92b…射击枪；92c…分数；201…机器人控制器；202…涂料供给装置；203…阀装置；204…机械手；205…压缩机；206…末端执行器；206A…涂装枪；207…喷嘴；208…起重机；209…起重机架；210…夹具；211…工件；213…机器人操作器；215…垃圾坑；311…主处理器；312…声音处理器；313…I/O处理器；314…存储装置；315…图形处理器；316…存储器；381…操作件；382…操作检测器；383…通信器。

Claims (9)

1.一种信息处理装置，用于对游戏终端与机器人进行中介，所述游戏终端具有执行游戏程序的游戏电脑、受理对所述游戏电脑的操作的输入的游戏控制器、以及显示从所述游戏电脑输出的虚拟空间的显示器，所述机器人基于机器人控制数据来在实际空间进行作业，

所述信息处理装置的特征在于，具备：

第2转换部，该第2转换部基于规定的第2转换规则将所述作业的内容转换为游戏数据；

游戏数据供给部，将所述游戏数据向所述游戏终端供给；

游戏操作数据取得部，取得游戏操作数据，该游戏操作数据包括所述游戏控制器在反映了所述游戏数据的所述游戏程序被执行的期间受理到的操作的输入的历史记录；

第1转换部，基于规定的第1转换规则将所述游戏操作数据转换为所述机器人控制数据；以及

机器人控制数据供给部，将所述机器人控制数据向所述机器人供给，

所述第2转换部构成为通过对于学习了所述作业的内容与所述游戏数据的关联性的第2学习完毕模型输入所述作业的内容来将所述作业的内容转换为所述游戏数据。

2.根据权利要求1所述的信息处理装置，其特征在于，

所述第1转换部构成为通过对于学习了所述游戏操作数据与所述机器人控制数据的关联性的第1学习完毕模型输入所述游戏操作数据来将所述游戏操作数据转换为所述机器人控制数据。

3.根据权利要求2所述的信息处理装置，其特征在于，

还具备第1学习部，该第1学习部使用包括与所述作业的内容建立了关联的所述游戏操作数据和所述机器人控制数据的第1学习数据来学习所述游戏操作数据与所述机器人控制数据的关联性，生成所述第1学习完毕模型。

4.根据权利要求1所述的信息处理装置，其特征在于，

还具备第2学习部，该第2学习部使用包括所述作业的内容和与之建立了关联的所述游戏数据的第2学习数据来学习所述作业的内容与所述游戏数据的关联性，生成所述第2学习完毕模型。

5.一种机器人操作系统，其特征在于，具备：

游戏终端，具有执行游戏程序的游戏电脑、受理对所述游戏电脑的操作的输入的游戏控制器、以及显示从所述游戏电脑输出的虚拟空间的显示器；

机器人，基于机器人控制数据来在实际空间进行作业；以及

权利要求1～4中任一项所述的信息处理装置，对所述游戏终端与所述机器人进行中介。

6.一种机器人操作方法，用于使用游戏终端来操作机器人，所述游戏终端具有执行游戏程序的游戏电脑、受理对所述游戏电脑的操作的输入的游戏控制器、以及显示从所述游戏电脑输出的虚拟空间的显示器，所述机器人基于机器人控制数据来在实际空间进行作业，

所述机器人操作方法的特征在于，包括：

游戏数据生成步骤，该游戏数据生成步骤基于规定的第2转换规则将所述作业的内容转换为游戏数据；

游戏数据供给步骤，将所述游戏数据向所述游戏终端供给；

游戏操作数据取得步骤，取得游戏操作数据，该游戏操作数据包括所述游戏控制器在反映了所述游戏数据的所述游戏程序被执行的期间受理到的操作的输入的历史记录；

机器人控制数据生成步骤，基于规定的第1转换规则将所述游戏操作数据转换为所述机器人控制数据；以及

机器人控制数据供给步骤，将所述机器人控制数据向所述机器人供给，

所述游戏数据生成步骤包括通过对于学习了所述作业的内容与所述游戏数据的关联性的第2学习完毕模型输入所述作业的内容来将所述作业的内容转换为所述游戏数据。

7.根据权利要求6所述的机器人操作方法，其特征在于，

所述机器人控制数据生成步骤包括通过对于学习了所述游戏操作数据与所述机器人控制数据的关联性的第1学习完毕模型输入所述游戏操作数据来将所述游戏操作数据转换为所述机器人控制数据。

8.根据权利要求7所述的机器人操作方法，其特征在于，

还包括第1学习步骤，该第1学习步骤使用包括与所述作业的内容建立了关联的所述游戏操作数据和所述机器人控制数据的第1学习数据来学习所述游戏操作数据与所述机器人控制数据的关联性，生成所述第1学习完毕模型。

9.根据权利要求6所述的机器人操作方法，其特征在于，

还包括第2学习步骤，该第2学习步骤使用包括所述作业的内容和与之建立了关联的所述游戏数据的第2学习数据来学习所述作业的内容与所述游戏数据的关联性，生成所述第2学习完毕模型。