CN108604131A - 显示系统、信息处理装置、信息处理方法以及程序 - Google Patents

Abstract

具有：示教图像获取单元，其获取所登记的作业的示教图像；显示单元，其将通过示教图像获取单元获取到的作业的示教图像显示在进行作业的作业员所佩戴的显示装置的显示部中，由此对现实空间叠加显示作业的图像；摄像图像获取单元，其获取与作业员的作业有关的摄像图像；以及生成单元，其根据通过摄像图像获取单元获取的摄像图像以及通过示教图像获取单元获取的作业的示教图像，生成指示图像，显示单元将通过生成单元生成的指示图像显示在显示部中，由此对现实空间进一步叠加显示指示图像，从而解决问题。

Description

显示系统、信息处理装置、信息处理方法以及程序

技术领域

本发明涉及关于车间内的作业叠加显示指示图像的显示系统、信息处理装置、信息处理方法以及程序。

背景技术

在专利文献1中公开了以下技术：在监视器画面上叠加显示作业的指导准则，并辅助作业。

现有技术文献

专利文献

专利文献1：日本特开2008-93813号公报

发明内容

发明要解决的课题

仅将指导准则叠加显示在监视器画面上，缺乏经验的作业员难以判断自己的作业是否为正好与指导准则相符的准确无误的作业。另外，当视线被监视器占据时，实际的手头作业也有可能被忽略。

由于所谓生育高峰一代的退休，具有以一种容易理解并正确的方式将熟练作业员的技能传承给许多后辈作业员的课题。另外，随着全球化，还具有使海外作业员进行在日本国内所进行的作业而不使作业质量下降的课题。

本发明的目的在于适当地进行作业员的作业辅助。

用于解决课题的手段

因此，本发明的显示系统具有：示教图像获取单元，其获取所登记的作业的示教图像；显示单元，其将通过上述示教图像获取单元获取的上述作业的示教图像显示在进行上述作业的作业员所佩戴的显示装置的显示部中，由此对现实空间叠加显示上述作业的图像；摄像图像获取单元，其获取与上述作业员的上述作业有关的摄像图像；以及生成单元，其根据通过上述摄像图像获取单元获取的上述摄像图像以及通过上述示教图像获取单元获取的上述作业的示教图像，生成指示图像，上述显示单元将通过上述生成单元生成的上述指示图像显示在上述显示部中，由此对上述现实空间还叠加显示上述指示图像。

发明效果

根据本发明，能够适当地进行作业员的作业辅助。

附图说明

图1是表示显示系统的系统结构的一例的图。

图2是表示显示装置的硬件结构的一例的图。

图3是表示信息处理装置的硬件结构的一例的图。

图4A是表示示教图像表的一例的图(其一)。

图4B是表示示教图像表的一例的图(其二)。

图5是表示显示系统的对示教图像、指示图像进行显示的信息处理的一例的序列图。

图6是表示显示系统的设定示教图像的信息处理的一例的序列图。

图7是表示指示图像的其它例的图。

具体实施方式

以下，根据附图说明本发明的实施方式。

图1是表示显示系统的系统结构的一例的图。如图1所示，显示系统作为系统结构包括显示装置500和信息处理装置501。显示装置500与信息处理装置501经由网络等可通信地进行连接。在图1的示例中，仅显示装置500与信息处理装置501可通信地进行连接，但是多个显示装置也可以与信息处理装置501可通信地进行连接。信息处理装置501为计算机的一例。

显示装置500为作业员所佩戴的眼镜型显示设备。在本实施方式中，进行气囊的折叠作业的作业员佩戴显示装置500而进行作业。

显示装置500为光透射型显示装置，在相当于眼镜的镜片部分的位置设置有光透射型显示部525。佩戴了显示装置500的作业员经由显示装置500的显示部525在现实空间内能够观察存在于视线前方的物体。并且，在显示部525中显示由信息处理装置501生成的图像，因此佩戴了显示装置500的作业员能够识别由信息处理装置501生成的图像叠加在通过显示部525观察的现实空间的状态、即增强现实空间(AR空间)。

另外，在显示装置500中与显示部525邻接的位置处设置有摄像部527。摄像部527被设置成显示装置500的佩戴人的视线方向与摄像部527的摄像方向形成一致的关系。由此，摄像部527能够拍摄佩戴显示装置500的作业员正在观察的现实空间的作业的图像。作为其它例，摄像部527也可以被设定为摄像方向与显示装置500的佩戴人的视线方向形成固定关系。

信息处理装置501例如根据来自显示装置500的发送请求，获取与熟练作业员的作业有关的所登记的示教图像，并发送至显示装置500。

图像511为示教图像的一例。在图1的示例中，气囊的折叠方法的示教图像显示在显示装置500的显示部525中。

另外，信息处理装置501将由显示装置500的摄像部527拍摄得到的摄像图像与上述示教图像进行比较，根据比较结果，以使上述作业员的作业接近由示教图像所示的动作的方式生成指示图像，发送至显示装置500。

虚线图像512、方向图像513为指示图像的一例。在图1的示例中，表示气囊的正确折叠位置的虚线图像512以及表示折叠方向的方向图像513作为指示图像与作业员实际进行作业的气囊进行叠加而显示在显示装置500的显示部525中。在图1中为了使说明简单，示出了以下示例：将作为示教图像的图像511显示在显示部525的右上方，并且将作为指示图像的虚线图像512、方向图像513与实际气囊叠加显示。然而，显示系统也可以将作为示教图像的图像511与实际气囊进行叠加显示。而且，显示系统在示教图像与实际气囊图像的差分为阈值以上的情况下，消除与实际气囊叠加显示的示教图像，或者也可以与示教图像一起将作为指示图像的虚线图像512、方向图像513与实际气囊进行叠加显示。

使用图像处理技术进行示教图像与实际气囊图像的图像差分的评价。例如计算示教图像与实际气囊的图像的类似度来比较。即，信息处理装置501预先设定成为合格基准的类似度，在计算出的类似度与合格基准类似度的差分为预定的值(阈值)以上的情况下，判断为显示上述指示图像。此外，也可以在气囊的布料上在预定的多个位置处印刷花纹、图案等，以便在计算类似度时易于提取特征点。

示教图像与实际的气囊图像的比较在预定的定时进行。例如预先准备了每折叠一次的示教图像，用户在每折叠一次实际气囊时，向信息处理装置501指示图像匹配的处理。此时，也可以是以下结构：当用户例如发出语音“核对”时，由摄像部527拍摄实际的气囊图像，其图像数据被发送至信息处理装置501，通过与预先准备的每折叠一次的示教图像中的相当的定时的图像之间的图像匹配处理来计算类似度。示教图像也可以使用熟练的作业员使用与实际气囊相同的气囊作为样本而折叠的情况下的图像。

此外，预先准备的每折叠一次的示教图像与实际的气囊图像的朝向、倍率等有所不同，但是，如果使用能够进行图像的转动、放大缩小来进行比较的模板匹配技术，则能够计算出类似度。但是，也可以是以下结构：在所比较的图像的朝向相反的情况下，由于匹配处理费时，因此，例如在用户发出“核对”的语音之前，显示表示适当的摄像朝向的示教图像，用户在拍摄作业中的气囊时，使实际气囊的朝向符合与该示教图像相同的朝向。

并且，拍摄用于匹配的图像的照相机并不限定于摄像部527，也可以是设置在气囊的折叠台的正上方处固定的用于匹配的专用照相机的结构。在使用设置于显示装置500的摄像部527拍摄实际的气囊图像的情况下，即使是相同气囊，也由于用户的姿势而导致拍摄的角度不同，因此图像匹配的精度不稳定，但是如果使用这种固定的专用照相机则图像匹配精度会稳定。另外，例如在气囊为白色的情况下，也可以将折叠台设为黑色，以使放置于折叠台的上方的气囊变得清晰。

另外，以下那样进行类似度的判断。首先，将实际气囊图像的轮廓与相当的示教图像的轮廓进行比较，校正图像的朝向、大小的同时进行对位。例如提取轮廓上的多个特征点，针对包括各特征点的每个预定的区域计算示教图像与实际气囊图像的类似度，以预定类似度以上的特征点彼此重合的方式使实际气囊图像进行转动或者进行放大缩小来进行两个图像的对位。由此，重合的特征点在相同坐标空间上具有相同坐标值。

接着，在进行了对位的图像之间，比较附加到气囊的图案的外观。在实际气囊如示教图像那样被折叠的情况下，实际气囊图像的图案的外观与示教图像的图案的外观一致。另一方面，如果折叠方法稍微不同，则图案的外观仅局部一致。对该图案的外观进行图像匹配，计算示教图像与实际气囊图像的类似度。

在此，在计算出的类似度与作为合格基准的类似度的差分为预定的值(阈值)以上的情况下，信息处理装置501判断为需要显示上述指示图像。另一方面，也可以将类似度本身设为阈值。即，在类似度超过合格基准值(阈值)的情况下，例如也可以进行如“OK”那样的显示。

另外，例如以下那样生成指示图像。首先，如上所述那样比较轮廓而来进行两个图像的对位。在此，在某一核对定时，已经决定了示教图像中作为核对要点的折痕，因此在实际气囊图像中通过图像处理检测相当的折痕。能够设为以下结构：折痕在相同坐标空间上表示为线段，但是根据表示线段的偏差的角度，将对实际气囊图像中的折痕与示教图像的折痕一致的方向进行指示的箭头的图像显示在显示装置500中。

或者，也可以是以下结构：将图像分割为预定形状的区域(例如格子状)，按每个区域来计算示教图像与实际气囊的图像的类似度，在实际气囊图像中，与表示类似度低于预定的值的区域的箭头一起，将“请确认样本(示教图像)”那样的消息显示在显示装置500中，并不特别进行限定。

作业员通过观察指示图像，能够直观地识别气囊的折叠方法等错误，如何折叠才对。

也就是说，根据显示系统，能够适当地进行作业员的作业辅助，结果是固定地保持作为作业结果的产品等的质量，并且能够继承熟练作业员的作业技能。

图2是表示显示装置500的硬件结构的一例的图。显示装置500作为硬件结构而具有CPU 521、ROM 522、RAM 523、通信I/F 524、显示部525、麦克风526以及摄像部527。CPU521读取存储在ROM 522的程序来执行各种处理。RAM 523被用作CPU 521的主存储器、工作区等临时存储区域。CPU 521读取存储在ROM 522的程序并执行该程序，由此实现显示装置500的功能和序列图的显示装置500的处理。

通信I/F 524经由网络进行与信息处理装置501的通信处理。显示部525显示各种信息。麦克风526输入佩戴了显示装置500的作业员的发言等的语音。此外，语音被发送至CPU 521，在CPU 521中进行语音识别处理。CPU 521根据语音识别结果，能够接受用户的各种指示。摄像部527进行现实空间的拍摄。ROM 522为存储介质的一例。

图3是表示信息处理装置501的硬件结构的一例的图。信息处理装置501具有CPU531、ROM 532、RAM 533、通信I/F 534、显示部535、输入部536以及HDD 537。CPU 531、ROM532、RAM 533以及通信I/F 534分别与CPU 521、ROM 522、RAM 523以及通信I/F 524相同。显示部535显示各种信息。输入部536具有键盘、鼠标，接受用户的各种操作。HDD 537存储数据、各种程序等。CPU 531读取存储在ROM 532或者HDD 537的程序并执行该程序，由此实现信息处理装置501的功能和序列图的信息处理装置501的处理。ROM 522或者HDD 537为存储介质的一例。

接着，使用图4A和图4B说明信息处理装置501存储于HDD 537等的数据。但是，用于存储数据的存储目的地并不限定于HDD 537，也可以是信息处理装置501可通信的网络上的数据服务器等。

在图4A示出的示教图像表中包括作业ID以及与作业ID对应的作业的示教图像。作为作业的一例，以下，只要并不特别进行限定，存在气囊的折叠作业。但是，作业并不限定于气囊的折叠作业，还存在电焊作业、车身涂装作业、汽车装配作业、护理中的沐浴护理(沐浴作业)、康复作业等各种作业。

在图4A中，说明了在示教图像表中对一个作业ID登记了多个示教图像的结构。但是，如图4B所示，也可以在示教图像表中包括作业ID、构成以作业ID识别的作业的多个工序以及该工序的示教图像(例如成为该工序的要点的示教图像之一)。以下，为了使说明简单，说明示教图像表具有如图4B所示结构。另外，为了使说明简单，说明示教图像还包括使显示部525显示的位置信息。即，显示装置500根据示教图像内包含的位置信息，将示教图像显示在显示部525中。

使用后述的图6说明示教图像的登记(或者设定)的一例。

图5是表示显示系统的将示教图像、指示图像进行显示的信息处理的一例的序列图。

在SC500中，显示装置500向信息处理装置501发送示教图像的获取请求。显示装置500可以通过佩戴了显示装置500的作业员的语音输入来确定作业员现在起要进行的作业，在按每个显示装置预先将作业设定于设定文件等的情况下，也可以确定设定于设定文件的作业。另外，显示装置500可以通过佩戴了显示装置500的作业员的语音输入来确定作业工序，也可以计测作业开始起的时间，根据计测出的时间来自动地确定作业工序。在上述示教图像的获取请求中包括识别由显示装置500确定的作业的作业ID以及识别上述作业的哪一个工序的工序ID。

在SC501中，信息处理装置501根据示教图像的获取请求内包含的作业ID和工序ID，从示教图像表获取与上述作业ID和工序ID对应的示教图像。SC501的处理为示教图像获取的处理的一例。

在SC502中，信息处理装置501将获取到的示教图像发送至请求源的显示装置500。

在SC503中，显示装置500将获取到的示教图像显示在显示部525中。在示教图像内包含的位置信息为与实际气囊叠加显示的位置信息的情况下，根据位置信息将示教图像显示在显示部525中的结果是，示教图像与实际折叠过程中的气囊进行叠加显示。另一方面，在示教图像内包含的位置信息表示显示部525的预定位置(例如图1所示，右上方)的情况下，在上述预定位置处显示示教图像。

通过显示成为在显示部525中当前进行的作业的工序的要点的示教图像，作业员能够理解上述作业的工序中的要点来进行作业。

在SC504中，显示装置500经由摄像部527获取由作业员进行的上述作业的工序的摄像图像。SC504的处理为摄像图像获取处理的一例。

在SC505中，显示装置500将获取到的摄像图像发送至信息处理装置501。

在SC506中，信息处理装置501将接收到的摄像图像与在SC502中发送的示教图像进行比较。

在SC507中，信息处理装置501根据比较结果来生成指示图像。例如，信息处理装置501对上述摄像图像和上述示教图像进行图像识别处理，在图像识别处理的结果是图像的差分为所设定的阈值以上的情况下，生成指示图像，在上述差分小于所设定的阈值的情况下，不生成指示图像。但是，该情况并不限制本实施方式，信息处理装置501也可以在上述差分小于所设定的阈值的情况下，生成作业为适当的意思的图像(例如显示OK等的图像)，发送至显示装置500。另外，信息处理装置501在上述差分为所设定的阈值以上的情况下，根据图像识别处理的结果等，例如图1所示，作为指示图像而生成表示气囊的正确折叠位置的虚线图像512以及表示折叠方向的方向图像513。例如，信息处理装置501根据图像识别处理的结果、摄像图像内包含的作为作业对象的物体(在本实施方式的示例中为气囊)相对于摄像图像整体的位置等，生成包括使指示图像进行显示时的位置信息的指示图像。

在SC508中，信息处理装置501将所生成的指示图像发送至在S505中发送了摄像图像的显示装置500，

在SC509中，信息处理装置501根据指示图像内包含的位置信息将接收到的指示图像显示在显示部525中。

图6是表示显示系统的设定示教图像的信息处理的一例的序列图。

在以下示出的处理中，显示装置500由与作业相应的熟练作业员佩戴。

在SC520中，显示装置500经由摄像部527获取熟练作业员进行的作业的各工序的作业图像。

在SC521中，显示装置500将获取到的作业图像发送至信息处理装置501。

在SC522中，信息处理装置501将接收到的作业图像存储于HDD 537等，由此登记作业图像。

在SC523中，信息处理装置501例如根据操作员经由输入部536等进行的设定操作，设定所登记的作业图像中成为作业中的各工序的要点的示教图像。信息处理装置501根据上述设定等来生成如图4B所示那样的示教图像表。

在上述示例中，示出信息处理装置501选择多个作业图像中成为示教图像的图像的示例。但是，也可以由显示装置500选择多个作业图像中成为示教图像的图像，发送至信息处理装置501。在该情况下，信息处理装置501根据接收到的示教图像等来生成如图4B所示那样的示教图像表。在该情况下，可以是佩戴了显示装置500的熟练操作员经由语音等将哪一个作业的哪一个工序的示教图像输入到显示装置500，也可以是信息处理装置501的操作员经由输入部536等输入并指定哪一个作业的哪一个工序的示教图像。

(变形例)

图7是表示指示图像的其它例的图。

在上述图1等中，以气囊的折叠作业为例，示出了以下示例：由信息处理装置501作为指示图像而生成表示气囊的正确折叠位置的虚线图像512以及表示折叠方向的方向图像513，通过显示装置500进行显示。

然而，如上所述，作业并不限定于气囊的折叠作业。在图7中作为作业的一例，示出沐浴护理的情况下的指示图像的一例。

作业为沐浴护理，在作为工序首先为起床辅助的情况下，信息处理装置501将成为起床辅助的要点的示教图像发送至显示装置500。然后，当从显示装置500接收摄像图像时，信息处理装置501对上述摄像图像和上述示教图像进行图像识别处理，当图像识别处理的结果是图像的差分为所设定的阈值以上的情况下，生成指示图像。

即，在图7的示例中，信息处理装置501根据示教图像以及实际作业员的作业摄像图像生成如图像514所示那样的指示图像。然后，信息处理装置501将所生成的指示图像发送至显示装置500。

显示装置500根据指示图像内包含的位置信息将接收到的指示图像显示在显示部525中。

以下，更具体地说明护理辅助的结构。首先，被护理人穿着附加了标记的专用衬衫。标记例如被附加在腋下、肩部、腰部，此外被附加在胸部、腹部等。此外，该带标记的衬衫也可以被准备为与被护理人的体格相应的多个尺寸。

例如在上述起床辅助的情况下，护理人需要将手放置成遮挡附加在腋下的标记。标记附加在腋下的预定的范围内，在没有适当扶助的情况下，标记在大范围内露出。因此，信息处理装置501也可以在由摄像部527拍摄得到的图像中检测露出的标记的量，在预定量以上的标记露出的情况下，生成“请确认扶助方式。”这种指示图像，发送至显示装置500。当接收指示图像时，显示装置500显示指示图像。

或者，信息处理装置501也可以根据同一定时的熟练护理人的示教图像以及实际护理图像，对标记的露出方式进行图像匹配处理，生成与其分析结果相应的指示图像。例如，还能够构成为以下结构：信息处理装置501将腋下周边的图像分割为多个区域，按每个区域检测标记的露出量。由此，与示教图像进行比较，能够检测露出少的区域、多的区域，因此，能够以成为相同的露出方式(各区域的露出量相同)的方式指示扶助方式的方向、角度等。

此外，也可以是以下结构：示教图像准备多个体型(身高、体重、手的大小等)的熟练护理人的图像，在使示教图像进行显示时，显示接近护理训练中的见习护理人体型的熟练护理人的示教图像。通过设为这种结构，能够减少由体格差异引起的标记的露出方式的不同的影响。

另外，标记并不限定于附加在扶助位置。例如，还有时由于熟练的护理人的视线与经验不足的护理人的视线不同而护理作业的质量产生差异。在这种情况下，在胸部、腹部的多个部位附加多个点状的小标记，信息处理装置501能够根据映现在摄像图像的多个标记来判断护理人的视线的是否适当。

更具体地说，信息处理装置501判断在由摄像部527拍摄得到的图像中附加在被护理人的衬衫上的标记的位置是否适当。例如，信息处理装置501将摄像图像分割为多个区域(格子状等)，判断附加在胸部、腹部的各标记是否位于预定的区域。例如，信息处理装置501与熟练护理人的示教图像进行比较，能够根据每个区域的图像的类似度、所包含的标记的数量等来判断是否位于预定区域。即，针对某一区域中，熟练护理人的示教图像内包含的标记并未包含在见习护理人的作业中的摄像图像中，或者即使包含也少于所设定的数量的情况下，考虑为视线偏离。而且，信息处理装置501针对各区域对所包含的标记进行分析，由此，能够以示教图像与实际的护理图像所包含的标记变得相同的方式，对作业中的护理人指示视线的朝向。

以上，详细说明了本发明的优选实施方式，但是本发明并不限定于该特定的实施方式。

例如在上述实施方式中，示出了以下示例：显示系统使用图像识别技术来生成示教图像、指示图像，使显示装置500进行显示。但是，也可以在车间等附加标记，使用摄像部527以包含标记的方式拍摄图像。而且，也可以是显示系统将标记用于对位来显示示教图像、指示图像。

以上，根据上述实施方式，能够适当地进行作业员的作业辅助。其结果，能够固定地保持作为作业结果的产品、服务等的质量，并且继承熟练作业员的作业技能。

另外，根据上述实施方式的处理，在显示系统内，能够通过简单的信息处理，将作业的示教图像、指示图像叠加显示在现实空间内，因此能够减少显示装置500与信息处理装置501的交换的量。因此，能够降低网络带宽的使用率。另外，在显示装置500中，能够通过更简单的信息处理，将作业的示教图像、指示图像叠加显示在现实空间内，因此能够降低显示装置500的CPU 521等的使用率。信息处理装置501也相同。

Claims (6)

1.一种显示系统，其特征在于，具有：

示教图像获取单元，其获取所登记的作业的示教图像；

显示单元，其将通过上述示教图像获取单元获取的上述作业的示教图像显示在进行上述作业的作业员所佩戴的显示装置的显示部中，由此对现实空间叠加显示上述作业的图像；

摄像图像获取单元，其获取与上述作业员的上述作业有关的摄像图像；以及

生成单元，其根据通过上述摄像图像获取单元获取的上述摄像图像和通过上述示教图像获取单元获取的上述作业的示教图像，生成指示图像，

上述显示单元将通过上述生成单元生成的上述指示图像显示在上述显示部中，由此对上述现实空间还叠加显示上述指示图像。

2.根据权利要求1所述的显示系统，其特征在于，

该显示系统还具有：

登记单元，其登记作业的作业图像；以及

设定单元，其设定通过上述登记单元登记的上述作业图像中的示教图像。

3.一种信息处理装置，其特征在于，具有：

示教图像获取单元，其获取所登记的作业的示教图像；

生成单元，其根据通过能够经由网络通信的显示装置获取的摄像图像和通过上述示教图像获取单元获取的上述作业的示教图像，生成指示图像；以及

发送单元，其将通过上述生成单元生成的指示图像发送至上述显示装置。

4.一种由信息处理装置执行的信息处理方法，其特征在于，包括：

示教图像获取步骤，获取所登记的作业的示教图像；

生成步骤，根据通过能够经由网络通信的显示装置获取的摄像图像和通过上述示教图像获取步骤获取的上述作业的示教图像，生成指示图像；以及

发送步骤，将通过上述生成步骤生成的指示图像发送至上述显示装置。

5.一种由显示系统执行的信息处理方法，其特征在于，包括：

示教图像获取步骤，获取所登记的作业的示教图像；

第一显示步骤，将通过上述示教图像获取步骤获取的上述作业的示教图像显示在进行上述作业的作业员所佩戴的显示装置的显示部中，由此对现实空间叠加显示上述作业的图像；

摄像图像获取步骤，获取与上述作业员的上述作业有关的摄像图像；

生成步骤，根据通过上述摄像图像获取步骤获取的上述摄像图像和通过上述示教图像获取步骤获取的上述作业的示教图像，生成指示图像；以及

第二显示步骤，将通过上述生成步骤生成的上述指示图像显示在上述显示部中，由此对上述现实空间还叠加显示上述指示图像。

6.一种程序，其特征在于，用于使计算机执行以下步骤：

示教图像获取步骤，获取所登记的作业的示教图像；

生成步骤，根据通过能够经由网络通信的显示装置获取的摄像图像和通过上述示教图像获取步骤获取的上述作业的示教图像，生成指示图像；以及

发送步骤，将通过上述生成步骤生成的指示图像发送至上述显示装置。