CN114144806A - 任务分配装置、任务分配系统、方法以及程序 - Google Patents
任务分配装置、任务分配系统、方法以及程序 Download PDFInfo
- Publication number
- CN114144806A CN114144806A CN201980098534.3A CN201980098534A CN114144806A CN 114144806 A CN114144806 A CN 114144806A CN 201980098534 A CN201980098534 A CN 201980098534A CN 114144806 A CN114144806 A CN 114144806A
- Authority
- CN
- China
- Prior art keywords
- robot
- operator
- information
- abnormal event
- operation terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 176
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000005856 abnormality Effects 0.000 description 14
- 239000000575 pesticide Substances 0.000 description 14
- 238000004140 cleaning Methods 0.000 description 12
- 201000010099 disease Diseases 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 11
- 241000607479 Yersinia pestis Species 0.000 description 10
- 230000010485 coping Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 10
- 241000238631 Hexapoda Species 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 241000227653 Lycopersicon Species 0.000 description 7
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 7
- 239000003905 agrochemical Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 235000013399 edible fruits Nutrition 0.000 description 7
- 238000005507 spraying Methods 0.000 description 7
- 241000196324 Embryophyta Species 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 241001124076 Aphididae Species 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000005266 casting Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 238000003306 harvesting Methods 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 238000004092 self-diagnosis Methods 0.000 description 4
- 239000007921 spray Substances 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- PGOOBECODWQEAB-UHFFFAOYSA-N (E)-clothianidin Chemical compound [O-][N+](=O)\N=C(/NC)NCC1=CN=C(Cl)S1 PGOOBECODWQEAB-UHFFFAOYSA-N 0.000 description 2
- 239000005888 Clothianidin Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 244000170506 Etlingera solaris Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- YASYVMFAVPKPKE-UHFFFAOYSA-N acephate Chemical compound COP(=O)(SC)NC(C)=O YASYVMFAVPKPKE-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000007864 aqueous solution Substances 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Manipulator (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
任务分配装置具备:操作终端连接部,管理操作者具有的操作终端的连接状态;状态接收部,从机器人接收状态信息;信息控制部,在基于所述状态信息判断为所述机器人发生了异常事件的情况下,从可用操作者中选择用于处理该异常事件的操作者;以及发送部,将针对所述机器人的异常事件的处理请求与所述机器人的状态信息一起发送到所述被选择的操作者的操作终端。
Description
技术领域
本发明涉及一种用于向适当的操作者分配处理机器人发生的异常事件的任务的任务分配技术。
背景技术
随着近年来信息技术的发展,机器人可以判断周围的状况并自主地进行处理。然而,由于机器人尚未自动化为应对所有状况,因此在机器人陷入无法应对的异常状况的情况下,必须由人来处理该异常事件。
由于能够远程操作机器人,因此考虑委托位于远程地点的某一操作者通过远程操作来处理异常事件。作为这样通过远程操作来应对异常事件的技术,可以列举出专利文献1、2。
专利文献1公开了如下内容:服务器公开希望请人远程操作的任务,根据来自远程操作者的投标来决定委托该任务的远程操作者。然而,在该方法中,如果没有来自远程操作者的投标就无法执行任务,因此存在缺乏即时响应性的问题。
专利文献2所公开的自主行走机器人构成为:在检测到障碍物时输出促使远程操作的信号,通过远程操作来回避障碍物。该自主行走机器人构成为:预先存储过去回避了障碍物时的操作信息,在需要重新回避障碍物时能够参照。在专利文献2中,假设自主行走机器人与远程操作者预先建立了联系。在机器人与远程操作者一一对应的情况下,存在需要多个远程操作者的问题。另外,在一个远程操作者与多个机器人建立联系的情况下,存在当多个机器人同时发生需要远程操作的事件时无法处理的问题。
现有技术文献
专利文献
专利文献1:国际公开第2008/140011号
专利文献2:日本特开2013-206237号公报
发明内容
发明需要解决的技术问题
本发明的目的在于能够迅速地处理机器人发生的异常事件。
用于解决技术问题的技术方案
为了实现上述目的,本发明采用以下构成。
具体而言,本发明的第一方式为一种任务分配装置,具备:操作终端连接部,管理操作者具有的操作终端的连接状态;状态接收部,从机器人接收状态信息;信息控制部,在基于所述状态信息判断为所述机器人发生了异常事件的情况下,从可用操作者中选择用于处理该异常事件的操作者;以及发送部,将针对所述机器人的异常事件的处理请求与所述机器人的状态信息一起发送到所述被选择的操作者的操作终端。
在本公开中,机器人包括能够自主地执行某种动作的任意装置。典型地,机器人是包括传感器和致动器,构成为基于从传感器得到的信息自主地控制致动器的装置。机器人可以是可自主移动的移动机器人,也可以是无法自主移动的固定型机器人。
机器人的状态信息至少可以是能够掌握机器人的当前状态的信息。作为机器人的状态信息的例子,包括从机器人所具备的传感器得到的传感器信息、机器人基于传感器信息解析的解析结果。需要说明的是,不需要将机器人的所有状态信息发送到任务分配装置,只要至少发送能够判断机器人发生了异常事件的状态信息即可。另外,从机器人接收状态信息包括从机器人接收状态信息和经由其他装置接收状态信息这两者。
异常事件是指机器人无法进行或者被判断为不适合进行自动处理的事件。或者,异常事件可以理解为需要由人来进行操作或确认的事件。异常事件可以包括在状态信息中,也可以由任务分配装置根据状态信息来判断。
由操作终端连接部进行的操作终端的连接状态的管理可以包括确立多个操作终端的在线状态,以及监视在线状态。需要说明的是,在线状态包括操作终端能够立即响应来自任务分配装置的通知的状态。
信息控制部在判断为机器人发生了异常事件的情况下,选择用于处理该异常事件的操作者。能够根据状态信息的内容来判断是否发生了异常事件。另外,在仅当发生了异常事件时向任务分配装置通知状态信息的实施方式中,如果信息控制部接收到状态信息,则信息控制部可以在不参照该内容的情况下判断发生了异常事件。信息控制部例如也可以选择与处于在线状态的操作终端相关联的操作者作为用于处理接收到的异常事件的操作者。信息控制部也可以选择满足没有正在处理其他机器人的异常事件这一条件的操作者。但是,在没有能够处理的操作者的情况下不限于此。
本方式由于具有上述那样的构成,因此可以选择能够迅速应对异常事件的操作者。换言之,在机器人发生了异常事件时,能够迅速地应对该异常事件。
本方式所涉及的任务分配装置还可以具有存储操作者的技能的操作者信息存储部。另外,信息控制部也可以选择具有与机器人的种类以及异常事件中的至少一方相匹配的技能的操作者。
根据这样的构成,能够针对发生的异常事件选择适当的操作者。
本方式所涉及的任务分配装置还可以具有:接收部,从所述操作终端接收针对所述机器人的操作指令;输出部,对所述机器人输出所述操作指令;以及应对信息存储部,将所述机器人的状态和来自所述操作者的操作内容相关联并存储。
在本方式中,也可以是,所述接收机构从所述操作终端接收针对所述机器人的异常事件的处理结果,所述应对信息存储部将所述处理结果与所述机器人的异常事件以及所述操作者相关联并存储。处理结果的内容没有特别限定,例如可以是表示异常事件是否解决的内容,也可以是要求其他操作员在现场进行确认的内容。
在本方式中,也可以是,所述信息控制部参照所述应对信息存储部来评价所述操作者的技能,并更新所述操作者信息存储部。
在本方式中,也可以是,所述操作者信息存储部存储所述操作者的使用费用,所述信息控制部参照所述应对信息存储部,根据所述操作者的应对历史记录来决定应支付的报酬。
在本方式中,也可以是,所述信息控制部对所述机器人的异常事件进行分类,选择与异常事件的种类对应的操作者,作为用于处理所述异常事件的操作者。例如,也可以对每个异常事件的种类预先决定对应的操作者或者操作者的组。这样,由于由特定的操作者处理相同种类的异常事件,因此这些操作者对该种类的异常事件的熟练度增加。
在本方式中,也可以是,所述发送部根据来自所述操作者的请求,向位于设置有所述机器人的现场的管理者的操作终端发送所述机器人的状态信息。这样,在操作者判断为需要在机器人的作业现场进行处理的情况下,现场的管理者能够进行确认。
在本方式中,也可以是,在状态信息中包括由搭载在机器人的摄像机拍摄的图像,和从机器人所具备的传感器得到的传感器信息的解析结果。操作者通过参照这些信息,容易处理异常事件。
本发明的第二方式是一种任务分配系统,具备:机器人;操作终端,用于远程操作所述机器人;以及上述的任务分配装置。
在本方式中,所述操作终端也可以构成为:当接收到针对所述机器人异常事件的处理请求时,在显示部上显示该状态信息和用于操作所述机器人的图形用户界面(GUI)。
在本方式中,机器人可以是固定型机器人,也可以是移动机器人。移动机器人也可以是具有移动装置、传感器和摄像机,且可自主移动的移动机器人。也可以是在移动机器人上搭载有臂型机器人的机器人。
需要说明的是,本发明可以理解为具有上述构成或功能的至少一部分的任务分配装置或任务分配系统。另外,本发明也可以理解为包括上述处理的至少一部分的任务分配方法,或者用于使计算机执行该方法的程序,或者非临时性地记录了这样的程序的计算机可读取的记录介质。只要在技术上不产生矛盾,上述各个结构以及处理可以相互组合来构成本发明。
发明效果
根据本发明,能够迅速地处理机器人发生的异常事件。
附图说明
图1是表示实施方式所涉及的任务分配系统的构成例的图。
图2是表示在实施方式中任务分配服务器进行的处理的流程图。
图3是表示在实施方式中任务分配服务器进行的处理的流程图。
图4是说明在实施方式中信息控制部进行的处理的图。
图5是表示实施例1中的操作者信息DB的例子的图。
图6是表示实施例1中的应对信息DB的例子的图。
图7是表示实施例1中的机器人拍摄的图像的例子的图。
图8是表示实施例1中的机器人拍摄的图像的例子的图。
图9是说明实施例1中的针对异常事件的处理结果的图。
图10是表示实施例2所涉及的机器人的构成例的图。
图11A、图11B是表示实施例2中的机器人拍摄的图像的例子的图。
图12是表示实施例2中的操作信息DB的例子的图。
图13是表示实施例2中的应对信息DB的例子的图。
图14是表示实施例2中的操作者终端显示的机器人的远程操作用的图形用户界面的图。
具体实施方式
<应用例>
图1是表示应用了本发明的任务分配系统的构成例的框图。任务分配系统包括任务分配服务器(任务分配装置)1、操作终端2、固定型机器人3a和移动机器人3b这样的机器人而构成。以下,在不需要区别固定型机器人3a和移动机器人3b时,有时也简称为机器人3。任务分配服务器1和操作终端2通过因特网那样的广域网连接,操作者位于远离机器人3的作业位置的远程地点。
在本系统中,任务分配服务器1(以下也简称为服务器1)在机器人3发生了异常事件时,选择用于应对该异常事件的操作者,向所选择的操作者分配针对异常事件的处理任务。需要说明的是,服务器1也可以构成为,针对每个操作者,将每个机器人3的种类或者异常事件的种类的处理技能作为信息保存,选择发生了异常事件的机器人3或者具有处理该异常事件的技能的操作者。
操作者使用操作终端2进行机器人3的操作来处理异常事件。需要说明的是,对机器人3的操作指示经由服务器1发送到机器人3,服务器1能够存储操作内容的历史记录。
[构成]
服务器1是具备CPU11、记忆体12、存储器13、网络接口(未图示)等的计算机。通过CPU11将存储在存储器13中的程序加载到记忆体12中并执行,服务器1提供以下功能。即,服务器1具有状态接收部101、信息控制部102、发送部103、操作终端连接部104、接收部105、输出部106、操作者信息DB107、应对信息DB108作为其功能部。DB是指数据库。
状态接收部101从固定型机器人3a或移动机器人3b接收状态信息。需要说明的是,状态接收部101从固定型机器人3a经由机器人控制器5a接收状态信息,从移动机器人3b经由无线通信装置6接收状态信息。状态信息可以仅在机器人3发生了异常事件时从机器人3发送到服务器1,也可以无论是否发生异常事件都从机器人3发送到服务器1。
信息控制部102进行如下处理:在机器人3发生了异常事件时,选择处理该异常事件的操作者;保存来自操作终端的操作内容(应对历史记录);评价操作者的技能;以及决定支付给操作者的报酬等。详细说明如下。
发送部103向操作终端2发送针对机器人3的异常事件的处理请求以及机器人3的状态信息。
操作终端连接部104确立与操作终端2之间的连接,并监视操作终端2的在线状态。在此,在线状态是指操作终端2可以立即与服务器1进行通信并向机器人3发送操作指令的状态。另外,在线状态不仅意味着服务器1与操作终端2之间的连接状态,还意味着操作者可以立即应对请求。因此,操作终端连接部104例如也可以不从操作终端2接收表示操作者的输入的信息,在不明确操作者能否立即应对的情况下进行询问。需要说明的是,在线状态也可以通过对操作终端2的推送通知来确立连接。另外,操作终端连接部104不仅管理操作终端2的在线状态,还管理操作终端2是否正在处理某个机器人3的异常状态,换言之,管理是否能够应对新的机器人3的异常事件。与操作终端2的状态有关的信息例如存储在记忆体12中。
接收部105接收操作者输入到操作终端2并发送到服务器1的信息。从操作终端2发送的信息包括针对机器人3的操作指令、针对异常事件的处理结果。针对机器人3的操作指令经由输出部106发送到机器人3,并且作为应对历史记录保存在应对信息DB108中。另外,针对异常事件的处理结果也作为应对历史记录保存在应对信息DB中。
操作者信息DB107存储与操作者有关的信息。应对信息DB108存储针对异常事件的应对历史记录的内容。以下,参照图5、图6说明这些数据库。
输出部106将从操作终端2输入的机器人3的操作指令发送到机器人3。需要说明的是,针对固定型机器人3a的操作指令被发送到机器人控制器5a,机器人控制器5a根据该操作指令的内容来控制机器人3a。针对移动机器人3b的操作指令经由无线通信装置6被发送到移动机器人3b内的机器人控制器5b,机器人控制器5b按照该操作指令的内容来控制移动机器人3b。以下,在不需要区别机器人控制器5a和机器人控制器5b时,有时也简称为控制器5。
操作终端2是能够与服务器1通信并且能够远程操作固定型机器人3a以及移动机器人3b的任意的计算机。作为操作终端2,可以示例出台式PC、笔记本型PC、平板终端、智能手机终端。操作终端2也可以是用于远程操作机器人的专用的示教器。操作终端2根据机器人3的种类向用户提供不同种类的操作用GUI。该GUI可以是操作终端2自身生成的,也可以是由服务器1或其他装置提供的。操作者能够通过操作终端2的GUI来掌握机器人3的状态信息。该状态信息中包括从机器人3的传感器得到的传感器信息、该传感器信息的解析结果、由机器人3所具有的摄像机拍摄的图像。操作终端2从服务器1接收需要处理的状态的信息,并将其显示在画面上,促使操作者进行操作。操作者能够经由操作终端2的GUI输入或发送针对机器人3的操作指令、以及针对机器人3的操作的结果。输入信息从操作终端2发送到服务器1的接收部105。
机器人3是能够自主地执行某种动作的装置。固定型机器人3a具有致动器和传感器,根据从传感器得到的信息来控制致动器,由此执行处理。固定型机器人3a的控制内容由机器人控制器5决定。作为固定型机器人3a的例子,可以列举出FA用机器人、NC机床、成型机、压力机、饲养动植物的自动喂食装置、栽培植物的自动浇水施肥装置,但并不限定于这些例子。
除了致动器和传感器以外,移动机器人3b还搭载有移动装置和机器人控制器5b,且是能够自主移动并在移动目的地执行某种动作的装置。作为移动机器人3b的例子,可以列举出搬运机器人、清扫机器人、服务机器人、警备机器人、与臂型机器人组合的机器人等,但并不限定于这些例子。
固定型机器人3a、移动机器人3b都优选具有摄像机(摄像机构)作为传感器。摄像机可以是可见光摄像机、红外摄像机、三维摄像机等任意的摄像机。
机器人控制器5基于从机器人3的传感器得到的信息,按照预先定义的程序来控制机器人3。需要说明的是,机器人控制器5也可以构成为能够通过在线学习来动态地变更控制内容。
机器人控制器5构成为能够判断机器人3是否发生了无法自动进行处理,或者不适合自动进行处理的事件。在本公开中,将这样的事件称为异常事件。作为异常事件的例子,可以列举出从机器人控制器5向机器人3发送的操作指示与从机器人3返回的操作结果不一致、机器人3没有按照操作指示进行动作的事件。另外,作为异常事件的例子,可以列举出发生需要由人来进行确认的事件。作为这样的事件,可以列举出机器人3的温度异常上升、产生异常声音、操作对象物异常。
[数据库]
操作者信息DB107存储与操作者有关的信息。例如,如图5所示,操作者信息DB107存储有操作者ID501、操作终端信息502、技能信息503、时薪504以及作业时间历史记录505。这些仅是示例,操作者信息DB107可以不存储这些所有的信息,也可以存储其他信息。
操作者ID501是用于在系统内唯一地确定操作者的标识符。操作者使用该操作者ID和未图示的密码登录系统,保持在线状态。操作终端信息502是与保持在线状态的操作终端2有关的信息,包括为了从服务器1确定并连接操作终端2而需要的信息,例如IP地址、MAC地址。操作终端信息502包括表示PC或智能手机终端那样的操作终端2自身的特性的信息、与操作终端连接的特殊的用户界面(UI)的信息,这些信息用于任务的匹配。特殊UI例如是为了操作末端执行器的手指部分而戴在手上的传感器等。
技能信息503包括技能持有信息503a、技能评价503b。图中所示的技能1、技能2、…技能N是与任务分配系统所连接的机器人3有关的技能,将这些统称为技能信息503。如果操作者具有可以对技能N进行操作的技能,则在技能持有信息503a中登录“是”,否则登录“否”。另外,在操作者具有技能N的情况下,将该评价登录为技能评价503b。技能评价503b通过针对技能N的经验次数、响应速度、系统内的评价者(管理者)给出的评价等来决定值。例如,可以设定从1到10的值,10可以设定为最高等级。另外,也可以基于操作者针对异常事件的应对结果,服务器1自动更新操作者的技能评价。
时薪504是操作者具有的技能等中设定的每单位时间的报酬。从雇佣者的立场出发,时薪504表示操作者的使用费用。在此,将时薪的单位作为点数,这是为了能够配合操作者的居住地域的最低工资(或者其他工资水平)进行报酬计算。作业时间历史记录505记录操作者工作的时间的累计。作业时间历史记录505可以按日、周、月等统计操作者工作的时间,可以用于报酬计算。
应对信息DB108存储针对异常事件的应对历史记录的内容。在应对信息DB108中,针对每个异常事件,将机器人3的状态和来自操作者的操作内容相关联地存储。例如,如图6所示,应对信息DB108存储异常事件的发生时刻601、发生了异常事件的机器人ID602、状态信息603、操作信息604、操作结果605、操作者ID606、应对时间607。这些仅是示例,操作者信息DB107可以不存储这些所有的信息,也可以存储其他信息。
异常事件的发生时刻601表示机器人3发生异常事件、服务器1(状态接收部101)从机器人控制器5接收到异常事件的状态信息的时间。机器人ID602是用于在系统内唯一地确定发生了异常事件的机器人3的标识符。
状态信息603是从机器人3发送来的异常状态以及状况等信息。操作信息604是以发送来的状态信息为基础,操作者为了将异常状态恢复到通常状态而指示机器人3进行的操作的信息。关于状态信息603以及操作信息604将在说明实施例时详细说明。
操作结果605是用于记录根据操作信息操作了机器人3的结果的信息。操作者ID606是用于唯一地确定处理异常事件的操作者的标识符。应对时间607表示将异常状态恢复到正常状态所需的时间。在无法恢复到通常状态的情况下,表示操作者判断为仅通过远程操作无法解决的时间。
[处理]
图2、图3是表示在任务分配系统中服务器1进行的处理的流程图。
在步骤S101中,当服务器1的接收部105从操作终端2接收到连接请求时,在步骤S102中,操作终端连接部104进行操作终端2的连接管理,即连接的确立和在线状态的监视。另外,操作终端连接部104还管理操作终端2是否正在处理某个机器人3的异常事件。操作终端连接部104的连接管理在步骤S102以后也继续,直到操作终端2切断连接为止。
在步骤S103中,状态接收部101从机器人3(固定型机器人3a或移动机器人3b)接收状态信息。在此,假设从机器人3向服务器1的状态信息的发送仅在发生了异常事件时进行,因此在接收到状态信息的情况下可以自动地判断为机器人3发生了异常事件。但是,机器人3也可以构成为无论是否有异常事件都向服务器1发送状态信息,在该情况下,信息控制部102也可以参照状态信息来判断机器人3是否发生了异常事件,在判断为发生了异常事件的情况下执行步骤S104以后的处理。
在步骤S104中,信息控制部102进行针对异常事件的处理任务与操作者的匹配,即选择处理异常事件的操作者。具体而言,信息控制部102考虑操作者的技能和异常事件,从可用操作者中选择分配处理任务的操作者。如图4所示,信息控制部102将状态接收部101接收到的状态信息中包括的机器人3的种类(类型)以及状态(不良状态)与操作者信息DB107中包括的信息进行比较,提取适当的操作者。作为匹配(分配)任务的操作者的条件,首先可以列举出在线状态。作为其他条件,也可以列举出针对发生了异常事件的机器人种类的处理技能、或者针对异常事件的种类的处理技能是所要求的水准这一条件。另外,也可以采用没有正在执行其他任务这一条件。另外,在能够处理异常事件的所有操作者正在执行其他任务的情况下,也可以匹配正在执行其他任务的操作者。此外,也可以考虑付给操作者的报酬来决定匹配的操作者。例如,信息控制部102可以将满足技能等于或高于请求水准这一条件并且基于技能和报酬决定的得分最高的操作者决定为匹配的操作者。在此,假设需要的技能越高得分越高,报酬越低得分越高。
需要说明的是,信息控制部102也可以将机器人的异常事件分类为几个种类,根据异常事件的种类对特定的操作者分配各异常事件。在此,优选的是,与异常事件应对的特定操作者典型地为多个操作者,信息控制部102对与异常种类应对的同一组内的操作者分配异常事件。但是,并不排除将某个种类的异常事件分配给特定的一个操作者的情况。
在步骤S105中,信息控制部102确定在步骤S104中选择的操作者的操作终端2,对确定的操作终端2发送针对异常处理的处理请求以及机器人3的状态信息。如图4所示,信息控制部102参照操作者信息DB107,取得所选择的操作者的操作终端信息。操作终端信息是用于与操作终端2进行通信的信息,例如是IP地址或MAC地址。操作终端信息可以包括终端种类信息。信息控制部102将经由状态接收部101从机器人3接收到的状态信息和操作终端信息作为发送信息传递给发送部103。发送部103对由操作终端信息确定的操作终端2发送状态信息以及任务执行委托。
操作终端2在接收到针对异常事件的处理任务以及机器人3的状态信息时,在显示部上显示用于操作该机器人3的GUI。在该GUI中,能够进行机器人3的状态信息的确认、针对机器人3的操作信息(操作指令)的输入、处理结果的输入等。针对机器人3的操作信息可以是用于实时控制远程操作机器人3的指令,也可以是进行一系列步骤的处理的指令。输入到操作终端2的针对机器人3的操作信息从操作终端2发送到服务器1,由接收部105接收。
在步骤S106中,接收部105从操作终端2接收信息。由接收部105接收的接收信息包括操作终端信息以及操作信息。
在步骤S107中,信息控制部102从接收信息中提取操作信息,从输出部106将该操作信息发送到对象机器人3。由此,能够使机器人3进行操作者指示的动作。
需要说明的是,虽然在图2、3的流程图中没有示出,但在根据来自操作终端2的操作指令等更新了机器人3的状态的情况下,也可以从机器人3直接或经由服务器1向操作终端2发送机器人3的状态信息。这样,操作者能够掌握机器人3的最新状态。
在机器人3根据来自操作者的操作指令进行动作后,操作者评价该操作的结果,输入到操作终端2并发送到服务器1。作为操作结果的例子,可以列举出针对异常事件的处理是否完成,是否需要由管理者在现场进行事后确认。需要说明的是,处理完成包括恢复正常状态的情况和判断为不需要处理(不是异常)的情况。需要说明的是,也可以通过状态接收部101接收机器人3根据来自操作者的操作指令恢复通常动作的状态信息,来完成针对异常事件的处理。在该情况下,任务分配服务器1将操作结果发送到操作终端2。
在步骤S108中,接收部105从操作终端2接收操作结果。
在步骤S109中,信息控制部102将从机器人3接收到的状态信息与从操作终端2接收到的操作信息以及操作结果相关联并存储在应对信息DB108中。由此,将机器人3处于怎样的状态时操作者进行了怎样的操作作为历史记录留下。另外,信息控制部102也可以将从操作者开始针对异常事件的处理任务到结束为止所需的时间存储在应对信息DB108中。由此,能够掌握操作者的作业时间,能够用于操作者的报酬计算、操作者的技能评价。需要说明的是,作业时间和报酬等信息也可以存储在操作者信息DB107中。
在步骤S110中,信息控制部102判断针对异常事件的处理是否完成。该判断可以基于从操作终端2发送的操作结果信息来进行。在处理未完成的情况下(S110-否),返回步骤S105,进行基于来自操作者的指示的机器人3的操作。需要说明的是,在这里委托与上次相同的操作者进行处理,但也可以返回步骤S104重新选择进行处理的操作者。在该情况下,也可以根据需要,从候选中排除上次的操作者,选择其他操作者。另外,在处理完成的情况下(S110-是),处理进入步骤S111。
在步骤S111中,信息控制部102基于存储在应对信息DB108中的应对历史记录以及结果,评价操作者的技能,更新存储在操作者信息DB107中的技能。在技能的评价中,考虑针对异常事件的处理结果、处理的内容、处理所需的时间等。
在步骤S112中,信息控制部102基于存储在操作者信息DB107中的操作者的每单位时间的报酬和处理异常事件所需的时间,决定应支付给操作者的报酬额。
需要说明的是,在此,每当进行针对异常事件的处理时,进行技能评价(S111)以及报酬计算(S112),但这些处理也可以在适当的时机另外进行。
另外,在上述的例子中,说明了在机器人3发生了异常事件的情况下,操作者对机器人3进行某种操作,但实际上操作者也可以不进行针对机器人3的操作。例如,即使在机器人3发生了异常事件的情况下,也存在操作者确认机器人3的状态但可以确认实际上没有发生异常的情况。在这样的情况下,操作者可以不发送针对机器人3的操作指令,而从操作终端2向服务器1发送表示不需要处理的信息。
[有利效果]
根据本实施方式,能够使位于远程地点的操作者处理机器人3发生的异常事件。在此,任务分配服务器1进行与操作终端2的连接管理,选择能够立即应对的操作者来进行任务分配,因此能够迅速地应对异常事件。另外,考虑操作者的技能,根据机器人的种类或异常事件的种类来选择适当的操作者来进行任务分配,因此能够进行适当地应对异常。
不需要使操作者在工厂等机器人的作业位置等待,操作者能够从远程地点操作多个场所的机器人。因此,如果导入本系统,则不需要使与机器人的异常处理对应的人员在本公司工厂等待,因此能够削减成本。
近年来,有人指出由少子高龄化引起的劳动力不足或在地方的就业不足等问题,但由于本实施方式提供了将工厂(机器人的作业场所)和远程地点的劳动力联系起来的社会基础设施或平台,因此有助于解决这些问题。在本系统中,操作者不需要在特定的场所工作,能够从远程地点进行作业。因此,能够提供即使是长距离上下班困难的人也容易工作的环境,因此即使是高龄者或地方居民也能够进行作业。
另外,为了解决日本的劳动力不足,正在讨论外国人劳动和日本移民。本系统中的操作者可以不在日本国内而在外国。如果将操作终端的界面设为外语,则外国人可以从外国进行操作,因此也具有不使外国人移民就能够输入劳动力的效果。
<实施例1>
在此,以移动机器人3b是通过自动驾驶配送包裹等的配送机器人的情况为例,更具体地说明应用了本发明的任务分配系统。
本实施例中的配送机器人是采用车轮作为移动机构的移动机器人。在此,以对置两轮型的配送机器人为例进行说明,但配送机器人的移动机构也可以是对置两轮型以外的车轮移动机构、多脚式或环形轨道式的移动机构。配送机器人具有用于稳定地收容配送品的收容部。另外,配送机器人具有位置信息取得传感器、摄像机、LIDAR(光学雷达)、毫米波雷达、超声波传感器、加速度传感器等各种传感器,基于从这些传感器得到的传感器信息,内置的机器人控制器5控制配送机器人的移动及其他运动。
当发生异常事件时,配送机器人将状态信息发送到服务器1。另外,能够基于经由服务器1从操作终端2发送的操作指令进行动作。
在此,假定发生了配送机器人在无人即自动驾驶的配送途中,左车轮落到路上的孔中,在脱轮状态下停止的异常状态(异常事件)。如果不掌握配送机器人周围的状态而进行处理,则有可能陷入更危险的状态。例如,如果孔大于配送机器人,则存在配送机器人落入孔中的危险。因此,配送机器人在根据加速度传感器的信息判断为机体未保持水平的时间点,判断为发生了异常事件,将发生了异常事件与状态信息一起通知给服务器1。需要说明的是,判断在哪个时间点发生了异常事件是根据移动机器人的控制技术的水平和所要求的安全水平而变化的,上述基准仅是一个例子。
当状态接收部101从移动机器人3b接收状态信息(S103)时,该信息被存储在应对信息DB108中。如图6所示,异常事件的发生时刻601、发生了异常事件的机器人ID602以及状态信息603被存储在数据库中。
这里的状态信息603包括位置信息、车体的倾斜、车轮的状态、载货,以及由搭载在机器人3b的摄像机拍摄的图像。位置信息是从移动机器人3b搭载的GPS装置(位置信息取得传感器)得到的位置信息。车体倾斜是从移动机器人3b搭载的倾斜传感器(加速度传感器)得到的、表示车体的前后左右的倾斜的信息。例如,能够在发生了超过4度(绝对值)的倾斜时判断为异常。在该例子中,左右倾斜为-5度(负号表示向左下方倾斜),倾斜角度的绝对值超过阈值,因此判断为机器人3b处于异常状态。
车轮的状态为停止状态。这是因为机器人3b检测出异常而停止了车轮的驱动。载货信息是由发货人输入的信息。操作者可以基于载货信息,判断进行哪些操作、怎样进行。例如,如该例所示,如果载货是包裹,则即使稍微粗暴地处理也没有问题。另一方面,如果载货是饮料和食物,则需要慎重处理。另外,如果载货是饮料和食物,并且车体倾斜45度等较大的值,则可以认为与恢复异常状态相比,联系发货人才是上策。这是因为,如果饮料和食物在移动机器人3b的集装箱内侧翻,则即使送达配送目的地,也认为是没有意义的状态。
来自机器人摄像机的图像是由安装在移动机器人3b的车体的摄像机拍摄的图像(参照图7)。摄像机被安装成至少拍摄行进方向前方。机器人摄像机也可以在车体的周围安装多个,拍摄车体周围而拍摄的全景图像。或者,也可以是由全方位摄像机(360度摄像机)拍摄的全方位图像(360度图像)。
服务器1的状态控制部102可以根据从配送机器人(移动机器人)3b发送的状态信息判断为配送机器人3b发生了异常事件,因此,进行选择用于处理该异常事件的操作者的任务匹配处理(步骤S104)。由于该例子中的异常事件是针对配送机器人3b的不良,因此信息控制部102从处于在线状态且没有正在进行其他任务的处理的操作者中,选择具有用于处理该异常事件的技能的操作者。
作为在线状态且没有正在处理其他任务的操作者,考虑存在图5所示的操作者1和操作者2的情况。在此,操作者1、2都具有“移动机器人、配送、不良应对”的技能。信息控制部102考虑各操作者的该技能的评价和时薪来选择操作者。例如,在该例子中,选择技能2的评价更高,且时薪更便宜的操作者2。
信息控制部102对所选择的操作者的操作终端发送委托处理配送机器人3b发生的异常事件的请求、和配送机器人3b的状态信息(步骤S105)。接收到这些信息的操作终端2显示包括配送机器人3b的状态信息和用于操作配送机器人3b的GUI的画面。操作终端2具有用于显示这些信息的显示部和用于向机器人3b输入操作指示的用户界面。操作信息的输入可以通过键盘进行,也可以通过对画面的触摸来进行。作为其他用户界面的例子,有输入用于移动移动机器人3b的简单指示(程序、命令列)的界面。
例如,在操作终端2上显示配送机器人的状态信息(图6的状态信息603所示的信息)和由搭载在配送机器人3b的摄像机拍摄的图像(图7)。操作者根据这些信息,首先判断是否为需要某种处理的异常状态,在为异常状态的情况下是否能够通过远程操作进行处理,在能够通过远程操作进行处理的情况下应该进行怎样的操作等。
在本例中,操作者从图7所示的图像或其他传感器信息中读取以下内容。
·由于风景整体向右下倾斜,因此移动机器人3b向左倾斜。
·从倾斜的角度来看,左车轮脱轮的可能性高。
·由于没有沿着护栏的侧槽,因此在意外的孔中脱轮的可能性高。
·由于左右有护栏,因此即使操作移动机器人3b来移动也是比较安全的场所。
·在改变移动机器人3b的方向而使其后退或直行时,需要进行操作使其不与左右的护栏接触。
·由于左侧的护栏较近,因此为了从脱轮状态恢复,向右后方后退1米以内是安全的。
在发生异常事件时发送的状态信息和图像千差万别,对于人来说能够瞬间掌握上述事件,但对于计算机(AI等)来说是困难的。基于来自移动机器人3b的图像和其他状态信息,操作者可以得出配送机器人的左车轮已经落入孔中的结论。进而,操作者根据周围的状况,判断为即使向移动机器人3b的行进方向的右后方后退1米左右也没有问题,能够判断为移动移动机器人3b对于复原是必要的。如果没有在移动机器人3b中进行编程,则这样的状况判断和移动机器人3b的操作无法执行。事先进行能够应对所有状况的编程是不现实的,仍然需要由人(操作者)来进行判断,从而适当地处理千差万别的状况并进行操作。
操作者在这样的判断的基础上,决定如下给予移动机器人3b的操作指令。首先,作为第一步骤,指示在锁定右车轮的状态下使左车轮以-0.05m/s旋转。由于是左车轮落入孔中的状况,因此操作者指示将位于孔外的右车轮锁定,并以此为轴使左车轮缓慢地后退的动作。通过该动作,左车轮挂在落入的孔的边缘上,能够缓慢地提起左车轮。
作为第二步骤,在车体倾斜为0±2度(正常状态)的时间点,指示将右车轮速度变更为-0.05m/s。在车体的倾斜明显处于正常范围的时间点,能够判断左车轮已从孔中被提起。在该判断之后,使右车轮以与左车轮相同的速度后退,移动移动机器人3b以使其远离孔。需要说明的是,在即使第一步骤的动作持续一定时间也不能使车体倾斜成为正常状态的情况下,也可以指示异常结束。
作为第三步骤,操作者在10秒后停止车轮动作,用机器人3b的前方摄像机拍摄图像,并且指示执行自我诊断,判断是否恢复到通常状态。通过使第二步骤的后退动作持续10秒钟,移动到远离落入孔中的位置0.5米的位置。该值是应该根据周围的状况设定的值,值的决定也适合由人(操作者)来进行。可以认为通过远离孔0.5米,搭载在机器人3b上的摄像机能够拍摄孔。
作为第三步骤的操作,执行自我诊断是为了再确认。自我诊断车体倾斜是否在正常范围内,并且自主移动机器人3b在功能上是否有问题,如果恢复到通常状态,则可以从那里继续进行配送作业。有时候即使移动机器人3b判断为自我诊断的结果正常,但操作者判断为异常状态仍在继续,在这样的情况下,可以优先操作者的判断。
操作者从操作终端2经由服务器1向移动机器人3b发送由上述第一至第三步骤构成的操作指令(步骤S106、107)。在本实施例中,假设操作者将上述第一至第三步骤的指示一并发送到移动机器人3b。然而,可以以各个步骤的单位发送指示,也可以以更详细的单位发送指示。另外,在实时发送来自移动机器人的状态信息的情况下,操作者也可以实时远程操作移动机器人。
移动机器人3b根据上述的操作指令进行动作,并且将作为其结果得到的信息经由服务器1或直接发送到操作终端2。作为第一至第三步骤的结果,移动机器人3b从脱轮状态恢复并从孔后退,从而可以得到如图8所示的拍摄到孔的图像。
在本例中,操作者从图8所示的图像中读取以下内容。
·根据风景整体移动机器人3b已成为水平状态。
·按照操作信息的指示,已从停止位置向右后方移动。
·可以从图像中识别孔,由于左车轮在该孔中脱轮而成为异常状态。
·如上所述,移动机器人3b已恢复正常状态。
服务器1能够与GPS的位置信息一起记录在道路上有孔的情况。由此,如图9所示,能够掌握道路上的孔的位置901,今后在该道路上行走的移动机器人3b通过参考孔的位置901来决定行走路径902,能够更可靠地避免落入孔中。
另外,除了图8所示的图像以外,还向操作终端2发送并显示表示车体倾斜为0度且自我诊断的结果正常等的信息。
操作者参照从移动机器人3b发送的状态信息,输入操作的结果并发送到服务器1(步骤S108)。在本例中,输入表示恢复到通常状态的操作结果。服务器1将所发送的操作结果与进行的操作内容、操作者ID、应对所需的时间一起存储在应对信息DB108中(步骤S109)。这样,通过将状态信息、操作信息及其结果信息相关联并保存,能够积累在怎样的状况下通过怎样的操作可以恢复正常状态的知识。操作结果的信息可以由操作者手动输入到操作终端2,也可以由移动机器人3b自我判断。
需要说明的是,也可以假设在一次操作中没有恢复到通常状态,为了恢复到通常状态而反复进行反复试验的情况。在该情况下,再次进行来自操作者的操作指令的输入。需要说明的是,服务器1可以委托同一操作者继续处理,也可以选择新的操作者而由其他操作者对异常事件进行处理。
<实施例2>
接着,以移动机器人3b是进行番茄的栽培管理的农业机器人的情况为例,具体说明应用了本发明的任务分配系统。
本实施方式中的移动机器人3b至少能够自主地移动而在农田或塑料温室内巡回,具有拍摄照片并传送的功能。如图10所示,移动机器人3b具备:主体(行走部),包括移动机构1011、机器人控制器1012、位置信息取得装置1013、摄像机1014和电源(未图示);以及臂1020,包括农药收容部1021、农药喷洒部1022、照明部1023和摄像机1024。在此,使一个臂1020具有图像拍摄和农药喷洒的功能,但也可以使不同的臂具有各功能。另外,臂1020能够进行果实的收获,或将叶分开或抓起。另外,移动机器人3b除了图示以外,也可以具备距离传感器或加速度传感器等其他传感器。
移动机构1011是车轮型或环形轨道式等的移动机构。机器人控制器1012与上述相同。位置信息取得装置1013是用于确定农田或塑料温室内的机器人的位置的装置。位置信息取得装置1013可以是GPS装置,也可以是读入安装在农田、塑料温室或植株上的条形码或RFID(射频识别,Radio-freqency identification)的装置。摄像机1014在比较宽的范围内拍摄机器人的周围。
移动机器人3b具有由农药收纳部1021和农药喷洒部1022进行的农药喷洒功能,在需要喷洒农药的机器人进行判断时,能够自动地喷洒农药。农药例如从臂喷洒。在有害虫的情况下或有病害的情况下,能够根据臂式摄像机1024的图像判别害虫的种类或病情,能够对所确定的害虫或病情确定有效的农药的种类。例如,在存在茄二十八星瓢虫的情况下,可以判断氯噻硝基呱(clothianidin)水溶液有效。为了可以应对多种害虫或病情,农药收容部1021也可以搭载多种农药。需要说明的是,根据从摄像机1024得到的图像可知有发生异常的可能性,但有时机器人难以自动地判断是否实际上是异常、以及在是异常的情况下应该如何处理。例如,在叶有变色的情况下,有害虫、霉菌、病毒等多种原因,应该根据原因使用不同的农药。
机器人臂1020能够前后左右移动,能够插入到茂盛的叶中。在机器人臂1020的前端搭载有摄像机1024和照明部1023,通过使臂1020旋转,能够变更摄像机1024和照明部1023的拍摄以及照明的方向。例如,通过使摄像机1024以及照明部1023朝上,能够拍摄叶的背侧(参照图11A)。
图11A是表示由移动机器人3b的主体摄像机1014拍摄的图像1101的例子的图。在图像1101中,在臂1020伸展的状态下拍摄臂1020。如图所示,在番茄叶表的一部分可以发现变色部分1102。假定机器人控制器1012判断为仅根据叶表的变色部分1102的图像无法确定变色的原因,并判断为需要使臂1020动作来拍摄叶背的图像。机器人控制器1012在使臂摄像机1024以及照明部1023朝上的状态下将臂延伸到叶背的位置,实施摄像机1024的拍摄。上述一系列的动作仅是一个例子,即使在叶没有发现变色部分,也可以控制机器人3b对全部植株进行检查。另外,在没有异常的情况下,也可以不将图像发送到操作终端。
图11B是表示由臂摄像机1024拍摄的叶背的图像1103的图。通过对图像1103实施图像处理,能够识别在叶背也有变色部分1104,另外,在其周围有多个同样大小的小斑点1105。该图像处理可以由机器人控制器1012或组装在机器人3b中的其他处理装置进行,也可以由从机器人3b发送了图像的外部装置进行。根据该图像处理的结果,机器人控制器1012判断为虽然发生异常的可能性高,但是不明确如何处理,因此发生了应该由操作者(人)来进行判断的事件,即异常事件。因此,机器人控制器1012将状态信息发送到服务器1。
当服务器1的状态接收部101从移动机器人3b接收状态信息(S103)时,该信息被存储在应对信息DB108中。图12表示本实施例中的应对信息DB108的例子。表格格式本身与实施例1(图6)相同,因此省略详细的说明。在该时间点,异常事件的发生日期时间1201、发生了异常事件的机器人ID1202,以及状态信息1203被存储在数据库108中。
在本例中,在状态信息1203中包括位置信息、叶表的状态、叶背的状态、叶的面积、果实的直径、果实的颜色、图像。位置信息包括由位置信息取得装置1013取得的纬度经度信息、塑料温室编号、植株编号。另外,位置信息包括高度信息,该高度信息是由搭载在机器人主体1010上的摄像机1014拍摄的位置,或者在由臂摄像机1024拍摄图像的情况下是臂摄像机1024或手臂1020的高度。臂摄像机1024或臂1020的高度能够从臂1020所具备的编码器取得。高度信息表示作为对象的果实或叶的高度。
叶表的信息表示基于图像识别技术的叶表的状态的判别结果。作为叶表信息的例子,可以示例出“正常”、“有变色部分”、“有虫蛀部分”、“有虫”等。这样的图像识别可以通过深度学习等机器学习的方法来实现,由于是公知的,因此省略详细的说明。
叶背的信息表示基于图像识别技术的叶背的状态的判别结果。在本例中,由于叶表的状态为“有变色部分”,因此移动机器人3b拍摄叶背的图像,得到图像识别结果。叶背的信息是该识别结果,在本例中可以得到“有变色部分”且“有虫”的识别结果。需要说明的是,在叶表的状态为“正常”的情况下,也可以省略叶背的拍摄以及状态的判断。另外,即使叶表的状态为“正常”,也存在叶背存在异常的情况,因此也可以拍摄叶表以及叶背两者来确认状态。
基于由主体摄像机1014拍摄的图像以及由距离传感器测出的到对象物(叶或果实)的距离,通过计算求出叶的面积、果实的直径、果实的颜色。这些信息可以使用公知技术来计算,因此省略详细的说明。
来自搭载在机器人主体的摄像机1014的图像以及来自搭载在机器人臂的摄像机1024的图像分别如图11A以及图11B所示。
服务器1的状态控制部102可以根据从移动机器人3b发送的状态信息判断为发生了异常事件,因此,进行选择用于处理该异常事件的操作者的任务匹配处理(步骤S104)。该例中的异常事件与番茄的病害诊断有关,因此信息控制部102从处于在线状态且没有正在进行其他任务的处理的操作者中,选择具有用于处理该异常事件的技能的操作者。
图13表示本实施例中的操作者信息DB107的例子。操作者信息DB107的内容与实施例1基本相同,因此省略重复的说明。由于本实施例是针对农业作业的应用,因此存储了各操作者的与农业作业有关的技能。在图10所示的例子中,作为技能信息之一,设定了“番茄叶的疾病、害虫的检查”。该技能具有关于番茄发生的疾病以及害虫的知识,意味着关于对发现的疾病以及害虫进行适当处理的知识。所谓适当的处理,是对于疾病以及害虫有效的农药的选择或过程观察的判断能力。作为其他技能,也设定了“番茄的收获”。该技能是观察从机器人发送的图像,判断是否可以收获,以及可以远程操作臂进行收获的技能。
作为在线状态且没有正在处理其他任务的操作者,考虑存在图13所示的操作者1和操作者2的情况。本例的异常事件涉及番茄的叶的疾病和害虫的检查,因此可以应对的操作者仅有操作者1。因此,服务器1的信息控制部将本次的异常事件与操作者1进行匹配(步骤S104)。
信息控制部102对所选择的操作者的操作终端发送委托处理异常事件的请求和移动机器人3b的状态信息(步骤S105)。接收到这些信息的操作终端2显示包括配送机器人的状态信息和用于操作配送机器人的GUI的画面。
图14表示在操作终端2上显示的GUI1400的例子。GUI1400包括主体摄像机1014的图像1401、臂摄像机1024的图像1402、图像以外的状态信息1405。GUI1400还包括:输入部1403,用于操作(移动)机器人主体1010;输入部1404,用于操作(移动)臂1020;输入部1406,用于输入一系列操作指令;输入部1407,用于输入操作结果;以及发送按钮1408,用于向服务器1发送输入内容。
操作者使用GUI1400输入针对移动机器人3b的操作指令并发送到服务器1。例如,考虑输入以下两个步骤的操作指令。第一步骤是叶的修剪处理。操作者根据图像1401、1402和状态信息1405确认叶上附有虫,其处理方式为,为了使虫害不会进一步扩大,指示修剪叶并收纳到密闭箱中。需要说明的是,这样做的前提是:机器人具有密闭箱,机器人能够通过机器人臂自动进行对目标叶的修剪处理以及收纳到密闭箱中的收纳处理。
第二步骤是农药的喷洒处理。操作者判断为虫是蚜虫的可能性高,在农药喷洒的项目中输入“是”,接着,选择并输入对蚜虫有效的农药乙酰甲胺磷。在此,这样做的前提是:机器人具备多种农药,机器人能够自动进行农药喷洒处理。
由操作者输入的操作指令经由服务器1发送到移动机器人3b(步骤S106、S107)。移动机器人3b根据上述的操作指令进行动作,并且将作为其结果得到的信息经由服务器1或直接发送到操作终端2。操作者基于从移动机器人3b发送的图像和状态信息,可以判断叶的修剪处理和农药喷洒处理是否正常完成。在正常完成的情况下,输入“处理完成”作为操作结果。另外,由于操作者是基于图像进行的判断,因此存在判断错误的可能性,也存在虫或疾病蔓延到仅通过机器人的图像无法发现的场所的可能性,因此作为提供给可以在农场直接确认的人的联络事项,操作者将事后确认输入为“需要”。另外,作为判断结果,操作者可以输入“蚜虫”作为产生的虫子的种类。这些操作结果的信息从操作终端2被发送到服务器1(步骤S108)。
服务器1将所发送的操作结果与操作指令内容、操作者ID、应对所需的时间一起存储在应对信息DB108中(步骤S109)。通过该处理,如图12所示,更新应对信息DB108的操作信息1204、操作结果1205、操作者ID1206、应对时间1207。
需要说明的是,在本实施例中,由于操作结果为需要事后确认,因此服务器1的信息控制部102对处于现场(农场)的操作者的操作终端2发送异常事件的应对信息,通知发生了怎样的事件、进行了怎样的处理,并且通知进行事后确认。接收到该通知后,现场的操作者检查附有虫的植株,确认周围是否残留有虫,或者调查移动机器人3b修剪的叶,确认虫是否确实为蚜虫等。如果在远程操作者的判断错误的情况下,现场操作者进行其他处理,并将正确的结果登录到服务器1中。
需要说明的是,在本实施例中,移动机器人3b也可以在夜晚的时间段在农场进行作业。本实施例中的移动机器人3b没有假设在完全实现了机械化或自动化的农场中使用。因此,农作业者和移动机器人3b在相同的场所进行作业,但与农作业者和机器人混在一起进行作业相比,分开时间段进行作业的效率更高。由于这样的理由,移动机器人3b的作业也可以在夜间进行。虽然对异常事件的处理需要在夜间进行,但远程操作者只要通过网络相连,则无论在哪里都可以应对,因此例如优选将针对异常事件的处理任务分配给位于时差较大的外国的远程作业者。
另外,在夜晚的时间段使农业作业机器人进行照片拍摄的情况下,使用搭载在机器人主体或机器人臂的照明。通过不是在照明条件变化的白天而是在照明条件恒定的夜间进行作业,能够进行相同条件的图像拍摄。远程作业者可以在同一条件下进行作业,因此可以期待提高技能的熟练速度。
<实施例3>
简单说明移动机器人3b是进行店铺的商品管理的机器人的情况。移动机器人3b自主地进行补货、验货、查缺货、查价签等作业。因此,在移动机器人3b搭载有机械手和摄像机。
示例在本实施例中假设的异常事件。首先,可以列举出无法根据图像高精度地进行对象识别的情况。反射率高的不定形的封装件的商品、被铝层压的封装件、透射率高的透明封装件的商品有时无法高精度地进行物体识别或者完全无法进行物体识别。因此,在这样的情况下,假设委托远程作业者进行商品的识别。
接着,作为异常事件的例子,可以列举出无法决定把持物体时的搬运位置的情况。对于不定形或重量平衡有偏差的商品,有时无法判断移动机器人3b应该抓住并把持商品的哪个部分。在这样的情况下,假设委托远程作业者指示抓住商品的哪个部分可以稳定地把持。
作为异常事件的其他例子,可以列举出在搬运途中掉落商品的情况。在机器人3b在出货的自动作业中掉落了商品的情况下,如果商品向预想以外的场所滚动,则难以寻找该商品去了哪里。因此,能够假设委托远程操作者搜索并回收掉落的商品。另外,还存在即使回收了商品,但该商品受损或凹陷而损害了作为商品的价值的情况。由于机器人3b难以自动地进行该判断,因此也能够假设委托远程作业者进行确认作业。
作为异常事件的另一个例子,可以列举出无法高精度地进行价签的读取的情况。在销售店中,有时限定销售日来特价销售特定的商品,需要更换特价和通常价格的价签。在更换价签的情况下,假设用搭载在机器人3b上的摄像机进行图像拍摄,通过图像识别进行查价签作业。根据价签的状态,有时机器人无法高精度地进行价签的读取。在这样的情况下,假设委托远程作业者进行价签的读取。需要说明的是,远程操作者不仅可以从发送来的图像中读取价签,也可以指示从不会引起照明反射的方向重新拍摄价签。
<实施例4>
简单说明移动机器人3b是清扫机器人的情况。移动机器人3b具有移动机构、地板的清扫功能、摄像机、无线通信功能,基于作业场所的地图数据进行自动行走以及地板清扫。作业场所是大厦、车站、机场等较宽的场所。移动机器人3b还具有按压电梯按钮的机械手。移动机器人3b还具备麦克风以及扬声器,并且具有与人进行交互的功能。
这样的移动机器人3b在由地图数据指定的场所自动行走,进行地板的清扫作业。在检测到地图数据中不存在的障碍物的情况下,移动机器人3b需要自动回避。
示例在本实施例中假设的异常事件。首先,可以列举出虽然检测到地图数据中没有的障碍物,但安全的回避方法不明确的情况。在这样的情况下,假设将图像发送到操作终端,委托远程操作者进行安全的回避。
作为异常事件的另一例子,可以列举出虽然检测到地板的污垢,但无法判断机器人3b是否可以清扫的情况。在这样的情况下,能够假设向操作终端2发送图像,委托远程操作者向操作终端输入使机器人进行清扫还是派遣清扫员的指示。例如,机器人3b将落到地面上的垃圾的大小、种类等发送到操作终端。另外,在由传感器检测到液体的情况下,是否自动继续此后的清扫也很重要。这是因为,在污垢是液体的情况下,污垢有可能通过机器人3b的清扫用的刷子或车轮扩散。因此,有时希望使机器人3b不进行液体的清扫而继续进行其他部位的清扫,使清扫员进行液体的清扫。
作为异常事件的另一例子,可以列举出无法移动的情况。在清扫大厦的情况下,假设机器人3b在楼层之间移动。机器人3b使用电梯在楼层之间移动,使用机械手按下操作按钮。然而,电梯的操作按钮千差万别,有时楼层的显示模糊而难以读取。这样,在无法自动判断机器人应该按下哪个操作按钮的情况下,假设将想要移动的场所(楼层)和图像发送到操作终端,委托远程操作者进行判断。
作为异常事件的另一例子,可以列举出应该与人进行通信的情况。在机器人3b的周围也有可能有人,在人对机器人提出意见的情况下,优选人(操作者)直接说话。需要说明的是,在机器人3b为了与人会话而自动打开了会话模式,但机器人3b判断为通信没有顺利进行的情况下,也可以判断为发生了异常事件。在这样的情况下,假设将机器人接收到的声音发送到操作终端,委托远程操作者应对。人对机器人3b发出的声音经由机器人的麦克风从操作终端的扬声器输出,远程操作者发出的声音经由操作终端的麦克风从机器人的扬声器输出。由此,能够实现远程操作者与现场的人之间的会话,例如能够应对意见。
<实施例5>
在以上的实施例中,假设了请远程操作者处理移动机器人3b发生的异常事件,但对象的机器人也可以是固定型机器人3a。作为这样的固定型机器人3a的例子,可以列举出养殖鱼塘的管理机器人。
鱼塘管理机器人3a检测水温、气温、日照量等的值,进行养殖的管理。决定喂食量是难以实现由机器人3a自动处理的作业。喂食量需要根据当天鱼的状态适量决定,另外由于环境污染问题和成本问题,并不是简单地多喂食就可以。
本实施例的鱼塘管理机器人3a具备投饵装置、摄像机、无线通信装置、各种传感器(水温、气温、日照量),通过无线通信发送由传感器取得的数据。在本实施例中,由于在喂食量的决定中需要由操作者(人)来进行判断,因此喂食时机总是视为发生异常事件。因此,在喂食时机,由鱼塘管理机器人3a拍摄的图像以及由传感器取得的数据被发送到操作终端,委托远程操作者控制投饵装置。远程操作者能够一边看着图像一边控制投饵装置,一边观察鱼在水面上的情况,即观察鱼咬入饵食的情况一边调节投入的饵食量。
需要说明的是,在不是控制鱼塘管理机器人3a,而是控制搭载在具备自动驾驶装置的船上的投饵装置的情况下也同样有效。
(其他)
上述的各实施方式仅是本发明的示例。本发明并不限定于上述具体的方式,在其技术思想的范围内可以进行各种变形。
(附记1)
一种任务分配装置(1),具备:
操作终端连接部(104),管理操作者具有的操作终端(2)的连接状态;
状态接收部(101),从机器人(3a、3b)接收状态信息;
信息控制部(102),在基于所述状态信息判断为所述机器人发生了异常事件的情况下,从可用操作者中选择用于处理该异常事件的操作者;以及
发送部(103),将针对所述机器人的异常事件的处理请求与所述机器人的状态信息一起发送到所述被选择的操作者的操作终端(2)。
(附记2)
一种由计算机执行的方法,包括以下步骤:
管理操作者具有的操作终端(2)的连接状态的步骤(S102);
从机器人(3a、3b)接收状态信息的步骤(S103);
在基于所述状态信息判断为在所述机器人发生了异常事件的情况下,从可用操作者中选择用于处理该异常事件的操作者的步骤(S104);
将针对所述机器人的异常事件的处理请求与所述机器人的状态信息一起发送到所述被选择的操作者的操作终端(2)的步骤(S105)。
符号说明
1:任务分配服务器;2:操作终端;3a:固定型机器人;3b:移动机器人;101:状态接收部;102:信息控制部;103:发送部;104:操作终端连接部;105:接收部;106:输出部;107:操作者信息DB;108:应对信息DB。
Claims (16)
1.一种任务分配装置,具备:
操作终端连接部,管理操作者具有的操作终端的连接状态;
状态接收部,从机器人接收状态信息;
信息控制部,在基于所述状态信息判断为所述机器人发生了异常事件的情况下,从可用操作者中选择用于处理该异常事件的操作者;以及
发送部,将针对所述机器人的异常事件的处理请求与所述机器人的状态信息一起发送到所述被选择的操作者的操作终端。
2.根据权利要求1所述的任务分配装置,其中,
所述操作终端连接部确立多个所述操作终端的在线状态,并且监视在线状态,
所述信息控制部选择与处于在线状态的所述操作终端相关联的操作者,作为用于处理所述异常事件的操作者。
3.根据权利要求1所述的任务分配装置,其中,
所述任务分配装置还具有:操作者信息存储部,存储操作者的技能,
所述信息控制部选择操作者,所述操作者具有与所述机器人的种类以及所述异常事件中的至少一方相匹配的技能。
4.根据权利要求3所述的任务分配装置,其中,
所述任务分配装置还具有:
接收部,从所述操作终端接收针对所述机器人的操作指令;
输出部,对所述机器人输出所述操作指令;以及
应对信息存储部,将所述机器人的状态和来自所述操作者的操作内容相关联并存储。
5.根据权利要求4所述的任务分配装置,其中,
所述接收部从所述操作终端接收针对所述机器人的异常事件的处理结果,
所述应对信息存储部将所述处理结果与所述机器人的异常事件以及所述操作者相关联并存储。
6.根据权利要求4所述的任务分配装置,其中,
所述信息控制部参照所述应对信息存储部来评价所述操作者的技能,并更新所述操作者信息存储部。
7.根据权利要求4所述的任务分配装置,其中,
所述操作者信息存储部存储所述操作者的使用费用,
所述信息控制部参照所述应对信息存储部,根据所述操作者的应对历史记录来决定应支付的报酬。
8.根据权利要求1所述的任务分配装置,其中,
所述信息控制部对所述机器人的异常事件进行分类,选择与异常事件的种类对应的操作者,作为用于处理所述异常事件的操作者。
9.根据权利要求1所述的任务分配装置,其中,
所述发送部根据来自所述操作者的请求,向位于设置有所述机器人的现场的管理者的操作终端发送所述机器人的状态信息。
10.根据权利要求1所述的任务分配装置,其中,
所述状态信息包括:由所述机器人所具备的摄像机拍摄的图像,和从所述机器人所具备的传感器得到的传感器信息的解析结果。
11.一种任务分配系统,具备:
机器人;
操作终端,用于远程操作所述机器人;以及
权利要求1所述的任务分配装置。
12.根据权利要求11所述的任务分配系统,其中,
所述操作终端构成为:当接收到针对所述机器人的异常事件的处理请求时,在显示部显示所述状态信息和用于操作所述机器人的图形用户界面。
13.根据权利要求11所述的任务分配系统,其中,
所述机器人是具有移动装置、传感器和摄像机,且可自主移动的移动机器人。
14.一种由计算机执行的方法,包括以下步骤:
管理操作者具有的操作终端的连接状态的步骤;
从机器人接收状态信息的步骤;
在基于所述状态信息判断为所述机器人发生了异常事件的情况下,从可用操作者中选择用于处理该异常事件的操作者的步骤;以及
将针对所述机器人的异常事件的处理请求与所述机器人的状态信息一起发送到所述被选择的操作者的操作终端的步骤。
15.一种程序,用于使计算机作为权利要求1所述的任务分配装置的各部分发挥作用。
16.一种程序,用于使计算机执行权利要求14所述的方法的各步骤。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/030362 WO2021019787A1 (ja) | 2019-08-01 | 2019-08-01 | タスク配信装置、タスク配信システム、方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114144806A true CN114144806A (zh) | 2022-03-04 |
Family
ID=74230670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980098534.3A Pending CN114144806A (zh) | 2019-08-01 | 2019-08-01 | 任务分配装置、任务分配系统、方法以及程序 |
Country Status (3)
Country | Link |
---|---|
JP (2) | JP7331928B2 (zh) |
CN (1) | CN114144806A (zh) |
WO (1) | WO2021019787A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024022399A1 (zh) * | 2022-07-26 | 2024-02-01 | 北京来也网络科技有限公司 | 基于rpa和ai的ia机器人监控方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2023053520A1 (zh) * | 2021-09-30 | 2023-04-06 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354551A (ja) * | 2001-05-25 | 2002-12-06 | Mitsubishi Heavy Ind Ltd | ロボットサービス提供方法およびロボットサービス提供システム |
JP2007183332A (ja) * | 2006-01-05 | 2007-07-19 | Advanced Telecommunication Research Institute International | 操作訓練装置 |
JP4639343B2 (ja) * | 2006-01-20 | 2011-02-23 | 株式会社国際電気通信基礎技術研究所 | ロボット遠隔操作システム |
JP5810494B2 (ja) * | 2010-09-07 | 2015-11-11 | 株式会社ニコン | 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法 |
JP5720398B2 (ja) * | 2011-04-25 | 2015-05-20 | ソニー株式会社 | 評価装置及び評価方法、サービス提供システム、並びにコンピューター・プログラム |
EP3071009B1 (en) * | 2013-11-20 | 2020-12-30 | Rowbot Systems LLC | Robotic platform and method for performing multiple functions in agricultural systems |
JP2018067785A (ja) * | 2016-10-19 | 2018-04-26 | 前川 博文 | コミュニケーションロボットシステム |
JP7045020B2 (ja) * | 2017-02-28 | 2022-03-31 | 国立大学法人東北大学 | 対話支援装置及び対話装置 |
JP7265475B2 (ja) * | 2017-06-27 | 2023-04-26 | 株式会社半導体エネルギー研究所 | 半導体装置 |
JP6760654B2 (ja) * | 2017-08-04 | 2020-09-23 | H2L株式会社 | 遠隔操作システム及び管理サーバ |
JP6971754B2 (ja) * | 2017-10-02 | 2021-11-24 | 株式会社オカムラ | 管理システム、管理システムの制御方法及びプログラム |
-
2019
- 2019-08-01 WO PCT/JP2019/030362 patent/WO2021019787A1/ja active Application Filing
- 2019-08-01 JP JP2021536593A patent/JP7331928B2/ja active Active
- 2019-08-01 CN CN201980098534.3A patent/CN114144806A/zh active Pending
-
2022
- 2022-05-25 JP JP2022085083A patent/JP7505520B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024022399A1 (zh) * | 2022-07-26 | 2024-02-01 | 北京来也网络科技有限公司 | 基于rpa和ai的ia机器人监控方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021019787A1 (ja) | 2021-02-04 |
JPWO2021019787A1 (zh) | 2021-02-04 |
JP2022126658A (ja) | 2022-08-30 |
JP7331928B2 (ja) | 2023-08-23 |
JP7505520B2 (ja) | 2024-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10875752B2 (en) | Systems, devices and methods of providing customer support in locating products | |
AU2019404207B2 (en) | Collaborative autonomous ground vehicle | |
US20200333782A1 (en) | Method and system for agriculture | |
JP7505520B2 (ja) | 作物の栽培管理のための装置、システム、方法、およびプログラム | |
US10538421B2 (en) | Systems, devices, and methods for inventory management of carpet rolls in a warehouse | |
ES2827192T3 (es) | Sistema de gestión de tareas para una flota de robots móviles autónomos | |
US20190135598A1 (en) | Method and system to retrofit industrial lift trucks for automated material handling in supply chain and logistics operations | |
US20190137991A1 (en) | Method and system to retrofit industrial lift trucks for automated material handling in supply chain and logistics operations | |
US20130190963A1 (en) | System and Method for Gathering Video Data Related to Operation of an Autonomous Industrial Vehicle | |
US11000953B2 (en) | Robot gamification for improvement of operator performance | |
Correll et al. | Building a distributed robot garden | |
CN115485641A (zh) | 服务机器人系统、机器人及用于操作服务机器人的方法 | |
CN109214887A (zh) | 一种远程购物系统及方法 | |
US20190028675A1 (en) | Autonomously mobile outdoor device with a surveillance module | |
CN111367289A (zh) | 一种人工智能设备 | |
CA3127331C (en) | Robot gamification for improvement of operator performance | |
US20230348190A1 (en) | Systems and methods for transferring items using multiple robotic devices | |
Komáromi et al. | Possibilities of using driverless handling robots in intralogistics | |
Salah et al. | Cooperative Robotic Systems in Agriculture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |