CN117769485A - 库提示装置、库提示方法以及机器人控制系统 - Google Patents

Abstract

本发明提供提示适合于对象物的库的库提示装置、库提示方法以及机器人控制系统。库提示装置(10)具备：输入信息取得部(131)，其取得包含对象物的输入信息；结果取得部(132)，其能够取得使用能够执行针对所述对象物的任务的多个库应用了针对对象物的规定的任务的结果；评价取得部(133)，其取得针对应用了规定的任务的结果的评价；以及提示内容决定部(134)，其基于使用了多个库中的第一库的规定的任务的应用结果的评价，判定使用了所述多个库中的与第一库不同的第二库的规定的任务的应用结果的输出。

Description

库提示装置、库提示方法以及机器人控制系统

相关申请的相互参照

本申请主张日本专利申请2021-129342号(2021年8月5日申请)的优先权，在此将该申请的全部公开援引于此以供参考。

技术领域

本公开涉及库提示装置、库提示方法以及机器人控制系统。

背景技术

以往，已知有通过使用了学习图像的学习等来识别图像所包含的物体的装置。例如，专利文献1公开了即使不熟练的从业者也能够利用的、从图像中辨别各种物体来进行作业的机器人。

在先技术文献

专利文献

专利文献1：日本特开2021-30407号公报

发明内容

本公开的一实施方式的库提示装置具备：

输入信息取得部，其取得包含对象物的输入信息；

结果取得部，其能够取得使用能够执行针对所述对象物的任务的多个库应用了取得针对所述对象物的规定的任务的结果；

评价取得部，其取得针对应用了所述规定的任务的结果的评价；以及

提示内容决定部，其基于使用了所述多个库中的第一库的所述规定的任务的应用结果的评价，判定使用了所述多个库中的与所述第一库不同的第二库的所述规定的任务的应用结果的输出。

本公开的一实施方式的库提示方法是库提示装置执行的库提示方法，

其中，

所述库提示方法包括：

取得包含对象物的输入信息；

取得使用能够执行针对所述对象物的任务的多个库应用了针对所述对象物的规定的任务的结果；

取得针对应用了所述规定的任务的结果的评价；以及

基于使用了所述多个库中的第一库的所述规定的任务的应用结果的评价，判定使用了所述多个库中的与所述第一库不同的第二库的所述规定的任务的应用结果的输出。

本公开的一实施方式的机器人控制系统，其中，

所述机器人控制系统具备：

机器人；以及

机器人控制装置，其为了控制所述机器人，下载由库提示装置提示的库，

所述库提示装置具备：

输入信息取得部，其取得包含对象物的输入信息；

结果取得部，其能够取得使用能够执行针对所述对象物的任务的多个库应用了针对所述对象物的规定的任务的结果；

评价取得部，其取得针对应用了所述规定的任务的结果的评价；以及

提示内容决定部，其基于使用了所述多个库中的第一库的所述规定的任务的应用结果的评价，判定使用了所述多个库中的与所述第一库不同的第二库的所述规定的任务的应用结果的输出。

附图说明

图1是表示一实施方式的具备库提示装置的库提示系统的结构例的图。

图2是表示机器人控制系统的结构例的示意图。

图3是表示库组的结构例的图。

图4是表示库提示系统中的处理的步骤的一例的时序图。

图5是表示决定库提示装置的提示内容的处理的例子的流程图。

图6是表示库提示系统中的处理的步骤的另一例的时序图。

具体实施方式

以下，参照附图说明本公开的一实施方式的库提示装置、库提示方法以及机器人控制系统。在各图中，对相同或相当的部分标注相同附图标记。在本实施方式的说明中，对于相同或相当的部分，适当省略或简化说明。

(库提示系统的概要)

图1是表示本实施方式的具备库提示装置10的库提示系统1的结构例。库提示装置10是在用户执行规定的任务的情况下进行适于规定的任务的库的提示的装置。规定的任务是基于例如物体的辨识、识别或识别结果的显示或者物体的把持位置辨识等的辨识对象物的结果而实施的处理。库是用户能够利用的辨识模型或辨识程序等。用户例如能够通过经由网络40下载库而利用。在本实施方式中，库构成为通过机器学习能够实施上述的任务而生成的至少一个机器学习模型(学习完毕模型)，但并不限定于此。

库提示装置10具备通信部11、存储部12以及控制部13。控制部13具备输入信息取得部131、结果取得部132、评价取得部133以及提示内容决定部134。库提示装置10例如可以是服务器等的计算机来作为硬件结构。关于库提示装置10的构成要素的详细内容将在后面叙述。

库提示装置10可以与通过网络40连接的库生成管理装置20以及通信终端装置30一起构成库提示系统1。网络40例如是因特网，但也可以是LAN(Local Area Network)。例如库提示装置10和库生成管理装置20可以经由LAN执行通信，库提示装置10和通信终端装置30经由因特网执行通信。

库生成管理装置20生成库，且管理由多个库构成的库组。库生成管理装置20能够通过使用学习用数据生成至少一个学习完毕模型来生成库。库生成管理装置20可以通过机器学习来生成新的库(例如后述的定制库)。库生成管理装置20可以执行使用了新的学习用数据的库的更新(追加学习或再学习)、库的追加以及删除来作为库组的管理。另外，库生成管理装置20能够使用所指定的库执行规定的任务，并输出执行结果。

在本实施方式中，库生成管理装置20能够访问库提示装置10的存储部12，且管理存储于存储部12的库组。另外，在本实施方式中，库生成管理装置20是能够与库提示装置10进行通信的与库提示装置10不同的计算机，但并不限定于这样的结构。例如，库生成管理装置20可以由与库提示装置10一体化的计算机实现。需要说明的是，在该情况下，库生成管理装置20可以具有库提示装置10的构成要素，库提示装置10也可以具有库生成管理装置20的构成要素。

通信终端装置30是例如智能手机或平板终端等通用的能够通信的终端装置，但并不限定于此。作为另一例，通信终端装置30可以由后述的机器人控制系统100(参照图2)的一部分构成。通信终端装置30生成输入信息(例如识别的对象物的图像)，并向库提示装置10输出输入信息。另外，通信终端装置30向用户提示由库提示装置10输出的提示内容(例如适于规定的任务的库)。通信终端装置30具备通信部31、存储部32、控制部33、输入信息生成部34、以及用户接口部35。通信终端装置30的构成要素的详细内容将在后面叙述。

图2是表示机器人控制系统100的结构例的示意图。机器人控制系统100具备机器人2、以及机器人控制装置110。机器人2通过位于臂2A的前端的末端执行器2B(把持手)，使作业对象物8从作业开始地点6向作业目标地点7移动。即，机器人控制装置110以使作业对象物8从作业开始地点6向作业目标地点7移动的方式控制机器人2。机器人控制系统100具备相机4。相机4拍摄位于可能对机器人2的动作造成影响的影响范围5的物品等。

机器人控制装置110基于由相机4拍摄到的图像，辨识存在于机器人2实施作业的空间的作业对象物8。作业对象物8的辨识使用上述的库组所包含的库(以辨识作业对象物8的方式生成的学习完毕模型)来执行。机器人控制装置110在进行作业对象物8的辨识之前，经由网络40下载库，而进行部署(deploy)。

在此，优选库组例如包含多个库，以便在机器人控制系统100中能够辨识较多种类的作业对象物8。但是，在存在大量的库的情况下，有时难以对用户选择适合于作业对象物8的种类的库。另外，在导入机器人控制系统100之前，用户有时希望知道能否使用库组的库来适当地辨识对象物。另外，即使在机器人控制系统100的导入后，有时也希望知道能否辨识新的作业对象物8。

如以下说明的那样，库提示装置10能够使用来自通信终端装置30的输入信息(例如包含识别的对象物的图像)，输出适于规定的任务(例如对象物的识别和识别结果的显示)的库。在本实施方式中，通信终端装置30是用户持有的平板终端，但在用户导入机器人控制系统100的情况下，能够使机器人控制系统100的一部分(机器人控制装置110以及相机4等)作为通信终端装置30发挥功能。

(库提示装置的结构)

以下，对库提示装置10的构成要素的详细情况进行说明。通信部11构成为包括与网络40连接的一个以上的通信模块。通信部11例如包括与4G(4th Generation)、5G(5thGeneration)等移动体通信标准所对应的通信模块。通信部11例如可以包括与有线的LAN标准(作为一例为1000BASE-T)所对应的通信模块。通信部11例如包括与无线的LAN标准(作为一例为IEEE802.11)所对应的通信模块。

存储部12是一个以上的存储器。存储器例如是半导体存储器、磁存储器、或光存储器等，但并不限定于此，能够设为任意的存储器。存储部12例如内置于库提示装置10，但也可以构成为经由任意的接口从外部访问库提示装置10。

存储部12存储在控制部13执行的各种计算中使用的各种数据。另外，存储部12可以存储控制部13执行的各种计算的结果以及中间数据。

存储部12如上述那样从库生成管理装置20被访问。即，存储部12被库提示装置10以及库生成管理装置20共用。在本实施方式中，存储部12存储库组(多个库)。

控制部13是一个以上的处理器。处理器例如是通用的处理器或专用于特定的处理的专用处理器，但并不限定于此，能够设为任意的处理器。控制部13控制库提示装置10的整体的动作。

在此，库提示装置10可以具有以下的软件构成。用于库提示装置10的动作的控制的一个以上的程序存储于存储部12。在存储部12中存储的程序在被控制部13的处理器读入时，使控制部13作为输入信息取得部131、结果取得部132、评价取得部133以及提示内容决定部134发挥功能。

输入信息取得部131从通信终端装置30取得输入信息。如上述那样，例如，在想要知道能否使用库组的库来执行针对新的对象物的任务的情况下，用户使用库提示装置10。输入信息是包含对象物的信息。具体而言，在本实施方式中，输入信息是映现对象物的图像，但并不限定于图像。输入信息例如可以从通信终端装置30或机器人控制装置110等取得用户的信息或预定使用的机器人2的信息等。

结果取得部132取得应用了针对输入信息所包含的对象物规定的任务的结果。更详细而言，结果取得部132取得库生成管理装置20使用所指定的库来执行规定的任务的结果。在本实施方式中，规定的任务是对象物的辨识和辨识结果的显示。例如，当对包含多个对象物(工业部件等)的图像执行规定的任务时，对多个对象物分别进行辨识(螺栓、螺母、弹簧等识别)，而辨识结果(螺栓、螺母、弹簧等名称)叠加在图像上而输出。

需要说明的是，使用所指定的库而应用了规定的任务的结果并不限定于实际的执行结果，也可以是模拟中的运算结果。模拟例如不仅包括对象物的辨识，还能够包括实际难以执行的对象物的把持等。例如结果取得部132能够在从输入信息辨识出对象物之后，进行与该对象物相应的3D模拟，取得把持的结果。另外，3D模拟内的3D模型例如可以由对象物的CAD数据、RGB信息或者深度信息等合成。

评价取得部133取得针对应用了规定的任务的结果的评价。在本实施方式中，评价是适合率(precision)以及再现率(recall)中的至少一个，但并不限定于此。评价可以包括基于用户的目视的“可”或“不可”的判定。评价取得部133可以取得用户输入到通信终端装置30的评价。作为另一例，评价取得部133也可以不取得评价本身，而取得用户输入到通信终端装置30的期待结果(所期待的适合率以及再现率中的至少一个)。评价取得部133在取得到针对规定的任务的期待结果的情况下，可以基于期待结果来判定应用了规定的任务的结果是否为期待结果以上，并将其判定作为评价。需要说明的是，在例如预先设定了期待结果的情况下，评价取得部133可以不接收来自用户的输入，而进行所应用的结果的判定作为评价。

提示内容决定部134基于评价取得部133取得到的评价来决定提示内容，并将所决定的提示内容发送到通信终端装置30。提示内容决定部134在评价小于规定的基准的情况下，例如可以指定不同的库或者包含不同的库的多个库的组合并应用规定的任务，将不同的库或者包含不同的库的多个库的组合和针对他们的应用结果作为提示内容。需要说明的是，在提示内容中，例如，如果评价小于规定的基准，则也可以包含库。提示内容决定部134对提示内容的决定的详细情况在后述。

(通信终端装置的结构)

以下，对通信终端装置30的构成要素的详细情况进行说明。通信部31构成为包括与网络40连接的一个以上的通信模块。通信部31例如包括与4G、5G等移动体通信标准所对应的通信模块。另外，通信部31可以包括与LAN标准所对应的通信模块。通信部31可以构成为包括与通信部11相同的通信模块，也可以构成为包括不同的通信模块。

存储部32是一个以上的存储器。存储器例如是半导体存储器、磁存储器、或光存储器等，但并不限定于此，能够设为任意的存储器。存储部32存储在控制部33执行的各种计算中使用的各种数据。另外，存储部32可以存储控制部33执行的各种计算的结果以及中间数据。例如存储部32可以暂时存储由输入信息生成部34生成并向库提示装置10发送(上传)输入信息。另外，例如存储部32可以暂时存储从库提示装置10经由通信部31取得的提示内容。

控制部33是一个以上的处理器。处理器例如是通用的处理器或专用于确定的处理的专用处理器，但并不限定于此，能够设为任意的处理器。控制部33控制通信终端装置30的整体的动作。

输入信息生成部34生成输入信息。如上述那样，在本实施方式中，输入信息是包含识别的对象物的图像。输入信息生成部34例如可以构成为包括相机等摄像部。在本实施方式中，输入信息生成部34是相机。例如，用户在想要通过库提示装置10知道能否辨识新的对象物的情况下，可以通过通信终端装置30的相机拍摄包含新的对象物的图像来生成输入信息。

用户接口部35输入来自用户的信息，向用户输出信息。用户接口部35例如构成为包括触摸传感器。触摸传感器检测用户的手指或者手写笔等的接触，确定其接触位置。触摸传感器可以与显示器一体化，构成触摸面板显示器。在本实施方式中，用户接口部35是触摸面板显示器。来自库提示装置10的提示内容显示于触摸面板显示器。用户接口部35在用户决定规定任务的情况下，在决定库的情况、输入评价以及期待结果等的情况等下，可以显示聊天画面等来促使输入。

(库组)

在本实施方式中，存储部12中存储的库组如图3所示大致分为三个。库组包括通用库组、专用库组以及定制库组。通用库组包括用于以较大的分类(第一分类)辨识对象物的多个通用库。专用库组包括用于以更小的分类(第二分类)辨识对象物的多个专用库。第二分类针对第一分类的一个项目进行细分化。另外，定制库组包括由用户准备的学习用数据生成的多个定制库。

在图3的例子中，第一分类是工业部件、文具等。另外，第二分类是螺栓、螺母、笔、剪刀等。例如，作为通用库的“工业部件”是用于辨识螺栓、螺母、弹簧等的库。另外，例如作为专用库的“螺栓”是用于辨识作为螺栓的种类的螺栓A、螺栓B、螺栓C等的库。作为专用库的“螺栓”以及“螺母”与作为通用库的“工业部件”相关联。这样的通用库与专用库的关联作为关联信息存储于存储部12。即，存储部12存储定义多个库的关系的关联信息。另外，关于定制库组，可以将定制库与用户之间的关联、通用库与定制库的关联或专用库与定制库的关联作为关联信息而存储于存储部12中。而且，多个通用库彼此的类似、多个专用库彼此的类似等可以作为关联信息而存储于存储部12。而且，可以将通用库、专用库或定制库或多个通用库彼此、多个专用库彼此或多个定制库彼此的组合使用的使用履历等作为关联信息而存储于存储部12。

提示内容决定部134可以基于上述的关联信息，使结果取得部132取得例如使用了与由用户指定的库(第一库)具有规定的关系的第二库的规定的任务的应用结果。例如，为了确认用户是否能够使用库组的库来识别作为“螺栓C”的改良产品的“螺栓C’”，能够使用库提示装置10。在这种情况下，用户并不知道库的种类的详细情况，因此能够指定通用库的“工业部件”。在这样的情况下，提示内容决定部134不仅使库生成管理装置20执行使用了“工业部件”(通用库、第一库)的“螺栓C’”的辨识，还可以基于关联信息执行使用了“螺栓”(专用库、第二库)的“螺栓C’”的辨识。并且，提示内容决定部134可以使结果取得部132取得各个执行结果。提示内容决定部134例如也可以在针对使用了第一库的规定的任务的执行结果的评价小于规定的基准的情况下，提示使用了第二库的规定的任务的执行结果。评价小于规定的基准的情况是指例如适合率以及再现率小于期待结果。提示内容决定部134通过使用关联信息，即使用户不太知道库的种类，也能够选择适合规定的任务的执行的候补的库。在此，例如，在具有与第一库相关联的多个第二库的情况下，提示内容决定部134可以对多个第二库分别执行以及评价。另外，提示内容决定部134也可以在针对使用了之前的库(第一库等)的规定的任务的执行结果的评价小于规定的基准的情况下，使结果取得部132取得使用了依次靠后的库(第二库等)的规定的任务的应用结果。

另外，提示内容决定部134例如可以基于关联信息的关联度，使结果取得部132取得使用了多个第二库的一部分的规定的任务的执行结果。需要说明的是，关联度例如是用户或预定使用的机器人2过去使用的库的使用频度等。另外，提示内容决定部134可以在多个第二库与第一库相关联的情况下，对多个第二库设定优先级，使用优先级高的第二库使结果取得部132取得规定的任务的执行结果。而且，在该情况下，提示内容决定部134可以依次进行第二库的评价，在得到了规定的基准以上的评价的情况下，完成结果取得部132的执行结果的取得。需要说明的是，优先级例如可以基于用户或预定使用的机器人2在过去使用的库的使用频度等来设定。

而且，提示内容决定部134可以基于关联信息，使结果取得部132取得使用了用户过去生成的定制库(第三库)的规定的任务的执行结果。需要说明的是，在具有与第一库相关联的多个第三库的情况下，提示内容决定部134可以对多个第三库分别执行以及评价。另外，提示内容决定部134例如也可以提示第三库。另外，第一库可以与其他库(例如第二库)组合使用。另外，第二库可以与其他库(例如第三库)组合使用。即，结果取得部132可以取得在组合多个库的情况下执行规定的任务的结果。提示内容决定部134例如可以比较组合了多个库的情况下的评价，提示最佳组合的库和使用了它们的规定的任务的执行结果。提示内容决定部134例如可以提示将第三库和第二库组合使用的规定的任务的执行结果。例如，可以将第一库的“工业部件”与第二库的“螺栓”组合(使用两方)，作为规定的任务执行对象物的辨识。在该例子中，若对象物为“螺栓B”，则可期待正确地辨识为“螺栓B”的执行结果，但若对象物为“螺母B”，则有时简单辨识为螺母。

提示内容决定部134可以在针对使用了第二库的规定的任务的执行结果的评价小于规定的基准的情况下，提示新的库的生成的建议。新的库是新的定制库。例如，用户能够从包含“螺栓C’”的图像制作学习用数据，使用学习用数据使库生成管理装置20生成新的库。

这样，提示内容决定部134不仅提示使用了由用户指定的库(第一库)的规定的任务的执行结果，还根据评价，使第二库、第三库、这些库的组合与执行结果一起提示。而且，提示内容决定部134提示新的库的生成的建议。新的库的生成的建议可以在未辨识到上述例子的“螺栓C’”的情况、“螺栓C’”被误分类为“螺栓A”等的情况以及“螺栓C’”未被基于类别进行细致的分类的情况等下进行。

在此，在上述的例子中，第一库被说明为通用库，第二库被说明为专用库，并且第三库被说明为定制库，但这些的对应并未被限定。例如第二库可以是通用库，第三库可以是专用库。在该情况下，例如，在由用户指定的第一库是“工业产品”的情况下，作为第二库能够应用“文具”等，作为第三库能够应用“笔”等。另外，例如第一库可以是通用库，第二库可以是定制库。在该情况下，例如，在由用户指定的第一库是“工业产品”的情况下，作为第二库能够应用“螺栓C’”。另外，第一库可以是专用库或定制库。在该情况下，例如，在由用户指定的第一库是“螺栓A”的情况下，作为第二库也可以应用“螺栓B”，作为第三库也可以应用“螺栓C’”，在由用户指定的第一库是“螺栓C’”的情况下，作为第二库也可以应用“螺栓C”，作为第三库也可以应用“螺栓D’”。

另外，在上述的例子中，第三库基于与第一库的关联信息来设定，但第三库可以基于与第二库的关联信息来设定，也可以基于第一库以及第二库这两方的关联信息来设定。在该情况下，例如，在第一库为“工业产品”的情况下，作为第二库而应用“文具”等，作为第三库而应用“笔”等，或者在第一库为“工业产品”且第二库为“螺栓C”的情况下，作为第三库也可以应用“螺栓C’”等。

另外，库的组合没有特别限制。在上述的例子中，结果取得部132例如取得将多个通用库或者通用库与专用库组合的情况下的执行了规定的任务的结果。结果取得部132可以取得例如在将多个专用库、多个定制库、专用库和定制库或通用库和定制库组合的情况下执行规定的任务的结果。

(库提示方法)

图4是表示库提示系统1中的处理的步骤的一例的时序图。另外，图5是表示决定库提示装置10的提示内容的处理的例子的流程图。参照图4以及图5，说明本实施方式的库提示装置10执行的库提示方法的处理。

使用库提示装置10的用户决定规定的任务并输入至通信终端装置30(步骤S1)。在此，规定的任务与上述的例子相同地，作为包含“螺栓C”以及其他工业部件的图像中的对象物的辨识和辨识结果的显示来进行说明。

用户使用通信终端装置30的相机拍摄“螺栓C’”以及其他工业部件，生成作为输入信息的拍摄图像(步骤S2)。

通信终端装置30将输入信息(拍摄图像)发送至库提示装置10(步骤S3)。库提示装置10的输入信息取得部131取得输入信息。

用户选择库，输入到通信终端装置30(步骤S4)。在此，用户并不知道库的种类的详细情况，因此设为指定了通用库的“工业部件”来进行说明。

通信终端装置30将用户选择库发送至库提示装置10(步骤S5)。即，通信终端装置30向库提示装置10发送由用户选择的库是通用库的“工业部件”这样的信息。

库提示装置10的提示内容决定部134将经由输入信息取得部131得到的输入信息和所指定的库(通用库的“工业部件”)的信息向库生成管理装置20发送，且执行规定的任务(步骤S6)。

库生成管理装置20执行规定的任务(步骤S7)。

库生成管理装置20将规定的任务的执行结果发送至库提示装置10(步骤S8)。库提示装置10的结果取得部132取得规定的任务的执行结果。

库提示装置10的提示内容决定部134将规定的任务的执行结果发送至通信终端装置30(步骤S9)。在通信终端装置30的用户接口部35(触摸面板显示器)显示规定的任务的执行结果。

用户对规定的任务的执行结果进行评价，并输入至通信终端装置30(步骤S10)。评价可以是适合率以及再现率。作为评价，用户可以进一步向通信终端装置30输入期待结果(所期待的适合率以及再现率等)。

通信终端装置30将由用户输入的评价发送至库提示装置10(步骤S11)。库提示装置10的评价取得部133取得评价。在此，在预先设定了上述的期待结果的情况下，评价取得部133可以不接收来自用户的评价而进入步骤S12的处理。

库提示装置10的提示内容决定部134基于经由评价取得部133得到的评价，执行提示内容的决定处理(步骤S12)。提示内容的决定处理如后述那样按照图5的流程图来执行。

库提示装置10的提示内容决定部134将提示内容发送至通信终端装置30，并显示于用户接口部35(触摸面板显示器)(步骤S13)。用户能够基于提示内容，确认是否使用库组的库来识别对象物。

库提示装置10例如如以下那样执行提示内容的决定处理。提示内容决定部134在评价取得部133的评价小于规定的基准的情况下(步骤S21的是)，进行使用了用户选择库以外的库的规定的任务的执行指示(步骤S22)。提示内容决定部134指示库生成管理装置20使用与由用户选择的库相关联的库执行规定的任务。如上述那样，提示内容决定部134基于存储于存储部12的关联信息来选择库。例如，在由用户选择的库是通用库的“工业部件”的情况下，选择专用库的“螺栓”以及相同的用户的定制库等。另外，提示内容决定部134可以指示组合多个库执行规定的任务。在此，规定的基准可以预先决定，例如也可以基于在步骤S10中输入的期待结果来决定。

结果取得部132取得使用了用户选择库以外的库(以下也称为“非用户选择库”)的规定的任务的执行结果(步骤S23)。

提示内容决定部134将使用了非用户选择库的规定的任务的执行结果设定为提示内容(步骤S24)。非用户选择库例如包括用户不知道的专用库。专用库例如以比通用库小的分类辨识对象物，因此满足用户的要求的可能性高。这样，即使在使用了用户选择库的规定的任务的评价低的情况下，提示内容决定部134也能够提示更适合的库。在此，提示内容决定部134可以基于经由评价取得部133得到的期待结果(所期待的适合率以及再现率等)来评价使用了非用户选择库的规定的任务的执行结果。在这种情况下，提示内容决定部134可以在对使用了非用户选择库的规定的任务的执行结果进行了评价之后，设定为提示内容。

另外，提示内容决定部134在评价为规定的基准以上的情况下(步骤S21的否)，将用户选择库与规定的任务建立了关联的情况设定为提示内容(步骤S25)。例如，规定的基准可以是适合率为90％以上这样的关于正解率的基准。在该例子中，若评价为规定的基准以上，则提示内容决定部134认为用户选择库中的正解率高，误分类少，进行关于用户选择库的提示。另外，若评价小于规定的基准，则提示内容决定部134认为用户选择库中的正解率低，能够提示更适合的库(非用户选择库)。

在此，在图4的例子中，库提示装置10等待用户的评价而执行了使用了非用户选择库的规定的任务，但也能够不等待用户的评价而执行。图6是表示库提示系统1中的处理的步骤的另一例的时序图。

图6的步骤S101至S105与图4的步骤S1至S5相同，因此省略说明。

用户将期待结果输入到通信终端装置30(步骤S106)。如上述那样期待结果例如是所期待的适合率及再现率等。

通信终端装置30将由用户输入的期待结果发送至库提示装置10(步骤S107)。库提示装置10的评价取得部133取得期待结果。

库提示装置10的提示内容决定部134进行对库进行扩展的规定的任务的执行指示(步骤S108)。库的扩展是指除了用户选择库之外，还指定使用非用户选择库。非用户选择库可以基于关联信息进行选择。

库生成管理装置20执行规定的任务(步骤S109)。库生成管理装置20使用多个库执行多个规定的任务。

库生成管理装置20将规定的任务的多个执行结果发送至库提示装置10(步骤S110)。库提示装置10的结果取得部132取得多个执行结果。

库提示装置10的评价取得部133在不等待用户的评价而执行使用了非用户选择库的规定的任务的情况下，不执行接收的处理。例如，评价取得部133基于预先设定的期待结果和多个执行结果，针对各个执行结果判定是否为期待结果以上，根据该判定取得了评价。

提示内容决定部134基于关于多个执行结果的评价(是否为期待结果以上的判定)，决定提示内容(步骤S111)。提示内容决定部134例如可以比较多个执行结果的评价，将评价最好的库和使用了该库的规定的任务的执行结果作为提示内容。

库提示装置10的提示内容决定部134将提示内容发送至通信终端装置30，并显示于用户接口部35(触摸面板显示器)(步骤S112)。

如以上那样，根据本实施方式的库提示装置10以及库提示方法可以提示适合于对象物的库。即使是部署库并运行的机器人控制系统100等的导入前，或者即使在需要辨识新的对象物的情况下，用户也能够知道是否准备了适合于库组的库。

以上，对库提示装置10、库提示方法以及机器人控制系统的实施方式进行了说明，但作为本公开的实施方式，也能够采用作为系统、程序、记录有程序的存储介质的实施方式。存储介质是作为一例为光盘、光磁盘、CD-ROM、CD-R、CD-RW、磁带、硬盘、或者存储卡等。

另外，作为程序的安装方式，并不限定于由编译器编译的对象代码、由解释器执行的程序代码等应用程序，也可以是编入操作系统的程序模块等方式。而且，程序也可以构成为仅在控制基板上的CPU中实施全部处理。程序可以构成为根据需要由附加于基板的扩展板或者安装于扩展单元的其他处理单元实施其一部分或全部。

说明本公开的实施方式的图是示意性的图。附图上的尺寸比率等未必与现实的尺寸比率一致。

对于本公开的实施方式，基于各附图以及实施例进行了说明，但是需要注意的是，只要是本领域技术人员，就容易基于本公开进行各种变形或者修正。因此，需留意这些变形或修正包含在本公开的范围中。例如，各结构部等中所包含的功能等能够以在逻辑上不矛盾的方式重新配置，能够将多个结构部等组合成一个或进行分割。

关于本公开所记载的构成要件、处理的步骤，除了这些特征相互排他性的组合以外，能够任意组合。另外，本公开所记载的特征只要不明确地否定，则能够置换为为了相同的目的、同等目的或类似目的而工作的代替特征。因此，除非明确否认，所公开的各特征仅是包括的一系列的相同或者均等的特征的一例。

而且，根据本公开的实施方式不限于上述实施方式中的任何具体配置。根据本公开的实施方式可以扩展到本公开中记载的全部的新的特征、或它们的组合、或记载的全部的新的方法、或者处理的步骤、或者它们的组合。

在本公开中，“第一”以及“第二”等的记载是用于区别该结构的标识符。本公开中的“第一”以及“第二”等记载中区别的结构能够交换该结构中的编号。例如，第一分类能够与第二分类交换作为识别符的“第一”和“第二”。识别符的更换同时进行。在识别符的更换后也能够区别该结构。识别符可以删除。删除了识别符的结构通过附图标记来区别。仅基于本公开中的“第一”以及“第二”等识别符的记载，不能用于该结构的步骤的解释、存在小的编号的识别符的依据。例如，第一库和第二库等在技术方案的记载中交换了“第一”和“第二”的识别符的库也包含在本发明的范围内。

附图标记说明

1 库提示系统

2 机器人

2A 臂

2B 末端执行器

4 相机

5 影响范围

6 作业开始地点

7 作业目标地点

8 作业对象物

10 库提示装置

11 通信部

12 存储部

13 控制部

20 库生成管理装置

30 通信终端装置

31 通信部

32 存储部

33 控制部

34 输入信息生成部

35 用户接口部

40 网络

100 机器人控制系统

110 机器人控制装置

131 输入信息取得部

132 结果取得部

133 评价取得部

134 提示内容决定部。

Claims (10)

1.一种库提示装置，其中，

所述库提示装置具备：

输入信息取得部，其取得包含对象物的输入信息；

结果取得部，其能够取得使用能够执行针对所述对象物的任务的多个库应用了针对所述对象物的规定的任务的结果；

评价取得部，其取得针对应用了所述规定的任务的结果的评价；以及

提示内容决定部，其基于使用了所述多个库中的第一库的所述规定的任务的应用结果的评价，判定使用了所述多个库中的与所述第一库不同的第二库的所述规定的任务的应用结果的输出。

2.根据权利要求1所述的库提示装置，其中，

所述结果取得部取得在组合了所述多个库的情况下应用了所述规定的任务的结果，

所述提示内容决定部提示将与所述第一库以及所述第二库不同的第三库和所述第二库组合而使用的所述规定的任务的应用结果。

3.根据权利要求1或2所述的库提示装置，其中，

所述评价取得部在取得了针对所述规定的任务的期待结果的情况下，基于所述期待结果取得针对应用了所述规定的任务的结果的评价。

4.根据权利要求1至3中任一项所述的库提示装置，其中，

所述提示内容决定部基于定义库的关系的关联信息，使所述结果取得部取得使用了与所述第一库具有规定的关系的所述第二库的所述规定的任务的应用结果。

5.根据权利要求1至4中任一项所述的库提示装置，其中，

所述多个库包括：通用库，其用于在第一分类中辨识所述对象物；以及专用库，其在针对所述第一分类的一个项目进行细分化的第二分类中辨识所述对象物。

6.根据权利要求5所述的库提示装置，其中，

所述结果取得部取得在将多个所述通用库或所述通用库与所述专用库组合了的情况下应用了所述规定的任务的结果。

7.根据权利要求1至6中任一项所述的库提示装置，其中，

所述提示内容决定部在针对使用了所述第二库的所述规定的任务的应用结果的评价小于规定的基准的情况下，提示新的库的生成的建议。

8.根据权利要求1至7中任一项所述的库提示装置，其中，

所述库、所述第一库以及所述第二库构成为辨识所述对象物的机器学习模型，

所述规定的任务基于辨识出所述对象物的结果来实施。

9.一种库提示方法，其是库提示装置执行的库提示方法，

其中，

所述库提示方法包括：

取得包含对象物的输入信息；

取得使用能够执行针对所述对象物的任务的多个库应用了针对所述对象物的规定的任务的结果；

取得针对应用了所述规定的任务的结果的评价；以及

基于使用了所述多个库中的第一库的所述规定的任务的应用结果的评价，判定使用了所述多个库中的与所述第一库不同的第二库的所述规定的任务的应用结果的输出。

10.一种机器人控制系统，其中，

所述机器人控制系统具备：

机器人；以及

机器人控制装置，其为了控制所述机器人，下载由库提示装置提示的库，

所述库提示装置具备：

输入信息取得部，其取得包含对象物的输入信息；

结果取得部，其能够取得使用能够执行针对所述对象物的任务的多个库应用了针对所述对象物的规定的任务的结果；

评价取得部，其取得针对应用了所述规定的任务的结果的评价；以及

提示内容决定部，其基于使用了所述多个库中的第一库的所述规定的任务的应用结果的评价，判定使用了所述多个库中的与所述第一库不同的第二库的所述规定的任务的应用结果的输出。