CN117751371A - 学习完毕模型管理装置以及学习完毕模型管理方法 - Google Patents

学习完毕模型管理装置以及学习完毕模型管理方法 Download PDF

Info

Publication number
CN117751371A
CN117751371A CN202280054119.XA CN202280054119A CN117751371A CN 117751371 A CN117751371 A CN 117751371A CN 202280054119 A CN202280054119 A CN 202280054119A CN 117751371 A CN117751371 A CN 117751371A
Authority
CN
China
Prior art keywords
model
learning
user
management device
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280054119.XA
Other languages
English (en)
Inventor
中村匡芳
堤匡史
和泉智之
古川康平
村冈慧
桦泽达将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruishide Co ltd
Kyocera Corp
Original Assignee
Ruishide Co ltd
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruishide Co ltd, Kyocera Corp filed Critical Ruishide Co ltd
Publication of CN117751371A publication Critical patent/CN117751371A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种在不降低用户的使用环境中的辨别精度的情况下更新主模型的学习完毕模型管理装置以及学习完毕模型管理方法。学习完毕模型管理装置(10)具备:第一存储部(12A),其存储第一学习用数据以及第一模型,所述第一模型是基于所述第一学习用数据以能够辨别输入信息所包含的对象物的方式进行了学习处理的学习完毕模型;第二存储部(12B),其存储第二学习用数据以及第二模型,所述第二模型是基于所述第二学习用数据以及所述第一模型而生成的学习完毕模型;以及更新判定部(132),其在生成所述第二模型的情况下,基于所述第二学习用数据来判定是否更新所述第一模型。

Description

学习完毕模型管理装置以及学习完毕模型管理方法
相关申请的相互参照
本申请主张在日本专利申请2021-129344号(2021年8月5日申请)的优先权,并将该申请的全部公开援引于此以供参照。
技术领域
本公开涉及学习完毕模型管理装置以及学习完毕模型管理方法。
背景技术
以往,已知有通过使用了学习图像的学习来识别图像所包含的物体的装置。例如,专利文献1公开了将利用再现了辨别失败的场景的模拟影像进行了更新(再学习)的辨别模型经由网络向车辆分发的系统。
在先技术文献
专利文献
专利文献1:日本特开2021-43622号公报
发明内容
本公开的一实施方式的学习完毕模型管理装置具备:第一存储部,其存储第一学习用数据以及第一模型,所述第一模型是基于所述第一学习用数据以能够辨别输入信息所包含的对象物的方式进行了学习处理的学习完毕模型;第二存储部,其存储第二学习用数据以及第二模型,所述第二模型是基于所述第二学习用数据以及所述第一模型而生成的学习完毕模型;以及更新判定部,其在生成所述第二模型的情况下,基于所述第二学习用数据来判定是否更新所述第一模型。
本公开的一实施方式的学习完毕模型管理方法是学习完毕模型管理装置执行的学习完毕模型管理方法,其中,所述学习完毕模型管理装置具备:第一存储部,其存储第一学习用数据以及第一模型,所述第一模型是基于所述第一学习用数据以能够辨别输入信息所包含的对象物的方式进行了学习处理的学习完毕模型;以及第二存储部,其存储第二学习用数据以及第二模型,所述第二模型是基于所述第二学习用数据以及所述第一模型而生成的学习完毕模型,所述学习完毕模型管理方法包括:在生成所述第二模型的情况下,基于所述第二学习用数据来判定是否更新所述第一模型。
附图说明
图1是表示具备一实施方式的学习完毕模型管理装置的学习完毕模型管理系统的结构例的图。
图2是表示机器人控制系统的结构例的示意图。
图3是表示作为库而提供的模型组的结构例的图。
图4是表示学习完毕模型管理系统中的处理的步骤的一例的时序图。
图5是接着图4的时序图。
具体实施方式
以下,参照附图说明本公开的一实施方式的学习完毕模型管理装置以及学习完毕模型管理方法。在各图中,对相同或相当的部分标注相同的附图标记。在本实施方式的说明中,对于相同或相当的部分,适当省略或简化说明。
(学习完毕模型管理系统的概要)
图1是表示具备本实施方式的学习完毕模型管理装置10的学习完毕模型管理系统1的结构例。学习完毕模型管理装置10是管理作为库提供的学习完毕模型的更新等的装置。用户将学习完毕模型用于例如物体的识别和识别结果的显示等任务。另外,学习完毕模型管理装置10能够使用从用户提供的评价数据和特定的模型来执行任务,并输出执行结果。在本实施方式中,模型组构成为包含多个以通过机器学习来辨别对象物的方式生成的机器学习模型(学习完毕模型)。用户例如能够通过经由网络40下载学习完毕模型来利用。
学习完毕模型管理装置10具备通信部11、第一存储部12A、第二存储部12B以及控制部13。控制部13具备更新判定部131、更新处理部132以及检测部133。学习完毕模型管理装置10例如可以是服务器等计算机来作为硬件结构。关于学习完毕模型管理装置10的构成要素的详细内容将在后面叙述。
学习完毕模型管理装置10可以与通过网络40连接的学习完毕模型生成装置20以及通信终端装置30一起构成学习完毕模型管理系统1。网络40例如是因特网,但也可以是LAN(Local Area Network)。例如学习完毕模型管理装置10和学习完毕模型生成装置20可以经由LAN执行通信,学习完毕模型管理装置10和通信终端装置30经由因特网来执行通信。
学习完毕模型生成装置20能够通过机器学习来生成后述的主模型、定制模型。即,学习完毕模型生成装置20能够使用后述的第一学习用数据以及第二学习用数据等学习用数据,通过机器学习来生成学习完毕模型。另外,学习完毕模型生成装置20生成新的学习完毕模型(例如后述的定制模型)。另外,学习完毕模型生成装置20可以追加新的学习用数据,执行所指定的模型的更新(再学习)。需要说明的是,学习用数据可以由相机等拍摄而制作,也可以使用CAD(Computer Aided Design)的数据来制作。另外,学习用数据可以将基于拍摄的学习用数据和基于CAD的学习用数据组合来制作。
在本实施方式中,学习完毕模型生成装置20能够访问学习完毕模型管理装置10的第一存储部12A以及第二存储部12B。另外,在本实施方式中,学习完毕模型生成装置20是能够与学习完毕模型管理装置10进行通信的、与学习完毕模型管理装置10不同的计算机,但并不限定于这样的结构。例如,学习完毕模型生成装置20可以由与学习完毕模型管理装置10一体化的计算机实现。需要说明的是,在该情况下,学习完毕模型生成装置20可以具有学习完毕模型管理装置10的构成要件,学习完毕模型管理装置10也可以具有学习完毕模型生成装置20的构成要件。
通信终端装置30例如是智能手机或平板终端等通用的能够通信的终端装置,但并不限定于此。作为另一例,通信终端装置30可以由后述的机器人控制系统100(参照图2)的一部分构成。通信终端装置30生成输入信息(例如识别的对象物的图像),并向学习完毕模型管理装置10输出输入信息。输入信息可以用作用于评价更新后的模型的评价数据。通信终端装置30将用户提供的学习用数据输出到学习完毕模型管理装置10。另外,通信终端装置30可以将学习完毕模型管理装置10使用评价数据和特定的模型执行的任务的执行结果提示给用户。通信终端装置30具备通信部31、存储部32、控制部33、输入信息生成部34、以及用户接口部35。通信终端装置30的构成要素的详细内容将在后面叙述。
在此,在本实施方式中,利用学习完毕模型管理系统1的用户包括第一用户以及第二用户。第一用户能够使用通信终端装置30-1,进行例如第一用户固有的定制模型的生成等。另外,第二用户能够使用通信终端装置30-2,进行例如第二用户固有的定制模型的生成等。通信终端装置30-2可以是与通信终端装置30-1相同的结构。在本实施方式中,通信终端装置30-1和通信终端装置30-2是相同的结构,以下在不特别区别的情况下作为通信终端装置30进行说明。
图2是表示机器人控制系统100的结构例的示意图。机器人控制系统100具备机器人2、以及机器人控制装置110。机器人2通过位于臂2A的前端的末端执行器2B(把持手),使作业对象物8从作业开始地点6向作业目标地点7移动。即,机器人控制装置110以使作业对象物8从作业开始地点6向作业目标地点7移动的方式控制机器人2。机器人控制系统100具备相机4。相机4拍摄位于可能对机器人2的动作造成影响的影响范围5的物品等。
机器人控制装置110基于由相机4拍摄到的图像,辨别存在于机器人2实施作业的空间的作业对象物8。作业对象物8的辨别使用上述的模型组所包含的模型(能够辨别作业对象物8的学习完毕模型)来执行。机器人控制装置110在进行作业对象物8的辨别之前,经由网络40下载学习完毕模型,而进行部署(deploy)。
在此,作为库而提供的模型例如优选能够以在很多用户的机器人控制系统100中符合各个要求的方式辨别各种种类的作业对象物8。因此,优选学习完毕模型管理装置10例如以能够将新的产品辨别为对象物的方式更新模型组所包含的作为主模型的学习完毕模型。在此,用户例如在想要尽快将新的产品包含于辨别对象的情况下,能够准备与新的产品相关的学习用数据并使用学习完毕模型生成装置20的功能来生成定制模型。这样的用户有时在主模型被更新之后也想要继续使用辨别精度具有实绩的定制模型。因此,学习完毕模型管理装置10优选在用户的使用环境中,不进行强制性的向主模型的置换,而继续使用定制模型。
如以下说明那样,学习完毕模型管理装置10能够使用在定制模型的生成中使用的学习用数据,以对辨别对象进行扩展的方式更新主模型。另外,学习完毕模型管理装置10在确认了从用户的定制模型向主模型的变更指示之后,设定为在用户的使用环境中使用更新后的主模型。在此,稍后将参照图3详细描述主模型和定制模型。另外,在本实施方式中,说明为通信终端装置30是用户所持的平板终端,但能够使用户使用的机器人控制系统100的一部分(机器人控制装置110以及相机4等)作为通信终端装置30发挥功能。
(学习完毕模型管理装置的结构)
以下,对学习完毕模型管理装置10的构成要素的详细内容进行说明。通信部11构成为包括与网络40连接的一个以上的通信模块。通信部11例如可以包括与4G(4thGeneration)、5G(5th Generation)等移动体通信标准所对应的通信模块。通信部11例如可以包括与有线的LAN标准(作为一例为1000BASE-T)所对应的通信模块。通信部11例如可以包括与无线的LAN标准(作为一例,IEEE802.11)所对应的通信模块。
第一存储部12A以及第二存储部12B是一个以上的存储器。存储器例如是半导体存储器、磁存储器、或者光存储器等,但并不限定于此,能够设为任意的存储器。第一存储部12A以及第二存储部12B例如内置于学习完毕模型管理装置10,但也可以构成为经由任意的接口从外部访问学习完毕模型管理装置10。第一存储部12A以及第二存储部12B由相同的存储器构成,可以划分存储区域。另外,第一存储部12A以及第二存储部12B可以分别由物理上不同的存储器构成。
第一存储部12A以及第二存储部12B中的至少一个存储在控制部13执行的各种计算中使用的各种数据。另外,第一存储部12A以及第二存储部12B中的至少一个可以存储控制部13执行的各种计算的结果以及中间数据。
如上述那样,从学习完毕模型生成装置20访问第一存储部12A以及第二存储部12B。即,第一存储部12A以及第二存储部12B被学习完毕模型管理装置10以及学习完毕模型生成装置20共用。第一存储部12A以及第二存储部12B也存储模型组(多个模型)等。第一存储部12A存储主模型。第二存储部12B存储定制模型。
控制部13是一个以上的处理器。处理器例如是通用的处理器或专用于特定的处理的专用处理器,但并不限定于此,能够设为任意的处理器。控制部13控制学习完毕模型管理装置10的整体的动作。
在此,学习完毕模型管理装置10可以具有以下那样的软件结构。学习完毕模型管理装置10的动作的控制所使用的一个以上的程序被存储于第一存储部12A或第二存储部12B。在程序被控制部13的处理器读入时,使控制部13作为更新判定部131、更新处理部132以及检测部133而发挥功能。
在生成定制模型的情况下,更新判定部131基于该学习用数据来评定是否更新主模型。在本实施方式中,更新判定部131例如在判定为所追加的对象物的通用性高的情况下,即在能够通过更新来扩展识别对象而能够通用地使用的情况下,判定更新主模型。作为另一例,更新判定部131可以在接收到来自模型组的管理者(例如模型的供应商)的更新指示的情况下,判定不进行通用性的判定而更新主模型。另外,更新判定部131例如在通过用于定制模型的生成的学习用数据能够提高辨别对象的辨别精度的情况下,可以判定为更新主模型。
更新处理部132执行与主模型的更新相关的处理。更详细而言,更新处理部132在由更新判定部131判定为主模型的更新的情况下,例如使学习完毕模型生成装置20执行机器学习(再学习)来更新主模型。机器学习(再学习)使用在该主模型的生成中使用的学习用数据(第一学习用数据)和在定制模型的生成中使用的学习用数据(第二学习用数据)来执行。在本实施方式中,学习完毕模型生成装置20按照更新处理部132的更新指示来执行主模型的更新,但作为另一例,更新处理部132可以执行主模型的更新。
另外,更新处理部132可以使用更新后的主模型来执行任务,对用户进行任务的执行结果的提示。在本实施方式中,任务是对象物的辨别。用户基于所提示的结果,例如对适合率(precision)以及再现率(recall)等进行评价,能够确认更新后的主模型是否比定制模型差。
另外,更新处理部132可以在判定为更新主模型的情况下,更新存储于第二存储部12B的表示用户的贡献度的数据。在某个用户的第二学习用数据用于主模型的更新的情况下,该用户的贡献度增大(例如附加积分)。对于贡献度而言,能够根据大小来扩大该用户的主模型以及定制模型的利用权限。
检测部133检测生成了定制模型的用户是否代替定制模型而利用更新后的主模型。检测部133可以在生成了定制模型的用户进行了制作新的使用环境的操作的情况下,判定为利用更新后的主模型来代替定制模型。制作新的使用环境的操作例如是在追加新的工件(其他对象物的辨别)的情况下下载学习完毕模型,由通信终端装置30进行用于部署的新规设定。在生成定制模型的用户继续使用以往的使用环境的情况下,检测部133可以判定为继续使用定制模型。
(通信终端装置的结构)
以下,对通信终端装置30的构成要素的详细内容进行说明。通信部31构成为包括与网络40连接的一个以上的通信模块。通信部31可以包括与例如4G、5G等移动体通信标准所对应的通信模块。另外,通信部31可以包括与LAN标准所对应的通信模块。通信部31可以构成为包括与通信部11相同的通信模块,也可以构成为包括不同的通信模块。
存储部32是一个以上的存储器。存储器例如是半导体存储器、磁存储器、或者光存储器等,但并不限定于此,能够设为任意的存储器。存储部32存储在控制部33执行的各种计算中使用的各种数据。另外,存储部32可以存储控制部33执行的各种计算的结果以及中间数据。例如存储部32可以暂时存储由输入信息生成部34生成并向学习完毕模型管理装置10发送(上传)的输入信息。另外,例如存储部32可以暂时存储从学习完毕模型管理装置10经由通信部31取得的对象物的辨别的结果。
控制部33是一个以上的处理器。处理器例如是通用的处理器或专用于特定的处理的专用处理器,但并不限定于此,能够设为任意的处理器。控制部33控制通信终端装置30的整体的动作。
输入信息生成部34生成输入信息。在本实施方式中,输入信息是包含识别的对象物的图像。输入信息生成部34例如可以构成为包括相机等拍摄部。在本实施方式中,输入信息生成部34是相机。例如,用户可以通过通信终端装置30的相机拍摄包含新的对象物的图像来生成输入信息。该输入信息可以是用于确认是否能够用定制模型辨别新的对象物的评价用数据。
用户接口部35输入来自用户的信息,向用户输出信息。用户接口部35例如构成为包括触摸传感器。触摸传感器检测用户的手指或手写笔等的接触,确定其接触位置。触摸传感器可以与显示器一体化,构成触摸面板显示器。在本实施方式中,用户接口部35是触摸面板显示器。来自学习完毕模型管理装置10的提示内容显示于触摸面板显示器。用户接口部35在输入评价用数据以及第二学习用数据的情况等下,可以显示聊天画面等来促使输入。
(模型组)
在本实施方式中,存储于第一存储部12A以及第二存储部12B的模型组如图3所示被划分。模型组大致分为主模型和定制模型。主模型例如是所有用户能够利用的学习完毕模型。主模型例如是通用性高的学习完毕模型。主模型例如是由模型组的管理者生成的模型。定制模型例如是由特定的用户生成的学习完毕模型。定制模型例如也可以是仅特定的用户能够利用的学习完毕模型。定制模型例如与主模型相比,特定的对象物的辨别、特定的环境下的对象物的辨别优异。
在此,如上述那样,在本实施方式中,用户包括第一用户以及第二用户。以下,以第二用户生成定制模型为前提进行说明,主模型是第一用户以及第二用户能够利用的学习完毕模型。另外,第二用户所生成的定制模型也可以是仅第二用户能够利用的学习完毕模型。另外,在存在第一用户生成的定制模型的情况下,可以仅第一用户能够利用。在该情况下,可以从第二用户的库(能够利用的模型)中排除第一用户的定制模型。换言之,第二用户的库也可以由主模型和第二用户生成的定制模型构成。需要说明的是,例如,一个用户(例如第二用户)可以生成多个定制模型。
如图3所示,主模型包括通用模型、以及专用模型。通用模型是用于以较大的分类(第一分类)辨别对象物的模型。专用模型是用于以更小的分类(第二分类)辨别对象物的模型。第二分类针对第一分类的一个项目进行细分化。
另外,如上述那样,定制模型由用户准备的第二学习用数据生成。详细而言,基于主模型和第二学习用数据生成定制模型。即,在本实施方式中,利用现有的主模型生成定制模型。定制模型例如也可以通过使用第二学习用数据对现有的主模型进行追加学习来生成。因此,定制模型与原来的主模型有关联。这样的主模型与定制模型的关联作为关联信息存储于第一存储部12A以及第二存储部12B。即,第一存储部12A以及第二存储部12B存储定义多个模型的关系的关联信息。
在图3的例子中,第一分类是工业部件、文具等。另外,第二分类是螺栓、螺母、笔、剪刀等。例如作为通用模型的“工业部件”是用于辨别螺栓、螺母、弹簧等的学习完毕模型。另外,例如作为专用模型的“螺栓”是用于辨别作为螺栓的种类的螺栓A、螺栓B、螺栓C等的学习完毕模型。作为专用模型的“螺栓”以及“螺母”与作为通用模型的“工业部件”相关联。关联信息可以包括这样的通用模型与专用模型的关联。
在此,例如为了将第二用户为“螺栓C”的改进产品的“螺栓C’”添加到识别对象,有时会利用作为专用模型的“螺栓”来生成定制模型。在图3的例子中,第二用户的定制模型的“螺栓”是用于辨别作为螺栓的种类的螺栓A、螺栓B、螺栓C′等的学习完毕模型。
另外,定制模型在仅生成的用户能够利用的情况下,与主模型区别地存储。在本实施方式中,定制模型仅生成的用户能够利用。因此,第一存储部12A存储主模型和用于主模型的生成的第一学习用数据。然后,第二存储部12B存储定制模型和用于生成定制模型的第二学习用数据。另外,在第二存储部12B中,也可以按每个用户划分存储区域。作为另一例,学习完毕模型管理装置10可以按每个用户具备不同的存储部。例如第二存储部12B可以仅存储第二用户生成的定制模型,仅第二用户能够利用。此时,学习完毕模型管理装置10可以具备与第一存储部12A和第二存储部12B均不同的、仅第一用户能够利用的其他第三存储部。
(学习完毕模型管理方法)
图4以及图5是表示学习完毕模型管理系统1中的处理的步骤的一例的时序图。图5是表示接着图4执行的处理的步骤。参照图4及图5,说明本实施方式的学习完毕模型管理装置10执行的学习完毕模型管理方法的处理。上述的例子同样地,以能够从包含“螺栓C’”和其他工业部件的图像中辨别“螺栓C’”的方式,将第二用户生成定制模型作为具体例,适当使用具体例来进行说明。
用户使用通信终端装置30的相机拍摄“螺栓C’”以及其他工业部件,生成作为输入信息的拍摄图像(步骤S1)。该拍摄图像在执行使用定制模型等辨别“螺栓C’”的任务的情况下,成为用于任务的执行结果的评价的评价用数据。评价用数据是能够由第二用户准备的使用第二学习用数据成为能够辨别的对象物的信息。
通信终端装置30将输入信息(评价用数据)发送至学习完毕模型管理装置10(步骤S2)。学习完毕模型管理装置10的第二存储部12B存储评价用数据。
用户选择主模型,输入到通信终端装置30(步骤S3)。用户例如可以在机器人控制系统100中选择此前使用的主模型。若以具体的例子进行说明,则第二用户选择至此使用的专用模型的“螺栓”。
通信终端装置30将用户选择主模型发送至学习完毕模型管理装置10(步骤S4)。若以具体的例子进行说明,则通信终端装置30将由第二用户选择的主模型是专用模型的“螺栓”这一信息发送至学习完毕模型管理装置10。在第一存储部12A以及第二存储部12B中,作为关联信息而存储有第二用户所生成的定制模型与专用模型的“螺栓”的关联。
用户生成用于生成定制模型的第二学习用数据(步骤S5)。第二学习用数据可以如评价用数据那样,使用通信终端装置30的相机拍摄“螺栓C’”以及其他工业部件来制作。另外,第二学习用数据可以使用“螺栓C’”的CAD(Computer Aided Design)的数据来制作。另外,第二学习用数据可以将基于拍摄的学习用数据和基于CAD的学习用数据组合来制作。
通信终端装置30将第二学习用数据发送至学习完毕模型管理装置10(步骤S6)。第二学习用数据存储于学习完毕模型管理装置10的第二存储部12B。
另外,通信终端装置30对学习完毕模型生成装置20指示定制模型的生成(步骤S7)。
学习完毕模型生成装置20基于用户选择主模型和由用户准备的第二学习用数据,生成定制模型(步骤S8)。若以具体的例子进行说明,则学习完毕模型生成装置20利用专用模型的“螺栓”,使用能够访问的第二存储部12B中存储的第二学习用数据来执行机器学习,生成仅第二用户能够利用的定制模型的“螺栓”。
学习完毕模型生成装置20将所生成的定制模型存储于学习完毕模型管理装置10的第二存储部12B(步骤S9)。
学习完毕模型管理装置10的更新处理部132使用评价用数据和生成的定制模型来执行任务(对象物的辨别)(步骤S10)。
学习完毕模型管理装置10的更新处理部132将任务的执行结果发送至通信终端装置30(步骤S11)。在通信终端装置30的用户接口部35(触摸面板显示器)显示任务的执行结果。
用户可以对任务的执行结果进行评价,在评价未达到预期的情况下,变更第二学习用数据而重新生成定制模型。另外,步骤S10以及步骤S11例如可以根据用户的指示而省略。
学习完毕模型管理装置10的更新判定部131基于第二学习用数据来判定是否更新主模型。在本实施方式中,由于追加的对象物(“螺栓C”的改进产品即“螺栓C′”)的通用性高,因此更新判定部131判定为更新主模型(步骤S12)。在此,例如在“螺栓C′”的形状比以往的螺栓更接近弹簧,显然通过学习而适合率降低的情况下,更新判定部131可以判定为不更新主模型。另外,如上述那样,决定可以由模型组的管理者进行。
在此,更新判定部131可以基于上述的更新信息来确定多个主模型中的、通过使用了第二学习用数据的学习而更新的一部分的主模型。确定出的一部分的主模型的信息可以输出到更新处理部132。作为另一例,更新判定部131可以将通过学习而能够辨别的对象物(例如“螺栓A”、“螺栓B”、“螺栓C”、…)使用与第二学习用数据(例如“螺栓C’”)相同或类似的第一学习用数据而生成的学习完毕模型确定为更新的主模型。或者,作为另一例,更新判定部131可以将在定制模型生成时利用的主模型确定为应更新的主模型。更新处理部132更新作为更新判定部131确定的学习完毕模型的主模型。
学习完毕模型管理装置10的更新处理部132在由更新判定部131判定为更新主模型的情况下,使第二学习用数据存储于第一存储部12A(步骤S13)。即,由于第二学习用数据在主模型的更新中被使用,因此更新处理部132将第二学习用数据复制到第一存储部12A。在判定为更新主模型的情况下,第一存储部12A与第一学习用数据同样地存储第二学习用数据。
另外,学习完毕模型管理装置10的更新处理部132在判定为更新主模型的情况下,更新存储于第二存储部12B的表示第二用户的贡献度的数据(步骤S14)。如上述那样,对于贡献度而言,根据大小来扩大第二用户的主模型以及定制模型的利用权限。例如第二存储部12B还存储用户能够使用的第二存储部12B的容量、利用费用、能够利用次数、能够利用期间等。更新处理部132可以根据贡献度将第二存储部12B的容量、利用费用、能够利用次数、能够利用期间设定为有利。由此,给予使用户在定制模型的生成中使用的第二学习用数据用于主模型的更新的动机。
学习完毕模型管理装置10的更新处理部132对学习完毕模型生成装置20指示主模型的更新(步骤S15)。
学习完毕模型生成装置20通过使用了存储于第一存储部12A的第一学习用数据以及第二学习用数据的学习(再学习)来更新主模型(步骤S16)。若以具体的例子进行说明,则学习完毕模型生成装置20重新学习专用模型的“螺栓”,以便能够识别“螺栓C’”。专用模型的“螺栓”是主模型,因此不仅是第二用户,也能够利用包括第一用户在内的其他用户。
学习完毕模型生成装置20将更新后主模型存储于学习完毕模型管理装置10的第一存储部12A(步骤S17)。
学习完毕模型管理装置10的更新处理部132使用评价用数据与更新后的主模型来执行任务(对象物的辨别)(步骤S18)。
学习完毕模型管理装置10的更新处理部132将任务的执行结果发送至通信终端装置30(步骤S19)。在通信终端装置30的用户接口部35(触摸面板显示器)显示任务的执行结果。
用户可以对任务的执行结果进行评价,在评价未达到预期的情况下,不利用更新后的主模型,继续使用定制模型。用户可以在基于评价决定为利用更新后的主模型的情况下,例如进行制作新的使用环境的操作,下载更新后的主模型。在用户执行这样的操作时,通信终端装置30将更新后的主模型利用的信息发送至学习完毕模型管理装置10(步骤S20)。该信息由学习完毕模型管理装置10的检测部133检测。
在此,用户可以将使用了主模型或者定制模型的机器人2输入的输入信息预先存储于第一存储部12A或者第二存储部12B,并用于更新后的主模型的评价。另外,用户可以将过去的主模型或者定制模型的生成时所使用的学习效果的确认或者评价用的数据预先存储于第一存储部12A或者第二存储部12B,并用于更新后的主模型的评价。另外,更新后的主模型的评价并不限定于由用户进行的执行,例如可以由学习完毕模型管理装置10自动地执行。
需要说明的是,在更新主模型时或更新后,更新前的主模型也可以存储于第一存储部12A。其结果为,即使更新后的主模型存在不良情况,也能够通过更新前的主模型使机器人2进行作业,或者再次执行更新处理。
学习完毕模型管理装置10的更新处理部132在用户利用更新后的主模型的情况下,删除存储于第二存储部12B的第二学习用数据(步骤S21)。通过删除尺寸比较大的第二学习用数据,第二存储部12B的空余容量变大,用户例如能够减轻与使用容量相应的费用等。另外,学习完毕模型管理装置10能够消除由于大量存在定制模型生成用的学习用数据而容量增大。
在此,更新处理部132在第二用户利用更新后的主模型来代替定制模型的情况下,也不删除存储于第二存储部12B的评价用数据。这是因为,认为评价用数据的尺寸比较小,由用户再次使用的可能性比第二学习用数据高。
如以上那样,本实施方式的学习完毕模型管理装置10以及学习完毕模型管理方法能够在用户的使用环境下不降低辨别精度而更新主模型。
需要说明的是,在上述中,说明了在用户生成定制模型时判定主模型的更新的例子,但本发明不限定于此。即,例如,当用户在用户的工厂等现场使用主模型时,由于主模型的制作环境与用户的使用环境不同,因此有时主模型的辨别精度减少。此时,为了提高主模型的精度,有时根据在用户的使用环境下取得的学习用数据或者模仿用户的使用环境的学习用数据,基于主模型(第一模型或者第一主模型)来生成优化主模型(第二模型或者第二主模型)。即,在本发明中,更新判定部131也可以在生成了第二主模型的情况下,基于在第二主模型的学习中使用的学习用数据来判定是否更新第一主模型。需要说明的是,第二主模型也可以通过将进行了与用户的规格环境相关的学习处理的附加的学习完毕模型与第一主模型连接来生成。需要说明的是,附加的学习完毕模型例如也被称为适配器模块。
需要说明的是,第二主模型是没有用户的利用限制的模型,因此与第一主模型相同地存储于第一存储部12A。需要说明的是,第二主模型也能够称为没有用户的利用限制的定制模型。因此,在本公开中,也可以在没有矛盾的范围内,将上述实施方式的定制模型替换为第二主模型,作为本发明而应用。
以上,对学习完毕模型管理装置10以及学习完毕模型管理方法的实施方式进行了说明,但作为本公开的实施方式,也能够采用作为系统、程序、记录有程序的存储介质的实施方式。作为一例,存储介质是光盘、光磁盘、CD-ROM、CD-R、CD-RW、磁带、硬盘、或者存储卡等。
另外,作为程序的安装方式,并不限定于由编译器编译的对象代码、由解释器执行的程序代码等应用程序,也可以是编入操作系统的程序模块等方式。而且,程序也可以构成为仅在控制基板上的CPU中实施全部处理。程序可以构成为根据需要由安装于基板的扩展板或者安装于扩展单元的其他处理单元实施其一部分或全部。
对于本公开的实施方式,基于各附图以及实施例进行了说明,但是需要注意的是,只要是本领域技术人员,就容易基于本公开进行各种变形或者修正。因此,需留意这些变形或修正包含在本公开的范围中。例如,各结构部等中所包含的功能等能够以在逻辑上不矛盾的方式重新配置,能够将多个结构部等组合成一个或进行分割。
关于本公开所记载的构成要件、处理的步骤,除了这些特征相互排他性的组合以外,能够任意组合。另外,本公开所记载的特征只要不明确地否定,则能够置换为为了相同的目的、同等目的或类似目的而工作的代替特征。因此,除非明确否认,所公开的各特征仅是包括的一系列的相同或者均等的特征的一例。
而且,根据本公开的实施方式不限于上述实施方式中的任何具体配置。根据本公开的实施方式可以扩展到本公开中记载的全部的新的特征、或它们的组合、或记载的全部的新的方法、或者处理的步骤、或者它们的组合。
在本公开中,“第一”以及“第二”等的记载是用于区别该结构的标识符。本公开中的“第一”以及“第二”等记载中区别的结构能够交换该结构中的编号。例如,第一分类能够与第二分类交换作为识别符的“第一”和“第二”。识别符的更换同时进行。在识别符的更换后也能够区别该结构。识别符可以删除。删除了识别符的结构通过附图标记来区别。仅基于本公开中的“第一”以及“第二”等识别符的记载,不能用于该结构的步骤的解释、存在小的编号的识别符的依据。例如,第一模型与第二模型等在技术方案的记载中交换了“第一”和“第二”的识别符的模型也包含在本发明的范围内。
附图标记说明
1 学习完毕模型管理系统
2 机器人
2A 臂
2B 末端执行器
4 相机
5 影响范围
6 作业开始地点
7 作业目标地点
8 作业对象物
10 学习完毕模型管理装置
11 通信部
12A 第一存储部
12B 第二存储部
13 控制部
20 学习完毕模型生成装置
30 通信终端装置
31 通信部
32 存储部
33 控制部
34 输入信息生成部
35 用户接口部
40 网络
100 机器人控制系统
110 机器人控制装置
131 更新判定部
132 更新处理部
133 检测部。

Claims (13)

1.一种学习完毕模型管理装置,其中,
所述学习完毕模型管理装置具备:
第一存储部,其存储第一学习用数据以及第一模型,所述第一模型是基于所述第一学习用数据以能够辨别输入信息所包含的对象物的方式进行了学习处理的学习完毕模型;
第二存储部,其存储第二学习用数据以及第二模型,所述第二模型是基于所述第二学习用数据以及所述第一模型而生成的学习完毕模型;以及
更新判定部,其在生成所述第二模型的情况下,基于所述第二学习用数据来判定是否更新所述第一模型。
2.根据权利要求1所述的学习完毕模型管理装置,其中,
所述第一模型是第一用户以及与所述第一用户不同的第二用户能够利用的主模型,
所述第二模型是仅所述第二用户能够利用的定制模型。
3.根据权利要求2所述的学习完毕模型管理装置,其中,
所述第二存储部仅所述第二用户能够利用。
4.根据权利要求2或3所述的学习完毕模型管理装置,其中,
所述学习完毕模型管理装置具备检测所述第二用户是否利用更新后的所述主模型来代替所述定制模型的检测部,
在判定为更新所述主模型的情况下,所述第二学习用数据被存储于所述第一存储部,
在所述第二用户利用更新后的所述主模型来代替所述定制模型的情况下,删除存储于所述第二存储部的所述第二学习用数据。
5.根据权利要求2至4中任一项所述的学习完毕模型管理装置,其中,
所述第二存储部存储评价用数据,所述评价用数据是由所述第二用户准备且通过所述第二学习用数据成为能够辨别的所述对象物的信息,
将所述评价用数据作为所述输入信息,使用更新后的所述主模型来执行所述对象物的辨别,对所述用户进行所述辨别的结果的提示。
6.根据权利要求5所述的学习完毕模型管理装置,其中,
在所述第二用户利用更新后的所述主模型来代替所述定制模型的情况下,也不删除存储于所述第二存储部的所述评价用数据。
7.根据权利要求2至6中任一项所述的学习完毕模型管理装置,其中,
在判定为更新所述主模型的情况下,更新存储于所述第二存储部的表示所述第二用户的贡献度的数据,
对于所述贡献度而言,根据大小而使所述第二用户的所述主模型以及所述定制模型的利用权限扩大。
8.根据权利要求2至7中任一项所述的学习完毕模型管理装置,其中,
所述更新判定部在基于所述第二学习用数据判定为所追加的所述对象物的通用性高的情况下,判定为更新所述主模型。
9.根据权利要求2至8中任一项所述的学习完毕模型管理装置,其中,
所述主模型包括多个不同的学习完毕模型,
所述更新判定部确定多个所述学习完毕模型中的、通过使用了所述第二学习用数据的学习而更新的一部分的所述学习完毕模型,
通过更新所述更新判定部所确定的所述学习完毕模型来进行所述主模型的更新。
10.根据权利要求9所述的学习完毕模型管理装置,其中,
所述更新判定部将通过学习而能够辨别的所述对象物使用与所述第二学习用数据相同或者类似的所述第一学习用数据而生成的所述学习完毕模型确定为通过使用了所述第二学习用数据的学习而更新的所述学习完毕模型。
11.根据权利要求1至8中任一项所述的学习完毕模型管理装置,其中,
所述学习完毕模型管理装置具备更新处理部,所述更新处理部在更新所述第二模型的情况下,基于所述第一学习用数据以及所述第二学习用数据来执行所述第二模型的更新处理。
12.根据权利要求2所述的学习完毕模型管理装置,其中,
所述第二存储部还存储仅第三用户能够利用的定制模型。
13.一种学习完毕模型管理方法,其是学习完毕模型管理装置执行的学习完毕模型管理方法,所述学习完毕模型管理装置具备:第一存储部,其存储第一学习用数据以及第一模型,所述第一模型是基于所述第一学习用数据以能够辨别输入信息所包含的对象物的方式进行了学习处理的学习完毕模型;以及第二存储部,其存储第二学习用数据以及第二模型,所述第二模型是基于所述第二学习用数据以及所述第一模型而生成的学习完毕模型,
其中,
所述学习完毕模型管理方法包括:
在生成所述第二模型的情况下,基于所述第二学习用数据来判定是否更新所述第一模型。
CN202280054119.XA 2021-08-05 2022-08-05 学习完毕模型管理装置以及学习完毕模型管理方法 Pending CN117751371A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021129344 2021-08-05
JP2021-129344 2021-08-05
PCT/JP2022/030203 WO2023013788A1 (ja) 2021-08-05 2022-08-05 学習済みモデル管理装置及び学習済みモデル管理方法

Publications (1)

Publication Number Publication Date
CN117751371A true CN117751371A (zh) 2024-03-22

Family

ID=85154589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280054119.XA Pending CN117751371A (zh) 2021-08-05 2022-08-05 学习完毕模型管理装置以及学习完毕模型管理方法

Country Status (4)

Country Link
EP (1) EP4383150A1 (zh)
JP (1) JPWO2023013788A1 (zh)
CN (1) CN117751371A (zh)
WO (1) WO2023013788A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074188A (ja) * 1996-05-23 1998-03-17 Hitachi Ltd データ学習装置およびプラント制御装置
JP6648352B2 (ja) * 2017-12-26 2020-02-14 株式会社エイシング 汎用学習済モデルの生成方法
JP2020144660A (ja) * 2019-03-07 2020-09-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6792891B1 (ja) 2020-02-12 2020-12-02 祐次 廣田 生活しやすいev

Also Published As

Publication number Publication date
WO2023013788A1 (ja) 2023-02-09
JPWO2023013788A1 (zh) 2023-02-09
EP4383150A1 (en) 2024-06-12

Similar Documents

Publication Publication Date Title
CN110955416A (zh) 接口文档生成方法、装置、设备和计算机存储介质
CN107368329B (zh) 物理元件的安装
US9329897B2 (en) Use of dynamic profiles for creating and using a distributed computing environment
JP6761197B2 (ja) 情報処理システム、情報処理方法、プログラム
US20040088144A1 (en) Interference verifying device and method for verifying interference between parts within a device
CN117751371A (zh) 学习完毕模型管理装置以及学习完毕模型管理方法
Hart et al. Automatic generation of machine learning synthetic data using ros
CN115816831A (zh) 基于云端控制3d打印机功耗缩减方法、装置、设备及介质
CN115017139A (zh) 一种孪生、订阅人员的历史状态的方法及装置
CN117769485A (zh) 库提示装置、库提示方法以及机器人控制系统
CN110134236B (zh) 基于Unity3D和Kinect的低动作检测精度下的高交互反馈方法及系统
CN111696180A (zh) 一种虚拟仿真人的生成方法、系统、装置和存储介质
CN106468992A (zh) 内容提供服务器以及内容提供方法
CN113421084A (zh) 公交卡处理方法、装置、设备及可读存储介质
CN115344148A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112817782A (zh) 一种数据采集上报方法、装置、电子设备和存储介质
CN111696179A (zh) 卡通三维模型和虚拟仿真人的生成方法、装置和存储介质
CN112433987B (zh) 一种文件维护的轨迹记录方法、装置及电子设备
CN110781355A (zh) 一种储物信息处理方法及装置、储物柜和存储介质
EP4361909A1 (en) Method and system for task recording using robotic process automation techchnology
CN116756050B (zh) 基于mbse的惯性产品用例分析方法、系统及存储介质
CN115617324B (zh) 一种客户端网页的生成方法
CN104937508A (zh) 可编程显示器,以及该程序
CN114495257B (zh) 险态工况下融合行为机制的姿态预测方法和装置
CN117975555A (zh) 用户操作反馈方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination