CN115917583A - 信息处理装置、信息处理方法及信息处理程序 - Google Patents

信息处理装置、信息处理方法及信息处理程序 Download PDF

Info

Publication number
CN115917583A
CN115917583A CN202180050766.9A CN202180050766A CN115917583A CN 115917583 A CN115917583 A CN 115917583A CN 202180050766 A CN202180050766 A CN 202180050766A CN 115917583 A CN115917583 A CN 115917583A
Authority
CN
China
Prior art keywords
processing
operator
unit
information processing
solution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180050766.9A
Other languages
English (en)
Inventor
佐藤哲太
渡部和彦
今西麻衣子
松岡佑磨
石井田聡哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Publication of CN115917583A publication Critical patent/CN115917583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

信息处理装置(100)包括：接受部(134)，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果；计算部(135)，当与接受部(134)接受的处理结果对应的处理对象是有正解处理对象时，基于接受部(134)接受的处理结果与正解处理结果的比较，算出表示对操作者的评价的评价值。

Description

信息处理装置、信息处理方法及信息处理程序
技术领域
本发明涉及一种信息处理装置、信息处理方法及信息处理程序。
背景技术
以往，公知有用于能够保证人工进行的针对多个处理对象的处理结果的质量的技术。例如，已知有支持用于使机器学习模型学习的教师数据的创建的技术。例如，已知有如下技术：当与教师图像预先建立了对应的教导类和由完成了学习的分类器将教师图像最多地分类的类不同时，将该教师图像确定为特定教师图像。
发明内容
现有技术文献
专利文献
【专利文献1】日本特开2017-162232号公报
期望一种能够保证人工进行的针对多个处理对象的处理结果的质量的技术。
根据实施方式的信息处理装置包括：接受部，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果；计算部，当与所述接受部接受的处理结果对应的处理对象是所述有正解处理对象时，基于所述接受部接受的处理结果与所述正解处理结果的比较，算出表示对所述操作者的评价的评价值。
附图说明
图1是表示根据实施方式的信息处理方法的概要的说明图。
图2是表示根据实施方式的信息处理系统的构成例的图。
图3是表示根据实施方式的信息处理装置的构成例的图。
图4是表示根据实施方式的操作者装置的画面的一例的图。
图5是表示根据实施方式的操作者装置的画面的一例的图。
图6是表示根据实施方式的操作者装置的画面的一例的图。
图7是表示根据实施方式的操作者装置的画面的一例的图。
图8是表示根据实施方式的注释的一例的图。
图9是表示根据变形例的注释的一例的图。
图10是表示根据变形例的注释的一例的图。
图11是表示根据变形例的注释的其他例的图。
图12是表示根据实施方式的管理者装置的画面的一例的图。
图13是表示根据实施方式的管理者装置的画面的一例的图。
图14是表示根据实施方式的管理者装置的画面的一例的图。
图15是表示实现信息处理装置的功能的计算机的一例的硬件构成图。
具体实施方式
以下，将参考附图详细说明用于实施根据本申请的信息处理装置、信息处理方法及信息处理程序的方式(以下称为“实施方式”)。本实施方式不限定根据本申请的信息处理装置、信息处理方法及信息处理程序。另外，在以下的各实施方式中，对相同的部位标注相同的符号，省略重复的说明。
(实施方式)
(1.引言)
以往，已知有支持用于创建教师数据的技术，为了使机器学习模型进行有教师学习。通常，用于进行有教师学习的教师数据由一组正解数据和标签构成。有教师学习是通过使机器学习模型学习来进行的，即作为教师数据被赋予输入(正解数据)和其正确的输出(标签)，一旦接受到某个输入就能够进行正确的输出。在AI行业中，将创建该教师数据(一组正解数据和标签)的操作称为注释。在成为注释对象的数据中按照机器学习模型的用途有图像、文本、声音等种类。例如，在机器学习模型的用途为图像识别的情况下，成为注释对象的数据是图像。
这样的注释操作由人工进行，但为了创建高精度的机器学习模型，需要约10～100万件的庞大的教师数据。因此，存在创建教师数据的从业者。但是，即使创建机器学习模型的委托者向创建教师数据的从业者委托了创建500组教师数据，也有在交付的教师数据中只有50组能够用于学习的教师数据等、无法保证所创建的教师数据的质量(注释的精度差)的问题。
因此，根据本申请的发明的信息处理装置100能够在从业者创建教师数据的过程中评价注释的精度，在精度差的情况下委托者要求从业者纠正，以防止注释精度差的教师数据被原样交付。具体地，信息处理装置100在教师数据的创建过程中定期进行过程审查，以评价注释的准确性。由此，信息处理装置100通过过程审查定期地评价质量，从而能够在质量下降的情况下立即检测，因此能够将整体的质量下降防患于未然。因此，信息处理装置100能够确保注释等人工进行的针对多个处理对象的处理结果的质量。
(2.信息处理的概要)
下面，使用图1对根据实施方式的信息处理方法的概要进行说明。图1是示出根据实施方式的信息处理方法的概要的说明图。根据实施方式的注释的操作是通过从委托者接受到委托的从业者的操作者从被委托的图像中选择拍摄有物体的区域来进行的。在图1中，将描述这样的一例，通过比较委托者进行了注释的图像的区域(准确进行了注释的数据)与操作者进行了注释的图像的区域，评价操作者创建的教师数据的精度。另外，委托者管理操作者的操作。因此，以下有时将委托者记载为管理者。
在图1中，委托者委托创建用于检测图像中包括的物体即猫的教师数据。委托者从500张图像中预先选择5张图像，将所选择的5张图像分别与正解的选择区域相关联。信息处理装置100从委托者(管理者)利用的管理者装置20获取500张图像，其中包括与委托者选择的正解选择区域相关联的5张正解图像(以下也称为有正解图像)(步骤S11)。
接着，在接受到500张图像后，信息处理装置100确定使操作者处理500张图像的顺序。例如，信息处理装置100确定使操作者处理500张图像中5张正解图像的顺序(以下也称为处理顺序)。接着，在确定使操作者处理5张正解图像的顺序后，信息处理装置100确定使操作者处理剩余495张委托图像的顺序。例如，信息处理装置100确定500张图像中第1张、第101张、第201张、第301张和第401张中包括正解图像。接着，在确定从委托者接受的500张图像的处理顺序后，信息处理装置100将与确定的处理顺序相关联的500张图像上传到云。
另外，从委托者接受到注释委托的从业者的操作者经由操作者利用的操作者装置10访问上传了作为操作对象的图像的云。信息处理装置100在操作者装置10的画面上按照使操作者处理的顺序逐一显示500张图像。操作者进行从显示在操作者装置10的画面上的图像中选择拍摄有猫的区域的选择处理(步骤S12)。例如，操作者对第301张图像进行如下的选择处理：通过手动操作从图像中分别选择分别包围拍摄有7只猫的区域的7个矩形(称为边框)。每当操作者完成针对一张图像的区域的选择处理时，信息处理装置100从操作者装置10接受操作者所选择的图像的选择区域。
另外，在与从操作者装置10接受的选择区域对应的图像是有正解图像的情况下，信息处理装置100基于从操作者装置10接受的选择区域与正解的选择区域的比较，算出从操作者装置10接受的选择区域与正解的选择区域的重合情况(一致度)(步骤S13)。例如，信息处理装置100判定从操作者装置10接受的选择区域所对应的第301张图像是有正解图像。接着，信息处理装置100基于从操作者装置10接受的选择区域与正解的选择区域的比较，算出操作者的选择区域与正解的选择区域的重合情况(一致度)为70％。
在算出从操作者装置10接受的选择区域与正解的选择区域的重合情况(一致度)后，信息处理装置100将算出的结果通知给委托者(步骤S14)。这样，信息处理装置100算出操作者进行的针对500张图像的选择处理中针对第1张、第101张、第201张、第301张和第401张所包括的正解图像的选择处理的处理结果与正解的处理结果的重合情况(一致度)，并通知委托者。接受到通知的委托者看到通知的结果，能够知道操作者进行的选择处理的处理结果(以下也称为质量)的精度如何推移。
例如，当针对多个图像的操作过程中操作者的处理结果的质量开始下降时，信息处理装置100检测质量下降，并通知委托者质量下降。从而，信息处理装置100例如能够从委托者提醒操作者纠正质量的下降。因此，信息处理装置100能够保证人工进行的针对多个图像的注释的质量。
(3.信息处理系统的构成)
首先，使用图2对根据实施方式的信息处理系统的构成进行说明。图2是表示根据实施方式的信息处理系统的构成例的图。信息处理系统1中可以包括操作者装置10、管理者装置20、以及信息处理装置100。操作者装置10、管理者装置20、信息处理装置100可以经由预定的网络N通过有线或无线可通信地连接。另外，信息处理系统1中也可以包括任意数量的操作者装置10、任意数量的管理者装置20、以及任意数量的信息处理装置100。
操作者装置10是操作者利用的信息处理装置。操作者装置10例如是智能手机、平板型终端、笔记本型PC(Personal Computer，个人电脑)、台式PC、便携式电话机、PDA(Personal Digital Assistant，掌上电脑)、头戴式显示器等。在实施方式中，对操作者装置10为笔记本型PC或台式PC(以下，有时仅记载为PC)的例子进行说明。
如图2所示，有时按照利用操作者装置10的操作者，如操作者装置10-1～10-N那样区分说明操作者装置10。例如，操作者装置10-1是通过操作者ID“U1”识别的操作者U1利用的操作者装置10。另外，例如，操作者装置10-2是通过操作者ID“U2”识别的操作者U2利用的操作者装置10。另外，以下，在不特别区分说明操作者装置10-1～10-N的情况下，记载为操作者装置10。
管理者装置20是管理操作者进行的操作的管理者利用的信息处理装置。管理者装置20例如是智能手机、平板型终端、笔记本型PC(Personal Computer)、台式PC、移动电话机、PDA(Personal Digital Assistant)、头戴式显示器等。在实施方式中，对管理者装置20为笔记本型PC或台式PC(以下，有时仅记载为PC)的例子进行说明。
信息处理装置100是执行图1中说明的处理的信息处理装置。每当操作者完成针对一个图像的区域的选择处理时，信息处理装置(100)从操作者装置(10)接受针对包括与正解选择区域相关联的有正解图像的多个图像的选择区域。另外，当与接受的选择区域对应的图像是有正解图像时，信息处理装置100基于接受的选择区域与正解选择区域的比较，算出表示对所述操作者的评价的评价值。另外，信息处理装置100将算出的关于评价值的信息发送给管理者装置20。
(4.信息处理装置的构成)
然后，使用图3对根据实施方式的信息处理装置100的构成进行说明。图3是表示根据实施方式的信息处理装置100的构成例的图。信息处理装置100包括通信部110、存储部120、以及控制部130。信息处理装置100可以具有从信息处理装置100的管理者等接受各种操作的输入部(例如，键盘、鼠标等)和用于显示各种信息的显示部(例如，液晶显示器等)。
(通信部110)
通信部110例如通过NIC(Network Interface Card，网卡)等来实现。并且，通信部110通过有线或无线与网络连接，例如，进行与操作者装置10、管理者装置20之间的信息收发。
(存储部120)
存储部120例如通过RAM(Random Access Memory，随机存储器)、闪存(FlashMemory)等半导体存储元件、或者硬盘、光盘等存储装置来实现。具体地，存储部120将能够识别多个处理对象的每一个的信息与多个处理对象的每一个建立对应地进行存储。例如，作为处理对象的一例，存储部120将能够识别多个图像的每一个的信息(例如，图像ID)与多个图像的每一个对应地存储。此外，存储部120将有正解处理对象与正解的处理结果建立对应地进行存储。例如，作为处理对象的一例，存储部120将注释的委托者所选择的正解的选择区域与有正解图像建立对应地进行存储。
(控制部130)
控制部130是控制器(controller)，例如通过CPU(Central Processing Unit，中央处理器)、MPU(Micro Processing Unit，微处理器)等以RAM为操作区域执行存储在信息处理装置100的内部存储装置中的各种程序(相当于信息处理程序的一例)来实现。此外，控制部130是控制器，例如通过ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等集成电路来实现。
控制部130具有获取部131、确定部132、提供部133、接受部134、计算部135、判定部136、以及通知部137作为功能部，并且可以实现或进行以下说明的信息处理操作。控制部130的内部结构不限于图2所示的结构，只要是进行后述的信息处理的结构，也可以是其他结构。各功能部是表示控制部130的功能的，也可不必在物理上进行区别。
(获取部131)
获取部131获取包括与正解处理结果相关联的有正解处理对象的多个处理对象。具体地，作为处理对象的一例，获取部131获取成为注释操作的对象的图像。例如，获取部131从委托者(管理者)利用的管理者装置20获取包括与注释的委托者选择的正解选择区域相关联的有正解图像的多个图像。
另外，在获取到包括有正解处理对象的多个处理对象后，获取部131将能够识别多个处理对象的每一个的信息与多个处理对象的每一个建立对应地存储在存储部120中。例如，作为处理对象的一例，在获取到成为注释操作的对象的多个图像后，获取部131将能够识别多个图像的每一个的信息(例如，图像ID)与多个图像的每一个建立对应地存储在存储部120中。
另外，在获取到有正解处理对象后，获取部131将有正解处理对象与正解处理结果建立对应地存储在存储部120中。例如，作为处理对象的一例，在获取到与注释的委托者选择的正解选择区域相关联的有正解图像后，获取部131将有正解图像与正解选择区域建立对应地存储在存储部120中。
(确定部132)
确定部132确定使操作者处理多个处理对象中有正解处理对象的顺序。具体地，在获取部131获取到多个处理对象后，确定部132确定使操作者处理获取部131获取的多个处理对象中有正解处理对象的顺序。例如，在获取部131获取到多个图像后，确定部132确定使操作者处理获取部131获取的多个图像中有正解图像的顺序。
更具体地，确定部132确定顺序，以使操作者以预定间隔对多个处理对象处理有正解处理对象。例如，确定部132确定顺序，以使操作者以预定间隔对多个图像处理有正解图像。在图1所示的例子中，确定部132确定顺序，以使操作者对于500张图像处理每100张5张有正解图像。即，确定部132将使操作者处理500张图像中有正解图像的顺序，确定为第1张、第101张、201张、第301张和第401张。
接着，在确定使操作者处理有正解处理对象的顺序后，确定部132确定使操作者处理获取部131获取的多个处理对象中有正解处理对象以外的其他处理对象(以下，也称为无正解处理对象)的顺序。例如，在确定使操作者处理有正解图像的顺序后，确定部132确定使操作者处理获取部131获取的多个图像中有正解图像以外的图像(以下，也称为无正解图像)的顺序。在图1所示的例子中，在确定使操作者处理5张有正解图像的顺序后，确定部132确定使操作者处理500张图像中剩余的495张无正解图像的顺序。
在确定多个处理对象的处理顺序后，确定部132将与确定的处理顺序相关联的多个处理对象上传到共享服务器(例如，云服务器)。例如，在确定多个图像的处理顺序后，确定部132将与确定的处理顺序相关联的多个图像上传到共享服务器。在图1所示的例子中，在确定从委托者接受的500张图像的处理顺序后，确定部132将与确定的处理顺序相关联的500张图像上传到共享服务器。
(提供部133)
提供部133向操作者提供用于操作者进行针对多个处理对象的处理的操作画面。具体地，提供部133使操作者装置10显示用于操作者进行针对多个处理对象的处理的操作画面。更具体地，提供部133将相当于用于操作者进行针对多个处理对象的处理的操作画面的内容发送给操作者装置10。例如，提供部133将相当于用于操作者进行针对多个图像的选择区域的选择处理的操作画面的内容发送给操作者装置10。操作者装置10通过在画面上显示从信息处理装置100接收到内容，显示操作画面。例如，提供部133使操作者装置10的画面按照确定部132确定的处理顺序逐一显示多个图像。例如，提供部133使操作者装置10的画面显示相当于后述图4～图7所示操作画面的内容。
另外，提供部133以在视觉上无法区别针对有正解处理对象进行处理的操作画面和针对无正解处理对象进行处理的操作画面的方式，使操作者装置10显示操作画面。例如，提供部133以在视觉上无法区别操作者装置10的画面所显示的图像中的有正解图像和无正解图像的方式，使操作者装置10的画面逐一显示多个图像。
另外，提供部133向管理者提供显示操作者进行的处理情况的管理画面。具体地，计算部135算出多个操作者分别处理的处理完成的处理对象的数量相对于多个处理对象的数量的比例。作为操作者进行的处理情况的一例，提供部133提供如下的管理画面，用于显示计算部135算出的操作者进行的处理完成的处理对象的数量的比例。例如，当有多个操作者时，提供部133提供对于多个操作者分别显示计算部135算出的处理完成的处理对象的数量的比例的管理画面。
另外，提供部133提供显示操作者的技能分数的管理画面。更具体地，基于评价值，计算部135算出表示多个操作者各自的处理技能的技能分数。例如，当有多个操作者时，提供部133提供显示多个操作者各自的技能分数的管理画面。例如，提供部133将相当于管理画面的内容发送给管理者装置20。管理者装置20通过在画面上显示从信息处理装置100接收的内容，显示管理画面。
这里，使用图12～图13对提供部133提供的管理画面进行详细说明。图12～图13是表示根据实施方式的管理者装置的画面的一例的图。
在图12所示的例子中，提供部133将包括部分内容C211～C216的内容C21发送给管理者装置20，该部分内容C211～C216显示有表示负责XX项目的教师数据创建的多个操作者各自的处理情况(当天的进展)以及技能分数的星号。
提供部133提供包括部分内容C211的内容C21，该部分内容C211包括视觉地向管理者通知作为操作者的John创建的教师数据的质量高的信息。例如，提供部133提供包括部分内容C211的内容C21，当管理者选择了部分内容C211中显示的“高质量”文字时，能够转换到显示John的详细处理情况的画面。
另外，提供部133提供包括以下信息的管理画面，该信息视觉地向管理者通知多个操作者中与其他操作者相比评价值低的操作者。作为包括视觉地向管理者通知多个操作者中与其他操作者相比评价值低的操作者的信息的管理画面的一例，例如，提供部133提供包括部分内容C214的内容C21，该部分内容C214包括视觉地向管理者通知作为操作者的Bob创建的教师数据的质量下降的信息。例如，提供部133提供包括部分内容C214的内容C21，当管理者选择了部分内容C214中显示的文字“安全检测”时，能够转换到显示Bob的详细处理情况的画面。
另外，提供部133提供包括部分内容C216的内容C21，该部分内容C216包括视觉地向管理者通知作为操作者的Nigel进行的注释操作停滞的信息。例如，提供部133提供包括部分内容C216的内容C21，当管理者选择了部分内容C216中显示的文字“操作停滞”时，能够转换到显示Nigel的详细处理情况的画面。
另外，提供部133提供显示XX项目的整体进展情况的内容C21。例如，作为XX项目的整体进展情况的一例，提供部133提供显示XX项目整体应该处理的500张图像中386张图像已完成处理的内容C21。另外，提供部133提供显示剩余的操作时间的内容C21。例如，提供部133提供显示XX项目的剩余操作时间为2小时的内容C21。管理者装置20接受到内容C21后，将接受到的内容C21显示在画面上。
在图13所示的例子中，提供部133将内容C22发送给管理者装置20，该内容C22包括显示操作者Nigel的详细处理情况的部分内容C221。例如，当管理者选择了图12所示的部分内容C216中显示的文字“操作停滞”时，提供部133将相当于显示Nigel的详细处理情况的画面内容C22发送给管理者装置20。管理者装置20接受到内容C22后将接受到的内容C22显示在画面上。
另外，提供部133提供包括视频C222的内容C22，该视频C222实时地显示作为操作者的Nigel进行的处理。例如，提供部133提供包括操作者Nigel的光标正在移动的视频C222的内容C22。
另外，提供部133提供包括区域C223的内容C22，该区域C223能够使作为操作者的Nigel通过画面与管理者交换消息。例如，提供部133提供包括能够输入消息的区域F22和消息发送按钮B22的内容C22。另外，提供部133提供包括区域C223的内容C22，该区域C223显示有针对“不要试图打印”这样的管理者消息的“对不起，不做了”这样的Nigel的回复消息。
(接受部134)
每当操作者完成针对一部分处理对象的处理时，接受部134从操作者装置10接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果。具体地，每当操作者完成针对一个图像的区域的选择处理时，接受部134从操作者装置10接受针对包括与正解选择区域相关联的有正解图像的多个图像的选择区域。更具体地，每当操作者完成针对一个图像的区域的选择处理时，接受部134通过提供部133提供的操作画面，从操作者装置10接受操作者进行的选择处理的处理结果。
另外，接受部134按照确定部132确定的顺序从操作者装置10接受针对包括有正解处理对象的多个处理对象的处理结果。具体地，接受部134按照确定部132确定的顺序从操作者装置10接受针对包括有正解图像的多个图像的选择处理的处理结果。更具体地，提供部133按照确定部132确定的顺序，将包括确定部132确定了处理顺序的每一张图像的操作画面发送给操作者装置10。并且，每当操作者完成针对一个图像的区域的选择处理时，接受部134通过提供部133提供的操作画面，从操作者装置10接受操作者进行的选择处理的处理结果。这样使得，接受部134按照确定部132确定的顺序从操作者装置10接受针对图像的选择处理的处理结果。
这里，关于接受部134从操作者装置10接受针对图像的选择处理的处理结果的处理，使用图4～图7进行详细说明。图4～图7是表示根据实施方式的操作者装置10的画面的一例的图。
在图4所示的例子中，提供部133将相当于操作画面的内容C11发送给操作者装置10，该操作画面包括确定部132确定的处理顺序为第十五的图像G11。在接收到内容C11后，操作者装置10将接收到的内容C11显示在画面上。操作者装置10根据操作者的操作，接受操作者从图像G11中选择拍摄有汽车的区域O1的选择处理。接着，操作者装置10根据操作者的操作，接受内容C11中包括的发送按钮B11的选择操作。在接受到发送按钮B11的选择操作后，操作者装置10将操作者所选择的选择区域O1相关的信息发送给信息处理装置100。接受部134从操作者装置10接受作为操作者针对图像G11进行的选择处理的处理结果的选择区域O1。
在图5所示的例子中，操作者装置10根据操作者的操作，接受操作者从图像G12中选择拍摄有与选择区域O1中包括的汽车不同的其他汽车的区域O2的选择处理。接着，操作者装置10根据操作者的操作，接受包括图像G12的内容C12中包括的跳过按钮B12的选择操作。这里，跳过按钮B12是用于操作者因某种原因跳过选择区域的选择处理的按钮。在接受到跳过按钮B12的选择操作后，操作者装置10将关于操作者跳过选择区域O2的选择处理的信息发送给信息处理装置100。接受部134从操作者装置10接受关于操作者进行的跳过选择区域O2的选择处理的信息。
在图6所示的例子中，接受部134接受到关于跳过选择区域O2的选择处理的信息后，提供部133将与显示有部分内容G131的操作画面对应的内容C13发送给操作者装置10，该部分内容G131包括能够通过文本输入操作者跳过选择区域O2的选择处理的理由的字段F13。这里，在部分内容G131中包括用于将输入到字段F13的文本发送给信息处理装置100的跳过按钮B13和用于不将输入到字段F13的文本发送给信息处理装置100的取消按钮B14。
接着，在图7中，操作者装置10根据操作者的操作，接受将表示操作者跳过选择区域O2的选择处理的理由的文本输入到字段F13'的操作。在图7中，操作者装置10接受如“想要确认内部的车加工到何种程度”这样的文本的输入操作。接着，操作者装置10根据操作者的操作，接受部分内容G131中包括的跳过按钮B13的选择操作。在操作者装置10接受到跳过按钮B13的选择操作后，操作者装置10将操作者输入的文本发送给信息处理装置100。接受部134从操作者装置10接受由操作者输入的文本。在接受部134接受到文本后，通知部137将关于接受部134接受的文本的信息与操作者ID建立对应地发送给管理者装置20。
这里，使用图8进一步详细说明实施方式的注释。图8是表示根据实施方式的注释的一例的图。在图8所示的例子中，在图像中包括如“瓶子”、“杯子”以及3个“立方体”这样的多个物体。此时，操作者进行的注释操作是通过手动操作分别选择5个边框来进行的，该5个边框分别包围图像中包括的拍摄有“瓶子”、“杯子”以及3个“立方体”的区域。此时，接受部134从操作者装置10接受与操作者选择的“瓶子”、“杯子”以及3个“立方体”对应的5个边框。如图8所示，通过边框的选择进行的注释所生成的教师数据，例如用于进行图像中包括的多种物体检测(Object Detection))的机器学习模型的学习。
在上述的例子中，对接受部134接受针对包括有正解处理对象的多个处理对象的处理结果的例子进行了说明，但不限于此。具体地，每当操作者完成针对一部分处理对象的处理时，接受部134还可以进一步接受针对不包括有正解处理对象的多个处理对象的处理结果。
(计算部135)
当与接受部134接受的处理结果对应的处理对象是有正解处理对象时，计算部135基于接受部134接受的处理结果与正解处理结果的比较，算出表示针对操作者的评价的评价值。具体地，在接受部134接受到处理结果后，计算部135参考存储部120，确定与处理结果对应的处理对象。接着，在确定与处理结果对应的处理对象后，计算部135判定所确定的处理对象是否是有正解处理对象。例如，计算部135参考存储部120，判定是否存在与所确定的处理对象相关联的正解处理结果。当判定存在与所确定的处理对象相关联的正解处理结果时，计算部135判定所确定的处理对象是有正解处理对象。接着，当判定与接受部134接受的处理结果对应的处理对象是有正解处理对象时，计算部135参考存储部120，获取关于与有正解处理对象相关联的正解处理结果的信息。接着，在获取到关于正解处理结果的信息后，计算部135基于获取到的正解处理结果与接受部134接受的处理结果的比较，算出表示针对操作者的评价的评价值。
更具体地，计算部135基于接受部134接受的处理结果与正解处理结果的比较，算出接受部134接受的处理结果与正解处理结果的重合情况(一致度)，作为评价值的一例。例如，当与接受部134接受的选择区域对应的图像是有正解图像时，计算部135基于接受部134接受的选择区域与正解选择区域的比较，算出表示针对操作者的评价的评价值。例如，计算部135基于接受部134接受的选择区域与正解选择区域的比较，算出接受部134接受的选择区域与正解选择区域的重合情况(一致度)，作为评价值的一例。
例如，计算部135算出IoU(Intersection over Union，交并比)，其是通过将接受部134接受的选择区域和正解选择区域的公共部分(Intersection，交集)的面积除以接受部134接受的选择区域和正解选择区域的并集(Union)的面积而获得的值。这里，IoU被用作物体检测中的评价指标。例如，在接受部134接受的选择区域与正解选择区域正好重合(一致)的情况下，IoU的值为1。另一方面，在接受部134接受的选择区域与正解选择区域完全不重合的情况下，IoU的值为0。即，可以说IoU的值越大，物体检测越顺利。即，可以说计算部135算出的IoU的值越大，操作者的物体检测的质量越高。因此，计算部135算出的IoU的值越大，对操作者的评价越高。
在上述的例子中，对计算部135基于接受部134接受的处理结果与正解处理结果的比较来算出表示对操作者的评价的评价值的例子进行了说明，但不限于此。具体地，计算部135可以基于接受部134接受的针对不包括有正解处理对象的多个处理对象的处理结果，算出表示针对操作者的评价的评价值。例如，计算部135基于接受部134接受的针对不包括有正解处理对象的多个处理对象的处理结果，算出表示基于与正解处理结果的比较的评价以外的评价的其他评价值。例如，作为其他评价值的一例，计算部135可以算出操作者处理多个处理对象的处理速度。例如，计算部135算出将操作者处理的多个处理对象的数量除以操作者处理所需时间而得到的值作为处理速度。
(判定部136)
判定部136基于计算部135算出的评价值，判定处理结果的质量是否下降。具体地，在计算部135算出的评价值低于评价阙值的情况下，判定部136判定处理结果的质量下降。例如，在计算部135算出的IoU的值低于评价阙值的情况下，判定部136判定处理结果的质量下降。
(通知部137)
通知部137向管理操作者的操作的管理者通知警报。具体地，在判定部136判定质量下降的情况下，通知部137向管理者通知警报。关于通知部137进行的警报的通知处理，使用图14详细说明。图14是表示根据实施方式的管理者装置的画面的一例的图。
在图14中，当计算部135算出的IoU的值小于作为评价阈值的50分时，判定部136判定处理结果的质量下降。例如，计算部135算出关于第101张图像的IoU的值为45分。由于计算部135算出的IoU的值小于作为评价阈值的50分，因此，判定部136判定操作者注释的质量已下降。由于判定部136判定质量下降，所以通知部137向管理者通知警报。在图14所示的例子中，通知部137向管理者装置20发送包括部分内容C231的内容C23，该部分内容C231包括在第101张图像的缩略图的右下方显示通知质量下降的叹号的图像G231。另外，通知部137向管理者装置20发送包括部分内容C232的内容C23，该部分内容C232包括对第101张图像的评价值S232、在第101张图像的缩略图的右下方显示通知质量下降的叹号的图像G232、以及与质量下降检测有关的消息M23。在接受到内容C23后，管理者装置20将接受到的内容C23显示在画面上。
(5.变形例)
上述根据实施方式的信息处理系统1除了上述实施方式以外还可以以各种不同的方式实施。因此，下面对信息处理系统1的另一实施方式进行说明。对与实施方式相同的部分标注相同的附图标记并省略说明。
(5-1.有正解处理对象的处理顺序)
在上述的实施方式中，对确定部132确定顺序以使操作者以预定间隔对多个处理对象处理有正解处理对象的例子进行了说明，但有正解处理对象的处理顺序不限于此。
具体地，确定部132确定使操作者处理的顺序越小，有正解处理对象变得越多。更具体地，与使操作者处理的顺序超过第一阈值的情况相比，在使操作者处理的顺序为第一阈值以下的情况下，确定部132确定有正解处理对象增多。由此，信息处理装置100可以在对多个处理对象处理的早期阶段确认操作者的处理结果与委托者的正解处理结果之间是否存在不一致。
另外，确定部132确定使操作者处理的顺序越大，有正解处理对象变得越多。更具体地，与使操作者处理的顺序低于第二阈值的情况相比，在使操作者处理的顺序为第二阈值以上的情况下，确定部132确定有正解处理对象增多。由此，信息处理装置100例如可以通过与多个处理对象的前一半相比在操作者渐渐疲劳的多个处理对象的后一半中包括更多的有正解处理对象，来适当地检测由于操作者的疲劳而导致的质量下降。
另外，确定部132基于计算部135算出的评价值的统计信息，动态地确定使操作者处理有正解处理对象的顺序。更具体地，作为统计信息，确定部132基于评价值的变化，确定在评价值低于第三阈值的情况下与评价值低于第三阈值之前相比有正解处理对象增多。例如，确定部132基于针对每个操作者不同的评价值的变化，确定针对每个操作者不同的第三阈值。接着，确定部132根据针对每个操作者不同的第三阈值，确定在评价值低于第三阈值的情况下与评价值低于第三阈值之前相比有正解处理对象增多。由此，信息处理装置100例如可以通过基于评价值的变化来分析每个操作者的质量下降趋势来确定第三阈值，从而适当地检测与操作者相对应的质量下降。
另外，作为统计信息，确定部132基于评价值的变化，确定在评价值呈现出下降趋势时与评价值呈现出下降趋势之前相比有正解处理对象增多。由此，信息处理装置100例如可以通过在评价值呈现出下降趋势之后与在评价值呈现出下降趋势之前相比包括更多的有正解处理对象来防止质量下降。
另外，确定部132基于计算部135算出的评价值，确定相对于多个处理对象的数量包括的有正解处理对象的数量。例如，确定部132基于多个操作者的评价值，确定与其他操作者相比评价值越低的操作者相对于多个处理对象的数量包括的有正解处理对象的数量越多。从而，信息处理装置100能够节省大量准备在创建方面耗时的有正解处理对象的时间，并且可以有效地分配数量有限的有正解处理对象。
另外，接受部134从多个操作者分别接受针对同一处理对象的处理结果。计算部135算出多个操作者中处理了与从其他操作者接受的处理结果不同趋势的处理结果的操作者的评价值，使其低于其他操作者的评价值。由此，信息处理装置100还可以对无正解处理对象评价操作者的操作内容。另外，信息处理装置100可以节省大量准备在创建方面耗时的有正解处理对象的时间，并且可以有效地分配数量有限的有正解处理对象。
(5-2.教师数据的种类)
在上述实施方式中，说明了信息处理装置100对于图像识别技术中进行物体检测的机器学习模型的教师数据的质量进行评价的例子，但信息处理装置100评价的教师数据的种类不限于此。具体地，上述处理对象根据机器学习模型的用途，除图像之外也可以是文本或声音。
(5-3.注释的种类)
在上述实施方式中，说明了信息处理装置100对于通过图8所示的边框选择进行注释所创建的教师数据的质量进行评价的例子，也可以评价通过其他种类的注释所创建的教师数据的质量。这里，使用图9～图11详细说明注释的种类。图9～图11是表示变形例的注释的一例的图。信息处理装置100可以评价通过图9～图11所示的注释所创建的教师数据的质量。
在图9所示的例子中，在图像中包括如“瓶子”、“杯子”以及3个“立方体”这样的多个物体。此时，操作者进行的注释操作是通过手动操作将图像中包括的如“瓶子”、“杯子”以及“立方体”这样的表示物体种类的标签赋予给图像来进行的。此时，接受部134从操作者装置10接受由操作者赋予的“瓶子”、“杯子”以及“立方体”所对应的3张标签。如图9所示的通过赋予标签的注释生成的教师数据例如用于进行图像分类(Image Classification)的机器学习模型的学习，该图像分类用于将图像分类为与标签相对应的类。
在图10所示的例子中，在图像中包括如“瓶子”、“杯子”以及3个“立方体”这样的多个物体。此时，操作者进行的注释操作通过以下进行：将图像中包括的拍摄有“瓶子”、“杯子”以及3个“立方体”的区域按照每个物体的种类用颜色区分成“瓶子”、“杯子”、“立方体”3种类并涂色。此时，接受部134从操作者装置10接受操作者用颜色区分成3种类并涂上颜色的区域。如图10所示，通过按照每个物体的种类用颜色区分区域的注释生成的教师数据，例如用于进行将图像中的全部像素分类为类的语义分割(Semantic Segmentation)的机器学习模型的学习。
在图11所示的例子中，在图像中包括如“瓶子”、“杯子”以及3个“立方体”这样的多个物体。此时，操作者的注释操作通过以下进行：将图像中包括的拍摄有“瓶子”、“杯子”以及3个“立方体”的区域按照每个物体用颜色区分成5种类来进行涂色。此时，接受部134从操作者装置10接受操作者用颜色区分成5种类并涂上颜色的区域。如图11所示，通过按照每个物体用颜色区分区域的注释生成的教师数据，例如用于进行将图像中各像素按照每个物体分类的即时分割(Instant Segmentation)的机器学习模型的学习。
(6.效果)
如上所述，根据实施方式的信息处理装置100包括接受部134和计算部135。每当操作者完成针对一部分处理对象的处理时，接受部134接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果。在与接受部134接受的处理结果对应的处理对象是有正解处理对象的情况下，计算部135基于接受部134接受的处理结果与正解处理结果的比较，算出表示对所述操作者的评价的评价值。
这样，在由人工进行的对多个处理对象的处理的过程中，信息处理装置100进行基于操作者进行的处理结果与有正解处理对象的比较的过程审查。由此，信息处理装置100通过过程审查定期地评价质量，从而能够在质量下降的情况下立即检测，因此能够将整体的质量下降防患于未然。因此，信息处理装置100可以确保由诸如注释之类的人工进行的针对多个处理对象的处理结果的质量。
另外，信息处理装置100还包括确定部132。确定部132确定使操作者处理多个处理对象中有正解处理对象的顺序。接受部134按照确定部132确定的顺序，接受针对包括有正解处理对象的多个处理对象的处理结果。当与接受部134接受的处理结果对应的处理对象是有正解处理对象时，计算部135算出表示对操作者的评价的评价值。
由此，信息处理装置100可以根据操作者或处理对象的种类灵活地确定处理有正解处理对象的顺序，从而可以更适当地检测与操作者或处理对象的种类相对应的质量下降。
另外，确定部132确定操作者进行处理的顺序越小，有正解处理对象变得越多。具体地，与使操作者处理的顺序超过第一阈值的情况相比，在使操作者处理的顺序为第一阈值以下的情况下，确定部132确定有正解处理对象增多。
由此，信息处理装置100可以在对多个处理对象处理的早期阶段确认操作者的处理结果与委托者的正解处理结果之间是否存在不一致。
另外，确定部132确定使操作者处理的顺序越大，有正解处理对象变得越多。具体地，与使操作者处理的顺序低于第2阈值的情况相比，在使操作者处理的顺序为第二阈值以上的情况下，确定部132确定有正解处理对象增多。
由此，信息处理装置100可以通过与多个处理对象的前一半相比在操作者渐渐疲劳的多个处理对象的后一半中包括更多有正解处理对象来适当地检测由于操作者的疲劳而导致的质量下降。
另外，确定部132基于计算部135算出的评价值的统计信息，动态确定使操作者处理有正解处理对象的顺序。具体地，作为统计信息，确定部132基于评价值的变化，确定在评价值低于第三阈值的情况下与评价值低于第三阈值之前相比有正解处理对象增多。
由此，信息处理装置100例如可以通过基于评价值的变化分析每个操作者的质量下降趋势来确定第三阈值，从而适当地检测与操作者相对应的质量下降。
另外，作为统计信息，确定部132基于评价值的变化，确定在评价值呈现出下降趋势时与评价值呈现出下降趋势之前相比有正解处理对象增多。
由此，信息处理装置100可以通过例如在评价值呈现出下降趋势之后与在评价值呈现出下降趋势之前相比包括更多的正解处理对象来防止质量下降。
另外，确定部132基于计算部135算出的评价值，确定相对于多个处理对象的数量包括的有正解处理对象的数量。例如，确定部132基于多个操作者的评价值，确定与其他操作者相比评价值越低的操作者相对于多个处理对象的数量包括的有正解处理对象的数量越多。
由此，信息处理装置100能够节省大量准备在创建方面耗时的有正解处理对象的时间，并且可以有效地分配数量有限的有正解处理对象。
另外，接受部134从多个操作者分别接受针对同一处理对象的处理结果。计算部135算出多个操作者中处理了与从其他操作者接受的处理结果不同趋势的处理结果的操作者的评价值，使其低于其他操作者的评价值。
由此，信息处理装置100还可以对无正解处理对象来评价操作者的操作内容。另外，信息处理装置100可以节省大量准备在创建方面耗时的有正解处理对象的时间，并且可以有效地分配有限数量的有正解处理对象。
另外，每当操作者完成针对一部分处理对象的处理时，接受部134还接受针对不包括有正解处理对象的多个处理对象的处理结果。计算部135基于接受部134接受的处理结果，算出表示对所述操作者的评价的评价值。
由此，信息处理装置100能够算出表示基于与有正解处理对象的比较的评价以外的评价的其他评价值(例如，操作者的处理速度)。
另外，信息处理装置100还包括判定部136和通知部137。判定部136基于计算部135算出的评价值，判定处理结果的质量是否下降。通知部137向管理操作者的操作的管理者通知警报。在计算部135算出的评价值小于评价阈值的情况下，判定部136判定处理结果的质量下降。在判定部136判定为质量下降的情况下，通知部137向管理者通知警报。
由此，当信息处理装置100检测到操作者进行的处理结果的质量下降时，信息处理装置100能够提醒操作者纠正质量的下降。
另外，信息处理装置100还包括提供部133。提供部133向管理操作者的操作的管理者所利用的管理者装置20提供显示多个操作者各自的处理情况的管理画面。计算部135算出多个操作者分别处理的处理完成的处理对象的数量相对于多个处理对象的数量的比例。提供部133提供针对多个操作者的每一个显示计算部135算出的比例的管理画面，作为处理情况。
由此，信息处理装置100能够使管理者确认操作者的处理情况，因此，例如能够使管理者根据操作者的处理情况来分配处理对象或有正解处理对象。
另外，计算部135基于评价值，算出表示多个操作者各自的处理技能的技能分数。提供部133提供显示多个操作者各自的技能分数的管理画面。
由此，信息处理装置100能够使管理者确认操作者的技能，因此，例如能够使管理者根据操作者的技能来分配处理对象或有正解处理对象。
另外，提供部133提供管理画面，该管理画面包括将多个操作者中与其他操作者相比评价值低的操作者在视觉上通知给管理者的信息。
由此，信息处理装置100能够使管理者掌握与其他操作者相比评价值低的操作者。
另外，信息处理装置100还包括提供部133，该提供部133使操作者利用的操作者装置显示用于操作者针对多个处理对象进行处理的操作画面。提供部133以在视觉上无法区别针对有正解处理对象进行处理的操作画面和针对有正解处理对象以外的其他处理对象进行处理的操作画面的方式，使操作者装置10显示操作画面。
由此，信息处理装置100不能从操作者区分有正解处理对象和有正解处理对象之外的其它处理对象，因此能够防止操作者仅在处理有正解处理对象时谨慎处理。
另外，处理对象是用于机器学习模型的学习的教师用图像，该机器学习模型用于识别图像中包括的物体。另外，处理是操作者从图像中选择拍摄有物体的区域的选择处理。每当操作者完成针对一部分图像的区域的选择处理时，接受部134接受针对包括与正解选择区域相关联的有正解图像的多个图像的选择区域。当与接受部134接受的选择区域对应的图像是有正解图像时，计算部135基于接受部134接受的选择区域与正解选择区域的比较，算出表示对操作者的评价的评价值。
这样，在手动进行的针对多个图像的注释的过程中，信息处理装置100基于操作者选择的选择区域与正解选择区域之间的比较来进行过程审查。由此，信息处理装置100通过过程审查定期地评价注释的质量，从而能够在注释的质量下降的情况下立即检测到，因此，能够将整体的注释的质量下降防患于未然。因此，信息处理装置100可以确保注释等的质量。
(7.硬件构成)
另外，根据以上实施方式的信息处理装置100，例如通过图14所示结构的计算机1000来实现。图14是示出实现信息处理装置100的功能的计算机的一例的硬件构成图。计算机1000具备CPU 1100、RAM 1200、ROM 1300、HDD 1400、通信接口(I/F)1500、输入输出接口(I/F)1600、以及介质接口(I/F)1700。
CPU 1100可以基于存储在ROM 1300或HDD 1400中的程序进行动作、各部的控制。ROM 1300可以存储计算机1000启动时由CPU 1100执行的引导程序、依赖于计算机1000的硬件的程序等。
HDD 1400存储由CPU 1100执行的程序以及由该程序使用的数据等。通信接口1500经由预定的通信网从其他设备接受数据并发送给CPU 1100，将CPU 1100生成的数据经由预定的通信网发送给其他设备。
CPU 1100可以通过输入输出接口1600来控制显示器或打印机等输出装置、以及键盘或鼠标等输入装置。CPU 1100可以通过输入输出接口1600从输入装置获取数据。另外，CPU 1100也可以经由输入输出接口1600将生成的数据输出给输出装置。
介质接口1700可以读取存储在记录介质1800中的程序或数据，经由RAM 1200提供给CPU 1100。CPU 1100可以将该程序经由介质接口1700从记录介质1800加载到RAM 1200上，并执行所加载的程序。记录介质1800例如可以是DVD(DigitalVersatile Disc，数字多功能光盘)、PD(Phase change rewritable Disk，相变可重写磁盘)等光学记录介质、MO(Magneto－Optical disk，磁光盘)等光磁记录介质、磁带介质、磁记录介质、或半导体存储器等。
例如，在计算机1000用作根据实施方式的信息处理装置100的情况下，计算机1000的CPU 1100可以通过执行加载到RAM 1200上的程序来实现控制部130的功能。计算机1000的CPU 1100可以从记录介质1800读取并执行这些程序。作为其他的例子，也可以从其他装置经由预定的通信网获取这些程序。
以上，基于几个附图详细说明了本申请的实施方式，但这些只是示例，在发明公开的方式的基础上，也能够通过基于本领域技术人员的知识实施了各种变形、改良的其他方式来实施本发明。
(8.其他)
在上述实施方式及变形例中描述的各处理中，也可以手动进行作为自动处理描述的全部处理或一部分处理，或者也可以用公知的方法自动进行作为手动处理描述的全部处理或一部分处理。另外，除非另有说明，否则可以任意改变在上文和附图中示出的处理步骤、具体名称以及包括各种数据和参数的信息。例如，各图所示的各种信息不限于图示的信息。
另外，图示的各装置的各构成要素是功能概念性的，不一定需要在物理上如图示那样地构成。即，各装置的分散/集成的具体方式不限于图示的方式，可以根据各种负荷和使用情况等，以任意单位在功能上或物理上分散/集成构成其全部或一部分。
上述实施方式及变形例在不使处理内容矛盾的范围内可以适当组合。
另外，上述的“部(section、module、unit)”可以替换为“单元”或“电路”等。例如，计算部可以替换为计算单元或计算电路等。
附图标号说明
1 信息处理系统
10 操作者装置
20 管理者装置
100 信息处理装置
110 通信部
120 存储部
130 控制部
131 获取部
132 确定部
133 提供部
134 接受部
135 计算部
136 判定部
137 通知部

Claims (21)

1.一种信息处理装置，包括：
接受部，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果；
计算部，当与所述接受部接受的处理结果对应的处理对象是所述有正解处理对象时，基于所述接受部所接受的处理结果与所述正解处理结果的比较，算出表示对所述操作者的评价的评价值。
2.根据权利要求1所述的信息处理装置，其中，
还包括确定部，确定使所述操作者处理所述多个处理对象中所述有正解处理对象的顺序；
所述接受部按照所述确定部确定的顺序接受针对包括所述有正解处理对象的所述多个处理对象的处理结果；
当与所述接受部接受的处理结果对应的处理对象是所述有正解处理对象时，所述计算部算出表示对所述操作者的评价的评价值。
3.根据权利要求2所述的信息处理装置，其中，
所述确定部确定使所述操作者处理的顺序越小，所述有正解处理对象越多。
4.根据权利要求3所述的信息处理装置，其中，
所述确定部确定与使所述操作者处理的顺序超过第一阙值时相比，使所述操作者处理的顺序在第一阙值以下时所述有正解处理对象更多。
5.根据权利要求2所述的信息处理装置，其中，
所述确定部确定使所述操作者处理的顺序越大，所述有正解处理对象越多。
6.根据权利要求5所述的信息处理装置，其中，
所述确定部确定与使所述操作者处理的顺序低于第二阈值时相比，使所述操作者处理的顺序在第二阙值以上时所述有正解处理对象更多。
7.根据权利要求2～6中任一项所述的信息处理装置，其中，
所述确定部基于所述计算部算出的评价值的统计信息，动态地确定使所述操作者处理所述有正解处理对象的顺序。
8.根据权利要求7所述的信息处理装置，其中，
作为所述统计信息，所述确定部基于所述评价值的变化，确定在所述评价值低于第三阙值时与所述评价值低于第三阙值之前相比所述有正解处理对象更多。
9.根据权利要求7或8所述的信息处理装置，其中，
作为所述统计信息，所述确定部基于所述评价值的变化，确定在所述评价值呈现出下降趋势时与所述评价值呈现出下降趋势之前相比所述有正解处理对象更多。
10.根据权利要求2～9中任一项所述的信息处理装置，其中，
所述确定部基于所述计算部算出的评价值，确定相对于所述多个处理对象的数量所包括的所述有正解处理对象的数量。
11.根据权利要求10所述的信息处理装置，其中，
所述确定部基于多个操作者的评价值，确定与其他操作者相比所述评价值越低的操作者，相对于所述多个处理对象的数量所包括的所述有正解处理对象的数量越多。
12.根据权利要求1～11中任一项所述的信息处理装置，其中，
所述接受部从多个操作者分别接受针对同一处理对象的处理结果，
所述计算部算出所述多个操作者中处理了与从其他操作者接受的处理结果不同的趋势的处理结果的操作者的评价值，使该评价值低于对其他操作者的评价。
13.根据权利要求1～12中任一项所述的信息处理装置，其中，
每当操作者完成针对一部分处理对象的处理时，所述接受部还接受针对不包括所述有正解处理对象的多个处理对象的处理结果，
所述计算部基于所述接受部接受的处理结果，算出表示对所述操作者的评价的评价值。
14.根据权利要求1～13中任一项所述的信息处理装置，其中，
所述信息处理装置还包括：
判定部，基于所述计算部算出的评价值，判定所述处理结果的质量是否下降；
通知部，向管理所述操作者的操作的管理者通知警报，
所述判定部在所述计算部算出的评价值低于评价阙值的情况下，判定所述处理结果的质量下降，
所述通知部在所述判定部判定为质量下降的情况下，向所述管理者通知警报。
15.根据权利要求1～14中任一项所述的信息处理装置，其中，
所述信息处理装置还包括提供部，向管理所述操作者的操作的管理者所利用的管理者装置提供显示多个操作者各自的处理情况的管理画面；
所述计算部算出所述多个操作者分别处理完成的处理对象的数量相对于所述多个处理对象的数量的比例；
作为所述处理情况，所述提供部提供显示由所述计算部针对所述多个操作者的每一位算出的比例的管理画面。
16.根据权利要求15所述的信息处理装置，其中，
所述计算部基于所述评价值，算出表示所述多个操作者各自的处理技能的技能分数，
所述提供部提供显示所述多个操作者各自的技能分数的所述管理画面。
17.根据权利要求15或16所述的信息处理装置，其中，
所述提供部提供包括如下信息的所述管理画面，将所述多个操作者中与其他操作者相比所述评价值低的操作者在视觉上通知给所述管理者。
18.根据权利要求1～17中任一项所述的信息处理装置，其中，
所述信息处理装置还包括提供部，该提供部使所述操作者利用的操作者装置上显示用于所述操作者针对所述多个处理对象进行处理的操作画面；
所述提供部以在视觉上无法区别针对所述有正解处理对象进行处理的操作画面和针对所述有正解处理对象以外的其他处理对象进行处理的操作画面的方式，使所述操作者装置显示所述操作画面。
19.根据权利要求1～18中任一项所述的信息处理装置，其中，
所述处理对象是用于机器学习模型的学习的教师用图像，该机器学习模型用于识别图像中包括的物体，
所述处理是所述操作者从图像中选择拍摄有物体的区域的选择处理，
每当操作者完成针对一部分图像的区域的选择处理时，所述接受部接受针对多个图像的选择区域，所述多个图像包括与正解选择区域相关联的有正解图像，
所述计算部在与所述接受部接受的选择区域对应的图像是所述有正解图像的情况下，基于所述接受部接受的选择区域与所述正解选择区域的比较，算出表示对所述操作者的评价的评价值。
20.一种信息处理方法，由计算机执行，包括：
接受步骤，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果；
计算步骤，当与通过所述接受步骤接受的处理结果对应的处理对象是所述有正解处理对象时，基于通过所述接受步骤接受的处理结果与所述正解处理结果的比较，算出表示对所述操作者的评价的评价值。
21.一种信息处理程序，包括：
接受步骤，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解的处理结果相关联的有正解处理对象的多个处理对象的处理结果；
计算步骤，在与通过所述接受步骤接受的处理结果对应的处理对象是所述有正解处理对象时，基于通过所述接受步骤接受的处理结果与所述正解处理结果的比较，算出表示对所述操作者的评价的评价值。
CN202180050766.9A 2020-11-27 2021-11-18 信息处理装置、信息处理方法及信息处理程序 Pending CN115917583A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020197467A JP7189922B2 (ja) 2020-11-27 2020-11-27 情報処理装置、情報処理方法及び情報処理プログラム
JP2020-197467 2020-11-27
PCT/JP2021/042453 WO2022113879A1 (ja) 2020-11-27 2021-11-18 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN115917583A true CN115917583A (zh) 2023-04-04

Family

ID=81754557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180050766.9A Pending CN115917583A (zh) 2020-11-27 2021-11-18 信息处理装置、信息处理方法及信息处理程序

Country Status (4)

Country Link
US (1) US20230316723A1 (zh)
JP (2) JP7189922B2 (zh)
CN (1) CN115917583A (zh)
WO (1) WO2022113879A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307822B2 (ja) 2013-09-19 2018-04-11 富士通株式会社 プログラム、コンピュータおよび訓練データ作成支援方法
JP7236694B2 (ja) 2018-08-02 2023-03-10 パナソニックＩｐマネジメント株式会社 情報処理方法、及び情報処理システム
JP6989485B2 (ja) 2018-12-21 2022-01-05 株式会社 日立産業制御ソリューションズ マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラム
JP7186120B2 (ja) 2019-03-27 2022-12-08 オリンパス株式会社 画像ファイル生成装置

Also Published As

Publication number Publication date
JP7189922B2 (ja) 2022-12-14
US20230316723A1 (en) 2023-10-05
WO2022113879A1 (ja) 2022-06-02
JP2023022262A (ja) 2023-02-14
JP2022085670A (ja) 2022-06-08

Similar Documents

Publication Publication Date Title
Pandey et al. Towards understanding human similarity perception in the analysis of large sets of scatter plots
US20200012894A1 (en) Visually Aided Active Learning for Training Object Detector
CN108960316B (zh) 用于生成模型的方法和装置
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN109947989B (zh) 用于处理视频的方法和装置
JP6780769B2 (ja) 学習装置、学習方法および学習プログラム
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
CN111242083B (zh) 基于人工智能的文本处理方法、装置、设备、介质
JP2018512567A (ja) 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
JP2019106119A (ja) 検出システム、情報処理装置、評価方法及びプログラム
US20220044147A1 (en) Teaching data extending device, teaching data extending method, and program
US20100329545A1 (en) Method and system for training classification and extraction engine in an imaging solution
KR102244704B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자 맞춤형 작업 가이드의 자동 제공 방법
US20210118316A1 (en) Document checking system and grading system
CN115269359A (zh) 终端界面测试方法及装置
CN115917583A (zh) 信息处理装置、信息处理方法及信息处理程序
JP7231785B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN115631374A (zh) 控件操作方法、控件检测模型的训练方法、装置和设备
CN115203472A (zh) 一种基于数据标注的数据管理方法和系统
US20240055109A1 (en) Inspection assistance device, inspection assistance method, and recording medium
CN117668298B (zh) 一种应用数据分析的人工智能方法及系统
CN114118449B (zh) 基于偏标记学习模型的图片标签识别方法、介质及设备
CN109816035B (zh) 图像处理方法和装置
EP4080515A1 (en) A method for classifying an identification tag on a sample tube containing a sample and an automated laboratory system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination