CN110874562A - 贡献度决定方法、贡献度决定装置及记录介质 - Google Patents

贡献度决定方法、贡献度决定装置及记录介质 Download PDF

Info

Publication number
CN110874562A
CN110874562A CN201910788142.1A CN201910788142A CN110874562A CN 110874562 A CN110874562 A CN 110874562A CN 201910788142 A CN201910788142 A CN 201910788142A CN 110874562 A CN110874562 A CN 110874562A
Authority
CN
China
Prior art keywords
comment
job
contribution degree
worker
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910788142.1A
Other languages
English (en)
Inventor
谷川徹
庄田幸惠
井本淳一
塚本裕介
芋本征矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110874562A publication Critical patent/CN110874562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Technology Law (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供贡献度决定方法、贡献度决定装置及记录介质，能够使利用众包而被委托的作业者加快着手作业。该贡献度决定方法包含：更新履历取得步骤(S10)，从第一存储装置，取得由利用众包的多个作业者进行的注释作业已完成的一个以上的对象数据分别所对应的注释作业的更新履历；以及贡献度计算步骤(S20)，参照所取得的更新履历，按照存储于第二存储装置的预先决定的加权规则，计算表示多个作业者的多个作业者ID的每个的作业贡献度。在贡献度计算步骤(S20)中，计算向表示针对一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行加权而得到的作业贡献度。

Description

贡献度决定方法、贡献度决定装置及记录介质
技术领域
本公开涉及贡献度决定方法、贡献度决定装置及记录介质。
背景技术
近年来，作为神经网络(neural network)的一种，被称为深度学习(DeepLearning)的机器学习方法受到关注。在深度学习中，利用将表示识别对象的图像上位置的包围盒(bounding box)以及表示识别对象的种类等的正解标签等和图像设为集合的学习数据来进行学习处理，从而能够实现高精度的物体识别。
作为准备大量的带注释图像的方法，有利用众包(Crowdsourcing)的方法。这里，众包是通过互联网向不特定多数的人(作业者)委托作业(任务)的机制。因此，通过利用众包，能够使多个作业者进行注释作业，即：从影像帧等图像发现学习处理所需的人物等物体，在识别对象的图像上附加表示映出该物体的区域的包围盒和种类等的标签。由此，能够抑制成本并准备大量的带注释图像。
这里，例如专利文献1中公开了一种技术，基于表示多个作业者各自的作业的实施场所及实施时间的信息，来决定各作业者的等价报酬。由此，作业的委托者能够在没有设定的预算的情况下使多个作业者进行更大量的作业。
现有技术文献
专利文献
专利文献1：日本特开2017-156815号公报
但是，利用众包而被委托的作业者多半是在家进行作业的人，在作业者自身的空闲时间进行作业，因此存在到着手及完成被委托的作业为止需要时间的情况。并且，即使在上述专利文献1中，使到作业者着手并完成作业为止的时间加快的激励也不起作用，因此存在到着手及完成被委托的作业为止需要时间的情况。
发明内容
本公开是针对上述情况而做出的，目的在于提供能够使利用众包的作业者加快着手作业的贡献度决定方法、贡献度决定装置以及记录介质。
为了实现上述目的，本公开的一方式的贡献度决定方法，是由计算机执行的贡献度决定方法，包含：更新履历取得步骤，从第一存储装置，取得通过利用众包的多个作业者而完成了附加注释的作业即注释作业的一个以上的对象数据分别所对应的注释作业的更新履历；以及贡献度计算步骤，参照在所述更新履历取得步骤中取得的所述更新履历，按照存储于第二存储装置的预先决定的加权规则，计算表示所述多个作业者的多个作业者ID的每个的作业贡献度；在所述贡献度计算步骤中，计算向表示针对所述一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行加权而得到的作业贡献度。
此外，这些整体性或具体性的方式可以通过系统、方法、集成电路、计算机程序或可由计算机读取的CD-ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
根据本公开，能够实现能够使利用众包的作业者加快着手作业的贡献度决定方法、贡献度决定装置及记录介质。
附图说明
图1是表示实施方式1的系统的整体结构的一例的图。
图2是表示实施方式1的传感器数据DB所保存的静止图像的一例的图。
图3是表示实施方式1的注释工具部所提供的注释作业画面的一例的图。
图4A是表示实施方式1的注释工具部所提供的注释作业画面的一例的图。
图4B是表示实施方式1的注释工具部所提供的注释作业画面的一例的图。
图4C是表示实施方式1的注释工具部所提供的注释作业画面的一例的图。
图5是表示实施方式1的注释作业数据DB中存储的注释作业数据的一例的图。
图6是表示实施方式1的金额计算部的详细结构的一例的图。
图7A是表示实施方式1的贡献度决定装置的动作的一例的流程图。
图7B是表示图7A所示的步骤S20的详细动作例的流程图。
图8A是表示实施方式1的注释工具部所提供的注释作业画面的另一例的图。
图8B是表示在图8A所示的注释作业画面中反映了注释作业的情况下的注释作业画面的一例的图。
图8C是表示在图8A所示的注释作业画面中反映了注释作业的情况下的注释作业画面的一例的图。
图9是表示实施方式2的系统的整体结构的一例的图。
图10是表示图9所示的判定部的详细结构的一例的图。
图11是表示实施方式2的注释工具部所提供的注释作业画面的一例的图。
图12是表示实施方式2的注释工具部所提供的注释作业画面的一例的图。
图13是表示实施方式2的贡献度决定装置的作业完成判定处理的流程图。
图14是表示实施方式2的贡献度决定装置的不适当作业判定处理的流程图。
具体实施方式
本公开的一方式的贡献度决定方法，是由计算机执行的贡献度决定方法，包含：更新履历取得步骤，从第一存储装置，取得通过利用众包的多个作业者而完成了附加注释的作业即注释作业的一个以上的对象数据分别所对应的注释作业的更新履历；以及贡献度计算步骤，参照在所述更新履历取得步骤中取得的所述更新履历，按照存储于第二存储装置的预先决定的加权规则，计算表示所述多个作业者的多个作业者ID的每个的作业贡献度；在所述贡献度计算步骤中，计算向表示针对所述一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行加权而得到的作业贡献度。
由此，能够使利用众包的作业者加快着手作业。
这里，例如，所述一个以上的对象数据是一个以上的静止图像，所述注释作业是如下这样的作业，即：附加将所述一个以上的静止图像中分别映出的一个以上的对象物体分别包围的包围盒，并向所述包围盒附加表示所述一个以上的对象物体的每一个的标签。
此外，例如可以是，所述一个以上的静止图像分别是由车辆所搭载的车载相机或设置于规定位置的监控相机拍摄的图像，所述一个以上的对象物体包括在所述静止图像中映出的人。
另外，例如，所述一个以上的对象数据是一个以上的时序数据，所述注释作业是如下这样的作业，即：附加对所述一个以上的时序数据所包含的一个以上的状态分别进行区别的时间区间，并向一个以上的所述时间区间的每一个附加表示对应的状态的标签。
此外，例如可以是，所述一个以上的时序数据分别是与由车辆所搭载的车载相机拍摄的多个图像分别同时地由传感器取得的关于所述车辆的传感器数据，所述一个以上的状态是所述车辆的行驶状态、所述车辆的行驶场所、所述车辆的周边环境、所述车辆所行驶的道路状况中的至少一个。
另外，例如可以是，在所述贡献度计算步骤中，计算向表示针对所述一个以上的对象数据分别在作业顺序上最后进行了注释作业的作业者的作业者ID、比表示在作业顺序上在从上述在后到最后之前进行了注释作业的作业者的作业者ID更大地进行了加权而得到的作业贡献度。
另外，例如可以是，还包含：受理步骤，受理每一个对象数据的金额的设定；以及计算步骤，作为报酬而计算对在所述贡献度计算步骤中算出的每个所述作业者ID的作业贡献度乘以在所述受理步骤中受理的金额而得到的每个所述作业者ID的金额。
另外，例如可以是，还包含判定步骤，在该判定步骤中，判定关于所述一个以上的对象数据各自的所述注释作业是否完成，在所述判定步骤中，在检测出针对一个所述对象数据、修正量比在作业顺序上在前一个进行的注释作业的修正量小的注释作业被进行了规定次数的情况下，锁定对所述一个对象数据的进一步的注释作业，判定为完成了关于所述一个对象数据的所述注释作业。
另外，例如可以是，在所述判定步骤中，进一步地，在检测出针对一个所述对象数据、进行了修正量比在作业顺序上在前一个进行的第一注释作业的修正量大的第二注释作业的情况下，发送促使对关于所述一个对象数据的所述第二注释作业是否是不当作业进行确认的通知。
另外，例如可以是，在所述判定步骤中，进一步地，在检测出针对一个所述对象数据、修正量比在作业顺序上在前一个进行的第一注释作业的修正量大的第二注释作业被进行了的次数的情况下，在判定为关于所述一个对象数据的所述注释作业已完成时，通知关于所述一个对象数据的所述次数。
另外，本公开的一方式的贡献度决定装置，具备：更新履历取得部，从第一存储装置，取得通过利用众包的多个作业者而完成了附加注释的作业即注释作业的一个以上的对象数据分别所对应的注释作业的更新履历；以及贡献度计算部，参照在所述更新履历取得部中取得的所述更新履历，按照存储于第二存储装置的预先决定的加权规则，计算表示所述多个作业者的多个作业者ID的每个的作业贡献度；所述贡献度计算部，计算向表示针对所述一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行加权而得到的作业贡献度。
此外，这些整体性或具体性的方式可以通过系统、方法、集成电路、计算机程序或可由计算机读取的CD-ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下参照附图对本公开的一方式的贡献度决定方法等具体地说明。此外，以下说明的实施方式均用来表示本公开的一个具体例。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置等作为一例而不意欲限定本公开。另外，将以下的实施方式的构成要素中的表示最上位概念的独立权利要求中没有记载的构成要素作为任意的构成要素进行说明。另外，在全部实施方式中，还能够将各内容进行组合。
(实施方式1)
[系统的整体结构]
图1是表示实施方式1的系统的整体结构的一例的图。
如图1所示，实施方式1的系统具备贡献度决定装置10、服务器20以及多个作业终端30。贡献度决定装置10、服务器20以及多个作业终端30经由网络40进行连接。服务器20与贡献度决定装置10可以经由网络40进行连接，也可以直接以有线或无线方式进行连接。此外，也可以构成为，贡献度决定装置10的一部分乃至全部包含在服务器20中。
[服务器20的结构]
服务器20具备注释工具部201、传感器数据DB202、注释作业数据DB203和报酬金额DB204。服务器20例如由具备处理器(微处理器)、存储器、通信接口等的计算机实现。
<传感器数据DB202>
传感器数据DB202是存储装置，存储用于供利用众包的多个作业者实施注释作业的对象数据。传感器数据DB202可由半导体存储器、硬盘等实现。这里，对象数据可以是一个以上的静止图像。此时，一个以上的静止图像分别是例如在车辆中搭载的车载相机或设置于规定位置的监控相机所拍摄的图像。
图2是表示实施方式1的传感器数据DB202所保存的静止图像的一例的图。图2所示的静止图像51是由车载相机拍摄的图像，映出了表示人物的物体511、512和表示汽车的物体513。
此外，对象数据不限于是一个以上的静止图像的情况，也可以是一个以上的时序数据。该情况下，一个以上的时序数据可以分别是在车辆中搭载的车载相机所拍摄的运动图像，或者是与连续静止图像(以下记为运动图像)分别同时地由传感器取得的关于车辆的传感器数据。这里，关于车辆的传感器数据例如是车辆的速度、加速度、GPS或CAN数据。另外，一个以上的时序数据可以是由监控相机拍摄的运动图像，也可以是通过生命传感或环境传感而取得的传感器数据。
<注释工具部201>
注释工具部201从传感器数据DB202所存储的多个对象数据中选择委托注释作业的对象数据，并经由网络40将针对所选择的对象数据的注释作业画面向多个作业终端30提供。
图3是表示实施方式1的注释工具部201所提供的注释作业画面的一例的图。对于和图2相同的要素附加了相同的符号并省略详细的说明。
图3所示的注释作业画面50由网页等提供，包含运行(Run)键钮50a、数据选择区域50b以及保存(Save)键钮50c。另外，注释作业画面50包含显示有静止图像51的图像区域、以及标签选择区域53。在标签选择区域53中，包含行人、自行车+搭乘者、轿车、卡车、以及摩托+搭乘者这样的分类标签。分类标签是针对为了表示静止图像51中包含的对象物体的位置而附加的包围盒的标签，可选择行人、自行车+搭乘者、轿车、卡车、以及摩托+搭乘者中的一个。并且，进行注释作业的多个作业者的至少一人进行向图3所示的注释作业画面50的静止图像51中包含的对象物体附加包围盒、从标签选择区域53选择所附加的包围盒的标签这样的注释作业。
另外，注释作业画面50中的“Worker ID”的横侧空间是输入作业者的ID的区域，被输入用于唯一地确定作业者的特有ID。此外，为了避免他人使用ID，也可以在输入ID之后要求输入密码。
另外，注释作业画面50中的“Data Select”的横侧空间是用于选择数据集合的区域，能够通过下拉来选择将对象数据中的哪个数据集合进行作业。并且，在选择了数据集合之后，当按压了运行键钮50a，则在注释作业画面50的图像区域中显示静止图像51，成为能够开始注释作业的状态。
此外，也可以使其他作业者无法选择处于注释作业中的数据集合。由此，能够避免多个作业者同时进行针对相同数据的注释作业。另外，例如也可以使得也无法选择完成了注释作业后的数据集合等不再需要注释作业的数据集合。这里，例如可以是，在数据集合的公开时刻、或者从初次的注释作业完成的时刻起经过了规定时刻的阶段、视为完成了该数据集合的注释作业。另外，例如也可以是，将实施了规定次数的注释数据作业的更新这一情况作为触发而视为该数据集合的注释作业已完成。
另外，通过按压注释作业画面50中的数据选择区域50b，能够从所选择的数据集合(图中的“Data_Set_001/SUB006”)所包含的数据中，选择对哪个数据进行作业。数据选择区域50b例如如图3所示，是左右箭头的键钮，能够使进行注释作业的数据前进至接着的数据或返回到之前的数据。此外，注释作业画面50中显示的32/50表示在所选择的数据集合中包含50个数据、当前选择了第32个数据。
当按压了注释作业画面50中的保存键钮50c，则将注释作业画面50上当前正在显示的注释作业的内容登记(保存)于注释作业数据DB203。
在本实施方式中，对于一个对象数据，由多个作业者进行注释作业。更具体而言，对于一个对象数据，由利用众包的多个作业者进行附加注释的作业即注释作业。即，换言之，针对通过众包而被委托了注释作业的一个对象数据，由被认为可以进行针对该一个对象数据的注释作业的多个作业者进行注释作业。这里，在一个以上的对象数据为一个以上的静止图像的情况下，注释作业是如下这样的作业，即：附加将一个以上的静止图像各自映出的一个以上的对象物体分别包围的包围盒，并向包围盒附加表示该一个以上的各对象物体的标签。一个以上的对象物体包括静止图像所映出的行人。一个以上的对象物体也可以包括车辆。此外，在一个以上的对象数据是一个以上的时序数据的情况下，注释作业是如下这样的作业，即：附加对一个以上的时序数据中包含的一个以上的状态分别进行区别的时间区间，并向所附加的一个以上的时间区间分别附加表示对应的状态的标签。在时序数据是车载传感器的数据的情况下，一个以上的状态是车辆的行驶状态、车辆的行驶场所、车辆的周边环境、车辆行驶的道路状况中的至少其一。
另外，注释工具部201取得表示对经由网络40提供的注释作业画面进行了的注释作业的注释作业数据。并且，注释工具部201将所取得的注释作业数据反映于注释作业画面来进行提供，并且保存于注释作业数据DB203。
图4A～图4C是表示实施方式1的注释工具部201所提供的注释作业画面的一例的图。对于和图3相同的要素附加相同的符号而省略详细的说明。
在图4A中，示出了注释作业画面50A，其反映出向静止图像51中包含的物体511附加包围盒52、在标签选择区域53中选择了针对包围盒52的分类标签为行人这一情况的注释作业。在图4B中，示出了注释作业画面50B，其反映出将针对注释作业画面50A中的物体511的包围盒52进行更新而附加了包围盒54的注释作业。此外，在图4C中，示出了注释作业画面50C，其反映出针对注释作业画面50A中包含的静止图像51进行的多个注释作业。更具体而言，在注释作业画面50C中，针对静止图像51的物体511的包围盒52被多次更新，并新附加了针对物体512的包围盒55和针对物体513的包围盒56。另外，在注释作业画面50C中，由某作业者将树误认为人而新附加了包围盒57。
<注释作业数据DB203>
注释作业数据DB203是第一存储装置的一例，存储与对象数据分别相关联的注释作业数据的履历。注释作业数据DB203由半导体存储器、硬盘等实现。
在本实施方式中，注释作业数据DB203存储表示对注释工具部201所提供的注释作业画面进行了的注释作业的注释作业数据的履历。
图5是表示实施方式1的注释作业数据DB203中存储的注释作业数据的一例的图。
注释作业数据例如如图5所示那样，包含作业者ID、对象数据ID、注释ID、作业时刻、以及注释内容。即，在图5所示的例子中，注释作业数据按每一行构成，按对一个静止图像(对象数据)附加的每个数据而存在。注释作业数据成为多个作业者中的一人对每个数据进行的注释作业的履历。
作业者ID表示进行了注释作业的作业者。更具体而言，作业者ID是将利用众包的多个作业者之一唯一地表示的识别符。在图5所示的例子中，示出了对同一对象数据进行了注释作业的作业者ID。即，在图5所示的例子中，作为作业者ID，示出了Worker ID_0001、Worker ID_0002、Worker ID_0003、Worker ID_0004…等。
对象数据ID表示进行了注释作业的对象数据。更具体而言，对象数据ID是唯一地表示利用众包而被委托的对象数据之一的、进行了注释作业的对象数据的识别符。在图5所示的例子中，作为对象数据ID，示出了表示进行了注释作业的一个对象数据的DataSet_001/SUB006/32.jpg。
注释ID表示被附加于由对象数据ID表示的对象数据的注释。更具体而言，注释ID是唯一地表示对利用众包而被委托的对象数据附加的注释的识别符。在图5所示的例子中，示出了00001、00002、00003及00004等表示对由对象数据ID表示的对象数据附加的包围盒或时间区间等的注释ID。此外，在图5所示的例子中，注释ID通过与对象数据ID的组合而成为唯一的，但是不限于此。
作业时刻表示进行了注释作业的时刻。更具体而言，作业时刻是2018/06/24 12：46：37等对相同行的对象数据ID所表示的对象数据进行了注释作业的时刻。在图5所示的例子中，示出了2018/06/24 12：46：37、2018/06/24 18：10：24、2018/06/25 10：31：57、2018/06/25 12：45：03等作业时刻，由作业时刻可知作业顺序。
注释内容表示注释ID所表示的注释的内容。更具体而言，注释内容表示相同行的注释ID所表示的注释的内容。
在图5所示的例子中，“Create(创建)”表示对于对象数据ID为“DataSet_001/SUB006/32.jpg”的对象数据最初进行注释作业、并附加了“00001”～“00004”的注释ID。若将该例应用于图4C，则00001的注释ID对应于包围盒52，00002的注释ID对应于包围盒55。00003的注释ID对应于包围盒56，00004的注释ID对应于包围盒57。另外，“(302、209)、(406、374)”的包围盒表示由“00001”表示的注释ID的包围盒52的左上坐标为(302、209)、右下坐标为(406、374)。此外，这些坐标是以静止图像51的左上角为原点(0、0)时的坐标。另外，“(571、246)、(606、360)”的包围盒表示由“00002”表示的注释ID的包围盒55的左上坐标为(571、246)、右下坐标为(606、360)。“(420、262)、(636、334)”的包围盒表示由“00003”表示的注释ID的包围盒56的左上坐标为(420、262)、右下坐标为(636、334)。“(219、254)、(242、312)”的包围盒表示由“00004”表示的注释ID的包围盒57的左上坐标为(219、254)、右下坐标为(242、312)。
另外，图5所示的“Pedestrian(行人)”的分类标签表示选择了行人，“CAR(轿车)”的分类标签表示选择了轿车。若将该例应用于图4C，则表示附加了由“00001”表示的注释ID的包围盒52的物体511为行人。表示附加了由“00002”表示的注释ID的包围盒55的物体512为行人。另外，表示附加了由“00003”表示的注释ID的包围盒56的物体为轿车。另外，表示将附加了由“00004”表示的注释ID的包围盒57的物体误认为行人而实际上是树。
另外，图5所示的“Update(更新)”表示进行了将对于对象数据ID为“DataSet_001/SUB006/32.jpg”的对象数据中包含的物体等附加的注释进行更新的注释作业。在图5中示出了Worker ID_0002、Worker ID_0001及Worker ID_0003按该顺序、在将由“00001”的注释ID表示的包围盒52缩小的方向上进行了更新。在图5所示的例子中，由“00001”表示的注释ID的包围盒的左上及右下的坐标从“(302、202)、(406、374)”更新到“(316、233)、(382、346)”的位置，进而更新到“(322、209)、(406、374)”的位置。此外，分类标签保持选择行人而没有更新。
另外，图5所示的“Delete(删除)”表示进行了将对于对象数据ID为“DataSet_001/SUB006/32.jpg”的对象数据中包含的物体等附加的注释删除的注释作业。在图5中表示进行了将Worker ID_0004的作业者错误地附加的由“00004”的注释ID表示的包围盒57删除的更新。若将该例应用于图4C，则表示由“00004”的注释ID表示的包围盒57是被错误地附加的所以被从静止画面51上删除了。
<报酬金额DB204>
报酬金额DB204是存储从贡献度决定装置10输出的计算结果的存储装置。报酬金额DB204由半导体存储器、硬盘等实现。
在本实施方式中，报酬金额DB204存储利用按每个对象数据算出的每个作业者的贡献度而计算的、对于一个以上的全部对象数据的每个作业者的报酬金额。此外，贡献度被标准化，以使得若将针对一个对象数据的全部作业者的贡献度进行合计则成为1。由此，利用众包的委托方能够按照报酬金额DB204中存储的每个作业者的报酬金额来对作业者支付报酬。
[作业终端30的结构]
如图1所示，作业终端30具备通信部301、提示部302和输入部303。作业终端30例如由具备处理器(微处理器)、存储器、传感器、通信接口等的计算机实现。作业终端是个人电脑或平板电脑等便携终端。
<通信部301>
通信部301由处理器和通信I/F等实现，与服务器20进行通信。更具体而言，通信部301将从服务器20提供的针对对象数据的注释作业画面向提示部302发送。
另外，通信部301向服务器20发送注释作业数据，该注释作业数据表示由输入部303输入的对注释作业画面进行了的注释作业。
<提示部302>
提示部302提示经由通信部301从服务器20发送来的针对对象数据的注释作业画面。例如，提示部302提示如图3所示那样的注释作业画面50。
另外，提示部302提示经由通信部301发送来的反映出针对对象数据的注释作业的注释作业画面。例如，提示部302提示如图4A所示那样的反映出针对对象数据的注释作业的注释作业画面50A或者如图4B所示那样的反映出针对对象数据的注释作业的注释作业画面50B。
<输入部303>
输入部303是接受来自用户的输入的接口装置。输入部303，在由提示部302提示的注释作业画面中包含的对象数据为图像的情况下，接受对在对象数据中包含的对象物体附加包围盒、进行更新或削除等注释作业的输入。例如以图4A所示的注释作业画面50A为例，可以是，输入部303接受对物体511附加表示物体511的位置的包围盒52、并对标签选择区域53的一个分类标签进行选择的注释作业的输入。
此外可以是，输入部303，在由提示部302提示的注释作业画面所包含的对象数据为时序数据的情况下，接受对在对象数据中包含的状态附加时间区间、进行更新或削除等的注释作业的输入。
[贡献度决定装置10]
贡献度决定装置10具备更新履历取得部101、贡献度计算部102、加权DB103和金额计算部104。贡献度决定装置10例如由具备处理器(微处理器)、存储器、传感器、通信接口等的计算机实现。
<更新履历取得部101>
更新履历取得部101从注释作业数据DB203取得由利用众包的多个作业者完成了附加注释的作业即注释作业的一个以上的对象数据分别所对应的注释作业的更新履历。
例如，更新履历取得部101从注释作业数据DB203取得图5所示那样的多个注释作业数据。
此外，更新履历取得部101将注释作业数据DB203中存储的多个注释作业数据中的、从注释内容中新包含的作业时刻起经过了规定时间的注释作业数据设为注释作业已完成从而取得即可。在注释内容中新包含的作业时刻是针对该对象数据最初进行了注释作业的作业时刻，所以从此经过了规定时间的时刻可以认为注释作业完成了。
<贡献度计算部102>
贡献度计算部102参照由更新履历取得部101取得的更新履历，按照在加权DB103中存储的预先决定的加权规则，计算表示多个作业者的多个作业者ID的每一个的作业贡献度。贡献度计算部102计算向表示对一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行了加权而得到的作业贡献度。
此外，在注释作业的完成的触发为时间的情况下，由于不知道作业者有几名，因此例如可以将新作业者与更新作业者的贡献度比率记录于加权DB103。由此，无论更新作业者有多少人都能够计算贡献率。
另外，在注释作业的完成的触发为更新次数的情况下，由于作业人数是确定的，因此例如可以按照新作业者和更新作业者将贡献度直接记录于加权DB。
这样，在向一个对象数据分配的多个作业者中，通过使最先进行了附加包围盒等注释作业的作业者得到较多报酬，从而能够使作业者加快着手作业。结果，能够缩短到注释作业完成为止的时间。进而，服务器20提供注释作业画面的总时间也能够缩短，从而也有助于节省能源。
另外，可以是，贡献度计算部102计算向表示对该一个以上的对象数据分别在作业顺序上最后进行了注释作业的作业者的作业者ID、比表示在作业顺序上从所述在后起到最后之前进行了注释作业的作业者的作业者ID更大地进行了加权而得到的作业贡献度。
这样，在向一个对象数据分配的多个作业者中，使最后进行了对包围盒的范围进行修正等注释作业的更新的作业者也得到更多报酬。由此，能够使同一作业者或其他作业者进行的注释的修正具有价值，因此不仅能够促进针对一个对象数据的更新作业，而且能够缩短到注释作业完成为止的时间。结果，能够缩短服务器20提供注释作业画面的总时间，从而也有助于节省能源。
<加权DB103>
加权DB103是第二存储装置的一例，由半导体存储器、硬盘等实现。在加权DB103中登记有预先决定了的加权规则。
在本实施方式中，在加权DB103中，登记有上述的向在作业顺序上最先进行了注释作业的作业者附加较大权重这样的加权规则。另外，在加权DB103中，登记有向在作业顺序上最后进行了注释作业的作业者附加第二大的权重这样的加权规则。
<金额计算部104>
图6是表示实施方式1的金额计算部104的详细结构的一例的图。
金额计算部104具备受理部1041和计算部1042，计算一个以上的全部对象数据的每个作业者的报酬金额。
受理部1041受理每一个对象数据的金额的设定。
这里，由于不知道每一个对象数据所含的一个以上的静止图像或一个以上的状态的数量，因此还要考虑如果支付对应于该数量的金额而会超出委托方的预算的情况。因此，在本实施方式中，通过设定每一个对象数据的金额，能够抑制委托方支付的金额的增加。
计算部1042将对于由贡献度计算部102算出的每个作业者ID的作业贡献度乘以受理部1041所受理的金额而得到的每个作业者ID的金额作为报酬来计算。
由此，作业者越是对于对象数据最先着手注释作业，则作为该作业者的报酬的金额就越多，另外，越是最后进行注释作业，则作为该作业者的报酬的金额就越多。由此，能够使加快到着手或完成针对对象数据的注释作业为止的时间的激励对作业者起作用。
[贡献度决定装置10的动作]
接下来，对以上这样构成的贡献度决定装置10的动作进行说明。
图7A是表示实施方式1的贡献度决定装置10的动作的一例的流程图。图7B是表示图7A所示的步骤S20的详细动作例的流程图。
首先，贡献度决定装置10取得对于对象数据的注释作业的作业履历(S10)。更具体而言，贡献度决定装置10从完成了注释作业的对象数据中选择一个对象数据，将与所选择的对象数据有关的注释作业的作业履历全部取得。这里，如果利用图5进行说明，则在对象数据是DataSet_001/SUB006/32.jpg的情况下，贡献度决定装置10从注释作业数据DB203取得在对象数据ID中记录有DataSet_001/SUB006/32.jpg的全部作业履历。
接下来，贡献度决定装置10按照在加权DB103中登记的加权规则，计算每个作业者ID的作业贡献度(S20)。更具体而言，如图8B所示，贡献度决定装置10参照在步骤S10中取得的更新履历，按照在加权DB103中登记的加权规则，计算对象数据的作业贡献度(S201)。接下来，贡献度决定装置10按每个作业者ID将作业贡献度相加(S202)，来计算每个作业者ID的作业贡献度。
此外，在步骤S20之后，如果对于全部的对象数据而言、处理即作业贡献度的计算没有完成，则返回步骤S10，计算其他的对象数据的作业贡献度。另一方面，如果对于全部的对象数据完成了处理，则贡献度决定装置10结束动作。
[效果等]
如以上那样，根据本实施方式，能够实现能够使利用众包而被委托的作业者加快着手作业的贡献度决定方法等。
更具体而言，在向一个对象数据分配的多个作业者中，使最先进行了附加包围盒等注释作业的作业者得到较多报酬，从而能够使作业者加快着手作业。结果，能够缩短到完成注释作业为止的时间。由此，能够缩短服务器20提供注释作业画面的总时间，从而还能够有助于节省能源。
另外，在向一个对象数据分配的多个作业者中，使最后进行了将包围盒的范围进行修正等注释作业的更新的作业者也能够得到更多报酬。此外，在按每个对象数据设定了支付金额的情况下，向各作业者分配的金额可以根据对于对象数据的贡献度的比率来决定。由此，能够使同一作业者或其他作业者进行的注释的修正具有价值，因此不仅能够促进针对一个对象数据的更新作业，而且能够缩短到注释作业完成为止的时间。进而，能够缩短服务器20提供注释作业画面的总时间，从而还能够有助于节省能源。
此外，在上述实施方式中，利用图3、图4A及图4B说明了在对象数据是由车载相机拍摄的图像的情况下对表示人物的物体511附加包围盒等注释作业的一例，但是不限于此。利用图8A、图8B、图8C，说明对象数据是时序数据的情况下的注释作业的一例。
图8A是表示实施方式1的注释工具部201所提供的注释作业画面的另一例的图。图8A所示的注释作业画面61由网页提供，包含时序数据66、和时刻t65的图像65。时序数据66是包含车辆的加速度的传感器数据，在图8A中将车辆的x、y、z各方向(水平、横、垂直方向)的加速度等按照时序进行了图表化。另外，在时序数据66的各时刻，关联了由在该车辆中搭载的车载相机拍摄到的图像。图像65是在时刻t65由车载相机拍摄的图像。
这样，注释工具部201可以提供包含时序数据66、和时刻t65的图像65的注释作业画面61。
图8B及图8C是表示在图8A所示的注释作业画面中反映出注释作业的情况下的注释作业画面的一例的图。对于和图8A相同的要素附加相同的符号而省略详细的说明。
在图8B所示的注释作业画面61a中，由多个作业者，作为注释而附加了对多个状态分别进行区别的时间区间，对所附加的多个时间区间的每一个，附加了表示对应的状态的标签。即，作业者的至少其一对时序数据66的加速度的变化、和在各时刻所关联的图像65等进行确认，作为注释而附加车辆的事件、场所及天气等。在图8B所示的例子中，作为事件，附加了车辆右转的时间区间661、车辆通过高度差的时间区间662、车辆减速的时间区间663，此外附加了右转、高度差和减速这样的车辆行驶状态以及车辆所行驶的道路状况的标签。
另外，在图8B所示的例子中，作为场所，附加了车辆行驶于一般道路的时间区间664、车辆行驶于高速道路的时间区间665，此外附加了表示一般道路及高速道路这样的车辆行驶场所的状态的标签。
同样地，在图8B所示的例子中，作为天气，附加了阴天的时间区间666，此外附加了表示阴天这样的车辆周边环境的状态的标签。
图8C所示的注释作业画面61b包含时序数据66、和时刻t67的图像67。如图8C所示的注释作业画面61b所示，例如，时刻t65的图像65表示出根据时刻t65的时序数据66的加速度变动、判断为车辆通过了高度差的图。其它如上所述那样而省略说明。
(实施方式2)
在实施方式1中，将注释作业的完成设为从众包的作业者最先进行作业的时刻起经过一定时间后而进行了说明。但是，在连续进行向一个对象数据附加的包围盒的修正量几乎没有的作业等情况下，也可以视为完成了注释作业。另外，在实施方式1中，设想众包的多个作业者正确地进行注释作业而进行了说明。但是，还要考虑多个作业者中存在有恶意的不良者的情况。该情况下，还要考虑以下情况，即：不良者是将向一个对象数据附加的包围盒的大小放大或删除、增加注释作业的更新次数、或者最先或最后进行了注释作业的人。
在本实施方式中，对于能够判定注释作业的完成、并判定不良者进行的注释作业的可能性的贡献度决定装置等，以与实施方式1的不同点为中心进行说明。
[系统的整体结构]
图9是表示实施方式2的系统的整体结构的一例的图。此外，对于和图1相同的要素附加相同的符号而省略详细的说明。
实施方式2的系统与实施方式1的系统相比，区别在于服务器20A的结构和贡献度决定装置10A的结构。除此以外的结构与实施方式1的系统相同而省略说明。
[服务器20A的结构]
服务器20A具备注释工具部201A、传感器数据DB202、注释作业数据DB203、和报酬金额DB204。服务器20A也由例如具备处理器(微处理器)、存储器、传感器、通信接口等的计算机实现。
服务器20A与图1所示的服务器20相比，区别在于注释工具部201A的结构。
<注释工具部201A>
注释工具部201A从在传感器数据DB202中存储的多个对象数据中选择委托注释作业的对象数据，并经由网络40将针对所选择的对象数据的注释作业画面向多个作业终端30提供。
另外，注释工具部201A取得表示对经由网络40提供的注释作业画面进行了的注释作业的注释作业数据。并且，注释工具部201A将所取得的注释作业数据反映于注释作业画面来进行提供，并且保存于注释作业数据DB203。
在本实施方式中，注释工具部201A还在从贡献度决定装置10A接收到表示应当进行锁定的通知的情况下，将针对一个对象数据的进一步的注释作业锁定。即，可以是，注释工具部201A在接收到表示应当进行锁定的通知的情况下，中止注释作业数据的取得，不取得进一步的注释作业从而进行锁定。另外，可以是，注释工具部201A在接收到表示应当进行锁定的通知的情况下，将提供的注释作业画面锁定，显示不受理进一步输入的情况。并且，注释工具部201A不取得针对该注释作业画面的进一步的注释作业数据。
[贡献度决定装置10A]
贡献度决定装置10A具备更新履历取得部101A、贡献度计算部102、加权DB103、金额计算部104和判定部105。贡献度决定装置10A例如由具备处理器(微处理器)、存储器、传感器、通信接口等的计算机实现。
贡献度决定装置10A与图1所示的贡献度决定装置10相比，区别在于更新履历取得部101A的结构，并且追加了判定部105的结构。
<判定部105>
图10是表示图9所示的判定部105的详细结构的一例的图。
判定部105具备作业完成判定部1051和不适当作业判定部1052。
作业完成判定部1051判定针对一个以上的各个对象数据的注释作业是否完成。更具体而言，作业完成判定部1051，在检测出针对一个对象数据、比在作业顺序上在前一次进行过的注释作业中的修正量小的修正量的注释作业被进行了规定次数的情况下，锁定针对一个对象数据的进一步的注释作业，判定为完成了关于一个对象数据的注释作业。这里，所谓进行了规定次数，例如可以是连续进行了两次以上，也可以是进行了一次。
此外，可以是，作业完成判定部1051，在检测出对于对象数据的更新作业已有规定时间没有被实施的情况下，判定为完成了注释作业。
图11是表示实施方式2的注释工具部201A所提供的注释作业画面的一例的图。此外，对于和图4B等相同的要素附加相同的符号而省略详细的说明。
图11中表示反映出多个注释作业数据的注释作业画面50D。更具体而言，示出了如下情况：对静止图像51的物体511附加的包围盒52被修正为包围盒54，包围盒54被修正为包围盒71，包围盒71进一步被修正为包围盒72。根据该图可知：包围盒54以后的修正量较小，视为完成了对物体511附加包围盒54等的注释作业也无妨。
即，在注释作业数据DB203所存储的、图11所示的多个注释作业数据中，根据注释内容所示的包围盒54、包围盒71及包围盒72所对应的坐标，针对包围盒的位置的修正量几乎没有。因此，在本实施方式中，作业完成判定部1051首先从注释作业数据DB203取得关于一个对象数据的注释作业的更新履历。接下来，针对一个对象数据，计算修正量比在作业顺序上在前一个进行过的注释作业中的修正量更小的注释作业是否连续进行了两次以上。并且，在通过计算而检测出这样的注释作业连续进行了两次以上的情况下，向服务器20的注释工具部201进行通知以将针对该一个对象数据的进一步的注释作业锁定。伴随该通知，作业完成判定部1051判定为完成了关于该一个对象数据的注释作业。
不适当作业判定部1052，在检测出针对一个对象数据进行了修正量比在作业顺序上在前一个进行的第一注释作业中的修正量更大的第二注释作业的情况下，发送促使对关于该一个对象数据的第二注释作业是否是不当作业进行确认的通知。
图12是表示实施方式2的注释工具部201A所提供的注释作业画面50E的一例的图。此外，对于和图4B等相同的要素附加相同的符号而省略详细的说明。
图12也示出了反映出多个注释作业数据的注释作业画面50E。更具体而言，示出了如下情况：对静止图像51的物体511附加的包围盒52被修正为包围盒54，包围盒54被修正为包围盒71，之后被修正为包围盒83。根据该图可知：尽管从包围盒54向包围盒71的修正量轻微，但是从包围盒71向包围盒83的修正量增大，不仅如此，与包围盒71相比，作为向物体511附加的包围盒是不适当的。由于不知道从包围盒71向包围盒83的修正是由作业者的失误引起的还是由于刻意增大作业次数的不良注释作业而引起的，因此委托者或服务器20的管理人需要确认是否是不良情况。
并且，在注释作业数据DB203所存储的、图12所示的多个注释作业数据中，根据与注释内容所示的包围盒71及包围盒83对应的坐标，对于包围盒的位置的修正量增大。因此，在本实施方式中，不适当作业判定部1052首先从注释作业数据DB203取得关于一个对象数据的注释作业的更新履历。接下来，计算是否对于一个对象数据进行了修正量比在作业顺序上在前一个进行的注释作业中的修正量更大的注释作业。并且，可以是，在通过计算而检测出进行了这样的注释作业的情况下，向服务器20的注释工具部201进行促使确认是否是不当作业的通知，从而向服务器20的管理人等进行通知而促使其进行确认。当然，也可以是，不适当作业判定部1052直接向管理人进行促使确认是否是不当作业的通知。
此外也可以是，不适当作业判定部1052检测针对一个对象数据、修正量比在作业顺序上前一个进行的第一注释作业中的修正量更大的第二注释作业的执行次数。该情况下，可以是，当通过作业完成判定部1051判定为对于一个对象数据的注释作业已完成时，不适当作业判定部1052通知关于一个对象数据的次数。可以是，不适当作业判定部1052向服务器20的注释工具部201通知该次数，从而向服务器20的管理人等进行通知，也可以直接向管理人通知该次数。
<更新履历取得部101A>
更新履历取得部101A从注释作业数据DB203取得利用众包的多个作业者进行的注释作业已完成的一个以上的各个对象数据所对应的注释作业的更新履历。
在本实施方式中，更新履历取得部101A当作业完成判定部1051判定为关于一个以上的对象数据的注释作业已完成时，从注释作业数据DB203取得被判定为注释作业已完成的一个以上的对象数据分别对应的注释作业的更新履历。其它方面与在实施方式1中说明的情况相同从而省略进一步的说明。
[贡献度决定装置10A的动作]
接下来，对如以上这样构成的贡献度决定装置10A的判定动作进行说明。
图13是表示实施方式2的贡献度决定装置10A的作业完成判定处理的流程图。
首先，贡献度决定装置10A检测是否小于前一个注释作业的修正量(S81)。例如，贡献度决定装置10A能够根据注释作业数据DB203中存储的注释作业数据所包含的注释内容的坐标，通过计算来检测是否小于前一个注释作业的修正量。
在步骤S81中，在检测出的情况下(S81的是)，贡献度决定装置10A检测其是否连续了两次以上。另一方面，在步骤S81中没有检测出的情况下(S81的否)，再次重复步骤S81。
在步骤S82中检测出连续了两次以上的情况下(S82的是)，贡献度决定装置10A锁定关于该对象数据的进一步的注释作业(S83)。更具体而言，贡献度决定装置10A向服务器20的注释工具部201进行通知，以锁定针对该一个对象数据的进一步的注释作业。由此，能够使服务器20的注释工具部201使针对该一个对象数据的进一步的注释作业锁定。
接下来，贡献度决定装置10A判定为关于该对象数据的注释作业完成(S84)。更具体而言，贡献度决定装置10A在服务器20的注释工具部201中将针对该一个对象数据的注释作业锁定、并且判定为关于该一个对象数据的注释作业完成。
图14是表示实施方式2的贡献度决定装置10A的不适当作业判定处理的流程图。
首先，贡献度决定装置10A检测是否大于前一个注释作业的修正量(S91)。例如，贡献度决定装置10A能够根据注释作业数据DB203中存储的注释作业数据所包含的注释内容的坐标，通过计算来检测是否大于前一个注释作业的修正量。
在步骤S91中检测出的情况下(S91的是)，贡献度决定装置10A发送促使对该注释作业是否不当进行确认的通知(S92)。更具体而言，贡献度决定装置10A可以通过向服务器20的注释工具部201进行促使确认是否为不当作业的通知，从而对服务器20的管理人等进行通知来促使确认。此外，贡献度决定装置10A也可以直接对管理人进行促使确认是否为不当作业的通知。
[效果等]
如上所述，根据本实施方式，能够使管理人等确认是否是利用众包而被委托的作业者恶意进行的不良注释作业。由此，能够实现不良作业者的检测和管理。
另外，根据本实施方式，能够根据利用众包而被委托的作业者的注释作业的修正量来判定注释作业是否完成。由此，能够自动地判定注释作业的完成。
(其它实施方式的可能性)
以上基于实施方式对本公开的一个或多个方式的贡献度决定方法等进行了说明，但是本公开并不限定于该实施方式。本领域人员在不脱离本公开主旨的范围内将本实施方式以想到的各种变形来实施、将不同实施方式的构成要素组合而构成的方式也包含于本公开的一个或多个方式的范围内。例如以下那样的情况也包含于本公开。
(1)上述各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中存储有计算机程序。上述微处理器按照上述计算机程序进行动作，从而各装置实现其功能。在此，计算机程序为了实现规定的功能而将多个表示针对计算机的指令的命令代码组合而构成。
(2)构成上述各装置的构成要素的一部分或全部也可以由一个系统LSI(LargeScale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，是包含微处理器、ROM、RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。上述微处理器按照上述计算机程序进行动作，从而系统LSI实现其功能。
(3)构成上述各装置的构成要素的一部分或全部也可以由能够相对于各装置进行装拆的IC卡或单体的模块来构成。上述IC卡或上述模块是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模块也可以包含上述超多功能LSI。微处理器按照计算机程序进行动作，从而上述IC卡或上述模块实现其功能。该IC卡或该模块可以具有耐篡改性。
(4)本公开可以是以上所示的方法。另外，可以是通过计算机来实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。
(5)另外，本公开可以将上述计算机程序或上述数字信号记录于可通过计算机读取的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。另外，也可以是在这些记录介质中记录的上述数字信号。
(6)另外，本公开也可以将上述计算机程序或上述数字信号经由电子通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等进行传输。
(7)另外，本公开可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序进行动作。
(8)另外，也可以将上述程序或上述数字信号记录于上述记录介质来进行移送，或者将上述程序或上述数字信号经由上述网络等进行移送，从而利用独立的其它计算机系统来实施。
产业上的利用可能性
本公开能够用于贡献度决定方法、贡献度决定装置以及记录介质，尤其是能够用于在向众包的作业者委托注释作业时使用的服务器、系统等。
符号说明
10、10A 贡献度决定装置
20、20A 服务器
30 作业终端
40 网络
50a 运行键钮
50b 数据选择区域50b
50c 保存键钮
50、50A、50B、50C、50D、50E 注释作业画面
51 静止图像
52、54、71、72、83 包围盒
53 标签选择区域
65 图像
66 时序数据
101、101A 更新履历取得部
102 贡献度计算部
103 加权DB
104 金额计算部
105 判定部
201、201A 注释工具部
202 传感器数据DB
203 注释作业数据DB
204 报酬金额DB
301 通信部
302 提示部
303 输入部
511、512、513 物体
661、662、663、664、665、666 时间区间
1041 受理部
1042 计算部
1051 作业完成判定部
1052 不适当作业判定部

Claims (12)

1.一种贡献度决定方法，由计算机进行，其特征在于：
包含：
更新履历取得步骤，从第一存储装置，取得通过利用众包的多个作业者而完成了附加注释的作业即注释作业的一个以上的对象数据分别所对应的注释作业的更新履历；以及
贡献度计算步骤，参照在所述更新履历取得步骤中取得的所述更新履历，按照存储于第二存储装置的预先决定的加权规则，计算表示所述多个作业者的多个作业者ID的每个的作业贡献度，
在所述贡献度计算步骤中，计算向表示针对所述一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行加权而得到的作业贡献度。
2.根据权利要求1所述的贡献度决定方法，其特征在于，
所述一个以上的对象数据是一个以上的静止图像，
所述注释作业是如下这样的作业，即：附加将所述一个以上的静止图像中分别映出的一个以上的对象物体分别包围的包围盒，并向所述包围盒附加表示所述一个以上的对象物体的每一个的标签。
3.如权利要求2所述的贡献度决定方法，其特征在于，
所述一个以上的静止图像分别是由车辆所搭载的车载相机或设置于规定位置的监控相机拍摄的图像，
所述一个以上的对象物体包括在所述静止图像中映出的人。
4.如权利要求1所述的贡献度决定方法，其特征在于，
所述一个以上的对象数据是一个以上的时序数据，
所述注释作业是如下这样的作业，即：附加对所述一个以上的时序数据所包含的一个以上的状态分别进行区别的时间区间，并向一个以上的所述时间区间的每一个附加表示对应的状态的标签。
5.如权利要求4所述的贡献度决定方法，其特征在于，
所述一个以上的时序数据分别是与由车辆所搭载的车载相机拍摄的多个图像分别同时地由传感器取得的关于所述车辆的传感器数据，
所述一个以上的状态是所述车辆的行驶状态、所述车辆的行驶场所、所述车辆的周边环境、所述车辆所行驶的道路状况中的至少一个。
6.如权利要求2～5中任一项所述的贡献度决定方法，其特征在于，
在所述贡献度计算步骤中，计算向表示针对所述一个以上的对象数据分别在作业顺序上最后进行了注释作业的作业者的作业者ID、比表示在作业顺序上在从所述在后到最后之前进行了注释作业的作业者的作业者ID更大地进行了加权而得到的作业贡献度。
7.如权利要求2～5中任一项所述的贡献度决定方法，其特征在于，
还包含：
受理步骤，受理每一个对象数据的金额的设定；以及
计算步骤，作为报酬而计算对在所述贡献度计算步骤中算出的每个所述作业者ID的作业贡献度乘以在所述受理步骤中受理的金额而得到的每个所述作业者ID的金额。
8.如权利要求1～5中任一项所述的贡献度决定方法，其特征在于，
还包含判定步骤，在该判定步骤中，判定关于所述一个以上的对象数据各自的所述注释作业是否完成，
在所述判定步骤中，在检测出针对一个所述对象数据、修正量比在作业顺序上在前一个进行的注释作业的修正量小的注释作业被进行了规定次数的情况下，锁定对所述一个对象数据的进一步的注释作业，判定为完成了关于所述一个对象数据的所述注释作业。
9.如权利要求8所述的贡献度决定方法，其特征在于，
在所述判定步骤中，进一步地，在检测出针对一个所述对象数据、进行了修正量比在作业顺序上在前一个进行的第一注释作业的修正量大的第二注释作业的情况下，发送促使对关于所述一个对象数据的所述第二注释作业是否是不当作业进行确认的通知。
10.如权利要求8所述的贡献度决定方法，其特征在于，
在所述判定步骤中，进一步地，在检测出针对一个所述对象数据、修正量比在作业顺序上在前一个进行的第一注释作业的修正量大的第二注释作业被进行了的次数的情况下，在判定为关于所述一个对象数据的所述注释作业已完成时，通知关于所述一个对象数据的所述次数。
11.一种贡献度决定装置，其特征在于，
具备：
更新履历取得部，从第一存储装置，取得通过利用众包的多个作业者而完成了附加注释的作业即注释作业的一个以上的对象数据分别所对应的注释作业的更新履历；以及
贡献度计算部，参照在所述更新履历取得部中取得的所述更新履历，按照存储于第二存储装置的预先决定的加权规则，计算表示所述多个作业者的多个作业者ID的每个的作业贡献度，
所述贡献度计算部，计算向表示针对所述一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行加权而得到的作业贡献度。
12.一种记录介质，是非暂时性的能够由计算机读取的记录介质，记录有用于使计算机执行的程序，其特征在于，
该程序包含以下步骤：
更新履历取得步骤，从第一存储装置，取得通过利用众包的多个作业者而完成了附加注释的作业即注释作业的一个以上的对象数据分别所对应的注释作业的更新履历；以及
贡献度计算步骤，参照在所述更新履历取得步骤中取得的所述更新履历，按照存储于第二存储装置的预先决定的加权规则，计算表示所述多个作业者的多个作业者ID的每个的作业贡献度，
在所述贡献度计算步骤中，计算向表示针对所述一个以上的对象数据分别在作业顺序上最先进行了注释作业的作业者的作业者ID、比表示在作业顺序上在后进行了注释作业的作业者的作业者ID更大地进行加权而得到的作业贡献度。
CN201910788142.1A 2018-08-29 2019-08-26 贡献度决定方法、贡献度决定装置及记录介质 Pending CN110874562A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018159825A JP7211735B2 (ja) 2018-08-29 2018-08-29 寄与度決定方法、寄与度決定装置及びプログラム
JP2018-159825 2018-08-29

Publications (1)

Publication Number Publication Date
CN110874562A true CN110874562A (zh) 2020-03-10

Family

ID=69641283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910788142.1A Pending CN110874562A (zh) 2018-08-29 2019-08-26 贡献度决定方法、贡献度决定装置及记录介质

Country Status (3)

Country Link
US (1) US20200074377A1 (zh)
JP (2) JP7211735B2 (zh)
CN (1) CN110874562A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570316A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 训练损伤识别模型的方法及装置
JP7229795B2 (ja) * 2019-02-01 2023-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ アノテーション装置、アノテーション方法、及び、プログラム
KR102156580B1 (ko) * 2019-11-21 2020-09-16 주식회사 크라우드웍스 크라우드소싱 기반 프로젝트의 작업 진행 속도에 따른 작업 단가 조정 방법
KR102155748B1 (ko) * 2020-01-03 2020-09-17 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법
US11462030B2 (en) * 2020-05-11 2022-10-04 Caterpillar Inc. Method and system for detecting a pile
JP2022091269A (ja) * 2020-12-09 2022-06-21 ブラザー工業株式会社 方法、システム、および、コンピュータプログラム
CN113420149A (zh) * 2021-06-30 2021-09-21 北京百度网讯科技有限公司 数据的标注方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150242447A1 (en) * 2014-02-21 2015-08-27 Google Inc. Identifying effective crowdsource contributors and high quality contributions
JP2016532958A (ja) * 2013-08-12 2016-10-20 フィリップ モリス プロダクツ エス アー 生物学的ネットワークのクラウド検証のためのシステムおよび方法
US20160314127A1 (en) * 2013-02-19 2016-10-27 Digitalglobe, Inc. Enhanced crowdsourced search and locate platform
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质
CN107704631A (zh) * 2017-10-30 2018-02-16 西华大学 一种基于众包的音乐标注原子库的构建方法
JP2018106662A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150628A (ja) * 2001-11-14 2003-05-23 Nippon Telegr & Teleph Corp <Ntt> 奨励ポイント付き共有ブックマークシステム、当該システムを実施する方法及びその方法を実施するプログラムを記録した記憶媒体
JP4613600B2 (ja) 2004-12-14 2011-01-19 富士ゼロックス株式会社 文書レビュー支援システム及び文書レビュー支援プログラム
US20090018731A1 (en) * 2007-07-12 2009-01-15 Mobile Office, Inc. Personal computer control for vehicles
JP2009282737A (ja) * 2008-05-22 2009-12-03 Toshiba Corp 設備情報管理装置
US8554605B2 (en) * 2011-06-29 2013-10-08 CrowdFlower, Inc. Evaluating a worker in performing crowd sourced tasks and providing in-task training through programmatically generated test tasks
US8626545B2 (en) * 2011-10-17 2014-01-07 CrowdFlower, Inc. Predicting future performance of multiple workers on crowdsourcing tasks and selecting repeated crowdsourcing workers
JP2014109868A (ja) * 2012-11-30 2014-06-12 International Business Maschines Corporation 商品又はサービスの購入要求を処理する装置及び方法
US20160342624A1 (en) 2013-05-01 2016-11-24 Image Searcher, Inc. Image Tagging System
JP6062384B2 (ja) * 2014-02-27 2017-01-18 日本電信電話株式会社 タスク割り当てサーバ、タスク割り当て方法およびプログラム
US20170061356A1 (en) * 2015-09-01 2017-03-02 Go Daddy Operating Company, LLC Hierarchical review structure for crowd worker tasks
JP6726075B2 (ja) * 2016-03-11 2020-07-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理方法、画像処理装置およびプログラム
WO2017212956A1 (ja) * 2016-06-09 2017-12-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US10586238B2 (en) * 2016-06-22 2020-03-10 Microsoft Technology Licensing, Llc Automation of image validation
US11501572B2 (en) * 2018-03-26 2022-11-15 Nvidia Corporation Object behavior anomaly detection using neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314127A1 (en) * 2013-02-19 2016-10-27 Digitalglobe, Inc. Enhanced crowdsourced search and locate platform
JP2016532958A (ja) * 2013-08-12 2016-10-20 フィリップ モリス プロダクツ エス アー 生物学的ネットワークのクラウド検証のためのシステムおよび方法
US20150242447A1 (en) * 2014-02-21 2015-08-27 Google Inc. Identifying effective crowdsource contributors and high quality contributions
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质
JP2018106662A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN107704631A (zh) * 2017-10-30 2018-02-16 西华大学 一种基于众包的音乐标注原子库的构建方法

Also Published As

Publication number Publication date
JP2020035116A (ja) 2020-03-05
JP7375135B2 (ja) 2023-11-07
JP7211735B2 (ja) 2023-01-24
US20200074377A1 (en) 2020-03-05
JP2022162026A (ja) 2022-10-21

Similar Documents

Publication Publication Date Title
CN110874562A (zh) 贡献度决定方法、贡献度决定装置及记录介质
JP2018106662A (ja) 情報処理装置、情報処理方法、プログラム
US10943135B2 (en) Information processing apparatus, image delivery system, information processing method, and computer-readable recording medium
JP6298594B2 (ja) 情報処理装置、方法およびプログラム
US20240078855A1 (en) Management of data and software for autonomous vehicles
US9521293B2 (en) Management apparatus, management system, object management method, and computer-readable storage medium
JP2008152655A (ja) 情報サービス提供システム、対象行動推定装置、対象行動推定方法
CN109564724B (zh) 信息处理方法、信息处理装置和记录介质
AU2023222996A1 (en) Operation information transmission device, construction management system, operation information transmission method, and program
US20230037099A1 (en) Systems and methods for detecting vehicle tailgating
JP2010205257A (ja) 画像管理装置およびその制御方法およびプログラム
JP2019152992A (ja) 駐車場検索システム
KR102327507B1 (ko) 차량 사고 정보 제공 방법 및 그 장치
JP2020038595A (ja) データ収集装置、データ収集システムおよびデータ収集方法
CN111401981B (zh) 竞价云主机的竞价方法、装置及存储介质
US10242030B2 (en) Information processing system, information processing method, and information processing apparatus
JP7099368B2 (ja) 支援時間提示システム
JP2012083996A (ja) 車番認識装置、及びそれを備えた違法車両判別通報システム、並びに車両照合方法、及びそれを適用した違法車両判別通報方法
JP6726075B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP2014191763A (ja) 車両認識装置、システム、プログラム及び方法
CN114187585A (zh) 一种针对遮挡牌照车辆的智能识别方法和系统
JP6947758B2 (ja) 情報処理システム、サーバ装置、情報処理方法、及びプログラム
KR102067079B1 (ko) IoT에 기반한 주변 기기 탐색 방법 및 장치
US20240161619A1 (en) Systems and methods for providing multi-camera vehicle tracking and navigation to a vehicle location
JP2020149518A (ja) 特定映像収集システム、特定映像収集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination