CN110796156A - 信息处理方法及信息处理系统 - Google Patents
信息处理方法及信息处理系统 Download PDFInfo
- Publication number
- CN110796156A CN110796156A CN201910665764.5A CN201910665764A CN110796156A CN 110796156 A CN110796156 A CN 110796156A CN 201910665764 A CN201910665764 A CN 201910665764A CN 110796156 A CN110796156 A CN 110796156A
- Authority
- CN
- China
- Prior art keywords
- annotation
- information
- operator
- image
- skill
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 83
- 238000010586 diagram Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供信息处理方法及信息处理系统。信息处理方法使用计算机进行如下处理：取得对感测数据赋予注解信息的作业者的注解技能；取得注解用感测数据，该注解用感测数据具有根据注解技能确定的感测数据的特征；取得作业者对注解用感测数据的注解结果；使用与感测数据的特征对应的正解注解信息及注解结果，更新注解技能。
Description
技术领域
本发明涉及信息处理方法及信息处理系统。
背景技术
近年来，利用深度学习实现从图像进行物体检测的方法。为了从图像正确地进行物体检测，例如收集大量的图像，作业者根据该大量的图像制作监督数据。因此，对于图像的物体检测的正确性根据作业者的技能而变动。
作为与作业者的技能有关的技术，例如有专利文献1的技术。专利文献1的技能评价装置在从作为对象内容的图像中标记包含人脸的部位的作业中，将标记的位置及面积与学习信息比较而计算类似度。当为对学习信息的类似度越高的作业，则技能评价装置评价为由越高技能的作业者进行的作业。由此，能够在多个作业者中选择高技能的作业者。此外，将评价结果反馈给作业者。
专利文献1：日本特开2015－200985号公报
发明内容
在专利文献1中公开的以往技术难以使作业者的技能对应于个人特性而有效地提高。
所以，本发明提供一种对应于个人特性而有效地提高作业者的注解技能的信息处理方法及信息处理系统。
为了达到上述目的，有关本发明的一技术方案的信息处理方法，使用计算机进行如下处理：取得对感测数据赋予注解信息的作业者的注解技能；取得注解用感测数据，该注解用感测数据具有根据上述注解技能确定的感测数据的特征；取得上述作业者对上述注解用感测数据的注解结果；使用与上述感测数据的特征对应的正解注解信息及上述注解结果，更新上述注解技能。
另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
根据本发明的信息处理方法等，能够使作业者的注解技能对应于个人特性而有效地提高。
附图说明
图1是例示有关实施方式1的信息处理系统及输入输出部的框图。
图2是例示有关实施方式1的信息处理系统中的信息的传递的图。
图3A是例示有关实施方式1的第1注解信息的图。
图3B是例示有关实施方式1的注解技能的图。
图3C是例示有关实施方式1的第2注解信息的图。
图4是例示有关实施方式1的信息处理系统的动作的图。
图5是例示对注解用图像赋予注解信息的作业的图。
图6是例示有关实施方式2的信息处理系统及输入输出部的框图。
图7是例示有关实施方式2的信息处理系统中的信息的传递的图。
图8是例示有关实施方式2的信息处理系统的动作的图。
具体实施方式
有关本发明的一技术方案的信息处理方法，使用计算机进行如下处理：取得对感测数据赋予注解信息的作业者的注解技能；取得注解用感测数据，该注解用感测数据具有根据上述注解技能确定的感测数据的特征；取得上述作业者对上述注解用感测数据的注解结果；使用与上述感测数据的特征对应的正解注解信息及上述注解结果，更新上述注解技能。
这样，通过决定与作业者的注解技能对应的注解用感测数据，能够进行与作业者的个人特性对应的注解的训练。例如，将对于作业者而言不擅长的感测数据决定为注解用感测数据。此外，通过将注解技能自动更新，能够实现持续性的注解技能的提高。因此，能够使作业者的注解技能对应于个人特性而有效地提高。
有关本发明的一技术方案的信息处理系统具备：第1取得部，取得具有感测数据的特征的注解用感测数据，上述感测数据的特征根据对感测数据赋予注解信息的作业者的注解技能来确定；第2取得部，取得上述作业者对上述注解用感测数据的注解结果；以及处理部，使用与上述感测数据的特征对应的正解注解信息及上述注解结果，更新上述注解技能。
在该信息处理系统中也起到与上述同样的作用效果。
在有关本发明的一技术方案的信息处理方法中，上述注解技能包括与上述注解信息的指定有关的技能。
这样，与注解信息的品质直接相关的技能成为对象，由此能够有效地提高使用通过注解而生成的监督数据进行学习的学习模型的品质。
在有关本发明的一技术方案的信息处理方法中，上述注解信息的指定包括注解的位置的指定、大小的指定及形状的指定中的至少1个。
这样，作业者能够分别进行用于进行注解的位置的指定、大小的指定及形状的指定中的至少1个的训练。因此，通过进行作业者不擅长的注解的指定的训练，提高对注解用感测数据赋予注解信息的作业的正确性。
在有关本发明的一技术方案的信息处理方法中，上述注解信息的指定包括注解的标签的指定。
这样，作业者能够按照注解的每个标签(例如类别)进行用来进行注解的指定的训练。因此，通过进行作业者不擅长的注解的类别的训练，提高对注解用感测数据赋予注解信息的作业的正确性。
在有关本发明的一技术方案的信息处理方法中，上述注解结果包含上述注解信息的指定所花费的时间；上述注解技能包含上述注解信息的指定所需要的时间。
由此，作业者能够进行改善用来进行注解的指定的作业所需要的时间的训练。因此，能够提高作业者对注解用感测数据赋予注解信息的作业的速度这样的技能。
在有关本发明的一技术方案的信息处理方法中，上述感测数据是图像数据；上述注解用感测数据是注解用图像数据。
由此，对于信息量较多、在注解技能的提高方面有个人差异的图像数据也能够高效地提高注解技能。
有关本发明的一技术方案的信息处理方法，根据上述注解技能确定上述正解注解信息；通过从多个上述注解用图像数据之中选择拍摄有与所确定的上述正解注解信息对应的物体的上述注解用图像数据，取得上述注解用图像数据。
由此，能够选择带来注解技能的提高的带有监督数据的注解用图像数据。例如，选择被要求赋予作业者不擅长的注解信息的注解用图像数据。作业者能够进行自身不擅长的作业的训练。
有关本发明的一技术方案的信息处理方法中，根据上述注解技能确定上述正解注解信息；通过生成拍摄有与所确定的上述正解注解信息对应的物体的图像数据，取得上述注解用图像数据。
由此，即使没有适合于注解技能的提高的注解用图像数据，也能够使作业者进行训练。
在有关本发明的一技术方案的信息处理方法中，上述图像数据的生成包括：将拍摄有与所确定的上述正解注解信息对应的物体的图像数据与其他的图像数据进行合成。
由此，能够有效地生成带有监督数据的注解用图像数据。
有关本发明的一技术方案的信息处理方法还将上述正解注解信息与上述注解结果的差分提示给上述作业者。
由此，作业者能够根据正解注解信息与注解结果的差分，在感觉上理解自身的注解技能。
有关本发明的一技术方案的信息处理方法还将更新后的上述注解技能提示给上述作业者。
由此，作业者能够掌握自身的注解技能的状态。例如，能够使作业者掌握注解技能是否提高、是否变化、是否降低等。由此，能够直接或间接地促使作业者进行注解技能提高的行动。
另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图对实施方式具体地进行说明。另外，以下说明的实施方式都表示一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示本发明的最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
另外，各图是示意图，并不一定是严密地图示的。此外，在各图中，对于实质上相同的结构赋予相同的标号，并将重复的说明省略或简略化。
以下，对有关本发明的实施方式的信息处理方法及信息处理系统进行说明。
(实施方式1)
[结构]
图1是例示有关实施方式1的信息处理系统1及输入输出部40的框图。图2是例示有关实施方式1的信息处理系统1中的信息的传递的图。
如图1及图2所示，作业者(也称作注解者)对感测数据进行用于机械学习的注解。例如，感测数据是图像数据，作业者对由摄像装置拍摄的图像或CG(Computer Graphics)合成的图像等(以下，称作注解用图像)，赋予与拍摄在注解用图像中的物体有关的注解信息。信息处理系统1对赋予给注解用图像的注解信息的正确性进行评价。信息处理系统1根据作业者赋予了注解信息的注解用图像对作业者进行评价(决定注解技能)，使作业者进行对与评价相应的注解用图像赋予注解信息的作业。物体例如是人、动物、车辆、设备等任何物体。
这里，注解是指对与注解用图像建立了关联的特定的物体赋予相关联的元数据作为注释(标签)，用文本记述。此外，注解用图像是指拍摄有作为作业者的作业对象的物体的图像，是用于作业者对物体赋予注解信息的图像。
在信息处理系统1，连接有用于作业者赋予注解信息的输入输出部40。输入输出部40例如是个人计算机，经由显示在个人计算机上的浏览器等的画面，受理作业者的输入。信息处理系统1具备第1处理部10、第2处理部20和第3处理部30。
第1处理部10具备存储部11，该存储部11保存表示注解用图像的信息、第1注解信息、表示作业者的注解技能的信息。这里所述的第1注解信息，是用来对由作业者赋予了注解信息的注解用图像即已注解的图像，评价是否被正确地赋予了注解的、作为范本的注解信息(也称作正解数据)。第1注解信息是正解注解信息的一例。
另外，在存储部11中不存在拍摄有与注解技能对应的物体的注解用图像的情况下，第1处理部10生成拍摄有与注解技能对应的物体的注解用图像。该注解用图像的生成包括将拍摄有与所确定的第2注解信息对应的物体的图像与其他图像进行合成。
使用图3A说明第1注解信息的一例。图3A是例示有关实施方式1的第1注解信息的图。
如图3A所示，第1注解信息是在拍摄有物体(相当于图3A的类别)的注解用图像中，配置有物体的x、y坐标上的位置、物体的大小、物体的形状、注解信息的赋予所需要的时间等的作为范本的文本数据。在1个注解用图像中存在多个物体的情况下，第1注解信息包括与多个物体对应的各个文本数据。
使用图3B说明表示注解技能的信息的一例。图3B是例示有关实施方式1的注解技能的图。
如图3B所示，注解技能是与注解信息的指定(赋予)有关的技能，即是在作业者对注解用图像赋予注解信息的作业中，表示各个物体的精度、选择项的正解率、注解信息的赋予所需要的作业时间等的作业者的技能。注解技能例如是评价作业者对注解用图像赋予注解信息的作业的正确性而得到的指标。注解技能按照各个物体决定。精度意味着对注解用图像中包含的物体赋予注解信息的位置、范围(大小)、形状等的注解信息的正确性。
第1处理部10取得赋予注解信息的作业者的注解技能。第1处理部10将具有根据作业者的注解技能确定的图像的特征的注解用图像向输入输出部40输出。图像的特征例如是拍摄在图像中的物体。输入输出部40取得注解用图像，为了使作业者进行赋予注解信息的作业而显示注解用图像。
此外，第1处理部10如果取得表示在后述中说明的评价部33评价的作业者的注解技能的信息，则将作业者的注解技能更新。另外，第1处理部10也可以从其他装置取得表示由其他的装置评价的作业者的注解技能的信息。
第2处理部20具有第1取得部21和赋予部22。
第1取得部21经由输入输出部40取得作业者对注解用图像赋予注解信息的输入。
赋予部22经由第1取得部21，根据对由第1取得部21取得的注解用图像赋予注解信息的输入，生成对注解用图像赋予了注解信息的已注解的图像和后述的第2注解信息。第2注解信息是作业者对注解用图像赋予的注解信息，是与已注解的图像对应的文本数据。第2注解信息还包含注解信息的指定(赋予)所花费的时间。赋予部22将所生成的表示已注解的图像的信息和第2注解信息向第3处理部30输出。第2注解信息是注解结果的一例。
使用图3C对第2注解信息进行说明。图3C是例示有关实施方式1的第2注解信息的图。
如图3C所示，第2注解信息是对于注解用图像的、由作业者输入的物体的x、y坐标上的位置、大小、形状、在注解信息的赋予所需要的时间等的文本数据。在1个注解用图像中存在多个物体的情况下，第2注解信息是与多个物体对应的各自的文本数据。
第3处理部30具有第2取得部32和评价部33。
第2取得部32从第2处理部20取得已注解的图像和第2注解信息，将第2注解信息向评价部33输出。此外，第2取得部32从第1处理部10的存储部11取得应与第2注解信息比较的第1注解信息，将所取得的第1注解信息向评价部33输出。
评价部33对第2注解信息进行评价。具体而言，评价部33将图3C的第2注解信息中的物体的位置、大小、形状等与图3A的第1注解信息中的物体的位置、大小、形状等比较，计算各自的差分(类似度)。评价部33基于计算出的差分，生成表示作业者的注解技能的信息。评价部33将表示所生成的新的注解技能的信息向第1处理部10输出。保存在第1处理部10的存储部11中的表示注解技能的信息被自动更新。
另外，如果评价部33计算出的差分(类似度)是规定的阈值以上，则可以说是精度好的已注解的图像，所以也可以作为完成品而将已注解的图像及第2注解信息向外部装置发送。
[动作]
接着，使用图4对本实施方式的信息处理系统1的动作进行说明。
图4是例示有关实施方式1的信息处理系统1的动作的图。
在该信息处理系统1中，设想作业者的注解技能预先保存在第1处理部10的存储部11中的情况。此外，作业者经由输入输出部40，进行对注解用图像赋予注解信息的作业。
如图4所示，首先，第1处理部10从存储部11取得作业者的注解技能(S11)。
接着，第1处理部10输出具有根据所取得的注解技能确定的图像的特征的注解用图像(S12)。具体而言，第1处理部10从存储部11中检索拍摄有与注解技能对应的物体的注解用图像。第1处理部10在存在拍摄有与注解技能对应的物体的注解用图像的情况下，选择该注解用图像。此外，在存储部11中不存在拍摄有与注解技能对应的物体的注解用图像的情况下，第1处理部10生成拍摄有与注解技能对应的物体的注解用图像。第1处理部10将所选择或生成的注解用图像向输入输出部40输出。
接着，作业者经由显示在输入输出部40上的注解用图像而输入注解信息。这里，使用图5说明对注解用图像赋予注解信息的作业的一例。图5是例示对注解用图像赋予注解信息的作业的图。
例如在输入输出部40上，显示
(1)“将手抬高”或“将手放低”
(2)“将腿打开”或“将腿合上”
这样的相互相反且独立的选择项。作业者通过选择该选择项中的某一个而进行作业。
此外，作业者经由输入输出部40，为了对注解用图像中的物体(在图中是人物)的位置赋予注解信息而设定拍摄在注解用图像中的人物的范围。此外，将人物的头的位置设定为点，将人物的手腿等的骨骼设定为线。
如图4所示，输入输出部40将由作业者受理的输入向第2处理部20输出。第2处理部20的第1取得部21如果取得用于作业者对注解用图像赋予注解信息的输入，则第2处理部20的赋予部22对注解用图像赋予注解信息，生成已注解的图像和第2注解信息。并且，第2处理部20将已注解的图像和第2注解信息向第3处理部30输出(S13)。
接着，第3处理部30的第2取得部32从第2处理部20取得第2注解信息，从第1处理部10的存储部11取得第1注解信息，将第2注解信息和第1注解信息向评价部33输出。评价部33将图3C的第2注解信息中的物体的位置、大小、形状等与图3A的第1注解信息中的物体的位置、大小、形状等比较，计算各自的差分(类似度)。该差分按照第2注解信息中的各个物体进行。评价部33基于计算出的各自的差分，生成表示作业者的注解技能的信息。评价部33将表示作业者的注解技能的信息向第1处理部10输出，使保存在第1处理部10的存储部11中的表示注解技能的信息更新(S14)。
评价部33判断在作业者对注解用图像赋予注解信息的作业中是否存在作业者不擅长的规定的物体(作业)(S15)。具体而言，评价部33确定在表示作业者的注解技能的信息中是否存在该注解技能不到规定阈值的技能。
在不存在注解技能不到规定阈值的技能的情况下(S15中否)，由于不存在作业者不擅长的作业，所以信息处理系统1向步骤S11返回。
另一方面，在存在注解技能不到规定阈值的技能的情况下(S15中是)，由于存在作业者不擅长的作业，所以评价部33生成表示示出不到规定阈值的注解技能的评价结果的信息，将表示评价结果的信息提示给作业者(S16)。即，评价部33向输入输出部40或个人计算机等的外部显示装置输出表示评价结果的信息。
这里，对向作业者提示的评价结果进行例示。
第3处理部30提示作为范本的被注解后的图像、作为范本的选择项等、和作业者所作业的已注解的图像、作业者所选择的选择项等。此外，第3处理部30提示作业者所作业的注解与作为范本的注解的差分(差异)。该差分由对注解用图像中包含的多个物体整体进行了评价的统计指标、按照每个物体进行了评价的个别指标、在达成了目标的情况下进行评价的绝对指标、以及多个物体中的相对的相对指标表示。第3处理部30基于上述指标，提示作业者擅长的作业或不擅长的作业。
此外，第3处理部30提示对于拍摄在注解用图像中的各个物体的各自的作业时间、与其他作业者的注解技能的比较、作业者的注解技能的履历、多个作业者的排名、作业者的作业单价、与作业者对应的练习问题等。
并且，信息处理系统1使该处理结束，使流程回到最初。
[效果等]
这样，在该信息处理系统1中，决定包含与作业者的注解技能对应的图像的特征的注解用图像。由此，能够进行与作业者的个人特性对应的注解的训练。例如，将作业者不擅长的图像决定为注解用图像。
此外，评价部33使保存在第1处理部10的存储部11中的作业者的注解技能更新。因此，能够决定包含与作业者的新的(更新后的)注解技能对应的图像的特征的注解用图像。由此，作业者通过进行与自身的注解技能对应的、对注解用图像赋予注解信息的训练，能够实现持续性的注解技能的提高。因此，能够使作业者的注解技能对应于个人特性而有效地提高。
(实施方式2)
[结构]
本实施方式的信息处理方法及信息处理系统200的结构在没有特别说明的情况下与实施方式1是同样的，对于相同的结构赋予相同的标号，省略关于结构的详细的说明。
图6是例示有关实施方式2的信息处理系统200及输入输出部40的框图。图7是例示有关实施方式2的信息处理系统200中的信息的传递的图。
如图6及图7所示，本实施方式的信息处理系统200在向作业者提示的多个注解用图像中，混合用来对作业者的注解技能进行评价的评价用图像。信息处理系统200以与注解用图像看起来同样的形态将评价用图像混合到多个注解用图像中，以使作业者在进行作业时不会注意到是用来对自身的注解技能进行评价的图像。由此，信息处理系统200能够向作业者提示多个注解用图像和评价用图像。
信息处理系统200除了第1处理部10、第2处理部20及第3处理部30以外，还具备第1图像选择部210、第2图像选择部220及管理部230。
第1处理部10具有存储部11，该存储部11保存表示评价用图像的信息及第1注解信息。第1处理部10如果从管理部230取得表示作业者的注解技能的信息，则取得与注解技能对应的评价用图像。例如，第1处理部10将应向作业者提示的评价用图像进行加工，以使其与第1图像选择部210向作业者提示的注解用图像看起来同样(不使作业者注意到其是与注解用图像不同的评价用图像)。此外，第1处理部10在存储部11中不存在评价用图像的情况下，新生成应向作业者提示的评价用图像，或将注解用图像加工为评价用图像。这样，第1处理部10取得评价用图像。
第1图像选择部210保持使作业者进行赋予注解信息的作业的多个注解用图像。第1图像选择部210具有保存注解用图像的存储部221。第1图像选择部210从管理部230取得作业者的注解技能，决定与注解技能对应的注解用图像。第1图像选择部210从第1处理部10取得评价用图像，将所取得的评价用图像与多个注解用图像混合，将评价用图像和多个注解用图像向输入输出部40输出。
第2图像选择部220经由输入输出部40取得由第2处理部20生成的表示已注解的图像的信息和第2注解信息。第2图像选择部220从表示已注解的图像的信息及第2注解信息中，将已作为评价用图像而被进行了作业的表示评价用的已注解的图像的信息和评价用的第2注解信息向第3处理部30输出。
第3处理部30的评价部33对评价用的第2注解信息和第1注解信息进行评价。评价部33生成表示作业者的注解技能的信息，向管理部230输出。
另外，第2图像选择部220也可以将表示评价用以外的已注解的图像的信息和第2注解信息作为完成品向外部装置发送。
管理部230具备保存表示注解技能的信息的存储部231，对作业者的注解技能进行管理。管理部230如果取得作业者的注解技能，则将保存在存储部231中的注解技能更新。
此外，管理部230根据注解技能选择作业者。例如也可以选择整体上注解技能较低的作业者，使该作业者积极地进行对注解用图像赋予注解信息的作业。
[动作]
接着，对本实施方式的信息处理系统200的动作进行说明。
图8是例示有关实施方式2的信息处理系统200的动作的图。
在该信息处理系统200中，设想作业者的注解技能预先保存在管理部230中的情况。
如图8所示，首先，第1处理部10从管理部230取得作业者的注解技能(S21)。
接着，第1处理部10输出与所取得的注解技能对应的评价用图像(S22)。具体而言，第1处理部10从存储部11中检索拍摄有与注解技能对应的物体的评价用图像。第1处理部10在存在拍摄有与注解技能对应的物体的评价用图像的情况下，选择该评价用图像。此外，在存储部11中不存在拍摄有与注解技能对应的物体的评价用图像的情况下，第1处理部10生成拍摄有与注解技能对应的物体的评价用图像，或基于从第1图像选择部210取得的注解用图像，将应向作业者提示的注解用图像以作业者注意不到是评价用图像的方式加工为评价用图像。第1处理部10将表示所选择、生成或加工的评价用图像的信息向第1图像选择部210输出。
第1图像选择部210经由第1处理部10从管理部230取得作业者的注解技能，选择与注解技能对应的注解用图像。第1图像选择部210从第1处理部10取得评价用图像，将所取得的评价用图像混合到多个注解用图像中，将评价用图像和多个注解用图像向输入输出部40输出(S23)。
输入输出部40将由作业者受理的输入向第2处理部20输出。第2处理部20对于注解用图像，生成作业者赋予了注解信息的已注解的图像和第2注解信息。并且，第2处理部20将已注解的图像和第2注解信息向第2图像选择部220输出(S24)。
第2图像选择部220取得表示已注解的图像的信息及第2注解信息。第2图像选择部220从表示已注解的图像的信息及第2注解信息中，将已作为评价用图像被进行了作业的、表示评价用的已注解的图像的信息和评价用的第2注解信息向第3处理部30输出(S25)。
接着，第3处理部30如果取得表示评价用的已注解的图像的信息和评价用的第2注解信息，则第3处理部30的评价部33对评价用的第2注解信息和第1注解信息进行评价。即，评价部33基于评价用的第2注解信息与评价用的第1注解信息的差分，生成表示作业者的注解技能的信息。评价部33将表示作业者的注解技能的信息向第1处理部10输出，使保存在第1处理部10的存储部11中的表示注解技能的信息更新(S26)。即，评价部33判断在作业者对注解用图像赋予注解信息的作业中是否存在作业者不擅长的规定的物体(作业)(S27)。具体而言，评价部33确定在表示作业者的注解技能的信息中是否存在该注解技能不到规定阈值的技能。
在不存在注解技能不到规定阈值的技能的情况下(S27中否)，由于不存在作业者不擅长的作业，所以信息处理系统200向步骤S21返回。
另一方面，在存在注解技能不到规定阈值的技能的情况下(S27中是)，由于存在作业者不擅长的作业，所以评价部33生成表示示出不到规定阈值的注解技能的评价结果的信息，将表示评价结果的信息向作业者提示(S28)。
评价部33将表示注解技能的信息向管理部230输出，管理部230如果取得表示作业者的注解技能的信息，则将保存在存储部231中的注解技能更新。并且，信息处理系统200使该处理结束，使流程回到最初。
[效果等]
这样，在该信息处理系统200中，以评价用图像不会被注意到是与注解用图像不同的评价用图像的方式对评价用图像进行加工或选择。信息处理系统200将该评价用图像混合到多个注解用图像中，向作业者提示。因此，作业者难以注意到包含有评价用图像，所以能够对作业者的注解技能进行评价。
关于本实施方式的其他的作用效果，起到与实施方式1同样的作用效果。
(其他变形例)
以上，对有关本发明的实施方式1、2的信息处理方法及信息处理系统进行了说明，但本发明的实施方式并不限定于上述的实施方式1、2。
例如，在上述实施方式中，说明了注解对象的感测数据是图像数据的例子，但该感测数据并不限于此。注解对象的感测数据也可以是从距离传感器得到的距离数据、从麦克风得到的声音数据、从LIDAR(Light Detection and Ranging)等的雷达得到的点群数据、从气味传感器得到的气味数据等的其他感测数据。
此外，例如也可以作为使计算机执行有关上述实施方式的信息处理方法的程序、存储程序的存储介质实现。
此外，有关上述实施方式的信息处理系统中包含的各处理部典型的是作为集成电路即LSI实现。它们既可以单独地形成1芯片，也可以以包含一部分或全部的方式形成1芯片。
此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成，或者也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等的程序执行部读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。
此外，在上述中使用的数字全部是为了具体地说明本发明而例示的，本发明的实施方式并不受例示的数字限制。
此外，框图中的功能块的划分是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块划分为多个，或将一部分的功能转移到其他功能块中。此外，也可以由单一的硬件或软件并行或分时地处理具有类似的功能的多个功能块的功能。
此外，流程图中的各步骤被执行的顺序是为了具体地说明本发明而例示的，也可以是上述以外的顺序。此外，上述步骤的一部分也可以与其他步骤同时(并行)执行。
以上，基于实施方式1、2说明了有关一个或多个技术方案的信息处理方法及信息处理系统，，但本发明的实施方式1、2并不限定于该多个技术方案。只要不脱离本发明的主旨，对本实施方式1、2施以了本领域技术人员想到的各种变形后的形态、将不同的实施方式的构成要素组合而构建的形态也可以也包含在一个或多个技术方案的范围内。
本发明能够应用于用来掌握对感测数据赋予注解信息的技能的评价系统、用来提高对感测数据赋予注解信息的技能的训练系统等。
Claims (12)
1.一种信息处理方法，其特征在于，
使用计算机进行如下处理：
取得对感测数据赋予注解信息的作业者的注解技能；
取得注解用感测数据，该注解用感测数据具有根据上述注解技能确定的感测数据的特征；
取得上述作业者对上述注解用感测数据的注解结果；
使用与上述感测数据的特征对应的正解注解信息及上述注解结果，更新上述注解技能。
2.如权利要求1所述的信息处理方法，其特征在于，
上述注解技能包括与上述注解信息的指定有关的技能。
3.如权利要求2所述的信息处理方法，其特征在于，
上述注解信息的指定包括注解的位置的指定、大小的指定及形状的指定中的至少1个。
4.如权利要求2所述的信息处理方法，其特征在于，
上述注解信息的指定包括注解的标签的指定。
5.如权利要求1～4中任一项所述的信息处理方法，其特征在于，
上述注解结果包含上述注解信息的指定所花费的时间；
上述注解技能包含上述注解信息的指定所需要的时间。
6.如权利要求1～4中任一项所述的信息处理方法，其特征在于，
上述感测数据是图像数据；
上述注解用感测数据是注解用图像数据。
7.如权利要求6所述的信息处理方法，其特征在于，
根据上述注解技能，确定上述正解注解信息；
通过从多个上述注解用图像数据之中选择拍摄有与所确定的上述正解注解信息对应的物体的上述注解用图像数据，取得上述注解用图像数据。
8.如权利要求6所述的信息处理方法，其特征在于，
根据上述注解技能，确定上述正解注解信息；
通过生成拍摄有与所确定的上述正解注解信息对应的物体的图像数据，取得上述注解用图像数据。
9.如权利要求8所述的信息处理方法，其特征在于，
上述图像数据的生成包括：将拍摄有与所确定的上述正解注解信息对应的物体的图像数据与其他图像数据进行合成。
10.如权利要求1～4中任一项所述的信息处理方法，其特征在于，
还将上述正解注解信息与上述注解结果的差分提示给上述作业者。
11.如权利要求1～4中任一项所述的信息处理方法，其特征在于，
还将更新后的上述注解技能提示给上述作业者。
12.一种信息处理系统，其特征在于，具备：
第1取得部，取得具有感测数据的特征的注解用感测数据，上述感测数据的特征根据对感测数据赋予注解信息的作业者的注解技能来确定；
第2取得部，取得上述作业者对上述注解用感测数据的注解结果；以及
处理部，使用与上述感测数据的特征对应的正解注解信息及上述注解结果，更新上述注解技能。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-146202 | 2018-08-02 | ||
| JP2018146202 | 2018-08-02 | ||
| JP2019070210A JP7236694B2 (ja) | 2018-08-02 | 2019-04-01 | 情報処理方法、及び情報処理システム |
| JP2019-070210 | 2019-04-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110796156A true CN110796156A (zh) | 2020-02-14 |
Family
ID=69228675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910665764.5A Pending CN110796156A (zh) | 2018-08-02 | 2019-07-23 | 信息处理方法及信息处理系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11068716B2 (zh) |
| CN (1) | CN110796156A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197883A (ja) * | 2004-01-05 | 2005-07-21 | Fuji Xerox Co Ltd | 書込解析装置 |
| US20160093000A1 (en) * | 2014-09-25 | 2016-03-31 | Collectrium Inc. | Novel cloud-based art inventory management system, incorporating techniques, methods and devices |
| JP2018032067A (ja) * | 2016-08-22 | 2018-03-01 | 株式会社日立ソリューションズ | レビュー支援装置及びレビュー支援方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6421421B2 (ja) * | 2014-03-04 | 2018-11-14 | 富士ゼロックス株式会社 | 注釈情報付与プログラム及び情報処理装置 |
| JP6306400B2 (ja) | 2014-04-04 | 2018-04-04 | Kddi株式会社 | クラウドソーシングにおける作業者のスキルを評価するスキル評価装置、プログラム及び方法 |
| US10223591B1 (en) * | 2017-03-30 | 2019-03-05 | Amazon Technologies, Inc. | Multi-video annotation |
| JP2019008519A (ja) * | 2017-06-23 | 2019-01-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム |
| US20180336509A1 (en) * | 2017-07-31 | 2018-11-22 | Seematics Systems Ltd | System and method for maintaining a project schedule in a dataset management system |
-
2019
- 2019-07-23 CN CN201910665764.5A patent/CN110796156A/zh active Pending
- 2019-07-30 US US16/526,309 patent/US11068716B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197883A (ja) * | 2004-01-05 | 2005-07-21 | Fuji Xerox Co Ltd | 書込解析装置 |
| US20160093000A1 (en) * | 2014-09-25 | 2016-03-31 | Collectrium Inc. | Novel cloud-based art inventory management system, incorporating techniques, methods and devices |
| JP2018032067A (ja) * | 2016-08-22 | 2018-03-01 | 株式会社日立ソリューションズ | レビュー支援装置及びレビュー支援方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200042794A1 (en) | 2020-02-06 |
| US11068716B2 (en) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738101B (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| JP6693938B2 (ja) | 外観検査装置 | |
| CN102662942B (zh) | 元数据生成系统和方法 | |
| JP7353946B2 (ja) | アノテーション装置および方法 | |
| JP7236694B2 (ja) | 情報処理方法、及び情報処理システム | |
| JPWO2014162787A1 (ja) | 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 | |
| JP7320280B2 (ja) | ラベル収集装置、ラベル収集方法及びラベル収集プログラム | |
| US20150262370A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2014533416A (ja) | 反復時系列マトリクスパターンエンハンサプロセッサ | |
| JP2013131211A (ja) | 疾患診断のための最適の診断要素セット決定装置及び方法 | |
| JP7334801B2 (ja) | 学習装置、学習方法および学習プログラム | |
| US11138805B2 (en) | Quantitative quality assurance for mixed reality | |
| CN109784140A (zh) | 驾驶员属性识别方法及相关产品 | |
| CN114495241A (zh) | 一种图像识别方法及装置、电子设备、存储介质 | |
| EP4270277A1 (en) | Work behavior recognition system and work behavior recognition method | |
| WO2023274599A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
| JP7165108B2 (ja) | 作業訓練システム及び作業訓練支援方法 | |
| CN110796156A (zh) | 信息处理方法及信息处理系统 | |
| JP7254262B2 (ja) | 作業推定装置、作業推定方法、及び、作業推定プログラム | |
| US20240055105A1 (en) | Real-time analysis of images captured by an ultrasound probe | |
| JP7541609B1 (ja) | 情報処理システム、プログラム、及び情報処理方法 | |
| CN110494862A (zh) | 序列产生装置及其控制方法 | |
| US20240104178A1 (en) | Information processing apparatus, information processing method, matching system, program, and storage medium | |
| US20230103374A1 (en) | Visualization method, program for the same, visualization device, and discrimination device having the same | |
| CN112231196B (zh) | App埋点行为分类方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |