CN112789630A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN112789630A
CN112789630A CN201980063660.5A CN201980063660A CN112789630A CN 112789630 A CN112789630 A CN 112789630A CN 201980063660 A CN201980063660 A CN 201980063660A CN 112789630 A CN112789630 A CN 112789630A
Authority
CN
China
Prior art keywords
information processing
learning
operator
data
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980063660.5A
Other languages
English (en)
Inventor
高桥亮
小林卓嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112789630A publication Critical patent/CN112789630A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

提供一种信息处理装置、信息处理方法以及程序,引导由操作者进行的优选的学习数据的收集。信息处理装置(20)具备引导用于识别器的学习的学习数据的收集的引导部(220),所述引导部动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。此外,信息处理方法包含处理器(871)对用于识别器的学习的学习数据的收集进行引导,所述引导进一步包含动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。

Description

信息处理装置、信息处理方法以及程序
技术领域
本公开涉及信息处理装置、信息处理方法以及程序。
背景技术
近年来,普及了一种基于收集到的感测数据来进行各种识别处理的装置。此外,还报告了一种用于有效地生成识别器的技术,该识别器用于实现上述那样的识别处理。例如,在专利文献1中,公开了一种有效地收集学习数据的技术,该学习数据对识别器的泛化性能的提升有效。
专利文献1:日本特开2018-60268号公报
发明内容
发明要解决的技术问题
但是,专利文献1所记载的技术是一种对偶发性获取到的感测数据之中作为学习数据而优选的数据进行挑选的技术,并不是引导由操作者进行的优选的数据收集。
用于解决技术问题的技术方案
根据本公开,提供一种信息处理装置,其具备引导部,所述引导部引导学习数据的收集,所述学习数据用于识别器的学习,所述引导部动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
此外,根据本公开,提供一种信息处理方法,其包含处理器对学习数据的收集进行引导,所述学习数据用于识别器的学习,所述引导进一步包含动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
此外,根据本公开,提供一种程序,其用于使计算机作为信息处理装置发挥功能,该信息处理装置具备引导部,所述引导部引导学习数据的收集,所述学习数据用于识别器的学习,所述引导部动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
附图说明
图1是示出本公开的一实施方式的信息处理系统的构成例的框图。
图2是示出相同实施方式的手姿势辨识的类别的一例的图。
图3是示出相同实施方式的嵌入式设备的外观例的图。
图4是示出相同实施方式的嵌入式设备的功能构成例的框图。
图5是示出相同实施方式的信息处理装置的功能构成例的框图。
图6是示出相同实施方式的信息处理装置具有数据收集功能、用户接口的显示功能的情况下的构成例的框图。
图7是示出相同实施方式的信息处理系统的处理的流程的流程图。
图8是相同实施方式的数据收集流程的一例。
图9是示出相同实施方式的引导部对操作者给予的约束的一例的图。
图10是用于对相同实施方式的学习数据的多样性进行说明的图。
图11是示出相同实施方式的与手的存在频率有关的热图的一例的图。
图12是示出由相同实施方式的引导部进行的、假定为不足的模式的学习数据收集的引导的一例的图。
图13是示出相同实施方式的识别精度的迁移的图表的一例。
图14是示出相同实施方式的嵌入式设备、传感器以及识别任务的组合例的图。
图15是示出相同实施方式的嵌入式设备作为手表型可穿戴设备被实现的情况下的一例的图。
图16是示出使用相同实施方式的眼镜设备以及触觉提示设备的引导一例的图。
图17是相同实施方式的嵌入式设备具备报酬提供部的情况下的框图。
图18是用于对相同实施方式的向实用性识别器开发的转用进行说明的图。
图19是示出本公开的一实施方式的信息处理装置的硬件构成例的图。
图20是用于对学习数据对识别器的泛化性能的影响进行说明的图。
具体实施方式
以下,参照附图对本公开的优选的实施方式详细进行说明。另外,在本说明书以及附图中,对实质上具有同一功能构成的构成要素标注同一符号,省略重复说明。
另外,将按照以下的顺序进行说明。
1.实施方式
1.1.概要
1.2.系统构成例
1.3.嵌入式设备10的功能构成例
1.4.信息处理装置20的功能构成例
1.5.处理的详细情况
1.6.变形例
2.硬件构成例
3.总结
<1.实施方式>
<<1.1.概要>>
首先,对本公开的一实施方式的概要进行描述。如上述那样,近年来,在IoT(Internet of Things:物联网)、机器人的领域等中,普及了一种进行基于收集到的感测数据的各种识别处理的装置。
在此,在使用深层学习等的有教师机器学习技术来开发识别器的情况下,一般是反复进行由识别器的设计、学习数据的收集、识别器的学习以及识别器的评价构成的开发周期。
此外,在机器学习领域的初学者想要学会识别器的开发技术的情况下,每个人对上述那样的开发周期进行一遍体验也是重要的。
近年来,初学者例如能够使用无偿或有偿提供的机器学习框架、学习数据集来体验识别器的设计、学习或评价,而学会识别器的开发技术。
但是,在上述那样的机器学习框架中,虽然提供与识别器的设计、学习以及评价有关的教程,但是关于学习所使用的学习数据,例如局限于在互联网上无偿公开的现有数据集的移用。另一方面,学习数据的收集是对识别器的泛化性能带来较大影响的重要的阶段。
图20是用于对学习数据对识别器的泛化性能的影响进行说明的图。例如,在图20的上段,示出在样本空间Ω中未能够详尽地收集到学习数据的情况下的一例。在这样的情况下,生成的识别器的识别精度相对于学习所使用的数据虽然较高,但是相对于未知数据的识别精度则较低,为所谓的泛化性能较低的识别器。
另一方面,如图20的下段所示,在样本空间Ω中,在能够详尽地收集到学习数据的情况下,生成的识别器的泛化性能变高,而能够准确地识别更多的数据。
因此,在识别器的开发中的学习数据的收集中,详尽地集中与假定的各种情况有关的数据是重要的。但是,使用上述那样的移用现有数据集的机器学习框架来学习识别器的开发技术的初学者,学会识别器的泛化性能的提升所优选的学习数据的收集方法,是困难的。
此外,例如,如专利文献1所公开的那样,提出了一种有效地收集对识别器的泛化性能的提升有效的学习数据的技术,但如上述那样,专利文献1所记载的技术是一种对偶发性获取到的感测数据之中作为学习数据而优选的数据进行挑选的技术,并不是学会优选的学习数据的收集方法。
本公开的技术思想是着眼于上述那样的方面而想出的,能够引导由操作者进行的优选的学习数据的收集。因此,本公开的一实施方式的信息处理装置20具有引导识别器的学习所使用的学习数据的收集的引导部220。此外,本公开的一实施方式的引导部220其特征之一在于,动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
以下,对实现上述特征的信息处理装置20的构成、以及上述特征起到的效果详细进行说明。
<<1.2.系统构成例>>
首先,对本公开的一实施方式的信息处理系统的构成例进行描述。图1是示出本实施方式的信息处理系统的构成例的框图。另外,在图1中,示出将本公开的技术思想应用于进行手姿势辨识的识别器的开发教程的情况下的一例。
在此,上述手姿势辨识是指将出现在图像中的人的手根据其形状分类到最佳类别的识别任务。图2是示出本实施方式的手姿势辨识的类别的一例的图。如图2所示,本实施方式的手姿势辨识的类别,例如可包含石头(Rock)、剪刀(Scissors)、布(Paper)等的猜拳游戏所使用的手的形状、半心(Half-heart)等的各种手的形状。
识别器开发的初学者即操作者,通过利用本实施方式的信息处理系统,能够获取使识别的泛化性能提升的优选的感测数据、即学习数据的收集方法,其中,该识别进行上述那样的手姿势辨识。
如图1所示,本实施方式的信息处理系统例如可具备嵌入式设备10、信息处理装置20以及显示装置30。
(嵌入式设备10)
本实施方式的嵌入式设备10是收集与识别对象有关的感测数据并实时对操作者提示收集到的感测数据(以下,也称为学习数据)的装置。因此,本实施方式的嵌入式设备10具备输出部110、传感器120。
在图1所示的一例的情况下,嵌入式设备10可以通过相机装置即传感器120来拍摄识别器开发的初学者的手姿势,并通过输出部110实时地显示与拍摄到的手姿势有关的图像。
图3是示出本实施方式的嵌入式设备10的外观例的图。初学者即操作者例如将手放到被固定为朝向下方的相机装置即传感器120之下,边通过输出部110确认拍摄到的图像边执行与各种手姿势有关的数据收集。
(信息处理装置20)
本实施方式的信息处理装置20对识别器开发的初学者即操作者提供框架,其中,该框架体验一遍识别器的设计、学习数据收集、识别器的学习、识别器的评价的各阶段。因此,本实施方式的信息处理装置20通过显示装置30向用户提供导引UI1、开发UI2,其中,该导引UI1用于进行上述各阶段中的导引,该开发UI2用于识别器开发的初学者即操作者进行识别器的设计。
此外,本实施方式的信息处理装置20具有如下功能:动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
下面另行说明本实施方式的信息处理装置20具有的功能的详细情况。
(显示装置30)
本实施方式的显示装置30基于信息处理装置20的控制,显示上述的导引UI1、开发UI2。本实施方式的显示装置30例如也可以是液晶显示器(LCD:Liquid Crystal Display,液晶显示器)装置、OLED(Organic Light Emitting Diode,有机光致发射二极管)装置或投影仪等。
(网络40)
网络40具有将信息处理系统具备的各构成进行连接的功能。网络40也可以包含互联网、电话线路网、卫星通信网等的公共线路网、包含以太网(注册商标)的各种LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)等。此外,网络40也可以包含IP-VPN(Internet Protocol-Virtual Private Network,互联网协议虚拟专用网)等的专用线路网。此外,网络40也可以包含Wi-Fi(注册商标)、蓝牙(注册商标)等无线通信网。
以上,对本实施方式的信息处理系统的构成例进行了说明。另外,使用图1所说明的上述构成只不过是一例,本实施方式的信息处理系统的构成并不限定于该示例。本实施方式的信息处理系统的构成根据规格、运用能够灵活变形。
<<1.3.嵌入式设备10的功能构成例>>
接下来,对本实施方式的嵌入式设备10的功能构成例进行描述。图4是示出本实施方式的嵌入式设备10的功能构成例的框图。如图4所示,本实施方式的嵌入式设备10可具备输出部110、传感器120、识别执行部130、驱动部140、学习数据收集部150以及通信部160。
(输出部110)
本实施方式的输出部110实时地向用户提示传感器120收集到的感测数据。本实施方式的输出部110例如可以具备显示器装置、扬声器、振动元件等。
(传感器120)
本实施方式的传感器120收集与识别对象有关的感测数据。本实施方式的传感器120可以具备与识别任务以及识别对象相对应的元件。本实施方式的传感器120例如可具备相机装置、麦克风、IMU(Inertial Measurement Unit,惯性测量单元)、脉搏传感器、心电图仪等。
(识别执行部30)
识别执行部30使用基于传感器120收集到的感测数据所生成的学习器来进行识别对象的识别。本实施方式的识别执行部30例如能够使用与基于传感器120收集到的手姿势有关的图像所生成的识别器来实时地识别操作者进行的手姿势。
(驱动部140)
本实施方式的驱动部140基于信息处理装置20的控制来控制嵌入式设备10自身、传感器120的驱动。驱动部140例如也可以基于信息处理装置20的控制,使嵌入式设备10、传感器120的位置、姿态变化。
(学习数据收集部150)
本实施方式的学习数据收集部150基于信息处理装置20的控制,执行由传感器120进行的数据收集,向信息处理装置20发送经由通信部160收集到的感测数据。学习数据收集部150也可以经由驱动部140执行由传感器120进行的数据收集。
(通信部160)
本实施方式的通信部160经由网络40进行与信息处理装置20的信息通信。例如,通信部160向信息处理装置20发送传感器120收集到的感测数据。此外,例如,通信部160接收信息处理装置20所生成的控制信号、识别器。
以上,对本实施方式的嵌入式设备10的功能构成例进行了说明。另外,使用图4所说明的上述构成只不过是一例,本实施方式的嵌入式设备10的功能构成并不限定于该示例。本实施方式的嵌入式设备10的功能构成根据规格、运用能够灵活变形。
<<1.4.信息处理装置20的功能构成例>>
接下来,对本实施方式的信息处理装置20的功能构成例进行描述。图5是示出本实施方式的信息处理装置20的功能构成例的框图。如图5所示,本实施方式的信息处理装置20具备输出控制部210、引导部220、学习·评价部230、学习数据集保存部240、评价数据集保存部250、识别器保存部260以及通信部270。
(输出控制部210)
本实施方式的输出控制部210基于引导部220的控制来控制与数据收集的导引有关的用户接口(导引UI1)。
此外,本实施方式的输出控制部210对用于识别器开发的初学者即操作者进行识别器的设计的用户接口(开发UI2)进行控制。
本实施方式的输出控制部210可以经由通信部270以及网络40来控制由显示装置30进行的导引UI1以及开发UI2的显示。
(引导部220)
本实施方式的引导部220具有如下功能:引导由学习·评价部230进行的识别器的学习所使用的学习数据的收集。具体地,本实施方式的引导部220其特征之一在于,动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
此时,本实施方式的引导部220可以对操作者给予与学习数据的收集有关的约束,并进行引导,以便确保在该约束的范围内感测数据的多样性。
此外,本实施方式的引导部220可以具备对收集到的感测数据进行标记的标记部222、以及进行上述多样性与约束有关的判定的数据解析部224。下面另行说明本实施方式的引导部220具有的功能的详细情况。
(学习·评价部230)
本实施方式的学习·评价部230作为学习部以及评价部发挥功能,其中,该学习部使用嵌入式设备10收集到的感测数据来进行与识别器有关的学习,该评价部进行所生成的识别器的评价。
(学习数据集保存部240)
本实施方式的学习数据集保存部240将嵌入式设备10收集到的感测数据保存为与由学习·评价部230进行的识别器学习有关的学习数据。
(评价数据集保存部250)
本实施方式的评价数据集保存部250保存由学习·评价部230进行的识别器评价所使用的评价数据集。
(识别器保存部260)
本实施方式的识别器保存部260保存与学习·评价部230通过学习所生成的识别器有关的信息。上述信息例如包含网络构成、各种参数。
(通信部270)
本实施方式的通信部270经由网络40进行与嵌入式设备10、显示装置30的信息通信。例如,通信部270接收嵌入式设备10收集到的感测数据。此外,例如,通信部270向嵌入式设备10发送引导部220所生成的控制信号、与学习·评价部230通过学习所生成的识别有关的信息。
以上,对本实施方式的信息处理装置20的功能构成例进行了说明。另外,使用图5所说明的上述构成只不过是一例,本实施方式的信息处理装置20的功能构成并不限定于该示例。
例如,本实施方式的信息处理装置20还可以进一步具备嵌入式设备10以及显示装置30具有的功能。图6是示出本实施方式的信息处理装置20具有数据收集功能、用户接口的显示功能的情况下的构成例的框图。如图6所示,本实施方式的信息处理系统未必需要由嵌入式设备10、信息处理装置20以及显示装置30的多个装置构成。
另一方面,本实施方式的信息处理装置20具有的功能也可以通过两台以上的多个装置来实现。这样,本实施方式的信息处理装置20的功能构成根据规格、运用可灵活变形。
<<1.5.处理的详细情况>>
接下来,对本实施方式的信息处理系统的处理的流程详细进行说明。另外,在以下,继续以将本实施方式的信息处理系统应用于进行手姿势辨识的识别器的开发教程的情况为主要示例进行说明。
图7是示出本实施方式的信息处理系统的处理的流程的流程图。参照图7,首先,信息处理装置20的输出控制部210在引导部220的控制之下,使显示装置30显示导引UI1,并指示识别器的设计(S1101)。
此时,输出控制部210在引导部220的控制之下,使用拍摄到图1所示的那样的讲师人物形象AV1、实际的讲师的视频等,来实施关于教程内的识别任务、以及用于求解该识别任务的识别器的导引。
识别器开发的初学者即操作者可以按照上述导引,通过显示于显示装置30的开发UI2来实际上进行识别器的设计。
接下来,输出控制部210在引导部220的控制之下,为了使初学者即操作者通过开发UI2设计出的识别器泛化,而经由导引UI1向操作者通知需要什么样的学习数据,并向操作者指示实际的数据收集(S1102)。
在上述的手姿势辨识的情况下,输出控制部210也可以在引导部220的控制之下,在导引UI1中,进行“按Rock、Scissors、Paper、Half-heart的顺序,分别各拍摄三百张图像吧”等说明,并显示图8所示的那样的数据收集流程。
此外,此时,输出控制部210在引导部220的控制之下,在导引UI1内对给予与感测数据的收集有关的约束进行说明。在此,上述约束其目的在于,在识别器开发的教程中使识别任务简化,减少识别器的泛化所需要的学习数据量。
图9是示出本实施方式的引导部220对操作者给予的约束的一例的图。例如,本实施方式的引导部220也可以对操作者给予如下约束:使图像的背景为整面白色,且使环境光为恒定。根据上述约束,能够避免根据图像而背景图案、颜色不同,而使识别任务复杂化,有效地降低所需要的学习数据量。另外,引导部220例如能够通过进行基于浓度柱状图解析、照度传感器的判定等,来判定是否遵守了上述约束。
此外,例如,引导部220也可以对操作者给予如下约束:使被拍摄的手为一个人、即操作者的单手,且将相对于相机的面限定为单面。这样,本实施方式的约束也可以是将识别对象限定为操作者的身体的一部分或行为的约束。输出控制部210也可以在引导部220的控制之下,例如使用图1所示的声音SO1等来实现与约束有关的说明。根据上述约束,能够避免根据图像而手的形状、颜色、拍摄面不同,而使识别任务复杂化,有效地降低所需要的学习数据量。另外,引导部220例如能够同时使用关节检测、和指纹检测或认证的任一方等来判定是否遵守了上述约束。
此外,例如,引导部220也可以对操作者给予将传感器120具备的相机装置朝向下固定来作为约束。根据上述约束,能够避免根据图像而相机装置的姿态不同,而使识别任务复杂化,有效地降低所需要的学习数据量。另外,引导部220例如能够使用与上述相机装置有关的加速度信号等来判定是否遵守了上述约束。
以上,列举具体例对本实施方式的约束进行了说明。这样,本实施方式的引导部220能够对识别器开发的初学者即操作者给予与学习数据的收集有关的约束,并动态地引导由操作者进行的数据收集,以便确保在该约束的范围内感测数据的多样性。
根据本实施方式的引导部220具有的上述功能,能够在识别器开发的教程中有效地简略识别任务,大幅度减少识别器的泛化所需要的学习数据。此外,根据本实施方式的引导部220具有的上述功能,识别器开发的初学者即操作者能够直观地掌握学习数据收集中的约束的重要性。
接下来,引导部220经由通信部270向嵌入式设备10提示学习数据的获取(S1103)。此时,嵌入式设备10的学习数据收集部150基于经由通信部160接收到的上述指示,开始由传感器120进行的学习数据的收取。
另外,在识别任务为手姿势辨识的情况下,操作者根据步骤S1103,按照上述的约束,将自己的手伸出到传感器120具备的相机装置之前,边确认显示于输出部110具备的显示器装置的图像边体验学习数据的收集。
此外,学习数据收集部150一旦能够获取到学习数据、即与识别对象有关的感测数据则立刻经由通信部160向信息处理装置20发送该学习数据。信息处理装置20的引导部220使接收到的学习数据保存在学习数据集保存部240。
接下来,引导部220的标记部222对在步骤S1103中保存的学习数据执行标记(S1104)。此时,标记部222也可以将按照在步骤S1102中向操作者提示的、图8所示的那样的既定流程来进行数据收集作为前提,进行与各阶段相对应的类别的标记。此外,标记部222例如也可以使用事先准备的泛化完毕的识别器来进行标记。此外,标记部222也可以同时使用与各阶段相对应的标记、和使用泛化完毕的识别器的标记,来谋求与标记有关的精度提升。
接下来,引导部220的数据解析部224解析在步骤S1103中保存的学习数据,进行与该学习数据在步骤S1102中所给予的约束的遵守有关的验证(S1105)。
例如,在识别任务为手姿势辨识的情况下,数据解析部224能够使用在同图中一并示出的验证方法来判定是否遵守了图9所示的那样的约束。
此外,数据解析部224对在步骤S1102中所给予的约束的范围内是否对识别器的泛化确保了充分的多样性进行验证(S1106)。例如,在识别任务为手姿势辨识的情况下,数据解析部224可以通过关节检测来识别图像中的手指、手腕的关节,确认在各类别允许的自由度中是否能够实现多种拍摄。
图10是用于对本实施方式的学习数据的多样性进行说明的图。在图10中例示出与类别“Scissors”有关的四张图像,但在各自中手指的关节位置不同。
具体地,相对于在左侧两张图像中拇指的指尖隐藏于无名指以及小指,而在右侧两张图像中拇指的指尖位于无名指以及小指的前侧。此外,相对于在从左看第一张以及第三张图像中食指以及中指紧挨着,而从左看第二张以及第四张图像中食指以及中指之间分离较大。
另一方面,在“从手掌侧拍摄到一个人的右手作出的剪刀的图像”这一条件下,图10所示的四张图像可以说均是妥当的学习数据。因此,对接近各关节的状态的图像进行一遍收集,对识别器的泛化确保充分的多样性是重要的。
因此,本实施方式的数据解析部224例如也可以在预先定义图10所示的那样的、假定的关节模式的基础之上,计算已经拍摄到的关节模式的收集率,将该收集率作为测试多样性的尺度之一进行使用。
此外,除了关节的状态之外,根据手的位置测试多样性的方法也是有效的。因此,本实施方式的数据解析部224例如也可以基于根据各学习数据检测到的手的位置,生成传感器120的相机装置的视角内的与手的存在频率有关的热图,并将该热图作为测试多样性的尺度之一进行使用。
图11是示出本实施方式的与手的存在频率有关的热图的一例的图。本实施方式的数据解析部例如能够使用泛化完毕的手识别器,生成图11所示的那样的热图。此时,数据解析部224验证在热图中手的检测位置是否分布在每个场所。
例如,在图11所示的一例的情况下,可知在区域R1附近未检测到手。在该情况下,数据解析部224也可以判定为收集完毕的学习数据未能够对识别器的泛化确保充分的多样性。
接下来,本实施方式的学习·评价部230使用在步骤S1103中保存的学习数据、和步骤S1104中的标记结果,进行识别器的学习(S1107)。
本实施方式的学习·评价部230例如也可以进行使用概率梯度下降法的深层学习。此外,本实施方式的学习·评价部230也可以作为由各种机器学习框架实现的软件而设置。
接着,本实施方式的学习·评价部230进行在步骤S1107中进行了学习的识别器的评价(S1108)。此时,本实施方式的学习·评价部230也可以进行使用事先保存于评价数据集保存部250的评价数据集的开放试验。另一方面,学习·评价部230也可以进行使用收集到或保存的学习数据集的交叉验证。
接下来,本实施方式的引导部220判定与识别器有关的开发流程是否满足了规定的结束条件(S1109)。此时,引导部220例如也可以将收集到的学习数据的量、在步骤S1108中的评价中所得到的识别器的识别精度等在规定的阈值以上作为结束条件,进行上述判定。此外,引导部220也可以将遵守了在步骤S1102中所给予的约束、确保了收集到的学习数据的多样性等作为结束条件之一。
在此,在与识别器有关的开发流程满足了规定的结束条件的情况下(S1109:是),引导部220经由嵌入式设备10的输出部110或显示装置30的任一方、或者双方向操作者指示数据收集的结束,使在步骤S1108中进行了学习的识别器保存在识别器保存部260(S1110)。
另一方面,在与识别器有关的开发流程未满足规定的结束条件的情况下(S1109:否),引导部220使操作者继续进行学习数据的收集。
在此,例如,引导部220在与步骤S1105中的遵守约束有关的验证中,在判定为未遵守约束的情况下,对识别器开发的初学者即操作者通知未遵守该约束的警告(S1111)。此时,引导部220可以使嵌入式设备10的输出部110或显示装置30的任一方、或者双方通知上述警告。
此外,引导部220在步骤S1106中的多样性验证中,在判定为未对识别器的泛化确保充分的多样性的情况下,动态地引导由操作者进行的数据收集,以便收集假定为不足的模式的学习数据(S1112)。
例如,在图10所示的一例的情况下,引导部220可以进行引导,以便拍摄尚未拍摄到的从左看第二张以及第四张的关节模式的图像。此外,例如,在图11所示的一例的情况下,引导部220可以进行引导,以便拍摄手的位置处于区域R1附近的图像。
图12是示出由本实施方式的引导部220进行的、假定为不足的模式的学习数据收集的引导的一例的图。例如,关于关节的状态,引导部220也可以对各类别共通地,比如使嵌入式设备10的输出部110、显示装置30具备的扬声器输出体操用音乐、广播等,而进行与学习数据收集有关的引导。
此外,引导部220也可以进行视觉上的引导,以便将收集的学习数据可视化并使输出部110、显示装置30进行显示,确保学习数据的多样性。
例如,在识别对象为包含手姿势的身体姿势、手势的情况下,引导部220也可以使输出部110、显示装置30显示引导对多样性的确保有效的学习数据的收集的引导对象物,并向操作者指示针对该引导对象物的规定的动作。
例如,关于类别“Rock”,在未确保与关节的状态有关的多样性的情况下,引导部220也可以使输出部110、显示装置30显示瓶的盖子来作为上述引导对象物,并向操作者进行指示,以把该瓶的盖子开闭。
此外,例如,关于类别“Scissors”,在未确保与关节的状态有关的多样性的情况下,引导部220也可以使输出部110、显示装置30显示线来作为引导对象物,并向操作者进行指示,以进行用手指剪切该线的动作。
此外,例如,在未确保与手的位置有关的多样性的情况下,引导部220也可以使输出部110、显示装置30显示游戏上的虚拟敌人来作为引导对象物,指示通过将手与该虚拟敌人的位置对准而击退,并对击退数量等进行计数。
此外,例如,关于类别“Paper”,在未确保与手的位置有关的多样性的情况下,引导部220也可以使输出部110、显示装置30显示污垢,并进行指示,以用手掌擦拭掉该污垢。
根据本实施方式的引导部220的上述那样的控制,能够通过与指示对应的动作使操作者的手的关节的状态、手的位置自然并多样化,有效地引导学习数据的收集。
此外,本实施方式的引导部220也可以进行控制,以便在导引UI1内通过讲师人物形象AV1、视频等,与上述那样的控制一并,执行与预测为不足的模式的学习数据相关的数据。
此外,本实施方式的引导部220为了进一步提高学习数据的多样性,还能够使嵌入式设备10自身、传感器120驱动(S1113)。引导部220通过对驱动部140给予指示而例如驱动马达,并使嵌入式设备10、传感器120旋转或者移动,从而即使在识别对象处于相同状态的情况下,也能够提高学习数据的多样性。
此外,本实施方式的引导部220为了进一步提高学习数据的多样性,还可以变更传感器120的设定(S1114)。例如,在传感器120具备相机装置的情况下,引导部220通过对快门速度、光圈值、ISO灵敏度、曝光校正等的所有设定详尽地进行变更,从而即使在识别对象处于相同状态的情况下,也能够提高学习数据的多样性。
此外,本实施方式的引导部220对与使用到当前时刻为止收集到的学习数据实施学习后的识别器的识别精度有关的向操作者的提示进行控制(S1115)。引导部220也可以使输出部110、显示装置30显示学习·评价部230计算出的识别器的识别精度。
例如,在识别任务为手姿势辨识的情况下,本实施方式的引导部220也可以通过图表显示当前时刻的准确度、F值等的标量值、或者它们的迁移。
图13是示出本实施方式的识别精度的迁移的图表的一例。在图13所示的一例的情况下,引导部220使识别器的准确度的迁移按时序显示。此外,此时,本实施方式的引导部220也可以将在各时刻收集到的学习数据与识别精度建立对应地显示。在图13所示的一例中,在第二次Scissors的拍摄阶段,使拍摄到的图像与准确度建立对应地显示。此外,示出了该图像包含上述线型的引导对象物IOa以及IOb,并在由引导部220进行的视觉上的引导之下拍摄到该图像。
这样,根据本实施方式的引导部220,能够与识别器的识别精度一起可视化地提示收集到的学习数据,识别器开发的初学者即操作者能够直观地掌握什么样的学习数据有助于精度提升,并学会学习数据收集的重要性以及要领。
另外,图13所示的图表只不过是一例,引导部220可以通过各种方式来显示识别器的识别精度。引导部220例如也可以使输出部110、显示装置30显示混淆矩阵等。
此外,本实施方式的引导部220能够使输出部110实时显示由实施了基于收集到的学习数据的学习的识别器进行的识别对象的识别结果(S1116)。
此时,嵌入式设备10的识别执行部130经由通信部160获取根据信息处理装置20进行了学习的识别器,使用该识别器对传感器120当前获取到的学习数据执行识别处理。本实施方式的引导部220可以获取识别执行部130的识别处理的结果,并使输出部110显示该结果。
根据本实施方式的引导部220的上述控制,操作者能够实时掌握识别结果,伴随着学习数据的收集,直观地体验精度提升等。
以上,对本实施方式的信息处理系统的处理的流程详细进行了说明。本实施方式的信息处理系统可以反复执行上述的步骤S1103~S1109、S1111~S1116的处理,直到满足结束条件为止。
根据本实施方式的信息处理系统的上述处理,能够有效地引导由操作者进行的优选的学习数据的收集,此外,能够使识别器开发的初学者即操作者学会识别器开发中的学习数据收集的要领。
另外,使用图7所说明的流程图只不过是一例,未必需要按照流程图所记载的顺序按时序处理上述的信息处理系统的各步骤。例如,可以按与流程图所记载的顺序不同的顺序处理与信息处理系统的处理有关的各步骤,也可以并行处理。
例如,在上述,将在判断为本实施方式的引导部220未确保学习数据的多样性的情况下执行使用引导对象物等的学习数据收集引导的情况作为示例进行了描述,但本实施方式的引导部220也可以从学习数据收集的开始时刻起实施上述那样的引导。
在上述,将本实施方式的操作者为识别器开发的初学者并使该初学者学会学习数据收集的要领作为一例进行了描述,但本实施方式的操作者并不限定于该示例。本实施方式的操作者例如有时也是不从事识别器开发(不以学会与识别器开发有关的知识为目的)的、为了学习数据收集的协助者。
在这样的情况下,未必需要让该协助者知道学习数据收集的重要性,也假定希望将学习数据的收集效率本身优先的情况。
因此,在上述那样的情况下,引导部220也可以省略与学习数据收集的重要性等有关的导引的一部分,而从最初实施基于引导对象物等的引导。
根据本实施方式的引导部220的上述控制,即使在操作者是不具有与识别器开发有关的知识的、且不以学会该知识为目的的协助者等的情况下,也能够自然地引导该协助者的行为,有效地收集识别器开发所优选的学习数据。
<<1.6.变形例>>
接下来,对本公开的一实施方式的变形例进行描述。在上述,以识别任务为手姿势辨识的情况为主要示例进行了说明,但本公开的技术思想的应用范围并不限定于该示例。本公开的技术思想能够应用于各种识别任务。
图14是示出本实施方式的嵌入式设备10、传感器120以及识别任务的组合例的图。
如图14所示,例如,本实施方式的嵌入式设备10也可以是手表型等的可穿戴设备。在该情况下,嵌入式设备10的传感器120例如也可以具备IMU等。根据上述构成,除了上述的手姿势辨识之外,还能够通过学习生成与手势辨识、操作者的行动辨识等有关的识别器。
此外,例如,本实施方式的嵌入式设备10也可以是智能扬声器。在该情况下,嵌入式设备10的传感器120例如也可以具备麦克风。根据上述构成,能够通过学习生成与特定词语检测、说话人辨识或语音转文本(Speech-to-Text)等有关的识别器。
此外,例如,本实施方式的嵌入式设备10也可以是用于健康护理的各种可穿戴设备。在该情况下,嵌入式设备10的传感器120例如也可以具备IMU、脉搏传感器、心电图仪等。根据上述构成,还能够通过学习生成与心率估算、消耗能量估算等有关的估算器。这样,本公开的技术思想并不限于手姿势辨识等的识别(classification),还能够应用于递归(regression)。
此外,在本实施方式中,根据作为对象的识别任务,引导方法也可适当变形。例如,如图15所示,假定嵌入式设备10是佩戴在操作者的腕部UH的手表型可穿戴设备,并通过传感器120具备的IMU来检测使画面朝向操作者的面部的手势的情况。
在该情况下,如图16所示,嵌入式设备10的输出部110也可以由操作者U1佩戴的、与虚拟现实或者增强现实对应的眼镜设备110a和触觉提示设备110b构成。
此时,本实施方式的引导部220在图7所示的步骤S1112中,首先,使眼镜设备110a显示讲师人物形象AV1。此外,引导部220对于使手表型可穿戴设备即嵌入式设备10的画面朝向面部的手势、和与该手势似是而非的动作的双方,使讲师人物形象AV1例示具体的手的动作方式,以便能够获取多种学习数据。在图16所示的一例的情况下,引导部220通过声音SO2例示手的动作方式。
此外,此时,引导部220例如通过使触觉提示设备110b提示牵引力来进行模拟地牵拉操作者U1的手等的控制,以使学习数据产生多样性。根据本实施方式的引导部220的上述控制,通过触觉提示等,能够在感官上对操作者U1示教什么样的手的动作方式会对学习数据带来多样性。
接下来,对于本公开的技术思想的向实用性识别器开发的转用,描述示例。本实施方式的引导部220的动作能够进行各种扩充,可以重新定义图7所示的各步骤的处理内容。通过利用上述那样的扩充性,能够将在教程中所生成的识别器转用于这之后的实用性识别器开发。
在该情况下,例如,如图17所示,本实施方式的嵌入式设备10也可以进一步具备报酬提供部170。以下,对教程之后的向实用性识别开发的转用示出具体例。
首先,操作者按照图7所示的流程图完成教程。接下来,操作者再一次按照上述流程图进行实用性识别器开发。此时,以如下那样,重新定义步骤S1101、S1103以及S1112中的处理。
首先,对步骤S1101中的处理进行说明。在步骤S1101中,引导部220检索识别器保存部260,使开发UI2显示在教程中所生成的识别器的一览表。在此,在操作者选择出任一识别器的情况下,学习·评价部230移用该识别器的权重等的参数,而能够进行转移学习。
接下来,对步骤S1103中的处理进行说明。在使用图7的上述说明中,识别器开发是以教程为目的的开发,例如,对在给予将识别对象限定为操作者的单手等的约束的基础之上收集学习数据的情况进行了描述。另一方面,在本例中,与上述教程不同,可以从各种环境、各种数据提供者收集学习数据。
例如,假定想要使在教程中所生成的手姿势辨识器的精度更加提升的情况。在该情况下,例如,如图18所示,使嵌入式设备10作为投影仪来实现,并设置在市区、活动会场等的公共空间。此外,例如,在数字标牌中招募数据提供者,进行学习数据的收集。
在上述情况下,在步骤S1112中,引导部220为了收集规定的学习数据,而通过控制投影仪即嵌入式设备10来引导数据提供者U2。此时,引导部220也可以基于传感器120收集到的各种信息来测量位置信息、温度、湿度等的环境信息,或者通过识别执行部130来识别数据提供者U2的性别、年龄、爱好等的属性。本实施方式的引导部220能够基于上述那样的测量和识别的结果来进行与数据收集时的背景、数据提供者相对应的最佳引导。
例如,在图16所示的情况下,在将嵌入式设备10的设置场所为活动会场识别为背景,并识别到数据提供者U2为男性的情况下,引导部220使嵌入式设备10的输出部110在屏幕上投影女性偶像的人物形象AV2。
接下来,引导部220进行控制,以使女性偶像人物形象AV2进行图2所示的Half-heart的手姿势,此外,对数据提供者U2进行催促,以使与女性偶像人物形象AV2的手对准而进行Half-heart的手姿势。此时,嵌入式设备10能够通过传感器120具备的相机来拍摄数据提供者U2的Half-heart的手姿势,并作为学习数据D1进行收集。
根据本实施方式的引导部220的上述控制,能够在各种环境中收集由各种数据提供者进行的学习数据,并能够更加提升在教程等中所生成的识别器的泛化性能。
此外,引导部220也可以控制报酬提供部170,并向数据提供者U2提供报酬,以使数据提供者U2更加积极地协助学习数据收集。
例如,如图16所示的一例那样,在将与Half-heart的手姿势有关的图像作为学习数据进行收集的情况下,引导部220也可以控制报酬提供部170,将与女性偶像的人物形象AV2一起形成有心形的合影照作为报酬RW提供给数据提供者U2。
另外,本实施方式的向数据提供者的提供,并不限定于上述那样的图像,也可以是糕点等的食品、商品券等的实物纸币、虚拟货币等的数字货币、音乐、视频等的多媒体内容。
以上,列举具体例对本公开的一实施方式的变形例进行了说明。如上述那样,本公开的一实施方式的信息处理系统根据规格、运用能够灵活变形。
<2.硬件构成例>
接下来,对本公开的一实施方式的信息处理装置20的硬件构成例进行说明。图19是示出本公开的一实施方式的信息处理装置20的硬件构成例的框图。参照图19,信息处理装置20例如具有处理器871、ROM872、RAM873、主机总线874、桥875、外部总线876、接口877、输入装置878、输出装置879、存储器880、驱动器881、连接端口882和通信装置883。另外,在此所示的硬件构成例是一例,也可以省略构成要素的一部分。此外,还可以进一步包含在此所示的构成要素以外的构成要素。
(处理器871)
处理器871例如作为运算处理装置或控制装置发挥功能,基于记录在ROM872、RAM873、存储器880或可移动记录介质901的各种程序来控制各构成要素的整体动作或其一部分。
(ROM872、RAM873)
ROM872是储存读入于处理器871的程序、运算所使用的数据等的单元。在RAM873中,例如临时或持久地储存读入于处理器871的程序、执行该程序时适当进行变化的各种参数等。
(主机总线874、桥875、外部总线876、接口877)
处理器871、ROM872、RAM873例如经由能够进行快速的数据传输的主机总线874而相互连接。另一方面,主机总线874例如经由桥875连接于数据传输速度比较低速的外部总线876。此外,外部总线876经由接口877与各种构成要素连接。
(输入装置878)
例如,将鼠标、键盘、触摸屏、按钮、开关以及手柄等使用于输入装置878。进一步,作为输入装置878,有时也可使用能够利用红外线、其他电波来发送控制信号的远程控制器(以下,遥控器)。此外,输入装置878包含麦克风等的声音输入装置。
(输出装置879)
输出装置879例如是能够在视觉上或听觉上对利用者通知CRT(Cathode RayTube,阴极射线显像管)、LCD或有机EL等的显示器装置、扬声器、耳机等的音频输出装置、打印机、移动电话或传真机等、获取到的信息。此外,本公开的输出装置879包含能够输出触觉刺激的各种振动元件。
(存储器880)
存储器880是用于储存各种数据的装置。作为存储器880,例如可使用硬盘驱动器(HDD)等的磁存储元件、半导体存储元件、光存储元件或光磁存储元件等。
(驱动器881)
驱动器881例如是读出记录于磁盘、光盘、光磁盘或半导体储存器等的可移动记录介质901的信息,或将信息写入可移动记录介质901的装置。
(可移动记录介质901)
可移动记录介质901例如是DVD介质、蓝光(注册商标)介质、HDDVD介质、各种半导体存储介质等。当然,可移动记录介质901例如也可以是搭载有非接触式IC芯片的IC卡或电子设备等。
(连接端口882)
连接端口882例如是用于连接USB(Universal Serial Bus,通用串行总线)端口、IEEE1394端口、SCSI(Small Computer System Interface,小型计算机系统接口)、RS-232C端口、或光音频端子等那样的外部连接设备902的端口。
(外部连接设备902)
外部连接设备902例如是打印机、便携式音乐播放器、数码相机、数码摄像机或IC记录器等。
(通信装置883)
通信装置883是用于与网络连接的通信元件,例如是有线或无线LAN、蓝牙(注册商标)、或WUSB(Wireless USB,无线USB)用的通信卡、光通信用的路由器、ADSL(AsymmetricDigital Subscriber Line,非对称数字用户线)用的路由器、或各种通信用的调制解调器等。
<3.总结>
如以上所说明的那样,本公开的一实施方式的信息处理装置20具有引导用于识别器的学习的学习数据的收集的引导部220。此外,本公开的一实施方式的引导部220其特征之一在于,动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。根据该构成,能够引导由操作者进行的优选的学习数据的收集。
以上,参考附图对本公开的优选的实施方式详细进行了说明,但本公开的技术范围并不限定于该示例。只要是具有本公开的技术领域的一般知识的人员,在本权利要求所记载的技术思想的范畴内,都可想到各种变更例或修改例,并应当理解,它们当然归入本公开的技术范围中。
此外,本说明书所记载的效果只不过是说明性或例示性的效果,而并不是限定性的。也就是说,与上述效果一起或代替上述效果,本公开的技术可起到根据本说明书的记载让本领域技术人员清楚了解其他的效果。
此外,还能够制作使内置于计算机的CPU、ROM以及RAM等的硬件发挥与信息处理装置20具有的构成同等的功能的程序,还可提供记录有该程序的、计算机能够读取的非短暂性的记录介质。
另外,如下构成也归入本公开的技术范围中。
(1)
一种信息处理装置,
具备引导部,所述引导部引导学习数据的收集,所述学习数据用于识别器的学习,
所述引导部动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
(2)
根据所述(1)所记载的信息处理装置,其中,
所述引导部对所述操作者给予与所述学习数据的收集有关的约束,并动态地引导由所述操作者进行的所述数据收集,以便确保在所述约束的范围内所述感测数据的多样性。
(3)
根据所述(2)所记载的信息处理装置,其中,
所述引导部判定是否对所述识别器的泛化确保了充分的所述多样性,在未确保所述多样性的情况下,引导由所述操作者进行的所述数据收集,以便收集假定为不足的模式的所述感测数据。
(4)
根据所述(2)或(3)所记载的信息处理装置,其中,
所述引导部判定收集到的所述感测数据是否遵守了所述约束,在未遵守所述约束的情况下,对所述操作者通知未遵守所述约束的警告。
(5)
根据所述(2)~(4)中任一项所记载的信息处理装置,其中,
所述操作者是与所述识别器的学习有关的初学者,
所述引导部在与所述学习数据的收集有关的教程中动态地引导由所述初学者进行的所述数据收集。
(6)
根据所述(2)~(5)中任一项所记载的信息处理装置,其中,
所述约束包含将所述识别对象限定为所述操作者的身体的一部分或行为的约束。
(7)
根据所述(1)~(6)中任一项所记载的信息处理装置,其中,
所述引导部控制对所述操作者的提示,所述提示与识别精度有关,所述识别精度是使用收集到的所述感测数据实施学习后的所述识别器的识别精度。
(8)
根据所述(7)所记载的信息处理装置,其中,
所述引导部提示所述识别器的识别精度的迁移。
(9)
根据所述(8)所记载的信息处理装置,其中,
所述引导部使收集到的所述感测数据与所述识别器的识别精度一起按时序进行提示。
(10)
根据所述(1)~(9)中任一项所记载的信息处理装置,其中,
所述引导部使所述识别对象的识别结果实时显示,所述识别结果为基于使用收集到的所述感测数据实施学习后的所述识别器进行的所述识别对象的识别结果。
(11)
根据所述(1)~(10)中任一项所记载的信息处理装置,其中,
所述引导部使所收集的所述感测数据可视化并对所述操作者实时地显示,进行视觉上的引导,以便确保所述多样性。
(12)
根据所述(11)所记载的信息处理装置,其中,
所述识别对象包含身体姿势或手势,
所述引导部使引导对象物显示,并向所述操作者指示针对所述引导对象物的规定的动作,所述引导对象物用于引导对确保所述多样性而言有效的所述感测数据的收集。
(13)
根据所述(1)~(12)中任一项所记载的信息处理装置,其中,
所述引导部控制对所述操作者的报酬的提供。
(14)
根据所述(1)~(13)中任一项所记载的信息处理装置,其中,
进一步具备基于所述引导部的控制来控制与所述数据收集的导引有关的用户接口的输出控制部。
(15)
根据所述(14)所记载的信息处理装置,其中,
所述输出控制部进一步控制用于所述操作者进行所述识别器的设计的用户接口。
(16)
根据所述(1)~(15)中任一项所记载的信息处理装置,其中,
进一步具备学习部,所述学习部用于使用收集到的所述感测数据来进行与所述识别器有关的学习。
(17)
一种信息处理方法,
包含处理器对识别器对学习数据的收集进行引导,所述学习数据用于识别器的学习,
所述引导进一步包含动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
(18)
一种程序,用于使计算机作为信息处理装置发挥功能,
其中,
所述信息处理装置具备引导部,所述引导部引导学习数据的收集,所述学习数据用于识别器的学习,
所述引导部动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
附图标记说明
10…嵌入式设备;110…输出部;120…传感器;130…识别执行部;140…驱动部;150…学习数据收集部;170…报酬提供部;20…信息处理装置;210…输出控制部;220…引导部;222…标记部;224…数据解析部;230…学习·评价部;240…学习数据集保存部;250…评价数据集保存部;260…识别器保存部;30…显示装置。

Claims (18)

1.一种信息处理装置,其中,
所述信息处理装置具备引导部,所述引导部引导学习数据的收集,所述学习数据用于识别器的学习,
所述引导部动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
2.根据权利要求1所述的信息处理装置,其中,
所述引导部对所述操作者给予与所述学习数据的收集有关的约束,并动态地引导由所述操作者进行的所述数据收集,以便确保在所述约束的范围内所述感测数据的多样性。
3.根据权利要求2所述的信息处理装置,其中,
所述引导部判定是否对所述识别器的泛化确保了充分的所述多样性,在未确保所述多样性的情况下,引导由所述操作者进行的所述数据收集,以便收集假定为不足的模式的所述感测数据。
4.根据权利要求2所述的信息处理装置,其中,
所述引导部判定收集到的所述感测数据是否遵守了所述约束,在未遵守所述约束的情况下,对所述操作者通知未遵守所述约束的警告。
5.根据权利要求2所述的信息处理装置,其中,
所述操作者是与所述识别器的学习有关的初学者,
所述引导部在与所述学习数据的收集有关的教程中动态地引导由所述初学者进行的所述数据收集。
6.根据权利要求2所述的信息处理装置,其中,
所述约束包含将所述识别对象限定为所述操作者的身体的一部分或行为的约束。
7.根据权利要求1所述的信息处理装置,其中,
所述引导部控制对所述操作者的提示,所述提示与识别精度有关,所述识别精度是使用收集到的所述感测数据实施学习后的所述识别器的识别精度。
8.根据权利要求7所述的信息处理装置,其中,
所述引导部提示所述识别器的识别精度的迁移。
9.根据权利要求8所述的信息处理装置,其中,
所述引导部使收集到的所述感测数据与所述识别器的识别精度一起按时序进行提示。
10.根据权利要求1所述的信息处理装置,其中,
所述引导部使所述识别对象的识别结果实时显示,所述识别结果为基于使用收集到的所述感测数据实施学习后的所述识别器进行的所述识别对象的识别结果。
11.根据权利要求1所述的信息处理装置,其中,
所述引导部使所收集的所述感测数据可视化并对所述操作者实时地显示,进行视觉上的引导,以便确保所述多样性。
12.根据权利要求11所述的信息处理装置,其中,
所述识别对象包含身体姿势或手势,
所述引导部使引导对象物显示,并向所述操作者指示针对所述引导对象物的规定的动作,所述引导对象物用于引导对确保所述多样性而言有效的所述感测数据的收集。
13.根据权利要求1所述的信息处理装置,其中,
所述引导部控制对所述操作者的报酬的提供。
14.根据权利要求1所述的信息处理装置,其中,
所述信息处理装置还具备输出控制部,所述输出控制部用于基于所述引导部的控制来控制与所述数据收集的导引有关的用户接口。
15.根据权利要求14所述的信息处理装置,其中,
所述输出控制部进一步控制用于所述操作者进行所述识别器的设计的用户接口。
16.根据权利要求1所述的信息处理装置,其中,
所述信息处理装置还具备学习部,所述学习部用于使用收集到的所述感测数据来进行与所述识别器有关的学习。
17.一种信息处理方法,其中,
所述信息处理方法包含处理器对学习数据的收集进行引导,所述学习数据用于识别器的学习,
所述引导进一步包含动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
18.一种程序,其中,
所述程序用于使计算机作为信息处理装置发挥功能,
所述信息处理装置具备引导部,所述引导部引导学习数据的收集,所述学习数据用于识别器的学习,
所述引导部动态地引导由操作者进行的数据收集,以便确保与识别对象有关的感测数据的多样性。
CN201980063660.5A 2018-10-04 2019-09-26 信息处理装置、信息处理方法以及程序 Withdrawn CN112789630A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018188960 2018-10-04
JP2018-188960 2018-10-04
PCT/JP2019/037849 WO2020071233A1 (ja) 2018-10-04 2019-09-26 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN112789630A true CN112789630A (zh) 2021-05-11

Family

ID=70055037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063660.5A Withdrawn CN112789630A (zh) 2018-10-04 2019-09-26 信息处理装置、信息处理方法以及程序

Country Status (2)

Country Link
CN (1) CN112789630A (zh)
WO (1) WO2020071233A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックIpマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
JP2016029568A (ja) * 2014-07-23 2016-03-03 国立大学法人電気通信大学 線形識別器、大規模一般物体認識装置、電子計算機、モバイル端末、データ処理装置、および画像認識システム
JP6708204B2 (ja) * 2015-03-23 2020-06-10 日本電気株式会社 精度推定モデル生成システムおよび精度推定システム

Also Published As

Publication number Publication date
WO2020071233A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
CN105045398B (zh) 一种基于手势识别的虚拟现实交互设备
KR101904889B1 (ko) 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
CN110646938B (zh) 近眼显示器系统
TWI411935B (zh) 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
JP2022525829A (ja) 神経筋データに基づく制御スキームのためのシステムおよび方法
CN109844777A (zh) 信息处理装置和信息处理方法
EP2960630A2 (en) Eyewear-type terminal and method for controlling the same
McIntee A Task Model of Free-Space Movement-Based Gestures
CN108292448A (zh) 信息处理装置、信息处理方法和程序
US20180196503A1 (en) Information processing device, information processing method, and program
US20220291753A1 (en) Spatial Gesture Recognition using Inputs from Different Devices to Control a Computing Device
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
KR102241414B1 (ko) 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법
CN205080499U (zh) 一种基于手势识别的虚拟现实交互设备
CN106648068A (zh) 一种双手三维动态手势识别方法
JP6841232B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107112018A (zh) 信息处理装置、信息处理方法和程序
CN116061210A (zh) 信息处理装置、信息处理方法和计算机存储介质
WO2020153038A1 (ja) 情報処理装置、および情報処理方法
CN205080498U (zh) 一种具有3d摄像组件的虚拟现实交互设备
JP7022431B2 (ja) 学習支援システム、プログラム
CN112789630A (zh) 信息处理装置、信息处理方法以及程序
US20220138625A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210511