CN111278611A - 信息处理设备、信息处理方法和程序 - Google Patents
信息处理设备、信息处理方法和程序 Download PDFInfo
- Publication number
- CN111278611A CN111278611A CN201880069237.1A CN201880069237A CN111278611A CN 111278611 A CN111278611 A CN 111278611A CN 201880069237 A CN201880069237 A CN 201880069237A CN 111278611 A CN111278611 A CN 111278611A
- Authority
- CN
- China
- Prior art keywords
- moving body
- information processing
- autonomous
- action
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 113
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000009471 action Effects 0.000 claims abstract description 242
- 230000033001 locomotion Effects 0.000 claims description 247
- 230000006870 function Effects 0.000 claims description 76
- 230000010391 action planning Effects 0.000 claims description 62
- 238000005452 bending Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 230000002040 relaxant effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 63
- 238000004891 communication Methods 0.000 description 27
- 210000003128 head Anatomy 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 19
- 238000012423 maintenance Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 7
- 210000002414 leg Anatomy 0.000 description 7
- 230000008451 emotion Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 230000009975 flexible effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
- B25J18/002—Arms comprising beam bending compensation means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1638—Programme controls characterised by the control loop compensation for arm bending/inertia, pay load weight/inertia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Toys (AREA)
Abstract
[问题]为了更容易地增加自主移动体的操作模式。[解决方案]提供了一种信息处理设备,包括控制驱动单元的操作的操作控制单元。所述操作控制单元:基于教导操作,生成控制序列数据,用于使自主移动体中的驱动单元执行对应于教导操作的自主操作;并且基于由情况估计确定的动作计划,使驱动单元执行对应于控制序列数据的自主操作。还提供了一种信息处理方法,其包括控制驱动单元的操作的处理器。所述控制还包括:基于教导操作,生成控制序列数据,用于使自主移动体中的驱动单元执行对应于教导操作的自主操作;并且基于由情况估计确定的动作计划,使驱动单元根据控制序列数据执行自主操作。
Description
技术领域
本公开涉及一种信息处理设备、一种信息处理方法和一种程序。
背景技术
近年来,已经开发了具有学习功能的各种装置。上述装置包括自主移动体,例如,基于估计的情况执行自主运动的机器人。例如,专利文献1公开了一种根据情况执行自主运动和情感表达的腿型移动机器人。
引文列表
专利文献
专利文献1:日本专利申请公开号2003-71763
发明内容
本发明要解决的问题
顺便提及,专利文献1中描述的自主移动体的移动是基于关于预先设置的关节部分的弯曲和拉伸的控制信息等来实现的。然而,也期望诸如用户希望自主移动体学习新的运动等需求,但是在希望使自主移动体执行具有多个关节部分的复杂协作运动的情况下,对于没有高级技术知识的用户来说则难以设计运动。
因此,本公开提出了一种能够容易地增加自主移动体的运动模式的新型改进的信息处理设备、信息处理方法和程序。
问题的解决方案
根据本公开,提供了一种信息处理设备,包括:操作控制单元,其被配置为控制驱动单元的操作。所述操作控制单元基于教导运动生成控制序列数据,用于使自主移动体的驱动单元执行对应于教导运动的自主运动,并且使驱动单元基于通过情况估计确定的动作计划执行对应于控制序列数据的自主运动。
此外,根据本公开,提供了一种信息处理方法,包括:由处理器控制驱动单元的操作。所述控制还包括基于教导运动生成控制序列数据,用于使自主移动体的驱动单元执行对应于教导运动的自主运动,并且使驱动单元基于通过情况估计确定的动作计划根据控制序列数据执行自主运动。
此外,根据本公开,提供了一种程序,用于促使计算机用作信息处理设备,包括:操作控制单元,其被配置为控制驱动单元的操作。所述操作控制单元基于教导运动生成控制序列数据,用于使自主移动体的驱动单元执行对应于教导运动的自主运动,并且使驱动单元基于通过情况估计确定的动作计划根据控制序列数据执行自主运动。
本发明的效果
如上所述,根据本公开,可以更容易地增加自主移动体的移动模式。
注意,上面的效果不一定受限,除了上面的效果或者代替上面的效果,可以显示本说明书中描述的任何效果或者可以从本说明书理解的其他效果。
附图说明
图1是示出根据本公开的实施方式的自主移动体的硬件配置示例的示图;
图2是根据本公开的实施方式的自主移动体中包括的致动器的配置示例;
图3是用于说明根据本公开的实施方式的自主移动体中包括的致动器的操作的示图;
图4是用于说明根据本公开的实施方式的自主移动体中包括的致动器的操作的示图;
图5是用于说明根据本公开的实施方式的自主移动体中包括的显示器的功能的示图;
图6是示出根据本公开的实施方式的自主移动体的移动示例的示图;
图7是示出根据本公开的实施方式的系统配置的示例的示图;
图8是示出根据本公开的实施方式的自主移动体的功能配置示例的示图;
图9是示出根据本公开的实施方式的信息处理服务器的功能配置示例的示图;
图10是用于说明根据本公开的第一实施方式的使用用户接口的动作的教导的示图;
图11是用于说明根据该实施方式的关节部分的物理弯曲和拉伸运动的教导的示图;
图12是用于说明与根据实施方式的移动体的成像运动相关的教导的示图;
图13是用于说明根据实施方式的基于运动范围的修剪的示图;
图14是用于说明根据实施方式的教导的示图,其中,指定了与多个自主移动体相关的相对位置;
图15是用于说明根据实施方式的控制序列数据的编辑的示图;
图16是用于说明根据实施方式的诱因情况的示图;
图17是用于说明根据实施方式的诱因情况的示图;
图18是用于说明根据该实施方式的自主移动体中控制序列数据的传输的示图;
图19是示出根据该实施方式的自主移动体10的控制流的流程图,该自主移动体10与用户通过关节部分的物理弯曲和拉伸运动进行的教导相关;
图20是示出根据实施方式的自主移动体的控制流的流程图,其中,移动体的成像运动作为教导;
图21是用于说明根据本公开的第二实施方式的基于是否检测到用户的动作计划的示图;
图22是用于说明根据实施方式的优先降低功耗的动作计划的示图;
图23是示出根据实施方式的实现自我保护期望和批准期望的动作计划的示例的示图;
图24是用于说明根据实施方式的基于用户和自主移动体之间的距离的动作计划的示图;
图25是示出根据实施方式的基于环境状态变化的动作计划的示例的示图;
图26是示出根据实施方式的基于环境状态变化的动作计划的示例的示图;
图27是示出根据实施方式的基于环境状态变化的动作计划的示例的示图;
图28是用于说明基于根据实施方式的自主移动体的控制模式的动作计划的示图;
图29是示出根据实施方式的动作计划的流程的流程图;
图30是用于说明根据本公开的第三实施方式的推荐动作的呈现的示图;
图31是描述根据实施方式的基于推荐动作的动作计划的概念图;
图32是用于说明根据实施方式的基于用户热情程度的推荐动作的呈现的示图;
图33是用于说明根据实施方式的控制序列数据的收集的示图;
图34是示出根据实施方式的客户端应用的用户接口的示例的示图;
图35是用于说明根据实施方式的对对象识别字典的额外记录的示图;
图36是用于说明根据该实施方式的对语音识别字典的额外记录的示图;
图37是用于说明根据实施方式的维护推荐功能的示图;
图38是示出根据实施方式的信息处理服务器的推荐动作的呈现流程的流程图;
图39是示出根据本公开的实施方式的信息处理服务器的硬件配置示例的示图。
具体实施方式
在下文中,将参考附图详细描述本公开的优选实施方式。注意,在本说明书和附图中,具有基本上相同功能配置的组件由相同的附图标记表示,并且省略了多余的说明。
注意,将按照以下顺序进行描述。
1.配置
1.1.自主移动体10的概述
1.2.自主移动体10的硬件配置示例
1.3.系统配置示例
1.4.自主移动体10的功能配置示例
1.5.信息处理服务器20的功能配置示例
2.第一实施方式
2.1.概述
2.2.控制序列数据的生成
2.3.控制流
3.第二实施方式
3.1.概述
3.2.动作计划的具体示例
3.3.控制流
4.第三实施方式
4.1.概述
4.2.推荐动作的呈现
4.3.识别字典的额外记录
4.4.维护推荐
4.5.控制流
5.硬件配置示例
6.结论
<1.配置>
<<1.1.自主移动体10的概述>>
首先,将描述根据本公开的实施方式的自主移动体10的概述。根据本公开的实施方式的自主移动体10是信息处理设备,其基于收集的传感器信息执行情况估计,并根据情况自主选择和执行各种移动。自主移动体10的一个特征是自主地执行对于每种情况都是最佳的估计运动,这不同于简单地根据用户的指令命令执行运动的机器人。
为此,根据情况,存在根据本公开的实施方式的自主移动体10有意不执行对应于用户指令的运动、或者执行不同于该运动的另一行为的情况。上述情况对应于例如在执行对应于用户指令的运动的情况下用户、自主移动体10或周围环境的安全受到损害的情况以及自主移动体10优先考虑另一期望(本能)(例如,充电处理)的情况。
此外,存在自主移动体10故意不服从用户的指令以试图引起用户的兴趣或者试图将自身的情绪和硬件状态传达给用户的情况。
然而,自主移动体10具有被用户喜爱的强烈期望(本能)。为此,自主移动体10重复执行对应于用户指令的运动,以取悦用户,并且学习用户喜欢的运动,并且即使在没有指令的情况下也自发地执行该运动。
如上所述,类似于包括人类的动物,根据本公开的实施方式的自主移动体10通过综合判断期望、情绪、周围环境等来确定和执行自主运动。在上述这一点上,自主移动体10明显不同于基于指令执行相应运动或过程的被动装置。
根据本公开的实施方式的自主移动体10可以是在空间中自主移动并执行各种运动的自主移动机器人。自主移动体10可以是例如自主移动机器人,其具有模仿人或动物(例如,狗)的形状并具有移动能力。此外,自主移动体10可以是例如车辆或具有与用户通信能力的其他装置。可以根据目的和作用适当地设计根据本公开的实施方式的自主移动体10的形状、能力和期望水平等。
<<1.2.自主移动体10的硬件配置示例>>
接下来,将描述根据本公开的实施方式的自主移动体10的硬件配置示例。注意,在下文中,描述了自主移动体10是狗形四足步行机器人的情况的示例。
图1是示出根据本公开的实施方式的自主移动体10的硬件配置示例的示图。如图1所示,自主移动体10是具有头部、躯干、四条腿和尾巴的狗形四足步行机器人。此外,自主移动体10在头部包括两个显示器510。
此外,自主移动体10包括各种传感器。自主移动体10包括例如麦克风515、相机520、飞行时间(ToF)传感器525、人体传感器530、距离测量传感器535、触摸传感器540、照度传感器545、鞋底按钮550和惯性传感器555。
(麦克风515)
麦克风515具有收集周围声音的功能。上述声音包括例如用户的话语和周围的环境声音。自主移动体10可以包括例如头上的四个麦克风。提供多个麦克风515,使得能够以高灵敏度收集在环境中产生的声音,并实现声源的定位。
(相机520)
相机520具有对用户和周围环境成像的功能。自主移动体10可以包括例如位于鼻尖和腰部的两个广角相机。在这种情况下,设置在鼻尖处的广角相机捕捉对应于自主移动体的前视野(即,狗的视野)的图像,并且腰部上的广角相机捕捉以上部为中心的周围区域的图像。例如,自主移动体10可以基于由设置在腰部的广角相机捕捉的图像来提取天花板的特征点等,并且可以实现即时定位与地图构建(SLAM)。
(ToF传感器525)
ToF传感器525具有检测与存在于头部前方的物体的距离的功能。ToF传感器525设置在头部的鼻尖。ToF传感器525使得能够高精度地检测距各种物体的距离,并根据相对于包括用户、障碍物等的物体的相对位置来实现运动。
(人体传感器530)
人体传感器530具有检测用户、用户饲养的宠物等的位置的功能。例如,人体传感器530设置在胸部上。通过检测前方存在的移动体,人体传感器530可以实现移动体的各种运动,例如,对应于诸如兴趣、恐惧和惊讶等情绪的运动。
(距离测量传感器535)
距离测量传感器535具有获取自主移动体10前方的地板表面的情况的功能。例如,距离测量传感器535设置在胸部上。距离测量传感器535使得能够高精度地检测与存在于自主移动体10前方的地板表面上的物体的距离,并且实现与物体的相对位置相对应的运动。
(触摸传感器540)
触摸传感器540具有检测用户接触的功能。触摸传感器540设置在用户可能触摸自主移动体10的位置,例如,头顶、下巴下方或背部。触摸传感器540可以是例如静电电容型或压敏型触摸传感器。触摸传感器540使得能够检测诸如用户的触摸、轻抚、敲击和按压之类的接触动作,并执行对应于该接触动作的运动。
(照度传感器545)
照度传感器545检测自主移动体10所处的空间的照度。例如,照度传感器545可以设置在头部后面的尾部的底部等。照度传感器545使得能够检测周围的亮度,并执行对应于该亮度的运动。
(鞋底按钮550)
鞋底按钮550具有检测自主移动体10的腿的底面是否与地板接触的功能。为此,鞋底按钮550分别设置在对应于四条腿的爪子的位置。鞋底按钮550使得能够检测自主移动体10和地板表面之间的接触或不接触,并且例如使得能够把握自主移动体10被用户举起等。
(惯性传感器555)
惯性传感器555是六轴传感器,其检测诸如头部和躯干的速度、加速度以及旋转等物理量。即,惯性传感器555检测X轴、Y轴和Z轴的加速度和角速度。惯性传感器555单独设置在头部和躯干上。惯性传感器555使得能够高精度地检测自主移动体10的头部和躯干的运动,并根据情况实现运动控制。
上面已经描述了根据本公开的实施方式的自主移动体10中包括的传感器的示例。注意,参考图1描述的上述配置仅仅是示例,并且可以包括在自主移动体10中的传感器的配置不限于这样的示例。除了上述配置之外,自主移动体10还可以包括例如各种通信装置等,包括温度传感器、地磁传感器和全球导航卫星系统(GNSS)信号接收器。自主移动体10中包括的传感器的配置可以根据规范和操作灵活地改变。
随后,将描述根据本公开的实施方式的自主移动体10的关节部分的配置示例。图2是根据本公开的实施方式的自主移动体10中包括的致动器570的配置示例。除了图2所示的旋转点之外,根据本公开的实施方式的自主移动体10总共具有22个旋转自由度,两个用于耳朵和尾巴,一个用于嘴。
例如,自主移动体10可以通过在头部具有三个自由度来实现点头和头部倾斜运动。此外,通过由设置在腰部的致动器570再现腰部的摆动运动,自主移动体10可以实现更接近真实狗的自然且灵活的运动。
注意,根据本公开的实施方式的自主移动体10可以通过组合例如单轴致动器和双轴致动器来实现上述22个旋转自由度。例如,单轴致动器可以分别用于腿部的肘部和膝部,而双轴致动器可以分别用于肩部和大腿。
图3和图4是用于说明根据本公开的实施方式的自主移动体10中包括的致动器570的操作的示图。参考图3,致动器570可以通过用马达575旋转输出齿轮来在任何旋转位置和旋转速度下驱动可移动臂590。
参考图4,根据本公开的实施方式的致动器570包括后盖571、齿轮箱盖572、控制板573、齿轮箱基座574、马达575、第一齿轮576、第二齿轮577、输出齿轮578、检测磁体579和两个轴承580。
根据本公开的实施方式的致动器570可以是例如磁自旋阀大磁阻(svGMR)。通过控制板573基于主处理器的控制旋转马达575,动力经由第一齿轮576和第二齿轮577传递到输出齿轮578,并且可以驱动可移动臂590。
此外,通过利用设置在控制板573上的位置传感器检测与输出齿轮578同步旋转的检测磁体579的旋转角度,可以高精度地检测可移动臂590的旋转角度,即旋转位置。
注意,磁性svGMR是非接触型的,因此耐久性优异,并且当在GMR饱和区域中使用时,具有受由于检测磁体579和位置传感器的距离波动引起的信号波动影响较小的优点。
上面已经描述了根据本公开的实施方式的自主移动体10中包括的致动器570的配置示例。根据上述配置,可以高度精确地控制包括在自主移动体10中的关节部分的弯曲和拉伸运动,并且精确地检测关节部分的旋转位置。
随后,将参考图5描述根据本公开的实施方式的自主移动体10中包括的显示器510的功能。图5是用于说明根据本公开的实施方式的自主移动体10中包括的显示器510的功能的示图。
(显示器510)
显示器510具有视觉上表达自主移动体10的眼睛运动和情绪的功能。如图5所示,显示器510可以根据情绪和运动来表达眼球、瞳孔和眼睑的运动。显示器510故意不显示与眼睛运动无关的字符、符号、图像等,这产生了接近真实动物(例如,狗)的自然运动。
此外,如图5所示,自主移动体10包括分别对应于右眼和左眼的两个显示器510r和510l。显示器510r和510l由例如两个独立的有机发光二极管(OLED)实现。与用一个平板显示器表达一双眼睛的情况或者用两个独立的平板显示器表达两只眼睛的情况相比,该OLED能够再现眼球的曲面,并且能够实现更自然的外观。
如上所述,显示器510r和510l使得能够以高精度和灵活性来表达如图5所示的自主移动体10的视线和情绪。此外,用户可以从显示器510上显示的眼球运动中直观地掌握自主移动体10的状态。
上面已经描述了根据本公开的实施方式的自主移动体10的硬件配置示例。根据上述配置,如图6所示,通过以高精度和灵活性控制自主移动体10的关节部分和眼球的运动,可以实现更接近真实生物的运动和情感表达。注意,虽然图6是示出根据本公开的实施方式的自主移动体10的移动示例的示图,但是图6以简化的方式示出了自主移动体10的外部结构,以便在关注自主移动体10的关节部分和眼球的运动的同时进行描述。类似地,自主移动体10的外部结构可以在以下描述中以简化的方式示出,但是根据本公开的实施方式的自主移动体10的硬件配置和外部不限于附图中示出的示例,并且可以适当地设计。
<<1.3.系统配置示例>>
接下来,将描述根据本公开的实施方式的系统配置示例。图7是示出根据本公开的实施方式的系统配置的示例的示图。参考图7,根据本公开的实施方式的信息处理系统包括多个自主移动体10和信息处理服务器20。注意,在自主移动体10和信息处理服务器20之间以及自主移动体10之间连接,以便能够经由网络30相互通信。
(自主移动体10)
根据本公开的实施方式的自主移动体10是信息处理设备,其基于收集的传感器信息执行情况估计,并根据情况自主选择和执行各种移动。如上所述,根据本公开的实施方式的自主移动体10可以是例如具有模仿人或动物(例如,狗)的形状并具有移动能力的自主移动机器人。
(信息处理服务器20)
根据本公开的实施方式的信息处理服务器20是连接到多个自主移动体10的信息处理设备,并且具有从自主移动体10收集各种类型的信息的功能。例如,信息处理服务器20可以根据自主移动体10收集的传感器信息,执行与自主移动体10的硬件状态和用户对自主移动体10的热情程度相关的分析等。
此外,信息处理服务器20具有基于由自主移动体10估计的情况来呈现在该情况下由自主移动体10执行的推荐动作的功能。此时,信息处理服务器20可以向自主移动体10发送用于使自主移动体10实现推荐动作的控制序列数据。将分别详细描述提供给信息处理服务器20的上述功能。
(网络30)
网络30具有在自主移动体10和信息处理服务器20之间以及在自主移动体10之间进行连接的功能。网络30可以包括:诸如因特网等公共线路网络、电话线网络和卫星通信网络;各种局域网(LAN),包括以太网(注册商标);广域网(WAN);等。此外,网络30可以包括专用线路网络,例如,互联网协议虚拟专用网络(IP-VPN)。此外,网络30可以包括无线通信网络,例如,Wi-Fi(注册商标)或蓝牙(注册商标)。
上面已经描述了根据本公开的实施方式的系统配置示例。注意,以上参考图7描述的配置仅仅是示例,并且根据本公开的实施方式的信息处理系统的配置不限于该示例。例如,除了信息处理服务器20之外,自主移动体10还可以执行与各种外部装置的信息通信。上述外部装置可以包括例如发送天气、新闻和其他服务信息的服务器、用户拥有的各种信息处理终端、家用电器等。可以根据规范和操作灵活地修改根据本公开的实施方式的系统配置。
<<1.4.自主移动体10的功能配置示例>>
接下来,将描述根据本公开的实施方式的自主移动体10的功能配置示例。图8是示出根据本公开的实施方式的自主移动体10的功能配置示例的示图。参考图8,根据本公开的实施方式的自主移动体10包括输入单元110、识别单元120、学习单元130、动作计划单元140、操作控制单元150、驱动单元160、输出单元170和服务器通信单元180。
(输入单元110)
输入单元110具有收集关于用户和周围环境的各种信息的功能。输入单元110收集例如用户的话语和在用户周围产生的环境声音、关于用户和周围环境的图像信息以及各种传感器信息。为此,输入单元110包括图1所示的各种传感器。
(识别单元120)
识别单元120具有基于由输入单元110收集的各种信息执行与用户、周围环境和自主移动体10的状态相关的各种识别的功能。作为示例,识别单元120可以执行人类识别、面部表情和视线的识别、对象识别、颜色识别、形状识别、标记识别、障碍物识别、台阶识别、亮度识别等。
此外,识别单元120执行与用户语音相关的情感识别、单词理解、声源定位等。此外,识别单元120可以识别用户等的接触、周围温度、移动体的存在、自主移动体10的姿势等。
此外,识别单元120具有基于上述识别信息来估计和理解自主移动体10所处的周围环境和情况的功能。此时,识别单元120可以通过使用预先存储的环境知识来全面地执行情况估计。
(学习单元130)
学习单元130具有学习环境(情况)和动作以及该动作对环境的影响的功能。学习单元130通过使用例如机器学习算法(例如,深度学习)来实现上述学习。注意,学习单元130采用的学习算法不限于上述示例,并且可以适当地设计。
(动作计划单元140)
动作计划单元140具有基于由识别单元120估计的情况和由学习单元130学习的知识来计划将由自主移动体10执行的动作的功能。稍后将分别描述根据本公开的实施方式的动作计划单元140的功能的细节。
(操作控制单元150)
操作控制单元150具有基于动作计划单元140的动作计划来控制驱动单元160和输出单元170的操作的功能。操作控制单元150例如基于上述动作计划来执行致动器570的旋转控制、显示器510的显示控制、扬声器的声音输出控制等。将分别详细描述根据本公开的实施方式的操作控制单元150的功能的细节。
(驱动单元160)
驱动单元160具有基于操作控制单元150的控制来弯曲和拉伸自主移动体10中包括的多个关节部分的功能。更具体地,驱动单元160基于操作控制单元150的控制来驱动包括在每个关节部分中的致动器570。
(输出单元170)
输出单元170具有基于操作控制单元150的控制来输出视觉信息和声音信息的功能。为此,输出单元170包括显示器510和扬声器。
(服务器通信单元180)
服务器通信单元180具有与信息处理服务器20和其他自主移动体10进行信息通信的功能。例如,服务器通信单元180向信息处理服务器20发送关于由识别单元120识别的情况的信息等。此外,例如,服务器通信单元180从信息处理服务器20接收推荐动作和与推荐动作相关的控制序列数据。
上面已经描述了根据本公开的实施方式的自主移动体10的功能配置示例。注意,以上参考图8描述的配置仅仅是示例,并且根据本公开的实施方式的自主移动体10的功能配置不限于该示例。可以根据规范和操作灵活地修改根据本公开的实施方式的自主移动体10的功能配置。
<<1.5.信息处理服务器20的功能配置示例>>
接下来,将描述根据本公开的实施方式的信息处理服务器20的功能配置示例。图9是示出根据本公开的实施方式的信息处理服务器20的功能配置示例的示图。参考图9,根据本公开的实施方式的信息处理服务器20包括学习单元210、动作推荐单元220、分析单元230、存储单元240和终端通信单元250。
(学习单元210)
学习单元130具有学习环境(情况)和动作以及该动作对环境的影响的功能。此时,学习单元210具有基于从多个自主移动体10收集的动作历史进行学习的特征。即,学习单元210可以说是多个自主移动体10共有的集体智能。
(动作推荐单元220)
动作推荐单元220具有基于从自主移动体10接收的关于情况估计的信息,并且基于学习单元210所具有的作为集体智能的知识,确定推荐给自主移动体10的推荐动作的功能。此外,动作推荐单元220的一个特征是经由终端通信单元250向自主移动体发送用于使自主移动体10实现推荐动作的控制序列数据以及推荐动作。
在此处,上述控制序列数据是包括在自主移动体10中包括的按时间顺序的关节部分的旋转位置的变化、眼球表情和与声音输出相关的控制信号的信息。即,控制序列数据可以说是用于使自主移动体10实现任何给定运动(动作)的设置数据。
根据上述提供给根据本公开的实施方式的动作推荐单元220的功能,可以添加可以由自主移动体10在任何时间执行的新动作,使得用户对自主移动体10的兴趣能够具有持续吸引等。
(分析单元230)
分析单元230具有基于从自主移动体10接收的信息执行各种分析的功能。分析单元230可以基于例如从自主移动体10接收的动作历史和操作状态来分析致动器570等的状态。此外,分析单元230可以基于从自主移动体10接收的诸如用户接触和反应等信息,分析用户对自主移动体10的兴趣(热情程度)等。
(存储单元240)
存储单元240具有累积信息以供信息处理服务器20的每个配置使用的功能。例如,存储单元240存储从自主移动体10接收的与用户的情况和反应相关联的控制序列数据。此外,存储单元240存储分析单元230用于分析的信息和分析结果。
(终端通信单元250)
终端通信单元250具有经由网络30与多个自主移动体10进行信息通信的功能。例如,终端通信单元250从自主移动体10接收关于情况估计的信息。此外,例如,终端通信单元250向自主移动体10发送关于由动作推荐单元220确定的推荐动作的信息和控制序列数据。
上面已经描述了根据本公开的实施方式的信息处理服务器20的功能配置示例。注意,以上参考图9描述的配置仅仅是示例,并且根据本公开的实施方式的信息处理服务器20的功能配置不限于该示例。例如,信息处理服务器20可以具有向用户提供稍后描述的各种用户接口的功能。此外,提供给信息处理服务器20的各种功能可以通过分布到多个设备来实现。可以根据规范和操作灵活地修改根据本公开的实施方式的信息处理服务器20的功能配置。
<2.第一实施方式>
<<2.1.概述>>
接下来,将描述本公开的第一实施方式。如上所述,根据本公开的实施方式的自主移动体10可以通过具有表达多个关节部分和眼球的运动的显示器510来执行各种运动(动作)。
然而,为了使自主移动体10执行动作,需要保存对应于该动作的控制序列数据。为此,在自主移动体10不具有用于添加新的控制序列数据的机制的情况下,自主移动体10将仅执行在产品装运时已经设置的动作。
在这种情况下,用户对重复执行的动作失去了兴趣,这可能是降低对自主移动体10的热情程度的因素。此外,取决于用户,可能希望使自主移动体10记忆并执行原始动作,如,向真正的狗教授技巧。
通过着眼上述各点来构思根据本实施方式的自主移动体10,并且允许用户容易地使自主移动体10学习新的动作。因此,根据本实施方式的自主移动体10的一个特征是基于教导运动生成用于实现对应于教导运动的自主运动的控制序列数据。此外,根据本实施方式的自主移动体10的一个特征是基于由情况估计确定的动作计划来执行对应于控制序列数据的自主运动。
根据提供给根据本实施方式的自主移动体10的上述特征,用户可以容易地使自主移动体10学习新的动作,并且期望保持高程度的用户热情的效果。
<<2.2.控制序列数据的生成>>
接下来,将详细描述根据本实施方式的控制序列数据的生成。根据本实施方式的自主移动体10的操作控制单元150具有基于教导运动生成用于实现对应于教导运动的自主运动的控制序列数据的功能。
更具体地,根据本实施方式的操作控制单元150可以基于教导运动生成控制序列数据,该控制序列数据至少包括关于关节部分的旋转位置的按时间顺序变化的信息。
此时,用户可以例如通过使用专用用户接口来教导,即,使自主移动体10学习新的动作。图10是用于说明根据本实施方式的使用用户接口的动作的教导的示图。
图10示出了用户向自主移动体10教授新动作的用户接口UI1。用户可以通过例如计算机、智能手机等访问用户接口UI1。
参考图10,根据本实施方式的用户接口UI1具有例如两个区域R1和R2。区域R1可以是用户设置自主移动体10的关节部分的运动的区域。用户可以通过指定区域R1中的按时间顺序的每个关节部分的旋转位置(弯曲和拉伸的方向、大小、速度等)的变化来向自主移动体10教授新的动作。此时,例如,用户可以通过操作键盘或鼠标来指定关节部分的旋转角度和旋转速度。
此外,区域R2是用于显示用户在区域R1中指定的教导运动的预览的区域。例如,区域R2可以显示自主移动体10的化身,该化身再现由用户在区域R1指定的关节部分的运动。注意,除了图中所示的俯视图图像之外,区域R2可以显示从自主移动体10的前部、顶部、侧面、后部等再现教导运动的图像。
此外,用户还可以通过用鼠标、手指等操作在R2区域中显示的自主移动体10的化身来教授该动作。基于在区域R2中执行的上述用户操作,根据本实施方式的操作控制单元150可以存储对应于每个关节部分的致动器570的旋转角度和旋转速度,并且反映区域R1的设置。
此外,尽管未示出,用户也可以在用户接口U1中设置要在显示器510上显示的自主移动体10的眼球的运动、要输出到扬声器的动物声音等。
以这种方式,根据本实施方式的用户接口UI1允许用户精细且准确地教授新动作,并且使得自主移动体能够执行更准确的运动。
此外,根据本实施方式的教导运动可以包括用户对关节部分的物理弯曲和拉伸运动。根据本实施方式的操作控制单元150可以基于上述物理弯曲和拉伸运动生成控制序列数据。
图11是用于说明根据本实施方式的关节部分的物理弯曲和拉伸运动的教导的示图。如图11所示,用户可以通过用例如手UA等物理弯曲和拉伸自主移动体10的关节部分来教授新的动作。
此时,首先,例如,用户通过发出诸如“记住”等话语,使自主移动体10认识到要执行教导运动。此外,当识别单元120识别出用户的弯曲和拉伸运动开始时,操作控制单元150使驱动单元160执行关节部分的放松操作。
上述放松操作是指允许致动器570相对于从外部施加的力容易旋转的状态的操作,以便实现用户的教导运动。例如,根据本实施方式的致动器570被配置为能够可选地调节用于旋转运动的阻力系数,并且能够实现相对于从外部施加的力容易旋转或难以旋转的状态。根据本实施方式的放松操作允许用户容易地弯曲和拉伸关节部分,并且可以消除强制施加力以损坏致动器570的可能性和伤害用户的风险。
此外,当用户开始关节部分的弯曲和拉伸运动时,根据本实施方式的操作控制单元150基于由包括在致动器570中的位置传感器检测到的关节部分的旋转位置,以时间顺序存储旋转位置的变化。
如上所述,提供给根据本实施方式的操作控制单元150的上述功能使得能够甚至由不熟悉技术知识的用户通过直接移动关节部分来直观地向自主移动体10教授新动作。
此外,根据本实施方式的教导运动可以包括具有关节的移动体的运动。根据本实施方式的操作控制单元150还可以基于移动体的成像运动来生成控制序列数据。
图12是用于说明根据本实施方式的与移动体的成像运动相关的教导的示图。图12示出了与从显示装置输出的移动体P1的运动相关的视觉信息V1以及视觉上识别视觉信息V1的自主移动体10。
如图12所示,根据本实施方式的操作控制单元150可以将由输入单元110成像的移动体的运动作为教导运动来生成对应于教导运动的控制序列数据,。
注意,图12示出了显示装置将移动体P1的运动显示为视觉信息V1的情况,但是根据本实施方式的移动体的运动不限于该示例。根据本实施方式的移动体的运动广泛地包括例如用户、宠物或另一自主移动体的真实运动、作为视觉信息显示的动画等。
此外,根据本实施方式的操作控制单元150可以基于移动体的运动生成控制序列数据,而不管是否存在来自用户的明确指令。即,即使在用户没有给出指令的情况下,根据本实施方式的操作控制单元150也可以自主地生成与新动作相关的控制序列数据,其中,用户或宠物的运动以及由显示装置显示的视觉信息作为教导运动。
根据上述提供给根据本实施方式的操作控制单元150的功能,自主移动体10本身可以模仿用户或宠物的运动,并且自主学习投影在显示装置上的新潮舞蹈等,这可以保持用户对自主移动体10的高度兴趣。
首先,操作控制单元150估计成像的移动体的关节的位置,并通过使用相对关节图等获取对应于每个关节的关节部分。此外,操作控制单元150计算与移动体的关节相关的弯曲和拉伸运动的幅度,并将关节的弯曲和拉伸运动转换成相应关节部分的旋转位置,并进行存储。
此时,根据本实施方式的操作控制单元150可以根据关节部分的运动范围适当地校正移动体的关节的运动。例如,根据本实施方式的操作控制单元150可以动态地修剪与移动体的关节相关的弯曲和拉伸运动的一部分,并记录相应关节部分的旋转位置。更具体地,在与移动体的关节相关的弯曲和拉伸运动超过对应于关节的关节部分的运动范围的情况下,根据本实施方式的操作控制单元150可以动态地修剪超过运动范围的弯曲和拉伸运动的一部分。
图13是用于说明根据本实施方式的基于运动范围的修剪的示图。图13示出了作为视觉信息V2输出的移动体P3的颈部的弯曲和拉伸运动以及视觉上识别视觉信息V3的自主移动体10。
注意,图13示出了由移动体P3引起的颈部的弯曲和拉伸运动超过设置在自主移动体10的颈部的致动器570的运动范围ROM的情况的示例。此时,根据本实施方式的操作控制单元150可以修剪超过运动范围ROM的移动体P3的弯曲和拉伸运动,并且生成控制序列数据,使得关节部分的旋转位置落在运动范围ROM内。
根据提供给根据本实施方式的操作控制单元150的上述功能,可以动态地生成控制序列数据,使得教导运动落入关节部分的运动范围内,并且可以使自主移动体10实现合理的自然运动。
此外,例如,根据本实施方式的操作控制单元150还可以生成包括自主移动体10的位置信息的控制序列数据。具体地,根据本实施方式的操作控制单元150可以执行指定自主移动体10在空间中的位置的动作。根据提供给根据本实施方式的操作控制单元150的上述功能,自主移动体可以执行例如指定用户家中的任何给定地点的动作或者指定与用户的物理距离的动作。
此外,根据本实施方式的操作控制单元150还可以生成包括关于多个自主移动体10的相对位置信息的控制序列数据。
图14是用于说明根据本实施方式的教导的示图,其中,指定了与多个自主移动体10相关的相对位置。图14示出了作为视觉信息V3输出的移动体P1和P2的运动以及视觉上识别视觉信息V3的自主移动体10a和10b。
在此处,图14所示的移动体P1和P2的运动可以是例如相对位置重要的舞蹈等。此时,基于所识别的移动体P1和P2的相对位置,根据本实施方式的操作控制单元150可以生成按时间顺序记录相对于另一自主移动体10的相对位置以及关节部分的旋转位置的控制序列数据。例如,操作控制单元150可以通过与另一自主移动体10传送由SLAM技术估计的关于自身位置的信息,来基于相对位置执行动作。此外,例如,通过识别用户已经在地板上设置的标记等,操作控制单元150可以基于相对位置执行动作。
如上所述,根据本实施方式的操作控制单元150使得可以通过关节部分的物理操作和成像来容易地向自主移动体10教授新动作。提供给根据本实施方式的操作控制单元150的上述功能预期提供保持用户对自主移动体10的高度热情的效果,而不会用有限的动作使用户厌烦。
此外,用户还可以经由例如用户接口来编辑所教授的运动。图15是用于说明根据本实施方式的控制序列数据的编辑的示图。
图15示出了用户用于编辑教导动作的用户接口UI2。如图15所示,用户接口UI2具有上述区域R1和R2。此时,与用户接口UI1不同,用户接口UI2的区域R1可以预先显示通过关节部分的物理操作和成像教导的控制序列数据的信息。
例如,使用鼠标、手指等,用户可以通过移动、复制、放大或缩小指定每个关节部分的运动的运动条M1到M3来更容易地编辑教导运动。根据本实施方式的用户接口UI2使得可以例如将通过关节部分的物理操作教导的右前腿的运动复制到另一条腿,并且精细地指定每个关节的运动时间,这使得教导更能反映用户的意图。
此外,根据本实施方式的操作控制单元150可以关联并存储生成的控制序列数据和诱发对应于控制序列数据的自主运动的诱因情况。在此处,上述诱因情况是指可以触发自主移动体10执行对应于教导运动的自主运动的情况。此外,根据本实施方式的诱因情况包括由识别单元120基于由输入单元110收集的传感器信息识别的各种情况。
图16和17是用于说明根据本实施方式的诱因情况的示图。图16示出了自主移动体10执行对应于教导运动的自主运动的示例,其中,从显示装置输出的音乐作为诱因情况。
在图16所示的示例的情况下,当已经执行教导运动时正在播放的音乐自主地保存为诱因情况,并且自主移动体10在识别相同音乐时执行对应于教导运动的自主运动。如上所述,根据本实施方式的自主移动体10可以基于各种诱因情况执行对应于教导运动的自主运动。
此外,图17示出了自主移动体10在将用户U1识别为诱因情况的情况下执行对应于教导运动的自主运动的情况的示例。可以由用户指定根据本实施方式的诱因情况。例如,用户可以将在用户U1的生日上识别用户U1的情况设置为诱因情况,并且提示自主移动体10仅执行一次对应于教导运动的自主运动。
如上所述,根据本实施方式的自主移动体10可以基于其自身存储的诱因情况或用户指定的诱因情况来执行对应于教导运动的自主运动。该功能使得可以实现更接近生物的自然反应和更能反映用户意图的动作。
此外,根据本实施方式的自主移动体10可以将如上所述生成的控制序列数据发送到另一自主移动体10。图18是用于说明根据本实施方式的自主移动体10之间的控制序列数据的传输的示图。
图18示出了通过无线通信将自主移动体10a生成的控制序列数据CS发送到自主移动体10b的示例。以这种方式,根据本实施方式的自主移动体10可以将生成的控制序列数据CS发送到另一自主移动体10。
根据提供给根据本实施方式的自主移动体10的上述功能,例如,可以在同一用户所拥有的多个自主移动体10之间或者不同用户所拥有的自主移动体10之间不知道的情况下实现运动的扩展,这使得可以保持用户的高兴趣并促进用户之间的交互等。
<<2.3.控制流程>>
接下来,将详细描述根据本实施方式的自主移动体10的控制流程。首先,将描述与由用户通过关节部分的物理弯曲和拉伸运动进行教导相关的自主移动体10的控制流程。图19是示出自主移动体10的控制流程的流程图,该控制流程与用户通过关节部分的物理弯曲和拉伸运动进行的教导相关。
参考图19,首先,识别单元120基于由输入单元110收集的用户话语等来检测教导运动的开始请求(S1101)。
接下来,操作控制单元150基于在步骤S1101中检测到开始请求,使驱动单元160执行放松操作(S1102)。
随后,操作控制单元150检测由用户弯曲和拉伸的关节部分的旋转位置(S1103)。
此外,操作控制单元150以时间顺序记录检测到的关节部分的旋转位置(S1104)。
接下来,识别单元120基于用户的话语等检测教导运动的结束(S11105)。注意,在用户在预定时间或更长时间内没有操作关节部分的情况下,识别单元120可以检测教导运动的结束。
接下来,操作控制单元150修整记录的数据(S1106)。此时,例如,操作控制单元150可以修整从开始检测到执行关节部分的实际操作的时间段、从关节部分的最近操作到检测到结束的时间段等。
随后,操作控制单元150将记录的数据转换成控制序列数据(S1107),并结束处理。
接下来,将描述以移动体的成像运动作为教导的自主移动体10的控制流程。图20是示出以移动体的成像运动作为教导的自主移动体10的控制流程的流程图。
参考图20,首先,输入单元110对移动体的运动进行成像(S1201)。
接下来,操作控制单元150执行与移动体的关节位置相关的估计(S1202)。
随后,操作控制单元150执行在步骤S1202中估计的移动体的关节和驱动单元160中包括的关节部分之间的映射(S1203)。
接下来,操作控制单元150将移动体的关节的弯曲和拉伸转换成关节部分的旋转位置,并进行记录(S1204)。
接下来,操作控制单元150基于关节部分的运动范围等来修整记录的数据(S1205)。
随后,操作控制单元150将记录的数据转换成控制序列数据(S1206),并结束处理。
<3.第二实施方式>
<<3.1.概述>>
接下来,将描述本公开的第二实施方式。在上述第一实施方式中,已经详细描述了用于向自主移动体10教授新动作的方法。在随后的第二实施方式中,将主要描述与包括上述动作的各种运动相关的动作计划。
如上所述,与根据用户指令被动操作的装置不同,根据本公开的实施方式的自主移动体10基于估计的情况执行动态移动。此时,除了估计的情况之外,自主移动体10的一个特征是基于多个冲突的期望来执行全面的动作计划。
上述多种冲突期望的示例包括例如自我保护期望和批准期望。上述自我保护期望是保持自主移动体10的连续和安全动作的期望。更具体地,根据本实施方式的自我保护期望包括对自主移动体10的充电功率的维护或补充的期望。此外,自我保护期望包括对自主移动体10的功能维护或功能恢复的期望。
此外,上述批准期望是被用户喜爱、需要或感兴趣的期望。因此,根据本实施方式的批准期望可以广泛地包括取悦用户、不使用户失望等期望,以便实现上述事件。
根据本公开的实施方式的自主移动体10具有上述自我保护期望和批准期望,因此能够实现更接近真实动物的各种更自然和灵活的动作模式。在本公开的第二实施方式中,将基于上述期望和情况估计,以具体示例详细描述自主移动体10的灵活动作计划。
<<3.2.动作计划的具体示例>>
如上所述,根据本实施方式的自主移动体10具有多个冲突的期望,即自我保护期望和批准期望。具体地,根据本实施方式的自主移动体10基本上希望被用户喜爱并取悦用户,但是同时希望降低功耗并给电池充电,或者希望不消耗部件。
因此,根据本实施方式的动作计划单元140可以基于识别单元120估计的情况,制定满足上述自我保护期望或批准期望中的至少一个的动作计划。例如,动作计划单元140可以制定优先考虑自我保护期望或批准期望的动作计划。
例如,根据本实施方式的动作计划单元140可以根据是否检测到用户来确定优先级的期望。具体地,根据本实施方式的动作计划单元140可以制定在检测到用户的情况下优先考虑批准期望的动作计划,并且在没有检测到用户的情况下制定优先考虑自我保护期望的动作计划。
图21是用于说明根据本实施方式的基于是否检测到用户的动作计划的示图。图21的上部示出了用户U2存在于自主移动体10的外围区域Z1中的情况的示例。此时,根据本实施方式的动作计划单元140基于识别单元120在外围区域Z1中检测到用户U2,制定优先考虑批准期望的动作计划。例如,动作计划单元140可以制定动作计划,例如,接近用户U2或者为用户U2执行某个动作。
然而,图21的下部示出了在自主移动体10的外围区域Z1中不存在用户的情况的示例。此时,根据本实施方式的动作计划单元140可以基于识别单元120估计不存在用户来制定优先考虑自我保护期望的动作计划。注意,识别单元120可以在例如没有在由输入单元110捕捉的图像中示出用户的情况下、在没有检测到用户的话语的情况等下,估计不存在用户。此外,识别单元120还可以基于用户的日程信息来估计不存在用户。
如上所述,根据本实施方式的自我保护期望包括与自主移动体10的充电功率相关的期望。因此,在没有检测到用户的情况下,动作计划单元140可以制定优先维护或补充充电功率的动作计划。在图21的下部所示的示例的情况下,动作计划单元140计划充电功率的补充,并且操作控制单元150基于该计划将自主移动体10连接到充电装置50。
此外,在不需要充电的情况下,根据本实施方式的动作计划单元140可以执行用于降低功耗的各种动作计划。图22是用于说明根据本实施方式的优先降低功耗的动作计划的示图。
例如,根据本实施方式的动作计划单元140可以执行用于停止显示器510输出与眼球运动相关的视觉表达的计划,以便降低功耗。此外,类似地,动作计划单元140可以执行用于停止扬声器的声音输出和各种传感器的数据收集的计划。
此外,动作计划单元140可以通过计划减缓关节部分的运动或现场睡眠的动作来降低功耗。此外,动作计划单元140可以计划诸如关闭处理器或电源等动作。
此外,根据本实施方式的自我保护期望包括与自主移动体10的功能维护相关的期望。因此,可以制定根据本实施方式的优先考虑自主移动体10的功能维护和功能恢复的动作计划。
例如,在致动器570的操作中检测到故障的情况下,动作计划单元140可以尽可能多地制定不操作对应的致动器570的动作计划,以便不恶化故障。此外,例如,动作计划单元140可以优先考虑功能维护,并且可以计划执行与显示器510和各种传感器相关的校准。
注意,在如上所述的自我保护期望的程度非常大的情况下,动作计划单元140可以制定优先考虑自我保护期望的动作计划。例如,在充电功率几乎耗尽的情况下,在致动器570严重损坏的情况下等,即使在用户在场的情况下,动作计划单元140也计划优先考虑自我保护期望的动作。
然而,在自我保护期望的程度低于阈值的情况下,动作计划单元140可以通过执行优先考虑批准期望的动作计划,使自主移动体10实现满足用户期望的各种移动。
以这种方式,根据本实施方式的动作计划单元140通过根据情况控制自我保护期望和批准期望的优先级,使得可以实现接近真实动物的复杂且灵活的动作模式。
此外,根据本实施方式的动作计划单元140可以计划能够同时满足两个期望的动作,而不管优先考虑自我保护期望还是优先考虑批准期望的情况。例如,在已经在视野中检测到用户的情况下,在被用户呼叫的情况下等,也存在通过根据用户的状态等执行动作而不是立即冲向用户来降低功耗的情况。
图23是示出根据本实施方式的实现自我保护期望和批准期望的动作计划的示例的示图。注意,图23示出了当用户呼叫时的动作计划的示例。
首先,当识别单元120检测到用户的话语时,动作计划单元140计划用于将显示器510上显示的视线指向用户的动作。通过在操作致动器570之前首先仅控制关于眼球运动的视觉信息,提供给动作计划单元140的上述功能使得可以实现快速反应和防止致动器570的粗心操作。
随后,在识别出用户正在向自主移动体10呼叫或者用户的视线指向自主移动体10的情况下,识别单元120沿着视线,头部和躯干以这种顺序指向用户。此时,通过将瞳孔返回到显示器510的中心,同时将视线保持在用户处,并且同时将头部朝向用户,动作计划单元140可以实现自主移动体10的更自然的运动。
类似地,通过计划动作,以逐渐减小与躯干之间的角度差,同时将头部保持在用户的方向上,动作计划单元可以实现自然运动并防止由于突然运动导致的功耗增加。
此外,此时,根据本实施方式的动作计划单元140可以基于用户和自主移动体10之间的距离来制定动作计划。图24是用于说明根据本实施方式的基于用户和自主移动体10之间的距离的动作计划的示图。
图24示出了根据距用户U2的距离计划的动作的示例。具体地,如图24的上部所示,在用户U2和自主移动体10之间的距离d较长的情况下,动作计划单元140可以首先计划动作,以便仅将视线指向用户。
然而,如图24的中间部分所示,在用户U2和自主移动体10之间的距离d为中等的情况下,动作计划单元140计划动作,以便沿着视线将头部朝向用户。
此外,如图24的下部所示,在用户U2和自主移动体10之间的距离d较短的情况下,动作计划单元140制定动作计划,以便沿着视线和头部将躯干指向用户。
以这种方式,根据本实施方式的动作计划单元140使得可以基于用户和自主移动体10之间的距离计划灵活的动作。提供给动作计划单元140的上述功能使得能够制定动作,例如,在通过首先仅移动视线来抑制功耗的同时,根据用户此后的接近程度来操作致动器570,这使得能够在向用户显示特定反应的同时有效地降低功耗。
注意,根据本实施方式的动作计划单元140可以基于用户请求的强度来制定如上所述的动作计划。在引导视线之后,在用户继续呼叫自主移动体10或接近自主移动体10的情况下,动作计划单元140可以计划用于指向头部和躯干的动作。
此外,根据本实施方式的动作计划单元140可以基于与用户的心理距离以及与用户的物理距离来制定动作计划。例如,动作计划单元140可以计划动作,例如,在当使用充分持续时即使从远处呼叫的情况下也向用户跑去,而在用户使用自主移动体10后不久从远处呼叫的情况下,仅指向视线。
此外,除了上述动作计划之外,根据本实施方式的动作计划单元140可以基于周围环境状态和用户状态的变化来计划各种动作。例如,根据本实施方式的动作计划单元140可以基于检测到的照明环境的变化等制定灵活的动作计划。
图25至27是示出根据本实施方式的基于环境状态变化的动作计划的示例的示图。图25示出了由用户U2容纳在盒子、手提袋等中的自主移动体10。此时,根据本实施方式的动作计划单元140可以基于识别单元120检测到用户U2对自主移动体10的容纳来计划用于自主关闭电源的动作。
提供给动作计划单元140的上述功能使得能够满足与充电功率和功能维护相关的自我保护期望,并且同时通过执行考虑用户意图的动作来满足批准期望。
注意,识别单元120可以基于例如照度的突然降低、障碍物对致动器570的操作的限制等,识别用户U2容纳自主移动体10的动作。
此外,例如,在用户U2将自主移动体10容纳在手提包或类似物中并伸出头部的情况下,动作计划单元140可以制定动作计划,以便不操作躯干或腿的致动器,同时保持显示器510输出关于眼睛运动以及头部、耳朵和嘴的运动的视觉信息。
此外,图26和27示出了当被用户用毯子等覆盖时自主移动体10的动作。此时,根据本实施方式的动作计划单元140可以基于检测到照明环境中的突然变化来制定满足自我保护期望或批准期望中的至少一个的动作计划。此外,此时,动作计划单元140可以基于周围环境和用户的状态来确定与自我保护期望和批准期望相关的优先级。
例如,在图26所示的示例的情况下,动作计划单元140基于用户上床睡觉的时间还早或者检测到用户的笑声等这一事实,制定试图从毯子中逃脱的动作计划。动作计划单元140可以计划动作,以便在更亮的方向上移动自主移动体10。
以这种方式,在根据包括用户的反应、周围环境等的状态来估计用户的恶作剧的情况下,根据本实施方式的动作计划单元140可以通过像真正的狗一样计划反应来实现满足用户期望的动作。
然而,在图27所示的示例的情况下,动作计划单元140基于用户上床睡觉的时间、用户穿着睡衣等这一事实来计划与用户睡觉的动作。具体地,动作计划单元140可以在自主移动体10处于仰卧状态之后制定用于关闭电源的动作计划。
以这种方式,在根据用户的状态、周围环境等来估计用户将睡觉的情况下,根据本实施方式的动作计划单元140可以通过执行用于抑制功耗同时满足用户期望的动作来满足批准期望和自我保护期望。
此外,例如,根据本实施方式的动作计划单元140还可以基于自主移动体10的控制模式来制定动作计划。上述控制模式的示例包括例如不输出声音的静音模式等。
图28是用于说明基于根据本实施方式的自主移动体10的控制模式的动作计划的示图。图28的左侧例示了在自主移动体10的控制模式是正常模式的情况下自主移动体10的动作。此时,根据本实施方式的动作计划单元140可以响应于用户的呼叫等来计划输出动物声音和张开嘴的动作。
然而,图28的右侧例示了在自主移动体10的控制模式是静音模式的情况下自主移动体10的动作。此时,根据本实施方式的动作计划单元140可以制定动作计划,以便根据静音模式不输出动物声音,并且不张开嘴。
根据提供给根据本实施方式的动作计划单元140的上述功能,当没有输出动物声音时,可以通过闭嘴来实现更自然的运动,并且通过不张开嘴,可以同时有效地降低功耗。
此外,动作计划单元140可以通过计划关于显示器510的眼睛移动和尾巴的非语言动作的视觉信息的输出的变化,而不是嘴的动作,来实现对用户的响应。
以这种方式,根据本实施方式的动作计划单元140使得能够既实现自我保护期望又实现批准期望的动作。
注意,除了由用户设置之外,根据本实施方式的静音模式还可以被设置为动作计划单元140的动作计划的一部分。例如,在检测到用户正在与另一人等进行对话的情况下,动作计划单元140可以自主地计划到静音模式的转换。
<<3.3.控制流程>>
接下来,将详细描述根据本实施方式的自主移动体10的动作计划的流程。图29是示出根据本实施方式的动作计划的流程的流程图。
参考图29,首先,输入单元110收集传感器信息(S2101)。
接下来,识别单元120基于在步骤S2101中收集的传感器信息执行各种识别处理(S2102)。
此外,识别单元120基于在步骤S2102中识别的各种事件来执行综合情况估计(S2103)。
注意,可以持续地执行步骤S2101至2103中的传感器信息收集、识别处理和情况估计。
接下来,动作计划单元140基于在步骤S2103中估计的情况以及自我保护期望和批准期望(approval desire),制定将由自主移动体10执行的动作计划(S2104)。
接下来,基于在步骤S2104中确定的动作计划,操作控制单元150控制驱动单元160和输出单元170的操作,并且执行该动作(S2105)。
<4.第三实施方式>
<<4.1.概述>>
接下来,将描述本公开的第三实施方式。在上述第一实施方式和第二实施方式中,主要描述了提供给自主移动体10的动作计划功能和操作控制功能。然而,在本公开的第三实施方式中,将在集中描述提供给信息处理服务器20的功能的同时给出描述。
如上所述,根据本公开的实施方式的自主移动体10具有情况估计功能、动作计划功能和操作控制功能,并且能够执行自主动作。即,可以说自主移动体10是能够独立执行运动的装置。然而,在自主移动体10完全独立地执行运动的情况下,仅基于其自身执行的运动来执行学习,并且难以与其他自主移动体10共享学习结果。
此外,尽管即使在自主移动体10独立执行运动的情况下,也可以通过用户的教导来增加可以采取的动作,但是为了收集用户感兴趣的更多动作,还有进一步改进的空间。
根据本实施方式的信息处理服务器20被设想为集中于上述几点。信息处理服务器20通过基于从多个自主移动体10收集的动作历史提供集体智能,使得每个自主移动体10能够执行更适当的动作。
为此,信息处理服务器20包括动作推荐单元220,该动作推荐单元220被配置为针对自主移动体10呈现推荐给自主移动体10的推荐动作,该自主移动体10基于情况估计来执行动作计划。此外,动作推荐单元220的一个特征是基于从多个自主移动体10收集的动作历史和从作为推荐目标的自主移动体10(也称为目标自主移动体)接收的情况概要来确定上述推荐动作。
在下文中,将详细描述根据本实施方式提供给信息处理服务器20的功能以及这些功能产生的效果。
<<4.2.推荐动作的呈现>>
首先,将描述根据本实施方式的动作推荐单元220的推荐动作呈现功能。如上所述,根据本实施方式的自主移动体10可以基于情况估计独立地执行动作计划。然而,根据具体情况,可能存在与动作计划相关的可靠性不够或计划趋于一致的情况。这些可能成为降低用户对自主移动体10满意度和的热情程度的因素。
为此,根据本实施方式的信息处理服务器20可以通过基于从多个自主移动体10收集的动作历史向目标自主移动体呈现推荐动作,来支持目标自主移动体执行更适当的操作。
图30是用于说明根据本实施方式的推荐动作的呈现的示图。图30示出了作为目标自主移动体的自主移动体10和信息处理服务器20。注意,为了说明,图30示出了两个自主移动体10,但是这两个自主移动体10是相同的目标自主移动体。
图30的左侧示出了作为目标自主移动体的自主移动体10基于情况估计独立地执行动作计划的情况的示例。此时,自主移动体10可以计划例如由图中的左气球指示的移动。
然而,根据本实施方式的信息处理服务器20的动作推荐单元220可以基于与从作为目标自主移动体的自主移动体10接收到的情况估计相关的概要信息(也称为情况概要)来确定要推荐给目标自主移动体的推荐动作,并将推荐动作呈现给目标自主移动体。注意,由动作推荐单元220推荐的推荐动作可以是由图中右上角的气球指示的运动。
另外,此时,根据本实施方式的动作推荐单元220的一个特征是经由终端通信单元250向目标自主移动体提供用于实现对应于推荐动作的运动的控制序列数据CS。
以这种方式,根据本实施方式的动作推荐单元220可以向目标自主移动体呈现推荐的动作和与推荐动作相关的控制序列数据,并且允许目标自主移动体执行被预测为引起良好用户响应的新动作。
随后,将详细描述根据本实施方式的动作推荐单元220推荐的动作的呈现以及自主移动体10的动作计划的流程。图31是描述根据本实施方式的基于推荐动作的动作计划的概念图。
首先,自主移动体10的识别单元120基于由输入单元110收集的传感器信息执行各种类型的识别和情况估计。此时,识别单元120将情况估计结果传递给动作计划单元140,并将情况概要发送给信息处理服务器20的动作推荐单元220。
接下来,根据本实施方式的动作推荐单元220使用从识别单元120接收的情况概要和作为学习单元210具有的关于多个自主移动体10的集体智能的知识来确定推荐的动作,并将关于推荐的动作的信息呈现给动作计划单元140。
接下来,根据本实施方式的动作计划单元140基于根据识别单元120的情况估计的多个动作候选,并且基于由动作推荐单元220推荐的推荐动作,确定要实际执行的动作。此时,动作计划单元140可以基于每个动作候选等的可靠性做出最终动作决定。因此,根据本实施方式的动作计划单元140不一定采用推荐的动作。
随后,操作控制单元150基于由动作计划单元140确定的动作计划来控制驱动单元160和输出单元170,以实现自主移动体10的移动。
此时,动作计划单元140将识别单元120的情况估计、确定的动作计划和用户U2对执行的运动的反应(反馈)相关联,并发送到信息处理服务器20。
上述信息作为动作历史存储在信息处理服务器20的存储单元240中,并用于学习单元210的学习。注意,可以在通过分析单元230的分析后以量化的状态存储用户U2的反馈。分析单元230可以基于例如用户的面部表情或话语来量化用户的反应是好还是坏。
因此,根据本实施方式的信息处理系统能够通过情况估计、推荐动作的呈现、动作计划、操作控制、动作历史校正和重复执行来有效地学习进一步吸引用户兴趣。
注意,在本实施方式中,动作推荐单元220可以基于例如用户对目标自主移动体的热情程度来呈现推荐的动作。图32是用于说明根据本实施方式的基于用户热情程度的推荐动作的呈现的示图。
图32示出了用户U2对作为目标自主移动体的自主移动体10的热情程度降低。此时,基于分析单元230已经分析出用户U2的热情程度已经降低,根据本实施方式的动作推荐单元220可以呈现推荐的动作并将控制序列数据CS提供给自主移动体10。
注意,例如,分析单元230可以基于用户U2对自主移动体10执行的运动的反馈、用户U2与自主移动体10的联系数量、呼叫数量、自主移动体10的激活时间等来分析上述热情程度。
此外,热情的程度可以由自主移动体10来分析。在这种情况下,自主移动体10基于用户的热情程度正在降低这一事实,请求信息处理服务器20进行推荐动作。此外,动作推荐单元220可以基于情况请求向自主移动体10呈现推荐的动作。
根据提供给根据本实施方式的信息处理服务器20和自主移动体10的上述功能,可以有效地增加可由自主移动体10执行的新动作,并防止降低用户热情程度。
接下来,将描述根据本实施方式的动作推荐单元220从多个自主移动体10收集控制序列数据的机制。图33是用于说明根据本实施方式的控制序列数据的收集的示图。
图33示出了执行运动的自主移动体10和对运动进行肯定反馈的用户U2。因此,在用户对所执行的运动的反馈是肯定的情况下,自主移动体10可以将情况概要、与所执行的运动相关的控制序列数据CS以及用户的反馈作为动作历史发送到信息处理服务器20。
如上所述,根据本实施方式的动作推荐单元220可以从多个自主移动体10有效地收集与用户已经示出肯定反馈的操作相对应的控制序列数据。根据上述机制,从另一自主移动体10收集的控制序列数据可以提供给目标自主移动体,并且假设对用户有效的移动可以在多个自主移动体10之间共享。
此外,例如,根据本实施方式的控制序列数据的下载和上传可以可选地由用户经由客户端应用来执行。此时,用户可能能够将公开控制序列数据的范围限制在例如朋友或工作场所等群体中。这一功能使得可以在群体内传播和共享喜爱的运动,并且还期望促进用户之间的交流的效果。
此外,与上述下载一起,用户还可以经由客户端应用设置第一实施方式中描述的诱因情况。图34是示出根据本实施方式的客户端应用的用户接口的示例的示图。
图34示出了用户接口UI3,该用户接口UI3能够设置诱因情况和下载控制序列数据。例如,在用户接口UI3中,用户可以分别从选项OP1和OP2中选择诱因情况和相应的移动。
在图34所示的示例的情况下,用户可以从选项OP1中选择诸如“下雨时”、“用户回家时”或“自主移动体10心情不好时”等诱因情况。注意,关于诱因情况,例如,可以提供用于指定更详细情况的字段等。
此外,用户可以从选项OP2指定与诱因情况相关联的任何给定运动。此时,例如,用户能够通过按下按钮b1至b3来检查移动的预览。通过选择任何给定的运动并在检查运动预览时按下按钮b4,用户可以将与诱因条件相关联的运动的控制序列数据下载到自主移动体10。
<<4.3.识别字典的额外记录>>
接下来,将描述根据本实施方式的动作推荐单元220中包括的识别字典的额外记录功能。除了向自主移动体10呈现推荐的动作之外,根据本实施方式的动作推荐单元220还可以具有针对自主移动体10中包括的对象识别字典和语音识别字典的新数据的额外记录功能。
图35是用于说明根据本实施方式的对象识别字典的额外记录的示图。图35的左侧示出了使自主移动体10新学习与苹果相关的对象识别的用户U2。
在通过上述动作将与“苹果”相关的语音识别结果和图像数据关联并记录在自主移动体10中包括的对象识别字典122a中的情况下,根据本实施方式的动作推荐单元220可以收集新记录在对象识别字典122a中的数据,并且可以另外将数据记录在作为目标自主移动体的自主移动体10b的对象识别字典122b中。
根据提供给根据本实施方式的动作推荐单元220的上述功能,可以有效地丰富包括在自主移动体10中的对象识别字典122的内容,并提高与对象识别相关的概括性能。
此外,图36是用于说明根据本实施方式的语音识别字典的额外记录的示图。图36的左侧示出了在对用户U2发出的话语的语音识别中失败的自主移动体10。此时,根据本实施方式的动作推荐单元220从自主移动体10收集与用户U2发出的话语相关的识别失败日志。注意,识别失败日志包括语音数据,该语音数据包括用户U2的话语。
随后,动作推荐单元220使多个识别引擎60a至60c识别包括在所收集的识别失败日志中的用户话语语音,并获取识别结果。在此处,在从多个获取的识别结果获得似是而非的数据的情况下,动作推荐单元220可以另外将数据记录到包括在自主移动体10中的语音识别字典124中。
根据提供给根据本实施方式的动作推荐单元220的上述功能,可以有效地丰富包括在自主移动体10中的语音识别字典124的内容,并提高与对象识别相关的概括性能。
<<4.4.维护推荐>>
接下来,将描述根据本实施方式提供给动作推荐单元220的维护推荐功能。除了向自主移动体10呈现推荐动作之外,根据本实施方式的动作推荐单元220可以具有与自主移动体10的维护相关的推荐功能。
图37是用于说明根据本实施方式的维护推荐功能的示图。图37的左侧示出了自主移动体10,其中,右前腿的致动器570发生了故障。此时,根据本实施方式的动作推荐单元220可以基于分析单元230对自主移动体10的操作状态的分析结果,向用户发送用于推荐维护的通知。
例如,基于从自主移动体10接收的关于诸如致动器570等部件的操作状态的信息,分析单元230可以检测或预测部件的劣化或故障。在此处,除了累积操作计数和累积操作时间之外,关于上述操作状态的信息的示例包括例如与组件部分相关的动作失败日志。上述动作失败日志包括诸如错误通知之类的日志,在部件没有如操作控制单元150所控制的那样操作时输出该日志。
例如,在根据动作故障日志估计部件的故障等的情况下,根据本实施方式的动作推荐单元220可以向用户拥有的信息处理终端40发送用于推荐部件的维护的通知。此外,动作推荐单元220可以如上所述经由客户端应用发送上述通知。
此外,根据本实施方式的动作推荐单元220还可以在检测到或预测到部件的故障的情况下,自动为部件下订单等。
因此,根据本实施方式的动作推荐单元220和分析单元230使得能够在早期检测自主移动体10的部件的故障,并且在安全状态下长时间使用自主移动体10。
<<4.5.控制流程>>
接下来,将详细描述根据本实施方式的信息处理服务器20的推荐动作的呈现流程。图38是示出根据本实施方式的信息处理服务器20的推荐动作的呈现流程的流程图。
参考图38,首先,终端通信单元250从目标自主移动体接收情况概要(S3101)。
接下来,动作推荐单元220基于在步骤S3101中接收的情况概要和作为学习单元210具有的集体智能的知识来确定推荐的动作(S3102)。
随后,动作推荐单元220从存储单元240获取对应于在步骤S3102中确定的推荐动作的控制序列数据(S3103)。
随后,动作推荐单元220经由终端通信单元250向目标自主移动体发送关于在步骤S3102中确定的推荐动作的信息和在步骤S3103中获取的控制序列数据(S3104)。
<5.硬件配置示例>
接下来,将描述根据本公开的实施方式的信息处理服务器20的硬件配置示例。图39是示出根据本公开的实施方式的信息处理服务器20的硬件配置示例的框图。参考图39,信息处理服务器20包括例如CPU 871、ROM 872、RAM 873、主机总线874、桥接器875、外部总线876、接口877、输入装置878、输出装置879、存储器880、驱动器881、连接端口882和通信装置883。注意,此处示出的硬件配置是一个示例,并且可以省略一些组件。此外,可以还包括除了此处示出的组件之外的组件。
(CPU 871)
CPU 871用作例如算术处理装置或控制装置,并且基于记录在ROM 872、RAM 873、存储器880或可移动记录介质901中的各种程序来控制每个组件的全部或部分操作。
(ROM 872、RAM 873)
ROM 872是存储由CPU 871读取的程序、用于计算的数据等的装置。例如,RAM 873临时或永久地存储将读入到CPU 871中的程序和当执行程序时适当改变的各种参数等。
(主机总线874、桥接器875、外部总线876、接口877)
CPU 871、ROM 872和RAM 873经由例如能够高速数据传输的主机总线874相互连接。然而,例如,主机总线874经由桥接器875连接到具有较低的数据传输速度的外部总线876。此外,外部总线876经由接口877连接到各种组件。
(输入装置878)
作为输入装置878,例如,使用鼠标、键盘、触摸面板、按钮、开关、杠杆等。此外,作为输入装置878,可以使用能够通过使用红外线或其他无线电波来发送控制信号的遥控器(以下称为遥控器)。此外,输入装置878包括诸如麦克风等语音输入装置。
(输出装置879)
输出装置879例如是能够视觉地或听觉地向用户通知所获取的信息的装置,例如,诸如阴极射线管(CRT)、LCD或有机EL等显示装置、诸如扬声器或耳机等音频输出装置、打印机、移动电话或传真机。此外,根据本公开的输出装置879包括能够输出触觉刺激的各种振动装置。
(存储器880)
存储器880是存储各种数据的装置。作为存储器880,例如,使用磁存储装置,例如,硬盘驱动器(HDD)、半导体存储装置、光存储装置、磁光存储装置等。
(驱动器881)
驱动器881是读取记录在可移动记录介质901(例如,磁盘、光盘、磁光盘或半导体存储器)上的信息或将信息写入可移动记录介质901的装置。
(可移动记录介质901)
可移动记录介质901例如是DVD介质、蓝光(注册商标)介质、HD DVD介质、各种半导体存储介质等。当然,可移动记录介质901可以是例如安装有非接触式IC芯片的IC卡、电子装置等。
(连接端口882)
例如,连接端口882是用于连接外部连接装置902的端口,例如,通用串行总线(USB)端口、IEEE1394端口、小型计算机系统接口(SCSI)、RS-232C端口或光学音频终端。
(外部连接装置902)
外部连接装置902例如是打印机、便携式音乐播放器、数码相机、数码摄像机、IC记录器等。
(通信装置883)
通信装置883是连接到网络的通信装置,例如,用于有线或无线LAN、蓝牙(注册商标)或无线USB(WUSB)的通信卡、用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种通信的调制解调器等。
<<6.结论>>
如上所述,根据本公开的实施方式的自主移动体10的一个特征是基于教导运动生成用于执行对应于教导运动的自主运动的控制序列数据。此外,根据本公开的实施方式的自主移动体10可以基于由情况估计确定的动作计划来执行对应于上述控制序列数据的自主运动。根据该配置,可以更容易地增加自主移动体的移动模式。
上面已经参考附图详细描述了本公开的优选实施方式,但是本公开的技术范围不限于这些示例。显然,本公开技术领域的普通技术人员可以在权利要求中描述的技术思想的范围内得到各种变化或修改,并且自然理解,这些变化或修改也落入本公开的技术范围内。
此外,本说明书中描述的效果仅仅是示例性的或说明性的,而不是限制性的。即,除了上述效果或代替上述效果,根据本说明书的描述,根据本公开的技术可以表现出对本领域技术人员显而易见的其他效果。
此外,与本公开中的自主移动体10和信息处理服务器20的处理相关的各个步骤不必按照流程图中描述的顺序以时间顺序来处理。例如,与自主移动体10和信息处理服务器20的处理相关的各个步骤可以以不同于流程图中描述的顺序来处理,或者可以并行处理。
注意,以下配置也在本公开的技术范围内。
(1)一种信息处理设备,包括:
操作控制单元,其被配置为控制驱动单元的操作,其中,
所述操作控制单元基于教导运动生成控制序列数据,用于使自主移动体的驱动单元执行对应于教导运动的自主运动,并且
使驱动单元基于通过情况估计确定的动作计划执行对应于控制序列数据的自主运动。
(2)根据(1)所述的信息处理设备,其中,
所述驱动单元包括多个关节部分,并且
所述操作控制单元基于所述教导运动生成至少包括关于每个关节部分的旋转位置按时间顺序变化的信息的控制序列数据。
(3)根据(2)所述的信息处理设备,其中,
所述教导运动包括用户对每个关节部分的物理弯曲和拉伸运动,并且
所述操作控制单元基于物理弯曲和拉伸运动生成控制序列数据。
(4)根据(2)或(3)所述的信息处理设备,其中,
所述操作控制单元基于由旋转位置传感器检测到的每个关节部分的旋转位置生成按时间顺序记录的旋转位置的变化的所述控制序列数据。
(5)根据(2)至(4)中任一项所述的信息处理设备,其中,
所述操作控制单元根据用户对每个关节部分的物理弯曲和拉伸运动的开始,使驱动单元执行与每个关节部分相关的放松操作。
(6)根据(5)所述的信息处理设备,其中,
所述操作控制单元控制包括在每个关节部分中的致动器的旋转运动的阻力系数,并使驱动单元执行放松操作。
(7)根据(2)至(6)中任一项所述的信息处理设备,其中,
所述教导运动包括具有关节的移动体的动作,并且
所述操作控制单元基于移动体的成像动作生成控制序列数据。
(8)根据(7)所述的信息处理设备,其中,
基于移动体的关节的估计位置,所述操作控制单元获取与关节对应的驱动单元的每个关节部分,并生成控制序列数据。
(9)根据(8)所述的信息处理设备,其中,
所述操作控制单元基于与移动体的关节相关的弯曲和拉伸动作的幅度,生成控制序列数据,其中,记录与关节对应的驱动单元的每个关节部分的旋转位置。
(10)根据(8)或(9)所述的信息处理设备,其中,
所述操作控制单元动态地修剪与移动体的关节相关的弯曲和拉伸动作的一部分,并且生成控制序列数据,其中,记录驱动单元的每个关节部分的旋转位置。
(11)根据(10)所述的信息处理设备,其中,
在与移动体的关节相关的弯曲和拉伸动作超过对应于关节的每个关节部分的运动范围的情况下,所述操作控制单元动态地修剪超过运动范围的弯曲和拉伸动作的一部分。
(12)根据(7)至(11)中任一项所述的信息处理设备,其中,
所述操作控制单元基于移动体的动作生成控制序列数据,而不管是否存在来自用户的明确指令。
(13)根据(1)至(12)中任一项述的信息处理设备,其中,
所述操作控制单元关联并存储所生成的控制序列数据和诱发对应于控制序列数据的自主运动的诱因情况。
(14)根据(13)所述的信息处理设备,其中,
基于收集的传感器信息来估计诱因情况。
(15)根据(1)至(14)中任一项所述的信息处理设备,其中,
所述操作控制单元生成包括自主移动体的位置信息的控制序列数据。
(16)根据(15)所述的信息处理设备,其中,
所述操作控制单元生成包括关于多个自主移动体的相对位置信息的控制序列数据。
(17)根据(1)至(16)中任一项的信息处理设备,还包括:
动作计划单元,被配置为基于情况估计来制定动作计划。
(18)根据(1)至(17)中任一项所述的信息处理设备,其中,
所述信息处理设备是包括驱动单元的自主移动体。
(19)一种信息处理方法,包括:
由处理器控制驱动单元的操作,其中,
所述控制还包括
基于教导运动生成控制序列数据,用于使自主移动体的驱动单元执行对应于教导运动的自主运动;并且
使驱动单元基于通过情况估计确定的动作计划根据控制序列数据执行自主运动。
(20)一种程序,用于促使计算机用作
信息处理设备,包括:
操作控制单元,其被配置为控制驱动单元的操作,其中,
所述操作控制单元基于教导运动生成控制序列数据,用于使自主移动体的驱动单元执行对应于教导运动的自主运动,并且
使驱动单元基于通过情况估计确定的动作计划根据控制序列数据执行自主运动。
附图标记列表
10自主移动体 110输入单元
120识别单元 130学习单元
140动作计划单元 150操作控制单元
160驱动单元 170输出单元
510显示器 570致动器
20信息处理服务器
210学习单元
220动作推荐单元
230分析单元
240存储单元
Claims (20)
1.一种信息处理设备,包括:
操作控制单元,被配置为控制驱动单元的操作,其中,
所述操作控制单元基于教导运动生成控制序列数据,所述控制序列数据用于使自主移动体的驱动单元执行对应于所述教导运动的自主运动,并且
使所述驱动单元基于通过情况估计确定的动作计划执行对应于所述控制序列数据的自主运动。
2.根据权利要求1所述的信息处理设备,其中,
所述驱动单元包括多个关节部分,并且
所述操作控制单元基于所述教导运动生成至少包括关于每个关节部分的旋转位置按时间顺序变化的信息的控制序列数据。
3.根据权利要求2所述的信息处理设备,其中,
所述教导运动包括用户对每个关节部分的物理弯曲和拉伸运动,并且
所述操作控制单元基于所述物理弯曲和所述拉伸运动生成所述控制序列数据。
4.根据权利要求2所述的信息处理设备,其中,
所述操作控制单元基于由旋转位置传感器检测到的每个关节部分的旋转位置生成按时间顺序记录的旋转位置的变化的所述控制序列数据。
5.根据权利要求2所述的信息处理设备,其中,
所述操作控制单元根据用户对每个关节部分的物理弯曲和拉伸运动的开始,使所述驱动单元执行与每个关节部分相关的放松操作。
6.根据权利要求5所述的信息处理设备,其中,
所述操作控制单元控制包括在每个关节部分中的致动器的旋转运动的阻力系数,并使所述驱动单元执行放松操作。
7.根据权利要求2所述的信息处理设备,其中,
所述教导运动包括具有关节的移动体的动作,并且
所述操作控制单元基于所述移动体的成像动作生成所述控制序列数据。
8.根据权利要求7所述的信息处理设备,其中,
基于所述移动体的关节的估计位置,所述操作控制单元获取与所述关节对应的所述驱动单元的每个关节部分,并生成所述控制序列数据。
9.根据权利要求8所述的信息处理设备,其中,
所述操作控制单元基于与所述移动体的关节相关的弯曲和拉伸动作的幅度,生成所述控制序列数据,其中,所述控制序列数据记录了与所述关节对应的所述驱动单元的每个关节部分的旋转位置。
10.根据权利要求8所述的信息处理设备,其中,
所述操作控制单元动态地修剪与所述移动体的关节相关的弯曲和拉伸动作的一部分,并且生成所述控制序列数据,其中,所述控制序列数据记录了所述驱动单元的每个关节部分的旋转位置。
11.根据权利要求10所述的信息处理设备,其中,
在与所述移动体的关节相关的弯曲和拉伸动作超过对应于所述关节的每个关节部分的运动范围的情况下,所述操作控制单元动态地修剪超过所述运动范围的弯曲和拉伸动作的一部分。
12.根据权利要求7所述的信息处理设备,其中,
所述操作控制单元生成基于所述移动体的动作的所述控制序列数据,而不管是否存在来自用户的明确指令。
13.根据权利要求1所述的信息处理设备,其中,
所述操作控制单元关联并存储所生成的控制序列数据与作为对应于控制序列数据的自主运动的诱因的诱因情况。
14.根据权利要求13所述的信息处理设备,其中,
基于所收集的传感器信息来估计所述诱因情况。
15.根据权利要求1所述的信息处理设备,其中,
所述操作控制单元生成包括所述自主移动体的位置信息的所述控制序列数据。
16.根据权利要求15所述的信息处理设备,其中,
所述操作控制单元生成包括关于多个自主移动体的相对位置信息的所述控制序列数据。
17.根据权利要求1的信息处理设备,还包括:
动作计划单元,被配置为执行基于情况估计的动作计划。
18.根据权利要求1所述的信息处理设备,其中,
所述信息处理设备是包括所述驱动单元的自主移动体。
19.一种信息处理方法,包括:
由处理器控制驱动单元的操作,其中,
所述控制还包括基于教导运动生成控制序列数据,所述控制序列数据用于使自主移动体的驱动单元执行对应于所述教导运动的自主运动,并且
使驱动单元基于通过情况估计确定的动作计划执行根据所述控制序列数据的自主运动。
20.一种程序,用于促使计算机用作
信息处理设备,所述信息处理设备包括:
操作控制单元,被配置为控制驱动单元的操作,其中,
所述操作控制单元基于教导运动生成控制序列数据,所述控制序列数据用于使自主移动体的驱动单元执行对应于所述教导运动的自主运动,并且
使驱动单元基于通过情况估计确定的动作计划执行根据控制序列数据的自主运动。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017209157 | 2017-10-30 | ||
JP2017-209157 | 2017-10-30 | ||
PCT/JP2018/028193 WO2019087490A1 (ja) | 2017-10-30 | 2018-07-27 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111278611A true CN111278611A (zh) | 2020-06-12 |
Family
ID=66333000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880069237.1A Pending CN111278611A (zh) | 2017-10-30 | 2018-07-27 | 信息处理设备、信息处理方法和程序 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11446813B2 (zh) |
JP (1) | JP7156300B2 (zh) |
CN (1) | CN111278611A (zh) |
WO (1) | WO2019087490A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113547872A (zh) * | 2021-08-27 | 2021-10-26 | 上海橙物机电设计有限公司 | 一种连续体仿生机械尾巴 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7512230B2 (ja) | 2020-06-24 | 2024-07-08 | 株式会社東芝 | 設備故障予測システム、設備故障予測方法、および、設備故障予測プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08187364A (ja) * | 1995-01-10 | 1996-07-23 | Sony Corp | 動作玩具駆動方法および装置 |
JPH1177560A (ja) * | 1997-09-03 | 1999-03-23 | Sony Corp | 多関節型ロボット及び多関節型ロボットの位置教示方法 |
CN1457287A (zh) * | 2001-02-21 | 2003-11-19 | 索尼公司 | 用于机器人装置的操作控制的方法、程序、和记录介质、以及机器人装置 |
JP2005262378A (ja) * | 2004-03-18 | 2005-09-29 | Oki Electric Ind Co Ltd | 自律ロボットおよびその制御方法 |
JP2011224662A (ja) * | 2010-04-15 | 2011-11-10 | Yaskawa Electric Corp | ロボット制御装置の補正パラメータ同定装置 |
CN105710881A (zh) * | 2016-03-16 | 2016-06-29 | 杭州娃哈哈精密机械有限公司 | 一种机器人末端连续轨迹规划过渡方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100423911C (zh) * | 2000-10-13 | 2008-10-08 | 索尼公司 | 机器人装置及其行为控制方法 |
JP2003071763A (ja) | 2001-09-04 | 2003-03-12 | Sony Corp | 脚式移動ロボット |
US9818136B1 (en) * | 2003-02-05 | 2017-11-14 | Steven M. Hoffberg | System and method for determining contingent relevance |
US7733224B2 (en) * | 2006-06-30 | 2010-06-08 | Bao Tran | Mesh network personal emergency response appliance |
US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
WO2017163251A2 (en) * | 2016-03-24 | 2017-09-28 | Polygon T.R Ltd. | Systems and methods for human and robot collaboration |
EP3537867B1 (en) * | 2016-11-08 | 2023-08-02 | Dogtooth Technologies Limited | A robotic fruit picking system |
US10898999B1 (en) * | 2017-09-18 | 2021-01-26 | X Development Llc | Selective human-robot interaction |
-
2018
- 2018-07-27 JP JP2019549854A patent/JP7156300B2/ja active Active
- 2018-07-27 CN CN201880069237.1A patent/CN111278611A/zh active Pending
- 2018-07-27 US US16/758,567 patent/US11446813B2/en active Active
- 2018-07-27 WO PCT/JP2018/028193 patent/WO2019087490A1/ja active Application Filing
-
2022
- 2022-08-03 US US17/880,225 patent/US11938625B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08187364A (ja) * | 1995-01-10 | 1996-07-23 | Sony Corp | 動作玩具駆動方法および装置 |
JPH1177560A (ja) * | 1997-09-03 | 1999-03-23 | Sony Corp | 多関節型ロボット及び多関節型ロボットの位置教示方法 |
CN1457287A (zh) * | 2001-02-21 | 2003-11-19 | 索尼公司 | 用于机器人装置的操作控制的方法、程序、和记录介质、以及机器人装置 |
JP2005262378A (ja) * | 2004-03-18 | 2005-09-29 | Oki Electric Ind Co Ltd | 自律ロボットおよびその制御方法 |
JP2011224662A (ja) * | 2010-04-15 | 2011-11-10 | Yaskawa Electric Corp | ロボット制御装置の補正パラメータ同定装置 |
CN105710881A (zh) * | 2016-03-16 | 2016-06-29 | 杭州娃哈哈精密机械有限公司 | 一种机器人末端连续轨迹规划过渡方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113547872A (zh) * | 2021-08-27 | 2021-10-26 | 上海橙物机电设计有限公司 | 一种连续体仿生机械尾巴 |
Also Published As
Publication number | Publication date |
---|---|
US11938625B2 (en) | 2024-03-26 |
WO2019087490A1 (ja) | 2019-05-09 |
JP7156300B2 (ja) | 2022-10-19 |
US20200346341A1 (en) | 2020-11-05 |
US20220371178A1 (en) | 2022-11-24 |
JPWO2019087490A1 (ja) | 2020-12-17 |
US11446813B2 (en) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7400923B2 (ja) | 情報処理装置および情報処理方法 | |
US20230266767A1 (en) | Information processing apparatus, information processing method, and program | |
US20200269421A1 (en) | Information processing device, information processing method, and program | |
JP7120254B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11938625B2 (en) | Information processing apparatus, information processing method, and program | |
WO2019216016A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7363809B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019123744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020166373A1 (ja) | 情報処理装置および情報処理方法 | |
JPWO2020004213A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231117 |