CN111730608B - 控制装置、机器人、控制方法以及存储介质 - Google Patents
控制装置、机器人、控制方法以及存储介质 Download PDFInfo
- Publication number
- CN111730608B CN111730608B CN202010083634.3A CN202010083634A CN111730608B CN 111730608 B CN111730608 B CN 111730608B CN 202010083634 A CN202010083634 A CN 202010083634A CN 111730608 B CN111730608 B CN 111730608B
- Authority
- CN
- China
- Prior art keywords
- robot
- state
- sensor
- microphone
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 230000001133 acceleration Effects 0.000 claims description 55
- 230000035945 sensitivity Effects 0.000 claims description 32
- 230000009471 action Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 description 29
- 230000008859 change Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000003127 knee Anatomy 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Toys (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供控制装置、机器人、控制方法以及存储介质。能对应于给定的对象对机器人的保持状态来合适地取得与给定的对象相关的信息。具备:设于机器人、用于检测与给定的对象相关的信息的前面麦克风(2)以及背面麦克风(3);判定给定的对象对机器人的保持状态的状态判定部(14);对应于由状态判定部(14)判定的机器人的保持状态来控制前面麦克风(2)以及背面麦克风(3)的检测状态或检测结果的麦克风控制部(13)。
Description
技术领域
本发明涉及运用在能由人保持并取得与人相关的信息的机器人的控制装置、控制方法以及存储介质。
背景技术
近年来,为了寻求治愈的人而提出取代宠物的机器人。例如在国际公开第2018/097089号中公开了构成为用户能抱着的机器人。专利文献1的自主行动型机器人分别在其内部设有麦克风,在眼的部分设有监视器,对应于在麦克风取得的用户的声音来生成眼图像,并将生成的眼图像显示在该监视器,由此提高机器人的眼睛的表现力。
在专利文献1的自主行动型机器人那样能抱着的机器人中,根据正被用户保持的机器人的保持状态不同,有时有可能不能在机器人的内部的麦克风合适地检测用户的声音。这样的不良状况并不限于用麦克风检测用户的声音的情况下,在其他适当的与用户相关的信息、例如用摄像机检测用户的表情的情况下也同样存在。
发明内容
本发明鉴于上述的事情而提出,目的在于,无论给定的对象对机器人的保持状态如何,都能合适地取得与给定的对象相关的信息。
为了达成上述目的,本发明所涉及的控制装置特征在于,具备:设于机器人、用于检测与给定的对象相关的信息的对象传感器;判定所述给定的对象对所述机器人的保持状态的第1判定单元;和对应于由所述第1判定单元判定的所述机器人的保持状态来控制所述对象传感器的检测状态或检测结果的控制单元。
发明的效果
根据本发明,无论给定的对象对机器人的保持状态如何,都能合适地取得与给定的对象相关的信息。
附图说明
图1A是表示本发明的实施方式所涉及的机器人的概略结构的主视图。
图1B是图1A所示的机器人的背面图。
图2是表示实施方式所涉及的机器人的控制装置的功能结构的框图。
图3是表示实施方式所涉及的麦克风/响应控制处理的流程图。
图4是表示实施方式所涉及的状态判定处理的流程图。
图5A是表示实施方式所涉及的机器人的举起状态的概念图。
图5B是表示实施方式所涉及的机器人的抱着状态的概念图。
图5C是表示实施方式所涉及的机器人的放膝盖上状态的概念图。
图5D是表示实施方式所涉及的机器人的被抚摸状态的概念图。
图5E是表示实施方式所涉及的机器人的待机状态的概念图。
图6是表示实施方式所涉及的麦克风控制处理的流程图。
附图标记的说明
1 机器人
2 前面麦克风
3 背面麦克风
4 扬声器
5 接触传感器
6 加速度传感器
7 陀螺仪传感器
10 控制装置
11 声音取得部
12 声音认识部
13 麦克风控制部
14 状态判定部
15 声音输出部
16 响应控制部。
具体实施方式
以下参考附图来说明本发明的实施方式。另外,对图中相同或相当的部分标注相同附图标记。
实施方式
图1A是表示本发明的实施方式所涉及的机器人的概略结构的主视图。图1B是图1A所示的机器人的背面图。机器人1具备配置于其前面的前面麦克风2、配置于其背面的背面麦克风3、扬声器4以及多个接触传感器5。例如前面麦克风2具有指向性,背面麦克风3没有指向性(无指向性)。机器人1用前面麦克风2或背面麦克风3捕捉给定的对象的发声,生成与发声相应的响应句并从扬声器4以声音输出。
机器人1对来自存在于自装置的外部的给定的对象的呼唤、接触等来自外部的刺激做出反应,进行各种动作。由此机器人1与给定的对象取得沟通,能与给定的对象进行交流。所谓给定的对象,是存在于机器人1的外部且成为与机器人1进行沟通以及交流的对方的对象。在给定的对象中例如包含机器人1的所有者即用户、用户的周围的人(用户的亲近者或友人等)以及其他机器人等。给定的对象也能称作沟通对象、沟通对方、交流对象、交流对方等。
机器人1目的在于,与给定的对象进行会话。机器人1是人能抱起的大小和轻重。机器人1除了图1A以及图1B所示以外还具备加速度传感器以及陀螺仪传感器。
在家庭中一起生活的沟通设备中,寻求:不会稍有声音就过度反应且不对不需要的声音做出反应的迟钝度;和对正在搭话的人的声音敏锐地做出反应的正确度。为此,在现有的沟通设备中,判定特定的关键词、是否是有意义的会话,并提前通过以麦克风/声音检测的控制、内部处理的变更来应对。但是,存在必须首先说出所决定的关键词的麻烦、和必须始终进行内部处理的等短板。
为此,实施方式的控制装置根据在接触传感器5、加速度传感器、陀螺仪传感器检测到的数据来判定机器人1的状态,对应于判定出的状态来控制前面麦克风2以及背面麦克风3的检测状态。
图2是表示实施方式所涉及的机器人的控制装置的功能结构的框图。控制装置10具备前面麦克风2、背面麦克风3、接触传感器5、加速度传感器6、陀螺仪传感器7、声音取得部11、声音认识部12、麦克风控制部13、状态判定部14、声音输出部15以及响应控制部16。控制装置10具备例如用于认识人的脸的摄像装置(摄像机)。
声音取得部11对根据给定的对象而从前面麦克风2或背面麦克风3输入的声音信号以给定的频率进行采样,进行A-D变换来生成声音数据。声音取得部11将声音数据送往声音认识部12。
声音认识部12从声音数据变换成表示出声内容的字符串,并对发声的句的意义进行解析。声音认识部12将表征解析出的句的意义的信息送往响应控制部16。响应控制部16对应于表征句的意义的信息来检索存储大量响应句的数据库,按每个发声的说话人取得适合发声的内容的响应句,送往声音输出部15。声音输出部15将从响应控制部16指示的响应句使用周知的声音合成技术变换成声音数据,将基于变换的声音数据的控制信号输入到扬声器4,由此对给定的对象以声音输出响应句。
状态判定部14被从接触传感器5、加速度传感器6以及陀螺仪传感器7输入各自检测到的数据。接触传感器5例如根据静电容的变化来检测给定的对象是否正在接触。加速度传感器6例如用静电容型或压电电阻型的3轴加速度传感器6来检测机器人1的3轴的加速度。3轴的加速度是相互正交的3方向的坐标轴(X,Y,Z)各个方向的加速度。陀螺仪传感器7例如使用压电振子或硅振子来检测机器人1的角速度。
状态判定部14基于接触传感器5、加速度传感器6以及陀螺仪传感器7的检测信号来判定机器人1的状态。在此,所谓机器人1的状态,是被给定的对象举起的状态、被抱着的状态、放置于手、膝或身体上的状态、正被抚摸的状态以及静止并未被接触的状态等。状态判定部14作为判定机器人1的保持状态的第1判定单元发挥功能,另外作为判定机器人1是否正被抚摸的第2判定单元发挥功能。
麦克风控制部13对应于状态判定部14中判定的机器人1的状态来控制前面麦克风2以及背面麦克风3的检测状态。在此,所谓检测状态,是指检测的开启/关闭、检测灵敏度的等级。麦克风控制部13例如切换前面麦克风2以及背面麦克风3各自的灵敏度,或切换开启/关闭。麦克风控制部13作为控制对象传感器即前面麦克风2以及背面麦克风3的检测状态的控制单元发挥功能。另外,前面麦克风2以及背面麦克风3的灵敏度由于决定由它们检测到的声音信号的电平,因此,控制前面麦克风2以及背面麦克风3的灵敏度,是控制它们的检测状态的单元之一。
控制装置10具备I/O接口、CPU(Central Processing Unit,中央处理器)、ROM(Read Only Memory,只读存储器)以及RAM(Random Access Memory,随机存取存储器)。CPU例如是微处理器等执行各种处理、运算的中央运算处理部。控制装置10通过在读出存储于ROM的控制程序并将RAM用作工作存储器的同时,用CPU执行控制程序,由此来控制前面麦克风2以及背面麦克风3的检测状态和机器人1的动作。
接下来参考图3来说明由控制装置10执行的麦克风/响应控制处理。麦克风/响应控制处理,在开始机器人1的控制后被启动,重复执行。首先,状态判定部14分别从接触传感器5取得接触数据,从加速度传感器6取得加速度数据,从陀螺仪传感器7取得角速度数据(步骤S301)。状态判定部14根据接触数据、加速度数据以及角速度数据来判定机器人1处于前述那样的状态的哪一者(步骤S302)。关于状态判定处理后述。
状态判定部14基于步骤S302中的状态判定的判定结果来判定机器人1的当前的状态是否从刚才的状态发生了变化(步骤S303)。在机器人1的状态发生了变化时(步骤S303“是”),基于机器人1的当前的状态来控制前面麦克风2以及背面麦克风3的检测状态(步骤S304),将刚才的状态置换成当前的状态(步骤S305)。然后从前面麦克风2以及背面麦克风3的至少一者输入声音信号,从声音信号取得声音数据(步骤S306)。若机器人1的当前的状态没有从刚才的状态发生变化(步骤S303“否”),则让麦克风控制和状态都不置换地取得声音数据(步骤S306)。
声音取得部11在取得声音数据(步骤S306)后,判别取得的声音数据的电平是否小于设定值(步骤S307)。在声音数据的电平小于设定值时(步骤S307“是”),判定为给定的对象未发声,并返回步骤S301,从接触数据取得起重复。
另一方面,在步骤S307中声音数据的电平为设定值以上时(步骤S307“否”),判定为给定的对象发声,并对在声音取得部11取得的(步骤S306中取得的)声音数据在声音认识部12中进行声音认识(步骤S308)。响应控制部16配合步骤S308中声音认识的内容来判断响应,选择响应句(步骤S309)。声音输出部15从扬声器4以声音输出步骤S309中选择的响应句(步骤S310)。若输出了响应,控制装置10就返回步骤S301,从接触数据取得起重复。
图4是表示实施方式所涉及的状态判定处理的流程图。图4的流程图表示图3的流程图的步骤S302的内容。在图4的说明中,将从来自加速度传感器6的加速度数据减去重力加速度得到的机器人1的移动的加速度(矢量)的绝对值仅称作加速度,将机器人1的角速度(矢量)的绝对值仅称作角速度。
状态判定部14判别上述的加速度(的绝对值)是否大于阈值TA(步骤S401)。若加速度大于阈值TA(步骤S401“是”),则状态判定部14判定为机器人1处于举起状态,并在表征机器人1的状态的变量(以下称作状态)设置“1”(步骤S405),结束本处理。
图5A表示机器人1的被举起的状态。举起状态是不使机器人1的姿态变化地向上举起的状态,是检测到加速度的状态。在举起状态中,设想为给定的对象有开始沟通的意思。
若在图4的步骤S401加速度为阈值TA以下(步骤S401“否”),就判别上述的角速度(机器人1的角速度的绝对值)是否大于阈值TV(步骤S402)。若加速度为阈值TA以下且角速度大于阈值TV(步骤S402“是”),状态判定部14就判别哪个接触传感器5的接触数据为起效(步骤S403)。若任意的接触数据为起效(步骤S403“是”),则状态判定部14判定为机器人1正被对象抱着,对状态设置“2”(步骤S406),并结束本处理。
图5B表示机器人1被给定的对象抱着的状态。在该抱着的状态中,机器人1与给定的对象的上身相接,处于被给定的对象的手保持的状态。这时,虽然机器人1的加速度小,但产生机器人1的角速度,由于机器人1由给定的对象的手保持,因此任意的接触传感器5的接触数据成为起效。在抱着的状态中,设想与给定的对象的积极的沟通。
在图4的步骤S403,若任何接触传感器5的接触数据都是失效(步骤S403“否”),则状态判定部14判定为机器人1被置于对象的手、膝或身体上的状态,对状态设置“3”(步骤S407),结束本处理。
图5C表示机器人被置于手、膝或身体上的状态。在机器人1被置于给定的对象的手、膝或身体上的状态中,虽然与抱着的状态同样地加速度小,但会产生角速度,由于给定的对象的手未接触,因此接触传感器5的接触数据都是失效。在该状态中,限定为给定的对象进行沟通的积极性小。
若在图4的步骤S402角速度为阈值TV以下(步骤S402“否”),则状态判定部14判别哪个接触传感器5的接触数据是起效(步骤S404)。若加速度为阈值TA以下、角速度为阈值TV以下且任意的接触数据为起效(步骤S404“是”),则状态判定部14判定为机器人1正在被对象抚摸,对状态置位“4”(步骤S408),结束本处理。
图5D表示机器人的被抚摸状态。在机器人1正被给定的对象抚摸的状态下,不产生加速度以及角速度,任意的接触传感器5的接触数据为起效的状态。一般所谓被覆膜,认为指的是伴随手的抚捋,仪是给定的对象的手置于机器人1的情况也可以包含在被抚摸状态中。在被抚摸状态中,设想给定的对象的积极的沟通。
若在图4的步骤S404中加速度为阈值TA以下、角速度为阈值TV以下且任何接触传感器5的接触数据都为失效(步骤S404“否”),则状态判定部14判定为机器人1是待机状态,并对状态设置“0”(步骤S409),结束本处理。
图5E表示机器人是待机状态。机器人1的待机状态是机器人1被放在地上或台上而静止、且给定的对象未接触机器人1的状态。这时,不产生加速度以及角速度,全部接触传感器5的接触数据都是失效。在待机状态中,设想为给定的对象不想积极沟通。
若结束了图4的状态判定处理,就返回图3的流程图,从步骤S303起重开麦克风/响应控制处理。另外,在成为控制装置10的电源开启的初期,机器人1的刚才的状态被设定为待机状态。
图6是表示实施方式所涉及的麦克风控制处理的流程图。图6的流程图表示图3的流程图的步骤S304的内容。表征状态的变量被从状态判定部14送往麦克风控制部13。麦克风控制部13对应于表征状态的变量的值来控制作为前面麦克风2以及背面麦克风3的检测状态的灵敏度。以下将表征状态的变量称作「状态」。
首先判别是否是状态=1(步骤S601)。若是状态=1(步骤S601“是”),由于机器人1处于举起状态,因此麦克风控制部13将前面麦克风2的灵敏度设定为“中”(步骤S605),将背面麦克风3的灵敏度设定为“中”(步骤S606),并结束麦克风控制。在机器人1处于举起状态的情况下,为了应对多样的举起方式、来自多方向的搭话,麦克风控制部13进行控制,将全部麦克风的灵敏度等级设定为作为通常等级的“中”,从而能应对各种搭话。
另一方面,若不是状态=1(步骤S601“否”),则判别是否是状态=2(步骤S602)。若是状态=2(步骤S602“是”),则由于机器人1处于抱着状态,因此将前面麦克风2的灵敏度设定为“高”(步骤S607),将背面麦克风3关闭(步骤S608),结束麦克风控制。在机器人1处于抱着状态的情况下,由于设想来自给定的对象搭话的机会的增加,因此对小的声音也敏感地做出反应,为了迟钝地应对与人紧贴的部分周围的声音,麦克风控制部13如此地仅将指向性的前面麦克风2的灵敏度提升为高的状态,将次要的背面麦克风3关闭。由此,控制前面麦克风2以及背面麦克风3的检测状态,使得仅对在一起的给定的对象的声音细腻地做出反应,不对无用的声音做出反应。
若既不是状态=1也不是状态=2(步骤S601“否”、步骤S602“否”),则判别是否是状态=3(步骤S603)。若是状态=3(步骤S603“是”),则由于机器人1处于被置于手、膝或身体上的状态,因此将前面麦克风2的灵敏度设定为“中”(步骤S609),将背面麦克风3的灵敏度设定为“中”(步骤S610),结束麦克风控制。在机器人1处于被置于给定的对象的手、膝或身体上的状态的情况下,作为虽然给定的对象在一起但并不采取积极的沟通的休息时间的应对,麦克风控制部13控制检测状态,将前面麦克风2以及背面麦克风3的灵敏度等级设定为作为通常等级的“中”,从而也能够应对偶尔的搭话。
若在步骤S603中不是状态=3(步骤S603“否”),则判别是否是状态=4(步骤S604)。若是状态=4(步骤S604“是”),则由于机器人1处于正被给定的对象抚摸的状态,因此将前面麦克风2的灵敏度设定为“高”(步骤S611),将背面麦克风3的灵敏度设定为“高”(步骤S612)。在机器人1处于被抚摸状态的情况下,由于机器人1在被置于台上或地上的状态下被给定的对象抚摸,因此对来自多方向的搭话敏感地做出反应,因此麦克风控制部13控制检测状态,将前面麦克风2以及背面麦克风3的灵敏度等级提升到高的状态,从而能应对各种搭话。
由于若步骤S604中不是状态=4(步骤S604“否”),就是状态=0,机器人1处于待机状态,因此将前面麦克风2的灵敏度设定为“低”(步骤S613),将背面麦克风3的灵敏度设定为“低”(步骤S614)。在机器人1处于待机状态的情况下,由于设想给定的对象不想积极沟通,因此控制检测状态,降低全部麦克风的灵敏度,从而不对周围的声音敏感地做出反应。另外,在成为控制装置10的电源开启的初期,前面麦克风2以及背面麦克风3的灵敏度被设定为与待机状态对应的“低”。
如以上说明的那样,根据实施方式的控制装置10,控制装置10具备前面麦克风2以及背面麦克风3,根据加速度传感器6中检测到的机器人1的加速度、陀螺仪传感器7中检测到的机器人1的角速度以及接触传感器5中检测到的给定的对象的接触的有无来由状态判定部14判定机器人1的保持状态,基于判定的状态来由麦克风控制部13控制前面麦克风2以及背面麦克风3各自的检测状态即灵敏度,因此能在各个保持状态下合适地对给定的对象的发声进行声音认识,并选择进行应对的响应句来输出。其结果,无论给定的对象对机器人1的保持状态如何,都能合适地取得与给定的对象相关的信息。
在实施方式的控制装置10中,根据保持或接触的状态来判定是否正被给定的对象寻求机器人1的反应,对应于此来控制麦克风、声音检测的等级,由此合适地取得与给定的对象相关的信息,以声音输出与其对应的响应句,因此给定的对象能毫无察觉地进行对自己而言舒适的声音沟通。机器人1另外能通过切换由机器人1相对于给定的对象的位置以及状态而控制的麦克风,来仅对真正需要的声音敏感地做出响应。
根据实施方式,由于能以给定的对象对机器人1的自然的动作进行控制,因此机器人1不需要作为内部处理而始终解析检测到的声音(发声)是否正作为沟通而在寻求应对。
另外,在实施方式中,通过对应于机器人1的保持状态来由麦克风控制部13设定前面麦克风2以及背面麦克风3的灵敏度,来控制前面麦克风2以及背面麦克风3的检测状态,但例如也可以取代控制前面麦克风2以及背面麦克风3各自的灵敏度以及开启/关闭,而是不将前面麦克风2或背面麦克风3中检测到的声音信号变换成声音数据,或者不将从前面麦克风2以及背面麦克风3的声音信号取得的声音数据送往声音认识部12,从而不将前面麦克风2以及背面麦克风3各自的声音信号用在声音认识中,由此控制前面麦克风2以及背面麦克风3各自的检测结果。或者也可以,取代使前面麦克风2以及背面麦克风3的灵敏度变化来控制检测状态,而是使前面麦克风2以及背面麦克风3各自的声音信号增大或减少(包含振幅=0),来控制前面麦克风2以及背面麦克风3各自的检测结果。
在实施方式中,机器人1的控制装置10具备前面麦克风2以及背面麦克风3,根据加速度传感器6中检测到的加速度、陀螺仪传感器7中检测到的角速度以及接触传感器中检测到的接触的有无来由状态判定部14判定机器人1的保持状态,基于判定的保持状态来由麦克风控制部13控制前面麦克风2以及背面麦克风3各自的灵敏度,但除了该结构以外还能有各种变形。例如控制装置10所具备的麦克风并不限于2个,也可以具备1个或3个以上麦克风,并控制各自的检测状态或检测结果。另外,也可以让控制装置10具备立体声麦克风,对给定的对象相对于机器人1的方位进行估计。
控制装置10可以除了具备麦克风以外还具备摄像装置(摄像机)作为控制检测状态或检测结果的对象传感器。能使用摄像装置捕捉给定的对象的表情、姿态或活动,生成与其相应的沟通。在具备摄像装置的情况下,能根据机器人1的状态来控制多个摄像装置的切换、摄像装置各自的开启/关闭、视角的广窄、以及摄像装置的朝向等。另外,可以根据摄像装置的图像掌握给定的对象的位置,对应于给定的对象的位置来控制麦克风的检测状态或检测结果。
检测机器人1的保持以及接触的状态的并不限于加速度传感器6、陀螺仪传感器7以及接触传感器5。除了前述的摄像装置以外还具备例如红外线传感器,来掌握给定的对象相对于机器人1的位置,能对应于给定的对象的位置来控制麦克风的检测状态或检测结果。
变形例.
判定机器人1的状态的并不限于图4所示的状态判定处理。例如能如以下那样判定保持状态。
首先,在加速度传感器6中检测的值不变化且陀螺仪传感器7中检测的角速度为0的状态持续了一定时间时,状态判定部14判定为机器人1正静止。将这时的加速度(矢量)设为重力加速度(矢量)来设定重力加速度相对于加速度传感器6的坐标轴的方向。重力加速度相对于坐标轴的方向、或者反过来坐标轴相对于重力加速度的朝向表征机器人1的姿态。
状态判定部14对从静止状态的时刻T0到当前时刻t为止陀螺仪传感器7中检测到的角速度进行积分,来测量从T0到t为止的方位变化θ(t)。根据从静止时刻T0到当前时刻t为止的方位变化θ(t)将加速度传感器6的值(矢量)变换成静止状态的坐标,减去重力加速度,能算出时刻t的移动的加速度(矢量)a(t)。
状态判定部14从静止时刻T0到当前时刻t为止对移动的加速度a(t)进行积分来得到时刻t的速度v(t)。从T0到t为止对速度v(t)进行积分来得到从T0到t为止的位移x(t)。在速度v成为0时(时刻T1),能判定为静止。在时刻T1静止并且加速度传感器6中检测的值不变化且角速度=0的状态持续一定时间时,再设定重力加速度(矢量)=姿态(误差补正)。
在静止状态(时刻T0),在移动的加速度a以及角速度的至少一者中检测到不是0的值,或者在接触传感器5中检测到变化后再度成为静止状态时(时刻T1),状态判定部14判定机器人1的状态。状态判定部14根据从刚才的静止(时刻T0)到当前的静止(时刻T1)为止之间的位移x(T1)以及方位变化θ(T1)、和时刻T1的接触传感器5的接触数据的起效/失效(ON/OFF)(接触有无),来判定机器人1的状态。状态的判定条件例如如以下那样。
(1)有位移、无方位变化、有接触:状态=移动&被抚摸(保持)
(2)有位移、无方位变化、无接触:状态=移动
(3)有位移、有方位变化、有接触:状态=抱着
(4)有位移、有方位变化、无接触:状态=手、膝、身体上
(5)无位移、无方位变化、有接触:状态=被抚摸
(6)无位移、无方位变化、无接触:状态=待机
(6)的状态=待机由于认为是从状态=被抚摸的变化,因此在一定时间检测不到给定的对象的发声时过渡到待机状态。
通常不考虑无位移且有方位变化的条件,但也可以将该情况包含在状态=移动中。即如以下那样。
(7)无位移、有方位变化、有接触:状态=移动&被抚摸
(8)无位移、有方位变化、无接触:状态=移动
在(5)的无位移、无方位变化且无接触的判定中,在仅接触传感器5成为开启的情况下,立即或在确定检测的时间之后判定为状态=被抚摸。另外,在(2)状态=移动以及(8)状态=移动之后没有加速度变化、角速度变化以及接触变化、没有给定的对象者的发声的状态持续了一定时间的情况下,过渡到待机状态。
另外,在不管机器人1处于哪种状态下都检测到给定的对象者的发声的情况下,麦克风控制部13将前面麦克风2以及背面麦克风3各自设定成为能认识发声的适度的灵敏度。在该状态下结束会话、且一定时间检测不到给定的对象者的发声时,控制装置10恢复到原本的状态。
如上述那样,状态判定之后对应于状态来控制麦克风,是与实施方式同样。根据变形例,在活动期间状态不变化,动作稳定。
变形例中,可以进一步与基于加速度或角速度的状态判定进行组合。状态判定部14例如在从静止状态(T0)起在移动的加速度a以及角速度的至少一者中检测到不是0的值时,将机器人1的状态判定为移动中,之后直到成为静止状态(速度=0)为止都维持状态=移动中。对于状态=移动中,麦克风控制部13与例如实施方式的举起状态同样地将前面麦克风2以及背面麦克风3的灵敏度设定为“中”。在从状态=移动中变为静止状态时(时刻T1),状态判定部14根据上述的(1)~(8)的条件来判定机器人1的状态。
如此地,通过与基于加速度或角速度的状态判定组合,即使是移动中或方位发生变化时,也能合适地控制前面麦克风2以及背面麦克风3的检测状态或检测结果。
除了以上的结构的变化以及变形例以外,还能有各种变形和派生。例如机器人1的形状并不限于图1A以及图1B所示的形状。例如还能做出以狗或猫为首模仿宠物的形状。机器人1另外也可以是玩偶、动画等的角色的形状。
或者进一步地,机器人1可以是显示于智能手机或平板电脑等的画面的虚拟角色。在机器人1是虚拟角色的情况下,状态判定部14能根据智能手机或平板电脑的加速度以及角速度、和对显示于画面上的虚拟角色部分的接触等来判定作为机器人1的虚拟角色的保持状态。在该情况下,控制装置10能由安装于智能手机或平板电脑的应用程序实现。
控制装置10对给定的对象做出的响应的手段并不限于以声音输出响应句,也可以是机器人1所具备的头、手或臂等的动作。进行响应的手段另外也可以是活动眉、眼、鼻、口等来改变脸的表情或改变显示器式的眼的显示方式的手段。在以声音输出响应句的情况下,也可以对应于机器人1的保持状态来使出声的声音、语调、节奏等变化,从而让声音带上表情。
控制装置10也可以取代CPU而具备例如ASIC(Application Specific IntegratedCircuit,特定用途集成电路)、FPGA(Field-Programmable Gate Array)、或各种控制电路等专用的硬件,专用的硬件作为图2所示的各部而发挥功能。在该情况下,可以用个别的硬件实现各部的功能,也可以用单一的硬件汇总实现各部的功能。另外,可以将各部的功能当中一部分用专用的硬件实现,将其他一部分用软件或固件实现。
实现控制装置10的各功能的程序例如能存放于软盘、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc,数字多功能盘)-ROM、存储卡等计算机可读的存储介质来运用。进而还能将程序叠加在载波中,经由因特网等通信介质来运用。例如也可以在通信网络上的公告板(BBS:Bulletin Board System)公告程序来进行发布。而且,可以构成为启动该程序,在OS(Operating System,操作系统)的控制下与其他应用程序同样地执行,从而能执行上述的处理。
以上说明了本发明的优选的实施方式,但本发明并不限定于相关的特定的实施方式,在本发明中包含记载于权利要求书的发明和其等同的范围。
Claims (10)
1.一种控制装置,具备:
设于机器人、用于检测与给定的对象相关的信息的对象传感器;
判定所述给定的对象对所述机器人的保持状态的第1判定单元;
第2判定单元,在由所述第1判定单元判定为所述给定的对象未对所述机器人进行保持的情况下,判定所述给定的对象是否正对所述机器人进行抚摸;和
控制单元,在由所述第2判定单元判定为所述给定的对象正对所述机器人进行抚摸的情况下,进行控制使得与判定为未对所述机器人进行抚摸的情况相比提高作为所述对象传感器的检测状态的灵敏度。
2.根据权利要求1所述的控制装置,
所述对象传感器由与所述机器人的相互不同的多个部位对应而设的多个对象传感器构成,
所述控制单元对应于所述机器人的保持状态来控制作为所述多个对象传感器各自的检测状态的开启/关闭和灵敏度的至少一方。
3.根据权利要求1所述的控制装置,
所述第1判定单元判定是否正由所述给定的对象保持所述机器人,
所述控制单元进行控制,使得在判定为正由所述给定的对象保持所述机器人的情况下,和判定为未由所述给定的对象保持所述机器人的情况下,使所述对象传感器的检测状态或检测结果相互不同。
4.根据权利要求1所述的控制装置,
所述第1判定单元判定正被所述给定的对象保持的所述机器人的保持状态的种类,
所述控制单元对应于由所述第1判定单元判定的所述机器人的保持状态的种类来控制所述对象传感器的检测状态或检测结果。
5.根据权利要求1所述的控制装置,
所述对象传感器包含:检测所述给定的对象的声音的麦克风。
6.根据权利要求1所述的控制装置,
所述控制装置还具备:与所述对象传感器不同的检测所述机器人的加速度的加速度传感器、检测所述机器人的角速度的陀螺仪传感器以及检测给定的对象对所述机器人的接触的接触传感器当中至少1个传感器,
所述第1判定单元基于所述至少1个传感器的检测结果来判定所述给定的对象对所述机器人的保持状态。
7.根据权利要求1所述的控制装置,
所述机器人构成为能执行给定的动作,
所述控制单元对应于所述被控制的所述对象传感器的检测状态或检测结果来控制所述机器人的所述给定的动作。
8.一种机器人,具备权利要求1~7中任一项所述的控制装置。
9.一种控制方法,是机器人的控制方法,所述机器人设有用于检测与给定的对象相关的信息的对象传感器,所述控制方法,具备:
判定所述给定的对象对所述机器人的保持状态的第1判定步骤;
第2判定步骤,在由所述第1判定步骤判定为所述给定的对象未对所述机器人进行保持的情况下,判定所述给定的对象是否正对所述机器人进行抚摸;和
控制步骤,在由所述第2判定步骤判定为所述给定的对象正对所述机器人进行抚摸的情况下,进行控制使得与判定为未对所述机器人进行抚摸的情况相比提高作为所述对象传感器的检测状态的灵敏度。
10.一种存储介质,是非临时的存储介质,存储程序,所述程序使用于控制设有用于检测与给定的对象相关的信息的对象传感器的机器人的计算机作为如下单元发挥功能:
判定所述给定的对象对所述机器人的保持状态的第1判定单元;
第2判定单元,在由所述第1判定单元判定为所述给定的对象未对所述机器人进行保持的情况下,判定所述给定的对象是否正对所述机器人进行抚摸;以及
控制单元,在由所述第2判定单元判定为所述给定的对象正对所述机器人进行抚摸的情况下,进行控制使得与判定为未对所述机器人进行抚摸的情况相比提高作为所述对象传感器的检测状态的灵敏度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310619608.1A CN116442242A (zh) | 2019-03-25 | 2020-02-07 | 控制装置、机器人、机器人的控制方法以及记录介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-056936 | 2019-03-25 | ||
JP2019056936A JP7024754B2 (ja) | 2019-03-25 | 2019-03-25 | 制御装置、ロボット、制御方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310619608.1A Division CN116442242A (zh) | 2019-03-25 | 2020-02-07 | 控制装置、机器人、机器人的控制方法以及记录介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111730608A CN111730608A (zh) | 2020-10-02 |
CN111730608B true CN111730608B (zh) | 2023-06-20 |
Family
ID=72640379
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310619608.1A Pending CN116442242A (zh) | 2019-03-25 | 2020-02-07 | 控制装置、机器人、机器人的控制方法以及记录介质 |
CN202010083634.3A Active CN111730608B (zh) | 2019-03-25 | 2020-02-07 | 控制装置、机器人、控制方法以及存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310619608.1A Pending CN116442242A (zh) | 2019-03-25 | 2020-02-07 | 控制装置、机器人、机器人的控制方法以及记录介质 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7024754B2 (zh) |
CN (2) | CN116442242A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7188485B2 (ja) * | 2021-03-25 | 2022-12-13 | カシオ計算機株式会社 | 電子機器 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3566646B2 (ja) * | 2000-10-31 | 2004-09-15 | 株式会社国際電気通信基礎技術研究所 | 音楽コミュニケーション装置 |
JP4407056B2 (ja) * | 2001-01-30 | 2010-02-03 | 日本電気株式会社 | ロボット、その制御方法およびプログラム |
JP2003311028A (ja) * | 2002-04-26 | 2003-11-05 | Matsushita Electric Ind Co Ltd | ペットロボット装置 |
JP3885019B2 (ja) * | 2002-11-29 | 2007-02-21 | 株式会社東芝 | セキュリティシステム及び移動ロボット |
JP3942586B2 (ja) * | 2003-12-02 | 2007-07-11 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
WO2013168364A1 (ja) * | 2012-05-09 | 2013-11-14 | テルモ株式会社 | 言語療法ロボット |
KR101458312B1 (ko) * | 2013-06-20 | 2014-11-04 | 한국과학기술원 | 소리를 이용한 터치 압력 센싱 방법, 그리고 이를 이용하는 사용자 단말 및 터치 압력 센싱 시스템 |
WO2017169826A1 (ja) * | 2016-03-28 | 2017-10-05 | Groove X株式会社 | お出迎え行動する自律行動型ロボット |
CN109475781B (zh) * | 2016-07-20 | 2020-12-25 | Groove X 株式会社 | 理解物理接触的行为自主型机器人 |
JP6671577B2 (ja) * | 2016-11-07 | 2020-03-25 | Groove X株式会社 | 人を識別する自律行動型ロボット |
CN106799736A (zh) * | 2017-01-19 | 2017-06-06 | 深圳市鑫益嘉科技股份有限公司 | 一种机器人的交互触发方法和机器人 |
JP6572943B2 (ja) * | 2017-06-23 | 2019-09-11 | カシオ計算機株式会社 | ロボット、ロボットの制御方法及びプログラム |
CN107765891B (zh) * | 2017-10-19 | 2021-12-21 | 广东小天才科技有限公司 | 一种麦克风的控制方法及麦克风 |
JP6575637B2 (ja) * | 2018-05-25 | 2019-09-18 | カシオ計算機株式会社 | ロボット、ロボットの制御方法及びプログラム |
-
2019
- 2019-03-25 JP JP2019056936A patent/JP7024754B2/ja active Active
-
2020
- 2020-02-07 CN CN202310619608.1A patent/CN116442242A/zh active Pending
- 2020-02-07 CN CN202010083634.3A patent/CN111730608B/zh active Active
-
2022
- 2022-02-07 JP JP2022017099A patent/JP7435641B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7435641B2 (ja) | 2024-02-21 |
JP2022060288A (ja) | 2022-04-14 |
CN111730608A (zh) | 2020-10-02 |
JP7024754B2 (ja) | 2022-02-24 |
CN116442242A (zh) | 2023-07-18 |
JP2020156607A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11338429B2 (en) | Robot | |
KR20190022109A (ko) | 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치 | |
US11416080B2 (en) | User intention-based gesture recognition method and apparatus | |
KR102463806B1 (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
KR20200050235A (ko) | 전자 장치 및 그의 지능형 인터랙션 방법 | |
US10576633B2 (en) | Communication device | |
US11656837B2 (en) | Electronic device for controlling sound and operation method therefor | |
US20210383806A1 (en) | User input processing method and electronic device supporting same | |
WO2021008458A1 (en) | Method for voice recognition via earphone and earphone | |
KR102512614B1 (ko) | 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법 | |
CN111421557A (zh) | 电子装置及其控制方法 | |
CN111859332A (zh) | 电子装置、利用电子装置中的输入单元的方法、存储介质 | |
KR20220106643A (ko) | 소리 데이터에 기초하여 제어되는 전자 장치 및 소리 데이터에 기초하여 전자 장치를 제어하는 방법 | |
CN111730608B (zh) | 控制装置、机器人、控制方法以及存储介质 | |
US11169769B2 (en) | Electronic device and volume adjustment method of electronic device | |
US11363189B2 (en) | Apparatus and method for recognizing voice and face on basis of change in camera driving method | |
WO2016206646A1 (zh) | 使机器装置产生动作的方法及系统 | |
CN113766127A (zh) | 移动终端的控制方法及装置、存储介质及电子设备 | |
JP6798258B2 (ja) | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム | |
CN110262767B (zh) | 基于靠近嘴部检测的语音输入唤醒装置、方法和介质 | |
WO2023006033A1 (zh) | 语音交互方法、电子设备及介质 | |
US11262850B2 (en) | No-handed smartwatch interaction techniques | |
KR102446637B1 (ko) | 음향 출력 시스템 및 음성 처리 방법 | |
CN116061210A (zh) | 信息处理装置、信息处理方法和计算机存储介质 | |
US11997445B2 (en) | Systems and methods for live conversation using hearing devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |