CN111055291B - 引导机器人系统和引导方法 - Google Patents

引导机器人系统和引导方法 Download PDF

Info

Publication number
CN111055291B
CN111055291B CN201910951048.3A CN201910951048A CN111055291B CN 111055291 B CN111055291 B CN 111055291B CN 201910951048 A CN201910951048 A CN 201910951048A CN 111055291 B CN111055291 B CN 111055291B
Authority
CN
China
Prior art keywords
language
unit
reliability
voice
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910951048.3A
Other languages
English (en)
Other versions
CN111055291A (zh
Inventor
大竹晋资
本桥弘光
高野安司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Building Systems Co Ltd
Original Assignee
Hitachi Building Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Building Systems Co Ltd filed Critical Hitachi Building Systems Co Ltd
Publication of CN111055291A publication Critical patent/CN111055291A/zh
Application granted granted Critical
Publication of CN111055291B publication Critical patent/CN111055291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种引导机器人系统和引导方法,其基于用户的说话内容将引导服务所使用的语言变更为用户使用的语言。是使用多个语言的会话的引导机器人系统,其具备:取得声音的声音取得部;对于取得的声音进行多个语言的声音识别的声音识别部;对于取得的声音计算多个语言的可靠度的可靠度计算部。另外,还具备:将多个语言的声音识别结果与事先登记的关键词进行对照来得到一致的语言的关键词对照部;基于多个语言的可靠度来确定由声音取得部取得的声音的语言的语言选择部;以及基于可靠度切换会话内容的会话处理部。

Description

引导机器人系统和引导方法
技术领域
本发明涉及引导机器人系统和引导方法。
背景技术
以往,在机器人进行引导服务的情况下,引导机器人说话、识别的语言使用在引导机器人中设定的语言,通过与该设定的语言不同的语言进行会话的用户难以利用机器人的引导服务。
针对一般的语言的切换方法,提出有如下的技术:通过电子词典那样的装置接收声音输入,对输入的声音进行声音识别并进行文本化,将该结果与预先针对每种语言登记的文本进行比较,向一致的语言进行切换(例如,参照专利文献1)。
另外,关于机器人的语言的切换方法,提出了如下的技术:通过与多种语言对应的声音识别部识别声音,计算针对该识别结果的可靠度,向可靠度最高的语言进行切换(例如,参照专利文献2)。
然而,在专利文献1所记载的技术中,机器人仅能够通过预先登记的数据进行语言的切换。因此,在用户说出了未登记的内容的情况下,无法切换语言,利用不同的语言进行会话的用户难以利用机器人的引导服务。
另外,在专利文献2所记载的技术中,在多种语言的声音识别的可靠度均低的情况下,存在错误地确定语言的可能性增高的问题。即为在周围的噪音多、说话音量小、或者说话不清楚等情况下,声音识别的可靠度降低的问题。
专利文献1:日本特开2001-282788号公报
专利文献2:日本特开2018-087945号公报
发明内容
本发明的目的在于,提供一种即便在周围的噪音等多的情况下,也能够将用户的说话内容与预先登记的数据进行比较,将引导服务所使用的语言正确地切换为用户使用的语言的引导机器人系统和引导方法。
为了解决上述课题,本申请包含多个用于解决上述课题的手段,若列举其一个例子,则本发明的引导机器人系统是使用多个语言的会话进行引导服务的引导机器人系统,其具备:取得声音的声音取得部、对于声音取得部取得的声音进行多个语言的声音识别的声音识别部、以及对于声音取得部取得的声音计算多个语言的可靠度的可靠度计算部。
另外,具备:关键词对照部,其将声音识别部获得的多个语言的声音识别结果与事先登记的关键词进行对照,获得一致的语言;语言选择部,其基于可靠度计算部获得的多个语言的可靠度,确定声音取得部取得的声音的语言;以及会话处理部,其基于可靠度计算部获得的可靠度切换会话内容。
根据本发明,即便在多个语言的声音识别的可靠度均低于阈值的情况下,也能够基于与预先登记的数据的一致来顺利地实现语言的切换。
通过说明以下的实施方式,上述以外的课题、结构以及效果变得清楚。
附图说明
图1是本发明第1实施例的整个引导机器人系统的结构图。
图2表示本发明第1实施例中使用的机器人的构成例。
图3表示本发明第1实施例中使用的机器人管理服务器的构成例。
图4表示本发明第1实施例中使用的机器人控制装置的构成例。
图5表示本发明第1实施例的包含语言选择在内的会话功能的一个例子。
图6是对本发明第1实施例中的进行语言切换来执行会话的处理进行说明的流程图的例子。
图7表示本发明第1实施例中使用的关键词表的例子。
图8表示本发明第1实施例中使用的封闭式问题会话表的例子。
图9表示本发明第1实施例中使用的开放式问题会话表的例子。
具体实施方式
<引导机器人系统的全体结构>
以下,参照附图对本发明实施例(以下,称为“本例”)的引导机器人系统及其语言选择方法进行说明。
图1表示整个引导机器人系统的结构例。引导机器人系统1由机器人100、机器人控制装置200以及经由网络与机器人控制装置200连接的机器人管理服务器300构成。
本例的引导机器人系统1是机器人100使用多个语言进行引导服务的系统。将机器人100与机器人控制装置200通过无线通信连接,并配置在执行引导服务的建筑物2的用地内。机器人100从机器人控制装置200接收控制命令,执行向用户介绍建筑物2内的设备、承租人的场所、承租人提供的商品和服务、建筑物2周边的设施等的引导服务。
在图1中示出了对于建筑物2,1台机器人控制装置200控制1台机器人100的例子,但可以通过1台机器人控制装置200控制多台机器人100,另外,也可以在建筑物2的内部设置多台机器人控制装置200。
另外,当在建筑物2内配置有多个机器人100的情况下,各个机器人100也可以进行不同的引导服务。
机器人控制装置200经由网络3与机器人管理服务器300连接。在图1中,仅一个建筑物2的机器人控制装置200与机器人管理服务器300连接,但是可以将多个建筑物2内配置的机器人控制装置200与机器人管理服务器300连接。
机器人管理服务器300对在哪个建筑物2配置了哪个机器人100进行管理,并且对各机器人100是否正常动作、是否需要维修等状态进行管理。这样,机器人管理服务器300对机器人100进行管理,由此管理者能够尽快地应对机器人100需要维修的情况等。
<机器人的结构例>
图2是表示机器人100的结构例。机器人100具备:CPU(Central Processing Unit)110、存储装置120、输入输出装置130以及通信接口140。
CPU110进行机器人100的各部的处理的控制。在存储装置120中存储有各种软件模块、数据。
存储装置120具备:控制驱动机构的驱动控制部121、控制会话的会话控制部122、进行与输入输出装置130的数据输入输出的输入输出部123。
输入输出装置130具备对周围的影像、图像进行拍摄的照相机131和收集周围的声音的麦克风132。另外,输入输出装置130具备:检测机器人100的倾斜、旋转等姿势的陀螺仪传感器133;测定与周围物体的距离的测域传感器134;发出声音的扬声器135;以及进行机器人100的移动、使关节可动的驱动机构136。
通信接口140取得来自输入输出装置130的照相机131的影像、来自麦克风132的声音,并发送给机器人控制装置200。另外,通信接口140接收来自机器人控制装置200的控制命令。
机器人100基于由通信接口140接收到的来自机器人控制装置200的控制指令,控制驱动控制部121、会话控制部122以及输入输出部123来执行引导服务。
另外,机器人100当从机器人控制部200接受了移动的指示时,通过驱动机构135在建筑物2内移动。然后,机器人100在移动过程中基于来自测域传感器134的信号检测障碍物,通过驱动控制部121自主地停止移动、躲避障碍物。
<管理服务器的结构例>
图3表示机器人管理服务器300的结构例。机器人管理服务器300具备:CPU310、包含机器人配置管理部321的存储装置320以及通信接口330。
机器人管理服务器300经由通信接口330与机器人控制装置200连接,经由机器人控制装置200通过机器人配置管理部321管理各机器人的状态。
<机器人控制装置的结构例>
图4表示机器人控制装置200的结构例。机器人控制装置200具备:控制各部的处理的CPU210;存储各软件模块、表等数据的存储装置220;与机器人100和机器人管理服务器300相互进行通信的通信接口211。
CPU210读出存储在存储装置220的程序,由此执行各种控制功能。即,CPU210读出存储在存储装置220的程序,由此实现作为输入输出数据处理部230、服务流程处理部240、面对面检测部250、声音处理部260、语言选择部270、会话处理部280、移动指示部290而表示的各功能。
输入输出数据处理部230包含声音取得部231、声音输出部232、图像取得部233、动作输出部234、测域数据取得部235、错误输入输出部236。
该输入输出数据处理部230是进行从机器人100接收到的数据的处理以及向机器人100和机器人管理服务器300发送的数据的处理的部分。
声音取得部231对从机器人100接收到的声音数据进行处理,声音输出部232针对为了使机器人100说话而发送的声音数据进行处理。
图像取得部233对从机器人100接收到的图像数据进行处理,动作输出部234进行用于输出使机器人100运转的数据的处理。
另外,测域数据取得部235对从机器人100接收到的测域传感器的输出进行处理,错误输出部进行与向机器人管理服务器300发送的与错误日志有关的数据的处理。
服务流程处理部240基于在图6中后述的服务流程执行引导服务。
面对面检测部250检测机器人100前存在面对面的人。即,面对面检测部250取得从机器人100的照相机131和测域传感器134获得的图像信息和障碍物信息,基于这些信息检测机器人100是否与用户成为面对面状态。
在本例的引导机器人系统中,在机器人100与用户成为面对面状态的期间进行引导服务,若用户从机器人100离开而不是面对面状态,则中止引导服务。此外,在机器人100以错误的语言开始了引导服务的情况下,用户从机器人100前离开而变得不是面对面状态,因此中止机器人100的引导服务。
<包含声音选择的会话功能的例子>
图5表示本例的引导机器人系统中的包含语言选择在内的会话功能的一个例子,示出了声音处理部260、语言选择部270以及会话处理部280的功能。
声音处理部260具备:第一语言声音处理部261、第二语言声音处理部262以及第三语言声音处理部263。
第一语言声音处理部261例如是处理日语的处理部,包含第一语言声音识别部2611和第一语言可靠度计算部2612。
第二语言声音处理部262例如是处理英语的处理部,包含第二语言声音识别部2621和第二语言可靠度计算部2622。
第三语言声音处理部263例如是处理中国语的处理部,包含第三语言声音识别部2631和第三语言可靠度计算部2632。
将机器人控制装置200(图4)的声音取得部231从机器人100取得的声音数据提供给第一语言声音处理部261、第二语言声音处理部262以及第三语言声音处理部263,进行三个语言的并行处理。
第一语言声音处理部261通过第一语言声音识别部2611对声音数据进行声音识别,利用作为第一语言的日语进行文本化,通过第一语言可靠度计算部2612计算其可靠度。
第二语言声音处理部262通过第二语言声音识别部2621对声音数据进行声音识别,利用作为第二语言的英语进行文本化,通过第二语言可靠度计算部2622计算其可靠度。
第三语言声音处理部263通过第三语言声音识别部2631对声音数据进行声音识别,利用作为第三语言的中国语进行文本化,通过第三语言可靠度计算部2632计算其可靠度。
可靠度是通过0~1之间的数值而决定的,“0”是一致性最低的值,“1”是一致性最高的值。例如,若用户讲的语言是日语,则由第一语言可靠度计算部2612计算出的可靠度成为接近“1”的值,由对英语进行处理的第二语言可靠度计算部2622和对中国语进行处理的第二语言可靠度计算部2632计算出的可靠度成为接近“0”的值。但是,实际上,用户讲的语言未被识别为日语、英语或者中国语这样的特定的语言的情况也较多,很多时候将可靠度计算为0~1之间的数值。
关于针对该声音识别结果的可靠度的研究,作为声音识别的后处理,作为是接受还是拒绝识别结果的说话验证问题进行了研究。在该研究中,对于输入的声音,需要输出最大似然的单词串的处理,因此需要阈值,该阈值成为用于判定正确的识别结果与识别错误的尺度。例如,在以0~1的范围表现可靠度的情况下,还考虑将阈值设定为0与1的中间的值,即例如0.5那样的值。
在该可靠度的计算方法中,考虑几个方法,例如已知驹谷、河原著“音声認識結果の信頼度を用いた効率的な確認·誘導を行う対話処理(使用声音识别结果的可靠度进行高效的确认、引导的对话处理)”(情報処理学会論文誌,Vol.43,No.10,pp3078-3086)。
语言选择部270包含关键词对照部271、可靠度比较部272、选择语言存储部273、关键词表274。
关键词对照部271将各语言的声音识别结果的文本与登记在关键词表274的各语言的关键词进行对照,求出一致的关键词及其语言。可靠度比较部272对各语言的可靠度进行比较,求出可靠度最高的语言。在选择语言存储部273中存储关键词对照部271的比较结果、关键词一致的语言,并且存储由可靠度比较部272求出的可靠度最高的语言。
会话处理部280包含第一语言会话生成部281、第二语言会话生成部282、第三语言会话生成部283、封闭式问题会话表284、开放式问题会话表285。
在此,所谓封闭式问题形式的会话是指用于进行限定了回答范围的提问的会话形式,所谓开放式问题形式的会话是指用于进行不对回答设置限制使对方自由回答的提问的会话形式。通过进行封闭式问题形式的会话,期待用户以语言选择部270的选择语言存储部273中存储的语言进行说话。
第一语言会话生成部281对于输入的文本,基于封闭式问题会话表284或开放式问题会话表285,生成第一语言(例如,日语)的系统发声。所谓系统发声是指机器人产生的声音(发声)。
第二语言会话生成部282对于输入的文本,基于封闭式问题会话表284或开放式问题会话表285,生成第二语言(例如,英语)的系统发声。
第三语言会话生成部283对于输入的文本,基于封闭式问题会话表284或开放式问题会话表285,生成第三语言(例如,中国语)的系统发声。
如在图8中后述那样,在封闭式问题会话表284中登记了与选择语言相对的系统发声。换句话说,在封闭式问题会话表284中,作为系统发声登记了对用户的响应发声进行限定的提问(封闭式问题)。
如在图9中后述那样,在开放式问题会话表285中登记了与选择语言以及用户发声相对的系统发声和会话结束标志。换句话说,在开放式问题会话表285中,作为系统发声登记了不限定用户的发声响应的提问(开放式问题)。会话结束标志是表示继续进行会话还是结束会话的标志,在为“假”的情况下继续会话,在为“真”的情况下结束会话。关于与开放式问题的最初的提问相对的会话结束标志,因为需要继续会话,因此全部为“假”。
此外,在本例的引导机器人系统中,示出了应对日语、英语、中国语这样的3种语言的应对例,但也能够构成为应对2种语言或4种语言以上。
声音输出部232将会话处理部280生成的系统发声发送至机器人100,使机器人100以第一语言、第二语言或第三语言中的某个语言进行说话。
<包含语言选择的会话的流程图>
图6是表示本例的引导机器人系统1的处理中的包含针对国际机场用户选择语言在内的会话处理的一个例子的流程图。此外,用户与机器人100面对面,机器人控制装置200进行面对面检测,由此开始会话处理。
首先,机器人控制装置200等待声音取得部231取得来自机器人100的声音(S1)。当在步骤S1中取得了声音(S1为是)时,在第一语言声音处理部261的第一语言声音识别部2611中,以第一语言(例如,日语)进行声音识别(S2),并通过第一语言可靠度计算部2612计算第一语言的可靠度(S3)。在此,在由机器人控制装置200识别出用户讲第一语言(日语)时,由第一语言可靠度计算部2612计算出的可靠度成为接近“1”的高的值。
另外,同时,在第二语言声音处理部262的第二语言声音识别部2621中,以第二语言(例如,英语)进行声音识别(S4),通过第二语言可靠度计算部2622计算第二语言的可靠度(S5)。同样地,在第三语言声音处理部263的第三语言声音识别部2631中,以第三语言(例如,中国语)进行声音识别(S6),通过第三语言可靠度计算部2632计算第三语言的可靠度(S7)。
此外,在由机器人控制装置200识别出用户讲第一语言(日语)时,第二语言可靠度计算部2622以及第三语言可靠度计算部2632计算出的可靠度成为接近“0”的低的值。
此外,当在步骤S1中未取得声音的情况下(S1为否),待机至对于机器人100输入声音。
当在步骤S2~步骤S7进行了第一语言至第三语言的声音识别和可靠度计算时,关键词对照部271对于各语言的声音识别结果是否与关键词表274中登记的关键词一致进行对照(S8)。
当在步骤S8的关键词对照部271的处理中,与第一至第三任何语言的关键词均不一致的情况下(S8为否),对于第一语言至第三语言通过可靠度比较部272判定是否存在可靠度为阈值以上的语言(S9)。
当在步骤S9中判定为不存在可靠度为预定的阈值以上的语言时(S9为否),通过可靠度比较部272对各语言的可靠度进行比较,将可靠度最高的语言存储在选择语言存储部273(S10)。
此外,阈值能够设定为0~1之间的任意的值,例如在将阈值设定为“0.5”时,若第一语言至第三语言的全部的可靠度为“0.5”以下,则将其中具有最高的可靠度(例如,0.45)的语言存储在选择语言存储部273。
接着,在会话处理部280中,第一语言会话生成部281、第二语言会话生成部282以及第三语言会话生成部283中的所选择的语言的会话生成部基于封闭式问题会话表284生成系统发声(S11)。
当在步骤S11生成了封闭式问题的系统发声时,机器人控制装置200的声音输出部232向机器人100发送声音数据,机器人100通过扬声器135再生该声音数据来进行说话(S12)。
然后,机器人100待机至取得用户对封闭式问题进行响应而发出的声音(S13)。当在步骤S13中未取得声音的情况下(S13为否),返回步骤S1等待下一次取得声音。
当在步骤S13中取得了声音时(S13为是),机器人控制装置200对机器人100与用户的会话成立进行重试,判定重试次数是否超过预定次数(S14)。
当在步骤S14中判定为重试次数未超过预先设定的次数的情况下(S14为否),机器人控制装置200通过所选择的语言的会话生成部生成不同的封闭式问题的系统发声,并使重试次数增加(S15)。然后,机器人控制装置200的声音输出部232再次使机器人100再生系统发声(S12)。当在步骤S14中判定为重试次数超过了预先设定的次数的情况下(S14为是),机器人控制装置200放弃机器人100对于用户的发声,返回步骤S1,等待取得来自其他用户的声音。
在此为重试次数是否超过预定次数的判断,在此例如预先决定使对话继续的重试次数(例如,3次等),在即使进行了3次重试,机器人100与用户之间的会话仍不成立时,机器人控制装置200进行控制,使得机器人100中止与该用户的对话。
在步骤S8的关键词对照部271的处理中,作为将关键词表274中登记的关键词与机器人100的声音识别结果进行对照的结果,当在声音识别结果中存在与关键词一致的语言时(S8为是),将与关键词一致的语言存储在选择语言存储部273(S16)。
另外,当在步骤S9的可靠度比较部272的第一语言至第三语言的各语言的可靠度比较中,判定为存在可靠度为预先设定的阈值以上的语言的情况下(S9为是),也同样地将可靠度为阈值以上的语言存储在选择语言存储部273(S16)。
接着,在所选择的语言的会话生成部,基于开放式问题会话表285生成系统发声(S17)。
当在步骤S17中生成了开放式问题形式的系统发声时,声音输出部232向机器人100发送声音数据,机器人100利用扬声器135再生该声音数据来进行说话(S18)。
然后,当输出了开放式问题形式的系统发声时,会话处理部280中的所选择的语言的会话生成部确认会话结束标志是“真”还是“假”(S19)。此外,如在图9中后述那样,在开放式问题形式的发声中,需要使响应继续,因此会话结束标志成为“假”。
当在步骤S19中会话结束标志为“假”时(S19为否),等待取得新的声音(S20)。然后,若在步骤S20中取得新的声音(S20为是),则由第一至第三语言中的所选择的语言的声音识别部进行声音识别(S21),在步骤S17中通过再次选择的语言的会话生成部生成开放式问题形式的系统发声,在步骤S18中使机器人100进行说话。若在步骤S20中未取得新的声音(S20为否),待机至取得新的声音。
当在步骤S19中判定为机器人100与用户的会话成立,会话结束标志为“真”的情况下(S19为是),结束会话处理并返回至步骤S1。
此外,在图6的流程图中,将步骤S9的条件设为“是否存在可靠度为阈值以上的语言”,但也可以将其设为“最高的语言的可靠度与其他语言的可靠度的差是否为阈值以上”。而且,在最高的语言的可靠度与其他语言的可靠度的差为微小差的情况下,在步骤S17中进行封闭式提问。
例如,在难以辨别用户讲的语言是第一语言,还是第二语言,或是其他的语言的情况下,假设以下的情况:即便由第一语言可靠度计算部2612计算出的可靠度为最高的可靠度,由第一语言可靠度计算部2612计算出的可靠度与由第二语言可靠度计算部2622计算出的可靠度成为接近的值。
换句话说,在最高的第一语言(日语)的可靠度为“0.8”,第二语言(英语)的可靠度为“0.7”的情况下,差为“0.1”而成为微小差。此时,难以判定用户讲的语言是第一语言(日语)还是第二语言(英语)。
另一方面,若最高的第一语言(日语)的可靠度为“0.5”,第二语言(英语)的可靠度为“0.1”,则其差为“0.4”而不是微小差。此时,能够判定为用户讲的语言是第一语言(日语)。
如此,在可靠度最高的语言的可靠度与其他语言的可靠度的差为阈值以上时,生成开放式问题形式的会话内容,在可靠度最高的语言的可靠度与其他语言的可靠度的差为阈值以下时,生成封闭式问题形式的会话内容。
即,在多个语言的声音识别的可靠度均低于阈值的情况下,系统对于用户进行封闭式问题形式的询问,限定用户的说话内容。
<各种表的说明>
图7表示了将第一语言设为日语,将第二语言设为英语,将第三语言设为中国语的在国际机场使用的语言选择部270的关键词表274的一个例子。在关键词表274中作为第一语言(日语),存储了“はい”、“よろしいです”,另外,还存储了与这些日语对应的第二语言(英语)和第三语言(中国语)的话语。
图8表示了将第一语言设为日语,将第二语言设为英语,将第三语言设为中国语的在国际机场使用的会话处理部280的封闭式问题会话表284的一个例子。
即,在封闭式问题会话表284的系统发声中,登记了用于诱导用户以关键词表274中登记的关键词进行说话的系统发声。例如,期待以关键词表中登记的“はい”进行说话,因此作为第一语言(日语)登记了“日本語でよかったでしょうか?”、“使用したい言語を教えてください”等定式的提问句。同样地,关于第二语言(英语)与第三语言(中国语),也登记了相同的意思的定式的提问句。
图9表示将第一语言设为日语,将第二语言设为英语,将第三语言设为中国语的在国际机场使用的开放式问题会话表285的一个例子。在开放式问题会话表285中,对于第一语言(日语)、第二语言(英语)以及第三语言(中国语)的各个语言,设置了用户发声栏、系统发声栏以及会话结束标志栏。
对于使机器人100说话的系统发声“何がしたいですか?”或者“何が食べたいですか?”等询问方式的提问,使会话结束标志为“假”而继续会话。然后,在机器人100的发声如“トイレはここから左に行くとあります。”那样进行引导时的发声中,使会话结束标志为“真”而结束会话。由此,能够从多次的会话中限缩用户所需求的引导内容来进行最终引导。
此外,本发明不限于上述实施例,包含有各种变形例。例如,上述实施例为了使本发明易懂而详细地进行了说明,不限于必须具备所说明的全部结构。
另外,关于上述的各结构、功能、处理部、处理手段等,例如可以在集成电路中进行设计,由此以硬件方式实现它们的一部分或全部。另外,关于上述各结构、功能等,也可以通过由处理器解释并执行用于实现各个功能的程序来实现。能够将实现各功能的程序、表、文件等信息存放在存储器、硬盘、SSD(Solid State Drive固态驱动)等记录装置,或者IC卡、SD卡、DVD等记录介质中。
另外,控制线和信息线被认为说明上需要的内容,但是不限定为在产品上必需表示所有控制线和信息线。实际上可以认为几乎所有的结构相互连接。
附图标记的说明
1…引导机器人系统
2…建筑物
100…(引导)机器人
110…CPU
120…存储装置
121…驱动控制部
122…会话控制部
123…输入输出部
130…输入输出装置
131…照相机
132…麦克风
133…陀螺仪传感器
134…测域传感器
135…扬声器
136…驱动机构
140…通信接口
200…机器人控制装置
210…CPU
211…通信接口
220…存储装置
230…输入输出数据处理部
231…声音取得部
232…声音输出部
233…图像取得部
234…动作输出部
235…测域数据取得部
236…错误输出部
240…服务流程处理部
250…面对面检测部
260…声音处理部
261…第一语言声音处理部
2611…第一语言声音识别部
2612…第一语言可靠度计算部
262…第二语言声音处理部
2621…第二语言声音识别部
2622…第二语言可靠度计算部
263…第三语言声音处理部
2631…第三语言声音识别部
2632…第三语言可靠度计算部
270…语言选择部
271…关键词对照部
272…可靠度比较部
273…选择语言存储部
274…关键词表
280…会话处理部
281…第一语言会话生成部
282…第二语言会话生成部
283…第三语言会话生成部
284…封闭式问题会话表
285…开放式问题会话表
300…机器人管理服务器
310…CPU
320…存储装置
321…机器人配置管理部
330…通信接口。

Claims (3)

1.一种引导机器人系统,其使用多个语言的会话来进行引导服务,其特征在于,具备:
声音取得部,其取得声音;
声音识别部,其对于所述声音取得部取得的声音进行多个语言的声音识别;
可靠度计算部,其对于所述声音取得部取得的声音计算所述多个语言的可靠度;
关键词对照部,其将所述声音识别部得到的所述多个语言的声音识别结果与事先登记的关键词进行对照来得到一致的语言;
语言选择部,其在具有通过所述关键词对照部的对照而一致的语言时,选择所述一致的语言,在没有通过所述关键词对照部的对照而一致的语言时,选择由所述可靠度计算部计算出的可靠度最高的语言;以及
会话处理部,其在所述可靠度计算部得到的可靠度中的可高度最高的语言的可靠度小于阈值时,切换为封闭式问题形式的会话,在可高度最高的语言的可靠度大于所述阈值时,切换为开放式问题形式的会话。
2.一种引导机器人系统,其使用多个语言的会话来进行引导服务,其特征在于,具备:
声音取得部,其取得声音;
声音识别部,其对于所述声音取得部取得的声音进行多个语言的声音识别;
可靠度计算部,其对于所述声音取得部取得的声音计算所述多个语言的可靠度;
关键词对照部,其将所述声音识别部得到的所述多个语言的声音识别结果与事先登记的关键词进行对照来得到一致的语言;
语言选择部,其在具有通过所述关键词对照部的对照而一致的语言时,选择所述一致的语言,在没有通过所述关键词对照部的对照而一致的语言时,选择由所述可靠度计算部计算出的可靠度最高的语言;以及
会话处理部,其对于所述可靠度计算部得到的可靠度,在可靠度最高的语言的可靠度与其他语言的可靠度的差小于阈值时切换为封闭式问题形式的会话,在可靠度最高的语言的可靠度与其他语言的可靠度的差大于所述阈值时切换为开放式问题形式的会话。
3.一种引导机器人使用多个语言的会话进行引导服务的引导方法,其特征在于,包含:
通过引导机器人的声音取得部取得声音的步骤;
通过声音识别部对于所述声音取得部取得的声音进行多个语言的声音识别的步骤;
通过可靠度计算部对于所述声音取得部取得的声音计算多个语言的可靠度的步骤;
通过关键词对照部将所述声音识别部得到的多个语言的声音识别结果与事先登记的关键词进行对照来得到一致的语言的步骤;
在具有通过所述关键词对照部的对照而一致的语言时,由语言选择部选择由所述声音取得部所取得的所述一致的语言,在没有通过所述关键词对照部的对照而一致的语言时,由所述语言选择部选择由所述可靠度计算部计算出的可靠度最高的语言的步骤;以及
在所述可靠度计算部得到的可靠度中的可高度最高的语言的可靠度小于阈值时,切换为封闭式问题形式的会话,在可高度最高的语言的可靠度大于所述阈值时,切换为开放式问题形式的会话的步骤。
CN201910951048.3A 2018-10-17 2019-10-08 引导机器人系统和引导方法 Active CN111055291B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-195515 2018-10-17
JP2018195515A JP7117970B2 (ja) 2018-10-17 2018-10-17 案内ロボットシステム及び案内方法

Publications (2)

Publication Number Publication Date
CN111055291A CN111055291A (zh) 2020-04-24
CN111055291B true CN111055291B (zh) 2022-11-15

Family

ID=70297741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910951048.3A Active CN111055291B (zh) 2018-10-17 2019-10-08 引导机器人系统和引导方法

Country Status (2)

Country Link
JP (1) JP7117970B2 (zh)
CN (1) CN111055291B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626706A (zh) * 2020-05-27 2020-09-04 中国联合网络通信集团有限公司 用户意图识别方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0673800U (ja) * 1993-03-30 1994-10-18 富士通テン株式会社 音声認識装置
US6243675B1 (en) * 1999-09-16 2001-06-05 Denso Corporation System and method capable of automatically switching information output format
JP2004272363A (ja) * 2003-03-05 2004-09-30 Canon Inc 音声入出力装置
JP2006030282A (ja) * 2004-07-12 2006-02-02 Nissan Motor Co Ltd 対話理解装置
CN1734445A (zh) * 2004-07-26 2006-02-15 索尼株式会社 用于对话的方法、装置和程序及其中存储程序的存储介质
CN102239517A (zh) * 2009-01-28 2011-11-09 三菱电机株式会社 声音识别装置
CN102655001A (zh) * 2011-03-04 2012-09-05 东芝泰格有限公司 信息处理装置及信息处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0673800U (ja) * 1993-03-30 1994-10-18 富士通テン株式会社 音声認識装置
US6243675B1 (en) * 1999-09-16 2001-06-05 Denso Corporation System and method capable of automatically switching information output format
JP2004272363A (ja) * 2003-03-05 2004-09-30 Canon Inc 音声入出力装置
JP2006030282A (ja) * 2004-07-12 2006-02-02 Nissan Motor Co Ltd 対話理解装置
CN1734445A (zh) * 2004-07-26 2006-02-15 索尼株式会社 用于对话的方法、装置和程序及其中存储程序的存储介质
CN102239517A (zh) * 2009-01-28 2011-11-09 三菱电机株式会社 声音识别装置
CN102655001A (zh) * 2011-03-04 2012-09-05 东芝泰格有限公司 信息处理装置及信息处理方法

Also Published As

Publication number Publication date
JP2020064168A (ja) 2020-04-23
CN111055291A (zh) 2020-04-24
JP7117970B2 (ja) 2022-08-15

Similar Documents

Publication Publication Date Title
JP6887031B2 (ja) 方法、電子装置、家庭用機器ネットワークおよび記憶媒体
JP6520878B2 (ja) 音声取得システムおよび音声取得方法
US10019992B2 (en) Speech-controlled actions based on keywords and context thereof
JP4786384B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
US20170084274A1 (en) Dialog management apparatus and method
KR20190031785A (ko) 복수의 사용자 각각에 대응하는 개인화 레이어를 이용하여 복수의 사용자 각각의 음성 신호를 인식하는 음성 신호 인식 시스템
US9262410B2 (en) Speech translation apparatus, speech translation method and program product for speech translation
US11862153B1 (en) System for recognizing and responding to environmental noises
JP6985221B2 (ja) 音声認識装置及び音声認識方法
JP6797338B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101548907B1 (ko) 다중언어의 대화시스템 및 그 제어방법
EP3654170B1 (en) Electronic apparatus and wifi connecting method thereof
CN111055291B (zh) 引导机器人系统和引导方法
Sharan et al. Implementation and testing of voice control in a mobile robot for navigation
JP3837061B2 (ja) 音信号認識システムおよび音信号認識方法並びに当該音信号認識システムを用いた対話制御システムおよび対話制御方法
US10777198B2 (en) Apparatus for determining speech properties and motion properties of interactive robot and method thereof
JP6462291B2 (ja) 通訳サービスシステム及び通訳サービス方法
KR101933822B1 (ko) 얼굴인식 기반 지능형 스피커, 이를 이용한 능동적인 대화 제공 방법 및 이를 수행하기 위한 기록매체
JP2018055155A (ja) 音声対話装置および音声対話方法
KR102417899B1 (ko) 차량의 음성인식 시스템 및 방법
JP6866731B2 (ja) 音声認識装置、音声認識方法、及びプログラム
JP6571587B2 (ja) 音声入力装置、その方法、及びプログラム
KR20210098250A (ko) 전자 장치 및 이의 제어 방법
JP2019184969A (ja) 案内ロボットシステム及び言語選択方法
JP2020201322A (ja) 案内ロボットシステム及び会話作成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant