CN113544771A - 语音对话装置、输入装置以及输出装置 - Google Patents

Abstract

语音对话装置(1)具备：判定部(13)，基于识别部(10)的识别结果来判定是否具有使语音对话的动作暂停的意思，识别部(10)对用户通过使身体活动而示出的动作的意图进行识别；和停止部(14)，在判定部(13)的判定结果是判定为具有使语音对话的动作暂停的意思的情况下，使语音对话的动作以规定时间的期间停止。

Description

语音对话装置、输入装置以及输出装置

技术领域

本发明涉及通过语音进行对话的语音对话装置、输入装置以及输出装置。

背景技术

以往，人和计算机通过语音对话来交换意向的语音对话装置是公知的(参照专利文献1等)。

现有技术文献

专利文献

专利文献1：日本特开2018-189984号公报

发明内容

发明要解决的课题

但是，语音对话中的输入、输出有时一旦开始就不能在中途停止。因此，在语音对话的利用者同时执行语音对话和其他任务的情况下，未必能够集中于语音对话，有可能不能使语音对话顺畅。

本发明的目的在于提供能够使语音对话顺畅的语音对话装置、输入装置以及输出装置。

用于解决课题的方案

一实施方式的语音对话装置具备：判定部，其基于识别部的识别结果来判定是否具有使语音对话的动作暂停的意思，所述识别部对用户通过使身体活动而示出的动作的意图进行识别；和停止部，其在所述判定部的判定结果是判定为具有使所述语音对话的动作暂停的所述意思的情况下，使所述语音对话的动作以规定时间的期间停止。

一实施方式的输入装置具备：判定部，其基于识别部的识别结果来判定是否具有使语音对话的输入暂停的意思，所述识别部对用户通过使身体活动而示出的动作的意图进行识别；和停止部，其在所述判定部的判定结果是判定为具有使所述语音对话的输入暂停的所述意思的情况下，使所述语音对话的输入以规定时间的期间停止。

一实施方式的输出装置具备：判定部，其基于识别部的识别结果来判定是否具有使语音对话的输出暂停的意思，所述识别部对用户通过使身体活动而示出的动作的意图进行识别；和停止部，其在所述判定部的判定结果是判定为具有使所述语音对话的输出暂停的所述意思的情况下，使所述语音对话的输出以规定时间的期间停止。

附图说明

图1是一实施方式的语音对话装置的结构图。

图2是示出照相机的配置例的例示图。

图3是在使语音输入暂停的情况下执行的流程图。

图4是示出使语音输入暂停的手势的例示图。

图5是在使语音输出暂停的情况下执行的流程图。

图6是示出使语音输出暂停的手势的例示图。

图7是示出其他例的检测部的例示图。

图8是示出另一例的输入装置的结构图。

图9是示出又一例的输出装置的结构图。

具体实施方式

以下，按照图1～图6说明语音对话装置、输入装置以及输出装置的一实施方式。

如图1所示，语音对话装置1通过与驾驶员等乘务员以对话形式进行意思交换，从而支援车辆的驾驶。语音对话装置1通过与驾驶员等乘务员进行语音对话，语音提供关于驾驶的各种信息，或者控制车载机器等，支援车辆的驾驶。

语音对话装置1具备控制语音对话装置1的动作的控制器2、收集声音的集音部3、以及将声音输出的声音输出部4。集音部3例如由麦克风构成。声音输出部4例如由车载的扬声器构成。控制器2基于从集音部3输入的语音数据Da，通过语音识别来理解讲话对方说的内容，作为针对其的应答，从声音输出部4执行语音指导等语音输出。

控制器2具备：语音识别部5，对从集音部3输入的语音数据Da进行语音识别；检索数据库6，储存有在进行语音识别的判定时使用的检索数据；以及指导输出部7，将与语音识别的结果相应的语音指导输出。语音识别部5当从集音部3输入语音数据Da时，使该语音数据Da与检索数据库6对照来解析语音数据Da，从而对输入的语音进行识别。语音识别部5在语音识别后，将该语音识别结果向指导输出部7输出。指导输出部7基于输入的语音识别结果，将与其对应的输出数据Db向声音输出部4输出。声音输出部4基于输入的输出数据Db，将与语音识别结果相应的语音指导输出。

语音对话装置1具备使语音对话的功能在中途停止的功能、所谓的动作暂停功能。这是因为：在驾驶中的语音对话中，例如每当集中于驾驶时，有时听漏语音指导或者语音输入不畅等，难以进行顺利的语音对话。

语音对话装置1具备手势识别部10，手势识别部10对驾驶员等乘务员使用身体的一部分进行的手势进行识别。手势识别部10设置于控制器2。手势识别部10从能检测驾驶员等乘务员的身体动作的检测部11输入检测信号St，基于该检测信号St识别手势。

如图2所示，检测部11包括拍摄图像的照相机12。照相机12优选配置于例如容易拍摄驾驶员的位置、例如车辆的仪表板的上表面等。照相机12将拍摄的周围的图像数据St1向控制器2输出。手势识别部10例如通过对从照相机12输入的图像数据St1进行图像解析，从而对照相机12拍进的手势进行识别。

返回图1，语音对话装置1具备判定部13，判定部13判定用户是否具有使语音对话的动作暂停的意思。判定部13设置于控制器2。本例的判定部13基于识别部15的识别结果来判定是否具有使语音对话的动作暂停的意思，识别部15对通过用户使身体活动而示出的动作的意图进行识别。识别部15优选是作为通过用户身体的意思表示而对身体动作进行识别的手势识别部10。另外，判定部13在语音对话的输入和输出双方中，判定是否具有使这些动作暂停的手势。

语音对话装置1具备停止部14，停止部14基于判定部13的判定结果使语音对话的动作停止。停止部14设置于控制器2。停止部14在判定部13的判定结果是判定为具有使语音对话的动作暂停的意思的情况下，使语音对话的动作以规定时间的期间停止。本例的停止部14能够在语音对话的输入和输出双方中使这些动作暂停。

在使语音对话的动作暂停的期间，若满足该停止的解除条件，则停止部14将停止解除。在语音输入的情况下，优选停止的解除条件是停止下的发声的重启。另外，在语音输出的情况下，优选停止的解除条件例如是与在使语音指导暂停时进行的手势相同的手势的执行。

接着，使用图3～图6对本实施方式的语音对话装置1的作用进行说明。

如图3所示，语音对话装置1当执行系统启动的操作时，开始该图所示的流程图的执行。另外，系统启动具有例如基于语音输入的开始指示、设置于驾驶座周边的开关的操作、汽车导航系统中的开始操作等。

在步骤101中，判定部13当检测发声时，开始进行是否应该使语音对话的输入(以下记载为语音输入)暂停的判定。另外，本例的判定部13基于从集音部3输入的语音数据Da检测发声。

在步骤102中，判定部13判定手势识别部10是否识别出语音输入的暂停的手势。在本例的情况下，手势识别部10例如通过监视作为检测部11的照相机12的图像数据St1，从而识别驾驶员的手势。并且，判定部13基于该图像识别的识别结果，监视是否具有语音输入的暂停的手势。

如图4所示，优选语音输入的暂停的手势例如是“等待”和切断会话的动作。优选切断会话的动作例如是将手摊开伸出的动作。

返回图3，在步骤102中，当识别出语音输入的暂停的手势时，转移到步骤103。另一方面，在步骤102中，当没有识别出语音输入的暂停的手势时，转移到步骤105。

停止部14在通过判定部13判定为有语音输入的暂停的手势的情况下，在步骤103中将语音输入暂停。因此，在想要集中于驾驶时等的情况下，能够预先使语音对话的输入暂停。此时，停止部14维持使作为集音部3的麦克风启动的状态，使语音输入暂停。通过这样，能够进行语音输入的重新检测。

在步骤104中，停止部14当在使语音输入暂停的期间检测出发声时，将语音输入的暂停解除。即，在使语音输入暂停的期间，当驾驶员想要重启语音输入而进行发声时，将语音输入的暂停解除。由此，能够重启语音输入。另外，此时的发声只要能够识别语音输入，无论是什么样的内容都可以。

在步骤105中，语音对话装置1判定发声是否结束、即语音输入是否结束。语音对话装置1在判定为发声结束的情况下，结束语音输入，在判定为发声还没有结束的情况下，返回步骤102，反复前述的处理。

语音识别部5基于语音输入的语音数据Da，参照检索数据库6对语音输入进行解析。然后，语音识别部5将解析后的语音识别结果向指导输出部7输出。指导输出部7基于从语音识别部5输入的语音识别结果使声音输出部4工作，执行语音指导。

如图5所示，语音对话装置1在从声音输出部4执行语音指导的输出(以下记载为语音输出)的情况下，开始该图所示的流程的执行。

在步骤201中，判定部13判定手势识别部10是否识别出语音输出的暂停的手势。手势识别部10例如通过监视作为检测部11的照相机12的图像数据St1，从而识别驾驶员的手势。然后，判定部13基于该图像识别的识别结果，监视是否具有语音输出的暂停的手势。

如图6所示，优选语音输出的暂停的手势例如是催促”安静地”沉默的动作。催促沉默的动作例如优选是食指竖立在嘴边的动作。

返回图5，在步骤201中，当识别出语音输出的暂停的手势时，转移到步骤202。另一方面，在步骤201中，当没有识别出语音输出的暂停的手势时，转移到步骤205。

停止部14在通过判定部13判定出具有语音输出的暂停的手势的情况下，在步骤202中使语音指导暂停。因此，在想要集中驾驶时等的情况下，能够预先使语音指导暂停。

在步骤203中，判定部13判定手势识别部10是否识别出语音输出的暂停解除的手势。优选暂停解除的手势例如是与在使语音输出暂停时同样的动作。判定部13在识别出暂停解除的手势的情况下转移到步骤204。另一方面，判定部13在没有识别出暂停解除的手势的情况下，返回步骤202，维持使语音输出暂停的状态。

停止部14在判定部13识别为具有语音输出的暂停解除的手势的情况下，在步骤204中重启语音指导。因此，能够再次听到在中途停止的语音指导的继续。

在步骤205中，语音对话装置1判定语音指导是否已结束、即语音输出是否已结束。语音对话装置1在判定为语音指导结束的情况下，结束语音输出，在判定为语音指导还没有结束的情况下，返回步骤102，反复前述的处理。

根据上述实施方式的语音对话装置1，能够得到如下效果。

语音对话装置1的判定部13在进行语音对话的动作时，基于手势识别部10的识别结果来判定是否具有使语音对话的动作暂停的意思。语音对话装置1的停止部14在通过判定部13判定为具有使动作暂停的意思的情况下，使语音对话的动作以规定时间的期间停止。因此，在驾驶员等用户不能集中于语音对话的情况下，利用手势使语音对话暂停，然后，在能集中于语音对话的环境具备时，能够执行语音对话的继续。因此，能够使语音对话顺畅。另外，驾驶员能够执行与驾驶的状况相应的顺利的语音对话。驾驶员能够与自身的步调一致地进行语音对话的输入、或者听取输出。

作为暂停对象的语音对话的动作是语音的输入。停止部14在判定部13的判定结果是判定为具有使语音输入停止的意思的情况下，使语音的输入以规定时间的期间停止。因此，能够按照用户的意思根据需要使语音输入适当转移到暂停的状态，所以在语音输入时能够集中于其他的作业。

成为暂停对象的语音对话的动作是语音的输出。停止部14在判定部13中的判定结果是判定为具有使语音输出停止的意思的情况下，使语音的输出以规定时间的期间停止。因此，能够按照用户的意思根据需要使语音输出适当转移到暂停的状态，所以能够在语音输出时集中于其他的作业。

手势是使用用户身体的一部分的动作。因此，能够以利用用户的身体动作的易懂的方式，使语音对话的动作转移到暂停的状态。

在使语音对话的动作暂停的期间，若满足停止的解除条件，则停止部14将停止解除。因此，即使利用规定的手势将语音对话设为停止状态，也能够将该停止状态解除，使其恢复到原来的通常状态。

停止部14将判定部13的判定结果是判定为具有将语音对话的动作中的停止解除的意思的情况视为满足停止的解除条件。因此，通过用户使身体活动的简便操作，能够使暂停的语音对话的动作恢复到原来状态。

另外，本实施方式能够按如下变更而实施。本实施方式及以下变更例能够在技术上不矛盾的范围内相互组合而实施。

[关于语音对话装置1]

·如图7所示，检测部11也可以是设置于车载的方向盘31上的触摸板32。触摸板32例如由静电电容方式、电阻膜方式等的各种传感器构成。使用触摸板32的手势例如有触摸板32的触摸操作的次数、触摸操作的时机、对触摸板32的表面进行抚摸操作时的方向及这些的组合等。这样，通过用手指操作触摸板32的简易手法，能够使语音对话的动作暂停。

·如图8所示，动作暂停功能也可以适用于例如仅执行语音输入的输入装置35。输入装置35例如具备语音识别部5、检索数据库6、手势识别部10、判定部13以及停止部14。另外，该输入装置35不限定于语音对话的输入装置，也可以使用于其他的机器、输入装置。在设为这样的输入装置35的情况下，能够提供利用用户的手势能够使语音输入适当暂停的输入装置35。

·如图9所示，动作暂停功能也可以适用于例如仅执行语音输出的输出装置36。输出装置36例如具备指导输出部7、手势识别部10、判定部13以及停止部14。另外，该输出装置36不限定于语音对话的输出装置，也可以使用于其他的机器、装置的输出装置。在设为这样的输出装置36的情况下，能够提供利用用户的手势能够使语音输出适当暂停的输出装置36。

[关于语音对话]

·语音对话不限定于仅交换语音的交流，例如也可以包括通过身体的一部分进行的手势。

·语音对话可以使用已有的车载机器，而且可以是使用与车载品不同的部件的方式。

·语音对话也可以设为例如与机器人对话的形式。该机器人能够适用拟人化的机器人、模仿动物的机器人等各种设计。

[关于使语音对话的动作暂停的意思]

·使语音对话的动作暂停的手势也可以变更为脸的表情变化、使头部左右摇动等各种方式。

·使语音对话的动作暂停的手势不限定于实施例中描述的形式，只要是能够将暂停向车辆侧传达的形式即可。

·使语音对话的动作暂停的手势也可以设为使语音组合的方式。

·使语音对话的动作暂停的手势也可以设为能够自由登记、变更的结构。

[关于语音对话的暂停]

·使语音对话暂停的规定时间不限定于一定时间，而采用与从暂停开始恢复的方式相应的各种时间。

·语音对话的暂停只要是使语音对话的输入、输出暂停的方式即可，并不特别限定构成语音对话装置1的各种器件的动作状态。

[关于暂停的解除条件]

·暂停的解除条件例如也可以是通过语音来指示恢复的方式。

·暂停的解除条件例如也可以设为对设置于车辆的开关类进行操作、或者对车载的传感器进行触摸的操作。

·语音对话的暂停也可以在停止规定时间后自动恢复为原来的通常状态。在该情况下，能够防止就那样使语音对话的动作暂停地放置不管。

·也可以为，在语音对话暂停时，通过语音等由用户对是否可以恢复成原来的通常状态进行确认，在用户已许可恢复的情况下恢复成原来的通常状态。

[关于通过用户身体的意思表示]

·通过用户身体的意思表示不限定于作为身体的指手画脚的手势，例如也可以设为利用语音进行的指示。

·通过用户身体的意思表示包括例如视线的动作等、身体自身不具有动作而使身体的一部分活动的方式。

[关于识别部15]

·识别部15不限定于手势识别部10，例如在作为暂停的条件也监视语音的情况下，也可以包括语音识别部5。

·识别部15也可以取代手势识别部10而设为语音识别部5。

·识别部15不限定于语音识别部5、手势识别部10，也可以是能够识别其他的身体动作的识别部。

[其他]

·检测部11不限定于车载的装置、部件，例如也可以是高性移动电话等终端。在该情况下，例如也可以使用设置于终端的照相机功能、麦克风功能来收集用户的手势、语音。

·语音对话装置1不限定于使用于车辆，也可以使用于其他的系统、机器。

·构成语音对话装置1的图1所示的控制器2(语音识别部5、指导输出部7、手势识别部10、判定部13和/或停止部14)能够构建为如下计算机系统：其包括一个或者多个处理器和非暂时性存储器，该非暂时性存储器存储有该处理器能执行的命令、且用于实现按照上述实施方式及其他例的任一个的语音对话处理的命令。同样，图8的输入装置35及图9的输出装置36也能够构建成这样的计算机系统。或者，控制器2、输入装置35以及输出装置36也可以由特定用途集成电路(ASIC)等专用硬件构成。

·本公开包括以下实施方式。

(实施方式1)

一种计算机系统，具备：

一个或者多个处理器；和

非暂时性存储器，存储有所述处理器能执行的命令、且用于实现语音对话处理的命令，

所述语音对话处理包括：

识别语音对话用的语音；

基于来自检测用户动作的检测部的检测信号来识别与所述语音对话的动作关联起来的手势；

在所述语音对话开始后，判定是否已进行表示使该语音对话的动作暂停的意思的手势；以及

在已进行表示使所述语音对话的动作暂停的意思的手势的情况下，使所述语音对话的动作暂时停。

(实施方式2)

在实施方式1的计算机系统中，所述语音对话的动作包括基于语音输入的语音识别，

使所述语音对话的动作暂停包括：应答第1手势的识别，使基于所述语音输入的语音识别暂停。

(实施方式3)

在实施方式2的计算机系统中，所述语音对话处理还包括：应答用户的发声，使基于所述语音输入的语音识别的暂停解除。

(实施方式4)

在实施方式1～3中的任一个的计算机系统中，所述语音对话的动作包括基于语音识别结果的语音输出，

使所述语音对话的动作暂停包括：应答第2手势的识别，使基于所述语音识别结果的语音输出暂停。

(实施方式5)

在实施方式4的计算机系统中，所述语音对话处理还包括：应答第3手势的识别，将基于所述语音识别结果的语音输出的暂停解除。

(实施方式6)

在实施方式5的计算机系统中，所述第3手势与所述第2手势相同。

Claims (7)

1.一种语音对话装置，具备：

判定部，其基于识别部的识别结果来判定是否具有使语音对话的动作暂停的意思，所述识别部对用户通过使身体活动而示出的动作的意图进行识别；和

停止部，其在所述判定部的判定结果是判定为具有使所述语音对话的动作暂停的所述意思的情况下，使所述语音对话的动作以规定时间的期间停止。

2.根据权利要求1所述的语音对话装置，其中，

所述语音对话的动作是语音的输入，

所述停止部在所述判定部的判定结果是判定为具有使所述语音的输入停止的所述意思的情况下，使所述语音的输入以规定时间的期间停止。

3.根据权利要求1或2所述的语音对话装置，其中，

所述语音对话的动作是语音的输出，

所述停止部在所述判定部的判定结果是判定为具有使所述语音的输出停止的所述意思的情况下，使所述语音的输出以规定时间的期间停止。

4.根据权利要求1～3中的任一项所述的语音对话装置，其中，

在使所述语音对话的动作暂停的期间，若满足所述停止的解除条件，则所述停止部将所述停止解除。

5.根据权利要求4所述的语音对话装置，其中，

所述停止部将所述判定部的判定结果是判定为具有将所述语音对话的动作中的停止解除的所述意思的情况视为满足所述停止的解除条件。

6.一种输入装置，具备：

判定部，其基于识别部的识别结果来判定是否具有使语音对话的输入暂停的意思，所述识别部对用户通过使身体活动而示出的动作的意图进行识别；和

停止部，其在所述判定部的判定结果是判定为具有使所述语音对话的输入暂停的所述意思的情况下，使所述语音对话的输入以规定时间的期间停止。

7.一种输出装置，具备：

判定部，其基于识别部的识别结果来判定是否具有使语音对话的输出暂停的意思，所述识别部对用户通过使身体活动而示出的动作的意图进行识别；和

停止部，其在所述判定部的判定结果是判定为具有使所述语音对话的输出暂停的所述意思的情况下，使所述语音对话的输出以规定时间的期间停止。

Images