JP2018086689A

JP2018086689A - コミュニケーションロボット

Info

Publication number: JP2018086689A
Application number: JP2016229904A
Authority: JP
Inventors: 可嘉戴; Kejia Dai; 圭祐寺田; Keisuke Terada
Original assignee: G Globot Inc; G-Globot Inc
Current assignee: G Globot Inc; G-Globot Inc
Priority date: 2016-11-28
Filing date: 2016-11-28
Publication date: 2018-06-07
Anticipated expiration: 2036-11-28
Also published as: JP6893410B2

Abstract

【課題】顧客を対面距離まで引き寄せて対話することにより音声認識率の向上を図ったコミュニケーションロボットを提供する【解決手段】本発明のコミュニケーションロボットは、顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットであって、遠隔に位置する顧客の挙動から顧客が対話を欲しているか否かを判定する第１判定手段と；第１判定手段により顧客が対話を欲していると判定したとき、顧客が遠隔位置から近接距離まで近づくように手招きする第１動作を実行する第１動作実行手段と；顧客が所定の距離内に近接したか否かを判定する第２判定手段と；第２判定手段により近接したと判定したとき、顧客に握手を求める第２動作を実行する第２動作実行手段とを備えている。【選択図】図３

Description

本発明は、人（顧客）と対話を行うコミュニケーションロボットに係り、特に顧客を対面距離まで引き寄せて対話することにより音声認識率の向上を図ったコミュニケーションロボットに関する。

近年、身振り手振りや音声等を用いて顧客を対象にサービスを提供するコミュニケーションロボット（以下、単にロボットという）が、病院、ホテル、銀行、レストラン等の受付けカウンタに配置され、人に代わって受付や案内等のサービス業務を行うようになってきている。
通常、ロボットには人の音声を聞き取るための耳に相当するマイクと発声のための口に相当するスピーカとをロボット本体に取付け、顧客との対話を支援するための対話支援システムをロボット本体に内蔵又は外部に設けている。

対話支援システムには、顧客の発話を認識するための音声認識ユニットが含まれており、この音声認識ユニットの認識率を高めることが、ロボットと顧客とのスムーズなコミュニケーションにとって重要な因子となる。
認識率は、音声認識ユニットの性能にもよるが、顧客とロボットとの対話距離にも大きく依存しており、対話距離が相手と握手出来る範囲にあれば現状の音声認識ユニットにおいては満足できる認識率が得られる。

一般に不特定な人を対象にサービスを提供するロボットの場合、サービスを求めている顧客とロボットとをまず結びつけるコミュニケーション開始動作とその後、顧客をロボットに引き寄せる顧客引き寄せ動作とを備える必要がある。
特許文献１に記載されたコミュニケーションロボットは、コミュニケーション開始動作として、広視野カメラの画像から予め検出した人の位置で回転速度を落とし、眼カメラの画像からロボットに顔を向ける正面顔の人を検出し、検出した場合に合図を送ることを開示している。

特開２００９−４５６９２号公報

特許文献１は、コミュニケーション開始動作を開示しているのみで、顧客をロボットに引き寄せる顧客引き寄せ動作については、何等の開示もない。特許文献１には、ロボットが顧客に近づいて行くことが開示されているが、受付けカウンタに配置されているロボットでは、ロボット自体は移動することなく、顧客をロボットに引き寄せる顧客引き寄せ動作を行うことが必要である。
本発明は、こうした事情を考慮してなされたもので、顧客を対面距離まで引き寄せて対話することにより音声認識率の向上を図ったコミュニケーションロボットを提供することを目的とする。

本発明のコミュニケーションロボットは、顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットであって、遠隔に位置する顧客の挙動から顧客が対話を欲しているか否かを判定する第１判定手段と；第１判定手段により顧客が対話を欲していると判定したとき、顧客が遠隔位置から近接距離まで近づくように手招きする第１動作を実行する第１動作実行手段と；顧客が所定の距離内に近接したか否かを判定する第２判定手段と；第２判定手段により近接したと判定したとき、顧客に握手を求める第２動作を実行する第２動作実行手段とを備えている。

また、顧客が対話を欲しているか否かの第１判定は、取得した顧客の画像データに基づいて、顧客が指定エリアに位置し、かつコミュニケーションロボットの視線と顧客の視線とが一致するとき欲していると判定する。
また、第１動作は、コミュニケーションロボットが立上がり顧客に対して挨拶する動作を含む。
さらに、顧客が所定の距離内に近接したか否かの第２判定は、顧客が近接エリアに位置したとき近接したと判定する。

本発明のコミュニケーションロボットの動作方法は、顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットの動作方法において、遠隔に位置する顧客の挙動から顧客が対話を欲しているか否かを判定する第１判定ステップと；第１判定ステップにより顧客が対話を欲していると判定したとき、顧客が遠隔位置から近接距離まで近づくように手招きする第１動作を実行する第１動作実行ステップと；顧客が所定の距離内に近接したか否かを判定する第２判定ステップと；第２判定ステップにより近接したと判定したとき、顧客に握手を求める第２動作を実行する第２動作実行ステップとを備える。

本発明によれば、顧客を対面距離まで引き寄せて対話を行うため、音声認識ユニットにおける音声認識の性能を向上させることができる。したがって、より自然なコミュニケーションを実現することができる。

本発明の一実施例に係るロボットの骨格構造図。図１に示すロボットの制御系の一例を示すブロック図。図１に示すロボットの動作手順を示すフロー図。図１に示すロボットの待機中の動作を示す図。図１に示すロボットが立ち上がった動作を示す図。図１に示すロボットが顧客に挨拶する動作を示す図。図１に示すロボットが顧客を手招きする動作を示す図。図１に示すロボットが顧客に握手を求める動作を示す図。図１に示すロボットが顧客と握手する動作を示す図。

図１は本発明の一実施例に係るロボットの骨格構造図である。
実際の配置ロボットとしては、この骨格構造にシリコン樹脂等で皮膚を貼り、化粧を施したり衣装を着せるなどして人間に近い風貌に模して構成される。
ロボット１００は、頭部１０２と、首関節１０４を介して接続された上部胴体１０６と、上部胴体１０６と連結部１３０を介して連結された下部胴体１０８と、上部胴体１０６の両肩に腕関節１１２Ｒ，１１４Ｒ，１１２Ｌ，１１４Ｌを介して連結された右腕１１０Ｒと左腕１１０Ｌと、下部胴体１０６に脚関節１２２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌを介して連結された右脚１２０Ｒと左脚１２０Ｌとから構成されている。

頭部１０２には目に相当する位置に眼カメラ４０Ｒ、４０Ｌと口に相当する位置にスピーカ２０とが取付けられている。なお、眼カメラ４０Ｒ，４０Ｌ及びスピーカ２０の取付け位置はこれに限定されるものではない。また、首関節１０４の位置には後述する近接センサ３０が、上部胴体１０６には耳に相当するマイク１０が取付けられている。近接センサ３０とマイク１０の取付け位置についても必ずしもこれに限定されるものではない。
右腕１１０Ｒと左腕１１０Ｌの先端には人の手の形状をした右手１１６Ｒと左手１１６Ｌとが設けられる。また右脚１２０Ｒと左脚１２０Ｌの先端には足に相当する足部材１２６Ｒと１２６Ｌとが設けられる。足部材１２６Ｒと１２６Ｌは必ずしも人の足の形状とする必要はないが、指や掌の機能が必要な場合には人の足の形を模した形状としてもよい。

首関節１０４は３軸の自由度を有し、後述する頭部モータにより頭部１０２を上胴体１０６に対して回動動作可能である。また、右腕１１０Ｒと左腕１１０Ｌとはそれぞれ腕関節１１２Ｒ，１１４Ｒ，１１２Ｌ，１１４Ｌを介して、後述する腕モータにより回動動作可能であり、右脚１２０Ｒと左脚１２０Ｌとはそれぞれ脚関節１２２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌを介して、後述する脚モータにより回動動作可能である。

さらに、連結部１３０は後述する腰モータにより回動動作可能となっている。眼カメラ４０Ｒ，４０Ｌはロボット１００に対面する顧客の顔等を撮影して、その画像データを取り込む。距離センサ３０は、超音波を発射し、その超音波が顧客から反射されて距離センサ３０に入射されたタイミングを測定して、顧客との間の距離情報を得る。マイク１０は、顧客が発する音声を取り込み、これを音声入出力ユニットを介して音声認識ユニットに送る。

図２は、図１に示すロボットの動作を制御する制御系の一例を示すブロック図である。
制御系２００は、メモリ２１０、ＣＰＵ２２０、モータ制御ユニット２３０、センサ入出力ユニット２４０、音声入出力ユニット２５０、音声認識ユニット２６０、画像認識ユニット２６５、通信ＬＡＮユニット２７０を含み、これらはバス２９０を介して信号の授受を行うように構成されている。
通信ＬＡＮユニット２７０は無線通信装置２８０を介して外部の装置に接続され、外部の装置との間で信号の授受を行うことができる。

ＣＰＵ２２０はロボット１００の全体的な制御を行う。メモリ２１０は、ロボット１００を制御するための制御プログラムを格納している。
モータ制御ユニット２３０はＣＰＵ２２０からの制御データに基づいてロボット１００の腕、頭部、首、腰、脚等に備えられた各軸モータの駆動を制御する。即ち、腕モータ２３１を介して、腕関節１１２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌに設けられた軸モータを制御することにより右腕１１０Ｒおよび左腕１１０Ｌの動作を制御する。

また、脚モータ２３５を介して、脚関節１２２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌに設けられた軸モータを制御することにより右脚１２０Ｒおよび左脚１２０Ｌの動作を制御する。さらに、首モータ２３３を介して、首関節１０４に設けられた軸モータを制御することにより頭部１０２の動作を制御する。
腰モータ２３４は連結部１３０の動作を、頭部モータ２３２は頭部１０２の回転角度をそれぞれ制御する。

センサ入出力ユニット２４０は、距離センサ３０及び眼カメラ４０からの信号をＣＰＵ２２０に伝送する。距離センサ３０からの反射時間、即ち、距離情報と、眼カメラ４０からの画像データとが、必要に応じてセンサ入出力ユニット２４０で所定の信号処理を施された後、ＣＰＵ２２０に伝送される。
音声入出力ユニット２５０は、ＣＰＵ２２０からの音声合成データに従った音声をスピーカ２０から出力させる。また、マイク１０からの音声を音声入力データとしてＣＰＵ２２０に伝送する。

音声認識ユニット２６０は、音声入出力ユニット２５０及びＣＰＵ２２０と協同して、マイク１０からの音声を解析し、スピーカ２０から出力する音声を合成する。
画像認識ユニット２６５は、センサ入出力ユニット２４０及びＣＰＵ２２０と協同して、眼カメラからの画像データを解析し、顧客が対話を欲しているか否かを判定する。
ＣＰＵ２２０はバス２９０を介して通信ＬＡＮユニット２７０及び無線通信装置２８０に接続される。これにより、制御系２００は、外部コンピュータ等と通信を行うことができる。

図３は、本発明の一実施例に係るロボットの動作手順を示すフロー図である。また図４乃至図９は、図３のフローに従ったロボットの動作を示す図である。
以下、図３乃至図９を参照して本発明の一実施例に係るロボットが顧客を引き寄せる顧客引き寄せ動作について説明する。
ここでは、ホテルに到着した顧客がフロントデスクに行き、チェックインを行う場合を例に挙げて説明する。

ロボット１００は、図４に示すように、フロントデスク６０に対して着席して待機している。本発明では、図５乃至図９に示すようにフロアの所定箇所に指定エリア７０と近接エリア８０とを設けている。指定エリア７０は、例えば、ホテルの入口付近で、ロボット１００から視認可能な位置とすることができる。なお指定エリア７０は複数箇所設けてもよい。近接エリア８０は、例えばフロントデスク６０の付近でロボット１００が手を延ばせば顧客５００と握手可能な位置とすることができる。

まず、ホテル内のフロアにいる顧客が、チェックインを必要とする、即ち、ロボット１００との対話を欲している顧客なのか否かを判定する必要がある。本発明ではこの判定は、顧客の挙動に基づいて判定する。本実施例では、ホテルのフロアにいる顧客の画像データから、当該顧客が、指定エリア７０に位置し、かつ、ロボット１００の視線と当該顧客の視線とが一致する場合には、当該顧客は、対話を欲していると判定する。なお、顧客の画像データは、ホテル内に設けた、図示しない複数のカメラとロボット１００の眼カメラ４０とから取得することができる（ステップ３１０）。

ロボット１００の視線と顧客との視線の一致の判定は、複数のカメラからの画像データと眼カメラ４０からの画像データとを画像認識ユニット２６５に伝送して解析することにより行うことができる（ステップ３２０，３３０）。なお、顧客が指定エリア７０に位置しているか否かも同様に行うことができる。
このようにしてチェックインを必要とする顧客であると判定された場合、当該顧客５００をチェックインカウンタ６０まで招き寄せる第１動作を実行する（ステップ３４０）。

本実施例の場合には、ロボット１００が顧客５００に対し、指定エリア７０から近接エリア８０まで近づくよう手招きすることでこれを行う。
まず、図５に示すように、ロボット１００は着席状態から立ち上がる。次に、図６に示すように、顧客５００に対し頭を下げる等の挨拶動作を行う。なお、挨拶動作に、「いらっしゃいませ。」などの発話を伴ってもよい。

次いで、図７に示すように顧客５００に対して手招き動作を行う。このとき、「お客さま、こちらまでお越し下さい。」などの発話を伴ってもよい。
次に、顧客５００が所定の距離内に近接したか否かの判定を行う（ステップ３５０）。この判定は、顧客５００が設定された近接エリア８０内に位置したか否かで行い、位置したときには近接したと判定する。この判定は、距離センサ３０からの信号を用いて行うことも出来るし、または、前述した対話を欲しているか否かの判定と同様に画像データを用いて行うことも出来る。

そして顧客が近接エリア８０内に位置したとき、ロボット１００は図８に示すように握手のために片手を挙げる動作を開始する。この動作により顧客５００はロボット１００と握手するために、ロボット１００に、より近接する。そして、握手可能な距離となったとき、図９に示すようにロボット１００は顧客５００と握手を行う第２動作を実行する（ステップ３６０）。

この握手を行う第２動作は、チェックインのためには必ずしも必要ないが、本発明の目的である音声認識ユニット２６０の音声認識率の向上には重要な役割を果たす。通常、握手可能な距離はほぼ１ｍ程度であり、この距離まで近づくことで音声認識率が格段に向上するからである。なお上述したロボット１００の各ステップにおける動作は、図２に示す制御系２００の制御動作により行なわれる。

１００・・・コミュニケーションロボット
１０・・・マイク
２０・・・スピーカ
３０・・・距離センサ
４０・・・眼カメラ
２００・・・制御系
２６０・・・音声認識ユニット
２６５・・・画像認識ユニット

Claims

顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットであって、
遠隔に位置する顧客の挙動から前記顧客が対話を欲しているか否かを判定する第１判定手段と；
前記第１判定手段により前記顧客が対話を欲していると判定したとき、前記顧客が遠隔位置から近接距離まで近づくように手招きする第１動作を実行する第１動作実行手段と；
前記顧客が所定の距離内に近接したか否かを判定する第２判定手段と；
前記第２判定手段により近接したと判定したとき、前記顧客に握手を求める第２動作を実行する第２動作実行手段と；
を備えたコミュニケーションロボット。
前記顧客が対話を欲しているか否かの第１判定は、取得した前記顧客の画像データに基づいて、前記顧客が指定エリアに位置し、かつ前記コミュニケーションロボットの視線と前記顧客の視線とが一致するとき欲していると判定する請求項１に記載のコミュニケーションロボット。
前記第１動作は、前記コミュニケーションロボットが立上がり前記顧客に対して挨拶する動作を含む請求項１に記載のコミュニケーションロボット。
前記顧客が所定の距離内に近接したか否かの第２判定は、前記顧客が近接エリアに位置したとき近接したと判定する請求項１に記載のコミュニケーションロボット。
顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットの動作方法において、
遠隔に位置する顧客の挙動から前記顧客が対話を欲しているか否かを判定する第１判定ステップと；
前記第１判定ステップにより前記顧客が対話を欲していると判定したとき、前記顧客が遠隔位置から近接距離まで近づくように手招きする第１動作を実行する第１動作実行ステップと；
前記顧客が所定の距離内に近接したか否かを判定する第２判定ステップと；
前記第２判定ステップにより近接したと判定したとき、前記顧客に握手を求める第２動作を実行する第２動作実行ステップと；
を備えたコミュニケーションロボットの動作方法。