JP2018061718A - コミュニケーション装置 - Google Patents

Abstract

【課題】コミュニケーションロボットにおいて、眼部を曲面の透明樹脂として背後に平面の表示パネルを配置すると、樹脂とパネルの間に必然的に隙間が生じ、ロボットとユーザの位置関係によっては、表示された図柄の位置ずれや屈折等によって視認性が低下していた。
【解決手段】一対の眼部を有する顔部と、一対の眼部をそれぞれ覆う透光カバーと、眼の表情を図案化した図柄を表示する表示パネルと、表示パネルに表示された図柄を透光カバーまで伝達するための光ファイバ束と、図柄を選択的に表示パネルに表示させる制御部とを備えるコミュニケーション装置を提供する。
【選択図】図３

Description

本発明は、コミュニケーション装置に関する。

ユーザとコミュニケーションを図るロボットがますます身近になってきている。コミュニケーションを強化する観点から、人間や動物に似せた顔部を備えるロボットも多く知られている。その顔部に表示パネルを設け、眼の表情を図案化して表示するものも現れてきた（例えば、特許文献１を参照）。

特開２０１６−１０３２７７号公報

平面の表示パネルを顔部に直接的に配置すると、人間らしさや動物らしさが失われる。一方で、眼部を曲面の透明樹脂として背後に平面の表示パネルを配置すると、樹脂とパネルの間に必然的に隙間が生じ、ロボットとユーザの位置関係によっては、表示された図柄の位置ずれや屈折等によって視認性が低下していた。

本発明は、このような問題を解決するためになされたものであり、眼部に表現豊かな図柄を高い視認性をもって表示するコミュニケーション装置を提供するものである。

本発明の一態様におけるコミュニケーション装置は、一対の眼部を有する顔部と、一対の眼部をそれぞれ覆う透光カバーと、眼の表情を図案化した図柄を表示する表示パネルと、表示パネルに表示された図柄を透光カバーまで伝達するための光ファイバ束と、図柄を選択的に表示パネルに表示させる制御部とを備える。

このような構成により、実際に図柄が投影される面が透光カバー面とほぼ一致するので、コミュニケーション装置を観察する位置によって図柄がずれたり、屈折等によってゆがんだりすることがほぼ解消される。

本発明により、眼部に表現豊かな図柄を高い視認性をもって表示するコミュニケーション装置を提供することができる。

本実施形態にかかるロボットの概観図である。 ロボットのシステム構成図である。 右眼の構造を示す斜視図である。 ピクセルと光ファイバの位置関係を示す平面図である。 眼部の他の例を示す模式図である。 対話相手が撮影画像の右側に移動した様子を示す図である。 視線を右側の対話相手に向けた眼部の様子を示す図である。 視線を右側の対話相手に向けた顔部全体の様子を示す図である。 表示処理の手順を示すフローチャートである。 表示される図柄のバリエーションを説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態にかかるロボット１００の概観図である。ロボット１００は、ユーザである人間と音声対話を行うコミュニケーション装置としてのロボットである。ロボット１００は、音声対話に合わせて眼の表情が変化する。

ロボット１００は、外観として動物を模しており、顔部１２０を有する。顔部１２０には、ユーザが眼と認識できる位置に、眼部１２２（右眼１２２ａ、左眼１２２ｂ）が設けられている。眼部１２２の構造については後に詳述するが、右眼１２２ａ、左眼１２２ｂのそれぞれの背後には表示パネル１０６が設置されている。

ロボット１００の鼻の位置には、カメラ１０２が眼立たないように配置されている。カメラ１０２は、例えばＣＭＯＳセンサを含み、外部環境を認識するための画像を取得する撮像部として機能する。ロボット１００の口の位置には、スピーカ１０９が隠されて配置されている。スピーカ１０９は、ロボット１００が生成した音声を発する発話出力部として機能する。ユーザは、口の位置から出力される音声に、ロボット１００が喋っているような感覚を覚える。また、顔部１２０のいずれかの位置には、マイク１０１が隠されて配置されている。マイク１０１は、ユーザの発話音声等を集音する機能を担う。

図２は、ロボット１００のシステム構成図である。ロボット１００は、主なシステム構成として、マイク１０１、カメラ１０２、対話判定部１０３、環境認識部１０４、眼制御部１０５、表示パネル１０６、音声認識部１０７、発話制御部１０８、およびスピーカ１０９を備えている。

マイク１０１は、上述のようにユーザの発話音声等の音声を集音する。カメラ１０２は、ユーザおよびユーザの周辺環境を撮影して画像データを生成する。

対話判定部１０３は、マイク１０１により集音された集音音声およびカメラ１０２により撮影された撮影画像に基づいて、ロボット１００がユーザと対話中であるか否かを判定する。対話判定部１０３は、集音音声の音量が閾値を超えており、かつ、撮影画像にユーザが写っている場合に、ユーザと対話中であると判定する。

環境認識部１０４は、対話判定部１０３によりユーザと対話中であると判定された場合に、カメラ１０２により撮影された撮影画像に写るユーザおよびユーザの周辺環境を認識する。環境認識部１０４は、顔認識部１１０を備えており、顔認識部１１０は、撮影画像に写るユーザの顔の位置を認識する。顔認識部１１０は、例えば、撮影画像に写るユーザの顔の特徴点に基づいて、ユーザの顔の位置を認識できる。

顔認識部１１０は、例えば、対話開始時に撮影画像に写っている人物をユーザとして特定し、特定したユーザを追跡し続けることも可能である。また、顔認識部１１０は、撮影画像に写る人物の中で、顔の大きさが最も大きい人物（すなわち、ロボット１００に最も近い位置にいる人物）をユーザとして特定しても良い。また、顔認識部１１０は、撮影画像に写っている物体が人物か否かを判断するときに、デジタルカメラ等で使用されている顔認識技術を利用しても良い。また、顔認識部１１０は、カメラ１０２により事前に撮影された背景画像（ロボット１００が設置されている設置環境の画像）との差分を利用して、ユーザを特定しても良い。顔認識部１１０は、差分として得られた画像領域に絞ってユーザを検索しても良い。

表示パネル１０６は、ロボット１００の後述するように眼の背後に配置され、眼の表情を図案化した図柄を表示する。表示パネル１０６は、例えば、液晶パネルや有機ＥＬパネルである。

眼制御部１０５は、顔認識部１１０により認識されたユーザの顔の位置を基に、表示パネル１０６に表示される眼の視線をユーザの顔の位置に向けたり、対話内容や周辺環境の変化に応じて表示する眼の表情に動的な変化を与えたりする。具体的な変化については後述する。

音声認識部１０７は、マイク１０１により集音された集音音声の音声認識を行う。発話制御部１０８は、音声認識部１０７によりユーザの発話音声が音声認識された場合に、ユーザの発話音声に対する応答文を生成する。発話制御部１０８は、例えば、ユーザの発話内容と、これに対する応答文とを予め対応付けたデータベースを保持し、このデータベースを用いて、ユーザの発話内容に応じた応答文を生成する。スピーカ１０９は、発話制御部１０８により生成された応答文を音声出力する。

図３は、右眼１２２ａの構造を示す斜視図である。左眼１２２ｂも右眼１２２ａと同様の構造であり、それぞれの表示パネル１０６は、共に眼制御部１０５によって表示制御される。

右眼１２２ａは、主に、透光カバー１３１、光ファイバ束１３２および表示パネル１０６から成る。透光カバー１３１は、例えば透明なポリカーボネイトによって成形され、顔部１２０の外装材としての役割を担う。動物や人を模したロボットの場合、眼の表面は曲面であることが自然であり、ユーザに受け入れられやすい。したがって、本実施形態におけるロボット１００も、眼の表面に相当する透光カバー１３１は、外部に向かって凸状の曲面に成形されている。

右眼１２２ａの奥側には、右眼の表情を図案化した図柄を表示するための表示パネル１０６が設置されている。表示パネル１０６の表示面は平面である。また、表示面は、透光カバー１３１の外縁周を包含する大きさを有する。図においては、透光カバー１３１の外縁周に対応する大きさの白目に偏位して重ねられた黒目から成る図柄である表示右眼図３０１ａが表示されている様子を示す。

ここで、曲面から成る透光カバー１３１の背後に表示面が平面である表示パネル１０６を配置すると、これらの間には必ず隙間が生じる。この隙間が空間として存在すると、例えばユーザが斜め方向から右眼１２２ａを観察したときに、外装材としての透光カバー１３１と、表示された表示右眼図３０１ａが互いにずれてしまい、場合によっては、透光カバー１３１の周辺部から内部の回路等が見えてしまうこともあり得る。場合によっては、表示右眼図３０１ａの一部が欠けて見えてしまうこともあり得る。また、表示された表示右眼図３０１ａが、透光カバー１３１で屈折したり反射したりして、歪んで見えたり滲んで見えたりすることもあり得る。そこで、本実施形態におけるロボット１００では、透光カバー１３１と表示パネル１０６の表面との間に、表示パネル１０６に表示された表示右眼図３０１ａを透光カバー１３１まで伝達するための光ファイバ束１３２を介在させる。

光ファイバ束１３２は、表示パネル１０６のピクセルのそれぞれに一対一に対応する光ファイバ１３２ａの集合体である。図では説明のために表示パネル１０６の表面から浮かせて示しているが、それぞれの光ファイバ１３２ａの一端は、表示パネル１０６の表面に導光系の接着剤により接着されている。また、それぞれの光ファイバ１３２ａの他端は、透光カバー１３１の内部曲面に沿うように切り揃えられている。その端面は、光ファイバ１３２ａの伸延方向に対して垂直であっても良く、透光カバー１３１の内部曲面に倣って曲面に研磨されていても良い。光ファイバ１３２ａの他端は、透光カバー１３１の内部曲面に導光系の接着剤により接着される。

それぞれの光ファイバ１３２ａは、集合体としてその外周面が被覆１３２ｂで覆われて束ねられている。被覆１３２ｂは、迷光を防ぐべく、遮光素材であることが好ましい。このようにして、透光カバー１３１、光ファイバ束１３２および表示パネル１０６は、互いに接続されて一体化される。

表示パネル１０６に表示された表示右眼図３０１ａの光束は、光ファイバ１３２ａの一端から入射し、他端から出射する。光ファイバ１３２ａの出射面である他端の集合体は、透光カバー１３１の内部曲面に沿う仮想的なスクリーンを形成する。したがって、表示パネル１０６に表示された表示右眼図３０１ａは、この仮想的なスクリーンに投影され、ユーザに観察される投影右眼図３０２ａに変換される。この投影右眼図３０２ａは、透光カバー１３１の内部曲面に沿うので、ユーザは、さまざまな角度から欠けることなく、歪むことなく、滲むことなく観察することができる。

なお、仮想的なスクリーンを形成する光ファイバ１３２ａの他端は、出射光が拡散するように粗面処理が施されていても良い。あるいは、透光カバー１３１で拡散するように、その表面に粗面処理が施されていても良い。粗面処理が施されると、投影右眼図３０２ａは、より滑らかな図柄として観察される。

また、透光カバー１３１は、無色透明でなくても良く、光ファイバ１３２ａから出射される出射光の少なくとも一部が透過されれば良い。したがって、顔部１２０の装飾性を重視して、加色しても良い。また、透光カバー１３１の全体が曲面でなくても良く、擬制する対象の眼の特徴に合わせて一部を平面にしても構わない。この場合、光ファイバ１３２ａの他端も、曲面に対応する領域に含まれる場合に、当該曲面に倣うように加工されれば良い。

また、平面として表示される表示右眼図３０１ａが、曲面として投影される投影右眼図３０２ａに変換されるので、眼制御部１０５は、観察される投影右眼図３０２ａが正しい形状となるように、表示する表示右眼図３０１ａの形状を予め調整することが好ましい。この場合、眼制御部１０５は、例えば一つの黒目の図柄でも、仮想的なスクリーンのどの位置に投影するかにより、表示する位置と形状を調整する。

図４は、表示パネル１０６の表示画素であるピクセル１０６ａと光ファイバ１３２ａの位置関係を示す平面図である。図示するように、複数のピクセル１０６ａが、格子状に二次元的に配列されている。そして、各ピクセル１０６ａに入射面が内接するように、光ファイバ１３２ａが配列されている。つまり、光ファイバ１３２ａの外径をφ、ピクセル１０６ａのピッチをＰとすると、Ｐ＝φの関係である。このように互いに配列されると、一本の光ファイバ１３２ａが一画素分の光束を伝達するので、表示パネル１０６の解像度をそのまま維持することができ、光束のロスも抑えることができる。なお、解像度を犠牲にして伝達する光束を増やすのであれば、複数のピクセルに対して１つの光ファイバ１３２ａを配列することも可能である。逆に、より細い光ファイバ１３２ａを利用して、１つのピクセルに複数の光ファイバ１３２ａを対応付けることも可能である。

図５は、眼部１２２の他の例を示す模式図である。図３を用いて説明した右眼１２２ａは、同様の独立した構造を有する左眼１２２ｂを並べて配置して眼部１２２を形成した。図５の例の眼部１２２は、右眼１２２ａと左眼１２２ｂで、１枚の表示パネル１０６を共用する。

すなわち、共用する単独の表示パネル１０６は、表示右眼図３０１ａと表示左眼図３０１ｂを共に表示する。そして、表示パネル１０６の表面には、右眼用の光ファイバ束１３２と左眼用の光ファイバ束１３２が並べて配置されている。表示右眼図３０１ａの光束は、右眼用の光ファイバ束１３２を通過して投影右眼図３０２ａを形成し、表示左眼図３０１ｂの光束は、左眼用の光ファイバ束１３２を通過して投影左眼図３０２ｂを形成する。

右眼１２２ａと左眼１２２ｂは、顔部１２０において、通常は離間して配置されている。右眼として観察される投影右眼図３０２ａの中心と、左眼として観察される投影左眼図３０２ｂの中心との距離であるＤ_ｃｏｖは、表示パネル１０６に表示される表示右眼図３０１ａと表示左眼図３０１ｂとの距離であるＤ_ｄｉｓよりも長い。すなわち、表示パネル１０６とそれぞれの透光カバー１３１を接続する光ファイバ束１３２を若干湾曲させることにより、採用する表示パネル１０６を最小化している。

このような構造を採用することにより、組み立て工程の簡素化と、表示パネル１０６の小型化を実現することができる。なお、図においては、光ファイバ束１３２が互いに反対方向へ離間するレイアウトであるが、光ファイバの湾曲性を利用して、表示パネル１０６をさまざまな位置に配置するレイアウトも可能である。

次に、このような眼部１２２を有するロボット１００のコミュニケーション装置としての動作について説明する。図６は、ユーザが撮影画像の右側に移動した様子を示す図である。対話相手であるユーザの顔の位置が移動した場合には、ロボット１００は、相手が移動した方向に視線を向ける。例えば、ユーザが撮影画像の右側に移動したことにより、ユーザの顔の位置が撮影画像の右側に移動した場合には、図７に示すように、眼制御部１０５は、右側に視線が移動するように見えるよう、黒目を段階的に右側に移動させる。このときのロボット１００の顔部１２０の全体は、例えば、図８に示すように観察される。

図９は、表示処理の手順を示すフローチャートである。処理が開始されると、対話判定部１０３は、ステップＳ１０１で、ロボット１００がユーザと対話中であるか否かを判定する。ステップＳ１０１で対話中であると判定されなければ（ステップＳ１０１のＮＯ）、処理を終了する。

一方、ステップＳ１０１で対話中であると判定されれば（ステップＳ１０１のＹＥＳ）、顔認識部１１０は、ステップＳ１０２で、カメラ１０２により撮影された撮影画像に写るユーザの顔の位置を認識する。続いて、眼制御部１０５は、ステップＳ１０３で、顔認識部１１０により認識されたユーザの顔の位置を基に、表示パネル１０６に表示されるロボット１００の眼の視線を、ユーザの顔の位置に向ける。

ステップＳ１０４へ進み、対話判定部１０３は、ロボット１００がユーザと対話中であるか否かを再度判定する。ステップＳ１０４で対話中であると判定されなければ（ステップＳ１０４のＮＯ）、処理を終了する。一方、ステップＳ１０４で対話中であると判定されれば（ステップＳ１０４のＹＥＳ）、ステップＳ１０２に戻り、ステップＳ１０２以降の処理を行う。

表示パネル１０６に表示する眼の表情を図案化した図柄は、様々である。図１０は、表示される図柄のバリエーションを説明する図である。

上記においては、視線を表現するために、塗りつぶされた黒目が移動するように逐次図柄が更新されるものとして説明したが、眼の表情は視線に限らず、様々な感情も表現し得る。例えば、図１０（ａ）に示す図柄は虹彩中のキャッチライトを強調して表現しており、例えば感動を表す。

図１０（ｂ）に示す図柄は、寄せ目であり、例えば疑問に感じている感情を表す。他にも、喜んだ感情を表す図柄（図１０（ｃ））や、眠い意思を表す図柄（図１０（ｄ））も目の表情を表す図柄として採用し得る。また、表示する図柄は、眼球の要素に限らず、例えば図１０（ｅ）に示すように、瞼を取り込んだ図柄であっても良い。

眼制御部１０５は、ユーザの状態や、対話内容、周辺環境に応じて、これら予め用意された図柄を選択して、表示パネル１０６の適切な位置に適宜表示する。このような表示制御と上述した眼部１２２の構造との相乗効果により、より視認性が高く、表現力に優れたコミュニケーション装置としてのロボットを提供することができる。

１００ ロボット、１０１ マイク、１０２ カメラ、１０３ 対話判定部、１０４ 環境認識部、１０５ 眼制御部、１０６ 表示パネル、１０６ａ ピクセル、１０７ 音声認識部、１０８ 発話制御部、１０９ スピーカ、１１０ 顔認識部、１２０ 顔部、１２２ 眼部、１２２ａ 右眼、１２２ｂ 左眼、１３１ 透光カバー、１３２ 光ファイバ束、１３２ａ 光ファイバ、１３２ｂ 被覆、３０１ａ 表示右眼図、３０１ｂ 表示左眼図、３０２ａ 投影右眼図、３０２ｂ 投影左眼図

Claims (5)

1. 一対の眼部を有する顔部と、
   前記一対の眼部をそれぞれ覆う透光カバーと、
   眼の表情を図案化した図柄を表示する表示パネルと、
   前記表示パネルに表示された前記図柄を前記透光カバーまで伝達するための光ファイバ束と、
   前記図柄を選択的に前記表示パネルに表示させる制御部と
   を備えるコミュニケーション装置。
2. 前記表示パネルは複数のピクセルによって構成され、
   前記光ファイバ束は、前記複数のピクセルのそれぞれに一対一に対応する光ファイバを含む請求項１に記載のコミュニケーション装置。
3. 前記透光カバーは、少なくとも一部が曲面によって構成され、
   前記光ファイバ束の前記透光カバー側の端面のうち前記曲面に対応する領域は、前記曲面に倣って加工されている請求項１または２に記載のコミュニケーション装置。
4. 前記表示パネルは、それぞれの前記透光カバーに投影される２つの前記図柄を表示する単独のパネルによって構成される請求項１から３のいずれか１項に記載のコミュニケーション装置。
5. 前記制御部は、周辺環境変化に応じて前記図柄を変化させる請求項１から４のいずれか１項に記載のコミュニケーション装置。

Images