JP2008049462A

JP2008049462A - 叫び声を用いたロボットの緊急停止方法及びシステム

Info

Publication number: JP2008049462A
Application number: JP2006231291A
Authority: JP
Inventors: Isao Hara; 功原; Futoshi Asano; 太浅野; Masataka Goto; 真孝後藤; Atsushi Ogata; 淳緒方
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2006-08-28
Filing date: 2006-08-28
Publication date: 2008-03-06
Anticipated expiration: 2026-08-28
Also published as: JP4817312B2

Abstract

【課題】ロボットの動作環境内の人が誰でも簡単に、且つ、特殊な装置なしにロボットの動作を緊急停止させることができる叫び声によるロボットの緊急停止方法及びシステムを提供する。
【解決手段】ロボットに設けられたマイクロフォンアレイ等で構成される音声音響入力部に入力された音声音響信号に対して周波数解析を行い、前記解析結果から得られた基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に前記ロボットの動作を緊急停止させる。
【選択図】図１

Description

本発明は、ロボットの動作を緊急停止させるシステムに関し、特に人間と共存した環境で動作するロボットを叫び声の検出により緊急停止させるシステムに関する。

近年、家庭やオフィスのような生活環境において人間と共存しながらサービスを提供する様々なロボットの研究開発が進められており、2025年には、家事支援や高齢者の自立支援、介助・介護等のための次世代ロボットの実用化が期待されている。

ロボットが人間と共存した環境で動作する時、動作中のロボットの可動範囲内に人間が不用意に進入してしまう場合や、予期せぬ障害物により転倒してしまう場合にも、人間・ロボットの両者の安全を確保する安全システムが必要不可欠である。

そのような安全システムとしては、異常検出時に実行中の動作を一時停止するシステムが考えられるが、現在のロボットでは、オペレータの監視により異常を検出し、ロボット本体または操作パネル等にある緊急停止ボタンを介して停止信号を送信するというシステムがほとんどである。

また、従来、音声入力によって指示を与えて動作させる産業ロボットにおいて、現在動作に対する禁止動作がメモリされた記憶手段と、音声入力部からの禁止動作が入力された場合に動作を一旦停止させる停止手段とを備え、音声指示入力が行われた場合にその音声指示入力が前記禁止動作か否かを判断して、禁止動作であれば、前記停止手段によって産業用ロボットを自動的に一旦停止させることにより、好ましくない動作への移行を防止して安全を確保する技術が提案されている（特許文献１参照）。
特開平６−３２５８７号公報

前述したような、オペレータの監視により異常を検出し、ロボット本体または操作パネル等にある緊急停止ボタンを介して停止信号を送信するというシステムにおいては、ロボットの動作を監視している人が安全システムの一部となるために、監視者のヒューマンエラーによる事故を防ぐことは難しい。

また、特許文献１で提案されているシステムにおいては、現在動作に対応させて記憶された禁止動作が指示された場合のみ、動作の停止を行うようにしているため、産業ロボットの可動範囲内に人間が不用意に進入してしまったような場合には、前記禁止動作を咄嗟に指示してロボットの動作を停止させることは極めて困難である。

本出願の発明者らは、これまでテレビなどの雑音がある生活環境において、ロボットと人間が自然なコミュニケーションを実現するために、マイクロホンアレイと視覚システムを用いた音声インターフェースの開発を進めてきた（非特許文献１参照）。

I.Hara, F.Asano, H.Asoh, N.Ichimura, Y.Kawai, F.Kanehiro,H.Hirukawa and K.Yamamoto, "Robust speech interface based on audio and video information fusion for humanoid HRP-2", in Proc. of I ROS-2004, pp.2404-2410,2004.

ロボットの緊急停止システムでは、この音声インターフェースを用いて、「止まれ」などの停止用音声コマンドを認識して実現することも可能であるが、音声認識による手法では、その発話の完了後でなければ正確に認識することが難しいため、1．5〜2秒程度の遅延が生じる。

また、音声認識システムでは、認識可能な言語による制限も存在する。人間共存型のロボットシステムにおいて、特に人とロボット間の事故を未然に防ぐためには、より即応的で発話者やその発話言語、発話方向に依存しない音声インターフェースの実現が必要である。

そこで、本発明は、前述したような従来のロボットの停止システムにおける問題点を解決し、ロボットの動作環境内の人が誰でも簡単に、且つ、特殊な装置なしにロボットの動作を緊急停止させることができる、叫び声によるロボットの緊急停止方法及びシステムを提供することを目的とする。

人間の日常会話では、「えー」や「あのー」のような言い淀みや韻律のような非言語情報が多く見られる。本出願の発明者らは、この非言語情報を積極的に使って安定で効率的な音声インターフェースを実現しており（非特許文献２参照）、言い淀みの中でも母音を引き伸ばす有声休止が持つ音響的特徴を、生活雑音下でも音響信号処理のみで安定して検出する手法を提案している（特許文献２、非特許文献３参照）。

特許第３３７６４８７号公報後藤真孝, "非言語情報を活用した音声インターフェース",情報処理学会音声言語情報処理研究会研究報告 2004-SLP-52-7, Vol.2004, No.74, pp.41-46, 2004. 後藤真孝, 伊藤克亘, 速水悟, "自然発話中の有声休止箇所のリアルタイム検出システム"，電子情報通信学会論文誌 D-II Vol.J83-D-II No.11, pp.2330-2340,2000.

本出願の発明者らは、緊急事態を知らせる場合によく使われる「止まれー！」や「Freeeeeze!」のような “叫び声”にも母音の引き伸ばし部分が含まれることに着目し、前述したような従来技術の課題の解決を試みた。

前記課題を解決するため、本発明の叫び声によるロボットの緊急停止方法は、ロボットに設けられた音声音響入力部に入力された音声音響信号に対して周波数解析を行い、前記解析結果から得られた基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に前記ロボットの動作を緊急停止するようにしたものである。

本発明の叫び声によるロボットの緊急停止方法においては、前記基本周波数と前記スペクトル包絡は、最も優勢な高調波構造に基づいて推定することが望ましい。

また、本発明の叫び声によるロボットの緊急停止システムは、ロボットに設けられた音声音響入力部に入力された音声音響入力信号に対して周波数解析を行い、基本周波数の変動量とスペクトル包絡の変形量を算出する周波数解析手段と、前記周波数解析手段により算出された基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に叫び声検出信号を出力する叫び声判定手段と、前記叫び声判定手段が出力する叫び声検出信号に基づいて前記ロボットの動作を緊急停止させる緊急停止手段とを備えたものである。

本発明のロボットの緊急停止システムにおいては、前記周波数解析手段は、前記基本周波数と前記スペクトル包絡を最も優勢な高調波構造に基づいて推定するものであることが望ましい。

本発明によれば、ロボットの動作範囲内に人間が不用意に入り込んだ場合や、予期しない障害物の存在により、ロボットが転倒する恐れがある場合に、特殊な装置を必要とせずに、発話者の言語に依存しない叫び声によって、即応的にロボットの動作を緊急停止させることができるため、人間とロボットとが共存する環境において、両者の安全を確保することができる。

日常会話において頻繁に発生する言い淀みの中でも母音を引き伸ばす有声休止には、（Ａ）基本周波数の変動が小さい、（Ｂ）スペクトル包絡の変形が小さいという２つの音響的な特徴がある（前述の非特許文献３参照）。

緊急停止を知らせる「止まれー」などの“叫び声”にもこの有声休止と同様な母音を引き伸ばす部分が存在する。また、“叫び声”をロボットの緊急停止システムに使用することにより、次の３つの利点がある。
１）発話が容易であること。（ “叫ぶ”という行為自体が、緊急時の自然な行為である。）
２）SN比が大きいこと。（通常時の発話と比較して大きな声で発話する。）
３）言語に依存しないこと。（母音の引き伸ばし部分が重要であるため、発話者の言語に依存しない。）
したがって、叫び声を用いたロボットの緊急停止システムにおいては、実用面において、非常に確実な動作が期待される。

先述の（Ａ）、（Ｂ）2つの特徴から、毎時刻ｔにおける入力信号中の基本周波数F0(t)と、スペクトル包絡Env(n,t) の推定を行い、過去一定期間のそれぞれの変化量Af(t)、As(t)の持続的な累積値を評価することで、母音の引き伸ばしを伴う“叫び声”を検出することができる。

図１は、本発明のロボット緊急停止システムの１実施形態を示すものであって、ヒューマノイドロボットの動作を制御する音声インターフェイスシステムに、本発明の叫び声を用いたロボットの緊急停止システム（以下、単に緊急停止システムという。）を統合したシステムを示す図である。

同図に示すシステムにおいては、通常時は、前記ロボットが搭載するマイクロホンアレイと広視野カメラを用いたロバスト音声インターフェース（前出の非特許文献１参照）を用いて、ユーザからの命令を音源分離、雑音除去、音声認識の処理を介して認識することで、コマンドインタプリタに対して当該ロボットに動作命令を発行している。

音声認識の前処理の部分は、1．5 秒から2 秒の周期で動作しているため、緊急時など即応的な命令の発行には向いていない。そこで、緊急時には、緊急停止システム１がマイクロフォンアレイから直接入力された叫び声により、ロボットの動作制御モジュールへ直接緊急停止信号を送出してロボットの動作を緊急停止できるようにしている。

前記緊急停止システム１は、叫び声検出モジュール２と緊急停止モジュール３から構成されており、叫び声検出モジュール２は、本発明における音声音響入力部としてのマイクロフォンアレイから入力された音響信号が叫び声か否かを判定し、当該音響信号が叫び声であると判定した場合に叫び声検出信号を出力するようになっている。

一方、緊急停止モジュール３は、叫び声検出モジュール２から叫び声検出信号を受け取ると、ロボットの動作を制御している動作制御モジュールへ緊急停止信号を出力し、ロボットの動作を緊急停止させる機能を有している。

また、叫び声検出モジュール２からの叫び声検出信号は、ロボットのコマンドインタプリタ（コマンドインターフェース）へも同時に送られる。当該信号を受けたコマンドインタプリタは、その時点において実行中の動作シーケンスを破棄するとともに、音声命令の受付を一旦停止する。

本実施形態においては、緊急停止モジュール３は、ロボットの危険な状態が回避された後、手動により、コマンドインタプリタへ復帰信号を出力できるようになっていて、コマンドインタプリタが当該復帰信号を受信した後は、再び音声命令の受付が可能に構成されている。

これによって、緊急時の叫び声にも即応的に対応でき、特に、複数の方向からの音響信号を拾うことができるマイクロフォンアレイを用いることで、全方向からの入力に対しても対応することが可能になっている。

なお、緊急停止モジュール３では、ロボットを即時停止状態にするために、非特許文献４に記載の緊急停止動作生成アルゴリズムを用いている。このアルゴリズムによれば、ロボットの歩行動作時においても、実時間で安定した停止動作と復帰動作を実現することが可能である。
M.Morisawa,S.Kajita, K.Harada, K.Fujiwara, F.Kanehiro,K.Kaneko and H.Hirukawa, "Emergency stop algorithm forwalking humanoid robots", in Proc of IROS-2005, pp.31-37, 2005.

図２に示すように、緊急停止システム１が備えている叫び声検出モジュール２は、周波数解析手段２Ａと叫び声判定手段２Ｂから構成されている。

また、図３は、本発明のロボット緊急停止システム１の動作フローを示す図であって、先ず、ロボットに搭載された、音声音響入力部としてのマイクロフォンアレイから送られてきた音響信号を叫び声検出モジュール２が検知すると（ｓｔｅｐ１）、周波数解析手段２Ａは、瞬時周波数λ（ω，ｔ）を算出し（ｓｔｅｐ２）、これに基づいて周波数成分ψ_ｆ（ｔ）の抽出を行う（ｓｔｅｐ３）。

次に、周波数解析手段２Ａは、入力された音響信号中で最も優勢な（パワーの大きい）高調波構造の基本周波数F_F0（ｔ）を音声の基本周波数として推定する（ｓｔｅｐ４）。ここで、基本周波数F_F0（ｔ）は、下記の（数１）で示す関数 P_F0(F,t)を定義し、これを最大とする周波数して算出する。

なお、（数１）の式中においては、周波数をあらわすｘとＦはＨｚではなく、下記の（数２）により定義されるcentという単位を用いてある。

また、前記（数１）において、ｐ（ｘ；Ｆ）は基本周波数がＦの高調波成分だけを通過させるフィルタ関数であり、Ψ’_ｐ（ｘ，ｔ）は、周波数軸がcentの単位で表現された（対数表現された）周波数成分のパワー分布関数である。ここで、周波数成分のパワー分布関数は、周波数成分を求め、この各周波数における短時間フーリエ変換を行うことで定義される関数である。（前出の特許文献２参照。）

次に、周波数解析手段２Ａは、図３のｓｔｅｐ５に示すように、スペクトル包絡の推定を行う。ここでは、スペクトル包絡の推定は、実環境で様々な雑音による影響を少なくするため、前述した基本周波数F_F0(t)の高調波構造上にある局所的な情報だけを利用して行い、最初に、基本周波数F_F0(t)の第ｋ次高調波成分のパワーPow(k,t;F_F0(t)) を基本周波数の整数倍の周波数を中心とするガウス分布で重み付けしながら、その近傍の最大パワーとして算出する。

次に、周波数解析手段２Ａは、線形スケールの周波数軸上で、隣接するPow(k,t;F_F0(t))の間を直線補間してスペクトル包絡を求める。スペクトル包絡の計算には、日本語の母音の第１、第２フォルマントをとらえるような上限周波数（３２００Ｈz）を考慮し、さらに、包絡の大局的な変形を捉える必要があるため、前述した直線補間で求めたスペクトル包絡を、粗い周波数分解能ζ（２００Ｈz）でリサンプリングして、低いほうからｎ（１≦n≦Nmax(15)）点目の周波数nζにおけるスペクトル包絡Env(n,t)を求める。

最後に、肺からの呼気によるＡＭ変調の影響を除去するために、（数３）に示す条件を満たすように正規化を行っている。

次に、周波数解析手段２Ａは、ｓｔｅｐ４で推定した基本周波数F_F0(t)から、ｓｔｅｐ６において、その変動量Af(t)を算出するとともに、ｓｔｅｐ５で推定したスペクトル包絡Env(n,t)から、ｓｔｅｐ７において、スペクトル包絡の変形量As(t)を算出する。

次のｓｔｅｐ８において、叫び声判定手段２Ｂは、前述した基本周波数の変動量Af(t)とスペクトル包絡の変形量As(t)から叫び声らしさP_fp(t) の推定を行う。ここで、叫び声らしさP_fp(t) は、（数４）に示すように定義している。

ここで、S_f(t)、 S_s(t)はそれぞれ一定期間（10フレームシフト）の基本周波数の変動量Af(t)の平均、スペクトル包絡の変形量As(t)の平均を表している。また、Ｒは２つの特徴に対する重み付けを決める定数、Ｗは、主に考慮する変動・変形の範囲を決める定数であって、本実施形態においては、Ｒ＝０．０３４、Ｗ＝０．５７５としている。

次のｓｔｅｐ９において、叫び声判定手段２Ｂは叫び声の検知を行う。ここでは、前述したように推定された叫び声らしさP_fp(t) が閾値Ｔ_ｍｉｎを超えたか否かを判定し、閾値Ｔ_ｍｉｎ以下である場合には、緊急停止システム１が備える図示しない記憶手段に累積値Ｓの値を０として記憶させ、ｓｔｅｐ１以降の処理を再実行させる。

一方、ｓｔｅｐ９において、P_fp(t) が閾値Ｔ_ｍｉｎを超えたと判定された場合には、さらに次のｓｔｅｐ１０において、叫び声らしさの累積値Ｓ＋P_fp(t)が閾値Ｔ_acm を超えたか否かを判定し、閾値Ｔ_acm 以下である場合には、前記記憶手段が記憶している累積値ＳをＳ＋P_fp(t)に更新して、ｓｔｅｐ１以降の処理を再実行させる。

また、ｓｔｅｐ１０において、叫び声判定手段２Ｂが叫び声らしさの累積値Ｓ＋P_fp(t)が閾値Ｔ_acm を超えたと判定した場合には、叫び声検出モジュール２から緊急停止モジュール３へ叫び声検出信号が出力される。そして、これを受けた緊急停止モジュール３は、ｓｔｅｐ１１において、ロボットの動作制御モジュールへ緊急停止信号を出力し、ロボットの動作を停止させる。

ロボットが停止し、危険な要因を取り除いて安全確認を行った後、緊急停止モジュール３から手動でロボット側に復帰信号を出力することにより、復帰処理が終了する（ｓｔｅｐ１２）。前記復帰処理が完了すると、前記累積値Ｓの値は０にリセットされる。

以上に説明した緊急停止システム１は、ロボット側と必要なデータを授受可能なインターフェースを備えた汎用のコンピュータによって構成してもよく、その場合には、前述した図３に示すｓｔｅｐ１〜ｓｔｅｐ１２の各ステップの処理を行うプログラムを前記コンピュータのメモリに読み込んで実行させることで、前述した緊急停止システム１を実現することができる。

さらに、前述した実施形態においては、図１に示すように緊急停止システム１は、平常時のロボットの動作を制御するシステムの部分とは独立させて設けているが、ロボットに搭載されるコンピュータが高い処理能力を有している場合には、前記コンピュータに平常時のロボットの動作を制御するための処理と併せて、緊急時に叫び声で停止させるための緊急停止システムとしての処理を行わせるようにしてもよい。

本発明の有効性を確認するために、前述した図１に示したシステムにより、叫び声による緊急停止実験を行った。図４に示すように、“Voice”で示された位置に人が座わり、そこから５ｍ離れた位置からロボットを１．３５ｋｍ／ｈの速度で接近歩行させて、手前２ｍまで近づいた地点で「Freeeeeeeze!」と叫び声を上げることで緊急停止させるようにした。

図５は、この実験時にロボットに搭載されたマイクロフォンアレイの一つのマイクに入力された音響波形であって、同図の時刻Ａで発話を開始し、時刻Bで“叫び声”の検出を行い、時刻Cで緊急停止動作を完了した。このときの人の発話レベルと、ロボット自身の歩行動作により発生した雑音のレベルは、それぞれ７５ｄBＡ、６３ｄBＡ（音のレベルはそれぞれ音源から1m離れた位置で計測した値）であった。

この実験においては、叫び声の発話開始から約１．２秒で緊急停止動作が行われ、約３０ｃｍ以内の歩行でロボットを停止させることができた。この結果は、通常時の音声認識周期よりも短く、ロボットが特定の停止用音声コマンドを認識する場合よりも迅速に停止可能であることを示している。

次に、環境雑音のある状態において、ロボットの緊急停止が可能な叫び声のレベルを調査した。人間の叫び声のレベルを正確に調整することは困難であるため、あらかじめ録音した叫び声を図４における“Voice”の位置に設置したスピーカーから流し、６５ｄＢＡから７５ｄＢＡまでレベルを変化させて計測を行った。

一方、環境雑音として、“Noise”の位置から男声ボーカル入りのジャズ音楽(楽曲はRWC 研究用音楽データベース（非特許文献５参照）RWCMDB-J-2001 No.36）を６５ｄＢＡで流し続けた。
後藤真孝, 橋口博樹, 西村拓一, 岡隆一, "RWC研究用音楽データベース：研究目的で利用可能な著作権処理済み楽曲・楽器音データベース", 情報処理学会論文誌 Vol.45, No.3, 2004.

この実験結果においては、70ｄＢＡ以上の叫び声であれば、約4m 離れた場所でもほぼ100％で緊急停止動作をさせることができた。先に行った実験では、人の叫び声のレベルが75dBAであったことを考慮すると、通常の生活環境下では、今回実装した本発明の緊急停止システムは、実用面で十分に有効であると考えられる。

本発明の叫び声によるロボットの緊急停止方法及びシステムは、家庭における家事支援や高齢者の自立支援、介助、介護等や、オフィスにおける業務の支援等、人間と共存しながらサービスを提供するロボットの緊急停止技術として好適に利用することができる。さらに、工場等の中で人間と共存する環境で動作する産業用ロボットや、自律走行する無人走行車等の緊急停止技術としても広く利用可能である。

ヒューマノイドロボットの動作を制御する音声インターフェイスシステムに本発明に係る緊急停止システムを統合したシステム構成を示す図である。本発明に係る緊急停止システムのブロック図である。本発明に係る緊急停止システムの動作フローを示す図である。叫び声によるロボットの緊急停止実験における、叫び声の発話位置と環境雑音の発音源の位置との関係を示す図である。緊急停止実験時にロボットのマイクロフォンに入力された叫び声の音響波形を示す図である。

符号の説明

１緊急停止システム
２叫び声検出モジュール
２Ａ周波数解析手段
２Ｂ叫び声判定手段
３緊急停止モジュール（緊急停止手段）

Claims

ロボットに設けられた音声音響入力部に入力された音声音響信号に対して周波数解析を行い、前記解析結果から得られた基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に前記ロボットの動作を緊急停止することを特徴とする叫び声を用いたロボットの緊急停止方法。
前記基本周波数と前記スペクトル包絡は、最も優勢な高調波構造に基づいて推定することを特徴とする請求項１記載の叫び声を用いたロボットの緊急停止方法。
ロボットに設けられた音声音響入力部に入力された音声音響入力信号に対して周波数解析を行い、基本周波数の変動量とスペクトル包絡の変形量を算出する周波数解析手段と、
前記周波数解析手段により算出された基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に叫び声検出信号を出力する叫び声判定手段と、
前記叫び声判定手段が出力する叫び声検出信号に基づいて前記ロボットの動作を緊急停止させる緊急停止手段とを備えたことを特徴とする叫び声を用いたロボットの緊急停止システム。
前記周波数解析手段は、前記基本周波数と前記スペクトル包絡を最も優勢な高調波構造に基づいて推定すること特徴とする請求項３記載の叫び声を用いたロボットの緊急停止システム。