JP2005293154A

JP2005293154A - 障害物回避装置および移動体

Info

Publication number: JP2005293154A
Application number: JP2004106347A
Authority: JP
Inventors: Toru Yamamoto; 透山本; Ryota Kurozumi; 亮太黒住
Original assignee: Hiroshima University NUC
Current assignee: Hiroshima University NUC
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2005-10-20
Anticipated expiration: 2024-03-31
Also published as: JP4269055B2

Abstract

【課題】ユーザに応じた調整を可能とする障害物回避補助装置を実現する。
【解決手段】電動車椅子１に搭載された回避装置３は、操作部２から入力されるユーザの指示速度Ｗと対物センサ４から入力される周囲の障害物の状況とを、学習部１２の格納部１３に格納し、これに応じて速度Ｕを修正して駆動装置６に出力する。格納部１３に格納した情報と速度センサ５にて検出する実際の速度Ｙとを抽出部１４にて比較して、強化学習を行う。抽出部１４が適切な反発力の係数を学習し、反発力生成部１５が反発力Ｆを計算して、ユーザの指示速度Ｗに基づく速度Ｕｍに加算することによって、速度Ｕを修正する。電動車椅子１の速度Ｕを駆動装置６、動力部７によって実現する。
【選択図】図１

Description

本発明は、障害物回避装置および移動体に関するものであり、例えば電動車椅子のような移動体に備えられる障害物回避装置、およびその障害物回避装置を備えた移動体に関するものである。

高齢化社会が進展する中で、体に多少の不自由を感じる人から寝たきりの人まで、移動補助機器に関する多様なニーズが存在する。

それらの中で、従来の車椅子のイメージに対する抵抗感や、狭い場所で小回りが利くことなどを求める声が多く聞かれる。例えば、特許文献１には、狭い場所で小回りの利く車椅子が開示されている。また、非特許文献１〜３には、全方向移動機構、全方向移動機構を備えた車椅子が開示されている。

また、車椅子などの移動車両において、安全運転を可能とし、操作を容易にするための障害物回避補助装置（障害物回避装置）を設けた構成が知られている。

例えば、特許文献２には障害物を回避する移動ロボットが開示され、特許文献３には障害物を回避する車椅子が開示されている。

また、障害物を回避する際に、反発力を想定して動作制御する構成が、特許文献４に開示されている。反発力については、非特許文献４に記載がある。
特開２０００−１１６７２０号公報（公開日：２０００年４月２５日）特開平７−１１０７１１号公報（公開日：１９９５年４月２５日）特開２０００−２１０３４０号公報（公開日：２０００年８月２日）特開２００２−２２５７４１号公報（公開日：２００２年８月１４日） H.Asama, M.Sato, L.Bogoni et al.: Development of an omnidirectional Mobile robot with 3 DOF decoupling drive mechanism, Proc.of IEEE 1995 Int.Conf. on Robotics and Automation, pp.1925-1930(1995) S.Hirose and S.Asano; The VUTON: High Payload High efficiency holonomic omni-directional vehicle, 6th Int.Symp. on Robotics Research, October(1993) M.Wada and H.H.Asada: A holonomic omnidirectional wheelchair with a variable footprint mechanism, Proc.of the 3rd Int.Conf.on Advanced Mechatronics Okayama, Japan, pp.268-274,(1998) 太田順、倉林大輔、新井民夫: 知能ロボット入門−動作計画問題の解法、コロナ社(2001)

しかしながら、従来の構成の障害物回避装置においては、ユーザ毎、周囲の状況毎に応じた対応をしないので、十分きめ細かな対応ができないという問題を生ずる。

例えば、特許文献４に記載の構成は、障害物を回避する際に反発力を想定して動作制御するものである。しかしながら、操作状態はユーザ毎に異なり、また周囲の状況に応じて
変わるものであるため、特許文献４の構成のように予め定めた反発力を固定して用いる場合には、ユーザによっては反発力がかえってじゃまになりうる場合が考えられる。このため、十分きめ細かな対応ができず、障害物回避装置がじゃまになる場合が考えられる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、障害物を回避するためにユーザからの指示速度を修正する障害物回避装置であって、ユーザごとに細かな対応ができる障害物回避装置および移動体を提供することにある。

本発明に係る障害物回避装置は、上記課題を解決するために、ユーザからの指示速度に基づいて移動する移動体に対して、上記移動体の周囲の障害物を検出する障害物センサからの情報に応じて上記指示速度を修正することによって、上記移動体の障害物との衝突を回避させる障害物回避装置であって、設定された重み係数を乗算した上で上記指示速度に加減算することによって上記指示速度を修正するために用いる、上記障害物との衝突を回避するための反発力を、上記障害物センサからの情報に応じて計算する反発力生成部を備えており、さらに、上記指示速度を上記反発力によって修正した速度と上記指示速度との方向の一致または不一致に応じて、上記反発力生成部における上記重み係数の大きさを強化学習により学習し、上記反発力生成部に対して設定する学習部を有していることを特徴としている。

上記構成の障害物回避装置は、障害物センサの検出した障害物を回避するように、反発力生成部が反発力を計算する。例えばこの反発力を速度に加算することによって、障害物回避を実現する。すなわち、車両の駆動装置、動力部にて、得られた速度となるように調整を行えば、障害物に近接した場合には障害物から離れる方向の力が強くなり、障害物を回避できる。

ここで、上記構成の障害物回避装置は、操作部に対する操作を学習して、反発力の大きさ、方向を調整することによって、速度を修正する。これは、操作部に対する操作の強さなどはユーザごとに異なる一方で、反発力生成部による反発力を画一的なものとすると、ユーザによっては反発力がじゃまとなり、所望の動作が実現できない虞があるためである。

このため、障害物回避装置は、ユーザの操作を学習して、反発力の強さを調整する。より詳細には、学習部が、ユーザからの指示速度を反発力によって修正した速度と、指示速度との方向の一致または不一致に応じて、重み係数の大きさを強化学習により学習し、反発力生成部に対して設定する。なお、ここでは、速度の大きさが０の場合は方向が定まらないため、修正した速度と指示速度との大きさが共に０である場合には方向が一致したものとし、それ以外の例えば一方の大きさが０であるが他方の大きさが０でない場合には方向が不一致であるとする。

したがって、ユーザが移動体を移動させるように操作すると、障害物回避装置において、反発力の大きさが適切なものとなるように学習される。ここで、学習部は、教師なし学習である強化学習を用いるので、ユーザごとの障害物回避のように正解のない場合であっても学習できる。

よって、ユーザ毎、周囲の状況毎に応じた対応をして、十分きめ細かな対応ができる。

また、本発明に係る障害物回避装置は、上記構成において、上記学習部が、上記修正した速度と上記指示速度との方向が一致する場合に正の報酬とし、上記修正した速度と上記指示速度との方向が不一致の場合には負の報酬とすることによって強化学習を行うことを
特徴としている。

このように、修正した速度と指示速度とが一致する場合に正の報酬とするので、修正した速度と指示速度とが一致するように学習を行うことができる。したがって、障害物回避を行いつつ、できるだけユーザの希望に応じた所望の進行が可能となる。

また、本発明に係る障害物回避装置は、上記構成において、上記指示速度を検出するための操作部がジョイスティック型の操作部であり、上記学習部が、上記修正した速度が０であって上記移動体が停止しているときに、上記ジョイスティックが中央位置に保持されている場合には正の報酬とし、上記修正した速度が０でなく上記移動体が移動している方向と上記ジョイスティックの倒されている方向とが不一致の場合、または上記修正した速度が０であって上記移動体が停止しているときに上記ジョイスティックが倒されている場合には、負の報酬とすることを特徴としている。

修正した速度が０であって移動体が停止しているときに、ジョイスティックが中央位置に保持されている場合には正の報酬とするので、所望のタイミングで直ぐに停止できるように学習することができ、移動体の安全な運転が可能となる。

また、修正した速度が０であって移動体が停止しているときにジョイスティックが倒されている場合には負の報酬とするので、望まない停止をすることなく、直ぐに発進するように学習することができる。

本発明に係る移動体は、上記課題を解決するために、上述のいずれかに記載の障害物回避装置を備えていることを特徴としている。

上述の障害物回避装置を備えているので、移動体において、上述の効果を得ることができる。

本発明に係る障害物回避装置は、上記課題を解決するために、指示速度を反発力によって修正した速度と、上記指示速度との方向の一致または不一致に応じて、反発力生成部における重み係数の適切な大きさを強化学習により学習し、上記反発力生成部に対して設定する学習部を有している構成である。

このように、移動体の実際の速度である「指示速度を反発力によって修正した速度」と、指示速度とを比較して、方向の一致または不一致に応じて強化学習を行う。したがって、例えばユーザ指示を修正した速度の方向とユーザ指示速度の方向とが一致するように学習を行うことができる。

このため、ユーザによる移動体の操作に応じて重み係数の大きさを学習して、反発力の大きさを適切なものにできる。したがって、ユーザごとにきめ細かな対応ができる。また、障害物回避装置がじゃまになることがない。

本発明の実施形態について図面に基づいて説明すると以下の通りである。

本発明の一実施例である電動車椅子（移動体）１は、図２の概略の斜視図に示すような構成である。電動車椅子１は、オフィスチェアーのような外見の、コンパクトな全方向移動車椅子である。電動車椅子１は、操作部２を用いて、移動速度（走行速度）を制御することができる。また、電動車椅子１は、図３に示すように、動力部の右車輪７ａ、左車輪
７ｂ、回転軸７ｃの回転により、全方向に移動が可能となっている。このため、電気車椅子１は、非常に小回りが利く構成である。

電動車椅子１は、図１に示すように、操作部２、回避装置（障害物回避補助装置、障害物回避装置）３、対物センサ（障害物センサ）４、速度センサ５、駆動装置６および動力部７を備えている。

本実施例の操作部２はジョイスティック型のユーザインタフェースである。電動車椅子１のユーザは、操作部２を用いて、電動車椅子１の移動方向、移動速度（指示速度）Ｗを指定する。

より詳細には、操作部２には、ジョイスティックに加えて、図示しないつまみが設けられている。ジョイスティックを用いて平面上でのＸＹ方向の移動速度を指定するとともに、つまみを用いて回転移動方向、回転移動速度を指定することができる。

回避装置３は、電動車椅子１周辺の障害物を回避するように、電動車椅子１の速度Ｕを変更する。より詳細には、対物センサ４にて障害物を検知して、この障害物との距離に応じた仮想反発力Ｆを、回避装置３の反発力発生器１１にて計算する。この仮想反発力Ｆを移動速度に加算することによって速度Ｕを得て、障害物回避を実現する。

また、本実施形態の回避装置３は、ユーザの操作を学習する学習部１２を備えている。回避装置３の学習部１２を用いて、ユーザ指定の移動速度Ｗを、適切な値に修正して出力する。より詳細には、本実施形態の学習部１２は、仮想反発力Ｆを適切な値に修正する。これは、例えば回避装置３において用いる仮想反発力Ｆが、ユーザによってはじゃまになったりすることが考えられるためである。

本実施形態の学習部１２は、強化学習によってユーザの操作を学習する。強化学習は教師なし学習であるので、ユーザ操作のように正解のない場合であっても適用できる。なお、強化学習については、Richard S.Sutton, Andrew G.Barto: Reinforcement Learning, MIT-Press(1999)を参照されたい。

対物センサ４は、周囲の障害物を検出するものである。対物センサ４を用いて、周囲の障害物との距離、方向を測定できる。電動車椅子１には、複数の対物センサが設けられており、図１においてはこれをまとめて対物センサ４として示す。速度センサ５は、電動車椅子１の移動速度を測定する。対物センサ４、速度センサ５を用いて、移動体としての電動車椅子１と障害物との距離および相対速度を検出することができる。

駆動装置６は、ユーザ指定の速度へと調整するための駆動力を生成する。動力部７は、駆動力に応じて電動車椅子１を移動させる。本実施形態の動力部７は、右車輪７ａ、左車輪７ｂなどを含んでいる。

上記構成の電動車椅子１は、ユーザの操作に応じて以下のように動作する。

回避装置３のコントローラ８には、操作部２からユーザ指定の移動速度Ｗが入力され、速度センサ５から電動車椅子１の現在の速度Ｙが入力される。なお、速度センサ５は、電動車椅子１の動力部７の動作に基づいて、電動車椅子１の速度を判定する。コントローラ８の生成部９は、これらの入力に基づき、ゲイン係数Ｋｐを用いて目標速度（目標速度差）Ｕｍを出力する。

一方、反発力発生器１１の学習部１２は、格納部１３および抽出部１４を含んでいる。
格納部１３は、前回のユーザ指定の移動速度Ｗおよび対物センサ４からの出力を格納する記憶領域である。抽出部１４は、修正出力のための反発係数ηを強化学習によって得るものである。反発力生成部１５が、抽出部１４からの反発係数ηと、速度Ｗ，Ｙ、および対物センサ４からの出力とを用いて、仮想反発力Ｆを計算して出力する。

ここで、強化学習を行う抽出部１４の動作について説明する。抽出部１４は、格納部１３に格納された前回のユーザ指定の移動速度Ｗと現在の速度Ｙとを比較し、ＷとＹとの方向が同じである場合には正の報酬をカウントし、ＷとＹとの方向が逆である場合には負の報酬をカウントする。この際、対物センサ４からの入力をも考慮して学習を行う。仮想反発力Ｆに応じた適切なジョイスティック操作が行われ、所望方向に移動している場合には正の報酬が与えられる。仮想反発力Ｆのために、ユーザの意思とは異なる方向に移動している場合には負の報酬が与えられる。このため、ユーザが操作部２のジョイスティックを操作しているだけで、抽出部１４により適切な反発係数ηが抽出される。

なお、報酬のより詳細な具体例として、例えばユーザがジョイスティックを中央位置に保持し（Ｗ＝０）電動車椅子１が停止した（Ｙ＝０）ときに正の報酬として１を与え、またユーザがジョイスティックを倒したときに電動車椅子１がジョイスティックと逆の向きに進む、または停止するときには負の報酬として−１を与えるようにしてもよい。

以上のようにして、適切な反発係数ηが抽出されると、反発力生成部１５がこれに基づき仮想反発力Ｆを計算する。仮想反発力Ｆが得られると、回避装置３の加算部１０にて目標速度Ｕｍと仮想反発力Ｆとを加算して、速度Ｕを得る。

ここで、電動車椅子１は、動力部７の右車輪７ａ、左車輪７ｂ、および座席の向きを独立に変更可能となっている。得られた速度Ｕを、駆動装置６の変換部１６にて、電動車椅子１の右車輪７ａ、左車輪７ｂなどの駆動用の速度ωへと変換する。この速度ωを実現するための駆動力を計算部１７にて計算し、動力部７へと指示出力する。

電動車椅子１のさらなる詳細については、以下の実施例において説明する。

以上のように、本実施形態の電動車椅子１は、障害物との衝突を回避するために必要となる障害物との距離を、使用者のジョイスティックの操作状況から推測し、その距離を保ちつつ障害物を回避することを補助する回避装置３を備えている。

この電動車椅子１は、使用者および障害物との距離を測定する対物センサ４を搭載した電動車椅子であり、（仮想）反発力発生器１１、反発力調整器としての学習部１２を備えている。上述のように、対物センサ４が検出した障害物と電動車椅子１との距離に応じて、反発力生成部１５が障害物からの仮想反発力ベクトルを計算し、車椅子使用者のジョイスティック操作に基づくベクトルと合成し、それに基づいて電動車椅子１を走行させる。そして、反発力生成部１５の計算した反発力の大きさが適切であるか否かを、使用者の操縦と比較して判断し、強化学習を用いた学習器１２により調整する。

学習器１２においては、操作部２のジョイスティックの操作の仕方（操作者の意思と判断する。）と、実際の走行状態とを比較する。操作方向と移動方向が同じであれば正の報酬とし、それ以外のくい違いのある場合には負の報酬を与える。これは、例えばジョイスティックを倒している方向と逆方向に進む場合のように、仮想反発力が意思と反する方向に向いて、じゃまをしている場合などを考慮したものである。強化学習を用いて、仮想反発力のゲインを決める。これによって、ジョイスティックを動かして試行錯誤しているだけで、ゲインが最適化されていく。このため、普通に操縦していれば、その操縦のじゃまとならないように、仮想反発力が学習されて行くことになり、快適な操作が可能となる。

なお、電動車椅子１は、図示しないスイッチを選択することにより、仮想反発力の学習を停止して、仮想反発力の係数の大きさを一定としたまま操作することもできる。また、さらに他のスイッチによって、仮想反発力自体を用いずに、ユーザの操作のみに応じて動作させることもできる。

ここで、障害物を回避しながら電動車椅子１を走行させるためには、障害物との距離を少なくとも一定以上に保つことが必要となる。この距離は、障害物と衝突する危険が少なく、なおかつ走行経路を大幅にはずれることなく走行可能な距離である。このため、この距離は、走行環境や使用者の心理的、能力的な状態によって異なるものとなる。そこで、上述のように、走行環境や使用者に応じて最適な状態とすることのできる電動車椅子１を提供する。電動車椅子１によれば、障害物との距離を少なくとも一定以上に保つことができる。

なお、上記実施形態の回避装置３の各部や各処理ステップは、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の回避装置の各種機能および各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。

また、このコンピュータに、図１に示す操作部２、対物センサ４、速度センサ５、駆動装置６、動力部７などを接続して、上述の電動車椅子１を実現することもできる。

なお、プログラムを記録した記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読取り可能なプログラムメディアであっても良い。

また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラム
を担持する記録媒体等がある。

また、上述の実施形態においては、反発力を調整して障害物を回避する構成について説明した。しかしながら、障害物を回避するための構成としては、これに限るものではない。例えば、上述の電動車椅子１の構成において、回避装置３は、反発力の調整を行わず、操作部２に入力されるユーザの指示速度Ｗから得る速度Ｕｍを調整する構成であってもよい。この場合は、反発力生成器１１側ではなく、コントローラ８側に、格納部１３と抽出部１４とを有する学習部１２を設ける。この構成であっても、加算部１０を介して速度Ｕ＝Ｕｍ＋Ｆが調整され、障害物回避を実現できる。また、学習による適切な調整が可能となる。

〔実施例１〕
上述の電動車椅子１の詳細な実施例について説明する。本実施形態の電動車椅子１は、
上述のように、２つの駆動輪を有する駆動部と座面の部位を、モータを用いて回転させる非ホロノミックな機構を有する。このため、全方向の移動が可能である。

電動車椅子１は、図３に示すように、椅子部分の回転速度(Angular velocity of the seat)ω_s、右輪回転速度(Angular velocity of the right wheel)ω_r、左輪回転速度(Angular velocity of the left wheel)ω_l、右輪半径(Radius of the right wheel)Ｒ_r、左輪半径(Radius of the left wheel)Ｒ_l、左右輪の間隔(Tread of the vehicle)Ｔ、車体回
転速度(Angular velocity of the gravity center)ω、並進速度(Velocity of the gravity center)νのようなパラメータを含んでいる。なお、左右車輪、座面の角速度をω_l/r/sとして表し、左右車輪、座面のモータの角速度をω_Ml/r/sと表す。

また、本実施例の電動車椅子１における具体的な値の例は以下の通りである。車椅子の質量(Mass of the wheelchair)Ｍは81.2[kg]である。車椅子駆動部の慣性(Inertia of the drive part of the wheelchair)Ｊは1.98[kg m²]である。左右車輪軸の慣性(Inertia of the left/right wheel axis)Ｊ_l/rは4.38×10^-4[kg m²]である。座面軸の慣性(Inertia
of the seat axis)Ｊ_sは11.0[kg m²]である。左右、座面のモータ軸の慣性(Inertia of the left/right/seat motor axis)Ｊ_Ml/r/sは2.16×10^-5[kg m²]である。左右車輪と座席の摩擦係数(Friction constant of the left/right wheel and seat)δ_l/r/sは0.02[kg m²/sec]である。左右車輪と座席のギア比(Gear ratio of the left/right wheel and seat)γ_l/r/sは70である。左右車輪距離Ｔは0.6[m]である。左右車輪の半径Ｒ_l/rは0.05[m]である。

図４には、本実施例における、駆動部６の構成の一変形例を示す。軌道(desired trajectory)が軌道追跡器２０に入力されると、軌道追跡器（Trajectory tracker, 経路追従器）２０が目標速度を計算し、逆変換器(Inverse PWS kinematics)２１に入力する。逆変換器２１は、電動車椅子１の操作のための速度へと変換する。運動制御部(PWS controller)２２がその速度に達するために必要な外力を計算し、動力計算器(Dynamics of electric wheelchair)２３がその外力に応じて得られる速度を計算する。得られた速度を運動制御
部２２へと出力して調整を行う。変換器(PWS kinematics)２４が、操作のための速度を、電動車椅子１の速度へと変換して、動力指示部(Wheelchair kinematics)２５へと出力す
る。

また、図５には、一変形例の他の概略を示す。ヒューマンコントローラ(Human Controller)２６によって、所望の速度が入力される。調整部(RL Tuner)２９により計算され、回避部(Object Avoider)２８によって計算された反発力が、速度に加算されて駆動部(System)２７に入力される。また、現在の速度に応じて、ユーザが操作スイッチ２６を用いて所望の速度を入力する。

より詳細には、使用者から、ジョイスティック入力により、ｘ方向軸速度ν_x ^ref(t)、
ｙ方向軸速度ν_y ^ref(t)、回転角速度ω_u ^ref(t)が与えられる。

軌道追跡器２０により、次式で目標並進速度ν^ref(t)、目標車体回転速度ω^ref(t)を計算する。

但し、

であり、aは正の定数である。図４に示す逆変換器２１、変換器２４における変換は、そ
れぞれ以下のようになる。

以上のように、ジョイスティック入力から上記の式の逆変換に基づいて、各駆動軸の制御目標値を決定する。また、上記の式の変換に基づいて、各駆動軸の制御出力から、実際の並進速度ν(t)、車体回転速度ω(t)を求め、センサ情報とともに障害物回避装置に入力する。

なお、本実施例における対物センサの配置の一例を図１２に示す。このように、ジョイスティック３１を備えた一実施例としての電動車椅子（移動体）３０に対して、車体カバーの周囲に対物センサ（障害物センサ）３２を搭載する。この対物センサ３２は、超音波センサまたは赤外線センサであり、対障害物距離測定センサとして機能する。

また、本実施例においては、内蔵したマイクロコンピュータに実装したアルゴリズムにより回避補助動作を実現する。

本実施例における電動車椅子１の運動方程式は、図３に示すパラメータを用いて、以下のように記述できる。

但し、Ａ〜Ｌは、それぞれ以下のような係数である。

上述の運動方程式から、左右輪および座面回転それぞれが干渉することが分かる。この影響を、次式のフィードフォワード補償器を用いたＰＩコントローラを用いて取り除く。ＰＩコントローラについては、S.Iida and S.Yuta: Control of vehicle with power wheeled steerings using feedforward dynamics compensation, Proc.of 1991 IEEE Int.Conf.on Industrial Electronics, pp.2264-2269(1991)を参照されたい。

但し、Ｋ_ＰFF、Ｋ_ＩFFはフィードバックゲインである。

以下の図６（ａ）〜（ｃ）にはＰＩコントローラのみを用いた場合のシミュレーション結果を示す。また、以下の図７（ａ）〜（ｃ）には、フィードフォワード補償器を用いた場合のシミュレーション結果を示す。図６（ａ）・図７（ａ）は並進速度νについてのものであり、図６（ｂ）・図７（ｂ）は角速度ωについてのものであり、図６（ｃ）・図７（ｃ）は角速度ω_uについてのものである。なお、それぞれの図においては、破線が実際
のシミュレーション結果を示しており、実線は、参照用にシミュレーションの目標となる時間変化を示している。図より分かるように、フィードフォワード補償器によって干渉を除去することができ、制御性能を向上することができる。

次に、本実施例における具体的な仮想反発力の計算法、仮想反発力の計算法を以下に述べる。まず、障害物からの斥力ポテンシャルを、次式に基づいて計算する。

但し、xは車椅子の現在位置を表すベクトル、ηは正の重み係数である。ρ(x)はxからの
障害物への最近接距離を表し、ρ₀は正の定数である。斥力ポテンシャルの値Ｕ(x)は、０以上の値を取る。Ｕ(x)の値は、車椅子が障害物領域に近づくほど大きくなり、無限大に
近くなる。車椅子から障害物への距離がρ₀以上のときには、Ｕ(x)の値は0となる。この
とき、車椅子に働く仮想的な反発力Ｆ_OASを上記のポテンシャル関数Ｕ(x)により、Ｆ_OAS
＝−ΔＵのように求める。

また、本変形例では、使用者のジョイスティックからの入力に基づくベクトルＵ_manと
、仮想反発力ベクトルＦ_OASとを合成し、電動車椅子１の操作量ｕ＝Ｕ_man＋Ｆ_OASとする
。

反発力調整器としての調整部２９が、式(28)の重み係数ηを調整することで、仮想反発力発生器としての回避部２８に、環境や使用者の状態に適した大きさの反発力を計算させる。パラメータの調整には、強化学習を用いる。強化学習器における処理手続きには、後述するSarsa(λ)を用い、状態空間の生成にはＣＭＡＣによるタイルコーディングを導入
した。なお、ＣＭＡＣによるタイルコーディングについては、J.S.Albus: Data storage in the control cerebellar model articulation contro1(CMAC), Trans.on ASME, J.of Dynamic Systems, Measurement, and Control, 97-9, 228/233(1975)を参照されたい。

強化学習器の状態には、センサにより検出された障害物と車椅子の間の距離、接近速度、ジョイスティックの位置をとる。強化学習器の報酬は、次のように与える。

まず、正の報酬を与える場合は、使用者がジョイスティックを中央位置に保持し、車椅子が停止したときとする。この場合に１の報酬を与える。

一方、負の報酬を与える場合は、使用者がジョイスティックを倒したときに、電動車椅子がジョイスティックを倒した向きと逆方向に進んでいるか、または停止しているときにとする。この場合に-1の報酬を与える。

つまり、ジョイスティックの操作から使用者の意向を推測し、目標とする距離を確保していると判断できるときに正の報酬を与え、仮想反発力が弱すぎるか又は強すぎるかして、目標距離を確保できず、使用者の意思に反した方向に車椅子が進んでいると判断できるときには負の報酬を与える。

次に、状態空間の生成に用いる、ＣＭＡＣによるタイルコーディングを導入した、Sarsa(λ)の処理手続きを簡単に示す。

まず、ベクトルθにより、ＣＭＡＣの荷重表をベクトル表現する。ベクトルｅは、適格度トレースベクトルを表す。Ｑ_aは価値関数である。Ｓは状態ｓの集合であり、各々、セ
ンサにより検出された障害物と車椅子の間の距離、接近速度、ジョイスティックの位置を数値として与えた。ａは行動であり、重み係数ηを与える。報酬ｒは、上述の基準に基づき実数値を与える。また、γは割引率(discount rate)であり、λはトレース減衰パラメ
ータ(trace-decay parameter)である。

まず、ベクトルθを任意に初期化し、ベクトルｅにゼロベクトルを代入する。各エピソードに対して、以下の処理手順を繰り返す。

まず、状態Ｓをエピソードの初期状態とする。次に、集合Ａ（ｓ）の要素である行動ａについて、ｓ、ａでの特徴集合をＦ_aとし、Ｆ_aの要素ｉについてベクトルθ(ｉ)の総和をＱ_aとし、arg max_a Ｑ_aをａとする。

次に、ソフトマックス政策により、集合Ａ（ｓ）の行動ａから行動を選択する。但し、ソフトマックス政策は、次式に基づいて選択確率を決定し、行動集合から行動を選択するものとする。

次に、エピソードの各ステップに対して、以下の処理手順を繰り返す。

まず、γλ×ベクトルｅを、ベクトルｅとする。

次に、集合Ｆ_aの全ての要素ｉについて、ベクトルｅ(ｉ)＋１を、ベクトルｅ(ｉ)とす
る。行動ａを取り、報酬ｒと次状態ｓ’を観測する。ｒ−Ｑ_aをδとする。集合Ａ（ｓ’
）に含まれる全ての要素ａについて、ｓ’、ａでの特徴集合をＦ_aとし、Ｆ_aの要素ｉについてベクトルθ(ｉ)の総和をＱ_aとし、arg max_a Ｑ_aをａ’とする。そして、ソフトマッ
クス政策により、集合Ａ（ｓ）の行動ａ’から行動を選択する。そして、δ＋γＱ_a'をδとし、ベクトルθ＋αδ×ベクトルｅをベクトルθとする。ｓ’が終端状態であれば繰り返しを終了する。

上記の手順を用いて、ジョイスティックの入力に応じて、障害物との間に使用者の望む一定距離を保持することができるか確認した。

なお、実際には、上述した式(7)-(21)を用いたシステムとするべきであるが、簡単化のために一方向のみの実験を行った。すなわち、便宜上、車椅子のシステムを、y(t) = 1.905 y(t-1) - 0.905 y(t-2) + 0.005 u(t-1) + 0.005 u(t-2)で表現する。また、使用者の操作入力を、pコントローラとして、u_m(t)＝Ｋ_p{w(t)-y(t)}で表現する。ここで、Ｋ_pがpコントローラの比例ゲイン、w(t)は目標値である。また、Ｋ_p、w(t)、ν(t)は障害物回避補助システムにとって未知であるものとする。なお、反発力調整器に用いた強化学習器のパラメータは、以下の通りである。まず、ステップサイズパラメータ(Step-size parameter)αは0.2とし、割引率(Discount rate)γは1.0とし、トレース減衰パラメータ(Trace-decay parameter)λは0.9とし、温度係数(Temperature coefficient)Ｔは1.0とし、ＣＭＡＣ重みテーブルの数(Number of weight tables of CMAC)は5とした。

まず、目標値w(t)＝45とし、Ｋ_p、ρ₀を変化させて、１次元でのシミュレーションを行った結果について説明する。シミュレーションとして、１００回の試行を行った。図８（ａ）（ｂ）には、Ｋ_p＝0.5、ρ₀＝60の場合のシミュレーション結果を示す。また、図９
（ａ）（ｂ）には、Ｋ_p＝1.0、ρ₀＝65の場合のシミュレーション結果を示す。

図８（ａ）の縦軸におけるy＝60、図９（ａ）の縦軸におけるy＝65の太い実線は、壁面
を表す。また、それぞれの図において、縦軸におけるy＝45の位置の一点鎖線は、回避し
たい距離を表す。また、それぞれの図において、黒い実線が仮想反発力を与えた場合の車椅子の時間変化に応じた軌跡を示す。また、破線が仮想反発力を与えない場合の軌跡を示す。

また、図８（ｂ）、図９（ｂ）には、調整するパラメータηの時間変化を示す。図８（ｂ）においては、パラメータηが約４となる様子が示されている。仮想反発力発生器が計算した反発力によって、Pコントローラによる定常偏差をおさえて、目標距離の維持が実
現されている。また、図９（ｂ）においては、パラメータηが約８となり、図８（ｂ）と同様に目標距離の維持が実現される。

次に、目標値w(t)＝300とし、Ｋ_p＝5として、ρ₀を変化させて、２次元でシミュレーションを行った結果について説明する。シミュレーションとして、２０回の試行を行った。図１０（ａ）（ｂ）には、ρ₀＝380の場合のシミュレーション結果を示す。また、図１１（ａ）（ｂ）には、ρ₀＝350の場合のシミュレーション結果を示す。

図１０（ａ）の横軸におけるｘ＝380、図１１（ａ）の横軸におけるｘ＝350の太い実線は、壁面を表す。また、それぞれの図において、横軸におけるｘ＝300の位置の破線は、
回避したい距離を表す。また、それぞれの図において、黒い実線による白丸（１８ａ、１９ａ）が仮想反発力を与えた場合の車椅子の時間変化に応じた軌跡を示す。また、白丸の領域に対して図中右側の陰になる位置に、灰色で示す領域（１８ｂ、１９ｂ）は、仮想反発力を与えない場合の軌跡を重ねて示すものである。

また、図１０（ｂ）、図１１（ｂ）には、調整するパラメータηの時間変化を示す。図１０（ｂ）においては、パラメータηが約１となる様子が示されている。仮想反発力発生器が計算した反発力によって、Pコントローラによる定常偏差をおさえて、目標距離の維
持が実現されている。また、図１１（ｂ）においては、パラメータηが約0.5となり、図
１０（ｂ）と同様に目標距離の維持が実現される。

上記の結果から、強化学習を用いた反発力調整器によって、使用者の入力からの判断により、壁との距離が異なっても、同一のシステムによる目標距離の維持が可能であることが分かる。

〔変形例１〕
上述の実施例１における、全方向移動可能な車椅子についての変形例を説明する。本変形例においては、左右駆動輪機構を有する従来型の電動車椅子に対する、障害物回避装置の実装について説明する。

図１４が、本変形例の電動車椅子（移動体）３５の概略を示す図である。電動車椅子３５は、図１に示す電動車椅子１とほぼ同様の概略構成を有するものであり、同様の点については説明を省略する。図１４には、図１に示す操作部２に相当するジョイスティック３６、図１に示す回避装置３、駆動装置６に相当するマイクロコンピュータ３７、および対物センサ４に相当する対障害物距離測定センサ３８を示す。

この電動車椅子３５は左右駆動輪機構を有しているので、パラメータは、図１３に示すように、左車輪の回転速度ν_L、右車輪の回転速度ν_Rであり、これらの並進速度ν_x、角
速度ωとの関係は、ν_R＝ν_x＋ｒω、およびν_L＝ν_x−ｒωで与えられる。但し、ｒは車体中心から車輪接地点までの距離を表す。

このように、全方向移動可能な車椅子でなく、左右駆動輪機構を有する従来型の電動車
椅子３５に対しても、本発明の構成を適用できる。ただし、電動車椅子１であれば、電動車椅子３５よりも小回りが利くため、操縦が難しいということができ、障害物回避補助装置を用いた障害物回避の効果をより多く得ることができる。

〔変形例２〕
本発明に係る移動体は、車椅子以外に適用することもできる。すなわち、上記移動体としては、人が操作・操縦する車両等に障害物回避装置を使用する形態が想定される。使用する車両としては、移動速度と移動方向が制御可能なものであれば種類を問わない。操縦形態としては、車両に乗ってジョイスティックやハンドル・アクセル・ブレーキ等で操縦する場合、荷車を押すような形で動力を用いてそれを補助する場合、ラジオ・コントロール等で遠隔操縦を行う場合等が考えられる。したがって、全方向移動車両、操舵輪による車両（自動車）、左右駆動輪による車両（電動車椅子）、歩行車両、船舶等に適用してもよい。なお、移動速度は、人が歩いたり、走ったりする場合における程度と同等の速度が想定されるが、特に制限はない。

本変形例では、このうち、軽車両への実装の一例として、荷物を積載して搬送を行う台車型の車両（移動体）４０について、図１５に基づいて説明する。この車両４０は、人が取っ手４１を押して移動するものであり、図示しない障害物回避補助装置（回避装置）がその操作を補助（アシスト）するタイプである。車両４０は、図１に示す電動車椅子１とほぼ同様の概略構成を有するものであり、同様の点については説明を省略する。

車両４０の取っ手４１は、使用者によって与えられる力を検出する力センサを内蔵している。この取っ手４１が取っ手４１に加えられる力の大きさと方向を検出する。また、車両４０は、対障害物距離測定センサ４２を台車の周囲に備えている。車両４０の回避装置が台車の左右輪の駆動力を調整し、人が押す力を補助する。これによって、障害物回避補助動作を実現する。

以上の構成のような車両４０によれば、例えば搬送する荷物が大きくて、路面状況が十分把握できないような場合についても、安全に障害物を回避しながらの走行が可能となる。

〔変形例３〕
本変形例では、遠隔操縦する移動体についての実施例を、図１６（ａ）（ｂ）に基づいて説明する。図１６（ａ）（ｂ）に示すシステムは、一体とした場合には、図１に示す電動車椅子１と類似した概略構成を包含するものである。以下では、電動車椅子１と同様の点については説明を省略する。

図１６（ｂ）に示す車両（移動体）４５は、ＣＣＤカメラ４８、対障害物距離測定センサ４９、および図示しない障害物回避装置（回避装置）を備えている。一方、図１６（ａ）には、車両４５を操作するための遠隔操作装置の一部である、操作部４６と表示部４７とを示す。操作部４６はハンドル形状である。表示部４７は平面型の表示ディスプレイである。車両４５のＣＣＤカメラ４８にて撮影した画像データが、遠隔操作装置に送信され、表示部４７に表示される。

使用者は、操作部４６を用いて所望の移動速度等を車両４５に指示する。対障害物距離測定センサ４９にて周囲の障害物を検出する。回避装置が車両４５の駆動力を調整し、障害物回避補助動作を実現する。

このように、ラジオコントロール等による遠隔操作で移動体を操縦する場合、移動体に搭載されたＣＣＤカメラでは、十分に進行方向の障害物を把握できない場合が考えられる
。このような場合であっても、提案する障害物回避補助装置を実装すれば、操縦を支援することができる。

なお、本変形例においては、障害物回避補助装置を車両４５に備えている構成について説明したが、これに限るものではなく、障害物回避補助装置を遠隔操作装置側に備えてもよい。遠隔操作装置側で障害物回避補助装置を用いて修正した速度を計算し、移動体に送信してもよい。このようにすれば、移動体をコンパクトにできる。

また移動体としては、図示した構成に限るものではなく、車両や飛行体、船舶等であってもよい。

以上に説明したように、簡易機構を用いた全方向移動車椅子を提案し、シミュレーションによりその動特性を検証した。また、フィードフォワード補償器を用いることにより、各軸の干渉の除去を行った。また、電動車椅子の障害物回避補助システムとして、障害物からの仮想反発力を強化学習により調節するシステムを提案し、シミュレーションにより有効性の検証を行った。その結果、強化学習を用いた反発力調整器によって、使用者の入力からの判断により、使用者の操作性や目標距離（壁との距離）が異なっても、同一のシステムによる目標距離の維持が可能であることが示された。

また、以上に説明したように、本発明の実施形態は、簡易機構を用いた全方向移動車椅子の開発と強化学習による障害物回避補助装置の実装に関するものである、と表現することもできる。

ここで、高齢化社会の進展とともに、体に多少の不自由を感じる人から寝たきりの人まで、移動補助機器に関する多様なニーズが存在する。その中で共通するものとして、狭い場所で小回りが利くことや、従来と異なったイメージの車椅子に対する要望がある。そこで、これらに対応するための機器として、機構の大幅な簡略化及びソフトウェアによる制御により操縦を容易にして全方向移動を実現し、これを用いた小型で安価な全方向移動車椅子を提案する。また、強化学習を用いた障害物回避補助システムを実装することにより、使用者の操縦能力に応じて、適切に障害物の回避を補助する。提案手法では障害物からの仮想反発力を使用者の操作入力に合成することで障害物の回避補助を行う。仮想反発力は個々の使用者や環境の状態に、強化学習を用いて調整される。提案手法は数値シミュレーションによって評価した。

なお、従来、全方向移動機構、全方向移動機構を備えた車椅子が非特許文献１〜３に開示されているが、機構が複雑で、高価であるなどの理由から、一般に広く普及するには至っていない。

そこで、上述のように、簡略な機構を用い、ソフトウェアによる制御により操縦を容易にして全方向移動を実現し、これを用いた小型で安価な全方向移動車椅子を提案する。

また、従来の特許文献４には、反発力を想定して動作制御する構成について記載があるが、本件のようなアルゴリズムの詳細までは開示されていない。また、仮想反発力をどう計算するか、どのように用いるかは、上述の実施形態の構成とは異なっている。

また、障害を持つ人は、障害物を回避しながら電動車椅子を操縦することは困難である。そこで、上述のように、使用者の状態や使用環境に適した障害物回避補助を行うシステムを構築する。具体的には、使用者のジョイスティック操作入力に障害物からの仮想的な反発力を加えることで、障害物の回避を補助する。この仮想反発力の大きさは、環境状態や使用者によって変化させる必要があると考える。例えば、広く障害物の少ない場所と狭
く障害物の多い場所とでは、仮想反発力の適当な大きさは異なるものとなり、環境に応じて適切な仮想反発力が変化することになる。また、使用者の障害の程度や、個人の心理的な特性（パーソナルスペースの広さ等）に応じて、仮想反発力の適当な大きさは異なるものとなる。そこで、使用者のジョイスティックの操作入力から、その環境下における仮想反発力の良し悪しを判断し、強化学習を用いて適当な出力を生成する手法を提案する。

なお、強化学習以外の方法を用いて仮想反発力を調整する方法として、事前学習（オフライン学習）によるものが考えられる。この場合、ニューラルネットワークなどの教師付き学習法を用いて、想定される環境中での走行を事前に行い、適切な仮想反発力を教師信号として与える。このような事前学習を行うためには、障害物との適切な距離および速度が予め必要であり、そこから仮想反発力を逆算する必要がある。しかしながら、障害物との適切な距離および速度は、使用する人によって異なり、また陽に得られるものではなく、走行環境によっても変化するので、この方法は実用的ではない。すなわち、この従来の方法は、使用する人に合わせるものでない。また、人間の動的な応答に対応するものではなく、このため、人との相互作用により調節するものではない、ということもできる。

また、この方法を、使用する人が操縦しながら、障害物に対して本当は維持したい距離および速度を常に何らかの方法で入力することによって、学習させることも考えられる。しかし、これは使用する人にとって負担となる。また、現実には、使用する人は、厳密にこの距離、この速度を維持したいと考える訳ではなく、その時々で、もっと遠く、もっと近く、単純に今の状態が良いか、悪いかを感じ、それを改善したいと思うだけであると考えられる。

したがって、上述のように、教師信号を必要とせず、現在の状態の善し悪しによって正負の報酬を与える、教師なし学習法である強化学習を用いて、仮想反発力を調整するものとした。

上述の具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、本発明はそのような具体例にのみ限定して狭義に解釈されるべきものではなく、特許請求の範囲に示した範囲で種々の変更が可能であり、変更した形態および実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても、本発明の技術的範囲に含まれる。

本発明に係る障害物回避装置は、ユーザの操作に応じた最適な移動状態を実現できるので、例えば電動車椅子に搭載できる。

また、本発明に係る障害物回避装置は、異なるユーザに対応できるだけでなく、環境の変化が大きい場合にも対応できるので、例えば遠隔操縦する移動体に搭載することもできる。

本発明に係る障害物回避装置を備えた移動体としての電動車椅子について、一実施形態の概略を示すブロック図である。上記電動車椅子の斜視図である。上記電動車椅子の一部の概略を示す図である。上記電動車椅子の一実施例の一部を示すブロック図である。上記電動車椅子の一実施例における他の一部を示すブロック図である。（ａ）は上記電動車椅子についてのシミュレーション結果の一例を示す図であり、（ｂ）は上記シミュレーション結果の他の一例を示す図であり、（ｃ）は上記シミュレーション結果のさらに他の一例を示す図である。（ａ）は上記電動車椅子についての他のシミュレーション結果の一例を示す図であり、（ｂ）は上記シミュレーション結果の他の一例を示す図であり、（ｃ）は上記シミュレーション結果のさらに他の一例を示す図である。（ａ）は上記電動車椅子についてのさらに他のシミュレーション結果の一例を示す図であり、（ｂ）は上記シミュレーション結果の他の一例を示す図である。（ａ）は上記電動車椅子についてのさらに他のシミュレーション結果の一例を示す図であり、（ｂ）は上記シミュレーション結果の他の一例を示す図である。（ａ）は上記電動車椅子についてのさらに他のシミュレーション結果の一例を示す図であり、（ｂ）は上記シミュレーション結果の他の一例を示す図である。（ａ）は上記電動車椅子についてのさらに他のシミュレーション結果の一例を示す図であり、（ｂ）は上記シミュレーション結果の他の一例を示す図である。上記電動車椅子におけるセンサ装着状態の一例を示す斜視図である。上記電動車椅子の変形例の動作を説明するための図である。上記電動車椅子の変形例の斜視図である。上記移動体の一例としての軽車両の概略を示す斜視図である。（ａ）は上記移動体の一例の遠隔操縦装置の概略を示す斜視図であり、（ｂ）は上記移動体の一例を示す斜視図である。

符号の説明

１、３０、３５電動車椅子（移動体）
２、３１、３６、４１、４６操作部
３回避装置（障害物回避装置）
４、３２対物センサ（障害物センサ）
５速度センサ
６駆動装置
７動力部
１１反発力発生器
１２学習部
１５反発力生成部
３８、４２、４９対障害物距離測定センサ（障害物センサ）
４０、４５車両（移動体）

Claims

ユーザからの指示速度に基づいて移動する移動体に対して、上記移動体の周囲の障害物を検出する障害物センサからの情報に応じて上記指示速度を修正することによって、上記移動体の障害物との衝突を回避させる障害物回避装置であって、
設定された重み係数を乗算した上で上記指示速度に加減算することによって上記指示速度を修正するために用いる、上記障害物との衝突を回避するための反発力を、上記障害物センサからの情報に応じて計算する反発力生成部を備えており、
さらに、上記指示速度を上記反発力によって修正した速度と上記指示速度との方向の一致または不一致に応じて、上記反発力生成部における上記重み係数の大きさを強化学習により学習し、上記反発力生成部に対して設定する学習部を有していることを特徴とする障害物回避装置。
上記学習部が、上記修正した速度と上記指示速度との方向が一致する場合に正の報酬とし、上記修正した速度と上記指示速度との方向が不一致の場合には負の報酬とすることによって強化学習を行うことを特徴とする請求項１に記載の障害物回避装置。
上記指示速度を検出するための操作部がジョイスティック型の操作部であり、
上記学習部が、上記修正した速度が０であって上記移動体が停止しているときに、上記ジョイスティックが中央位置に保持されている場合には正の報酬とし、
上記修正した速度が０でなく上記移動体が移動している方向と上記ジョイスティックの倒されている方向とが不一致の場合、または上記修正した速度が０であって上記移動体が停止しているときに上記ジョイスティックが倒されている場合には、負の報酬とすることを特徴とする請求項２に記載の障害物回避装置。
請求項１ないし３のいずれか１項に記載の障害物回避装置を備えていることを特徴とする移動体。