JP2007265343A - 移動物体の追従装置及び同装置を備えた電動車椅子 - Google Patents

Abstract

【課題】 移動物体の追従装置は種々あるが、距離を計測するための方法として２台のカメラを用いたり、超音波センサを用いており、コスト高となり、又データ処理のアルゴリズムが複雑となる。
【解決手段】 一つの撮像装置（単眼）を用いることに最大の特徴があり、物体の撮像手段と、上記撮像手段により得られた画像情報を記憶する画像情報記憶手段と、上記画像情報記憶手段に蓄えられた画像情報より追従対象となる移動物体の追従対象領域を抽出する対象領域抽出手段と、上記対象領域抽出手段により得られた画像情報より上記移動物体に固有の特徴量を計測する特徴量計測手段と、上記特徴量計測手段の出力と上記画像情報より予め取りこまれた参照特徴量の値を比較する特徴量比較手段と、上記特徴量比較手段の出力により移動方向又は移動速度を決定する駆動信号発生手段と、上記駆動信号発生手段の出力により制御される駆動手段とを備えることにより解決できた。
【選択図】 図１

Description

本発明は、自律追従型車椅子、搬送車などに利用可能な移動物体の追従装置及び同装置を備えた電動車椅子に関する。

従来の追従システムは、追従対象となる移動物体との距離を計測するために、２台の撮像装置を用いるステレオ視や超音波センサを用いたり、先行者に赤外線発光源などの小型送信機を身につけさせたり、ＧＰＳによる位置情報を用いる方法がほとんどである（例えば、特許文献１参照）。

特許文献１に開示の追従システムは、２台のカメラを用いるもので、２台のカメラで撮像した画像から、追従対象となる人物を認識し、移動ロボットと人物との距離を一定間隔に保つように制御して追従する。この文献では距離を計測するために、２台のカメラで撮像した画像の視差を利用している。
特開２００４−２９９０２５号公報

特許文献１に示すように２台のカメラを用いたり、超音波センサなどの撮像装置とは別のセンサを用いることにより移動物体との距離を計測することが可能であるが、距離を計測するために別の装置が必要であるためコスト高となる。また、１台の撮像装置から取得する画像データだけでなく、他の装置から取得するデータも処理する必要があるため、アルゴリズムが複雑になり処理時間が多くなる問題が生じる。

本発明は、一つの撮像装置（以下、単眼ということあり）を用いて移動物体を追従することが最大の課題である。

本発明請求項１の発明は、物体の撮像手段と、上記撮像手段により得られた画像情報を記憶する画像情報記憶手段と、上記画像情報記憶手段に蓄えられた画像情報より追従対象となる移動物体の追従対象領域を抽出する対象領域抽出手段と、上記対象領域抽出手段により得られた画像情報より上記移動物体に固有の特徴量を計測する特徴量計測手段と、上記特徴量計測手段の出力と上記画像情報より予め取りこまれた参照特徴量の値を比較する特徴量比較手段と、上記特徴量比較手段の出力により移動方向又は移動速度を決定する駆動信号発生手段と、上記駆動信号発生手段の出力により制御される駆動手段とを備えたことを特徴とする移動物体の追従装置を提供する。

請求項２の発明は、対象領域抽出手段は、画像情報を２値化し、２値化された画像情報に対して動的輪郭モデルを適用することにより対象領域の抽出を行うことを特徴とする請求項１に記載の移動物体の追従装置を提供する。

請求項３の発明は、画像情報を２値化するに際し、画像情報中の色を基準とすることを特徴とする請求項２に記載の移動物体の追従装置を提供する。

請求項４の発明は、特徴量計測手段は、対象領域抽出手段によって得られた抽出輪郭点において、領域の固有特徴量として横軸の最小点と最大点の差より横幅を、上記最小点と最大点の中点をそれぞれ計測することを特徴とする請求項１、２又は３に記載の移動物体
の追従装置を提供する。

請求項５の発明は、請求項１、２、３又は４に記載の移動物体の追従装置を備えた電動車椅子を提供する。

本発明は、１台の撮像装置いわゆる単眼による追従を行うため、単純なアルゴリズムでシステム全体を実現できる利点がある。また追従のために移動物体と追従装置との正確な距離を計測せず、参照画像の特徴量の情報を用いているため、移動物体に追従するための移動物体と追従装置との間隔（距離）をあらかじめ設定する必要が無く、参照画像を取得した時の間隔で追従する。このため用途に応じて距離を容易かつ任意に設定することが可能となる利点がある。

本発明の一実施例につき、以下図面を用いて詳細に説明する。

図１は、本発明の一実施例における移動物体の追従装置の構成を概略的に示す図である。図１において、１は物体の撮像手段である一台の撮像装置であり、例えばＣＣＤカメラが適当であるが他の撮像装置も使用可能である。２は上記撮像手段より得られた画像情報を記憶する画像情報記憶手段、３は上記画像情報記憶手段に蓄えられた画像情報より追従対象となる移動物体の追従対象領域を抽出する対象領域抽出手段、４は上記対象領域抽出手段により得られた情報より上記移動物体に固有の情報量を計測する特徴量計測手段、５は上記画像情報より予め取りこまれた参照特徴量記憶手段、６は特徴量計測手段４の出力と参照特徴量記憶手段５の出力を比較する特徴量比較手段、７は特徴量比較手段の出力により移動方向又は移動速度を決定する駆動信号発生手段、８は駆動信号発生手段７の出力を入力とする駆動手段、例えばモータである。

本装置では図１の２〜７の各手段を実現するために、ＰＣ（パソコン）より高速処理可能で、小型、軽量、低消費電力でありプログラミングが可能なＬＳＩであるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を利用した。ただし本装置の構成条件はＦＰＧＡでなくＰＣ（図１の２〜６）とモータ８に制御信号を送るワンチップマイクロプロセッサであるＰＩＣ（Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、図１の７）でも実現可能である。

以下、主要な手段につき詳細に説明する。対象領域抽出手段３の詳細は以下のとおりである。追従対象となる移動物体の領域を抽出するために、本装置では、撮像装置１から取得するカラー画像を2値画像に変換し、2値画像に対して動的輪郭モデルを適用する。2値
画像を得るために固定しきい値を設けると、利用環境の明るさなどの変化により2値化精
度に影響を及ぼす。環境の変化に柔軟に対応して正確に対象領域を抽出するために、移動物体の色（基準色）を決定する。基準色は、移動物体が本装置の前に最初に立つ位置において取得するカラー画像（初期フレーム画像）の画像中央付近の8点の平均色とする。次
に基準色を利用して、2値化処理のためのしきい値をファジー推論により決定する。2値画像に対して動的輪郭モデルを適用して対象領域を抽出する。

本装置で用いる動的輪郭モデルでは、輪郭点に働く力により導かれる力学的なモデルSampled Active Contour Model（以下、S-ACM法と記す）を用いる。S-ACM法は動的輪郭モデルの中で広く利用されているSnakesとは異なり、高速に領域を抽出できる手法である。S-ACM法は図３に示すように、サンプリングされた輪郭点列から構成される、多角形状の閉
ループである。各輪郭点には圧力、引力、振動力、反力の四つの力が作用する。圧力、引力、振動力の三つの力の作用により、輪郭点は内側へ移動し輪郭モデルは収縮する。また
輪郭点が抽出対象領域に接すると反力が働き、輪郭点は停止する。

各フレーム画像に対する動的輪郭モデルの初期輪郭の配置を図４（Ａ）に示す。初期フレーム画像（前フレームが存在しない場合）では画像枠上に初期輪郭点を配置する（即ち、初期輪郭のための外接矩形幅Ｗ₀、外接矩形高さＨ₀をそれぞれ画像サイズであるＷｉｄｔｈ、Ｈｅｉｇｈｔとする）。またそれ以外のフレーム画像（Ｂ）では前フレーム画像の抽出結果をもとに初期輪郭点を与える。具体的には前フレームの輪郭点に外接する矩形（Ｗ、Ｈ）を求め、この大きさの１．５倍に初期輪郭点を与える（即ちＷ₀＝１．５Ｗ、Ｈ₀＝１．５Ｈとする）。初期輪郭が大きすぎる場合、収縮に多大な時間を要するが、前フレームの情報を利用することにより短時間での収縮が可能となる。

本装置では図５に示すように、取得画像に対して2値化処理と動的輪郭モデルの適用に
より対象領域を抽出する。

次に特徴量計測手段４について説明する。図６に示すように、対象領域抽出手段３によって得られた抽出輪郭点において、横軸の最小点（最も左側の点Ｐｌ）、最大点（最も右側の点Ｐｒ）を検出する。両点の差より領域の固有特徴量として横幅W＝Ｐｒ−Ｐｌ、両
点の中点X＝（Ｐｌ＋Ｐｒ）／２を計測する。

次に、参照特徴量記憶手段５について説明する。特徴量計測手段４によって計測されたWとXが参照画像（初期フレーム画像）であれば、参照特徴量の追従目標幅としてW*=W、追従目標位置としてX*=Xを参照特徴量記憶手段に格納する。

次に、特徴量比較手段６について説明する。特徴量計測手段４によって計測されたWとXが参照画像でない場合（初期フレーム以外のフレーム画像）、特徴量比較手段６によってシステムの動作を決定する。参照特徴量記憶手段５より追従目標幅W*と抽出領域幅Wを比
較してdW=W*−Wを求める。同時に、参照特徴量記憶手段５より追従目標位置X*と領域位置Xを比較してdX=X*−Xを求める。

次に、移動方向・移動速度の決定手段としての駆動信号発生手段７について説明する。駆動信号発生手段７によって定まる追従装置の移動方向を図７に示す。特徴量比較手段６によって得られたdWが正値、すなわち領域幅Wが目標幅W*より小さければ距離が離れてい
ると判断し追従装置を前進させる。逆にdWが負値、すなわち領域幅Wが目標幅W*より大き
ければ距離が近づいていると判断し追従装置を後退させる。移動量はdWの絶対値|dW|に応じた値とする。またdXが正値であれば右側へ、負値であれば左側へそれぞれ追従装置を旋回させる。旋回における回転量はdXの絶対値|dX|に応じた値とする。

図２は、本発明装置の制御アルゴリズムのブロック図である。本発明は、前述の説明のごとく、取得画像より得られる追従対象領域の固有の特徴量として例えば、横幅Ｗと横軸中央位置Ｘの二つの値を利用し、画像情報（例えば初期フレーム画像）より予め取りこまれた参照特徴量との差を零にするように駆動信号を発生して駆動手段に供給するものである。

次に、本発明を車椅子に適用した例につき、ハードウェア構成を含めて、以下説明する。ＣＣＤカメラ（図１の１に相当）にはＳＯＮＹ社製ＣＣＤ−ＰＣ１、ＦＰＧＡボード（図１の３、４、６、７に相当）には三菱電機マイコン機器ソフトウェア株式会社（ＭＭＳ社）製のＭＵ２００−ＡＰ４００、ＳＲＡＭボード（図１の２．５に相当）にはＭＭＳ社製ＭＵ２００−ＸＳＲ、図１の撮像装置１と画像情報記憶手段２間の通信にはビデオエンコード・デコードボードＭＭＳ社製ＭＵ２００−ＶＤを使用した。また処理結果確認用としてＣＡＳＩＯ社製ＴＶモニタＳＹ−４０００ＷＥを使用した。

ベースとなる電動車椅子としては、日進医療機器株式会社製の電動車椅子ＮＥＯ−Ｐ１を用い、この車椅子にＦＰＧＡボード及び制御回路、ＣＣＤカメラを搭載し人物追従型車椅子を試作した。この試作車椅子をスタート地点に位置させ、その前方に追従対象者を立たせた。追従対象者を直角に曲がる経路も含めて約１５ｍほど歩かせたところ、追従対象者の後方を一定の距離を保ちながら、直進では対象者と同じ経路を通り、角の曲がりなどでは対象者よりも若干内側を通る傾向があるものの実用性には問題なく追従することを確認した。

近年、高齢化社会が進み高齢者や障害者の介護が重要な課題となり、これに伴い福祉機器への関心が高まっている。その中で車椅子の改善が求められるところであるが、本発明追従装置は車椅子に十分利用でき、その産業上の利用価値は高い。

本発明の一実施例における移動物体の追従装置の構成を概略的に示す図である。 本発明の一実施例における装置の制御アルゴリズムのブロック図である。 本発明の一実施例において用いられる動的輪郭モデルを一般的に説明するための図である。 本発明の一実施例において用いられる画像情報の動的輪郭モデルの配置を示す図である。 本発明の一実施例において画像情報より対象領域を抽出する状態を説明するための図である。 本発明の一実施例において、特徴量計測を説明するための図である。 本発明の一実施例における追従装置の移動方向を示す図である。

符号の説明

１ 撮像装置
２ 画像情報記憶手段
３ 対象領域抽出手段
４ 特徴量計測手段
５ 参照特徴量記憶手段
６ 特徴量比較手段
７ 駆動信号発生手段
８ 駆動手段

Claims (5)

1. 物体の撮像手段と、上記撮像手段により得られた画像情報を記憶する画像情報記憶手段と、上記画像情報記憶手段に蓄えられた画像情報より追従対象となる移動物体の追従対象領域を抽出する対象領域抽出手段と、上記対象領域抽出手段により得られた画像情報より上記移動物体に固有の特徴量を計測する特徴量計測手段と、上記特徴量計測手段の出力と上記画像情報より予め取りこまれた参照特徴量の値を比較する特徴量比較手段と、上記特徴量比較手段の出力により移動方向又は移動速度を決定する駆動信号発生手段と、上記駆動信号発生手段の出力により制御される駆動手段とを備えたことを特徴とする移動物体の追従装置。
2. 対象領域抽出手段は、画像情報を２値化し、２値化された画像情報に対して動的輪郭モデルを適用することにより対象領域の抽出を行うことを特徴とする請求項１に記載の移動物体の追従装置。
3. 画像情報を２値化するに際し、画像情報中の色を基準とすることを特徴とする請求項２に記載の移動物体の追従装置。
4. 特徴量計測手段は、対象領域抽出手段によって得られた抽出輪郭点において、領域の固有特徴量として横軸の最小点と最大点の差より横幅を、上記最小点と最大点の中点をそれぞれ計測することを特徴とする請求項１、２又は３に記載の移動物体の追従装置。
5. 請求項１、２、３又は４に記載の移動物体の追従装置を備えた電動車椅子。
   
   

Images