JP2016214348A - 特定人物識別装置およびその方法 - Google Patents

Abstract

【課題】環境変化に頑健な特定人物識別装置を提供する。【解決手段】本発明係る特定人物識別装置は、複数から特定人物を識別するものであって、複数の人物について足元との距離を測定するための距離測定手段と、前記距離測定手段から取得される距離の変化の状態に基づいて、足元の接地タイミングを判定する第１の接地タイミング判定手段と、前記記憶手段に記憶される特定人物の歩行時における接地タイミングと前記第１の接地タイミングとを比較するとともに、誤差範囲に基づいて特定人物を判断する判断手段とを備える。【選択図】図３

Description

本発明は、多数の歩行中の人物の中から、特定の人物を識別し、その位置を推定する特定人物識別装置に関するものである。

病院内において医師の回診に付き添い、医療支援を行う自律移動型ロボットの付き添い行動（たとえば、特許文献３を参照）や、歩行訓練支援の例（たとえば、特許文献４を参照）に示すような介護施設等における特定入居者の見守りでは、多数の人物の中から、特定の医師や被介護者のような、目標とする特定の人物を精度よく識別し、その位置を知ることができる安価なシステムの実現が求められている。

従来技術としては、つぎの文献が開示されている。特許文献１では人の足に装着したInertial Measurement Unit（慣性計測装置。以下、「IMU」という。）データから足先の位置情報を計算する手法を述べているが、複数人物がいる場合にどの人物がその人物かを外部の観察者から知る手だてはない。

特許文献２では、ユーザがさまざまな動作をしているときのIMUのデータ系列をモデルとして学習し、それを用いて人物識別を行っているが、歩行動作への適用可能性は未知であり、同様に、複数人物がいる場合にどの人物がその人物かを外部の観察者から知る手だてはない。

特許文献３では、病院内において医師の回診に付き添い、医療支援を行う自律移動型ロボットが示されている。ロボットは、指紋認証などにより認証した人物の服装などにより特定人物を識別し、追従する。

特許文献４では、歩行支援装置において、加速度センサを用いて支援対象人物の歩行パターンを計測して記憶し、健康管理情報として用いることが示されている。

一方、非特許文献１においては、RGB-DカメラとIMUとを利用した手法が提案されている。その手法では、それらのセンサから得られる歩行パターン情報の一致度を利用しているが、RGB-Dカメラは観察する環境にあらかじめ設置しておく必要があり、また頭部が観測できない場合には利用できない。

また、非特許文献２における、カメラとLaser Range Finder（レーザ距離センサ。以下、「LRF」という。）による人物同定手法では、服の色、身長、歩容（歩幅と歩行周期）を利用して人物を特定する手法を提案している。しかし、非定常的な歩容の場合や照明条件が悪く画像データの品質が低い場合には適用が難しい。

特開2008-161227号公報 特開2010-044639号公報 特開2014-211704号公報 特開2004-030464号公報

河端ら，"RGB-Dカメラに映るPDR利用者の同定"，ビジョン技術の実利用ワークショップ，2014． 小出ら，"服の色・身長・歩容特徴を用いた付き添いロボットのための人物識別"，第32回日本ロボット学会学術講演会，2014 年9月． A.R. Jimenez et al., ``Indoor Pedestrian Navigation Using an INS/EKF Framework for Yaw Drift Reduction and a Foot-Mounted IMU'', Proc. 7th Workshop on Positioning, Navigation, and Communication (WPNC), pp.135-143, 2010.

上述したように、特許文献１、２の方法では、身体に装着したデータのみを利用し、その位置情報や動作パターンを得ることを目的としているが、無線通信でデータを取得したとしても、外から見てどの人物がその人物であるかを知ることはできない。

一方、非特許文献１の方法では、その点を改善し外部からの観測とIMUデータを統合することにより、IMUを装着した人物の識別ができるようになっているが、距離画像から得た頭部位置情報を利用しているため、屋内かつあらかじめ距離画像カメラを設置している環境でのみ利用可能である。

さらに、特定人物がIMUを装着しない非特許文献２の方法では、悪照明条件下や非定常歩容に対して適用が難しい。

本発明は、上記の問題点を解決し、屋内外を問わず任意の場所で、またLRFが環境に設置されているかロボットのような移動体に設置されているかを問わず適用可能な、特定人物識別装置を提供するものである。

本発明に係る請求項１に記載の特定人物識別装置は、
複数の人物の中から特定人物を識別するための特定人物識別装置であって、
複数の人物について足元との距離を測定するための距離測定手段と、
前記距離測定手段から取得される距離の変化の状態に基づいて、足元の接地タイミングを判定する第１の接地タイミング判定手段と、
特定人物が装着または携行する慣性計測手段と、
前記慣性計測手段により計測される加速度および角速度を取得する慣性データ取得手段と、
前記慣性データ取得手段によって取得される加速度および角速度に基づき、特定人物が歩行時における接地タイミングを判定する第２の接地タイミング判定手段と、
前記第１の接地タイミングと第２の接地タイミングとを比較することにより特定人物を判断する判断手段と
を備えることを特徴とする。

本発明に係る請求項２に記載の特定人物識別装置は、請求項１に記載の特定人物識別装置であって、
さらに、前記第１および第２の接地タイミングの時間的相違を修正する修正手段を備え、前記判断手段による前記第１および第２の接地タイミングの比較は、前記修正手段により時間的相違が修正された後の接地タイミングを比較するものであることを特徴とする。

本発明に係る請求項３に記載の特定人物識別装置は、請求項１または２に記載の特定人物識別装置であって、
さらに、自走可能な駆動装置と、前記距離測定手段により測定された対象人物の足元までの距離の平均値より特定人物との平均的な距離を算出する処理手段と、この処理手段により算出される距離が所定範囲内に維持されるように前記駆動装置の駆動状態を制御する制御装置とを備え、少なくとも前記距離測定装置が前記駆動装置によって移動可能であり、前記特定人物と判断された単一人物との間に所定範囲内の間隔を有しつつ追尾することを特徴とする。

本発明に係る請求項４に記載の特定人物識別方法は、
複数の人物の中から特定人物を識別するための特定人物識別方法であって、
複数の人物について足元との距離を測定するための距離測定ステップと、
前記距離測定ステップで取得された距離の変化の状態に基づいて、足元の接地タイミングを判定する第１の接地タイミング判定ステップと、
前記記憶ステップで記憶された特定人物の歩行に関する情報から第２の接地タイミングを判定するステップと、
特定人物が装着または携行する慣性計測手段により計測される加速度および角速度を取得する慣性データ取得ステップと、
前記慣性データ取得ステップによって取得される加速度および角速度に基づき、特定人物が歩行時における接地タイミングを判定する第２の接地タイミング判定ステップと、
前記第１の接地タイミングと第２の接地タイミングとを比較することにより特定人物を判断する判断ステップと
を含むことを特徴とする。

本発明に係る特定人物識別装置およびその方法によれば、装着または携行されるセンサおよび前記センサ以外の外部センサを併用して、人物の脚部を観測して接地タイミングを計測するので、センサを常設したり、人物の上部から観測したりする必要がなく、環境変化に頑健であるため屋内外で複数の人物から特定人物の識別が可能となる。

本発明に係る処理の概要を示す図である。 本発明に係る特定人物識別装置のハードウェア構成を示す図である。 本発明に係る特定人物識別アルゴリズムの概要を示す図である。 本発明に係るIMUを用いる足接地タイミング計測アルゴリズムを示す図である。 本発明に係るLRFを用いる足接地タイミング計測アルゴリズムを示す図である。 本発明に係るLRFによって得られる足位置分布の例を示す図である。 本発明に係る人物識別アルゴリズムを示す図である。 本発明に係るIMUとLRFの時計合わせアルゴリズムを示す図である。 本発明に係る接地タイミングの計測結果を示す図である。 本発明に係る人物識別結果を表した図である。

本発明を実施するための形態について、図および式を参照しながら、以下に説明する。

まず、図１に本発明に係る処理の概要を示す。同図左側は特定人物識別を行う状況を示している。複数いる人物のうち識別したい人物が慣性計測手段として機能するIMU（S11）を装着または携行している。また、距離測定手段として機能するLRF（S12）を用いて複数人物の動きを観測している。同図右側のブロック図においては、本発明に係る処理の流れの概要を示している。IMUおよびLRFを同時に用いて、それぞれのセンサから得られる測定データを解析して、IMUでは特定人物の足接地タイミングを計測し（S13）、LRFでは人物全員の足接地タイミングを計測し（S14）、前記二つの計測データを比較してLRFデータ中の特定人物位置を計算する（S15）。なお、LRF（S12）による人物全員の足接地タイミングの計測は、変化する複数の足元の距離を全て測定するものであり、その距離の変化の状態から移動する足元に対する接地のタイミングを個別に計測するものである。

次に、本発明に係る特定人物識別装置のハードウェア構成を図２に示す。IMU（S21（S11））は、識別したい特定人物の身体に装着される。IMUは角速度センサおよび加速度センサ等による慣性計測装置であり、携帯端末に内蔵されるジャイロセンサを使用することも可能である。そして、人物の上半身に装着または携行される場合には、当該人物全体の角速度および加速度が計測されるが、人物の足接地タイミングを計測するためには、前記装着は該人物の下半身、とくに脚部になされることが望ましい。なお、該人物の片方の脚部に装着する場合は、当該片方の脚部についてのみ足接地タイミングを計測することとなるが、当該脚部が人物のいずれか一方の脚部であることが予め判明していれば人物特定は容易である。

また、LRF（S22（S12））は複数人物の下半身、とくに脚部が測定可能な床、壁または支柱などに設置される。あるいは、移動ロボットなどの移動体上に設置してもよい。移動ロボットとは、モータ等の駆動装置によって車輪を回転駆動できる自走可能な移動体の総称であり、この種の移動体にLRFを搭載する場合には、制御装置（処理手段および制御手段）も当該移動体に搭載されることが好ましく、当該制御装置によって、特定人物との平均的な距離を算出し、前記駆動装置の駆動状態を制御するのである。特定人物との平均的な距離の算出には、前記LRFにより計測される距離データから算出されるものであり、その平均的な距離が所定範囲内に維持されるように駆動装置を制御するのである。特定人物との平均的な距離が所定範囲内に維持されることによって追尾が可能となる。

足接地タイミングを計測するために処理装置は、一般的なコンピュータによって構成され、所定のプログラムおよび各種データを格納または記憶するための記憶装置（ＨＤＤ，ＲＯＭ）、データ処理のための演算装置（ＣＰＵ）およびメモリ（ＤＲＡＭ）を有し、それぞれがバスで接続されるとともに、各種のインターフェースに接続されている。本実施形態は、とくに、インターフェースとしてIMUデータ受信部（S23）および距離データ取得部（S24）を備えている。図は、特定人物識別装置の主要部として、IMUデータ受信部（S24）および距離データ取得部（S24）のインターフェースを示すとともに、記憶装置に記憶されるプログラムに従ってデータが処理される主制御部（S25）を示している。IMUデータ受信部（S23）はIMUからのデータを無線通信（慣性データ取得手段）により取得し、主制御部（S25）に受信されたデータを送る。一方、距離データ取得部（S24）はLRFからのデータを取得し、主制御部（S25）に取得データを送る。

前記データ送信後に、主制御部（S25）は前記IMUおよびLRFからの両方の計測データから、接地タイミングの計算および接地タイミングの比較を行い、LRFからの計測データ中のどの人物のデータがIMUからの計測データと一致するかを判定することにより、特定人物を識別する。

次に、図３に本発明に係る特定人物識別装置における人物識別アルゴリズムのフローチャートを示す。図３に示すアルゴリズムにおけるステップS31〜S35は、以下の処理を行うものである。

１．IMUとLRFの時刻あわせを行う（S31）。このとき、前記主制御部が修正手段として機能する。
２．IMUデータから足接地のタイミングを計測する（S32）。これが第２の接地タイミング判定ステップであり、前記主制御部が第２の接地タイミング判定手段として機能する。
３．LRFデータから足接地のタイミングを計測する（S33）。これが第１の接地タイミング判定ステップであり、前記主制御部が第１の接地タイミング判定手段として機能する。
４．上記S32およびS33で得られた二つのデータを比較することにより、IMUを装着している特定人物がLRFデータ中のどの人物であるかを識別する（S34）。これが判断ステップであり、前記主制御部が判断手段として機能する。
５．特定人物識別の結果を出力する（S35）。

つづいて、図３の人物識別アルゴリズムにおける「IMUによる足接地タイミング計測」の手順（S32＜手順２＞）を図４に示す。

＜手順２＞におけるステップS41〜S42は、以下の処理を行うものである。

１．IMUから角速度、加速度のデータを受信し、接地区間を検出する（S41）。
接地区間の検出は、上記非特許文献３に示されている方法に従い、角速度の大きさ、加速度の大きさ、加速度の変化量のいずれかが十分に小さい値を取る時間区間を接地区間とする。なお、IMUが特定人物の片脚に接地される場合は、当該片脚についてのみ計測され、上半身に接地される（または携行される）場合には、両脚について計測されることとなる。
２．前記接地区間の中央の時間を接地タイミングとして該時間の値を出力する（S42）。

つづく図５は、図３の人物識別アルゴリズムにおける「LRFによる足接地タイミング計測」の手順（S33＜手順３＞）を示すものである。

＜手順３＞におけるステップS51〜S54は、以下の処理を行うものである。

１．上記非特許文献２の方法を適用し各人物の追跡を行うとともに、足の位置の時間的分布を計算する（S51）。
LRFが静止しているときには、得られた距離データから足らしいところを取りだして、ある座標系に投票する。該LRFが移動しているときには、別途計測した移動量を用いて座標変換を行い、すべてのデータを単一の座標系上に記録する。人の歩行中の軸足位置には、足が接地して停止している間に計測された距離データが密集しているため（足位置の分布の計算例を図６に示す。）、該データの極大値を検出し、足の接地位置とする。
２．前記の各接地位置について、該接地位置から一定距離（例えば、0.3m）にある計測点数を数え、順次繰り返して、時間変化データを生成する。点数が一定のしきい値以下の場合には脚が浮いている（つまり遊脚である。）として取り除く。前記の処理より得らるデータから、データのない時間区間で隔てられたそれぞれの区間を接地している時間区間とする（S52）。
３．上記の各接地時間区間の重みつき平均時間位置を接地タイミングとする（S53）。
４．上記S53で得られた接地タイミングを出力する（S54）。

図７は、図３の人物識別アルゴリズムにおける「二つの接地タイミングデータの比較による人物識別」の手順（S34＜手順４＞）を示すものである。

＜手順４＞におけるステップS71〜S75は、以下の処理を行うものである。

１．S32＜手順２＞、S33＜手順３＞によりIMUのタイミングデータとLRFのタイミングデータを取得する（S71）。
２．該LRFで検出されるすべての人物について、以下の三つのステップを行う（S72〜S74）。
３．計測の誤差を考慮して次式によるベイズ推定を行う（S73）。
４．上記三つのステップで計算された事後確率のうち、もっとも高い事後確率の高い人物の位置を出力する（S75）。

ここで上記S73に係るベイズ推定について説明する。タイミングデータの差は基本的にIMUを装着した人が最も低くなるが、計測の誤差のため正しい人であっても一時的に高い相違度が得られる可能性がある。そこでベイズ推定を行うこととし、最も事後確率（数１の左辺）の高い人物を対象人物とし、その位置を計算する。

ここで、P(X_i)はLRF中のi番目の人物X_iが対象人物である事前確率、p(y|X_i)は前記IMUで計測した対象人物の接地タイミングと前記LRFで計測したシーン中の人物の接地タイミングの差yの下で、対象人物がX_iである尤度を表す。尤度関数は差が小さくなるほど大きくなるような関数とし、例えば以下の式を用いる。ここでσ²は差の誤差の分散値である。

また、αは正規化係数であり、すべてのiに対する事後確率の和が１になるように定める。

前記LRFによる追跡において、前記IMUを装着した人を見失ってしまった場合にはベイズ推定を一旦停止し、周囲の人の中から高い精度で足の接地タイミングが前記IMUにより計測された接地タイミングと一致している人を探す。本発明に係る実施例では70[msec]以下の精度で3歩以上の接地タイミングが一致した場合にその人が追跡対象の人であるとして再認識し、ベイズ推定を再開する。

次に、図３の人物識別アルゴリズムにおける「IMUとLRFの時計合わせ」の手順（S31＜手順１＞）を図８に示す。

＜手順１＞におけるステップS81〜S83は、以下の処理を行うものである。ただし、人が一人しかいない状況を設定する。

１．IMUの接地タイミングデータとタイムスタンプを得る（S81）。
２．LRFの接地タイミングデータとタイムスタンプを得る（S82）。
３．上記二つのタイムスタンプのずれを記録しておく（S83）。
以後のデータでは前記ずれに基づき、どちらかのタイムスタンプを修正する。

LRF（北陽電機社製UTM-30LX）を地上約30cmの位置に設置し、また人物がIMU（ZMP社製IMU-Z2）を左足甲に装着してLRFの前で歩行を行って計測を行った。

図９に計測結果を示す。第一段、第二段はLRFで計測した足の接地位置近傍での計測点数のそれぞれ右足、左足の時間的変化、第三段はそれらから各接地区間の重み付き平均から接地タイミングを計測した結果を、第四段はIMUのデータから推定した接地タイミングを示す。このデータでは前記IMUおよびLRFの時間のずれは修正されており、第三段のタイミングデータの左足分（奇数番目）と第四段のタイミングデータが近いことが分かる。

次に、図１０に人物識別実験の結果を示す。各人物の足元の楕円はLRFで計測した人物の位置を示す。各人物に付加されたバーは対象人物である確率を示し、黒色部分が大きいほど対象人物らしいことを示す。確率が十分に高く、対象人物と判断された人物に白色の円環が付けられている。なお、本実施例においては、画像データは識別結果を表示するためだけに利用し、識別にはLRFとIMUのみを利用している。LRFと画像を取得するためのカメラ間の座標変換をあらかじめ求めておくことにより、LRFによる人物追跡と人物識別結果を画像上に表示することができる。

Claims (4)

1. 複数の人物の中から特定人物を識別するための特定人物識別装置であって、
   複数の人物について足元との距離を測定するための距離測定手段と、
   前記距離測定手段から取得される距離の変化の状態に基づいて、足元の接地タイミングを判定する第１の接地タイミング判定手段と、
   特定人物が装着または携行する慣性計測手段と、
   前記慣性計測手段により計測される加速度および角速度を取得する慣性データ取得手段と、
   前記慣性データ取得手段によって取得される加速度および角速度に基づき、特定人物が歩行時における接地タイミングを判定する第２の接地タイミング判定手段と、
   前記第１の接地タイミングと第２の接地タイミングとを比較することにより特定人物を判断する判断手段と
   を備えることを特徴とする特定人物識別装置。
2. さらに、前記第１および第２の接地タイミングの時間的相違を修正する修正手段を備え、前記判断手段による前記第１および第２の接地タイミングの比較は、前記修正手段により時間的相違が修正された後の接地タイミングを比較するものであることを特徴とする請求項１に記載の特定人物識別装置。
3. さらに、自走可能な駆動装置と、前記距離測定手段により測定された対象人物の足元までの距離の平均値より特定人物との平均的な距離を算出する処理手段と、この処理手段により算出される距離が所定範囲内に維持されるように前記駆動装置の駆動状態を制御する制御装置とを備え、少なくとも前記距離測定手段が前記駆動装置によって移動可能であり、前記特定人物と判断された単一人物との間に所定範囲内の間隔を有しつつ追尾することを特徴とする請求項１または２に記載の特定人物識別装置。
4. 複数の人物の中から特定人物を識別するための特定人物識別方法であって、
   複数の人物について足元との距離を測定するための距離測定ステップと、
   前記距離測定ステップで取得された距離の変化の状態に基づいて、足元の接地タイミングを判定する第１の接地タイミング判定ステップと、
   前記記憶ステップで記憶された特定人物の歩行に関する情報から第２の接地タイミングを判定するステップと、
   特定人物が装着または携行する慣性計測手段により計測される加速度および角速度を取得する慣性データ取得ステップと、
   前記慣性データ取得ステップによって取得される加速度および角速度に基づき、特定人物が歩行時における接地タイミングを判定する第２の接地タイミング判定ステップと、
   前記第１の接地タイミングと第２の接地タイミングとを比較することにより特定人物を判断する判断ステップと
   を含むことを特徴とする特定人物識別方法。

Images