JP2006221379A - 行動認識システム - Google Patents

Abstract

【課題】 駅構内のようなエリア内の場所毎に人の移動状況が異なるようなサービスエリアにおいて、特異な状態にある人の行動を精度よく認識することができるようにする。
【解決手段】 サービスエリア内における大多数の人の行動パターンに応じてサービスエリアが複数のブロックに分割され、メモリ３１にはブロック毎の大多数の人の行動パターンの特徴が行動パターン統計情報として記録されている。カメラ１４ではブロック毎に人の動きを監視してセンシングデータを得て、位置計測装置２１はセンシングデータに基づいて人の位置座標を得て人位置情報とする。そして、行動パターンデータ抽出装置２２は人位置情報に応じて人の位置変化を求めて位置変化を行動パターンデータとし、行動・状況認識装置２３はブロック毎に行動パターンデータと行動パターン統計情報とを比較し、人の行動を判定して行動認識結果として出力する。
【選択図】 図４

Description

本発明は、人の行動及び状態を認識するためのシステムに関し、特に、生活支援ロボットとともに用いられる行動認識システムに関するものである。

一般に、人の生活を支援して各種サービスを実行する生活支援ロボットにおいては、適切なサービスを適切なタイミングで行うため、人の行動及び状態を的確に認識する必要がある。つまり、人の行動及びその置かれた状態・状況に応じて適切なタイミングで適切なサービスを行うためには、生活支援ロボット側で人の行動及び状態（状況）を認識する必要がある。

従来、人等の移動物体の全体の動きの状況を精度よく認識するため、例えば、画像情報から各移動物体の位置、移動距離、移動速度、移動方向、移動方向の変化量、移動ベクトルと初期ベクトルとの方向差等の動きに関する特徴量の分布パターンを生成して、この分布パターンに応じて、駅構内、地下街、又は商店街等における全体の動きの状態又は特異な動きをする物体を自動的に認識するようにしたものがある（特許文献１参照）。

さらに、画像内の人物の行動意図を認識するため、画像処理部で、撮像部で取得した画像内のオブジェクトを抽出し、認知部によって、抽出したオブジェクトの属性（人物か否か人物であればその行動、物体であればその名称）を決定した後、シーン認知部によってシーン候補の中からオブジェクトの属性に基づいて最も確からしいシーンを選択し、推測部で、認知されたシーンにおける人物オブジェクトの行動属性に基づいて複数の可能な行動意図から最も合致する行動意図を特定するようにしたものがある（特許文献２参照）。

また、サービス提供者が迅速に顧客に対応するため、画像処理装置では、撮影装置により撮影された顧客画像を、静止状態画像、注文時動作画像、注文時類似動作画像の各々と比較して、顧客が注文時の動作をしているか否かを判別し、注文時動作であると認識した際には、注文用端末及び厨房内モニタに注文が発生したことを報知する。

そして、顧客画像から顧客が食べている料理画像を抽出して、この料理画像の残量を測定し、測定した残量を残量閾値と比較し、残量が残量閾値以下であると、注文用端末及び厨房内モニタに顧客が食べ終わった旨を報知するようにしたものがある（特許文献３参照）。

特開平６−２６６８４０号公報 特開２０００−２９３６８５公報 特開２００４−２１３１２１公報

ところで、特許文献１においては、駅構内、地下街、又は商店街等の比較的広いサービスエリアを対象として、このサービスエリアにおける全体の動きの状態を捉えて、そこから特異な動きをする人を認識しようとしているものの、駅構内、地下街、又は商店街等の比較的広いサービスエリアにおいては、人がスムーズに移動する場所、人が滞留する場所（例えば、駅における券売機の周囲等）等人の移動状況が異なる場所が種々存在し、駅構内、地下街、又は商店街等の比較的広いサービスエリアにおける全体の動きの状態を捉えることができたとしても、サービスエリア内の場所毎に人の移動状況が異なるから、サービスエリア全体の動きから特異な動きをする人を認識することが極めて困難であるという課題がある。

特許文献２においては、シーン候補の中からオブジェクトの属性に基づいて最も確からしいシーンを選択し、認知されたシーンにおける人物オブジェクトの行動属性に基づいて複数の可能な行動意図から最も合致する行動意図を特定するようにしているものの、駅構内のように多数の人が存在するエリアにおいて、オブジェクトの属性に基づいて最も確からしいシーンを選択したのでは、多数の人の中から特異な動きをする人を認識することが難しいという課題がある。

特許文献３においては、単に顧客画像を、静止状態画像、注文時動作画像、注文時類似動作画像の各々と比較して、顧客が注文時の動作をしているか否かを判別しているだけで、駅構内のように多数の人が存在するエリアにおいて、多数の人の中から特異な動きをする人を認識することはできないという課題がある。

いずれにしても、特許文献１〜３においては、駅構内のようにエリア内の場所毎に人の移動状況が異なるようなサービスエリアにおいて、特異な動きをする人を精度よく認識することが極めて難しいという課題がある。

本発明の目的は、駅構内のようなエリア内の場所毎に人の移動状況が異なるようなサービスエリアにおいて、特異な動きをする人の行動を精度よく認識することのできる行動認識システムを提供することにある。

上記の課題を解決するため、本発明は、所定のサービスエリア内における人の行動パターンを認識する行動パターン認識システムであって、前記サービスエリア内における大多数の人の行動パターンに応じて前記サービスエリアが複数のブロックに分割され、前記ブロック毎の大多数の人の行動パターンの特徴が行動パターン統計情報として記録されたメモリと、前記ブロック毎に人の動きを監視してセンシングデータを得るセンシング部と、該センシングデータに基づいて人の位置座標を得て人位置情報とする位置算出手段と、前記位置算出手段から受けた前記人位置情報に応じて人の位置変化を求めて該位置変化を行動パターンデータとする行動パターン抽出手段と、前記ブロック毎に前記行動パターンデータと前記行動パターン統計情報とを比較し人の行動を判定して行動認識結果として出力する行動識別手段とを有することを特徴とするものである。

本発明では、前記行動パターン抽出手段は、例えば、前記行動パターンデータを統計処理して前記行動パターン統計情報を更新する。

本発明では、前記サービスエリア内にはロボットが自走し、少なくとも前記センシング部及び前記位置算出手段を前記ロボットに備えるようにしてもよい。なお、前記行動認識結果は、例えば、前記ロボットの制御に用いられる。

以上のように、本発明では、サービスエリア内における大多数の人の行動パターンに応じてサービスエリアを複数のブロックに分割し、ブロック毎の大多数の人の行動パターンの特徴を行動パターン統計情報として記録して、ブロック毎に人の動きを監視して得られたセンシングデータから人位置情報を得て、人位置情報に応じて人の位置変化を求めて、位置変化を示す行動パターンデータと行動パターン統計情報とを比較し人の行動を判定して行動認識結果として出力するようにしたので、サービスエリア内の場所毎に人の移動状況が異なるような場合であっても、特異な動きをする人の行動を精度よく認識することができるという効果がある。

本発明では、行動パターンデータを統計処理して行動パターン統計情報を更新するようにしたので、行動パターン統計情報で示される一般的な行動パターンの精度を高めることができる結果、人の行動を認識する際の精度を向上させることができるという効果がある。

本発明では、サービスエリア内を自走するロボットに、少なくともセンシング部及び位置算出手段を備えるようにしたので、別にセンシング部をサービスエリア内に配置する必要がなく、センシング部配置によるコストアップを低減することができるという効果がある。

以下、本発明の実施の形態について図面を参照して説明する。但し、この実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。

図１を参照して、本発明の実施例１による行動認識システムは、例えば、図１に示すサービスエリア１１において用いられ、このサービスエリア１１には少なくとも１つの生活支援ロボット（以下単にロボットと呼ぶ）１２が配置されており、ロボット１２はサービスエリア１１内移動するものとする。図示のサービスエリア１１は、例えば、駅構内、地下街、又は商店街等であり、ロボット１２はサービスエリア１１内にいる人１３に対して案内を行うとともにサービスエリア１１内における警備等を行う。

図示のように、サービスエリア１１内には複数のカメラ（センシング部）１４が配置されている。そして、サービスエリア１１は後述するようにして複数のブロック（領域）１５−１〜１５−Ｎ（Ｎは２以上の整数）に分割される。図２に示すように、サービスエリア１１は複数のブロック１５−１〜に分割されており、サービスエリア１１内を、大多数の人の行動特性（行動パターン）に応じて複数のブロック１５−１〜１５−Ｎに分割する。例えば、各ブロック１５−１〜１５−Ｎは２ｍ四方の正方形であるか又は設置物（例えば、駅構内である際には券売機）から半径２ｍの範囲とそれ以外の領域である。

ここで、行動特性とは、人の移動速度、静止時間、及び特定の行動の頻度等を示し、予めサービスエリア１１において人１３の行動特性を観察して、サービスエリア１１を複数のブロック１５−１〜１５−Ｎに分割する。つまり、ブロック１５−１〜１５−Ｎおいてはそれぞれ人１３の行動特性が異なることになる。そして、前述のようにして観察・計測された行動特性は、各ブック１５−１〜１５−Ｎに対応付けて行動パターン統計情報としてメモリ等に格納される。

図３は行動パターン統計情報の一例を示す図であり、図示のように、ブロック１５−１〜１５−Ｎ毎に、ブロックにおける平均移動速度、移動速度分散、平均静止時間、静止時間分散、及び単位時間当たりの平均静止回数が記録されている。例えば、駅構内では通路においては、平均移動速度は大きくなるものの、平均静止時間及び平均静止回数は少なくなる。一方、券売機周辺においては、平均移動速度は小さくなるものの、平均静止時間及び平均静止回数は大きくなる。

図４を参照して、本発明の実施例１による行動認識システム２０は位置計測装置（位置算出手段）２１、行動パターンデータ抽出装置（行動パターン抽出手段）２２、及び行動・状況識別装置（行動識別手段）２３を備えており、後述するようにして生成された行動認識結果が別のシステムに備えられたロボット制御プラットフォーム２４に与えられて、ロボット制御プラットフォーム２４では行動認識結果に応じてロボット１２に対してロボット指令を送ってロボット１２を制御する。

図５を参照して、位置計測装置２１の動作について説明する。カメラ１４（図１）で撮像された画像データ（画像信号）が位置計測装置２１に与えられる（この画像データはブロック毎に得られる。つまり、カメラ１４はブロック毎に撮像を行っている）。位置計測装置２１では、画像データ２５から人の頭部領域２６を抽出し（ステップＳ１：例えば、画像データにおける色情報及び輝度変化情報に基づいて頭部と推測される領域を頭部領域として抽出する）、この頭部領域２６の重心座標（ｘ，ｙ）を抽出する（ステップＳ２）。

そして、位置計測装置２１は各カメラ１４で得られた画像データ毎に上述のステップＳ１及びＳ２を実行して、各カメラ１４における頭部重心座標を得る。位置計測装置２１には、カメラ１４毎にその設置位置、撮像方向（向き）、及びレンズパラメータデータがカメラデータとして格納されており、位置計測装置２１は各カメラ１４における頭部重心座標とカメラデータとに応じて、人の３次元座標計算を実行して（ステップＳ３）、人位置情報を出力する。なお、人の３次元座標計算においては、例えば、ステレオ視等の原理が用いられる。

上記の人位置情報は、図４に示す行動パターンデータ抽出装置２２に与えられる。図６を参照すると、人位置情報は連続的に行動パターンデータ抽出装置２２に与えられ、所定の時間（一定時間）時系列的に人位置時系列保存メモリ（図示せず）に保存される（ステップＳ４）。人位置時系列保存メモリから所定の時間毎に人位置情報が一定時間人位置時系列データとして読み出されて、一定時間人位置時系列データに基づいてその位置・移動ベクトルが抽出される（ステップＳ５）。例えば、現時点と５秒後との位置変化及び速度ベクトルが抽出される。

そして、行動パターンデータ抽出装置２２では、位置・速度ベクトルに基づいて、当該人の静止回数・時間を計数する（ステップＳ６）。例えば、速度ベクトルから移動速度がゼロ及びゼロに近い場合に静止としてカウントし、連続する静止を静止時間として計数する。さらに、行動パターンデータ抽出装置２２は、速度ベクトルに応じて平均移動速度分布を計数するとともに（ステップＳ７）、当該人の「座る」動作を抽出する（ステップＳ８）。「座る」動作の抽出に当っては、上下方向への速度変化ベクトル及び位置変化ベクトルに基づいて「座る」動作を抽出して、この動作の回数を計数する。

これによって、図６に示すように、静止回数・時間、移動速度の平均・分散、移動軌跡、及び「座る」動作の頻度分布を行動パターンデータとして得て、行動パターンデータ抽出装置２２は行動パターンデータを行動・状況識別装置２３に与える。

再び、図１を参照して、行動・状況識別装置２３では行動パターンデータを受けると、メモリ３１を検索して、予め規定された時間中に当該人が存在したブロックに係る行動特性（行動パターン分布情報）とを比較して、当該人の行動・状態を判定して、行動認識結果を出力する。

例えば、当該人の移動速度が平均移動速度よりもかなり大きい場合には、「急いでいる」と判定し、静止時間が平均静止時間よりもかなり大きい場合には、「困っている」と判定する。さらに、当該ブロックにおける行動パターン分布情報では、大多数の人が直線移動するにも拘わらず、当該人がＵターンを繰り返している際には、特異な行動である（例えば、困っている）と判定する。

そして、この行動認識結果は、ロボット制御プラットフォーム２４に与えられ、例えば、行動認識結果が「困っている」を示していると、ロボット制御プラットフォーム２４では当該人の近傍に位置するロボット１２に対してロボット指令を与えて、このロボット１２に当該人の案内等を行わせる。

なお、ロボット１２には、例えば、ＧＰＳ装置が搭載されており、このＧＰＳ装置から得られた位置情報に基づいてロボット制御プラットフォーム２４は各ロボット１２の位置を把握しているものとする。

このようにして、サービスエリア内を人の行動特性に応じて複数のブロックに分割して、ブロック毎の行動特性（行動パターン）と異なる行動をする人を特異な状態にあると判定するようにしてので、ブロック毎に人の行動認識が行え、当該人に対して速やかにロボットによるサービスを提供できる。なお、ここでは、特異な状態とは、異常な行動を行うばかりでなく、例えば、「（道に）迷っている」、「（お店）で商品を見回っている」、「（案内所で）案内を求めている」等の行動状態・状況も含むものとする。

しかも、ブロック毎の行動パターン統計情報に応じて人の行動認識を行っているので、駅構内のようなエリア内の場所毎に人の移動状況が異なるようなサービスエリアにおいて、特異な状態にある人の行動を精度よく認識することができることになる。なお、上述の例では、行動認識結果をロボット制御プラットフォーム２４に送って、ロボット制御プラットフォーム２４がロボット指令をロボット１２に与えるようにしたが、行動認識結果を、図４に破線矢印で示すように、直接ロボット１２に与えるようにしてもよい。この際には、ロボット１２は行動認識結果に応じて自分自身で制御を行うことになる。

上述の例では、サービスエリア１１内にカメラ１４を備えて、カメラ１４から得られた画像データに応じて人位置情報を得るようにしたが、カメラ１４に代えて、個人識別情報がＩＣタグ情報として記録されたＩＣタグを、人１３が備えて、このＩＣタグ情報を、サービスエリア１１内に配置されたＩＣタグ情報読取装置（図示せず）で読み取って、人を識別しつつその人の移動速度及び静止時間等を計数するようにしてもよく、超音波センサ等を用いて人を識別しつつ移動速度及び静止時間等を計数するようにしてもよい。

図７を参照して、本発明の実施例２による行動認識システムについて説明する。図７において、図１に示す構成要素については同一の参照番号を付し説明を省略する。ここでは、新たに行動パターン履歴情報メモリ３２が備えられており、実施例１で説明したようにして得られた行動パターンデータをブロック１５−１〜１５−Ｎに対応付けて行動パターン履歴メモリ３２に格納する。そして、行動パターン履歴メモリ３２に格納された行動パターンデータを統計処理して、メモリ３１内の行動パターン統計情報を更新する。

このようにして、行動パターンデータを統計処理して得られた結果に応じてメモリ３１内の行動パターン統計情報を更新するようにすれば、行動パターン統計情報で示される一般的な行動パターンの精度を高めることができる結果、人の行動を認識する際の精度を向上させることができる。

図８を参照して、本発明の実施例２による行動認識システムについて説明する。図８において、図７に示す構成要素については同一の参照番号を付し説明を省略する。ここでは、ロボット１２が前述した人位置情報を生成して、行動パターンデータ抽出装置２２に送る。サービスエリア１１内にカメラ１４は配置されておらず、代わりにロボット１２からの人位置情報をうけるための受信機３３がサービスエリア１１内に配置されている。

実施例３においては、図示はしないが、ロボット１２は、その頭部に搭載した視覚カメラで周囲の画像を取り込む。そして、実施例１で説明したようにして、画像データから人の頭部領域を抽出して、この頭部領域の重心座標（頭部中心座標）を抽出する。ロボット１２は、視覚カメラの設置位置、撮像方向（向き）、及びレンズパラメータデータと頭部重心座標とに応じて、人の３次元座標計算を実行して、人位置情報を得る。この人位置情報はロボット１２から受信機３３にロボットの位置を表すロボット位置情報とともに行動パターンデータ抽出装置２２に送られる。

ロボット１２はＧＰＳ装置等で自身の位置を計測しており、行動パターンデータ抽出装置２２ではロボット位置情報からロボット１２が位置するブロック、つまり、当該人が位置するブロックを判別することができる。

このようにして、図１に示す位置計算装置２１をロボット１２に備えるようにすれば、カメラ１４等のセンサが不要となって、ロボット自体にセンシングの機能を担わせることができる結果、センサ配置によるコストアップを低減することができる。

なお、ロボット１２自体が前述した行動パターンデータ抽出装置２２及び行動・状況識別装置２３を備えるようにしてもよく、このようにすれば、ロボット１２自体によって行動認識が行える結果、人に対するサービスを的確に行うことができる。

サービスエリア内における大多数の人の行動パターンに応じてサービスエリアを複数のブロックに分割し、ブロック毎の大多数の人の行動パターンの特徴を行動パターン統計情報として記録して、ブロック毎に人の動きを監視して得られたセンシングデータから人位置情報を得て、人位置情報に応じて人の位置変化を求めて、位置変化を示す行動パターンデータと行動パターン統計情報とを比較し、人の行動を判定して行動認識結果として出力するようにしたから、サービスエリア内の場所毎に人の移動状況が異なるような場合であっても、特異な状態にある人の行動を精度よく認識することができる結果、生活支援ロボットシステム等の各種ロボットシステムにおける人の行動認識に適用できる。

本発明の実施例１による行動認識システムが用いられるサービスエリアの一例を示す図である。 図１に示すサービスエリアをブロックに分割した状態を模式的に示す図である。 行動パターン統計情報の一例を示す図である。 本発明の実施例１による行動認識システムをロボットとともに示すブロック図である。 図４に示す位置計測装置の動作を説明するためのフロー図である。 図４に示す行動パターンデータ抽出装置の動作を説明するためのフロー図である。 本発明の実施例２による行動認識システムをロボットとともに示すブロック図である。 本発明の実施例３による行動認識システムをロボットとともに示すブロック図である。

符号の説明

１１ サービスエリア
１２ 生活支援ロボット
１３ 人
１４ カメラ
１５−１〜１５−Ｎ ブロック（領域）
２０ 行動認識システム
２１ 位置計測装置
２２ 行動パターンデータ抽出装置
２３ 行動・状況識別装置
２４ ロボット制御プラットフォーム
２５ 画像データ
２６ 頭部領域
３１ メモリ
３２ 行動パターン履歴情報メモリ
３３ 受信機

Claims (4)

1. 所定のサービスエリア内における人の行動パターンを認識する行動パターン認識システムであって、
   前記サービスエリア内における大多数の人の行動パターンに応じて前記サービスエリアが複数のブロックに分割されており、
   前記ブロック毎の大多数の人の行動パターンの特徴が行動パターン統計情報として記録されたメモリ手段と、
   前記ブロック毎に人の動きを監視してセンシングデータを得るセンシング部と、
   該センシングデータに基づいて人の位置座標を得て人位置情報とする位置算出手段と、
   前記位置算出手段から受けた前記人位置情報に応じて人の位置変化を求めて該位置変化を行動パターンデータとする行動パターン抽出手段と、
   前記ブロック毎に前記行動パターンデータと前記行動パターン統計情報とを比較し人の行動を判定して行動認識結果として出力する行動識別手段とを有することを特徴とする行動認識システム。
2. 前記行動パターン抽出手段は前記行動パターンデータを統計処理して前記行動パターン統計情報を更新するようにしたことを特徴とする請求項１記載の行動認識システム。
3. 前記サービスエリア内にはロボットが自走しており、
   少なくとも前記センシング部及び前記位置算出手段は前記ロボットに備えられていることを特徴とする請求項１又は２記載の行動認識システム。
4. 前記サービスエリア内にはロボットが自走しており、
   前記行動認識結果は前記ロボットの制御に用いられることを特徴とする請求項１又は２記載の行動認識システム。

Images