JP2015156127A

JP2015156127A - 特定動作検出装置

Info

Publication number: JP2015156127A
Application number: JP2014030871A
Authority: JP
Inventors: 円井上; Madoka Inoue; 梅崎　太造; Taizo Umezaki; 太造梅崎
Original assignee: Aiphone Co Ltd
Current assignee: Aiphone Co Ltd
Priority date: 2014-02-20
Filing date: 2014-02-20
Publication date: 2015-08-27
Anticipated expiration: 2034-02-20
Also published as: JP6214424B2

Abstract

【課題】シーケンシャルなマスクパターンの定義、及び動きと形状の両者の特性を併せ持つ特徴量を周波数領域で比較することで、特定の動作を高い精度で検出できる特定動作検出装置を提供する。【解決手段】カメラ１が撮像した画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部２と、複数の時系列画像フレームに対して求めた輝度勾配の差分を抽出する輝度勾配差分算出部３と、抽出した輝度勾配差分情報から時間変化を抽出して輝度勾配差分自己相関特徴を算出する輝度勾配差分自己相関算出部４と、算出した輝度勾配差分自己相関特徴を特徴空間からを周波数空間へ変換する周波数変換部５と、周波数空間へ変換して得られた特徴ベクトルについて機械学習による識別処理を実施して類似度を判定する判定部６と、判定結果を出力する結果出力部７とを有する。【選択図】図１

Description

本発明は、事前情報として入力動画像から人物や動物等の特定の検出対象物の行動を含む定量化した複数種類の数値データを保持し、未知の入力データに対して保持している事前情報との比較によって類似度を推定し、特定動作を判定する特定動作検出装置に関する。

映像から例えば人物の行動を推定するには、ある時刻に撮影された画像から人物の特徴を抽出し、その情報が時間の経過に伴いどのように変化していくかを観察し、その画像特徴の時系列変化と、予め蓄積した特定の動作に関する画像の特徴データとを比較し、その類似度を算出して行動を推定する方法としてＣＨＬＡＣ特徴が知られている（例えば、特許文献１参照）。
このＣＨＬＡＣ特徴は、単純な特徴記述であるだけでなく、シーン中へ侵入する物体の位置に関わらず同じ記述が可能であるし、複数の同時動作に対応する特徴量の和による表現が可能であるため、広く採用されている。

ところで、老人ホームや高齢者施設では、被介護者等の施設居住者が転倒により骨折等の深刻な怪我をする事例が増えてきている。この場合、最も怪我をするのがトイレに行くためにベッドから起き上がって立ち上がる際に発生するとされている。このような怪我を防ぐ対策としてカメラを使用したものは、例えば非特許文献１に開示された技術がある。これは、カメラにより人物を撮像して、その頭部を追跡して３軸方向の加速度の変化から転倒を見分けるものであった。

特開２００６−０７９２７２号公報

C. Rougier, J. Meunier, A. Saint-Arnaud, and J. Rousseau, "Monocular 3D head tracking to detect falls of elderly people," In Proc. of 28th AC. Rougier, J. Meunier, A. Saint-Arnaud, and J. Rousseau, "Monocular 3D head tracking to detect falls of elderly people," In Proc. of 28th Annual International Confer-ence of the IEEE Engineering in Medicine and Biology Society, pp. 6384-6387 , 2006.

しかしながら、ＣＨＬＡＣ特徴はマスクパターンと呼ばれる画像変化の組み合わせを明示的に記述する必要があり、大規模なマスクパターンを実装することが困難であった。
また、非特許文献１の技術は、転倒を検出するアプローチであり、転倒そのものを防止できる技術ではなかった。

そこで、本発明はこのような問題点に鑑み、シーケンシャルなマスクパターンの定義、及び動きと形状の両者の特性を併せ持つ特徴量を周波数領域で比較する手法を用いて、特定の動作を高い精度で検出できる特定動作検出装置を提供することを目的としている。

本発明に係る特定動作検出装置は、撮像映像を連続する画像フレームで出力する撮像手段と、画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、複数の時系列画像フレームに対して求めた輝度勾配の差分を抽出する輝度勾配差分算出部と、輝度勾配差分から動き特徴を抽出するために、抽出した輝度勾配差分情報から時間変化を抽出して輝度勾配差分自己相関特徴を算出する輝度勾配差分自己相関算出部と、算出した輝度勾配差分自己相関特徴を特徴空間からを周波数空間へ変換する周波数変換部と、周波数空間へ変換して得られた特徴ベクトルについて、機械学習による識別処理を実施して類似度を判定する判定部と、判定結果を出力する結果出力部とを有することを特徴とする。
この構成によれば、画像フレーム間の輝度勾配差分を求めて動く物体の輪郭を抽出し、抽出した輝度勾配差分の時間変化から自己相関特徴を算出することで動きの特徴を比較的少ない計算量で算出することができる。そして、算出した特徴量を周波数変換して機械学習による識別処理を行うため、特定の動きを高精度で検出できる。

請求項２の発明は、請求項１に記載の構成において、輝度勾配差分自己相関算出部は、セル位置（ｘ，ｙ）の位置ベクトルをｒ、輝度勾配ヒストグラム差分をｆ（ｒ，ｋ）、変位ベクトルをａ_Ｎ、勾配方向をｋ、自己相関の次数をＮ、係数をα、ガウスカーネルをＧ（・）、Ｃをブロック数とすると、Ｎ次の輝度勾配差分自己相関特徴を次式で算出することを特徴とする。

この構成によれば、ガウスカーネルを用いることで、隣接する勾配方向の強度のみが重みづけされ、勾配方向の異なる勾配で構成されるマスクパターンの影響が低減され、特定の動きの検出精度が向上する。

請求項３の発明は、請求項１又は２に記載の構成において、前記輝度勾配差分自己相関算出部が算出するマスクパターン数は、次数をＮ、マスクパターンを構成するブロックサイズをＨ×Ｗとすると、次式で算出される数であることを特徴とする。

この構成によれば、輝度勾配差分自己相関特徴を算出する際、例えば次数２（Ｎ＝２）とすると、従来は重複パターンを除いても２５１パターンあった組合せを８１パターンに削減でき、演算を簡素化できる。更に、重複パターンを取り除くといった不規則な削減が無くなるため、特徴を抽出し易い。

請求項４の発明は、請求項１乃至３の何れかに記載の構成において、撮像手段が、ベッド上の人物を撮像するカメラであり、事前に特定物体の行動特徴を数値化したデータがベッド上で起床動作する人物のデータを含む人物の動作データであり、判定部がカメラの撮像映像から人物の起床動作を判定することを特徴とする。
この構成によれば、ベッド上の患者の起き上がり動作を判別でき、監視対象者が危険な状態に至る前に介護者等の関係者が認識でき、事故の防止に役立つ。

本発明によれば、画像フレーム間の輝度勾配差分を求めて動く物体の輪郭を抽出し、抽出した輝度勾配差分の時間変化から自己相関特徴を算出することで動きの特徴を比較的少ない計算量で算出することができる。そして、算出した特徴量を周波数変換して機械学習による識別処理を行うため、特定の動きを高精度で検出できる。

本発明に係る特定動作検出装置の一例を示すブロック図である。輝度勾配差分自己相関特徴抽出の概要説明図である。次数２の場合におけるマスクパターン組み合わせ概要を示す説明図である。画像から特定動作を判定する流れを示す概念説明図であり、（ａ）はカメラが撮像した時系列画像フレーム、（ｂ）は個々の画像の輝度勾配ヒストグラム、（ｃ）は輝度勾配の画像フレーム間差分を抽出した図、（ｄ）は算出した輝度勾配差分自己相関特徴を示している。輝度勾配差分自己相関算出部の出力とその周波数変換データを示し、（ａ）は、検出対象である人物の起き上がり動作から算出したデータ、（ｂ）は人物の歩行動作から算出したデータである。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定動作検出装置の一例を示すブロック図であり、１は監視対象を撮像するためのカメラ、２はカメラ１が撮像した映像データから輝度勾配データを算出する輝度勾配算出部、３は輝度勾配の画像フレーム間差分を抽出する輝度勾配差分算出部、４は輝度勾配差分から動きの特徴を抽出するために、抽出した輝度勾配差分情報から時間変化を抽出して勾配強度の自己相関特徴を算出する輝度勾配差分自己相関算出部、５は輝度勾配差分自己相関特徴を周波数変換する周波数変換部、６は周波数変換した輝度勾配差分自己相関特徴と事前に特定物体の各種行動画像から同様に周波数変換した輝度勾配差分自己相関特徴とを比較して類似度を判定する判定部、７は判定結果を出力する結果出力部である。

尚、輝度勾配抽出部２、輝度勾配差分算出部３、輝度勾配差分自己相関算出部４、周波数変換部５、及び判定部６は、所定のプログラムをインストールしたＣＰＵ或いはＤＳＰで一体に構成される。

以下各部の動作を順に説明する。但し、ここで検出する特定の動作は、ベッドに伏している患者等の人物が起き上がる動作であり、監視対象人物の起き上がる動作を検出したら報知する構成について説明する。
カメラ１は図示しないベッド上方であって、ベッド上の人物の少なくとも頭部を良好に撮像できる位置に設置され、例えば０．０３秒毎に画像フレーム（以下、単に「フレーム」と称する。）を生成して出力する。

輝度勾配算出部２は、入力画像をあらかじめ定義したパッチサイズにダウンサンプリングし、各ピクセルの輝度から勾配強度ｍと勾配方向（角度方向）θを次式より算出し、近隣画素でＮ次ヒストグラム（輝度勾配ヒストグラム）を生成する。

数５において、θ（ｘ，ｙ）は角度方向、ｍ（ｘ，ｙ）は勾配強度を表し、ｄｘ（ｘ，ｙ）、ｄｙ（ｘ，ｙ）は次式で表される輝度差である。

数６において、Ｉ（ｘ，ｙ）は，（ｘ，ｙ）座標上の輝度を表している。
続いて、角度方向θをビン数Ｋの勾配ヒストグラムｈ_Ｋ（ｘ，ｙ）に畳み込む。輝度勾配ヒストグラムｈ_ＫはＳ×Ｓピクセル領域内の全ての画素の角度情報θを集計して得られる。
輝度勾配ヒストグラムｈ_Ｋのビンのインデックスをｋとすると、各ビンのスコアｈ_ｋ（ｘ，ｙ）は、次式で表される。

数７において、θ′（ｘ，ｙ）は、角度方向θ（ｘ，ｙ）をｋビンに畳み込んだ値、δ［・］はクロネッカーのデルタであり、仮にｋとθ′（ｘ，ｙ）が等しければ１を返し、それ以外ならば０を返す。

輝度勾配差分算出部３では、時系列で隣接するフレーム間で輝度勾配算出部２によって算出された輝度勾配の差分を抽出することで、輝度勾配の時間変化量を抽出する。ここで、時刻ｔにおける輝度勾配強度ヒストグラムをｈ_ｋ（ｘ，ｙ，ｔ）とおくと、輝度勾配ヒストグラム差分Ｓ_ｋ（ｘ，ｙ）は、次式より得られる。

尚、遅い動きや詳細な動きに対してはフレーム間隔を大きくすることで耐性を持たせることができ、起き上がりを検出する場合では例えば２秒間隔で抽出したフレームに対して演算を実施すると良い。

輝度勾配差分自己相関算出部４では、セルの座標位置、時刻の３次元ベクトルで構成されたマスクパターンに、輝度角度方向の情報を加えた４次元空間上における勾配強度の自己相関を算出して輝度勾配差分自己相関特徴を算出する。
図２は輝度勾配差分自己相関特徴抽出の概要を示している。セルの座標位置はＸＹ平面で定義され、時系列情報はｔ軸で定義される。更に、輝度勾配方向は、セル毎のビン数により定義され、これらの４次元ベクトルを用いて任意の輝度勾配強度が表される。

ここで、マスクパターンの構成について説明する。図２に示すように、マスクパターンはＮ×Ｎ×Ｎセルで定義されたマスクブロック内の３次元ベクトル（ｘ，ｙ，ｔ）から得られるブロックの組み合わせパターンである。
例として、次数２のマスクパターンを考える。なお、ここで用いる次数とはＣＨＬＡＣ特徴の次数と同様であって着目する変位の数であり、着目変位の数が基準点を除いて２点あることを示している。

ＣＨＬＡＣでは、着目する変位の位置（変位点)は、マスクブロックの全てのセルに設定される可能性があるが、本発明の手法では変位点の位置は各フレームで１つに限定する。更に、基準点が設定されたフレームには変位点を設定しない。つまり、計算対象となるセルは常にフレームに１つだけ存在することになる。

図３は、こうした制約を設けた場合の次数２におけるマスクパターン組み合わせの概要を示し、基準フレームとその前後の連続するフレームの局所エリアを示している。図３に示すように、マスクパターンの組み合わせは、起点の置かれたフレーム（ｆｒａｍｅ２）を除いた残りの前後２フレーム（直前のｆｒａｍｅ１及び直後のｆｒａｍｅ３）から各一点ずつを抽出することになり、それぞれのフレームの９セルを組み合わせてマスクパターンが作成される。つまり、次数２の場合、マスクブロック内には８１ (＝９×１×９)のマスクパターンが定義される。
こうして次数Ｎの場合のマスクパターン数を考えると、次式のように表すことができる。ただし、マスクパターンを構成するブロックサイズをＨ×Ｗとしている。

入力画像全体で抽出される輝度勾配差分自己相関特徴の総数は、セル領域サイズに分割した画像に対して、マスクブロックを１セルずつずらして走査したマスクブロック数となる。
１画像にＨ×Ｗ個のセルが存在する場合、１画像あたり（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）個のマスクブロックが得られる。更に勾配方向を組み合わせて（Ｗ−Ｎ＋１）×（Ｗ−Ｎ＋１）×ｋ個の特徴が得られる。ここで、セル位置（ｘ，ｙ）を位置ベクトルｒとし、輝度勾配ヒストグラム差分Ｓ_ｋ（ｘ，ｙ）をｆ（ｒ，ｋ）と置くと、Ｎ次の輝度勾配差分自己相関特徴は次式により得られる。

数１０において、ａ_Ｎは変位ベクトル、ｋ並びにｋ_Ｎは勾配方向、Ｎは自己相関の次数、αは係数、Ｇ（・）はガウスカーネル、そしてＣはマスクブロック数を表す。ガウスカーネルを用いることで隣接する勾配方向の強度のみが重みづけされ、勾配方向の異なる勾配で構成されるマスクパターンの影響が低減される。

周波数変換部５では、算出された輝度勾配差分自己相関の特徴ベクトルについて、特徴空間から周波数空間へ変換する。周波数変換はフーリエ変換により行い、次式により演算される。

数１１において、ｆ（ｘ）は入力信号、ｆ（Ｘ）は出力周波数の振幅、ｘは時間、Ｘは周波数である。

図４は画像から特定動作を判定する上記演算の流れを示す説明図であり、（ａ）はカメラが撮像した時系列画像フレーム、（ｂ）は個々の画像の輝度勾配ヒストグラム、（ｃ）は輝度勾配の画像フレーム間差分を抽出した図、（ｄ）は算出した輝度勾配差分自己相関特徴を示している。
また図５は、輝度勾配差分自己相関を周波数変換したデータの一例を示している。図５（ａ）は、検出対象である起き上がり動作から算出したデータ（Ｐｏｓデータ）であり、（ｂ）は起き上がりではなく歩行動作から算出したデータ（Ｎｅｇデータ）を示している。尚、図示左側データは、輝度勾配差分自己相関算出部４の出力値である。
図５に示すように、起き上がり動作及び歩行動作の何れも周波数特性データから周期性があることを認識できるが、周波数に変換したデータからその特性には大きな違いがあることが見て取れる。本願発明はこの周波数特性の差異から類似度を判定するものである。

判定部６では、人物と背景によってクラス分けされた学習サンプルと、算出した特徴量を用いて学習された強識別器によって構成される。周知のアダブーストによるカスケード型識別器を用いて統計特徴量を算出して類似度を判定する。ここでは、起き上がり動作と、それ以外の動作、例えば歩行・座る・伸び等によってクラス分けされた学習サンプルと特徴量を用いて学習された強識別器によって構成されるアダブーストによるカスケード型識別器を用いて検出し、起き上がり動作であると判定したら、起き上がり検知信号を結果出力部７へ出力する。

結果出力部７では、警報等を報音する報音部、検出した映像を表示する表示部、外部に通報する通報部等を備え、判定部６が出力する起き上がり検知検知信号を受けて報音通知し、カメラ１の撮像映像を表示する。

このように、画像フレーム間の輝度勾配差分を求めて動く物体の輪郭を抽出し、抽出した輝度勾配差分の時間変化から自己相関特徴を算出することで動きの特徴を比較的少ない計算量で算出することができる。そして、算出した特徴量を周波数変換することで、特定の動きを高精度で検出でき、検出精度の向上を図ることができる。
また、輝度勾配差分自己相関特徴を算出する際、例えば次数２（Ｎ＝２）とすると、従来は重複パターンを除いても２５１パターンあった組合せを８１パターンに削減でき、演算を簡素化できる。更に、重複パターンを取り除くといった不規則な削減が無くなるため、特徴を抽出し易い。
そして、ベッド上の患者の起き上がり動作を良好に判別でき、監視対象者が危険な状態に至る前に介護者等の関係者が認識することが可能となり、事故の防止に役立つ。

上記実施形態は、ベッドに伏している人が起き上がる動作を検出する動作に関して説明したが、本発明の特定動作検出装置は、検出する動作を限定するものではない。判定部６において比較する学習サンプルの内容に応じて特定動作を幅広く変更でき、起き上がりの延長線上で考えれば、起床動作は反応せずにベッドから離れようとする動作を検出して通知するよう動作させても良いし、他に転倒やしゃがみ込み動作を検出することも可能である。
また、防犯設備に組み込み不審者を検出したい場合は、学習サンプルとして窓を覗き込む動作の学習サンプルを蓄積させることで、不審者の検出に利用できる。
更に、検出対象を人物に限定しなくとも良く、学習サンプルの内容を変更することにより幅広く動く物体を判別することが可能となる。

１・・カメラ（撮像手段）、２・・輝度勾配算出部、３・・輝度勾配差分算出部、４・・輝度勾配差分自己相関算出部、５・・周波数変換部、６・・判定部、７・・結果出力部。

Claims

撮像映像を連続する画像フレームで出力する撮像手段と、
前記画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、
複数の時系列画像フレームに対して求めた前記輝度勾配の差分を抽出する輝度勾配差分算出部と、
前記輝度勾配差分から動き特徴を抽出するために、抽出した前記輝度勾配差分情報から時間変化を抽出して輝度勾配差分自己相関特徴を算出する輝度勾配差分自己相関算出部と、
算出した輝度勾配差分自己相関特徴を特徴空間から周波数空間へ変換する周波数変換部と、
周波数空間へ変換して得られた特徴ベクトルについて、機械学習による識別処理を実施して類似度を判定する判定部と、
判定結果を出力する結果出力部とを有することを特徴とする特定動作検出装置。
前記輝度勾配差分自己相関算出部は、セル位置（ｘ，ｙ）の位置ベクトルをｒ、輝度勾配ヒストグラム差分をｆ（ｒ，ｋ）、変位ベクトルをａ_Ｎ、勾配方向をｋ、自己相関の次数をＮ、係数をα、ガウスカーネルをＧ（・）、Ｃをブロック数とすると、Ｎ次の輝度勾配差分自己相関特徴を次式で算出することを特徴とする請求項１記載の特定動作検出装置。
前記輝度勾配差分自己相関算出部が算出するマスクパターン数は、次数をＮ、マスクパターンを構成するブロックサイズをＨ×Ｗとすると、次式で算出される数であることを特徴とする請求項１又は２記載の特定動作検出装置。
前記撮像手段が、ベッド上の人物を撮像するカメラであり、事前に特定物体の行動特徴を数値化したデータがベッド上で起床動作する人物のデータを含む人物の動作データであり、前記判定部が前記カメラの撮像映像から人物の起床動作を判定することを特徴とする請求項１乃至３の何れかに記載の特定動作検出装置。