JP2016143071A - 特定動作検出装置 - Google Patents

Abstract

【課題】 画像の見え方が異なる場合でも同一の動作に対しては同一の動作として認識できる特定動作検出装置を提供する。【解決手段】 特定動作検出部２は、カメラ１の撮像映像を連続する時系列の画像フレームで出力する画像生成部２１と、画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部２２と、求めた輝度勾配のフレーム間差分を抽出する輝度勾配差分算出部２３と、抽出した輝度勾配フレーム間差分から動き特徴を抽出するために抽出した輝度勾配差分の時間変化を抽出し、抽出した時間変化のベクトルの畳み込みを実施して自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部２４と、得られた自己相関特徴ベクトルに対して機械学習による識別処理を実施して特定動作との類似度を判定する判定部２５とを有する。【選択図】 図１

Description

本発明は、入力動画像から人物の特定の行動を定量化した数値データを事前情報として保持し、未知の入力データに対して保持している数値データとの比較によって類似度を推定することで特定動作を検出する装置に関する。

病院や高齢者施設等では、患者や要介護者が転倒する事故が多発している。この転倒を未然に防止するために、患者の離床或いは起き上がりを検知する見守りシステムが提案されている。例えば特許文献１では、カメラを用いて見守り対象者の動きを捕捉することで起き上がりや離床を検知するシステムを実現している。
このように映像から人物の行動を推定する方法としてＣＨＬＡＣ特徴が知られている。これは、ある時刻に撮影された画像から人物の特徴を抽出し、その情報が時間の経過に伴いどのように変化していくかを観察し、その画像特徴の時系列変化と、予め蓄積した特定の動作に関する画像の特徴データとを比較し、その類似度を算出して行動を推定する方法であり、この技術を患者の起き上がり検出に適用した文献として例えば特許文献２がある。特許文献２では、画像フレーム間の輝度勾配差分を求めて動く物体の輪郭を把握して起き上がりを検出している。

特開２０１４−９０９１３号公報 特開２０１４−２２９２６６号公報

病院や介護施設において、ベッドに伏している患者等の人物が観察対象である場合、ベッド位置は固定されているとは限らない。特に病院のベッドは移動可能な構造であり、必要な看護機器に応じて、配置が変更されたりする。
しかしながら、カメラの撮像映像から起き上がり動作を検知する上記特許文献２の技術は、ベッド位置或いはカメラ位置が変更されると、画像から得られる出力値が変化するために、動作の検出精度が低下した。例えば、カメラを患者の頭上に設置した映像とベッドサイドに設置した映像とでは、ベッドの見え方は４５度以上の角度差として現れ、これが検出精度の低下の原因となった。

この見え方の変化を図５、図６を参照して説明する。図５はカメラ設置位置を示す説明図、図６は図５のそれぞれの位置のカメラの撮像映像の説明図である。図５において、Ａ〜Ｇはカメラの位置、ＰはベッドＱ上の患者を示している。図５に示すように、カメラを患者頭部近辺に設置した場合、カメラに映るベッドの見え方は図６の（ａ）〜（ｇ）ようになる。尚、図中にはベッドの角度を明示するためにベッド長手方向の中心に対して直線を記載してある。

図６に示すように、ベッドの角度差が大きくなる事で、起き上がり動作の見え方も大きく変化し、この変化に起因して抽出される画像特徴も大きく異なる。例えば、図６（ｇ）のようにベッドが垂直方向に撮影された画像では、起き上がり動作において上半身は直線運動を行う為、画像から輝度勾配を算出すると比較的画面の垂直方向に向きを持つ特徴が抽出される。しかし、図６（ｂ）の場合、起き上がり動作における上半身の動きは、腰を中心として頭を端点とした回転運動を行う為、画像から輝度勾配を抽出すると斜め方向の画像特徴が最も多く抽出される。

図７は輝度勾配差分特徴を示し、図７（ａ）は図６（ｇ）の動画像から算出した輝度勾配差分特徴、図７（ｂ）は図６（ｂ）の動画像から算出した輝度勾配差分特徴である。
この図７に示すように、同じ起き上がり動作でありながら、見え方の変化により異なる輝度勾配が算出されるため、この輝度勾配から算出される自己相関特徴は、異なる特徴ベクトルとして扱われる。つまり、画像水平方向に勾配を持つ物体の動作と画像垂直方向に勾配を持つ物体の動作は、移動方向が同じ場合でも異なる特徴量として区別される。
そして、抽出された特徴量はアダブーストにより特徴ベクトル毎の識別が行われるため、識別結果に大きな影響を与えた。

そこで、本発明はこのような問題点に鑑み、画像の見え方が異なる場合でも同一の動作に対しては同一の動作として認識できる特定動作検出装置を提供することを目的としている。

上記課題を解決する為に、請求項１の発明は、観察対象を撮像するカメラと、カメラの撮像映像から人物の特定の動作を検出する特定動作検出手段と、検出結果を出力する結果出力部とを有する特定動作検出装置であって、特定動作検出手段は、カメラの撮像映像を連続する時系列の画像フレームで出力する画像生成部と、画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、求めた輝度勾配のフレーム間差分である輝度勾配差分を抽出する輝度勾配差分算出部と、抽出した輝度勾配差分から動き特徴を抽出するために、抽出した輝度勾配差分の時間変化を抽出し、抽出した時間変化のベクトルの畳み込みを実施して自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部と、得られた自己相関特徴ベクトルに対して機械学習による識別処理を実施して特定動作との類似度を判定する判定部とを有することを特徴とする。
この構成によれば、観察対象を撮像するカメラの撮像角度が変わることで見え方が異なっても、特徴ベクトルの畳み込み効果によって、大まかな動作カテゴリに集約できるため、観察対象者の特定動作を継続して検出することが可能となる。

請求項２の発明は、請求項１に記載の構成において、抽出した輝度勾配差分の時間変化のベクトルの畳み込みは、次式で実施することを特徴とする。

ここで、ａ_ｎは変位ベクトル、ｋならびにｋ_ｎは勾配方向、Ｎは自己相関の次数、αは係数、Ｇ（・）はガウスカーネル、Ｃはマスクブロック数、ｐは畳み込みの次元数、ｌは畳み込まれた勾配方向である。
この構成によれば、抽出した輝度勾配差分の時間変化のベクトルを畳み込むことで、観察対象の見え方が変わっても特定動作の検出を良好に実施できる。

請求項３の発明は、請求項１又は２に記載の構成において、撮像手段が、ベッド上の人物を撮像するカメラであり、特定動作がベッド上での起き上がり動作する人物のデータを含む人物の動作データであり、判定部がカメラの撮像映像から人物の起き上がり動作を判定することを特徴とする。
この構成によれば、ベッドに伏す人物の見え方が変わっても、人物の起き上がり動作を検出でき、看護師等は見回りを行うことなく観察対象者の起き上がりを認識できる。

本発明によれば、観察対象を撮像するカメラの撮像角度が変わることで見え方が異なっても、特徴ベクトルの畳み込み効果によって、大まかな動作カテゴリに集約できるため、観察対象者の特定動作を継続して検出できる。

本発明に係る特定動作検出装置の一例を示すブロック図である。 輝度勾配差分自己相関特徴算出の概念図である。 次数２のマスクパターンの組み合わせ説明図である。 画像入力から特徴量算出までの概念図であり、（ａ）は画像生成部が生成した時系列画像フレーム、ｂ）は個々の画像の輝度勾配ヒストグラム、ｃ）は輝度勾配の画像フレーム間差分を抽出した図、（ｄ）は算出した輝度勾配差分自己相関特徴を示している。 カメラ位置の説明図である。 図５に示す各カメラ位置における撮像映像の説明図である。 輝度勾配差分特徴を示し、（ａ）は図６（ｇ）の位置のカメラ、（ｂ）は図６（ｂ）の位置のカメラにより同一の動きを撮像した動画像から算出した特徴を示している。 畳み込まれる特徴ベクトルをマスクパターンの形状で示す説明図であり、（ａ）は図７（ａ）の輝度勾配差分特徴から算出された特徴ベクトル、（ｂ）は図７（ｂ）の輝度勾配差分特徴から算出された特徴ベクトルである。 畳み込み処理を行った輝度勾配自己相関特徴の次元数と出力値の関係を示す図である。 従来の輝度勾配自己相関特徴の次元数と出力値の関係を示す図である。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定動作検出装置の一例を示すブロック図であり、１は観察対象を撮像するカメラ、２はカメラ１の撮像映像から人物の特定の動作を検出する特定動作検出部、３は特定動作検出部２の検出結果を出力する結果出力部である。
特定動作検出部２は、画像フレームを時系列に生成して出力する画像生成部２１、画像データから輝度勾配を算出する輝度勾配算出部２２、輝度勾配のフレーム間差分を抽出する輝度勾配差分算出部２３、抽出した輝度勾配差分の時間変化を抽出し、抽出した時間変化のベクトルの畳み込みを実施して自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部２４、機械学習による識別処理を実施して類似度を判定する判定部２５等を備えている。

尚、特定動作検出部２は、所定のプログラムをインストールしたＣＰＵ或いはＤＳＰで一体に構成できるし、結果出力部３を含めてパーソナルコンピュータで構成することも可能である。

次に、各部の具体的な動作を説明する。但し、ここではベッドに伏している患者等の人物が起き上がる動作を特定動作とし、起き上がりを検出したら通知する構成を説明する。
カメラ１は、観察対象のベッド全体を上方から撮像する。取り付け位置は限定しないが、患者の頭部が手前になるように撮像する角度が人物を認識し易く望ましい。

画像生成部２１は、カメラ１が撮像した映像から画像フレームを生成して時系列の一定時間間隔（例えば、３０ｆｐｓ）で出力する。

輝度勾配算出部２２は、画像生成部２１が生成した画像フレームを予め定義したパッチサイズにダウンサンプリングし、個々のピクセルの輝度から勾配強度ｍ、勾配方向（角度方向）θを次式の数３，数４により算出する。

ここで、上記式におけるｄｘ（ｘ、ｙ）及びｄｙ（ｘ、ｙ）は輝度差であり、次式の数５で算出される。

ここで、Ｉ（ｘ，ｙ）は、（ｘ，ｙ）座標上の輝度である。
続いて、角度方向θをビン数Ｋの輝度勾配ヒストグラムｈ_Ｋ（ｘ、ｙ）に畳み込む。輝度勾配ヒストグラムｈ_Ｋ（ｘ，ｙ）は、Ｓ×Ｓピクセル領域内の全ての画素の角度情報θを集計して得られる。
輝度勾配ヒストグラムｈ_Ｋのビンのインデックスをｋとすると、各ビンのスコアｈ_ｋ（ｘ，ｙ）は、次式の数６で表される。

ここで、θ’（ｘ，ｙ）は、角度方向θ（ｘ，ｙ）をＫビンに畳み込んだ値、δ［・］はクロネッカーのデルタを表し、仮にｋとθ’（ｘ，ｙ）が等しければ１を返し、それ以外ならば０を返す。

輝度勾配差分算出部２３は、複数の時系列画像フレームに対して隣接画像間の輝度勾配差分を算出し、輝度勾配の時間変化を抽出する。ここで、時刻ｔにおける輝度勾配強度ヒストグラムをｈ_ｋ（ｘ，ｙ，ｔ）とおくと、輝度勾配ヒストグラム差分Ｓ_ｋ（ｘ，ｙ）は、次式の数７により得られる。

尚、遅い動きや詳細な動きに対しては、フレーム間隔を大きくすることで耐性を持たせることができ、起き上がりを検出する場合は例えば２秒間隔で抽出した画像フレームに対して演算を実施すると良い。

輝度勾配差分自己相関特徴算出部２４は、セルの座標位置、時刻の３次元ベクトルで構成されたマスクパターンに、輝度勾配方向の情報を加えた４次元空間上における勾配強度の自己相関を算出して輝度勾配自己相関特徴を算出する。具体的に、抽出した輝度勾配差分の時間変化を抽出して時間変化のベクトルの畳み込みを行い、自己相関特徴ベクトルを算出する。即ち、輝度勾配差分自己相関特徴を算出する。この結果、動き特徴が抽出される。

ここで、マスクパターンを図２を参照して説明する。図２は、輝度勾配差分自己相関特徴抽出の概念図を示し、セルの座標位置はＸＹ平面で定義され、時系列情報はｔ軸で定義される。更に、輝度勾配方向は、セル毎のビン数により定義され、これらの４次元ベクトルを用いて任意の輝度勾配強度が表される。
マスクパターンは、図２に示すようにＮ×Ｎ×Ｎセルで定義されたマスクブロック内の３次元ベクトル（ｘ，ｙ，ｔ）から得られるブロックの組合せで作成される。なお、図２に示すｒは後述するセルの位置ベクトル、ａ_ｎは変位ベクトルである。
例として、次数２のマスクパターンを考える。次数とはＣＨＬＡＣ特徴の次数同様に着目する変位の数であり、次数２の場合は着目変位の数が基準点を除いて２点あることを示している。

ＣＨＬＡＣでは着目する変位の位置（変位点）は、マスクブロック全てのセルに設定される可能性があるが、本発明の手法では変位点の位置は各フレームで１つに限定する。更に、基準点が設定されたフレームには変位点を設定しない。つまり、計算対象となるセルは常にフレームに１つだけ存在することになる。

図３は、こうした制約を設けた場合の次数２におけるマスクパターン組み合わせの概要を示し、基準フレームとその前後の連続するフレームの局所エリアを示している。図３に示すように、マスクパターンの組合せは、起点の置かれたフレーム（ｆｒａｍｅ２）を除いた残りの前後２フレーム（直前のｆｒａｍｅ１及び直後のｆｒａｍｅ３）から各１点ずつを抽出することになり、それぞれのフレームの９セルを組み合わせてマスクパターンが作成される。つまり、次数２の場合、図３の組み合わせに示すように、マスクブロック内には８１（＝９×１×９）のマスクパターンが定義される。
こうして次数をＮとした場合のマスクパターン数を示すと次式の数８のように表すことができる。但し、マスクパターンを構成するブロックサイズをＨ×Ｗとしている。

入力画像全体で抽出される輝度勾配自己相関特徴の総数は、セル領域サイズに分解した画像に対して、マスクブロックを１セルずつずらして走査したマスクブロック数となる。
１画像にＨ×Ｗ個のセルが存在する場合、１画像あたり（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）個のマスクブロックが得られる。更に、角度方向を組み合わせて（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）×ｋ個の特徴が得られる。ここで、セル位置（ｘ，ｙ）を位置ベクトルｒとし、輝度勾配差分Ｓｋ（ｘ，ｙ）をｆ（ｒ，ｋ）と置くと、ｎ次の自己相関特徴は数９により得られる。

ただし、ａ_ｎ（ｎ＝１〜Ｎ）は変位ベクトル、ｋならびにｋ_ｎは勾配方向、Ｎは自己相関の次数、αは係数、Ｇ（・）はガウスカーネル、そしてＣはマスクブロック数である。更に、ｐは畳み込みの次元数、ｌは畳み込まれた勾配方向を表し、例えば４方向の勾配を２方向に畳み込む場合、ｐは２となる。
ガウスカーネルを用いることで、隣接する勾配方向の強度のみが重み付けされ、角度方向の異なる勾配で構成されるマスクパターンの影響が低減される。更に、畳み込み処理により、見え方の異なる同一動作を大まかな動作カテゴリに集約できる。

図４は時系列を出力される画像フレームから特徴量（輝度勾配の特徴量）算出までの概念図であり、患者の起き上がり動作の検出を具体的に示している。図４（ａ）は画像生成部２１が生成した時系列画像フレーム、図４（ｂ）は個々の画像の輝度勾配ヒストグラム、図４（ｃ）は輝度勾配の画像フレーム間差分を抽出した図、図４（ｄ）は算出した輝度勾配差分自己相関特徴を示している。

上述したように、自己相関特徴ベクトルを算出する際に畳み込み処理が実施される。図８は、畳み込まれる特徴ベクトルの一例をマスクパターンの形状で示し、上記図７に示す特徴抽出画像を基にした特徴ベクトルを示している。図８（ａ）は図７（ａ）の輝度勾配差分特徴から算出された特徴ベクトル、図８（ｂ）は図７（ｂ）の輝度勾配差分特徴から算出された特徴ベクトルである。
微小時間での画素変化を考えた場合に、図７（ａ）のように垂直方向に勾配を多く含む物体から得られる輝度勾配の特徴は図８（ａ）の特徴を示し、図７（ｂ）のように同じ物体の動作を側面からとらえた際の傾斜角を持つ輝度勾配の特徴は図８（ｂ）の特徴を示すが、畳み込み処理はこの二つの特徴量を同一のベクトルとして扱うため、二次元画像の平面的な制約上、同じ動作でありながら見え方の違いで分離された情報であっても、同じ動作の情報として統合される。

ここで、畳み込み処理の有無による輝度勾配自己相関特徴の次元数の変化の一例を示す。図９は畳み込み処理を行った図７（ａ），（ｂ）に対する輝度勾配自己相関特徴の次元数の出力値を示し、図１０は畳み込みを実施しない従来手法による図７（ａ），（ｂ）に対する輝度勾配自己相関特徴の次元数の出力値を示している。Ｂ１は図７（ａ）の出力値、Ｂ２は図７（ｂ）の出力値である。
図９に示すように、図７（ａ）と図７（ｂ）とで異なる輝度勾配であっても、畳み込み処理を実施することで、次元数が削減されて１つの動作は同一ベクトルとして扱われる。例えば、畳み込むことで出力次元数が３２４次元から８１次元に削減される。
一方、図１０に示すように、畳み込みを実施しない輝度勾配自己相関特徴は次元数は削減されず、図７（ａ）と図７（ｂ）の特徴量は異なるベクトルとして扱われる。即ち、同じ撮像対象の動きでも、見え方が異なると異なる動作として認識されてしまう。

判定部２５は、人物と背景によってクラス分けされた学習サンプルと算出された特徴量を用いて学習された強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて類似度を判定し、特定の動作を検出する。ここでは、起き上がり動作とそれ以外の動作、例えば歩行、座る等によってクラス分けされた学習サンプルと特徴量を用いて学習された強識別器によって構成されるアダブーストによるカスケード型識別器を用いて起き上がり動作を検出し、起き上がり動作であると判定したら起き上がり検知信号を結果出力部３へ出力する。

結果出力部３は、警報等を発報する報音部、検出した映像を表示する表示部、外部に通報する通報部等を備え、判定部２５が出力する起き上がり検知信号を受けて報音通知し、合わせてカメラ１の撮像映像を表示する。

このように、ベッドに伏す人物の見え方が変わっても、人物の起き上がり動作を引き続き検出でき、看護師等は個々の患者を見回ることなく観察対象者の起き上がり動作が発生したらそれを認識でき、速やかな対応が可能となる。
そして、抽出した輝度勾配差分の時間変化のベクトルを畳み込むことで、観察対象である患者の見え方が変わっても特定動作の検出を良好に実施できる。

上記実施形態は、ベッドに伏している人物が起き上がる動作を検出する流れを説明したが、本発明の特定動作検出装置は、検出する動作を限定するものではない。判定部２５において、比較する学習サンプルの内容に応じて特定動作を幅広く変更でき、起き上がりの延長線上で考えれば、起き上がり動作は反応せずにベッドから離れようとする動作を検出して通知するよう動作させても良いし、他にも転倒やしゃがみ込み動作を検出することも可能であり、観察対象を撮像するカメラ１の撮像角度が変わることで見え方が異なっても、特徴ベクトルの畳み込み効果によって大まかな動作カテゴリに集約できるため、特定動作の検出を継続して実施することが可能となる。
また、学習サンプルとして窓を覗き込む動作を蓄積すれば、防犯設備等に組み込んで不審者を検出することも可能である。

１・・カメラ、２・・特定動作検出部（特定動作検出手段）、３・・結果出力部、２１・・画像生成部、２２・・輝度勾配算出部、２３・・輝度勾配差分算出部、２４・・輝度勾配差分自己相関特徴算出部、２５・・判定部。

Claims (3)

1. 観察対象を撮像するカメラと、カメラの撮像映像から人物の特定の動作を検出する特定動作検出手段と、検出結果を出力する結果出力部とを有する特定動作検出装置であって、
   前記特定動作検出手段は、前記カメラの撮像映像を連続する時系列の画像フレームで出力する画像生成部と、
   前記画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、
   求めた前記輝度勾配のフレーム間差分である輝度勾配差分を抽出する輝度勾配差分算出部と、
   抽出した前記輝度勾配差分から動き特徴を抽出するために、抽出した前記輝度勾配差分の時間変化を抽出し、抽出した時間変化のベクトルの畳み込みを実施して自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部と、
   得られた自己相関特徴ベクトルに対して機械学習による識別処理を実施して特定動作との類似度を判定する判定部とを有することを特徴とする特定動作検出装置。
2. 前記抽出した輝度勾配差分の時間変化のベクトルの畳み込みは、次式で実施することを特徴とする請求項１記載の特定動作検出装置。
   

   

   ここで、ａ_ｎは変位ベクトル、ｋならびにｋ_ｎは勾配方向、Ｎは自己相関の次数、
   αは係数、Ｇ（・）はガウスカーネル、Ｃはマスクブロック数、ｐは畳み込みの次元数、ｌは畳み込まれた勾配方向である。
3. 前記撮像手段が、ベッド上の人物を撮像するカメラであり、前記特定動作がベッド上での起き上がり動作する人物のデータを含む人物の動作データであり、前記判定部が前記カメラの撮像映像から人物の起き上がり動作を判定することを特徴とする請求項１又は２記載の特定動作検出装置。

Images