JP2013206069A

JP2013206069A - 被写体見守りシステム

Info

Publication number: JP2013206069A
Application number: JP2012073650A
Authority: JP
Inventors: Eijiro Adachi; 栄治郎安達; Junichi Mizusawa; 純一水澤; Naofumi Kitsunezaki; 直文狐崎
Original assignee: Kitasato Institute
Current assignee: Kitasato Institute
Priority date: 2012-03-28
Filing date: 2012-03-28
Publication date: 2013-10-07
Anticipated expiration: 2032-03-28
Also published as: JP6086468B2

Abstract

【課題】高齢者の日常の動作を読み取り，異常状態を容易に検知することは可能なスケルトントラッキングを適応した被写体見守りシステムを提供する。
【解決手段】被写体の撮像画像データと，仮想三次元空間画像における前記被写体のスケルトン（骨格）情報，及び前記仮想三次元空間画像の各画素のＺ軸方向の大きさである深度情報を生成する深度情報付き撮像装置と，前記深度情報付き撮像装置で生成される前記スケルトン（骨格）情報，及び深度情報に基づき，それぞれ前記被写体の行動パターン，及び前記被写体の形態を求める情報処理装置を有し，前記情報処理装置は，前記被写体の行動パターン，及び前記被写体の形態に基づき，前記被写体の生活パターンを判定し，更に前記判定される生活パターンが緊急性を有する場合に，対応の予め設定されている通知先に通報する。
【選択図】図１

Description

本発明は，在宅高齢者又は，介護施設個室内に居住する高齢者等の日常動作を見守る，スケルトントラッキングを適応した被写体見守りシステムに関する。

近年，一人暮らしの高齢者は，統計によると全国で５００万人に上っている。さらにその数は，増加の一途をたどっている。

このような在宅高齢者あるいは，介護施設個室内に居住する高齢者の状態を見守り，異常状態を早期に把握した適切な対応を可能とすることが望まれている。

かかる要望に対する想定されるシステムとして，モニタにより高齢者の撮像画像を監視することである。

また，体温や湿度など所定のセンサを使用して，高齢者の異常を監視するシステムが提案されている(特許文献１)。特許文献１に記載のシステムは，トイレ内に赤外線センサを設け，高齢者のトイレ使用時に，トイレにいる時間等から異常を検知して通知するものである。

さらに，高齢者の異常を監視するシステムの他の技術として，加速度及び傾斜センサを内蔵した特殊な杖を使用するシステムが提案されている（特許文献２）。この特許文献２に記載のシステムは，杖の状態をセンサにより検知して，この杖を保持する高齢者の異常を監視するものである。

特開２０００−２８５３４５号公報特開２００６−８５６０９号公報

上記したようにモニタにより高齢者の撮像画像を監視するシステムにあっては，常時モニタ画像を監視することが必要であり，多くの高齢者に対応して常時モニタ画像の監視を行うことは，多くの監視者が必要となり現実的でない。

また，特許文献１に記載のシステムにあっては，トイレという特定の狭い空間における高齢者の存否の時間に基づく監視であり，高齢者がどのような姿勢になっているか，即ちいかなる緊急状態であるかの情報を得ることはできない。

さらに，特許文献２に記載のシステムにあっては，特殊な杖を高齢者に保持させることが必須である。

よって，かかる従来の技術に鑑みて，本発明の目的は，特殊なデバイスを装着することなく高齢者の日常の動作を読み取り，異常状態を容易に検知することを可能とする被写体見守りシステムを提供することにある。

上記課題を達成する本発明に従う被写体見守りシステムの第１の側面は，
被写体の撮像画像データと，仮想三次元空間画像における前記被写体のスケルトン（骨格）モデル情報，及び前記仮想三次元空間画像の各画素のＺ軸方向の大きさである深度情報を生成する深度情報付き撮像装置と，前記深度情報付き撮像装置で生成される前記スケルトン（骨格）モデル情報，及び深度情報に基づき，それぞれ前記被写体の行動パターン，及び前記被写体の形態を求める情報処理（スケルトントラッキングと言う）する装置を有し，前記情報処理装置は，前記被写体の行動パターン，及び前記被写体の形態に基づき，前記被写体の生活パターンを判定し，更に前記判定される生活パターンが緊急性を有する場合に，対応の予め設定されている通知先に通報する。

上記第１の側面における好ましい態様は，第一の態様として，前記深度情報付き撮像装置を複数台有し，前記情報処理装置は，前記複数の深度情報付き撮像装置のそれぞれから受信される撮影画像データ，画像のピクセル対応の深度情報と，被写体のスケルトン（骨格）モデル情報をスキャン操作して，前記複数の深度情報付き撮像装置のそれぞれに対し，順次に前記被写体の生活パターンを判定する。

上記第１の側面における好ましい態様は，第二の態様として，前記スケルトン（骨格）モデル情報は，前記スケルトン（骨格）モデルを構成する人体を構成する体幹，上下肢の構成要素（バーで表現）と各構成要素を接続する接続部（●で表現）で構成され，前記接続部に前記仮想三次元空間の三次元座標が特定されることを特徴とする被写体見守りシステム。

上記第１の側面における好ましい態様は，第三の態様として，前記情報処理装置は，前記スケルトン（骨格）モデルを構成する複数の構成要素と接続部の位置の変化を複数のフレームで判定し，前記構成要素の位置変化を，予めパターン分けした基準データと比較して，前記被写体の対応する行動パターンを特定する。

上記第１の側面における好ましい態様は，第四の態様として，前記情報処理装置は，前記画像のピクセル対応の深度情報の変化を複数のフレームで判定し，前記深度情報の変化分が発生した画素で囲まれる領域の形状と大きさが前記被写体に該当する場合，前記画素で囲まれる領域の形状を予め設定されている形状モデルと対比して，前記被写体の形態を特定する。

第１の側面によれば，高齢者の生活パターンから危険度を判定して，自動的に通知を行うことが可能であり，これにより介護，医療機関による迅速な対応が可能になる。

本発明に従うスケルトントラッキングを適応した被写体見守りシステムの一実施例概念図である。深度情報付撮像装置１の概念構成ブロック図を示す図である。スケルトン（骨格）モデルの一例を示す図である。図１に示す構成の情報処理装置２により実行される処理フローである。スケルトン（骨格）モデル情報解析処理（ステップＳ２）の詳細を示す処理フローである。深度情報解析処理（ステップＳ３）の詳細処理フローである。データベース２６に格納されている形状のモデル例を示す図である。被写体見守りシステムの他の実施例概念図である。

以下図面に従い，本発明の実施例を説明する。

図１は，本発明に従う被写体見守りシステムの一実施例概念図である。

被写体見守りシステムの基本的構成は，高齢者などの一人の被写体３に対応して一又は複数台の深度情報付撮像装置１（１ａ，１ｂ）有する。一台の深度情報付撮像装置１は，観察範囲が例えば，０．５〜４ｍ程度であると，一の居住空間であっても，被写体３の移動範囲を考慮して複数台が設けることが必要となる。また，異なる居住空間に移動する場合，例えば，居間から寝室，トイレへ移動する等考慮すると，それぞれの居住空間に対応して深度情報付撮像装置１を複数台設けることが望ましい。

被写体見守りシステムは，更に深度情報付撮像装置１の出力情報を解析する情報処理装置２を有して構成される。

深度情報付撮像装置１は，一定周期(フレーム毎)に深度情報付撮像装置１を識別する情報とともに，撮影画像と，撮影画像の各ピクセルにおける深度情報（Ｚ方向の大きさ）と，被写体，ここでは被写体３のスケルトン（骨格）モデル情報を出力する。深度情報は、深度情報付撮像装置1の撮像面の法線方向の距離をあらわし、スケルトン（骨格）モデル情報は、深度情報から推定して得られる三次元の情報であり、推定情報であるという意味で仮想三次元空間上の情報である。

かかる出力情報を生成する既存装置の一例として，米国Ｍicrosoft Corporationのゲーム端末Xbox 360（登録商標）に使用される入力端末機器であるKinect(登録商標）を用いることができる。

情報処理装置２は，一般的なパーソナルコンピュータ相当の機能を有する処理装置である。主処理部として，ＣＰＵ２０を有する。ＣＰＵ２０は，ＨＤＤ等の記憶装置２１に格納されるＯＳ（オペレーションシステム）に基づき，本発明に対応するプログラム（同様に記憶装置２１に格納されている）を実行する。

先の深度情報付撮像装置１からの一定周期(フレーム毎)の撮影画像データと，画像のピクセル対応の深度情報と，被写体のスケルトン（骨格）モデル情報を，インタフェース２２を通して入力する。その際，情報処理装置２は，先に説明した深度情報付撮像装置１を識別する情報により，複数の深度情報付撮像装置１（１ａ，１ｂ）のいずれからの情報であるかを特定できる。

情報処理装置２は，入力された撮影画像及びスケルトン（骨格）モデル情報をビデオ信号に変換して，ビデオメモリ２３に描画し，ディスプレイ２４に表示する。深度情報とスケルトン（骨格）モデル情報は，同時にＲＡＭ２５に保存される。

図２は，一定周期(フレーム毎)に撮影画像と，画像のピクセル対応の深度情報と，被写体の骨格モデル情報を出力する上記米国Ｍicrosoft Corporationの端末装置Kinect(登録商標）に類似の深度情報付撮像装置１の概念構成ブロック図を示す図である。

図２において，撮像カメラ１０は，被写体３を含む所定範囲の像を撮像する撮像部である。制御部１３の制御により赤外線放射部１１より赤外線を放射し，被写体３から反射される赤外線を赤外線検知部１２で検知する。撮像カメラ１０からの撮像画像データ，及び赤外線検知部１２で検知する反射赤外線は，制御部１３に入力される。

制御部１３は，メモリ１４に格納される制御プログラムを実行することにより，撮像カメラ１０からの撮像画像データ，及び赤外線検知部１２で検知される反射赤外線に基づき，仮想の三次元空間を生成し，一定周期(一フレーム)毎に撮像画角内で仮想三次元空間画像の各ピクセル対応に，距離(深度)情報（Ｚ軸方向の大きさ）を生成する。さらに，深度情報から撮像画角に対応する仮想三次元空間における被写体像を所定のスケルトン（骨格）モデルに当てはめたスケルトン（骨格）情報を生成する。

図３は，かかるスケルトン（骨格）モデルの一例を示す図であり，複数の構成要素と接続部で表されている。すなわち，人体を構成する体幹，上肢を概念する構成要素をバー２９，３０等で表し，構成要素であるバー２９，３０等を接続する黒丸の接続部３１を関節などに概念して表している。

例えば，構成要素として，バー２９，３０は，それぞれ前腕部と上腕部に対応付けし，接続部３１は，バー２９，３０即ち，前腕部と上腕部を繋ぐ関節（肘関節）に対応付けされている。

そして，被写体の大きさに対応して，接続部３１間のバー２９，３０等の長さが変えられスケルトン（骨格）が特定される。

それぞれの接続部３１は，仮想３次元空間における三次元座標（X,Y,Z）を有し，被写体が動くとそれぞれの接続部３１の三次元座標（X,Y,Z）が変更される。同時に，それぞれの構成要素（前腕部に対応するバー２９，上腕部に対応するバー３０等）は特定された長さを有し，両端の接続部３１の三次元座標（X,Y,Z）の変化に対応して，仮想３次元空間における構成要素の位置及び角度が変化する。

図４は，かかる図１に示す構成の情報処理装置２により実行される処理フローである。

まず，深度情報付撮像装置１で生成され，インタフェース２２を通してＲＡＭ２５に一旦保持された深度情報とスケルトン（骨格）情報を一フレーム毎に取得する（ステップＳ１）。次いで，得られたスケルトン（骨格）情報に基づき，スケルトン（骨格）情報解析処理を行う（ステップＳ２）。

図５は，スケルトン（骨格）情報解析処理（ステップＳ２）の詳細を示す処理フローである。図５において，所定の仮想３次元空間画像範囲内に骨格情報が存在しているかを判定する（ステップＳ２１）。骨格情報は，骨格モデルを構成する各骨部３０を特定する識別子と，対応する接続部３１の三次元座標情報を含んでいる。したがって，ＣＰＵ２０は，プログラムに従って，各バーを特定する識別子の有無により，画像範囲内にスケルトン（骨格）情報が存在するか否かを判定できる。

当該フレームにおいて，スケルトン（骨格）情報が存在していなければ（ステップＳ２１，Ｎｏ），次のフレーム（ステップＳ２２）に移行する。

画像範囲内にスケルトン（骨格）情報が存在する場合は（ステップＳ２１，Ｙｅｓ），前の複数フレームのスケルトン（骨格）構成要素（バー２９，３０等）の３次元位置座標と比較して位置変化を全てのスケルトン構成要素について求める（ステップＳ２３）。

次いで，求められた全てのスケルトン構成要素各部の位置変化を予めパターン分けした基準データ（スケルトン（骨格）動作判定基準データ）と比較して状態判定を行う（ステップＳ２４）。ここで，スケルトン（骨格）動作判定基準データは，データベース２６（図１）に予め保存されている。

かかるスケルトン（骨格）動作判定基準データは，就寝中、ベッド起床動作中、ベッド着座中、ベッド立上中、歩行中、静止中、椅子着座中、椅子立上中、床着座中、床立上中、床横臥中に対応してスケルトン（骨格）モデルを構成する複数のスケルトン（骨部）構成要素（バー２９，３０等）の位置変化が設定されているデータである。

したがって，上記の求められた全てのスケルトン（骨部）構成要素の位置変化を，スケルトン（骨部）動作判定基準データと比較して，近似する被写体の行動パターン，即ち，就寝中、ベッド起床動作中、ベッド着座中、ベッド立上中、歩行中、静止中、椅子着座中、椅子立上中、床着座中、床立上中、床横臥中のいずれの行動パターンが対応するかの判定を行う。

このように判定された被写体の行動パターンを，被写体の行動パターンとしてデータベース２６に記録する（ステップＳ２５）。

次に，図４に戻り，情報処理装置２は，深度情報解析処理を実行する（ステップＳ３）。

図６は，深度情報解析処理（ステップＳ３）の詳細処理フローである。図６において，所定の仮想３次元空間画像範囲内に各画素対応の深度情報（三次元座標のＺ方向の値）の有無を判定する（ステップＳ３１）。深度情報が無ければ（ステップＳ３１，Ｎｏ），次のフレーム処理に移行する（ステップＳ３２）。

画像範囲内に各画素対応の深度情報があれば（ステップＳ３１，Ｙｅｓ），前の複数フレームの深度情報と比較して深度情報の変化分を求める（ステップＳ３３）。

この深度情報の変化分が発生した画素で囲まれる領域（画像の範囲）の形状と大きさを計算する（ステップＳ３４）。そして，深度情報が変化した形状と大きさが，人物の大きさに該当するかどうかを判定する（ステップＳ３５）。

深度情報が変化した形状と大きさが，人物の大きさに該当する場合は（ステップＳ３５，Ｙｅｓ），データベース２６に格納されている形状と比較して近似する形状を判定する（ステップＳ３６）。次いで，判定した形状をデータベース２６に記録する（ステップＳ３７）。

図７は，データベース２６に格納されている形状のモデル例である。モデル形状として，（１）Ｉ，（２）一，（３）Ｘ，（４）○の４つのモデル例であり，それぞれのモデル例は，対応して下部に示される被写体の形態を模擬している。

即ち，（１）Ｉの状態は，ほぼ直立の立居の状態であるが，手足の動きの少ない状態である。（２）一の状態は，横になっている状態である。（３）Ｘは，立居での状態で且つ手足の動きの大きい状態を示している。（４）○は，床に腹ばいもしくは，手をついている状態である。

このように，データベース２６に格納されている形状のモデル例と比較して判定された被写体の形状がデータベース２６に記録される（ステップＳ３７）。

次いで，次のフレームについて，同様の処理が行われる。

さらに，図４に戻り，スケルトン（骨格）情報解析処理（ステップＳ２）と深度情報解析処理（ステップＳ３）の後に，高齢者生活パターン判定処理（ステップＳ４）を実行する。

高齢者生活パターン判定処理（ステップＳ４）においては，先に１フレーム毎のスケルトン（骨格）情報解析（ステップＳ２）と深度情報解析処理（ステップＳ３）によりデータベース２６に格納された被写体の行動パターンと被写体の形状の組合せに基づき，被写体（高齢者）の転倒（歩行中の転倒，ベット立上がり中の転倒，椅子からの転倒），高齢者の意識障害（床に横たわって一定時間動きがない，椅子に座って一定時間動きがない）を判定することができる。

このように判定された高齢者生活パターン判定について，緊急通知を必要とする生活パターンが発生したかを判定する（ステップＳ５）。即ち，上記のような高齢者の転倒あるいは，一定期間動きのない意識障害状態である場合は，緊急の対応部署への通知が必要である。

この時は，図１において，情報処理装置２の音源処理部２７を通して，スピーカ２８でアラーム音を鳴らし監視者に警告する。同時に，通信機能部２９により，予め登録されている通知先にメール手段，電話通信手段により連絡を行う（ステップＳ６）。

図８は，被写体見守りシステムの他の実施例概念図である。

図１の実施例構成においては，深度情報付撮像装置１と，深度情報付撮像装置１の出力情報を解析する情報処理装置２が１対１の関係にある場合であるが，情報処理装置２の機能を高め，センターに置かれる情報処理装置１００とすることができる。

これにより，かかるセンターに置かれる情報処理装置１００は，それぞれ一の高齢者に対応する複数の深度情報付撮像装置１からの撮影画像データ，画像のピクセル対応の深度情報と，被写体のスケルトン（骨格）モデル情報を有線もしくは無線通信回線を通して受信する。

そして，情報処理装置１００は，複数の深度情報付撮像装置１１，１２…１ｎから受信される情報をＲＡＭ１２５に保持し，ＣＰＵ１１０により順次ＲＡＭ１２５の内容をスキャン操作して上記した図４−図６に従う処理を行う。これにより地域毎，あるいは高齢者施設毎に複数の高齢者の見守りを行うことが可能である。

ここで，深度情報付撮像装置１から得られる情報の一部即ち，被写体の撮影画像，データベース２６（１２６）に格納したスケルトン（骨格）パターン，生活パターンのそれぞれを個別に提供するサービスを要求するクライアントがある場合が想定できる。かかる場合は，外部からインターネット等のネットワークを通してアクセスがあると，セキュリティチェックにより正当と認められる場合は，当該要求クライアントに対し対応する要求サービスを提供する機能を設けることに可能である。

１（１ａ，１ｂ）深度情報付き撮像装置
２情報処理装置
２０ＣＰＵ
２１記憶装置
２２インタフェース
２６データベース
３被写体
２９，３０バー
３１接続部

Claims

被写体の撮像画像データと，前記撮像画像データの各画素の深度情報と、仮想三次元空間画像における前記被写体のスケルトン（骨格）情報とを生成する深度情報付き撮像装置と，
前記深度情報付き撮像装置で生成される前記スケルトン（骨格）情報，及び深度情報に基づき，それぞれ前記被写体の行動パターン，及び前記被写体の形態を求める情報処理装置を有し，
前記情報処理装置は，前記被写体の行動パターン，及び前記被写体の形態に基づき，前記被写体の生活パターンを判定し，更に前記判定される生活パターンが緊急性を有する場合に，対応の予め設定されている通知先に通報する，
ことを特徴とする被写体見守りシステム。
請求項１において，
前記深度情報付き撮像装置を複数台有し，
前記情報処理装置は，前記複数の深度情報付き撮像装置のそれぞれから受信される撮影画像データ，画像のピクセル対応の深度情報と，被写体のスケルトン（骨格）モデル情報をスキャン操作して，前記複数の深度情報付き撮像装置のそれぞれに対し，順次に前記被写体の生活パターンを判定する，
ことを特徴とする被写体見守りシステム。
請求項１又は２において，
前記スケルトン（骨格）情報は，前記スケルトン（骨格）を構成する人体を構成する体幹，上下肢の構成要素と各構成要素を接続する接続部で構成され，前記接続部に前記仮想三次元空間の三次元座標が特定されることを特徴とするスケルトントラッキングを適応した被写体見守りシステム。
請求項３において，
前記情報処理装置は，前記スケルトン（骨格）を構成する複数の構成要素と接続部の位置の変化を複数のフレームで判定し，前記構成要素の位置変化を，予めパターン分けした基準データと比較して，前記被写体の対応する行動パターンを特定する，
ことを特徴とするスケルトントラッキングを適応した被写体見守りシステム。
請求項１又は２において，
前記情報処理装置は，前記画像のピクセル対応の深度情報の変化を複数のフレームで判定し，前記深度情報の変化分が発生した画素で囲まれる領域の形状と大きさが前記被写体に該当する場合，前記画素で囲まれる領域の形状を予め設定されている形状モデルと対比して，前記被写体の形態を特定する，
ことを特徴とする被写体見守りシステム。