JP2020034960A - 被監視者の姿勢検知装置 - Google Patents

Abstract

【課題】 撮像装置で得られた画像に基づいて、画像メモリ等の記憶装置を大型化することなく、被監視者における所定の姿勢を精度良く検知できる被監視者の姿勢検知装置を提供する。【解決手段】 本発明の被監視者の姿勢検知装置は、被監視者を監視する撮像領域の画像を取得する撮像装置１０と、撮像装置１０で撮像した画像データから被監視者の骨格情報を抽出する骨格情報抽出部２２と、骨格情報からなる姿勢情報サンプルを格納する骨格情報サンプル記憶部２６ｃと、骨格情報抽出部２２で抽出した人間の骨格情報と骨格情報サンプル記憶部２６ｃに格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する姿勢検出部２３と、この姿勢検出部２３で検出した姿勢に基づいて転倒、転落の有無を判定する姿勢判定部２４と、を備える。【選択図】 図５

Description

本発明は、被監視者の姿勢検知装置に関するものであり、特に、撮像装置で得られた画像に基づいて、被監視者の姿勢を検知し、被検者の転倒・転落の有無を検出することができる被監視者の姿勢検知装置に関するものである。

衛生環境の改善、医療水準の向上等によって、高齢化社会になっている。このような高齢化社会にでは、病気や怪我や高齢等による看護や介護を必要とする用看護者や要介護者は増加することが予想される。

要看護者や要介護者は、病院や老人福祉施設等の施設に入所して、その看護や介護を受けることになる。このような施設では、要看護者や要介護者（以下、要介護者等という。）が、例えば、ベッドからの転落や転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりするなどの事態が生じる。このような事態に対して、速やかに対応する必要がある。また、このような事態を放置しておけば、さらに重大な事態に発展する可能性がある。このため、前記施設では、看護師や介護士（以下、看護師等という。）等は、定期的に巡回することによって、その安否や様子を確認している。

しかしながら、要看護者等の増加数に対して看護師等の増加数が追いつかず、病院や老人福祉施設等では、慢性的に人手不足になっている。さらに、日勤の時間帯に比べ、夜勤の時間帯では、看護師等の人数が減るため、一人当たりの業務負荷が増大される。このため、業務負荷の軽減が望まれている。

人手不足の対応や看護師等の業務負荷を軽減するため、看護業務や介護業務を補完する装置が求められている。そこで、近年では、要介護者等の被監視者を監視する被監視者監視技術が開発されている。

例えば、特許文献１には、被監視者における所定の行動を精度良く検知できる行動検知装置が開示されている。この特許文献１に開示された行動検知装置は、撮像対象を俯瞰した前記撮像対象の画像を取得する画像取得部と、前記撮像対象の画像から人体における、異なる第１部位の頭部及び第２部位の本体部位をそれぞれ抽出する第１部位抽出部及び第２部位抽出部と、被監視者における所定の行動を検知するための、異なる第１行動アルゴリズム及び第２行動検知アルゴリズムをそれぞれ用いることのよって、前記第１部位及び第２部位それぞれに基づいて前記所定の行動をそれぞれ判定する第１行動判定部及び第２行動判定部と、第１行動判定部の第１判定結果及び第２行動判定部の第２判定結果の少なくとも一方に基づいて前記所定の行動を最終的に判定する最終判定部とを備えている。

上記した行動検知装置は、居室全体を撮像対象とし、撮像対象を俯瞰した画像を画像取得部で取得し、撮像対象の画像から第１部位抽出部が一般化ハフ変換やテンプレートマッチングなどの画像処理技術を用いて第１部位の頭部を抽出する。所定の行動、即ち、転倒及び転落の行動を第１行動判定部が判定する。この判定は頭部の大きさに基づいて転倒の有無及び転落の有無を判定する第１行動アルゴリズムを用いて行われる。所在空間の上方から撮像した画像では、頭部の大きさは被監視者の姿勢等に応じて変化するので、頭部の大きさに基づいて転倒の有無、転落の有無を判定している。転倒は、被監視者が立位姿勢及び座位姿勢から床面上等の横臥姿勢への変化である。第１行動判定部は、立位姿勢及び座位姿勢における頭部の大きさと床面上等の横臥姿勢における頭部の大きさとを区別することにより、転倒の有無を判定している。

転落は、被監視者が鉛直方向に沿った高い位置から低い位置への落下である。第１行動判定部は、高い位置における頭部の大きさと低い位置における頭部の大きさを区別し、転落の有無を判定している。

第２部位抽出部は、撮像対象の画像から動体領域を本体部位として抽出する。第２行動判定部は、第２行動アルゴリズムを用いることによって、抽出した本体部位の形状及びその位置に基づいて転倒の有無及び転落の有無をそれぞれ判定する。第２行動判定部は、抽出された本体部位の位置及び形状を求め抽出された本体部位の位置が床の領域内であって、その形状が略矩形形状である場合には、転倒有りと判定し、抽出された本体部位が寝具の周辺領域内であって、その形状が略矩形状態である場合には、転落有りと判定し、抽出された本体部位が寝具の領域内である場合には、転倒及び転落無しと判定している。

最終判定部は、第１行動判定部の第１判定結果が転倒または転落有りの判定結果の場合には、転倒または転落有りの判定を行い、転倒または転落の通知を行う。そして、第１行動判定部の第１判定結果が転倒または転落無しの判定結果の場合には、最終判定部は、第２行動判定部の第２判定結果に基づく転倒または転落の判定を行い、より確実に転倒または転落有りの判定を行っている。

特開２０１７−９１５５２号公報

上記した特許文献１に記載の行動検知装置は、撮像画像から例えば、テンプレートマッチングを用いた画像処理で第１の部位である頭部を抽出する。この場合には、参照とするテンプレートの量がある程度、多くなければ、正確な頭部の抽出ができない。このため、テンプレートなどを記憶するために、記憶容量が大きな記憶装置が必要となる。また、検証するテンプレートが多くなればなるほど演算処理が多くなる。そのため、処理速度の速いＣＰＵ等の演算処理装置が必要となる。

また、頭部の大きさにより、転倒、転落を判定するので、正確な頭部の大きさの抽出ができないと判定結果が誤ってしまうことになる。第１行動判定部で転落、転倒が無いと判断された場合には、第２行動判定部で転落、転倒の判断を行って、転落、転倒の行動があるかをさらに判定し、転倒、転落を確実に判定できるようにしている。しかし、実際に転倒、転落がない場合に、第１行動判定部で転倒、転落があるとの誤判定が行われると、その都度、要介護者等が病室等に駆けつける必要があるなどの問題がある。

また、特許文献１の行動検知装置においては、病室などの全体を撮像しているため、転倒、転落の判定に必要でない領域も撮像することになり、撮像する画像データも無駄な領域のものも多く、不必要に画像メモリ等の記憶装置の記憶容量が大きくなものを用いることになっていた。また、プライバシー保護の観点からも被監視者自体を認識できる画像データや不必要な部分の画像データを記憶していることは好ましくない。

本発明は、撮像装置で得られた画像に基づいて、画像メモリ等の記憶装置を大型化することなく、被監視者における所定の姿勢を精度良く検知できる被監視者の姿勢検知装置を提供することを課題とする。さらに、本発明は、被監視者のプライバシーをできるだけ保護して被監視者の姿勢を検知すること課題とする。

本発明者は、要介護者等の被監視者の転倒、転落の状態がどのように発生するかを検討したところ、ベッド等に被監視者が居る場合は転倒、転落は発生していない。転倒、転落は、ベッド以外の床で発生する。従って、ベッド上の被監視者を撮像しなくても、ベッド周辺の床の上に居る被監視者の姿勢の状態を観察すれば、転倒、転落を検出することが可能になるのではないかと考えた。そこで、ベッドから被監視者が下りる、または転落する可能性がある床上を俯瞰して撮像し、その撮像で得られた画像に基づいて、要介護者等の姿勢を検知して、転倒、転落の発生の有無を検出することをできることが分かった。

すなわち、転倒、転落する際の被監視者の姿勢を予め登録し、撮像で得られた画像に基づいて、検知した被監視者の姿勢と登録した姿勢とを比較することにより、転落、転倒の発生の有無を検出することができることが分かった。このことから、撮像する領域は、室内全体を撮像する場合に比べてベッドの周辺と要介護者等が移動する領域に限定でき、撮像領域を小さくすることができ、記憶して画像処理する画像データを必要最小限にすることができる。そして、必要以外の領域は撮像しないので、プライバシーの保護も図ることができる。

また、本発明者は、姿勢の検出を容易にするための方法を検討した。頭の大きさ、体幹などは個人でばらつきがあるので、撮像した画像を用いてそのまま姿勢を検出すると、検出に利用するためのサンプリングデータは多く必要となる。そこで、本発明者は、撮像した画像から骨格情報（ボーン情報）を抽出し、骨格情報で姿勢を検出することにした。骨格情報であれば、骨格情報の姿勢情報サンプルから個人差に影響されずに姿勢を検出することができる。このため、サンプリングデータの数を多くしなくても姿勢を検出することが可能となる。そして、サンプリングデータはディープラーニング等を用いた人工知能（ＡＩ）で学習を行いデータ更新することで、姿勢検出の精度が向上させることができることを見出した。また、記憶するデータを骨格情報にすれば、被監視者の外観などが特定されずに、プライバシーの保護も図ることができることが分かった。

本発明は、上記した検討に基づいてなされたものであり、本発明の被監視者の姿勢検知装置は、被監視者を監視する撮像領域の画像を取得する撮像装置と、前記撮像装置で撮像した画像データから被監視者の骨格情報を抽出する骨格情報抽出部と、骨格情報からなる姿勢情報サンプルを格納する骨格情報サンプル記憶部と、骨格情報抽出部で抽出した人間の骨格情報と骨格情報サンプル記憶部に格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する姿勢検出部と、この姿勢検出部で検出した姿勢に基づいて転倒、転落の有無を判定する姿勢判定部と、を備える。

また、前記撮像装置は、ベッドの周辺領域を床面より上方で被監視者の身長より高い位置から俯瞰撮影するように構成すればよい。

また、前記骨格情報抽出部は、前記撮像装置から得られた被監視者からの画像データに基づいて、ディープラーニングで体格基準点を抽出し、抽出した体幹基準点に基づき骨格線を抽出して、骨格情報を抽出するように構成すればよい。

前記骨格情報サンプル記憶部は、立位、座位、横臥に関する骨格情報のサンプルが過去に学習した結果に基づいて格納するように構成すればよい。

また、前記姿勢検出部は、骨格情報抽出部で抽出した骨格情報と前記骨格情報サンプル記憶部に格納された骨格情報サンプルに基づいて最尤推定を行って姿勢を検出するように構成すればよい。

また、前記姿勢判定部は、事前に定めた転倒、転落に関連する姿勢と前記姿勢検出部で検出した姿勢を比較し、転倒、転落の有無を判定するように構成すればよい。

本発明においては、撮像装置で得られた画像に基づいて、骨格情報を抽出し、骨格情報と骨格情報サンプルに基づいて姿勢を検出し、検出した骨格情報からなる姿勢に基づいて転落、転倒の有無を判定するので、サンプル情報を格納する記憶装置を大型化することなく、被監視者における所定の姿勢を精度良く検知することができる。

本発明の実施形態に係る被監視者の姿勢検知装置を設置した部屋を示す模式図である。 本発明の実施形態に係る被監視者の姿勢検知装置の撮像エリア領域を示す模式図である。 本発明の実施形態に係る被監視者の姿勢検知装置を設置した部屋のベッドで被監視者が寝ている状態を示す模式図である。 本発明の実施形態に係る被監視者の姿勢検知装置を設置した部屋のベッドから被監視者が転落した状態を示す模式図である。 本発明の実施形態に係る被監視者の姿勢検知装置の構成を示すブロック図である。 本発明の実施形態に係る被監視者の姿勢検知装置の制御動作を説明するフロー図である。 本発明の実施形態に係る被監視者の姿勢検知装置において、骨格情報を抽出する態様を説明する模式図である。

以下、本発明の実施形態に係る被監視者の姿勢検知装置を添付図面に基づいて具体的に説明する。なお、本発明に係る被監視者の姿勢検知装置は、下記の実施形態に示したものに限定されず、発明の要旨を変更しない範囲において、適宜変更して実施できるものである。

図１に示すように、実施形態における被監視者の姿勢検知装置１は、監視対象である被監視者を監視する月像領域を撮像する撮像装置１０と、撮像装置１０からの画像データを取り込み、被監視者の姿勢を検知するための処理を行う制御装置２とを備える。

被監視者の姿勢検知装置１は、監視すべき監視対象である要介護者等の被監視者３の姿勢を検出し、検出した姿勢と予め設定された所定の姿勢に基づき転落、転倒の有無を監視するものである。

図１及び図２に示すように、被監視者が存在する空間、例えば、病室などの室内ＲＭの所定の領域を監視のために撮像する撮像装置１０が所定の撮像領域を俯瞰撮影できるように設置されている。室内ＲＭには、被監視者が寝るためのベッドＢＴが設置されている。

被監視者はベッドＢＴ上に横臥姿勢、座位姿勢で存在している場合には、問題はなく、床面５の上での横臥姿勢、ベッドＢＴから床面５に降りる状態で転落状態を示す姿勢の場合には、転倒または転落が有り、危険な状態だと判断することができる。本実施形態の被監視者の姿勢検知装置１は、転倒または転落が考えられる被監視者３の姿勢を検知し、そのような状態が発生したと判断した場合に、警報装置等に通知するものである。

室内ＲＭ全体を撮像装置１０で俯瞰撮影して、被監視者３の姿勢を検知し、転落、転倒の有無を判定するように構成することもできる。しかし、上記したように、被監視者３がベッドＢＴ上で横臥姿勢、座位姿勢で存在している場合には問題はない。そこで、本実施例は、被監視者が歩いたり、ベッドＢＴから降りたりして転倒、転落が発生する可能性があるベッドＢＴの周辺の領域（以下、単に周辺領域という。）ＡＲを撮像領域として俯瞰撮影し、この周辺領域ＡＲに被監視者３が存在し、そのときの被監視者３の姿勢を検知することで、被監視者３の転倒、転落を判定するものである。

ベッドＢＴの周辺領域ＡＲに限定して俯瞰撮影することで、撮像領域を小さくでき、画像データ量を少なくすることができる。また、転倒、転落を判定するためのベッドＢＴの周辺領域ＡＲに限定して撮像することで、被監視者３のベッドＢＴ上での寝姿などを撮影することはなくなり、被監視者３の個人のプライバシーに最大限配慮することができる。

図１及び図２に示すように、撮像装置１０で領域ＡＲを俯瞰撮影し、被監視者を含む撮影対象を撮影する。撮影対象の画像データが制御装置２に送られる。制御装置２は、撮像装置１０からの画像データを受け取る。また、撮像装置１０は撮像装置１０により、その動作が制御される。

制御装置２は、撮像装置で撮像した画像データから被監視者の骨格情報を抽出し、抽出した骨格情報を記憶する。記憶された抽出した人間の骨格情報と骨格情報からなる姿勢情報サンプルとに基づいて被監視者の姿勢を検出し、検出した姿勢に基づいて転倒、転落の有無を判定する。そして、被監視者の転倒、転落を検知すると、警報装置等に通知し、警報装置等を動作させるものである。この制御装置２については、後述する。

図２及び図３では、被監視者３がベッドＢＴ上に横臥した状態を示している。被監視者３が横臥、座位などでベッドＢＴ上に寝ている、または休息している場合には、撮像装置１０は、周辺領域ＡＲの床面５上の部分を俯瞰撮影していることになる。撮像装置１０で撮像した撮影対象には、被監視者３は存在しない。制御装置２は、撮像装置１０で撮像した撮影対象には、被監視者３が存在しないので、被監視者３の転落、転倒はないと判定する。

図４は、被監視者３が周辺領域ＡＲの床に転倒などにより横臥した状態を示している。周辺領域ＡＲを撮像装置１０で俯瞰撮影していると、撮影対象に、被監視者３が存在する状態になる。制御装置２は、撮像装置１０で撮像した画像データから被監視者の骨格情報を抽出し、抽出した骨格情報に基づき、被監視者３が転倒または転落したか否かを判定し、転倒または転落が発生したと判定した場合には、警報装置等を作動させる。

ここで、制御装置２は、予め設定された行動に基づく姿勢により、転倒、転落を判定する。このため、制御装置２は、撮像装置１０で撮像した画像データから抽出した骨格情報に基づき、被監視者３の姿勢を検出する。制御装置２は、姿勢を検出し、転倒の姿勢、転倒につながる姿勢、転落につながる姿勢であるか否かを種々の姿勢サンプルに基づき判断し、転倒、転落の有無を判定する。

転倒は、被監視者３が立位姿勢または座位姿勢から床面上等の横臥姿勢への変化である。制御装置２は、検出した姿勢が姿勢サンプルから立位姿勢または座位姿勢であるか、そして、時系列的に横臥姿勢に変化して行くか否かを判定し、転倒の有無を判定する。

転落は、被監視者３が鉛直方向に沿った高い位置から低い位置への落下、例えば、ベッドＢＴから床面５上等への落下である。例えば、ベッドＢＴから被監視者３の一部が出て、撮像装置１０に撮影され、そして、その被監視者３がベッドＢＴから落下する場合には、被監視者３が撮像される部位が多くなる。制御装置２は、撮像装置１０で撮像した画像データから抽出した骨格情報により、身体の部位と姿勢を検出し、その姿勢の時系列的な変化に基づいて、転落の有無を判定することができる。

以下、本実施例の被監視者の姿勢検知装置１について、図５から図７を参照してさらに説明する。図５は本実施例の被監視者の姿勢検知装置１の構成を示すブロック図である。

図５に示すように、被監視者の姿勢検知装置１は、撮像装置１０と制御装置２とを備える。制御装置２は、演算処理等を行う制御処理部２０と、データと制御プログラム等を記憶する記憶部２６とからなり、制御処理部２０は、記憶部２６のプログラム記憶部２６ａに記憶された各種アルゴリズムに基づく制御プログラムにより、演算部２１が演算処理を行って、各種動作を行う。

図５においては、演算部２１がプログラムに基づいて行う動作を機能ブロックとして記載している。プログラムの処理により、骨格情報抽出部としての体幹基準点及び骨格線抽出部２２、姿勢検出部２３、姿勢判定部２４、通信部２５の動作を行う。

通信部２５は、制御プログラムに従って、警報装置４との間で通信を行うものである。通信部２５から警報装置４に判定結果に基づき、必要に応じて警報を発生する情報を出力する。

例えば、警報装置４は、モニターを備え、転倒、転落が発生していない場合には、居室の周辺領域ＡＲの撮影画像をそのままモニターに表示するように、撮像装置１０からの画像データを圧縮して警報装置４に送る。

警報装置４は、送られてきた圧縮された画像データをデコードしてモニターに表示させる。そして、転倒、転落が発生したと制御装置２が判断すると、通信部２５は。警報装置４から警報を出力させるための信号を警報装置４に送出する。警報装置４は、アラーム音等を出力し、要介護者等に異常事態が発生したことを通知させる。

記憶部２６は、全体を制御するプログラム、各種動作を行うアルゴリズムを記憶するプログラム記憶部２６ａと、画像データを一時的に記憶すると共に、骨格情報データ等のデータを格納するデータ記憶部２６ｂ、最尤推定用の学習データを記憶する骨格情報サンプル記憶部としての最尤推定用学習データ記憶部２６ｃを有する。これら各記憶部は、１つのメモリに領域を分けて格納、或いは、複数のメモリにそれぞれのデータを格納し、複数のメモリを全体として記憶部２６として用いてもよい。

図１に示すように、撮像装置１０は制御装置２に接続され、制御装置２の制御に従って、撮影対象の画像データを生成する装置である。撮像装置１０は、ベッドＢＴの周辺領域ＡＲを俯瞰撮影して監視可能に、周辺領域ＡＲの上方に配置される。撮像装置１０は周辺領域ＡＲ内の撮像対象を俯瞰した画像データを制御装置２に送る。制御装置２の制御処理部２０は、送られてきた画像データを記憶部２６のデータ記憶部２６ｂに格納する。

本実施形態においては、撮像装置１０は、時系列的連続した静止画または動画を撮像し、その画像データを制御装置２に出力する。制御装置２の制御処理部２０は、入力された画像データをデータ記憶部２６ｂに撮像した時間情報と共に格納する。

撮像装置１０は、周辺領域ＡＲ全体を撮像できるように、室内ＲＭの壁などに被監視者３の身長より高い位置に配置し、俯瞰撮影することが好ましい。なお、撮像装置１０は、俯瞰撮影せずに、床面から被監視者３の身長より高い位置まで撮像できるもので構成してもよい。また、撮像装置１０は、室内ＲＭ全体を撮像できるもので構成し、周辺領域ＡＲ以外の領域はマスクして、周辺領域ＡＲ部分の画像データを制御装置２で処理するように構成してもよい。

撮像装置１０は、特殊なカメラを必要とせずに、市販されているＷＥＢカメラを用いればよく、可視光の画像を撮影するカメラでも良いが、比較的暗がりでも被監視者３を監視できるように、赤外線カメラを用いることが好ましい。

制御装置２は、撮像装置１０によって撮像対象をその上方から撮像した撮影対象の画像データを取得し、この取得した画像に基づいて、被監視者３における姿勢を検知し、姿勢の変化を検出して、転倒、転落の発生の有無を通知する。

制御装置２の制御処理部２０は、ＣＰＵ等からなる演算部２１とその周辺回路を備えて構成される。演算部２１は、制御処理プログラムを展開するワーキングメモリ等を有し、プログラム記憶部２６ａに格納されている制御処理プログラムが実行されることにより、体幹基準点及び骨格線抽出部２２、姿勢検出部２３、姿勢判定部２４、通信部２５の機能を司る。

体幹基準点及び骨格線抽出部２２は、撮像装置１０で撮像した被監視者３の人間の骨格情報を抽出する。画像情報から人間の骨格情報を検出す映像解析エンジンは、種々提案されており、人体の姿勢の特徴点をディープラーニングを用いて検知する技術「ＯｐｅｎＰｏｓｅ」や株式会社ネクストシステムが開発している「Ｖｉｓｉｏｎ Ｐｏｓｅ」などが知られている。

本実施形態における体幹基準点及び骨格線抽出部２２は、撮像装置１０で撮像した被監視者３の人体における体幹基準点をディープラーニングで抽出し、抽出した体幹基準点から骨格線抽出する。このボーン情報の抽出のためのアルゴリズムの基づくプログラムが記憶部２６のプログラム記憶部２６ａに格納されている。

演算部２１は、ボーン情報の抽出のためのアルゴリズムの基づくプログラムを読み出し、体幹基準点及び骨格線抽出部２２は撮像装置１０で撮像した被監視者３の人間の骨格情報を抽出する。

ここで、人体おける人の体幹基準点とは、頭部、肩部、腰部、踵部等の人体の複数の箇所であり、この箇所は任意に設定する。本実施形態では、頭部と、肩部、腰部、踵部を体幹基準点として選択する。

ここで、骨格線とは、人体のおける任意の体幹基準点を線で結んだものとする。両肩部の基準点を結ぶ線、腰部の基準点を結ぶ線、頭部から両肩部の中心と腰部の中心とを結ぶ線、腰部の両端の基準点から左右の踵部の基準点をそれぞれ結ぶ線で人体の骨格線からなる骨格情報を抽出する。抽出した骨格情報がデータ記憶部２６ｂに格納される。

この骨格情報の抽出について、図７を参照して説明する。撮像装置１０から送られる被監視者３の画像データ１０ａ（図７（ａ）参照）を制御処理部２０は、データ記憶部２６ｂに一時的に格納する。そして、体幹基準点及び骨格線抽出部２２は、データ記憶部２６ｂから被監視者の画像データを読み出し、図７（ｂ）に示すよう頭部、肩部、腰部、踵部の体幹基準点を抽出し、体幹基準点を被監視者３に設定した画像１０ｂを一時的に記憶する。続いて、図７（ｃ）に示すように、各体幹基準点の対応する点を結んで、体幹基準点と骨格線のみの画像１０ｃを作成し、時系列的にこの体幹基準点と骨格線のみの画像１０ｃからなる骨格情報データをデータ記憶部２６ｂに格納する。

体幹基準点と骨格線のみの画像１０ｃはデータ量が少なくなり、データ記憶部２６ｂの記憶容量は少なくてすむ。また、データ量が少ないので、次の姿勢検出部２３で処理する演算量も少なくできる。さらに、データ記憶部２６ｂに格納されるデータは体幹基準点と骨格線のみの画像１０ｃからなる骨格情報データとなるので、被監視者３の外観などを特定することはできず、被監視者３自体の特定は格納されたデータからは困難であるため、被監視者３のプライバシーを保護することができる。

姿勢検出部２３は、体幹基準点及び骨格線抽出部２２で抽出した骨格情報から姿勢を最尤推定するアルゴリズムに基づいて姿勢を検出する。記憶部２６の最尤推定用学習データ記憶部２６ｃは、立位、座位、横臥等に関する骨格情報のサンプルが過去に学習して結果に基づいて格納されている。

姿勢検出部２３は、最尤推定用学習データ記憶部２６ｃに格納されている立位、座位、横臥等に関する骨格情報のサンプルと体幹基準点及び骨格線抽出部２２で抽出してデータ記憶部２６ｂに格納されている骨格情報とに基づいて、最尤推定アルゴリズムに基づいて最尤推定を行い、最尤推定した姿勢結果をデータ記憶部２６ｂに格納する。

姿勢判定部２４は、事前に定めた転倒、転落に関連する姿勢と姿勢検出部２３で検出した姿勢を時系列的に比較し、転倒、転落の有無を判定する。転倒、転落があると、判断すると、制御処理部２０は、通信部２５から警報装置４に転倒・転落の警報を出すように通知する。

次に、被監視者の姿勢検知装置１の動作につき、図６のフロー図に従い説明する。

被監視者の姿勢検知装置１の動作が開始すると、制御装置２は、撮像装置１０によって撮像対象をその上方から撮像した撮影対象の画像データを取得し、データ記憶部２６ｂに一時的に格納する（ステップＳ１）。

続いて、制御装置２は、体幹基準点及び骨格線抽出部２２の動作を行う（ステップＳ２）。演算部２１は、ボーン情報の抽出のためのアルゴリズムの基づくプログラムを読み出し、体幹基準点及び骨格線抽出部２２を動作させる。体幹基準点及び骨格線抽出部２２は、撮像装置１０で撮像した被監視者３の人間の骨格情報を抽出する。体幹基準点及び骨格線抽出部２２は、データ記憶部２６ｂに一時的に格納された被監視者の画像データを読み出し、頭部、肩部、腰部、踵部の体幹基準点を抽出し、体幹基準点を被監視者３に設定し、その画像１０ｂを一時的に記憶する。続いて、各体幹基準点の対応する点を結んで、体幹基準点と骨格線のみの画像１０ｃを作成し、時系列的に、この骨格情報データをデータ記憶部２６ｂに格納する。

続いて、姿勢検出部２３で姿勢検出を行う（ステップＳ３）。体幹基準点及び骨格線抽出部２２で抽出した骨格情報から姿勢を最尤推定するアルゴリズムに基づいて姿勢を検出する。姿勢検出部２３は、最尤推定用学習データ記憶部２６ｃに格納されている立位、座位、横臥等に関する骨格情報のサンプルと幹基準点及び骨格線抽出部２２で抽出され、データ記憶部２６ｂに格納された骨格情報とに基づいて、最尤推定アルゴリズムに基づいて最尤推定を行い、最尤推定した姿勢結果をデータ記憶部２６ｂに格納する。

その後、姿勢判定部２４の動作を行い転倒、転落の姿勢か否か判断する（ステップＳ４）。姿勢判定部２４は、事前に定めた転倒、転落に関連する姿勢と姿勢検出部２３で検出した姿勢を比較し、転倒、転落の有無を判定する。転倒、転落が無いと判断すると、ステップＳ１に戻り、前述の動作を行う。転倒、転落があると、判断するとステップＳ５に進み、制御処理部２０は、通信部２５から警報装置４に転倒・転落の警報を出すように通知する。そして、監視動作を終了する。

上記した説明では、本発明の完全な理解を提供するために具体的な例を述べた。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。

よって、上記した開示は、本発明の例示として考慮されるべきであり、本発明を上記した図面または説明によって示される特定の実施形態に限定することを意図するものではない。

１ ：姿勢検知装置
２ ：制御装置
３ ：被監視者
４ ：警報装置
５ ：床面
１０ ：撮像装置
２０ ：制御処理部
２１ ：演算部
２２ ：骨格線抽出部
２３ ：姿勢検出部
２４ ：姿勢判定部
２５ ：通信部
２６ ：記憶部
２６ａ ：プログラム記憶部
２６ｂ ：データ記憶部
２６ｃ ：最尤推定用学習データ記憶部
ＡＲ ：周辺領域（撮像領域）
ＢＴ ：ベッド
ＲＭ ：室内

Claims (6)

1. 被監視者を監視する撮像領域の画像データを取得する撮像装置と、前記撮像装置で撮像した画像データから被監視者の骨格情報を抽出する骨格情報抽出部と、骨格情報からなる姿勢情報サンプルを格納する骨格情報サンプル記憶部と、骨格情報抽出部で抽出した人間の骨格情報と骨格情報記憶部に格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する姿勢検出部と、この姿勢検出部で検出した姿勢に基づいて転倒、転落の有無を判定する姿勢判定部と、を備えることを特徴とする被監視者の姿勢検知装置。
2. 請求項１に記載の被監視者の姿勢検知装置において、前記撮像装置は、ベッドの周辺領域を床面より上方で被監視者の身長より高い位置から俯瞰撮影することを特徴とする被監視者の姿勢検知装置。
3. 請求項１または２に記載の被監視者の姿勢検知装置において、前記骨格情報抽出部は、前記撮像装置から得られた被監視者からの画像データに基づいて、ディープラーニングで体格基準点を抽出し、抽出した体幹基準点に基づき骨格線を抽出して、骨格情報を抽出することを特徴とする被監視者の姿勢検知装置。
4. 請求項１〜３のいずれか１項に記載の被監視者の姿勢検知装置において、前記骨格情報サンプル記憶部は、立位、座位、横臥に関する骨格情報のサンプルが過去に学習した結果に基づいて格納することを特徴とする被監視者の姿勢検知装置。
5. 請求項１〜４のいずれか１項に記載の被監視者の姿勢検知装置において、前記姿勢検出部は、骨格情報抽出部で抽出した骨格情報と前記骨格情報サンプル記憶部に格納された骨格情報サンプルに基づいて最尤推定を行って姿勢を検出することを特徴とする被監視者の姿勢検知装置。
6. 請求項１〜５のいずれか１項に記載の被監視者の姿勢検知装置において、前記姿勢判定部は、事前に定めた転倒、転落に関連する姿勢と前記姿勢検出部で検出した姿勢を比較し、転倒、転落の有無を判定することを特徴とする被監視者の姿勢検知装置。
   

Images