JP2019016120A - 見守り支援システム及びその制御方法 - Google Patents

見守り支援システム及びその制御方法 Download PDF

Info

Publication number
JP2019016120A
JP2019016120A JP2017132365A JP2017132365A JP2019016120A JP 2019016120 A JP2019016120 A JP 2019016120A JP 2017132365 A JP2017132365 A JP 2017132365A JP 2017132365 A JP2017132365 A JP 2017132365A JP 2019016120 A JP2019016120 A JP 2019016120A
Authority
JP
Japan
Prior art keywords
image
information
imaging device
installation height
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017132365A
Other languages
English (en)
Other versions
JP6729510B2 (ja
Inventor
田中 清明
Kiyoaki Tanaka
清明 田中
立舟 張
Lizhou Zhang
立舟 張
純平 松永
Jumpei Matsunaga
純平 松永
信二 高橋
Shinji Takahashi
信二 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017132365A priority Critical patent/JP6729510B2/ja
Priority to PCT/JP2018/025595 priority patent/WO2019009377A1/ja
Publication of JP2019016120A publication Critical patent/JP2019016120A/ja
Application granted granted Critical
Publication of JP6729510B2 publication Critical patent/JP6729510B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】技術を提供する。【解決手段】ベッド上の対象者の見守りを支援する見守り支援システムが、撮像装置により撮影された画像を取得する画像取得部と、前記撮像装置の設置高さに関する情報を取得する情報取得部と、前記画像から前記対象者または前記対象者の状態を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部と、を有し、前記複数の検出部のうちの、前記情報取得部により取得された情報の設置高さに対応する検出部が検出を行う。【選択図】図1

Description

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献1には、ベッドの斜め上方に設置したカメラで撮影した画像から患者の頭部を検出し、ベッド上に設定した境界線を頭部が超えたことをもって起床動作と判定し、看護師等へ通知を行うシステムが提案されている。
特開2012−071004号公報
上述のように、画像から対象者を検出し、その検出結果を見守り支援に役立てるという試みは、従来からなされている。しかしながら、カメラの設置高さは、撮影対象である部屋の間取りやカメラの設置者などに依存する。そして、撮影される画像の構図、画像における被写体の歪み、画像における被写体のサイズなどは、カメラの設置高さに依存する。そのため、従来の方法では、カメラ(撮像装置)の設置高さに依存して対象者やその状態の検出精度が著しく低下することがある。
本発明は、上記実情に鑑みなされたものであって、撮像装置の設置高さに依らず対象者やその状態を精度良く検出することができる技術を提供することを目的とする。
上記目的を達成するために、本発明では、撮像装置の設置高さに関する情報を取得し、画像から対象者またはその状態を検出するための検出部を、取得した情報に関連した設置高さに応じて切り替える、という方法を採用する。
具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、撮像装置により撮影された画像を取得する画像取得部と、前記撮像装置の設置高さに関する情報を取得する情報取得部と、前記画像から前記対象者または前記対象者の状態を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部と、を有し、前記複数の検出部のうちの、前記情報取得部により取得された情報の設置高さに対応する検出部が検出を行うことを特徴とする見守り支援システムを提供する。
この構成によれば、画像から対象者等を検出するための検出部として、撮像装置の複数の設置高さに対してそれぞれ好適な複数の検出部が用意される。そして、取得した情報に関連した設置高さに対して好適な検出部が使用される。それにより、撮像装置の設置高さに依らず対象者等を精度良く検出することができる。
前記情報取得部は、前記見守り支援システムの初回起動時にのみ前記情報を取得するとよい。撮像装置の設置高さの確定後に設置高さが自動で(自然に)変わることは極めて稀であるため、見守り支援システムの初回起動時にのみ情報を取得する構成であっても、対象者等の高精度な検出を維持することができる。さらに、情報の取得頻度を減らすことが
でき、見守り支援システムの処理負荷を低減することができる。
前記撮像装置の設置高さに関する情報は、ユーザ操作に応じた情報であるとよい。画像解析等によって設置高さを自動検出する構成の場合には、検出誤差や誤検出などにより、対象者等の検出精度が低下することがある。ユーザ操作に応じた情報を用いれば、このような検出精度の低下を抑制することができる。
前記撮像装置の設置高さに関する情報は、前記画像における前記ベッドの幅と長さの比率であってもよい。上記比率は撮像装置の設置高さに応じて略決まるため、当該比率を用いても、対象者等を精度良く検出することができる。
前記複数の検出部の中から、前記情報取得部により取得された情報の設置高さに対応する検出部を選択する選択部、をさらに有し、前記複数の検出部のうちの、前記選択部により選択された検出部が検出を行ってもよい。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、撮像装置の設置高さに依らず対象者やその状態を精度良く検出することができる。
図1は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図2は撮像装置の設置例を示す図である。 図3A〜3Cは撮影された画像の例である。 図4A,4Bは画像に対し設定された監視領域の例である。 図5は状態監視処理のフローチャートである。 図6は関係モデルの例である。 図7は設置高さとマージン幅の対応関係の例である。
本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
(システム構成)
図1と図2を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図1は、見守り支援システム1のハードウェア構成および機能構成を模式的に示すブロ
ック図であり、図2は、撮像装置の設置例を示す図である。
見守り支援システム1は、主なハードウェア構成として、撮像装置10と情報処理装置11を有している。撮像装置10と情報処理装置11の間は有線又は無線により接続されている。図1では、1つの撮像装置10のみ示しているが、複数台の撮像装置10を情報処理装置11に接続してもよい。
撮像装置10は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置10としては、モノクロ又はカラーの可視光カメラ、赤外線カメラ、三次元カメラなどを用いることができる。本実施形態では、夜間でも(部屋内が暗い場合でも)対象者の見守りを可能とするため、赤外線LED照明100と近赤外線カメラ101で構成される撮像装置10を採用する。撮像装置10は、図2に示すように、ベッド20の頭側上方から足側に向かって、ベッド20の全体を俯瞰するように設置される。撮像装置10は所定の時間間隔(例えば、30fps)で撮影を行い、その画像データは情報処理装置11に順次取り込まれる。
情報処理装置11は、撮像装置10から取り込まれる画像データをリアルタイムに分析し、ベッド20上の対象者21の起床行動や離床行動を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置11は、具体的な機能モジュールとして、画像取得部110、情報取得部111、複数の検出部112、選択部113、出力部114、記憶部115を有している。
本実施形態の情報処理装置11は、CPU(プロセッサ)、メモリ、ストレージ(HDD、SSDなど)、入力デバイス(キーボード、マウス、タッチパネルなど)、出力デバイス(ディスプレイ、スピーカなど)、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置11の各モジュールは、ストレージ又はメモリに格納されたプログラムをCPUが実行することにより実現される。ただし、情報処理装置11の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記モジュールの一部をクラウドサーバにより実行してもよいし、上記モジュールの一部をASICやFPGAのような回路で構成してもよい。
画像取得部110は、撮像装置10により撮影された画像を取得するためのモジュールである。画像取得部110より入力された画像データは一時的にメモリ又はストレージに記憶され、情報取得部111や検出部112の処理に供される。
情報取得部111は、撮像装置10が設置されている高さ(設置高さ)に関する高さ情報を取得する情報取得処理のためのモジュールである。情報取得処理の詳細は後述する。
複数の検出部112のそれぞれは、画像取得部110により取得された画像から対象者21の状態や行動を検出するためのモジュールである。複数の検出部112は、撮像装置10の複数の設置高さにそれぞれ対応する。例えば、複数の検出部112のそれぞれは、対応する設置高さで撮影された複数の画像を用いた学習の結果に基づいて生成される。なお、複数の検出部112は、複数の検出エンジンであってもよいし、そうでなくてもよい。例えば、検出エンジンで使用される辞書として、複数の設置高さにそれぞれ対応する複数の辞書が予め用意されてもよい。辞書には、アルゴリズムやパラメータや閾値が記述される。辞書に記述されるパラメータは、例えば、撮影された画像におけるベッド20の四隅の座標を含んでいてもよい。すなわち、ベッド20の座標(四隅の座標)として、複数の設置高さにそれぞれ対応する複数の座標が予め用意されてもよい。そして、複数の検出部112のそれぞれは検出エンジンと辞書の組み合わせであり、複数の検出部112の間
で、検出エンジンが共通し、辞書が互いに異なってもよい。また、想定される設置高さの数は特に限定されないし、検出部112の数も特に限定されない。
選択部113は、複数の検出部112の中から、情報取得部111により取得された高さ情報の設置高さに対応する検出部112を選択する選択処理のためのモジュールである。複数の検出部112が複数の検出エンジンである場合には、選択部113は、情報取得部111により取得された高さ情報の設置高さに対応する検出エンジンを選択する。複数の検出部112の間で、検出エンジンが共通し、辞書が互いに異なる場合には、選択部113は、情報取得部111により取得された高さ情報の設置高さに対応する辞書を選択する。
複数の検出部112のうちの、選択部113により選択された検出部112は、画像取得部110により取得された画像を分析する。それにより、選択部113により選択された検出部112は、画像から対象者21の行動を判定する。
出力部114は、選択部113により選択された検出部112の判定結果に基づいて、必要な通知を行うためのモジュールである。例えば、出力部114は、対象者21の状態や行動に応じて、通知の要否(例えば、危険な状態の場合のみ通知を行う)、通知の内容(例えばメッセージの内容)、通知手段(例えば音声、メール、ブザー、警告灯)、通知先(例えば看護師、医師、介護者)、通知の頻度などを切り替えることができる。
記憶部115は、見守り支援システム1が処理に用いる各種のデータを記憶するためのモジュールである。記憶部115には、例えば、監視領域の設定情報、前処理で用いるパラメータ、スコア安定化処理で用いるパラメータ、スコアの時系列データ、行動判定処理で用いるパラメータなどが記憶される。これらの処理やデータについては後述する。
本実施形態では、複数の検出部112のそれぞれは、領域設定部120、前処理部121、回帰器122、スコア安定化部123、判定部124を有している。なお、複数の検出部112の間で、領域設定部120、前処理部121、回帰器122、スコア安定化部123、判定部124の一部が共通していてもよい。
領域設定部120は、撮像装置10により撮影される画像に対し監視領域を設定する領域設定処理のためのモジュールである。監視領域は、撮像装置10の視野のうち後述の状態監視処理の対象となる範囲(言い換えると、回帰器122の入力として用いられる画像範囲)である。領域設定処理の詳細は後述する。
前処理部121は、状態監視処理において、画像取得部110より入力された画像(以後「オリジナル画像」と呼ぶ)に対し必要な前処理を施すためのモジュールである。例えば、前処理部121は、オリジナル画像から監視領域内の画像をクリップする処理を行う(クリップされた画像を以後「監視領域画像」と呼ぶ)。また、前処理部121は、監視領域画像に対して、リサイズ(縮小)、アフィン変換、輝度補正などの処理を施してもよい。リサイズ(縮小)は、回帰器122の演算時間を短縮する効果がある。リサイズには既存のどのような手法を用いてもよいが、演算コストと品質のバランスがよいバイリニア法が好ましい。アフィン変換は、例えば、画像において台形状に写るベッドを長方形状に変形するなど、必要な歪み補正を行うことで、回帰器122への入力画像を規格化し、行動の判定精度を向上する効果が期待できる。輝度補正は、例えば、照明環境の影響を低減することで、判定精度を向上する効果が期待できる。なお、オリジナル画像をそのまま回帰器122に入力する場合には、前処理部121は省略してもよい。
回帰器122は、監視領域画像が与えられたときに、当該監視領域画像に写る対象者2
1の状態(例えば、就床状態、起床状態、離床状態)を示すスコアを出力するためのモジュールである。回帰器122は、ベッドと人が写る画像を入力とし、ベッドに対する人の状態を示すスコアを出力するように、入力画像の特徴と人の状態との関係モデルを機械学習により構築したものである。回帰器122のトレーニングは、多数のトレーニング用画像を用いて、学習装置12によって事前に(システムの出荷前ないし稼働前に)行われているものとする。なお、回帰器122の学習モデルとしては、ニューラルネットワーク、ランダムフォレスト、サポートベクターマシンなど、どのようなモデルを用いてもよい。本実施形態では、画像認識に好適な畳み込みニューラルネットワーク(CNN)を用いる。
スコア安定化部123は、回帰器122から出力されるスコアの急激な変化やばたつきを抑制するためのモジュールである。スコア安定化部123は、例えば、現在のフレームの画像から得られた現在スコアと、直前の2フレームの画像からそれぞれ得られた過去スコアの平均を計算し、安定化スコアとして出力する。この処理は、スコアの時系列データに時間的なローパスフィルタをかけることと等価である。なお、スコアの安定化が不要であれば、スコア安定化部123は省略してもよい。
判定部124は、回帰器122により得られたスコアに基づいて、対象者の行動を判定するためのモジュールである。具体的には、判定部124は、スコアの時間的な変化(つまり、スコアが示す「対象者の状態」の遷移)に基づいて、対象者がどのような行動(例えば、起床行動、離床行動など)をとったのかを推定する。
(情報取得処理)
図3A〜3Cを参照して本システムの情報取得処理の一例を説明する。図3A〜3Cは、画像取得部110により取得された画像の例を示す。図3Aの画像は、設置高さH=150cmで撮影された画像であり、図3Bの画像は、設置高さH=170cmで撮影された画像であり、図3Cの画像は、設置高さH=200cmで撮影された画像である。図3A〜3Cに示すように、画像の構図、画像における被写体の歪み、画像における被写体のサイズなどは設置高さHに依存する。
本実施形態では、情報取得処理は、本システムの初回起動時にのみ行われる。情報取得処理では、ユーザによって、画像におけるベッド20の四隅(点P1〜P4)の座標が指定される。そして、情報取得部111は、指定された点P1〜P4に基づいて、画像におけるベッドの幅Wと長さLを算出し、幅Wと長さLの比率(ベッドアスペクト比R)を高さ情報として算出する。幅Wと長さLは、例えば、画像におけるベッド20の重心位置での値である。ベッドアスペクト比Rは設置高さHに応じて略決まるため、設置高さHの代わりにベッドアスペクト比Rを用いることができる。図3Aでは、ベッドアスペクト比R=W/L=1.7が算出されており、図3Bでは、ベッドアスペクト比R=1.8が算出されており、図3Cでは、ベッドアスペクト比R=2.0が算出されている。
なお、情報取得処理は上記処理に限られない。例えば、設置高さHそのものが、ユーザによって指定され、高さ情報として使用されてもよい。上記処理では、ユーザ操作に応じた情報が高さ情報として取得されるが、これに限られない。例えば、画像解析等によってベッドアスペクト比Rや設置高さHを自動検出することにより、高さ情報が取得されてもよい。しかしながら、そのような構成の場合には、検出誤差や誤検出などにより、高さ情報の精度(信頼度)が低下することがある。本実施形態では、得られた高さ情報に応じた検出部112が選択されて使用される。そのため、得られた高さ情報の精度が低いと、対象者を精度良く検出できないことがある。ユーザ操作に応じた情報を用いれば、これらの精度低下を抑制することができる。
また、情報取得処理のタイミングや頻度も特に限定されない。但し、設置高さHの確定後に設置高さHが自動で(自然に)変わることは極めて稀であるため、本システムの初回起動時にのみ情報取得処理を行う構成であっても、対象者の状態や行動の高精度な検出を維持することができる。さらに、高さ情報の取得頻度を減らすことができ、本システムの処理負荷を低減することができる。
(選択処理)
図3A〜3Cを参照して本システムの選択処理の一例を説明する。ここでは、複数の検出部112が、3つの設置高さH=150cm,170cm,200cmにそれぞれ対応する3つの検出部112であるとする。
上述したように、図3Aの画像は、設置高さH=150cmで撮影された画像である。図3Aのようにベッドアスペクト比R=1.7が得られた場合には、選択部113は、ベッドアスペクト比R=1.7に応じて、設置高さH=150cmに対応する検出部112を選択する。図3Bの画像は、設置高さH=170cmで撮影された画像である。図3Bのようにベッドアスペクト比R=1.8が得られた場合には、選択部113は、ベッドアスペクト比R=1.8に応じて、設置高さH=170cmに対応する検出部112を選択する。図3Cの画像は、設置高さH=200cmで撮影された画像である。図3Aの例のようにベッドアスペクト比R=2.0が得られた場合には、選択部113は、ベッドアスペクト比R=2.0に応じて、設置高さH=200cmに対応する検出部112を選択する。これにより、設置高さに依らず対象者の状態や行動を精度良く検出することができる。
(監視領域の設定)
撮像装置10の画角内にはベッド20や対象者21以外にさまざまな物が写り込んでいる。対象者21の状態や行動を検知するにあたっては、ベッド20と対象者21以外の物はノイズとして作用する可能性があるため、出来る限り除外することが好ましい。また、回帰器122に入力する画像については、画像サイズ(幅、高さ)および画像内のベッドの位置・範囲・大きさなどが規格化されているほうが、行動の判定精度の向上が図りやすい。そこで、本実施形態では、ベッド20を基準にした所定の範囲を監視領域に設定し、後述する状態監視処理では監視領域内の画像をクリッピングして回帰器122の入力画像とする。
監視領域の設定は、手動で行ってもよいし自動で行ってもよい。手動設定の場合、領域設定部120は、画像内のベッド20の領域ないし監視領域そのものをユーザに入力させるためのユーザインタフェースを提供するとよい。自動設定の場合、領域設定部120は、物体認識処理により画像からベッド20を検出し、検出したベッド20の領域を包含するように監視領域を設定するとよい。なお、領域設定処理は、監視領域が未設定の場合(例えば、システムの設置時など)、ベッド20や撮像装置10の移動に伴い監視領域を更新する必要がある場合などに実行される。領域設定部120は、情報取得処理で指定された点P1〜P4からベッド20の領域を判断してもよい。検出部112の辞書に点P1〜P4の座標が記述されている場合には、それを使用してもよい。
図4Aは、オリジナル画像に対し設定された監視領域の例である。本実施形態では、ベッド20の領域の左側・右側・上側(足側)にそれぞれ所定幅のマージンを付加した範囲を、監視領域30に設定する。マージンの幅は、ベッド20上で起き上がっている人(図4B参照)の全身が監視領域30内に入るように設定される。
(状態監視処理)
図5を参照して本システムの状態監視処理の一例を説明する。図5の処理フローは、本
システムの初回起動時からの状態監視処理を示す。
まず、情報取得部111が、高さ情報(ベッドアスペクト比R)を取得する(ステップS51)。次に選択部113が、高さ情報に応じた検出部112を選択する(ステップS52)。なお、ステップS51の処理とステップS52の処理とは、本システムの初回起動時にのみ行われる。即ち、初回起動時以降の状態監視処理において、ステップS51の処理とステップS52の処理とは省略される。
次に画像取得部110が、撮像装置10から1フレームの画像を取り込む(ステップS53)。取得されたオリジナル画像は記憶部115に一時的に記憶される。次に、ステップS52で選択された検出部112により、ステップS54〜S57の処理が行われる。具体的には、前処理部121が、オリジナル画像から監視領域画像をクリップし、必要に応じてリサイズ、アフィン変換、輝度補正などを実行する(ステップS54)。回帰器122が、監視領域画像を入力し、対応するスコアを出力する(ステップS55)。スコア安定化部123が、ステップS55で得られたスコアの安定化処理を行い(ステップS56)、得られたスコアを判定部124に引き渡す。そして、判定部124が、安定化処理後のスコアの時間的な変化に基づいて、対象者21の行動を判定する(ステップS57)。
ステップS57において、対象者21が「起床」又は「離床」したと判定されたら、出力部114が必要な通知を行う(ステップS58)。ステップS53〜S58は、システムが終了するまでフレーム毎に実行される(ステップS59)。
以上述べたように、本実施形態のシステムによれば、画像から対象者の状態や行動を検出するための検出部として、複数の設置高さに対してそれぞれ好適な複数の検出部が用意される。そして、取得した高さ情報に関連した設置高さに対して好適な検出部が使用される。それにより、撮像装置の設置高さに依らず対象者の状態や行動を精度良く検出することができる。
<その他>
本実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
例えば、検出部112によって対象者21の状態や行動が画像から検出される例を説明したが、検出部112によって対象者21の人体又はその一部(頭部、顔、上半身など)を画像から検出し、人体又はその一部の検出位置に基づいて対象者の状態や行動を判定してもよい。画像から人体やその一部を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なHaar−like特徴量やHoG特徴量を用いた識別器による手法や近年のFaster R−CNNによる手法を用いた物体検出アルゴリズムを好ましく用いることができる。
また、複数の検出部112は種々の変形が可能である。撮影された画像の特徴量は設置高さHに依存する。そのため、回帰器122では、対象者21の所定の状態に対応するスコアは設置高さHに依存する。そこで、複数の設置高さHにそれぞれ対応する複数の回帰器が予め用意されてもよい。そして、取得された高さ情報に応じて、複数の回帰器のいずれかが選択されて使用されてもよい。複数の回帰器は、例えば、互いに異なる設置高さHで撮影されたトレーニング用画像を用いて機械学習されたものである。図6に示すように、複数の回帰器の間では、画像の特徴量とスコアとの対応関係(関係モデル)が互いに異なる。それにより、設置高さHに依らず、所望のスコアを得ることができる。なお、図6
では、関係モデルを2次元の線型モデルで示しているが、実際の特徴量空間は多次元であり、関係モデルは非線型となる。
また、図3A〜3Cに示すように、画像におけるベッド20や対象者21の歪み度合いは設置高さHに依存する。そのため、前処理部121で行われる歪み補正(歪み補正の強度など)が一定である場合には、歪み補正後の画像の歪み度合いは設置高さHに依存する。そこで、複数の設置高さHにそれぞれ対応する複数の歪み補正(歪み補正の強度など)が予め定められてもよい。そして、取得された高さ情報に応じて、複数の歪み補正のいずれかが選択されて実行されてもよい。それにより、設置高さHに依らず、歪み補正後の画像として、所望の歪み度合いの画像を得ることができる。
ここで、領域設定部120が監視領域を設定する際に使用するマージン幅が一定である場合を考える。図3A〜3Cに示すように、画像におけるベッド20のサイズは設置高さHが高いほど小さい。そのため、設置高さHが高いほど、監視領域全体に対するマージンの割合が増し、監視領域画像にベッド20や対象者21以外の物が写り込む可能性が増す。そこで、複数の設置高さHにそれぞれ対応する複数のマージン幅が予め定められてもよい。具体的には、図7に示すように、設置高さHが高いほど小さいマージン幅が予め定められてもよい。そして、取得された高さ情報に応じて、複数のマージン幅のいずれかが選択されて使用されてもよい。それにより、設置高さHに依らず、ベッド20や対象者21以外の物が写り込んでいない監視領域画像を高精度に得ることができる。マージン幅を一定として、マージンの少なくとも一部が監視領域画像から除去されるように、設置高さHが高いほど大きい領域を監視領域画像から除去する構成でも、同様の効果が得られる。
1:見守り支援システム
10:撮像装置、11:情報処理装置、12:学習装置
100:照明、101:近赤外線カメラ、110:画像取得部、111:情報取得部、112:検出部、113:選択部、114:出力部、115:記憶部
120:領域設定部、121:前処理部、122:回帰器、123:スコア安定化部、124:判定部
20:ベッド、21:対象者
30:監視領域

Claims (7)

  1. ベッド上の対象者の見守りを支援する見守り支援システムであって、
    撮像装置により撮影された画像を取得する画像取得部と、
    前記撮像装置の設置高さに関する情報を取得する情報取得部と、
    前記画像から前記対象者または前記対象者の状態を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部と、
    を有し、
    前記複数の検出部のうちの、前記情報取得部により取得された情報の設置高さに対応する検出部が検出を行う
    ことを特徴とする見守り支援システム。
  2. 前記情報取得部は、前記見守り支援システムの初回起動時にのみ前記情報を取得する
    ことを特徴とする請求項1に記載の見守り支援システム。
  3. 前記撮像装置の設置高さに関する情報は、ユーザ操作に応じた情報である
    ことを特徴とする請求項1または2に記載の見守り支援システム。
  4. 前記撮像装置の設置高さに関する情報は、前記画像における前記ベッドの幅と長さの比率である
    ことを特徴とする請求項1〜3のいずれか1項に記載の見守り支援システム。
  5. 前記複数の検出部の中から、前記情報取得部により取得された情報の設置高さに対応する検出部を選択する選択部、をさらに有し、
    前記複数の検出部のうちの、前記選択部により選択された検出部が検出を行う
    ことを特徴とする請求項1〜4のいずれか1項に記載の見守り支援システム。
  6. ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    撮像装置により撮影された画像を取得するステップと、
    前記撮像装置の設置高さに関する情報を取得するステップと、
    前記画像から前記対象者を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部のうちの、取得された前記情報の設置高さに対応する検出部を用いて、前記画像から前記対象者または前記対象者の状態を検出するステップと、
    を有することを特徴とする見守り支援システムの制御方法。
  7. 請求項6に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017132365A 2017-07-06 2017-07-06 見守り支援システム及びその制御方法 Active JP6729510B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017132365A JP6729510B2 (ja) 2017-07-06 2017-07-06 見守り支援システム及びその制御方法
PCT/JP2018/025595 WO2019009377A1 (ja) 2017-07-06 2018-07-05 見守り支援システム及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017132365A JP6729510B2 (ja) 2017-07-06 2017-07-06 見守り支援システム及びその制御方法

Publications (2)

Publication Number Publication Date
JP2019016120A true JP2019016120A (ja) 2019-01-31
JP6729510B2 JP6729510B2 (ja) 2020-07-22

Family

ID=64951015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017132365A Active JP6729510B2 (ja) 2017-07-06 2017-07-06 見守り支援システム及びその制御方法

Country Status (2)

Country Link
JP (1) JP6729510B2 (ja)
WO (1) WO2019009377A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077314A (ja) * 2019-11-08 2021-05-20 ゴリラ・テクノロジー・インコーポレイテッドGorilla Technology Inc. 特定のシーンの有効分析領域を評価する方法およびシステム
JP7044217B1 (ja) * 2021-09-15 2022-03-30 三菱電機株式会社 見守りシステム及び見守り方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172850A1 (en) * 2019-04-02 2022-06-02 Cross Sync, Inc. Aggravation estimation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014182409A (ja) * 2013-03-15 2014-09-29 Nk Works Co Ltd 監視装置
WO2016199495A1 (ja) * 2015-06-11 2016-12-15 コニカミノルタ株式会社 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014182409A (ja) * 2013-03-15 2014-09-29 Nk Works Co Ltd 監視装置
WO2016199495A1 (ja) * 2015-06-11 2016-12-15 コニカミノルタ株式会社 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077314A (ja) * 2019-11-08 2021-05-20 ゴリラ・テクノロジー・インコーポレイテッドGorilla Technology Inc. 特定のシーンの有効分析領域を評価する方法およびシステム
JP7044217B1 (ja) * 2021-09-15 2022-03-30 三菱電機株式会社 見守りシステム及び見守り方法
WO2023042310A1 (ja) * 2021-09-15 2023-03-23 三菱電機株式会社 見守りシステム及び見守り方法

Also Published As

Publication number Publication date
WO2019009377A1 (ja) 2019-01-10
JP6729510B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US10786183B2 (en) Monitoring assistance system, control method thereof, and program
US11272873B2 (en) Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and recording medium
JP6822328B2 (ja) 見守り支援システム及びその制御方法
JP6729510B2 (ja) 見守り支援システム及びその制御方法
JP2020027405A (ja) 物体検出プログラム、および物体検出装置
JP6822326B2 (ja) 見守り支援システム及びその制御方法
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
US10762761B2 (en) Monitoring assistance system, control method thereof, and program
JP6870514B2 (ja) 見守り支援システム及びその制御方法
JP2022095994A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US20230412919A1 (en) Device and method for controlling a camera
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP6729512B2 (ja) 見守り支援システム及びその制御方法
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP6635074B2 (ja) 見守り支援システム及びその制御方法
US20220054046A1 (en) Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras
JP2020190850A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6729510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250