JP2018143333A - 見守り支援システム及びその制御方法 - Google Patents

見守り支援システム及びその制御方法 Download PDF

Info

Publication number
JP2018143333A
JP2018143333A JP2017039319A JP2017039319A JP2018143333A JP 2018143333 A JP2018143333 A JP 2018143333A JP 2017039319 A JP2017039319 A JP 2017039319A JP 2017039319 A JP2017039319 A JP 2017039319A JP 2018143333 A JP2018143333 A JP 2018143333A
Authority
JP
Japan
Prior art keywords
bed
image
area
determination
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017039319A
Other languages
English (en)
Other versions
JP2018143333A5 (ja
JP6635074B2 (ja
Inventor
田中 清明
Kiyoaki Tanaka
清明 田中
純平 松永
Jumpei Matsunaga
純平 松永
信二 高橋
Shinji Takahashi
信二 高橋
達哉 村上
Tatsuya Murakami
達哉 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017039319A priority Critical patent/JP6635074B2/ja
Priority to PCT/JP2017/042584 priority patent/WO2018159040A1/ja
Priority to US16/463,119 priority patent/US10853679B2/en
Priority to DE112017007156.9T priority patent/DE112017007156T5/de
Priority to CN201780070872.7A priority patent/CN109963501A/zh
Publication of JP2018143333A publication Critical patent/JP2018143333A/ja
Publication of JP2018143333A5 publication Critical patent/JP2018143333A5/ja
Application granted granted Critical
Publication of JP6635074B2 publication Critical patent/JP6635074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】画像からベッド領域を精度良く検出するための技術を提供する。【解決手段】ベッド上の対象者の見守りを支援する見守り支援システム1において、領域設定部114が、撮像装置10で撮影された領域設定用の画像を受け取り、領域設定用の画像から物体検出によりベッドの概略位置を特定し、概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定する処理を行う。検出部111は、画像取得部110により取得された画像を分析し、当該画像から、見守り対象者の所定部位(例えば、頭部、顔、上半身など)を検出する。判定部112は、検出部111の検出結果を用いて対象者の起床判定、離床判定などを行う。【選択図】図1

Description

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献1には、ベッドの斜め上方に設置したカメラの画像を用いて患者の起床や離床の動作を検出するシステムが提案されている。この種のシステムにおいては、ベッドの領域を基準にして患者の起床・離床を判定している。したがって、画像内のベッドの領域を定義する情報をあらかじめシステムに設定(教示)する必要がある。しかしながら、大型病院のようにベッド数が多い場合には、手入力でベッド領域を設定することは負担が大きく、システムの導入・設置の阻害要因となる。しかも、病院や介護施設などにおけるベッドは設置位置が固定とは限られず、移動する場合もあることから、移動する度に手入力でベッド領域を設定するのは非常に煩雑である。そこで、特許文献2では、画像からベッド領域を自動で検出する方法が提案されている。
特開2012−071003号公報 特開2016−112040号公報
特許文献2の提案方法は、画像から線型エッジを抽出し、各線型エッジの長さや線型エッジ同士の交差角度に基づいて、ベッドの輪郭を構成すると思われる線型エッジの組み合わせを絞り込む、というものである。この方法は、ベッドの輪郭が明りょうに現れ、且つ、ベッドの輪郭以外の線型エッジが少ない画像に対しては、精度よい検出が期待できる。ところが、掛布団でベッドの輪郭の一部が隠れているようなケースでは、ベッドの輪郭を構成する線型エッジの候補を抽出できず、ベッド領域を正確に検出することができない。また、ベッドカバーや掛布団の柄が直線的なテクスチャである場合や、ベッドの周囲にテーブルや医療器具などが存在する場合は、ベッドの輪郭以外にも多数の線型エッジが抽出されるため、ベッド領域の検出精度が著しく低下する可能性がある。
本発明は、上記実情に鑑みなされたものであって、画像からベッド領域を精度良く検出するための技術を提供することを目的とする。
上記目的を達成するために、本発明では、画像から物体検出によりベッドの大まかな位置を特定した後、局所範囲のうちからベッド領域を特定する、という方法を採用する。
具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、撮像装置により撮影された画像を取得する画像取得部と、ベッドの領域を基準として画像内に1つ以上の判定領域を設定する領域設定部と、前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定する判定部と、前記判定部による判定結果に応じた通知を行う出力部と、を有し、前記領域設定部は、前記画像取得部から領域設定用の画像を受け取り、前記領域設定用の画像から物体検出によりベッドの概略位置を特定し、前記概略位置を包含する局所範囲からベッドの輪郭を抽出することに
より、ベッドの領域を特定することを特徴とする見守り支援システムを提供する。
この構成によれば、ベッド領域の検出及び判定領域の設定を自動で行うことができるので、システムの導入・設置の作業が簡易になるとともに、ベッドや撮像装置を移動した場合の設定変更も容易になり、システムの利便性が向上する。また、ベッド領域の検出アルゴリズムとして、物体検出によりベッドの概略位置を特定した後、局所範囲のうちからベッドの輪郭を抽出することにより、ベッドの領域を特定する、という方法を採用したので、従来方法に比べて、ベッド領域の検出精度ならびに成功率を向上することができる。
前記領域設定部は、ベッドの画像を機械学習した識別器を用いた物体検出により、ベッドの概略位置を特定することが好ましい。検出精度とロバスト性に優れるからである。
前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であってもよい。このとき、前記識別器は、ベッドの全体を検出するものであり、前記領域設定部は、前記識別器によって検出されたベッドの全体を包含する局所範囲から、台形状の輪郭を検出してもよい。あるいは、前記識別器は、ベッドのコーナーを検出するものであり、前記領域設定部は、前記識別器によって検出されたコーナーを包含する局所範囲から、前記コーナーを起点とする線分をベッドの輪郭として検出してもよい。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システム、又は、見守り支援システムにおけるベッド領域検出装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法、見守り支援システムの制御方法、もしくはベッド領域検出方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、画像からベッド領域を精度良く検出することができる。
図1は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図2は撮像装置の設置例を示す図である。 図3は第1実施形態の領域設定処理のフローチャートである。 図4A〜図4Dは領域設定処理の画像及び判定領域の例である。 図5は見守り処理のフローチャートである。 図6は第2実施形態の領域設定処理のフローチャートである。 図7A〜図7Dは領域設定処理の画像及び判定領域の例である。
本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
<第1実施形態>
(システム構成)
図1と図2を参照して、本発明の第1実施形態に係る見守り支援システムの構成を説明する。図1は、見守り支援システム1のハードウェア構成および機能構成を模式的に示すブロック図であり、図2は、撮像装置の設置例を示す図である。
見守り支援システム1は、主なハードウェア構成として、撮像装置10と情報処理装置11を有している。撮像装置10と情報処理装置11の間は有線又は無線により接続されている。図1では、1つの撮像装置10のみ示しているが、複数台の撮像装置10を情報処理装置11に接続してもよい。
撮像装置10は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置10としては、モノクロ又はカラーの可視光カメラ、赤外線カメラなどを用いることができる。本実施形態では、夜間でも(部屋内が暗い場合でも)対象者の見守りを可能とするため、赤外線LED照明100と近赤外線カメラ101で構成される撮像装置10を採用する。撮像装置10は、図2に示すように、ベッド20の頭側上方から足側に向かって、ベッド20の全体を俯瞰するように設置される。撮像装置10は所定の時間間隔(例えば、10fps)で撮影を行い、その画像データは情報処理装置11に順次取り込まれる。
情報処理装置11は、撮像装置10から取り込まれる画像データをリアルタイムに分析し、ベッド20上の対象者21の起床動作や離床動作を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置11は、具体的な機能として、画像取得部110、検出部111、判定部112、出力部113、領域設定部114、記憶部115を有している。本実施形態の情報処理装置11は、CPU(プロセッサ)、メモリ、ストレージ(HDD、SSDなど)、入力デバイス(キーボード、マウス、タッチパネルなど)、出力デバイス(ディスプレイ、スピーカなど)、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置11の各機能は、ストレージ又はメモリに格納されたプログラムをCPUが実行することにより実現される。ただし、情報処理装置11の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよいし、上記機能の一部をASICやFPGAのような回路で実行してもよい。
画像取得部110は、撮像装置10により撮影された画像を取得する機能である。画像取得部110より入力された画像データは一時的にメモリ又はストレージに記憶され、検出部111や判定部112の処理に供される。
検出部111は、画像取得部110により取得された画像を分析し、当該画像から、見守り対象者21の所定部位(例えば、頭部、顔、上半身など)を検出する機能である。画像から所定部位を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なHaar−like特徴量やHoG特徴量を用いた識別器による手法や、近年のFaster R−CNNによる手法を用いた物体検出アルゴリズムを好ましく用いることができる。本実施形態の検出部111は、Haar−like特徴量を用いた識別器により対象者21の頭部(首より上の部分)22を検出し、検出結果として、頭部22の位置(x,y)及びサイズ(縦横のピクセル数)を出力する。頭部22の位置(x,y)は、例えば、頭部22を囲む矩形枠の中心点の画像座標で表される。なお、本実施形態の検出部111は検出結果を画像座標系の位置・サイズで出力するが、検出部111が画像座標系を空間座標系に換算し、対象者21の空間座標系における3次元位置や3次元的なサイズを出力してもよい。
判定部112は、検出部111の検出結果を用いて対象者21の起床判定、離床判定などを行う機能である。具体的には、判定部112は、頭部22の検出位置に基づいて対象者21が起床したか否か、離床したか否かなどを判定する。判定部112の判定アルゴリズムについては後述する。
出力部113は、判定部112により対象者21の起床動作ないし離床動作が検知された場合に、必要な通知を行う機能である。出力部113は、対象者21の動作の危険度合いに応じて、通知の要否(例えば、危険な状態の場合のみ通知を行う)、通知の内容(例えばメッセージの内容)、通知手段(例えば音声、メール、ブザー、警告灯)、通知先(例えば看護師、医師)、通知の頻度などを切り替えることができる。
領域設定部114は、撮像装置10により撮影される画像に対し判定領域を設定するための機能である。見守り支援システム1はベッド20上の対象者21の状態監視を目的とするため、画像内のベッド20の領域に基づき判定領域が設定される。本実施形態の見守り支援システム1は、領域設定部114によってベッド領域の検出及び判定領域の設定を自動で行う機能を有し、ユーザの利便性を向上している。具体的な検出アルゴリズムについては後述する。
記憶部115は、見守り支援システム1が処理に用いる各種のデータを記憶する機能である。記憶部115には、少なくとも、起床判定や離床判定で用いる各種パラメータ(閾値など)、判定領域の設定情報、過去複数フレームの画像データ又は検出結果(移動速度や移動方向の計算のため)を記憶するための記憶エリアが設けられる。
(ベッド領域の検出及び判定領域の設定)
図3と図4A〜図4Dを参照して、ベッド領域の検出処理及び判定領域の設定処理の一例について説明する。図3は、情報処理装置11により実行される第1実施形態の領域設定処理のフローチャートであり、図4A〜図4Dは、画像及び判定領域の例である。この処理は、判定領域が未設定の場合(例えば、見守り支援システム1の設置時など)、又は、ベッドや撮像装置10の移動に伴い判定領域を更新する必要がある場合に実行される。
ステップS30において、画像取得部110が、撮像装置10から領域設定用の画像を受け取る(図4A)。領域設定用の画像としては、ベッド20上に人や物が何も無い状態の画像やベッド20のマットレス全体が露出している画像が好ましいが、必ずしもそのような理想状態の画像でなくてもよい。後述する見守り判定処理で取り込まれる画像と同じ条件のもの(例えば人が寝ていたり、掛布団がかかっている状態の画像)を領域設定用に用いても構わない。
ステップS31では、領域設定部114が、領域設定用の画像からベッドを検出する。具体的には、図4Bに示すように、検出ウィンドウ40内の部分画像のベッドらしさを評価するという処理を、検出ウィンドウ40の位置及びサイズを変えながら繰り返すことにより、領域設定用の画像内の任意の位置に存在する任意のサイズのベッド20を検出する。このステップS31の処理は、領域設定用の画像の中からベッド20の概略位置を特定する処理に相当する。
ベッドの検出にはいかなる物体検出アルゴリズムを用いてもよいが、ベッドの画像を機械学習した識別器を用いるアルゴリズムが検出精度とロバスト性の点から好ましい。例えば、古典的なHaar−like特徴量やHoG特徴量を用いた識別器や、近年のFaster R−CNNに代表されるDeep Learningを用いた識別器などを用いることができる。
ステップS31においてベッドの検出に成功した場合は(ステップS32;YES)、ステップS33へ進み、ベッドの検出に失敗した場合は(ステップS32;NO)、処理を中断する。
ステップS33では、領域設定部114が、ベッド20の全体を包含する局所範囲41に対しエッジ抽出処理を行う。エッジ抽出には、例えば、微分フィルタやラプラシアンフィルタなど、公知のエッジ抽出方法を用いることができる。続いて、ステップS34では、領域設定部114が、エッジ抽出画像から台形状のベッド20の輪郭を検出する。輪郭検出には、例えば、ハフ変換などの公知のアルゴリズムを用いることができる。図4Cに示すように、ここで検出された台形状の輪郭(破線で示す)で囲まれた領域がベッド領域42として設定される。
ステップS35では、領域設定部114が、図4Dに示すように、ベッド領域42を基準として判定領域A1〜A3を設定する。判定領域A1は、ベッド20の頭側に設定される領域であり、就床時(対象者21がベッド20に寝ている時)に対象者21の頭部22が存在し得る範囲に対応する(以後、就床領域A1と呼ぶ)。判定領域A2は、ベッド20の足側に設定される領域であり、起床時(対象者21が上半身を起こした姿勢の時)に対象者21の頭部22が存在し得る範囲に対応する(以後、起床領域A2と呼ぶ)。本実施形態において、ベッド領域42に対する各領域A1、A2の相対的な位置・サイズが予め決められており、ベッド領域42が特定されれば各領域A1、A2の範囲は計算で定まるものとする。判定領域A3は、領域A1、A2以外の領域である。離床時(対象者21がベッドから離れた状態の時)は、対象者21の頭部22は領域A3内に存在する(以後、離床領域A3と呼ぶ)。
その後、ステップS36で、領域設定部114が、ベッド領域42の情報(ベッド領域42の四隅の座標、輪郭など)と各領域A1〜A3の情報(各領域の頂点の座標など)を記憶部115に格納し、設定処理を終了する。
(見守り処理)
図5を参照して見守り処理の一例を説明する。図5は、情報処理装置11により実行される見守り処理のフローチャートである。図5の処理フローは、撮像装置10から1フレームの画像が取り込まれる度に実行される。
ステップS50において、画像取得部110が、撮像装置10から1フレームの画像を取り込む。取得された画像は記憶部115に一時的に記憶される。次に検出部111が、ステップS50で取得された画像から対象者の頭部を検出する(ステップS51)。検出された頭部の位置(xy座標)の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部115に記憶される。
判定部112は、頭部の検出位置が領域A1〜A3のいずれに属するかを判定し、対象者の状態を分類する(ステップS52)。ここでは、頭部が就床領域A1内で検出された場合を「就床状態」、起床領域A2内で検出された場合を「起床状態」、離床領域A3内で検出された場合を「離床状態」と呼ぶ。対象者の状態の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部115に記憶される。
次に判定部112は、ステップS52で判定した対象者の状態と、記憶部115に記憶されている前フレームでの対象者の状態とを比較し、状態に変化があったか否かを調べる(ステップS53)。もし、就床状態→起床状態への変化、又は、起床状態→離床状態への変化が検出された場合は、出力部113による通知を行う(ステップS54)。その後
、ステップS50に戻って監視を続ける。
以上述べた本実施形態のシステムによれば、ベッド領域の検出及び判定領域の設定を自動で行うことができるので、システムの導入・設置の作業が簡易になるとともに、ベッドや撮像装置を移動した場合の設定変更も容易になり、システムの利便性が向上する。また、ベッド領域の検出アルゴリズムとして、画像から物体検出によりベッドの大まかな位置を特定した後、局所範囲のうちからベッド領域(ベッドの輪郭)を特定する、という方法を採用したので、従来方法に比べて、ベッド領域の検出精度ならびに成功率を向上することができる。
<第2実施形態>
次に本発明の第2実施形態を説明する。第1実施形態のベッド領域検出では、ベッドの全体を検出したのに対し、第2実施形態では、ベッドのコーナーを検出する点が異なる。それ以外の構成及び処理については第1実施形態と同様である。以下、第2実施形態に特有の構成及び処理について説明する。
図6と図7A〜図7Dを参照して、ベッド領域の検出処理及び判定領域の設定処理の一例について説明する。図6は、情報処理装置11により実行される第2実施形態の領域設定処理のフローチャートであり、図7A〜図7Dは、画像及び判定領域の例である。この処理は、判定領域が未設定の場合(例えば、見守り支援システム1の設置時など)、又は、ベッドや撮像装置10の移動に伴い判定領域を更新する必要がある場合に実行される。
ステップS60において、画像取得部110が、撮像装置10から領域設定用の画像を受け取る。図7Aに示すように、領域設定用の画像は第1実施形態で用いたものと同じでよい。
ステップS61では、領域設定部114が、領域設定用の画像からベッドのコーナーを検出する。具体的には、図7Bに示すように、検出ウィンドウ70内の部分画像のコーナーらしさを評価するという処理を、検出ウィンドウ70の位置及びサイズを変えながら繰り返すことにより、領域設定用の画像内の任意の位置に存在する任意のサイズのベッド20のコーナー71を検出する。コーナーの検出方法としては、第1実施形態で述べたベッドの検出方法と同じ技術を適用することができる(ただし、機械学習に用いる画像が、第1実施形態ではベッド全体の画像であるのに対し、第2実施形態ではベッドのコーナー部の画像である点のみ異なる。)。本実施形態では、図7Bに示すように、2種類の識別器を用いて、ベッド20の足側の左右2つのコーナー71、72を検出する。このステップS61の処理は、領域設定用の画像の中からベッド20の概略位置を特定する処理に相当する。
ステップS61において2つのコーナー71、72の検出に成功した場合は(ステップS62;YES)、ステップS63へ進み、コーナーの検出に失敗した場合は(ステップS62;NO)、処理を中断する。
ステップS63では、領域設定部114が、コーナー71、72それぞれを包含する局所範囲73、74を設定し、各局所範囲73、74に対しエッジ抽出処理を行う。エッジ抽出には、例えば、微分フィルタやラプラシアンフィルタなど、公知のエッジ抽出方法を用いることができる。続いて、ステップS64では、領域設定部114が、エッジ抽出画像からコーナー71、72を起点とし画像の下方向に向かって延びる線分75、76(破線で示す)を検出する。線分検出には、例えば、ハフ変換などの公知のアルゴリズムを用いることができる。そして、2つのコーナー71、72と2本の線分75、76とで規定される台形状の輪郭で囲まれた領域がベッド領域77として設定される。以降の処理(ス
テップS65〜S66)は第1実施形態のステップS35〜S36と同様のため説明を割愛する。
以上述べた本実施形態のシステムにおいても、第1実施形態と同様の作用効果を得ることができる。
<その他>
上記の各実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、ベッド全体又はコーナー部を検出したが、ベッドの他の特徴部分(例えば、ベッドの側端部、足側もしくは頭側の端部など)を検出することによりベッドの概略位置を特定してもよい。また、判定領域の数や形状は任意に設計できる。また、上記実施形態では頭部を検出対象としたが、頭部以外の部位(例えば、顔、顔の一部(顔器官)、上半身など)を検出対象としてもよい。
1:見守り支援システム、10:撮像装置、11:情報処理装置、110:画像取得部、111:検出部、112:判定部、113:出力部、114:領域設定部、115:記憶部
100:照明、101:近赤外線カメラ、20:ベッド、21:対象者、22:頭部
40:検出ウィンドウ、41:局所領域、42:ベッド領域、A1:就床領域、A2:起床領域、A3:離床領域
70:検出ウィンドウ、71,72:コーナー、73,74:局所領域、75,76:線分、77:ベッド領域

Claims (6)

  1. ベッド上の対象者の見守りを支援する見守り支援システムであって、
    撮像装置により撮影された画像を取得する画像取得部と、
    ベッドの領域を基準として画像内に1つ以上の判定領域を設定する領域設定部と、
    前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、
    前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定する判定部と、
    前記判定部による判定結果に応じた通知を行う出力部と、を有し、
    前記領域設定部は、
    前記画像取得部から領域設定用の画像を受け取り、
    前記領域設定用の画像から物体検出によりベッドの概略位置を特定し、
    前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定する
    ことを特徴とする見守り支援システム。
  2. 前記領域設定部は、ベッドの画像を機械学習した識別器を用いた物体検出により、ベッドの概略位置を特定する
    ことを特徴とする請求項1に記載の見守り支援システム。
  3. 前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であり、
    前記識別器は、ベッドの全体を検出するものであり、
    前記領域設定部は、前記識別器によって検出されたベッドの全体を包含する局所範囲から、台形状の輪郭を検出する
    ことを特徴とする請求項2に記載の見守り支援システム。
  4. 前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であり、
    前記識別器は、ベッドのコーナーを検出するものであり、
    前記領域設定部は、前記識別器によって検出されたコーナーを包含する局所範囲から、前記コーナーを起点とする線分をベッドの輪郭として検出する
    ことを特徴とする請求項2に記載の見守り支援システム。
  5. ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    撮像装置により撮影された画像を取得するステップと、
    ベッドの領域を基準として画像内に1つ以上の判定領域を設定するステップと、
    前記取得された前記画像から前記対象者を検出するステップと、
    前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定するステップと、
    前記対象者の状態の判定結果に応じた通知を行うステップと、を有し、
    前記判定領域を設定するステップは、
    前記画像取得部から領域設定用の画像を受け取るステップと、
    前記領域設定用の画像から物体検出によりベッドの概略位置を特定するステップと、
    前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定するステップと、を含む
    ことを特徴とする見守り支援システムの制御方法。
  6. 請求項5に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017039319A 2017-03-02 2017-03-02 見守り支援システム及びその制御方法 Active JP6635074B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017039319A JP6635074B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法
PCT/JP2017/042584 WO2018159040A1 (ja) 2017-03-02 2017-11-28 見守り支援システム及びその制御方法、並びにプログラム
US16/463,119 US10853679B2 (en) 2017-03-02 2017-11-28 Monitoring assistance system, control method thereof, and program
DE112017007156.9T DE112017007156T5 (de) 2017-03-02 2017-11-28 Überwachungshilfssystem, steuerverfahren dafür und programm
CN201780070872.7A CN109963501A (zh) 2017-03-02 2017-11-28 看护辅助系统及其控制方法、以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017039319A JP6635074B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法

Publications (3)

Publication Number Publication Date
JP2018143333A true JP2018143333A (ja) 2018-09-20
JP2018143333A5 JP2018143333A5 (ja) 2019-03-22
JP6635074B2 JP6635074B2 (ja) 2020-01-22

Family

ID=63370714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017039319A Active JP6635074B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法

Country Status (5)

Country Link
US (1) US10853679B2 (ja)
JP (1) JP6635074B2 (ja)
CN (1) CN109963501A (ja)
DE (1) DE112017007156T5 (ja)
WO (1) WO2018159040A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法
WO2014199941A1 (ja) * 2013-06-10 2014-12-18 Nkワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2015141268A1 (ja) * 2014-03-20 2015-09-24 Nkワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (ja) 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
JP2006133941A (ja) * 2004-11-04 2006-05-25 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末
CN101520850B (zh) * 2009-04-17 2012-02-15 中国科学院计算技术研究所 物体检测分类器的构造方法和物体检测方法与相应系统
JP5682203B2 (ja) 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
WO2012111150A1 (ja) 2011-02-18 2012-08-23 パイオニア株式会社 近接場光デバイス及びエネルギー移動の制御方法
JP6182917B2 (ja) * 2013-03-15 2017-08-23 ノーリツプレシジョン株式会社 監視装置
CN104637044B (zh) * 2013-11-07 2017-12-01 中国科学院深圳先进技术研究院 钙化斑块及其声影的超声图像提取系统
US20150199592A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Contour-based classification of objects
US9710706B2 (en) * 2014-09-23 2017-07-18 GM Global Technology Operations LLC Method for classifying a known object in a field of view of a camera
JP6375920B2 (ja) 2014-12-11 2018-08-22 富士通株式会社 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
JP6455234B2 (ja) 2015-03-03 2019-01-23 富士通株式会社 行動検出方法及び行動検出装置
US10198804B2 (en) * 2015-04-15 2019-02-05 Halliburton Energy Services, Inc. Method for determining fabric and upscaled properties of geological sample
WO2016199749A1 (ja) * 2015-06-10 2016-12-15 コニカミノルタ株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6150028B1 (ja) * 2015-08-10 2017-06-21 コニカミノルタ株式会社 被監視者監視システムの表示装置および表示方法ならびに被監視者監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法
WO2014199941A1 (ja) * 2013-06-10 2014-12-18 Nkワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2015141268A1 (ja) * 2014-03-20 2015-09-24 Nkワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置

Also Published As

Publication number Publication date
US20200065600A1 (en) 2020-02-27
DE112017007156T5 (de) 2019-11-21
US10853679B2 (en) 2020-12-01
WO2018159040A1 (ja) 2018-09-07
CN109963501A (zh) 2019-07-02
JP6635074B2 (ja) 2020-01-22

Similar Documents

Publication Publication Date Title
US10786183B2 (en) Monitoring assistance system, control method thereof, and program
JP6167563B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6822328B2 (ja) 見守り支援システム及びその制御方法
JP6432592B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6489117B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6958560B2 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
US10762761B2 (en) Monitoring assistance system, control method thereof, and program
JP6822326B2 (ja) 見守り支援システム及びその制御方法
JP6729510B2 (ja) 見守り支援システム及びその制御方法
JP6870514B2 (ja) 見守り支援システム及びその制御方法
WO2018159040A1 (ja) 見守り支援システム及びその制御方法、並びにプログラム
WO2020008726A1 (ja) 対象物体検出プログラム、および対象物体検出装置
JP2017041079A (ja) 動作認識装置
TWI697869B (zh) 姿態判斷方法、電子系統以及非暫態電腦可讀取記錄媒體
JP2022010581A (ja) 検知装置、検知方法、画像処理方法、およびプログラム
JP6729512B2 (ja) 見守り支援システム及びその制御方法
US20220054046A1 (en) Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras
JP7090889B2 (ja) 見守り装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191202

R150 Certificate of patent or registration of utility model

Ref document number: 6635074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250