JP2018533240A - 占有検出 - Google Patents

占有検出 Download PDF

Info

Publication number
JP2018533240A
JP2018533240A JP2018506948A JP2018506948A JP2018533240A JP 2018533240 A JP2018533240 A JP 2018533240A JP 2018506948 A JP2018506948 A JP 2018506948A JP 2018506948 A JP2018506948 A JP 2018506948A JP 2018533240 A JP2018533240 A JP 2018533240A
Authority
JP
Japan
Prior art keywords
article
edge
image
camera
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2018506948A
Other languages
English (en)
Inventor
イホール オレホビッチ キレンコ
イホール オレホビッチ キレンコ
ムクル ジュリアス ロック
ムクル ジュリアス ロック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018533240A publication Critical patent/JP2018533240A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6891Furniture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

対象者が物品を出たときを検出する装置が提供される。装置は、カメラと処理ユニットとを備え、カメラは、使用時に、対象者を支持するための上面をもつ物品の下面より下に配置され、下面は上面の反対側にある。カメラは、物品の上面を含まない連続的な像を捕捉し、像は、物品の下面より下における領域に対応した前景と物品に隣接した領域に対応した背景とを含む。処理ユニットは、カメラから像を受信することと、各像に対して、物品の縁部に対応した縁部を検出することと、縁部と隣接する特徴の出現を検出することと、検出された特徴が或る期間にわたってどのように変化するかを監視することと、検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定することと、決定に基づいて信号を出力することとを行う。

Description

本発明は、対象者が物品を出たときを検出する装置、システム、及び方法に関する。
対象者の動き及び/又は位置を検出することは、いくつかの健康管理用途において重要である。例えば、多くの場合、病院用ベッド内の患者が特定の手法で動くことを防ぐことが所望される。投薬、記憶障害、老齢、及び/又は他の身体障害の結果として、補助なしでベッドを離れようとする患者は、多くの場合、転倒し、患者自身を傷付ける。補助のない患者の動きは、その患者に装着された医療デバイスが外れて、適切に機能しなくなる事態をももたらし得る。
しかし、臨床的な補助なしでベッドを出てはならない患者の監視は、病院職員に非常に大きな負担をかけ得る。
ベッド占有検出のために使用される現在の方法の多くが、ベッドの方を向いたカメラを使用する。いくつかの例では、人(例えば、医療専門家)がカメラから供給される像を継続的に監視しなければならない。米国特許出願公開第2009/0278934号において説明されるシステムなどの他の例では、ベッドを出る事象を検出するために自動化された像分析が使用されるが、これは、ベッドの境界を検出するために、及び、対象者の動きを分類するために複雑なアルゴリズムを必要とする。このようなアルゴリズムは、対象者の動き以外の動き(例えば、ベッドから落ちるブランケット)によって混乱することがあり、対象者がベッドを出ようとしていないときに、誤った警報を発させる。このようなアルゴリズムは、監視される対象者の位置及び/又は動きを連続的に推定するので、多くのこのようなアルゴリズムは、かなり多くの演算リソースをも必要とする。さらに、自動化されたカメラベースのシステムは、カメラとベッドとの相対位置が変わるたびに再較正を必要とし、このような再較正が実施されない場合に信頼できなくなる。さらなる問題は、監視される対象者のプライバシーである。対象者の像が連続的に記録されることを監視システムが必要とするとき、プライバシーが守られることを確実にすることは困難であり得る。
米国特許出願公開第2014/240479(A1)号の文献は、挙動が見守られる、見守り対象の人の像と、見守り対象の人の挙動に対する基準として機能する対象物体として使用されるベッドの像とを捕捉するカメラを備える情報処理装置に関する。獲得された像から装置が動く物体のエリアを検出し、動く物体のエリアと対象物体との間の位置関係に基づいて、見守り対象の人の所与の挙動を推定する。
したがって、信頼性が高く、目立ちすぎず、演算的に高効率であり、さらに、病院用ベッド及び/又は他の物品を占有する対象者を監視して、対象者がベッド又は他の物品を離れようとするときにそのことを検出することができる自動化された監視システムが必要とされる。
本発明の第1の態様によると、対象者が物品を出たときを検出する装置が提供される。装置は、使用時に物品の下面の下又は下方に配置されるように適応されたカメラを備える。物品は、対象者を支持するための上面をもち、下面は上面の反対にある。カメラは、物品の上面を含まない連続的な像を捕捉するように配置され、像は、物品の下面の下又は下方の領域に対応した前景と、物品に隣接した領域に対応した背景とを含む。装置は、処理ユニットをさらに備える。処理ユニットは、カメラから像を受信することと、受信された像の各々について、物品の縁部に対応した縁部を検出することと、受信された像内において、縁部と隣接する特徴の出現を検出することと、検出された特徴が或る期間にわたってどのように変化するかを監視することと、期間にわたる検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定することと、決定に基づいて信号を出力することとを行うように構成される。
いくつかの実施形態において、カメラは、物品の下面の少なくとも一部を含む連続的な像を捕捉するように配置される。いくつかのこのような実施形態において、物品の縁部に対応した縁部が、物品の下面の少なくとも一部の縁部を含むことにより、縁部の第1の側に隣接した各像の第1の部分は、物品の下面を示し、縁部の反対側の第2の側に隣接した各像の第2の部分は、物品の下面を示さない。
いくつかの実施形態において、処理ユニットは、受信された像の各々の縁部のうちの既定の1つが、物品の縁部に対応した縁部であることを検出するように構成される。いくつかの実施形態において、処理ユニットは、第1の時点において獲得された第1の像を、後の第2の時点において獲得された第2の像と比較することと、縁部と隣接する特徴が第2の像内に存在するが第1の像内に存在しない場合に、縁部と隣接して特徴が現れたと決定することとにより、縁部と隣接する特徴の出現を検出するように構成される。
いくつかの実施形態において、処理ユニットは、第1の時点において獲得された第1の像内における特徴の特性についての第1の値を決定することと、後の第2の時点において獲得された第2の像内における特徴の特性についての第2の値を決定することと、第2の値を第1の値と比較することとにより、期間にわたる検出された特徴の変化を監視するように構成される。いくつかのこのような実施形態において、特徴の特性は、特徴の寸法、特徴の形状、特徴の位置、影の縁部に直交する特徴の延び、特徴の深度のいずれか1つである。
いくつかの実施形態において、処理ユニットは、第1の値と第2の値と第1の像の獲得時点と第2の像の獲得時点とに基づいて、期間にわたる検出された特徴の変化率を特定することにより、期間にわたる検出された特徴の変化を監視するように構成される。いくつかの実施形態において、処理ユニットは、期間にわたる検出された特徴の変化を、期間にわたる検出された特徴の動きの方向を特定することにより、監視するように構成される。
いくつかの実施形態において、対象者が出る事象についての少なくとも1つの既定の基準は、検出された特徴の動きの方向に関係した条件を含む。いくつかの実施形態において、対象者が出る事象についての既定の基準は、期間中の縁部から離れる方向における検出された特徴の動きが、既定の基準を満たすと処理ユニットにより決定され、縁部に向かう検出された特徴の動きが、既定の基準を満たさないと処理ユニットにより決定されるように規定される。いくつかの実施形態において、対象者が出る事象についての既定の基準は、期間中の受信された像の平面内に向かう方向における検出された特徴の動きが、既定の基準を満たすと処理ユニットにより決定され、受信された像の平面から出る検出された特徴の動きが、既定の基準を満たさないと処理ユニットにより決定されるように規定される。
いくつかの実施形態において、装置は、さらに、対象者が物品に入ったときを検出するためのものである。いくつかのこのような実施形態において、処理ユニットは、期間にわたる検出された特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かを決定するようにさらに構成される。いくつかの実施形態において、対象者が入る事象についての既定の基準は、影の縁部から離れる方向又は受信された像の平面内に向かう方向における期間にわたる検出された特徴の動きが、既定の基準を満たさないと処理ユニットにより決定されるように規定される。
いくつかの実施形態において、カメラは、深度カメラを備える。いくつかの実施形態において、カメラは、広角カメラを備える。
本発明の第2の態様によると、対象者が物品を出たときを検出するシステムがさらに提供される。システムは、対象者を支持するための上面と、上面の反対側に下面とをもつ物品を備える。システムは、使用時に物品の下面の下又は下方に配置されるように適応されたカメラをさらに備える。カメラは、物品の上面を含まない連続的な像を捕捉するように配置され、像は、物品の下面の下又は下方の領域に対応した前景と物品に隣接した領域に対応した背景とを含む。システムは、処理ユニットをさらに備える。処理ユニットは、カメラから像を受信することと、受信された像の各々について、物品の縁部に対応した縁部を検出することと、受信された像内において、縁部と隣接する特徴の出現を検出することと、検出された特徴が或る期間にわたってどのように変化するかを監視することと、期間にわたる検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定することと、決定に基づいて信号を出力することとを行うように構成される。
本発明の第3の態様によると、対象者が物品を出たときを検出する方法がさらに提供され、物品は、対象者を支持するための上面をもち、下面は上面の反対にある。本方法は、
物品の下面の下又は下方に配置されたカメラにより捕捉された連続的な像を受信するステップであって、像が、物品の上面を含まず、物品の下面の下又は下方の領域に対応した前景と物品に隣接した領域に対応した背景とを含む、受信するステップと、
受信された像の各々について、物品の縁部に対応した縁部を検出するステップと、
受信された像内において、縁部と隣接する特徴の出現を検出するステップと、
検出された特徴が或る期間にわたってどのように変化するかを監視するステップと、
期間にわたる検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定するステップと、
決定に基づいて信号を出力するステップと、
を有する。
したがって、本発明の実施形態は、従来のカメラベースの監視システムよりかなり少ない演算リソースを使用しながら、物品を占有する対象者の動きを、高い信頼性で、且つ目立たずに監視し得るシステムを有益に提供する。このようにして、ベッド(又は、他の)を出る事象が自動的に検出され得、医療従事者の監視負担をかなり低減し得る。
本発明の場合、カメラが物品の下面の下又は下方にあるとは、好ましくは、カメラが少なくとも部分的に、床上、若しくは地面上、若しくは物品が載置される表面上、又は、物品に到達する若しくは物品から離れるために対象者が歩く必要のある表面上の、物品の下面の射影(好ましくは、正射影)内にあることを表す。
さらに、本発明の場合、カメラにより捕捉された像内における前景及び背景は、好ましくは、カメラの焦点面に直交する方向に沿って前景が背景よりカメラに近いように配置される。
本発明をよりよく理解するために、及び、本発明がどのように実現されるかをより明確に示すために、ここで、単なる例示として添付図面が参照される。
本発明の概括的な実施形態に従った、対象者が物品を出たときにそのことを検出する例示的な装置の図である。 ベッドに隣接した領域を含む像を捕捉するための第1の配置において使用される、図1に示す例示的な装置のカメラを示す図である。 ベッドに隣接した領域を含む像を捕捉するための第2の配置において使用される、図1に示す例示的な装置のカメラを示す図である。 本発明の実施形態に従った、対象者が出る事象を表す例示的な一連の2D像を示す図である。 本発明の実施形態に従った、対象者が出る事象を表す例示的な一連の深度像を示す図である。 本発明の実施形態に従った、複数のカメラを備える例示的な装置を示す図である。 対象者が出る事象中に使用される、図1に示す例示的な装置のカメラを示す図である。 本発明の概括的な実施形態に従った、対象者が物品を出たときにそのことを検出する方法を描いたフロー図である。
図1は、概括的な実施形態に従った、対象者が物品を出たときにそのことを検出する装置10を示す。装置は、カメラ12と処理ユニット13とを備える。
「処理ユニット(processing unit)」という用語は、本明細書において、信号又はデータに応答して処理するエンティティ若しくはシステム、及び/又は、自律的に処理するエンティティ若しくはシステムなどの、処理するためのエンティティ又はシステムを表すために使用される。処理ユニットは、マイクロプロセッサ、マイクロ制御装置、プログラム可能デジタル信号プロセッサ、集積回路、コンピュータソフトウェア、コンピュータハードウェア、電気回路、特定用途向け集積回路、プログラム可能論理デバイス、プログラム可能ゲートアレイ、プログラム可能アレイ論理、パーソナルコンピュータ、チップ、及び、独立したアナログ、デジタル、又はプログラム可能コンポーネントの任意の他の組み合わせ、又は、処理機能を提供することが可能な他のデバイスを包含すると理解されなければならない。
カメラ12は、使用時に物品の下面より下に配置されるように構成され、物品は、対象者を支持するための上面をもち、下面は上面の反対側にある。カメラ12は、物品の上面を含まない連続的な像を捕捉するように配置され、像は、物品の下面より下における領域に対応した前景と、物品に隣接した領域に対応した背景とを含む。カメラ12の視界(FOV:field of view)は、図1に示す破線により示される。いくつかの実施形態において、カメラ12は、例えば、飛行時間カメラ、ステレオカメラ、レンジカメラ、構造化されたIR光を使用する深度カメラなどの、深度カメラ又はセンサーを備える。いくつかの実施形態において、カメラ12は、例えば、魚眼レンズを備えるカメラといった広角カメラを備える。有益には、魚眼レンズにより提供されるものなどの非常に広角のカメラは、多くの場合、物品の下面のすべての縁部がカメラのFOV内に入るように配置され得る。これは、物品のうち、その物品から対象者が出る可能性のあるすべての側が、単一のカメラを使用して監視されることを可能にする。
いくつかの実施形態において、装置10は、複数のカメラを備える。いくつかのこのような実施形態において、複数のカメラの各々は、物品に隣接した異なる背景領域を見るように配置され得る。例えば、いくつかの実施形態において、第1のカメラは、物品の第1の側に隣接した背景領域を見るように配置され得、第2のカメラは、物品の反対側である第2の側に隣接した背景領域を見るように配置され得る。有益にはこれは、捕捉された像のうちの任意の画像内に物品の対象者支持面が存在することを必要とせずに、物品のうち、物品を対象者が出ることが可能なすべての側が装置により同時に監視されることを可能にし得る。したがって、物品を占有する対象者のプライバシーが守られ得る。いくつかの実施形態において、複数のカメラは、異なる種類のカメラを備える。一例において、装置10は、同じ前景及び背景領域を見るように配置された2Dカメラと深度カメラとを備える。有益には、2Dカメラと深度カメラとを組み合わせて使用することは、捕捉された像内の特徴を正確にセグメント分けし易くし得る。
カメラ12は、表面の連続的な像を捕捉するように配置される。いくつかの実施形態において、カメラ12は2Dカメラである。いくつかの実施形態において、カメラ12は広角カメラである。好ましくは、カメラのFOVは、物品のうち、その物品から対象者が出る、又はその物品に入る可能性のある側の全体を包含するのに十分な広さである。いくつかの実施形態において、カメラ12は、複数の連続したビデオフレームを含むビデオストリームを捕捉するように構成されたビデオカメラである。いくつかの実施形態において、カメラは、例えば記録期間中に一連の静止像を捕捉するように構成されたスチルカメラである。いくつかの実施形態において、カメラ12は、物品の下面に直接、又は搭載部材を介して装着可能であるように構成される。いくつかのこのような実施形態において、カメラ12は、物品の下面に固く装着可能であるように構成されているので、カメラ12は、物品の下面の動きにともなって一緒に動く。いくつかの実施形態において、カメラ12は、物品が載置される表面、例えば床により支持されるように構成される。
いくつかの実施形態において、装置は、少なくとも物品に隣接した背景領域を照らすように構成された光源(図示せず)をさらに備える。いくつかのこのような実施形態において、光源は、指向性光源である。いくつかの実施形態において、光源は、非指向性光源である。いくつかの実施形態において、光源は、カメラ12内に備えられる。いくつかの実施形態において、光源は、光源により照射される実質的にすべての光が既定の範囲内の波長をもつように構成される。いくつかの実施形態において、光源は、装置が使用される場所で他の光源が有意な量の光を照射しない波長、又は、光源により照射される波長での光の強度に比べて高い強度で光を照射しない波長で、光を照射するように構成される。いくつかのこのような実施形態において、光源は、既定の範囲内の波長をもつ光の通過を可能にするように構成された光学フィルタを備える。いくつかの実施形態において、光源は、近赤外(IR:infrared)光を照射するように構成される。有益には、近IR光を使用する光源は、対象者又は病院職員に対する視覚的な妨害を防ぎ得る。
装置10が、光源により照射される実質的にすべての光が既定の範囲内の波長をもつように構成された光源を備えるいくつかの実施形態において、カメラ12は、光源により照射される光と同じ種類の光を検出するように構成される。例えば、近IR光を照射するように光源が構成されたいくつかの実施形態において、カメラ12は、近IR光を検出するように、及び、検出された近IR光に基づいて像を生成するように構成される。光源により照射される実質的にすべての光が既定の範囲内の波長をもつように(例えば、光学フィルタを備える光源により)光源が構成されたいくつかの実施形態において、カメラは、既定の範囲内の波長をもつ光を検出するように構成される。いくつかのこのような実施形態において、カメラ12は、既定の範囲内の波長をもつ光の通過を可能にするように、及び、既定の範囲の外部の波長をもつ光の通過を阻止するように構成された光学フィルタを備える。
処理ユニット13は、例えば通信リンク15を介して、カメラ12から像を受信するように構成される。通信リンク15は、有線又は無線である。装置が2Dカメラと深度カメラとを備えるいくつかの実施形態において、処理ユニット13は、2Dカメラと深度カメラとの両方から像を受信するように構成される。いくつかのこのような実施形態において、処理ユニット13は、2Dカメラから受信された各像を、深度カメラから同時に獲得された対応する像と結合するように構成される。いくつかの実施形態において、処理ユニット13は、2D像と深度像とを並列に処理するように構成される。
装置が2Dカメラと深度カメラ/センサーとを備えるいくつかの実施形態において、処理ユニット13は、2Dカメラと深度カメラとの両方から像を受信するように構成される。いくつかのこのような実施形態において、装置は、2Dカメラから受信された各像を、深度カメラから同時に獲得された対応する像と結合するように構成される。
処理ユニット13は、受信された像の各々に対して、物品(すなわち、下にカメラ12が配置される物品)の縁部に対応した縁部を検出するようにさらに構成される。いくつかの実施形態(例えば、カメラが、物品のどの部分もカメラにより捕捉された像内に含まれないように配置されるものである実施形態)において、処理ユニットは、(例えば、受信された像内に含まれる物体又は特徴の向き、及び/又は、処理ユニット13のメモリに記憶された既定のルールに基づいて)受信された像のどの縁部が物品の縁部に最も近いかを特定すること、及び、この最も近い縁部を、物品の縁部に対応した縁部として選択することにより、物品の縁部に対応した縁部を検出するように構成される。いくつかの実施形態において、処理ユニット13は、物品の縁部に対応した縁部として、カメラ12の向きに対して規定された、受信された像の特定の縁部(例えば、上縁部)を検出するように構成される。
図2aは、装置10のカメラ12が装着されるベッド20の部分を通る断面を示す。ベッドは、床22上に載置される。カメラ12のFOVは、グレーの陰影が付けられたエリアにより示される。したがって、カメラ12により捕捉された像は、ベッド20の下面より下における領域23を前景内に含み、ベッド20に隣接した領域24を背景内に含むことが理解され得る。前景領域23と背景領域24との間の境界は、点線Aにより示される。カメラ12は広角カメラであり、ベッド20の下面の縁部25がカメラ12のFOV内に入るようにベッド20の下、特に下方に位置するので、縁部25が、カメラ12により獲得された像内に含まれる。
図2bは、装置10及びベッド20の代替的な配置を示す。この例においては、ベッド20の下面の縁部25がカメラ12のFOV内に入らないように、カメラ12がベッド20の下に位置する。これは、カメラ12とベッドの下面の縁部25との間の距離を減らすことにより達成される。その結果、図2bに示す配置では、カメラ12により獲得された像内に縁部25が含まれない。
下にカメラ12が配置される物品の縁部が受信された像内に含まれない(図2bに示されるものなどの)実施形態において、処理ユニットは、受信された像の各々について、像の縁部のうちの1つを、物品の縁部に対応した縁部として検出するように構成される。当技術分野において知られた任意の適切なアルゴリズム又は技術が、このような検出を実現するために使用される。好ましくは、処理ユニット13は、物品の縁部に最も近い像の縁部を、物品の縁部に対応した縁部として検出するように構成され(例えば、図2bから理解され得るように)、物品より下にあるカメラの場合は、概して、受信された像の各々の上部(すなわち、床から最も遠い)が物品の縁部に最も近い。
下方にカメラ12が配置される物品の縁部が受信された像内に含まれる(図2aに示されるものなどの)実施形態において、処理ユニット13は、受信された像内において物品の縁部を検出するために、当技術分野において知られた任意の適切な縁部検出アルゴリズムを使用するように構成される。好ましい実施形態において、光源(光源が装置10の一部を構成する必要はなく、その代わり、光源は、装置10が使用される部屋の光源、例えば、シーリングライト、ランプ、又は窓を含み得る)は、監視される物品より下に位置しない。これは、物品の縁部が受信された像内にシルエットとして現れることを意味する。シルエットは一般に、明確に規定された高コントラストの物体であり、したがって、単純な画像処理技術を使用して直接的に検出するためのものである。その結果、物品の縁部を検出するために必要とされる演算リソースは、例えば、ベッド上の対象者を検出するために必要とされる演算リソースと比較して低い。しかし、監視される物品の下(好ましくは、下方)に光源が提供される他の実施形態が可能である。特に、カメラ12が深度カメラを備える実施形態において、深度カメラは、専用光源を備えるか、又は専用光源に関係する。物品の縁部が物理的な世界において直線状である場合でも、受信された像内で物品の縁部が直線状の特徴として現れる必要はない。例えば、カメラが魚眼レンズを備える実施形態において、物品の直線的な縁部は、受信された像内において湾曲した縁部として現れる。
処理ユニット13は、受信された像内において、検出された縁部と隣接する特徴の出現を検出するようにさらに構成される。特徴は、例えば、縁部の局部的な変形、縁部に触れる又は重なる影又はシルエット、縁部に触れる又は重なる物体などを含む。特徴の特性が、受信された像を獲得するために使用されるカメラ12の種類に依存し得ることが理解される。例えば、カメラ12が深度カメラを備える実施形態において、特徴は、その周辺とは異なる深さをもつ像の明確に規定された領域を含み得る。特徴の特性は、縁部が、像の縁部であるか、受信された像に含まれる縁部(すなわち、物品の縁部)であるか否かにも依存し得る。例えば、像の縁部は変形することができないが、像の縁部に触れるか又は重なる、物体、シルエット、又は影が現れることが可能であることが理解される。
いくつかの実施形態において、処理ユニットは、受信された像内に含まれる縁部の下(すなわち、物品が載置される表面に最も近い)側に現れる特徴を検出するように構成され、このような縁部の反対(上)側に現れる特徴を検出するようには構成されない(又は、検出しないように構成される)。検出された縁部の上方における像の領域は、物品の下面のみを示すので、この領域に現れる任意の特徴は、アーチファクトであると想定され、対象者が物品を出ることを表さない。したがって、検出された縁部の上面に現れる特徴を検出しないように処理ユニット13を構成することが装置10の信頼性を改善し得る。
いくつかの実施形態において、処理ユニット13は、第1の時点において獲得された(いくつかの実施形態において、ビデオフレームを含む)第1の像を、後の第2の時点において獲得された(いくつかの実施形態において、ビデオフレームを含む)第2の像と比較することにより、検出された縁部と隣接する特徴の出現を検出するように構成される。第2の時点は、(どれくらい頻繁にカメラ12が像/ビデオフレームを獲得するように構成されるかに関連して可能である限り)第1の時点の直後であるか、又は代替的に、第1の時点から所定の長さの期間の後である。いくつかのこのような実施形態において、検出された縁部と隣接する特徴が第2の像内に存在するが、第1の像内に存在しない場合、処理ユニットは、縁部と隣接する特徴が現れたと決定するように構成される。いくつかの実施形態において、処理ユニット13は、受信された像の(時間的に)連続したペアの各々についてこのような比較を実施するように構成される。
処理ユニット13は、検出された特徴(すなわち、検出された縁部と隣接して現れた特徴)が期間にわたってどのように変化するかを監視するようにさらに構成される。いくつかの実施形態において、処理ユニットは、第1の時点において獲得された第1の像内における特徴の特性についての第1の値を決定することと、後の第2の時点において獲得された第2の像内における特徴の特性についての第2の値を決定することと、第2の値を第1の値と比較することとにより、期間にわたる検出された特徴の変化を監視するように構成される。特徴の特性は、例えば、特徴の寸法、特徴の面積、特徴の形状、特徴の位置、縁部に直交した特徴の延び、像内における特徴の客観的深度、像の別の部分に対する特徴の深度などであり得る。いくつかの実施形態において、処理ユニット13は、第1の値と第2の値と第1の像の獲得時点と第2の像の獲得時点とに基づいて、期間にわたる検出された特徴の変化率を特定するように構成される。いくつかの実施形態において、処理ユニットは、期間にわたる検出された特徴の動きの方向を特定することにより、期間にわたる検出された特徴の変化を監視するように構成される。カメラ12が深度カメラを備える実施形態において、検出された特徴の動きの方向は、連続した像内における特徴の深度の増加又は減少により示される、像の平面内又は像の平面外に向かう方向であり得る。
図3aは、可視光2Dカメラにより得られる像の例示的なセットを示し、(左下の像から反時計回りにたどった場合に)ベッドを出る事象(又は、左上の像から時計回りにたどった場合に、ベッドに入る事象)を表す。第1の(すなわち、左下の)像内において、ベッドの下面の縁部35が、像の上縁部にわたって広がる黒いラインとして視認可能である。ベッドに隣接した背景領域がさらに、縁部35より下で視認可能である。この画像内には、縁部35と隣接する特徴が存在しない。次の(下中央の)像内には、対象者の脚が特徴36として現れている。脚は、像内において縁部35と隣接する2つの高コントラストの物体として視認可能である。後続の像内において、(対象者が床に向けて脚を降ろすにつれて)縁部35に対する脚の特徴36の寸法と広がりが大きくなる。装置10の例示的な一実施形態において、処理ユニットは、縁部35を、物品の縁部に対応した縁部として検出するように、脚を、検出された縁部と隣接して現れた特徴として検出するように、及び、連続した像の各々内における脚の特徴の1つの又は各々の延びを特定し、連続した像のペア間の延び値を比較することにより、検出された脚の特徴36の変化を監視するように構成される。
図3bは、(左下の像から反時計回りにたどった場合)同じベッドを出る事象を表すが深度カメラにより得られる像の例示的なセットを示す。カメラからのベッド縁部の(背景に比べて)比較的小さく一定の深度に起因して、ベッド縁部は、深度像内において明確に規定された縁部の特徴35として現れることが理解され得る。下中央の像から、対象者の脚が、縁部35から下向きに延びた直線状の特徴36として現れる。また、脚がベッドに近い期間中、脚は、明確に規定された特徴として現れる。対象者がベッドから離れる(したがって、カメラから離れる)ように動くにつれて、脚の特徴36の明確さが低下することが理解され得る。しかし、脚の特徴のセグメント分けは、図3bに示す深度像の場合には、深度像内において背景物体が完全に視認不能なので、図3aに示す2D像の場合より簡単なタスクであることが理解される。他の点では、検出された縁部と隣接して現れる特徴の検出及び監視は、2D像と同様に深度像を使用して同じ手法で実施され得る。
いくつかの実施形態において、処理ユニットが検出された特徴の変化を監視するように構成された期間は、特徴が受信された像内に存在する期間を含む。例えば、図3a及び図3bに示されるシナリオにおいて、期間は、脚の特徴が存在した、最も早く獲得された像である下中央の像から始まる。このような実施形態において、期間は、脚の特徴が存在した、最新の像である像で終了し得る。このような実施形態において、処理ユニット13は、特徴が存在した、最も早く獲得された像の獲得時点を、特徴が存在した、最新の獲得された像の獲得時点と比較することにより、期間の持続期間を特定し得る。いくつかの実施形態において、処理ユニットが検出された特徴の変化を監視するように構成された期間は、検出された特徴が存在する、最も早く獲得された像から始まる固定長の期間を含む。
いくつかの実施形態において、処理ユニットは、例えば、特徴特性値、差分値などの時系列に沿った値に基づいて、変化信号を生成するように構成される。処理ユニット13は、受信された像内における特徴の検出及び監視において、任意の適切な知られた信号分析及び特徴抽出技術を使用するように構成され得る。
処理ユニット13は、検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定するようにさらに構成される。いくつかの実施形態において、既定の基準は、1つ又は複数の条件のセットを含む。いくつかの実施形態において、対象者が出る事象についての少なくとも1つの既定の基準は、期間にわたる検出された特徴の所与の特性の変化に対する閾値(例えば、最小閾値)を含む。いくつかの実施形態において、対象者が出る事象についての少なくとも1つの既定の基準は、期間にわたる検出された特徴の変化の方向(例えば、増加、減少)を特定する条件を含む。いくつかの実施形態において、対象者が出る事象についての少なくとも1つの既定の基準は、検出された特徴の動きの方向に関する条件を含む。いくつかの実施形態において、対象者が出る事象についての少なくとも1つの既定の基準は、変化信号の形状に関する条件を含む。変化信号の形状に関する条件は、変化信号のばらつきの程度、変化信号のばらつきが既定の閾値を上回る時間長、変化信号におけるピークの相対位置、変化信号におけるピークの相対高さ、変化信号の下方の面積、変化信号が既定の閾値を上回る期間の頻度などのうちのいずれか又はすべてを含み得る。
いくつかの実施形態において、対象者が出る事象についての既定の基準は、期間中における縁部から離れる方向における検出された特徴(すなわち特徴が隣接して現れた検出された縁部)の動きが、既定の基準を満たすと処理ユニットにより決定されるように、及び、縁部に向かう方向における検出された特徴の動きが、既定の基準を満たさないと処理ユニットにより決定されるように規定される。いくつかのこのような実施形態において、処理ユニット13は、特徴が影と隣接して最初に検出された後、特徴の所与の部分と検出された縁部との間の距離が、既定の期間(例えば、1分)にわたって平均して大きくなる場合、検出された特徴の動きの方向が検出された縁部から離れると決定するように構成される。
いくつかの実施形態において、処理ユニット13は、様々な異なる種類のベッドを出る事象(例えば、ベッドの外に落ちること、上半身を起こした後でベッドを出ること、うつ伏せの位置から床上に脚を降ろすなど)に対応した既定の変化の徴候のセットを記憶するメモリを備えるか、又は、メモリと通信する。変化の徴候は、例えば、上述の任意の種類の1つ又は複数の変化信号、及び/又は、1つ又は複数の特徴の特性の変化に関する条件のセットを含む。いくつかのこのような実施形態において、少なくとも1つの基準は、変化の徴候を含み、検出された特徴の変化が少なくとも1つの既定の基準満たすか否かを決定することは、検出された特徴に対して生成された変化信号が変化の徴候に整合するか否かを決定することを含む。いくつかの実施形態において、処理ユニット13は、検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かの各決定に関する信頼性情報を計算するようにさらに構成される。
いくつかの実施形態において、対象者が出る事象についての既定の基準は、対象者以外の人又は物品を表す特徴の変化が、既定の対象者が入る基準を満たさないように規定される。例えば、最小変化率を必要とする条件は、無生物の物体に対応した特徴を排除するために、既定の基準に含まれ得る。カメラが深度カメラである実施形態において、特徴が最小深度閾値より近いことを必要とする条件が、監視される物品の近傍にあるが、物品の縁部に直接隣接して位置しない人又は物体に対応した特徴を排除するために、既定の基準に含まれ得る。いくつかのこのような実施形態において、最小時間長にわたって特徴が最小深度閾値より近いことを必要とする条件が、既定の基準に含まれ得る。いくつかの実施形態において、処理ユニットは、対象者以外の人(例えば、介護者、清掃員、家族)により共通して示される様々な異なる動きパターンに対応した既定の「他の人」の変化の徴候のセットを含む。いくつかのこのような実施形態において、対象者が出る事象についての既定の基準は、「他の人」の変化の徴候のうちの1つに整合する検出された特徴に対して生成された変化信号が、既定の基準を満たさないと決定されるように規定される。
処理ユニット13は、決定に基づいて信号を出力するようにさらに構成される。いくつかの実施形態において、信号は、例えば、処理ユニット13との有線又は無線通信リンクをもつデバイスへの制御信号を含む。このようなデバイスは、例えば、通信デバイス、ディスプレイデバイス、警報デバイスなどであり得る。このような実施形態において制御信号は、例えば、
警報デバイス(例えば、視覚又は音声警報生成デバイス)が警報を生成することと、
通信デバイスが介護者へのメッセージを生成することと、
通信デバイスが対象者へのメッセージを生成することと、
通信デバイスが遠隔デバイス(例えば、医療専門家のポケットベル、PDA、又は携帯電話)に信号を送信することと、
ディスプレイデバイス(例えば、モニター又はスクリーン)が情報を表示することと、
のうちの1つ又は複数を生じさせるように構成される。
いくつかの実施形態において、信号は、例えば、ベッドを出る事象が検出されたことを示す介護者へのメッセージを含む。いくつかの実施形態において、信号は、例えば、補助が到達するまでベッド内に留まるように対象者に命令する対象者へのメッセージを含む。いくつかの実施形態において、処理ユニットは複数の信号を、例えば、通信信号を、医療専門家の携帯電話などの通信デバイスに、及び、制御信号を、警報デバイスに出力して、警報デバイスに警報を生成させるように構成される。
装置10が複数のカメラを備えるいくつかの実施形態において、複数のカメラの各々は、同じ物品より下で使用するためのものである。しかし、複数のカメラの各々は、物品の異なる縁部、例えば、物品の第1の側に関係した第1の縁部及び物品の異なる第2の側に関係した第2の縁部の方向を向くように配置される。したがって、各カメラは、物品に隣接した異なる背景領域の像を捕捉する。いくつかの実施形態において、各カメラが、対象者が物品を出る可能性のある物品の異なる側に隣接した背景領域を見る。有益には、物品の異なる側に隣接した領域を見るために複数のカメラを使用する実施形態は、対象者が物品を出る可能性のある物品のすべての側が監視されることを可能にし、出る事象が装置10により見落とされないことを確実にする。したがって、このような実施形態は、高い検出感度をもつ。
例えば、図4は、このような実施形態の一つを示す。本実施形態において、第1のカメラ41aが、ベッドの第1の側に隣接した背景領域を見るようにベッド40のベッドベースに固定され、第2のカメラ41bが、ベッド40の第2の側に隣接した背景領域を見るように第1のカメラとは逆方向を向いてベッドベースに固定される。カメラ41a、41bは、ベッド40の下面の縁部45a、45bがカメラ41a、41bにより捕捉された像内に含まれないように配置される。しかし、カメラ41a及び41bが含まれる装置の処理ユニットは、第1のカメラ41aにより捕捉された像の上縁部を、第1の側のベッド縁部45aに対応した第1の縁部として検出するように、及び、第2のカメラ41bにより捕捉された像の上縁部を、第2の側のベッド縁部45bに対応した第2の縁部として検出するように配置される。いくつかのこのような実施形態において、処理ユニット13は、第1のカメラにより捕捉された像内において、第1の検出された縁部と隣接する特徴の出現を検出し、それと同時に、第2のカメラにより捕捉された像内において、第2の検出された縁部と隣接する特徴の出現を検出するように配置される。検出された特徴の動きは、次に、像の両方のセットに対して同じ手法で処理ユニット13により分析され、像の各セット内における1つ又は複数の検出された特徴の動きが同時に監視される。
いくつかの実施形態において、装置10はさらに、対象者が物品に入ったときにそのことを検出するためのものである。このような実施形態において、処理ユニット13は、期間にわたる検出された特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かを決定するようにさらに構成される。対象者が入る事象についての少なくとも1つの既定の基準は、対象者が出る事象についての少なくとも1つの基準に関連した上述の特徴のうちの任意の特徴を含む。しかし、対象者が入る事象は、典型的には、対象者が出る事象とは逆方向における(例えば、特徴の特性の)変化をともなうことが理解される。例えば、特徴エリアの特性は、(図3a及び図3bにより示されるように)対象者が出る事象中に増加すると想定され、対象者が入る事象中に減少すると想定される。
いくつかの実施形態において、対象者が入る事象についての既定の基準は、検出された縁部から離れる方向における、期間にわたる検出された特徴の動きが、既定の基準を満たさないと処理ユニットにより決定されるように規定される。いくつかの実施形態において、対象者が入る事象についての既定の基準は、対象者以外の人又は物品を表す特徴の変化が、既定の対象者が入る基準を満たさないように規定される(これは、例えば、対象者が出る事象についての既定の基準に関連した上述のものと同様の手法で達成され得る)。いくつかの実施形態において、処理ユニット13は、検出された特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かの各決定に関する信頼性情報を計算するようにさらに構成される。対象者が入る事象を検出するための実施形態において、処理ユニット13は、検出された特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かの決定に基づいて、信号を出力するようにさらに構成される。
図5は、対象者が出る事象中に、物品50とともに使用しているときの図1の装置を示す。この例において、物品は、1つの長い側を壁57に向けて配置された病院用ベッドを備える。しかし、他の例において物品は、対象者により占有され得る別の種類のベッド、椅子、車椅子、又は任意の物品を備え得る。
カメラ12は、ベッド50の下面の縁部55が、ベッドの下面の下の前景領域53及びベッドに隣接した背景領域54と同様に、カメラ12により捕捉された像に含まれるように、病院用ベッド50より下に配置される。ベッド50を出る対象者がカメラ12のFOVに入らなければならないように、カメラは、好ましくは、対象者がベッド50を出る可能性のあるベッドの側の全長がカメラ12のFOV内に入るように配置される。図5に示す例において、カメラ12は、例えば、搭載ブラケットによりベッド50のベースに装着される。他の実施形態において、カメラは、物品に装着されない。その代わり、カメラは、(例えば、スタンド又は三脚により)物品より下において床52上に支持され得る。図5に示す例において、長い側のうちの1つにおいて対象者56がベッドを出ることが不可能であるように、その側を壁57に向けてベッド50が配置されるので、単一のカメラが使用される。しかし、対象者56が長い側のいずれかから出る可能性があるようにベッド50が配置された場合は、例えば、図4に示される配置で2つのカメラを提供することが望まれることが理解される。
特定の物品とともに装置10がセッティングされるとき、特定の物品の厳密な配置に基づいて(例えば、技術者が装置10を設置することにより)、例えば、物品にカメラを装着するか否か、物品の下面に対してどの角度でカメラを配置するか、どの高さにカメラを配置するかなどの決定がなされる。例えば、多くの現代の病院用ベッドは、(例えば、対象者支持面を上昇及び下降させるために、及び/又は対象者支持面の角度を変えるために)複雑なメカニズムにより支持され、このような病院用ベッドを監視する装置10を設置するとき、ベッド支持メカニズムのいずれかの部分によってカメラのFOVが不明瞭にならないことを確実にすることが必要である。好ましくは、FOVが、その物品を対象者が出る可能性のある、物品の側の大部分又はすべてを包含するように、カメラ(又は、複数のカメラ)が配置される。
対象者56が、例えば、ベッドを出る動きの一部として、ベッド50の長い縁部のうちの1つに、そしてベッドに隣接した床52上へと自身の体の一部を動かすとき、その体の部位がカメラ12のFOVに入り、したがって、カメラ12により捕捉された像内に現れる。その結果、対象者が図5に示される位置にいるとき、カメラ12により獲得された像は、ベッド縁部55から下向きに延びた2つの脚の特徴を含む。図5に示される状況につながる期間中(すなわち、床に向かう対象者の脚の動き中)に捕捉された像内において、脚の特徴は、ベッド縁部55に隣接して現れ、期間にわたって縁部55に対する面積及び延びが増える。例えば、この期間中にカメラ12により捕捉された像は、(カメラが2Dカメラである実施形態において)図3aにより、又は(カメラが深度カメラである実施形態において)図3bにより示されるものと同様であると想定される。ベッドを出る事象を反転したものに類似して、捕捉された像内にベッドに入る事象が現れることが理解される(すなわち、影の縁部と隣接して検出された1つ又は複数の脚の特徴が、ベッド縁部55に向けて縮み、最終的に消失する)。
いくつかの実施形態において、カメラ12は、例えば人がカメラのオンスイッチを有効化することにより、手動で有効化され、例えば人がオフスイッチを有効化することにより手動で無効化されるまで、像を捕捉する。いくつかの実施形態において、カメラ12は、例えば処理ユニット13からの制御信号により、自動的に有効化される。好ましくは、カメラ12は、物品が使用中の期間中にのみ有効化される。本発明の目的のために、物品は、例えばバスルームに行ったり処置を受けたりするための、物品を使用する対象者の一時的な不在中、「使用中」に留まるとみなされる。対照的に、その物品を以前に占有していた対象者の退院と、新しい対象者によるその物品の最初の占有との間の期間中、物品は使用中ではないとみなされる。
装置10の使用中、カメラ12が物品50の下面の下の領域53に対応した前景と、物品50に隣接した領域54に対応した背景とを含む連続的な像を連続的に捕捉するように、上述の手法のうちの1つによりカメラ12が有効化される。(図5に示す例などの)いくつかの例において、カメラ12は、物品50の縁部を含む像を捕捉する。いくつかの実施形態において、カメラ12は、装置10が使用中である全期間中、像を連続的に捕捉するので、記録期間は、装置10が使用中である期間を含む。いくつかの実施形態において、カメラ12は、事象に応答して有効化される。いくつかのこのような実施形態において、事象は、独立した動き検出器(例えば、物品に装着された加速度計、又は、独立したカメラベースの動き検出システム)による対象者56の動きの検出を含む。いくつかの実施形態において、カメラ12は、既定の時間長にわたって像を捕捉するように構成される(すなわち、記録期間の持続期間が既定である)。いくつかの実施形態において、捕捉された像は、ビデオフレームを含む。いくつかの実施形態において、カメラは、一連の静止像を捕捉する。
カメラ12により捕捉された像は、処理ユニット13に送信される。処理ユニット13は、例えば図6に示される方法を実施することにより、捕捉された像に基づいて、対象者が出る事象が発生しているか(又は、発生したか)否かを連続的に評価する。いくつかの実施形態において、処理ユニット13は、さらに、例えば図6に示される方法を実施することにより、捕捉された像に基づいて、対象者が入る事象が発生しているか(又は、発生したか)否かを連続的に評価する。
図6は、対象者が物品を出たときにそのことを検出する方法を示す。物品は、対象者を支持するための上面と、上面の反対の下面とをもつ。第1のステップ601において、(例えば、処理ユニット13により)物品の下面より下に配置されたカメラにより捕捉された連続的な像が受信される。像の各々は、物品の上面を含まず、物品の下面より下における領域に対応した前景と、物品に隣接した領域に対応した背景とを含む。いくつかの実施形態において、像は、例えば、有線又は無線通信リンクを介して、画像を捕捉したカメラから受信される。いくつかの実施形態において、像は、例えば、有線又は無線通信リンクを介して遠隔サーバー(例えば、中央病院サーバー)から受信される。いくつかの実施形態において、像は、機械可読非一時的記憶媒体において受信される。いくつかの実施形態において、像は、リアルタイム又はほぼリアルタイムで(すなわち、像がカメラにより捕捉されるのと同時に)受信される。いくつかの実施形態において、像は、複数のソース、例えば、第1の物品を監視するように配置された第1のカメラと、第2の物品を監視するように配置された第2のカメラとから受信される。
ステップ602において、物品の縁部に対応した縁部が、例えば処理ユニット13により、受信された像の各々に対して検出される。いくつかの実施形態において、物品の縁部に対応した縁部が、処理ユニット13の動作に関連した上述の手法で検出される。いくつかの実施形態において、ステップ602を実施することは、受信されたビデオストリームの各フレーム内において縁部を検出することを含む。いくつかの実施形態において、ステップ602を実施することは、受信された一連の静止像の各像内において縁部を検出することを含む。
ステップ603において、縁部と隣接する特徴の出現が、例えば処理ユニット13により、受信された像内において検出される。いくつかの実施形態において、ステップ603を実施することは、処理ユニット13の動作に関連した上述の手法で、縁部と隣接する特徴の出現を検出することを含む。ステップ603の結果は、肯定の検出(すなわち、特徴が縁部と隣接して現れたことが検出される)又は否定の検出(すなわち、特徴が縁部と隣接して現れていないことが検出される)である。
ステップ604において、例えば処理ユニット13により、縁部と隣接して現れた特徴が期間にわたってどのように変化するかが監視される。いくつかの実施形態において、ステップ604を実施することは、処理ユニット13の動作に関連した上述の手法で、影の縁部と隣接して現れた特徴が期間にわたってどのように変化するかを監視することを含む。いくつかの実施形態において、ステップ604は、ステップ603の結果が肯定の検出であることに応答して実施される。いくつかの実施形態において、検出された特徴が期間にわたってどのように変化するかの監視は、新しい像が受信されるたびに更新される。
ステップ605において、(例えば、処理ユニット13により)影の縁部と隣接して現れた特徴の変化が、対象者が出る事象についての少なくとも1つの基準を満たすか否かが決定される。いくつかの実施形態において、ステップ605を実施することは、処理ユニット13の動作に関連した上述の手法で、縁部と隣接して現れた特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定することを含む。いくつかの実施形態において、ステップ605は、例えば、変化の監視が更新されるごとに連続的に実施される。いくつかの実施形態において、期間は、縁部と隣接して特徴の出現の検出から始まり、既定の長さの期間などの既定の期間を含む。ステップ605により生成された決定は、(又は、ビデオストリームの各後続フレーム)の新たに受信された像の各々に関連して再計算される。
ステップ606において、決定に基づいて(すなわち、ステップ605の結果に基づいて)、(例えば、処理ユニット13により)信号が出力される。いくつかの実施形態において、ステップ606を実施することは、処理ユニット13の動作に関連した上述の手法で、信号を出力することを含む。信号は、監視デバイス(例えば、監視デバイス36)の通信機能を使用して出力される。いくつかの実施形態において、信号は、リアルタイム又はほぼリアルタイムで連続的に出力される。このような実施形態において、好ましくは像の受信と信号の出力との間の遅延が数秒未満であるので、医療従事者は、検出された対象者が出る事象に迅速に応答し得る。いくつかの実施形態において、信号は、検出された変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かの決定の結果(例えば、基準が満たされる場合に、対象者が出る事象が発生している/発生した可能性のあることの指標、又は、基準が満たされない場合に、対象者が出る事象が発生していない/発生しなかった可能性があることの指標)を含む。いくつかの実施形態において、信号は、ステップ605において生成された決定の結果に関係する信頼性情報を含む。いくつかの実施形態において、ステップ606は、ステップ605の結果が少なくとも1つの基準が満たされるというものである場合にのみ実施される。いくつかの実施形態において、信号は、決定の結果に関係する時間情報、例えば、決定の元となった検出された変化が発生した間の期間を含む。いくつかの実施形態において、信号は、動きの種類に関する情報を含む。
好ましい実施形態において、図6に示す方法は、期間、例えば装置10が動作している期間中、連続的に実施される。いくつかの実施形態において、本方法は、検出された特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かを決定する追加的なステップ(図示せず)を有する。いくつかの実施形態において、この追加的なステップを実施することは、処理ユニット13の動作に関連した上述の手法で、縁部と隣接して現れた特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かを決定することを含む。いくつかの実施形態において、この追加的なステップは、例えば、変化の監視が更新されるごとに連続的に実施される。追加的なステップにより生成された決定は、新たに受信された像の各々(又は、ビデオストリームの各後続フレーム)に関連して再計算される。
検出された特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かを決定する追加的なステップを本方法が有するいくつかの実施形態において、ステップ606を実施することは、特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かの決定に基づいて、信号を出力することを含む。いくつかのこのような実施形態において、ステップ606を実施することは、特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすという決定に基づいて、及び、特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かの決定に基づいて、信号を出力することを含む。
したがって、本発明の実施形態は、有益には、目立ちすぎず、信頼性が高く、演算的に高効率の手法で、物品から対象者が出ることが自動的に検出されることを可能にする。
図面及び前述の説明において本発明が詳細に例示及び説明されるが、このような例示及び説明は例示又は一例とみなされ、限定とはみなされず、本発明は、開示される実施形態に限定されない。
開示される実施形態の変形例は、図面、本開示、及び付属の請求項の考察により、請求項に記載された発明を実施する際当業者により理解及び実現され得る。特許請求の範囲において、「備える(comprising)」という用語は、他の要素もステップも排除せず、不定冠詞「1つ(a)」又は「1つ(an)」は、複数を排除しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されるいくつかの項目の機能を果たす。単に、相互に異なる従属請求項に特定の手段が記載されているという事実は、利点を得るためにこれらの手段の組み合わせが使用され得ないということを示すわけではない。コンピュータプログラムは、他のハードウェアと一体的に又は他のハードウェアの一部として供給される、光記憶媒体又はソリッドステート媒体などの適切な媒体に記憶/分散されるが、インターネット又は他の有線又は無線電気通信システムを介するなどにより、他の形態でも分散される。特許請求の範囲における参照符号はいずれも、特許請求の範囲を限定するように解釈されてはならない。

Claims (15)

  1. 対象者が物品を出たときを検出するための装置であって、
    使用時に物品の下面より下に配置されるカメラと処理ユニットとを備え、前記物品は、対象者を支持するための上面をもち、前記下面は前記上面の反対にあり、
    前記カメラは、前記物品の前記上面を含まない連続的な像を捕捉し、前記像は、前記物品の前記下面より下の領域に対応した前景と、前記物品に隣接した領域に対応した背景とを含み、
    前記処理ユニットは、
    前記カメラから前記像を受信することと、
    受信された各々の像について、前記物品の縁部に対応した縁部を検出することと、
    前記受信された像内において、縁部と隣接する特徴の出現を検出することと、
    検出された特徴が或る期間にわたってどのように変化するかを監視することと、
    前記期間にわたる前記検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定することと、
    前記決定に基づいて信号を出力することと、
    を行う、
    装置。
  2. 前記カメラは、前記物品の前記下面の少なくとも一部を含む連続的な像を捕捉し、前記物品の縁部に対応した縁部は、縁部の第1の側に隣接した各像の第1の部分が、前記物品の前記下面を示し、縁部の反対側の第2の側に隣接した各像の第2の部分が、前記物品の前記下面を示さないように、前記物品の前記下面の前記少なくとも一部の縁部を含む、請求項1に記載の装置。
  3. 前記処理ユニットは、前記物品の縁部に対応した縁部である、受信された各々の像の縁部のうちの既定の縁部を検出する、請求項1に記載の装置。
  4. 前記処理ユニットは、
    第1の時点において獲得された第1の像を、後の第2の時点において獲得された第2の像と比較することと、
    縁部と隣接する特徴が前記第2の像内に存在するが前記第1の像内に存在しない場合に、前記縁部と隣接して特徴が現れたと決定することとにより、
    縁部と隣接する特徴の出現を検出する、請求項1乃至3のいずれか一項に記載の装置。
  5. 前記処理ユニットは、
    第1の時点において獲得された第1の像内における前記特徴の特性についての第1の値を決定することと、
    後の第2の時点において獲得された第2の像内における前記特徴の前記特性についての第2の値を決定することと、
    前記第2の値を前記第1の値と比較することとにより、
    前記期間にわたる前記検出された特徴の変化を監視する、請求項1乃至4のいずれか一項に記載の装置。
  6. 前記特徴の前記特性は、前記特徴の寸法、前記特徴の形状、前記特徴の位置、影の縁部に直交する前記特徴の延び、前記特徴の深度のいずれか1つである、請求項5に記載の装置。
  7. 前記処理ユニットは、
    前記第1の値と前記第2の値と前記第1の像の獲得時点と前記第2の像の前記獲得時点とに基づいて、前記期間にわたる前記検出された特徴の変化率を特定することにより、
    前記期間にわたる前記検出された特徴の変化を監視する、請求項5又は6に記載の装置。
  8. 前記処理ユニットは、前記期間にわたる前記検出された特徴の変化を、前記期間にわたる前記検出された特徴の動きの方向を決定することにより、監視し、対象者が出る事象についての前記少なくとも1つの既定の基準は、前記検出された特徴の動きの方向に関係した条件を含む、請求項5乃至7のいずれか一項に記載の装置。
  9. 対象者が出る事象についての前記既定の基準は、前記期間中の縁部から離れる方向における検出された特徴の動きが、前記既定の基準を満たすと前記処理ユニットにより決定され、前記受信された像の縁部に向かう検出された特徴の動きが、前記既定の基準を満たさないと前記処理ユニットにより決定されるように規定される、請求項8に記載の装置。
  10. 対象者が出る事象についての前記既定の基準は、前記期間中の受信された像の平面内に向かう方向における検出された特徴の動きが、前記既定の基準を満たすと前記処理ユニットにより決定され、前記受信された像の前記平面から出る検出された特徴の動きが、前記既定の基準を満たさないと前記処理ユニットにより決定されるように規定される、請求項8に記載の装置。
  11. 前記装置は、さらに、対象者が物品に入ったときにそのことを検出するためのものであって、前記処理ユニットは、前記期間にわたる前記検出された特徴の変化が、対象者が入る事象についての少なくとも1つの既定の基準を満たすか否かを決定し、対象者が入る事象についての前記既定の基準は、影の縁部から離れる方向又は前記受信された像の前記平面内に向かう方向における前記期間にわたる検出された特徴の動きが、前記既定の基準を満たさないと前記処理ユニットにより決定されるように規定される、請求項8乃至10のいずれか一項に記載の装置。
  12. 前記カメラは、深度カメラを備える、請求項1乃至11のいずれか一項に記載の装置。
  13. 前記カメラは、広角カメラを備える、請求項1乃至12のいずれか一項に記載の装置。
  14. 対象者が物品を出たときを検出するシステムであって、
    前記システムは、
    対象者を支持するための上面と、前記上面とは反対に下面とをもつ物品と、
    使用時に前記物品の前記下面より下に配置され、前記物品の前記上面を含まない連続的な像を捕捉するカメラと、処理ユニットとを備え、
    前記像は、前記物品の前記下面より下の領域に対応した前景と前記物品に隣接した領域に対応した背景とを含み、
    前記処理ユニットは、
    前記カメラから前記像を受信し、
    受信された前記像の各々について、前記物品の縁部に対応した縁部を検出し、
    前記受信された像内において、縁部と隣接する特徴の出現を検出し、
    検出された前記特徴が或る期間にわたってどのように変化するかを監視し、
    前記期間にわたる前記検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定し、
    前記決定に基づいて信号を出力する、
    システム。
  15. 対象者を支持するための上面をもち、下面が前記上面の反対側にある物品を対象者が出たときを検出する方法であって、前記方法は、
    前記物品の前記下面より下に配置されたカメラにより捕捉された連続的な像を受信するステップであって、前記像が、前記物品の上面を含まず、前記物品の前記下面より下の領域に対応した前景と前記物品に隣接した領域に対応した背景とを含む、ステップと、
    受信された像の各々について、前記物品の縁部に対応した縁部を検出するステップと、
    前記受信された像内において、縁部と隣接する特徴の出現を検出するステップと、
    検出された前記特徴が或る期間にわたってどのように変化するかを監視するステップと、
    前記期間にわたる前記検出された特徴の変化が、対象者が出る事象についての少なくとも1つの既定の基準を満たすか否かを決定するステップと、
    前記決定に基づいて信号を出力するステップと、
    を有する、
    方法。
JP2018506948A 2015-08-10 2016-08-10 占有検出 Ceased JP2018533240A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15180330.1 2015-08-10
EP15180330 2015-08-10
PCT/EP2016/068997 WO2017025546A1 (en) 2015-08-10 2016-08-10 Occupancy detection

Publications (1)

Publication Number Publication Date
JP2018533240A true JP2018533240A (ja) 2018-11-08

Family

ID=53794100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018506948A Ceased JP2018533240A (ja) 2015-08-10 2016-08-10 占有検出

Country Status (5)

Country Link
US (1) US10509967B2 (ja)
EP (1) EP3335151A1 (ja)
JP (1) JP2018533240A (ja)
CN (1) CN107851185A (ja)
WO (1) WO2017025546A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3643235A1 (en) * 2018-10-22 2020-04-29 Koninklijke Philips N.V. Device, system and method for monitoring a subject
CN110084183A (zh) * 2019-04-25 2019-08-02 杭州鸿雁电器有限公司 确定人员进出区域的方法和系统
US11763935B2 (en) * 2020-01-06 2023-09-19 National Cheng Kung University Care system for predicting bed exit and patient management system including the same
JP6935545B1 (ja) * 2020-06-18 2021-09-15 三菱電機ビルテクノサービス株式会社 人物追跡支援装置および人物追跡支援システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105885A (ja) * 1998-07-27 2000-04-11 Noa:Kk 安全管理システム
JP2014166197A (ja) * 2013-02-28 2014-09-11 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014236896A (ja) * 2013-06-10 2014-12-18 Nkワークス株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049281A (en) 1998-09-29 2000-04-11 Osterweil; Josef Method and apparatus for monitoring movements of an individual
US9311540B2 (en) 2003-12-12 2016-04-12 Careview Communications, Inc. System and method for predicting patient falls
US7786874B2 (en) 2005-12-09 2010-08-31 Samarion, Inc. Methods for refining patient, staff and visitor profiles used in monitoring quality and performance at a healthcare facility
EP1976433B1 (en) 2006-01-07 2011-03-09 Arthur Koblasz Using rfid to prevent or detect falls, wandering, and bed egress and medication errors
JP2008092538A (ja) 2006-10-04 2008-04-17 Ishihara Sangyo:Kk 患者検知システム
US8075499B2 (en) * 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
EP2134252A1 (en) * 2007-04-12 2009-12-23 Koninklijke Philips Electronics N.V. Image capture in combination with vital signs bedside monitor
US7987069B2 (en) 2007-11-12 2011-07-26 Bee Cave, Llc Monitoring patient support exiting and initiating response
WO2009100203A1 (en) * 2008-02-08 2009-08-13 Emory University Coated quantum dots and methods of making and using thereof
US9866797B2 (en) * 2012-09-28 2018-01-09 Careview Communications, Inc. System and method for monitoring a fall state of a patient while minimizing false alarms
JP5648840B2 (ja) * 2009-09-17 2015-01-07 清水建設株式会社 ベッド上及び室内の見守りシステム
US9204823B2 (en) 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
JP5682203B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
US9235977B2 (en) 2011-02-22 2016-01-12 Richard Deutsch Systems and methods for monitoring caregiver and patient protocol compliance
CA2770933C (en) 2011-03-11 2021-05-25 Intellacare Inc. A method and system for monitoring the activity of a subject within spatial temporal and/or behavioral parameters
CN102178514A (zh) * 2011-05-09 2011-09-14 浙江大学 一种基于非线性与复杂性多重指标的昏迷程度评价方法
US10307111B2 (en) * 2012-02-09 2019-06-04 Masimo Corporation Patient position detection system
JP6171415B2 (ja) * 2013-03-06 2017-08-02 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6182917B2 (ja) * 2013-03-15 2017-08-23 ノーリツプレシジョン株式会社 監視装置
EP3170125B1 (en) * 2015-08-10 2017-11-22 Koninklijke Philips N.V. Occupancy detection
WO2017025326A1 (en) * 2015-08-10 2017-02-16 Koninklijke Philips N.V. Occupancy monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105885A (ja) * 1998-07-27 2000-04-11 Noa:Kk 安全管理システム
JP2014166197A (ja) * 2013-02-28 2014-09-11 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014236896A (ja) * 2013-06-10 2014-12-18 Nkワークス株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
US20190012546A1 (en) 2019-01-10
EP3335151A1 (en) 2018-06-20
US10509967B2 (en) 2019-12-17
WO2017025546A1 (en) 2017-02-16
CN107851185A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6232165B2 (ja) 占有の検出
US9600993B2 (en) Method and system for behavior detection
US8508372B2 (en) Method and system for fall detection
JP6717235B2 (ja) 見守り支援システム及びその制御方法
JP6232166B1 (ja) 占有監視
JP2018533240A (ja) 占有検出
JP2017523402A (ja) モニタされる対象の運動及び/又は位置を検出すること
WO2015125701A1 (ja) 監視システム
EP3301657A1 (en) Sensor distinguishing absence from inactivity
JP2017091552A (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
US20180322334A1 (en) Person Monitoring Device And Method, And Person Monitoring System
Inoue et al. Vision-based bed detection for hospital patient monitoring system
JP6870514B2 (ja) 見守り支援システム及びその制御方法
JP6922914B2 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP6000762B2 (ja) 画像監視装置
CN116457882A (zh) 用于控制相机的设备和方法
JP5870230B1 (ja) 見守り装置、見守り方法および見守りプログラム
JP7500929B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2013164684A (ja) 支援装置およびプログラム
JPWO2017029841A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
WO2018197322A1 (en) System, method and computer program for monitoring a baby
KR20150124829A (ko) 열화상 카메라를 이용한 모션 추적에 따른 실신 상황 감지 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210308

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20210727