JP2023084685A - 対象をモニタリングするための方法及びシステム - Google Patents
対象をモニタリングするための方法及びシステム Download PDFInfo
- Publication number
- JP2023084685A JP2023084685A JP2022194834A JP2022194834A JP2023084685A JP 2023084685 A JP2023084685 A JP 2023084685A JP 2022194834 A JP2022194834 A JP 2022194834A JP 2022194834 A JP2022194834 A JP 2022194834A JP 2023084685 A JP2023084685 A JP 2023084685A
- Authority
- JP
- Japan
- Prior art keywords
- perspective
- view
- subject
- sensor
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000005670 electromagnetic radiation Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 10
- 230000000474 nursing effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/08—Elderly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
Abstract
【課題】対象をモニタリングする方法及びシステムを提供する。
【解決手段】対象をモニタリングする方法は、検出の第1の角度から、前記対象が検出の前記第1の角度に従って第1の斜視図から前記対象のデータを取得するよう配置されている空間をモニタリングする段階と、前記対象の前記取得されたデータを、3次元データセットに変換する段階と、前記3次元データセットを処理して、第2の斜視図から前記対象の画像を作成する段階と、前記第2の斜視図は、検出の前記第1の角度と異なる第2の角度で作成される、前記第2の斜視図から作成された画像を分析して、モニタリング中の前記対象の活動に関して1又は複数の特性を決定、算出又は選択する段階と、を備える。
【選択図】図2
【解決手段】対象をモニタリングする方法は、検出の第1の角度から、前記対象が検出の前記第1の角度に従って第1の斜視図から前記対象のデータを取得するよう配置されている空間をモニタリングする段階と、前記対象の前記取得されたデータを、3次元データセットに変換する段階と、前記3次元データセットを処理して、第2の斜視図から前記対象の画像を作成する段階と、前記第2の斜視図は、検出の前記第1の角度と異なる第2の角度で作成される、前記第2の斜視図から作成された画像を分析して、モニタリング中の前記対象の活動に関して1又は複数の特性を決定、算出又は選択する段階と、を備える。
【選択図】図2
Description
本発明は、対象をモニタリングする分野に関する。特に、本発明は、潜在的リスクを識別する目的で1又は複数の対象をモニタリングするシステム及び方法に関するが、排他的でない。
対象の動き及び/又は活動を検出及びモニタリングに使用するための、特に病院、介護施設、高齢者センターなどの医療現場において患者、障害者及び/又は高齢者をモニタリングするための、又は患者又は居住者の安全性を改善する目的での在宅医療用途のための、様々なモニタリングシステムが開発されている。従来のモニタリングシステムは主に、対象の画像又はビデオを撮像するために空間において対象から予め定められた距離及び/又は方向内に配置されたカメラ又はビデオカメラが備えられている。任意で、従来のシステムは多くの場合、対象の移動を検出する際の感度を上げるために、例えば、ベッド外の移動を検出するために、対象に圧力マット、センサパッド及び/又はウェアラブルセンサを設ける必要がある。他のモニタリングシステムは、赤外線ビームを送信及び受信することによって作動する赤外線フェンスなどの目に見えないバリアに基づいているセンサを含んでもよく、赤外線ビームへの「ブレーク」が検出されると、アラームが誘発され得る。学術論文「Night-Time Monitoring System 9eNightLog) for Elder Wandering Behavior,Sensors 2021,21,704,Cheung,J.C.-W.,et.al.は、高齢者の徘徊行動をモニタリングするためのリモートセンサベースのシステムを開示している。しかしながら、Cheungのセンサは、天井に、及びモニタリング中の対象のベッドの上方にセンサを取り付ける必要がある。ベッド設定は多くの場合、部屋の使用法及び占有状態に応じて変更可能であるため、この制限は、特に病院などの共有される場所において適用されているセンサにとってそれほど好適ではない。
したがって、既存の技術は、それらの検出の感度、したがって精度の欠如を被ることが知られている。また、用途は、それらの取り付け位置及びセンサの検出の範囲によって限定されている。多くの場合、望ましくない偽アラートが発生される結果となる。対象をモニタリングするためのカメラ又はビデオカメラの使用はさらに、プライバシに対する懸念を浮上させる可能性があり、したがって、転倒及び他の事故が起きる可能性が高いトイレ及び浴室などの場所における使用には一般に許容されない。
本発明の目的は、対象をモニタリングする方法及びシステムを提供することである。
本発明の目的は、既知のモニタリングシステムと関連付けられる1又は複数の問題をある程度、軽減するか、又は未然に防ぐこと、又は少なくとも有用な代替手段を提供することである。
上記の目的は、独立請求項の特徴の組み合わせにより達成され、従属請求項は、本発明のさらなる有利な実施形態を開示する。
当業者であれば、下記の説明から本発明の他の目的を導き出すであろう。したがって、前述の目的の記述は、包括的なものではなく、本発明の多くの目的のうちの幾つかを示す役割を果たすにすぎない。
第1の主態様では、本発明は、対象をモニタリングする方法を提供する。当該方法は、検出の第1の角度から、前記対象が検出の前記第1の角度に従って第1の斜視図から前記対象のデータを取得するよう配置されている空間をモニタリングする段階;前記対象の前記取得されたデータを、3次元データセットに変換する段階;前記3次元データセットを処理して、第2の斜視図から前記対象の画像を作成する段階、前記第2の斜視図は、検出の前記第1の角度と異なる第2の角度で作成される;前記第2の斜視図から作成された画像を分析して、モニタリング中の前記対象の活動に関して1又は複数の特性を決定、算出、又は選択する段階を備える。
第2の主態様では、本発明は、対象をモニタリングすることにおける使用のためのシステムを提供する。当該システムは、検出の第1の角度から、前記対象が検出の前記第1の角度に従って第1の斜視図から前記対象のデータを取得するよう配置されている空間をモニタリングするように適合されたセンサ;前記対象の前記取得されたデータを、3次元データセットに変換して、前記3次元データセットを処理して、第2の斜視図から前記対象の画像を作成するように適合された処理モジュール、前記第2の斜視図は、検出の前記第1の角度と異なる第2の角度で作成される;及び前記第2の斜視図から作成された画像を分析して、モニタリング中の前記対象の活動に関して1又は複数の特性を決定、算出、又は選択するように適合された分析用モジュールを備える。
本発明の概要は、必ずしも本発明を定義するのに不可欠な特徴を全て開示しているわけではなく、本発明は、開示されている特徴の部分的組み合わせにおいて成立するかもしれない。
好ましい実施形態の下記の説明から、本発明の上記の特徴及びさらなる特徴が明らかになるであろう。これらの好ましい実施形態は、以下の添付図面との関連で単なる例として提供される。
以下の説明は、好ましい実施形態を単なる例として、かつ、本発明を実行に移すのに必要な特徴の組み合わせに対して限定することなく説明するものである。
本明細書における「1つの実施形態(one embodiment)」又は「一実施形態(an embodiment)」という言及は、この実施形態に関連して記載されている特定の特徴、構造又は特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な箇所に現れる「1つの実施形態では(in one embodiment)」という言い回しは、必ずしも全てが同じ実施形態を指しているわけではなく、他の実施形態と相互排他的な別個の実施形態又は代替的な実施形態であるわけでもない。さらに、幾つかの実施形態では示されるが他の実施形態では示されないこともある、様々な特徴について記載する。同様に、幾つかの実施形態にとっては要件であるが他の実施形態にとっては要件でないこともある、様々な要件について記載する。
図面に示された要素は、ハードウェア、ソフトウェア又はそれらの組み合わせの様々な形態で実装され得ることが理解されるべきである。これらの要素は、プロセッサ、メモリ、及び入出力インタフェースを含んでよい1又は複数の適切にプログラムされた汎用デバイスにおいて、ハードウェアとソフトウェアとの組み合わせで実装されるのが好ましい。
本発明は、人間対象又は動物対象などの対象をモニタリングする方法及びシステムに関する。特に、本発明は、例えば、病院、介護施設、高齢者センター及び/又は住宅地などであるが、これらに限定されない場所において、例えば患者、障害者及び/又は高齢者であり得る1又は複数の対象をリアルタイム検出及びモニタリングするためのリモートセンサベースのシステムに関するが、排他的でない。同じ場所に配置された複数の対象は、単一のセンサユニットによって同時に検出及びモニタリングされ得る。代替的に、複数のセンサはまた、検出の感度及び精度を改善するように同期検波に適用され得る。リモートセンサの使用は、モニタリング中の対象にプライバシに対する懸念をもたらすことが知られている空間の画像又はビデオを撮像するための任意のカメラ、ビデオカメラ等の必要性を無効化する。
図1及び図2を参照すると、本発明の一実施形態による空間において対象又は複数の対象をモニタリングするシステム10及び方法が示されている。システム10は、検出の第1の角度から、1又は複数の対象が配置される介護施設、高齢者施設又は病棟の部屋などの空間をリモートモニタリングするためのセンサ20を備える。特に、センサ20は、検出の第1の角度に従って第1の斜視図からモニタリング中の対象のデータを取得するように適合されている。センサ20は、空間又は部屋における任意の場所又は位置で取り付けられ得るか、設置され得るか、又は概して配置され得る。例えば、センサ20は、対象にとって水平なレベルに、例えば部屋の側壁に、又は側面の高い位置に、例えば部屋の隅などに取り付けることができる。したがって、センサ20は、検出のラインに対する妨害又は隠蔽を回避するために、部屋の任意の特定の場所で、例えば、従来技術によって必要とされるように、天井で、及びモニタリング中の対象の上方で提供されるように限定されない。好ましくは、センサ20は、約0.1メートルから約20メートルの範囲の検出を提供する。センサ20の動作は、検出下での空間の照明条件に影響を受けず、センサ20は、さらには夜間などの暗い環境で、又は高い周囲光下で、高感度及び精度で対象をモニタリングすることが可能である。
1つの実施形態では、センサ20は、対象に向かう検出の第1の角度で光パルス、例えば電磁放射を出射するように適合されたエミッタ22、及び対象から反射された電磁放射を受信するための受信器24を有し、これにより、センサ20に対する対象の距離情報を決定し得る。次に、センサ20は、検出の第1の角度に従って、対象の距離情報を、第1の斜視図からの対象のデータへと処理することになる。電磁放射は好ましくは、赤外線(IR)放射を有するが、他の放射線又は放射線の組み合わせも、本発明の目的に適度に適している限りは適用可能であり得る。1つの実施形態では、センサ20は飛行時間型(TOF)センサを備え得る。別の実施形態では、センサ20は、回転式LIDARセンサ又は固体LIDARセンサであり得るが、これらに限定されない光検出と測距(LIDAR)センサを有し得る。好ましくは、センサ20は、単一のユニットとして、複合型飛行時間型の光検出と測距(TOF-LIDAR)センサを有し、これにより、センサ20とシステム10のサイズの低減が可能となる。
1つの実施形態では、センサ20に対する対象の距離情報は、下記方程式に基づいて飛行時間の測定によって算出することができる:
式中、tは、放出された放射線が、対象から反射された後の受信器24によって検出されるのにかかった時間を表し、cは、光の速度を表し、dは、センサ20と対象との間の距離を表す。
飛行時間の測定後、センサ20は、深度画像及び/又は点群データセットの形態で、取得されたデータを出力し得る。データは、センサ20から、任意の既知のワイヤ接続を介して、USBポートへ転送され得るか、又はシステム10のネットワークインタフェースを介して無線で転送され得る。データはさらに、システム10の通信モジュール50を介して、リモートネットワーク100又はクラウドベースのデータベース110に通信されてもよい。取得、転送、処理及び格納されたデータは全て、デジタル信号の形態で存在すること、及び画像もビデオも、モニタリング中の対象のプライバシを保護するためにシステム10に保持又は格納されていないことに留意することは重要である。
システム10は、対象の取得されたデータを受信して、3次元データセットに変換するように適合された処理モジュール30をさらに有し得る。
1つの実施形態では、3次元データセットは、3次元点群データ(PCD)を有してもよく、変換する段階は、第1の斜視図からの対象のデータを、第1の斜視図からの点群データへと処理する段階を有する。本発明において、「点群データ(PCD)」という用語には、空間におけるデータ点のセットを指す趣旨が付与され、各データ点は、モニタリング中の対象のX座標、Y座標及びZ座標の特定の点位置を表している。センサ20の第1の斜視図からの点群データは、処理モジュール30のメモリ32に格納することができる。
1つの実施形態では、3次元データセットは、3次元点群データ(PCD)を有してもよく、変換する段階は、第1の斜視図からの対象のデータを、第1の斜視図からの点群データへと処理する段階を有する。本発明において、「点群データ(PCD)」という用語には、空間におけるデータ点のセットを指す趣旨が付与され、各データ点は、モニタリング中の対象のX座標、Y座標及びZ座標の特定の点位置を表している。センサ20の第1の斜視図からの点群データは、処理モジュール30のメモリ32に格納することができる。
別の実施形態では、対象のデータは、第1の斜視図からの深度画像又は深度マップを有し得る。続いて、深度画像は第1の斜視図からの点群データ(PCD)に変換されることになる。深度画像から点群データ(PCD)への変換は、下記方程式に基づいて実施することができる:
式中、dは、深度画像に含まれる深度情報を表し、iは、深度画像におけるピクセルの行番号を表し、jは、深度画像におけるピクセルの列番号を表し、wは、深度画像の幅を表し、hは、深度画像の高さを表し、x、y及びzは、変換された点群データ(PCD)の各々の座標を表す。
本発明の文脈において、「深度画像」又は「深度マップ」という用語は概して、x座標及びy座標に画素値を有し、視点を参照して距離に比例した輝度勾配によって表される深度値を含む画像に関する。例えば、深度画像は、対象の深度情報を表してもよく、より近い表面はより明るく示され、さらに離れている表面はより暗く示され、又はその逆もある。
変換後、第1の斜視図からの点群データは、処理モジュール30のメモリ32に格納されることになる。任意で、背景又は基準データは、第1の斜視図から前もって取得され、バックグラウンドの物体を処理する段階から除去するために、第1の斜視図からの対象のデータから差し引かれることになる。1つの実施形態では、光反射材料から形成され得るマーカを使用して、空間の参照基板又は参照領域上にマークを提供し、その上で又はそこで、これにより対象の存在は、センサ20によって対象の検出をアシストする可能性が最も高い。
処理モジュール30はさらに、第1の斜視図からの点群データ(PCD)を、第2の斜視図からの点群データに変換してもよく、第2の斜視図からの点群データ(PCD)を、第2の斜視図からの深度画像へと処理し、ここで、上記第2の斜視図は、検出の第1の角度とは異なる第2の角度で作成される。1つの実施形態では、第2の斜視図からの点群データ(PCD)の、第2の斜視図からの深度画像への処理は、点群データをx-y平面上に投影して、同じ視点から見た深度画像を形成することによって実施され得る。第2の斜視図からの点群データ(PCD)の、第2の斜視図からの深度画像への処理は、分析用モジュール40によってデータを処理可能なフォーマットへ準備する目的で実施され、その段階は、以下でさらに論じされる。
1つの実施形態では、第2の斜視図は好ましくは、第1の斜視図と異なる。例えば、第2の斜視図は、モニタリング中の対象の上面図であってもよい(図4を参照)のに対して、第1の斜視図は、センサ20の検出の方向に基づいて水平図、対角図又は任意の角度からの図であり得る(図3を参照)。上面図は、全景を有し得る。1つのさらなる実施形態では、上面図は、拡大された視野のための広角表示を有し得る。
システム10は、第2の斜視図からの作成された深度画像を分析するように適合された分析用モジュール40をさらに有し、モニタリング中の対象の活動に関する1又は複数の特性を決定、算出、又は選択してもよい。対象の活動に関する特性は概して、モニタリング中の対象の姿勢、動き、向き、動きの速度及び任意の一般活動性のうちの1又は複数を有してもよい。特性はさらに、例えばベッド表面、床面、椅子又はベンチトップであり得る1又は複数の予め設定されたベースライン又は基準物体を参照して、コンピュータ実装アルゴリズムに基づいて処理することによって、例えば、検出された対象の1又は複数の深度値を算出することによって決定され、これにより対象が、ベッド上に横たわっているか、椅子に座っているか、食事をしているか、又は地面に転倒しているかどうかなどの推論によって対象の動き又は活動を決定し得る。1つの実施形態では、分析用モジュール40は、人工知能(AI)分析に基づく深度画像でのリアルタイム分析用の機械学習モジュール42をさらに有し得る。分析は、畳み込みニュートラルネットワーク(CNN)であり得るが、これらに限定されない機械学習アルゴリズムを包含し得る。CNNは、上面図からの深度画像から特徴を自動的に選択すること、及び継続的訓練に基づいて、対象の姿勢、動き及び/又は活動を認識することが可能である。例えば、分析画像の特性を決定、計算又は選択された特性に基づいて予測される対象の活動は、伏床、座位、起立、歩行、転倒、ベッドから出ること、及びモニタリングされている空間を出ることのうちの1又は複数を有し得る。1つの実施形態では、機械学習モジュール42は、Googleコーラルシリーズコンピューティングモジュール及び/又はNvidia Jetsonシリーズコンピューティングモジュールのうちの1又は複数を有し得る。
1つの実施形態では、連続データは、センサ20によって取得され、処理モジュール30によって処理されて、機械学習用の一連の深度画像又はビデオクリップを作成することができ、それにより画像及び/又はビデオの内容及び文脈の両方に基づいて活動に関するより徹底した分析を可能にする。
検出される対象の様々な活動に応答して、システム10の信号伝達モジュール60は、1又は複数のアラート信号を生成し、任意の潜在的リスクの管理人に通知し得る。例えば、リスクが比較的低い対象の活動が検出又は推定される場合、例えば、ベッドに横たわっている状態から椅子に座っている状態に変更する、対象の姿勢又は動きが、検出される場合に、第1のアラート信号が生成され得る。また、リスクが比較的高い対象の活動が検出される場合、例えば、転倒事件を暗示するベッドに横たわっている状態から床に横たわっている状態に変更する、対象の姿勢又は動きが、検出される場合に、又は対象が、モニタリングされている空間から出ていった場合に、第2のアラートが生成され得る。アラート信号の異なるレベルは、管理人の即時の注意又は支援が必要とされるかどうかを意味する。1つの実施形態では、より高いリスクの第2のアラート信号は、より低いリスクの第1のアラート信号が、予め定められた期間、誘発及び維持された後に、すなわち、手動でスイッチを切る、及び/又は警告をキャンセルするなどの人の干渉を伴わずに生成させることができ、第1の警告事象を引き起こす対象の活動にまだ注意を払っていないことを暗示している。
生成された第1のアラート信号及び/又は第2のアラート信号は、情報伝達モジュール60を介して、可視及び可聴アラート又はアラームのうちの1又は複数の形態で、1又は複数のアラームデバイス72に出力させることができる。対象の起こり得るより高いリスクを示唆する第2のアラート信号は、赤い回転ライトなどのアラーム照明を伴って、信号比較的騒々しく、より長く、及び/又は連続的なビープ音の形態で提供され、即時の注意が必要とされることを知らせてよい一方で、対象に起こり得るより低いリスクを示唆する第1のアラート信号は、より穏やかなアラーム照明を伴って、比較的穏やかで、より短く、及び/又は間欠的なビープ音の形態で提供され得る。可視及び/又は可聴アラート信号は一般に、フラッシュライト、スピーカー、アラームなどの任意の既知のアラームデバイス72によって提供されてよく、デバイスは好ましくは、例えば管理人のワークステーションでモニタリングされている部屋から離れて配置されて、患者を怖がらせることを回避する。
通信モジュール50は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、任意のポータブル又はウェアラブル電子スマートデバイス又は他の緊急サービスシステムなどの任意の既知の形態で、アラート信号を、有線で又は無線で1又は複数のコンピュータデバイス70にさらに通信し得る。また、通信モジュール50は、アラート信号を、インターネット又はクラウドベースのサーバ110などのプライベート又はパブリックのいずれかのネットワーク100に送信して、検出されたリスク事象全ての記録を保持し得るか、又は情報又はデータを交換し得る。1つの実施形態では、アラート信号は、システム10と、コンピュータデバイス70、ネットワーク100及びクラウドベースのサーバ110のうちの1又は複数との間で、無線で送信され得る。例えば、より低いリスクの第1のアラート信号は、予め定められた期間、例えば20秒後に維持されており、システム10が、例えば管理人がアラームのスイッチを切るような、任意の介入又は妨害を検出することができていない状況で、より高いリスクの第2のアラート信号が生成され得る。同時に、又は続いて、通話又はテキストメッセージの形態で提供され得る警告は、通信モジュール50を介して、システム10にある予め設定された1又は複数の緊急連絡に無線で送信され得る。1つの他の実施形態では、警告メッセージは、任意で、例えば対象の緊急連絡先及び/又は緊急システムに送信することができる対象の場所の詳細が添付され得る。
本発明は、それが対象の姿勢、動き又は活動を検出するための飛行時間型、光検出と測距(TOF-LIDAR)センサを有するリモートセンサベースのモニタリングシステムを提供するという点で有利である。当該システムは、続く人工知能(AI)分析のために、第1の斜視図から取得されたデータを、上面図などの第2の斜視図に変換するように適合された新規処理モジュールを有する。部屋の中の他の物体又は訪問者による妨害又は隠蔽を回避するために部屋の天井などのモニタリング中の対象の上方にセンサ又はカメラの配置を必要とする先行技術とは対照的に、本発明のシステムは、部屋の任意の場所又は位置に基本的に設けられるか、又は配置され、例えば対象に対して水平な場所に、ベンチトップ上に、又は部屋の隅に取り付けられる。したがって、当該システムは、非常に多用途であり、特に、ベッド配置が多くの場合、部屋の使用法及び占有のレベルに応じて変更し得る病院、介護施設また高齢者施設などの医療現場における使用にとって利便性が高い。複数のセンサはさらに、検出の感度、したがって精度を改善するように同期させて空間をモニタリングするのに設けられ得る。さらに、本発明のシステムは、任意の画像又はビデオキャプチャリングデバイスの使用を無効化し、取得、処理及び格納されたデータは全て、デジタル信号の形態で存在する。したがって、画像又はビデオは、システムによって保持されて、これによりモニタリング中の対象のプライバシを保護する。深度画像の輝度におけるグラジエント又は変化による表現は、対象の個人識別、身体の特徴、顔及び衣類の特徴及び/又は他の識別可能な特徴又は細部が、プライバシを保護するように実質的に覆われるか、又は隠されることが可能にするため、データ処理及び分析段階のための深度画像の使用は、対象のプライバシを保護する際にさらなる有益性を可能にする。したがって、本発明のシステムは、小型で、多用途であり、モニタリング中の対象の潜在的リスクを検出するのに非常に高感度であり、正確である。
本説明は、本発明の原理を示している。したがって、当業者であれば、本明細書において明示的に記載又は図示されてはいないが本発明の原理を具現化するとともに本発明の主旨及び範囲内に含まれる様々な構成を考案可能であることが理解されよう。
さらに、本明細書において本発明の原理、態様、及び実施形態、及びそれらの具体的な例を記載する全ての記述は、それらの構造的等価物及び機能的等価物の双方を包含するよう意図されている。加えて、そのような等価物は、現在既知の等価物と、将来開発される等価物、すなわち、構造にかかわらず同じ機能を実行する、開発されるあらゆる要素との双方を含むように意図されている。
本発明が図面及び上記説明において詳細に図示及び記載されているが、本発明は、特性において例示的であって限定的ではないとみなされるべきであり、単に例示的実施形態が図示及び記載されており、いかなる様式でも本発明の範囲を限定しないことが理解される。本明細書において記載される特徴はいずれも、任意の実施形態とともに使用されてよいことが理解され得る。例示的実施形態は、互いに排除し合うものでも、本明細書に記載されていない他の実施形態を排除するものでもない。したがって、本発明は、上記で記載された例示的実施形態のうちの1又は複数の組み合わせを備える実施形態も提供する。本明細書に記載の本発明に対する修正及び変更が、本発明の主旨及び範囲から逸脱することなく行われ得る。したがって、添付された特許請求の範囲により示されるような限定のみが課されるべきである。
本明細書の特許請求の範囲において、指定された機能を実行するための手段として表わされる任意の要素は、その機能を実行する何れかのやり方を包含するよう意図されている。そのやり方は、例えば、a)その機能を実行する回路素子の組み合わせ、又は、b)任意の形態のソフトウェアであって、したがって、ファームウェア、マイクロコード又は同様のものを含み、当該ソフトウェアを実行してその機能を実行するための適切な回路と組み合わせられた、任意の形態のソフトウェアを含む。そのような特許請求の範囲によって定義される本発明は、様々な記載されている手段によって提供される機能は、特許請求の範囲が求める方式で組み合わせされ、結集されているという事実において成立する。したがって、それらの機能を提供し得る手段はいずれも、本明細書に示されている手段と同等であるものとみなされる。
以下の特許請求の範囲、及び、本発明の前述の説明では、明示的な言葉又は必然的な示唆によって文脈上他の意味に解すべき場合を除き、単語「備える(comprise)」、又は「備える(comprises)」又は「備える(comprising)」などの変形語は、包括的な意味で使用されるもの、すなわち、述べられた特徴の存在を指定するが、本発明の様々な実施形態におけるさらなる特徴の存在又は追加を除外するために使用されるものではない。
任意の従来技術の刊行物が本明細書において言及されている場合、そのような言及は、その刊行物が、当技術分野における一般的な常識の一部を形成するということの自認を構成するものではないことが理解されるべきである。
Claims (20)
- 対象をモニタリングする方法であって、
検出の第1の角度から、前記対象が検出の前記第1の角度に従って第1の斜視図から前記対象のデータを取得するよう配置されている空間をモニタリングする段階;
前記対象の前記取得されたデータを、3次元データセットに変換する段階;
前記3次元データセットを処理して、第2の斜視図から前記対象の画像を作成する段階、前記第2の斜視図は、検出の前記第1の角度と異なる第2の角度で作成される;
前記第2の斜視図から作成された画像を分析して、モニタリング中の前記対象の活動に関して1又は複数の特性を決定、算出、又は選択する段階
を備える方法。 - 前記モニタリングする段階は、前記モニタリングする段階を指揮するセンサに対する対象の距離情報を検出する段階、及び前記距離情報を前記対象のデータへと処理する段階を備える、請求項1に記載の方法。
- 前記モニタリングする段階は、飛行時間型(TOF)測定を備える、請求項1に記載の方法。
- 前記3次元データセットは、3次元点群データ(PCD)を有し、前記変換する段階は、前記第1の斜視図からの前記対象の前記データを、前記第1の斜視図からの点群データへと処理する段階を有する、請求項1に記載の方法。
- 前記変換する段階は、前記第1の斜視図からの前記点群データを前記第2の斜視図からの点群データへと変換する段階をさらに有する、請求項4に記載の方法。
- 前記処理する段階は、前記第2の斜視図からの前記点群データを前記第2の斜視図からの深度画像へと処理する段階をさらに有する、請求項5に記載の方法。
- 前記第1の斜視図は、前記第2の斜視図と異なり、前記第2の斜視図は、モニタリング中の前記対象の上面図である、請求項1に記載の方法。
- モニタリング中の前記対象の活動に関する1又は複数の特性は、モニタリング中の前記対象の姿勢、動き、向き及び動きの速度のうちの1又は複数を有する、請求項1に記載の方法。
- 前記活動は、伏床、座位、起立、歩行、転倒、ベッドから出ること、及びモニタリングされている前記空間を出ることのうちの1又は複数を有する、請求項8に記載の方法。
- 前記分析する段階は、コンピュータ実装アルゴリズムの機械学習アルゴリズムに基づいて処理する段階を有する、請求項1に記載の方法。
- モニタリング中の前記対象の前記活動に応答して1又は複数のアラート信号を発生する段階をさらに含む、請求項1から10のいずれか一項に記載の方法。
- 対象をモニタリングすることにおける使用のためのシステムであって、
検出の第1の角度から、前記対象が検出の前記第1の角度に従って第1の斜視図から前記対象のデータを取得するよう配置されている空間をモニタリングするように適合されたセンサ;
前記対象の前記取得されたデータを、3次元データセットに変換して、前記3次元データセットを処理して、第2の斜視図から前記対象の画像を作成するように適合された処理モジュール、前記第2の斜視図は、検出の前記第1の角度と異なる第2の角度で作成される;及び
前記第2の斜視図から作成された画像を分析して、モニタリング中の前記対象の活動に関して1又は複数の特性を決定、算出、又は選択するように適合された分析用モジュール
を備える、システム。 - 前記センサは、前記対象に向かう検出の前記第1の角度で電磁放射を出射するように適合されたエミッタ、及び前記対象から反射された電磁放射を受信するように適合された受信器を有し、これにより、前記センサに対する対象の距離情報を決定し、前記センサは、前記対象の距離情報を前記対象のデータへと処理するように適合される、請求項12に記載のシステム。
- 前記センサは、飛行時間型(TOF)センサを有する、請求項12に記載のシステム。
- 前記センサは、光検出と測距(LIDAR)センサを有する、請求項12に記載のシステム。
- 前記対象の前記データは、第1の斜視図からの深度画像を有する、請求項12に記載のシステム。
- 前記3次元データセットは、3次元点群データ(PCD)を有する、請求項12に記載のシステム。
- 前記第2の斜視図は、モニタリング中の前記対象の上面図である、請求項12に記載のシステム。
- 前記分析用モジュールは、人工知能分析を実施するように適合された機械学習モジュールを有する、請求項12に記載のシステム。
- モニタリング中の前記対象の前記活動に応答して1又は複数のアラート信号を発生するための信号伝達モジュールをさらに含む、請求項12から19のいずれか一項に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163286742P | 2021-12-07 | 2021-12-07 | |
US63/286,742 | 2021-12-07 | ||
US18/072,733 | 2022-12-01 | ||
US18/072,733 US20230172489A1 (en) | 2021-12-07 | 2022-12-01 | Method And A System For Monitoring A Subject |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023084685A true JP2023084685A (ja) | 2023-06-19 |
Family
ID=86609189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022194834A Pending JP2023084685A (ja) | 2021-12-07 | 2022-12-06 | 対象をモニタリングするための方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230172489A1 (ja) |
JP (1) | JP2023084685A (ja) |
CN (1) | CN116243306A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7465606B1 (ja) | 2023-07-27 | 2024-04-11 | 株式会社しあわせ計画 | 異常検知システム、異常検知方法、及び異常検知プログラム |
-
2022
- 2022-12-01 US US18/072,733 patent/US20230172489A1/en active Pending
- 2022-12-05 CN CN202211577319.1A patent/CN116243306A/zh active Pending
- 2022-12-06 JP JP2022194834A patent/JP2023084685A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7465606B1 (ja) | 2023-07-27 | 2024-04-11 | 株式会社しあわせ計画 | 異常検知システム、異常検知方法、及び異常検知プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN116243306A (zh) | 2023-06-09 |
US20230172489A1 (en) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8427324B2 (en) | Method and system for detecting a fallen person using a range imaging device | |
US7106885B2 (en) | Method and apparatus for subject physical position and security determination | |
JP6150207B2 (ja) | 監視システム | |
US10080513B2 (en) | Activity analysis, fall detection and risk assessment systems and methods | |
EP2398003A1 (en) | Method and system for fall detection | |
CN111538030A (zh) | 检测人类活动的方法、系统和非暂态计算机可读介质 | |
KR101927220B1 (ko) | 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치 | |
US10706706B2 (en) | System to determine events in a space | |
KR102205964B1 (ko) | 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법 | |
JP2023084685A (ja) | 対象をモニタリングするための方法及びシステム | |
US20080211908A1 (en) | Monitoring Method and Device | |
CN107851185A (zh) | 占用检测 | |
JP2020113016A (ja) | 見守りシステム、見守り方法及びプログラム。 | |
EP3536234B1 (en) | Improvements in or relating to video monitoring | |
WO2012002904A1 (en) | Device and method for detection of abnormal spatial states of a human body | |
KR102546045B1 (ko) | 라이다(LiDAR)를 이용한 인체 감시장치 | |
US20230412919A1 (en) | Device and method for controlling a camera | |
US20230260134A1 (en) | Systems and methods for monitoring subjects | |
WO2021033453A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7435609B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
Takeda | Proposal of an awakening behavior detection system for medical use and adaptation for fluctuation of the brightness quantity with infrared camera device Kinect | |
JP7215481B2 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
GB2621822A (en) | Monitoring system | |
US20200394902A1 (en) | Comprehensive video/sensor based artwork protection system | |
KR20230162109A (ko) | 특정된 사람들의 활동을 인식하기 위한 모니터링 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240418 |