JP2018143333A - 見守り支援システム及びその制御方法 - Google Patents
見守り支援システム及びその制御方法 Download PDFInfo
- Publication number
- JP2018143333A JP2018143333A JP2017039319A JP2017039319A JP2018143333A JP 2018143333 A JP2018143333 A JP 2018143333A JP 2017039319 A JP2017039319 A JP 2017039319A JP 2017039319 A JP2017039319 A JP 2017039319A JP 2018143333 A JP2018143333 A JP 2018143333A
- Authority
- JP
- Japan
- Prior art keywords
- bed
- image
- area
- determination
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 13
- 230000010365 information processing Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
より、ベッドの領域を特定することを特徴とする見守り支援システムを提供する。
(システム構成)
図1と図2を参照して、本発明の第1実施形態に係る見守り支援システムの構成を説明する。図1は、見守り支援システム1のハードウェア構成および機能構成を模式的に示すブロック図であり、図2は、撮像装置の設置例を示す図である。
図3と図4A〜図4Dを参照して、ベッド領域の検出処理及び判定領域の設定処理の一例について説明する。図3は、情報処理装置11により実行される第1実施形態の領域設定処理のフローチャートであり、図4A〜図4Dは、画像及び判定領域の例である。この処理は、判定領域が未設定の場合(例えば、見守り支援システム1の設置時など)、又は、ベッドや撮像装置10の移動に伴い判定領域を更新する必要がある場合に実行される。
図5を参照して見守り処理の一例を説明する。図5は、情報処理装置11により実行される見守り処理のフローチャートである。図5の処理フローは、撮像装置10から1フレームの画像が取り込まれる度に実行される。
、ステップS50に戻って監視を続ける。
次に本発明の第2実施形態を説明する。第1実施形態のベッド領域検出では、ベッドの全体を検出したのに対し、第2実施形態では、ベッドのコーナーを検出する点が異なる。それ以外の構成及び処理については第1実施形態と同様である。以下、第2実施形態に特有の構成及び処理について説明する。
テップS65〜S66)は第1実施形態のステップS35〜S36と同様のため説明を割愛する。
上記の各実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、ベッド全体又はコーナー部を検出したが、ベッドの他の特徴部分(例えば、ベッドの側端部、足側もしくは頭側の端部など)を検出することによりベッドの概略位置を特定してもよい。また、判定領域の数や形状は任意に設計できる。また、上記実施形態では頭部を検出対象としたが、頭部以外の部位(例えば、顔、顔の一部(顔器官)、上半身など)を検出対象としてもよい。
100:照明、101:近赤外線カメラ、20:ベッド、21:対象者、22:頭部
40:検出ウィンドウ、41:局所領域、42:ベッド領域、A1:就床領域、A2:起床領域、A3:離床領域
70:検出ウィンドウ、71,72:コーナー、73,74:局所領域、75,76:線分、77:ベッド領域
Claims (6)
- ベッド上の対象者の見守りを支援する見守り支援システムであって、
撮像装置により撮影された画像を取得する画像取得部と、
ベッドの領域を基準として画像内に1つ以上の判定領域を設定する領域設定部と、
前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、
前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定する判定部と、
前記判定部による判定結果に応じた通知を行う出力部と、を有し、
前記領域設定部は、
前記画像取得部から領域設定用の画像を受け取り、
前記領域設定用の画像から物体検出によりベッドの概略位置を特定し、
前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定する
ことを特徴とする見守り支援システム。 - 前記領域設定部は、ベッドの画像を機械学習した識別器を用いた物体検出により、ベッドの概略位置を特定する
ことを特徴とする請求項1に記載の見守り支援システム。 - 前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であり、
前記識別器は、ベッドの全体を検出するものであり、
前記領域設定部は、前記識別器によって検出されたベッドの全体を包含する局所範囲から、台形状の輪郭を検出する
ことを特徴とする請求項2に記載の見守り支援システム。 - 前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であり、
前記識別器は、ベッドのコーナーを検出するものであり、
前記領域設定部は、前記識別器によって検出されたコーナーを包含する局所範囲から、前記コーナーを起点とする線分をベッドの輪郭として検出する
ことを特徴とする請求項2に記載の見守り支援システム。 - ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
撮像装置により撮影された画像を取得するステップと、
ベッドの領域を基準として画像内に1つ以上の判定領域を設定するステップと、
前記取得された前記画像から前記対象者を検出するステップと、
前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定するステップと、
前記対象者の状態の判定結果に応じた通知を行うステップと、を有し、
前記判定領域を設定するステップは、
前記画像取得部から領域設定用の画像を受け取るステップと、
前記領域設定用の画像から物体検出によりベッドの概略位置を特定するステップと、
前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定するステップと、を含む
ことを特徴とする見守り支援システムの制御方法。 - 請求項5に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017039319A JP6635074B2 (ja) | 2017-03-02 | 2017-03-02 | 見守り支援システム及びその制御方法 |
PCT/JP2017/042584 WO2018159040A1 (ja) | 2017-03-02 | 2017-11-28 | 見守り支援システム及びその制御方法、並びにプログラム |
US16/463,119 US10853679B2 (en) | 2017-03-02 | 2017-11-28 | Monitoring assistance system, control method thereof, and program |
DE112017007156.9T DE112017007156T5 (de) | 2017-03-02 | 2017-11-28 | Überwachungshilfssystem, steuerverfahren dafür und programm |
CN201780070872.7A CN109963501A (zh) | 2017-03-02 | 2017-11-28 | 看护辅助系统及其控制方法、以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017039319A JP6635074B2 (ja) | 2017-03-02 | 2017-03-02 | 見守り支援システム及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018143333A true JP2018143333A (ja) | 2018-09-20 |
JP2018143333A5 JP2018143333A5 (ja) | 2019-03-22 |
JP6635074B2 JP6635074B2 (ja) | 2020-01-22 |
Family
ID=63370714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017039319A Active JP6635074B2 (ja) | 2017-03-02 | 2017-03-02 | 見守り支援システム及びその制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10853679B2 (ja) |
JP (1) | JP6635074B2 (ja) |
CN (1) | CN109963501A (ja) |
DE (1) | DE112017007156T5 (ja) |
WO (1) | WO2018159040A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012071004A (ja) * | 2010-09-29 | 2012-04-12 | Omron Healthcare Co Ltd | 安全看護システム、および、安全看護システムの制御方法 |
WO2014199941A1 (ja) * | 2013-06-10 | 2014-12-18 | Nkワークス株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2015141268A1 (ja) * | 2014-03-20 | 2015-09-24 | Nkワークス株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2017038777A (ja) * | 2015-08-19 | 2017-02-23 | アイホン株式会社 | 動作認識装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1199140A (ja) | 1997-09-26 | 1999-04-13 | Toshiba Corp | 就寝状態異常検知装置 |
JP2006133941A (ja) * | 2004-11-04 | 2006-05-25 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末 |
CN101520850B (zh) * | 2009-04-17 | 2012-02-15 | 中国科学院计算技术研究所 | 物体检测分类器的构造方法和物体检测方法与相应系统 |
JP5682203B2 (ja) | 2010-09-29 | 2015-03-11 | オムロンヘルスケア株式会社 | 安全看護システム、および、安全看護システムの制御方法 |
WO2012111150A1 (ja) | 2011-02-18 | 2012-08-23 | パイオニア株式会社 | 近接場光デバイス及びエネルギー移動の制御方法 |
JP6182917B2 (ja) * | 2013-03-15 | 2017-08-23 | ノーリツプレシジョン株式会社 | 監視装置 |
CN104637044B (zh) * | 2013-11-07 | 2017-12-01 | 中国科学院深圳先进技术研究院 | 钙化斑块及其声影的超声图像提取系统 |
US20150199592A1 (en) * | 2014-01-14 | 2015-07-16 | Microsoft Corporation | Contour-based classification of objects |
US9710706B2 (en) * | 2014-09-23 | 2017-07-18 | GM Global Technology Operations LLC | Method for classifying a known object in a field of view of a camera |
JP6375920B2 (ja) | 2014-12-11 | 2018-08-22 | 富士通株式会社 | ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム |
JP6455234B2 (ja) | 2015-03-03 | 2019-01-23 | 富士通株式会社 | 行動検出方法及び行動検出装置 |
US10198804B2 (en) * | 2015-04-15 | 2019-02-05 | Halliburton Energy Services, Inc. | Method for determining fabric and upscaled properties of geological sample |
WO2016199749A1 (ja) * | 2015-06-10 | 2016-12-15 | コニカミノルタ株式会社 | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム |
JP6150028B1 (ja) * | 2015-08-10 | 2017-06-21 | コニカミノルタ株式会社 | 被監視者監視システムの表示装置および表示方法ならびに被監視者監視システム |
-
2017
- 2017-03-02 JP JP2017039319A patent/JP6635074B2/ja active Active
- 2017-11-28 DE DE112017007156.9T patent/DE112017007156T5/de active Pending
- 2017-11-28 US US16/463,119 patent/US10853679B2/en active Active
- 2017-11-28 WO PCT/JP2017/042584 patent/WO2018159040A1/ja active Application Filing
- 2017-11-28 CN CN201780070872.7A patent/CN109963501A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012071004A (ja) * | 2010-09-29 | 2012-04-12 | Omron Healthcare Co Ltd | 安全看護システム、および、安全看護システムの制御方法 |
WO2014199941A1 (ja) * | 2013-06-10 | 2014-12-18 | Nkワークス株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2015141268A1 (ja) * | 2014-03-20 | 2015-09-24 | Nkワークス株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2017038777A (ja) * | 2015-08-19 | 2017-02-23 | アイホン株式会社 | 動作認識装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200065600A1 (en) | 2020-02-27 |
DE112017007156T5 (de) | 2019-11-21 |
US10853679B2 (en) | 2020-12-01 |
WO2018159040A1 (ja) | 2018-09-07 |
CN109963501A (zh) | 2019-07-02 |
JP6635074B2 (ja) | 2020-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10786183B2 (en) | Monitoring assistance system, control method thereof, and program | |
JP6167563B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6822328B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6432592B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6489117B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6780641B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6958560B2 (ja) | 見守りシステム、見守り装置、見守り方法、および見守りプログラム | |
US10762761B2 (en) | Monitoring assistance system, control method thereof, and program | |
JP6822326B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6729510B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6870514B2 (ja) | 見守り支援システム及びその制御方法 | |
WO2018159040A1 (ja) | 見守り支援システム及びその制御方法、並びにプログラム | |
WO2020008726A1 (ja) | 対象物体検出プログラム、および対象物体検出装置 | |
JP2017041079A (ja) | 動作認識装置 | |
TWI697869B (zh) | 姿態判斷方法、電子系統以及非暫態電腦可讀取記錄媒體 | |
JP2022010581A (ja) | 検知装置、検知方法、画像処理方法、およびプログラム | |
JP6729512B2 (ja) | 見守り支援システム及びその制御方法 | |
US20220054046A1 (en) | Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras | |
JP7090889B2 (ja) | 見守り装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6635074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |