JP2021179726A - Monitoring system, monitoring device, monitoring method, and program - Google Patents

Monitoring system, monitoring device, monitoring method, and program Download PDF

Info

Publication number
JP2021179726A
JP2021179726A JP2020083924A JP2020083924A JP2021179726A JP 2021179726 A JP2021179726 A JP 2021179726A JP 2020083924 A JP2020083924 A JP 2020083924A JP 2020083924 A JP2020083924 A JP 2020083924A JP 2021179726 A JP2021179726 A JP 2021179726A
Authority
JP
Japan
Prior art keywords
machine learning
feature points
monitored object
movement
monitored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020083924A
Other languages
Japanese (ja)
Other versions
JP7483486B2 (en
Inventor
賢也 小林
Kenya Kobayashi
健宏 馬渕
Takehiro Mabuchi
智子 浅野
Tomoko Asano
裕 香島
Yu Kashima
久尚 高橋
Hisanao Takahashi
永勲 高
Younghun Ko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020083924A priority Critical patent/JP7483486B2/en
Publication of JP2021179726A publication Critical patent/JP2021179726A/en
Application granted granted Critical
Publication of JP7483486B2 publication Critical patent/JP7483486B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

To provide a monitoring system, a monitoring device, a monitoring method, and a program that can contribute to the safety of an object to be monitored.SOLUTION: A monitoring system 1 comprises: an imaging unit 20 that picks up an image of an object to be monitored T; an extraction unit 11 that extracts the movement of feature points of the object to be monitored from the image picked up by the imaging unit; a controller 15 that outputs a predetermined warning signal before the object to be monitored performs a rising motion based on machine learning data 132 obtained through machine learning of the motion of the feature points when the object to be monitored performs the rising motion and the feature points extracted by the extraction unit; and a warning unit 17 that issues a predetermined warning based on the predetermined warning signal output from the controller.SELECTED DRAWING: Figure 1

Description

本開示は、監視システム、監視装置、監視方法、及びプログラムに関する。 The present disclosure relates to monitoring systems, monitoring devices, monitoring methods, and programs.

例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献１は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者監視システムを開示している。特許文献２は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献３は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、引用文献４は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。 For example, in a field such as a long-term care facility, a device for monitoring the behavior of a monitored person such as a nurse or a care recipient has been proposed. For example, Patent Document 1 discloses a monitored person monitoring system that detects a predetermined behavior in a monitored person based on an image obtained by an image pickup device. Patent Document 2 discloses a fall prevention system that prevents a subject from falling while walking by attaching a detection device to the foot of the subject. Further, Patent Document 3 discloses a monitoring support device for determining the body position of a human body by detecting a temperature distribution. Cited Document 4 also discloses a medical system for monitoring elderly psychiatric patients at home or in elderly housing with care or long-term care facilities.

特開２０１７−９１５５２号公報Japanese Unexamined Patent Publication No. 2017-91552 特開２０１７−２２１５０２号公報Japanese Unexamined Patent Publication No. 2017-221502 特開２０１４−１０６６３６号公報Japanese Unexamined Patent Publication No. 2014-106636 特開２００３−９１７９０号公報Japanese Patent Application Laid-Open No. 2003-91790

被監視対象を監視することにより、被監視対象の安全に供することができれば、有益である。 It would be beneficial if the monitored object could be safely monitored by monitoring it.

本開示の目的は、被監視対象の安全に供し得る監視システム、監視装置、監視方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a monitoring system, a monitoring device, a monitoring method, and a program that can be safely provided to a monitored object.

一実施形態に係る監視システムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から、前記被監視対象の特徴点の動きを抽出する抽出部と、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出部によって抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するコントローラと、
前記コントローラから出力される前記所定の警告信号に基づいて、所定の警告を発する警告部と、
を備える。 The monitoring system according to one embodiment is
An imaging unit that captures the monitored object and
An extraction unit that extracts the movement of the feature point of the monitored object from the image captured by the imaging unit, and an extraction unit.
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object starts up and the feature points extracted by the extraction unit, a predetermined value is set before the monitored object starts up. A controller that outputs a warning signal and
A warning unit that issues a predetermined warning based on the predetermined warning signal output from the controller.
To prepare for.

一実施形態に係る監視装置は、
被監視対象の画像から前記被監視対象の特徴点の動きを抽出する抽出部と、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出部によって抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するコントローラと、
を備える。 The monitoring device according to one embodiment is
An extraction unit that extracts the movement of the feature points of the monitored object from the image of the monitored object, and
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object starts up and the feature points extracted by the extraction unit, a predetermined value is set before the monitored object starts up. A controller that outputs a warning signal and
To prepare for.

一実施形態に係る監視方法は、
被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出するステップにおいて抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するステップと、
を含む。 The monitoring method according to one embodiment is
A step of extracting the movement of the feature point of the monitored object from the image of the monitored object, and
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object makes a rising motion and the feature points extracted in the extraction step, it is determined before the monitored object makes a rising motion. And the step to output the warning signal of
including.

一実施形態に係るプログラムは、
コンピュータに、
被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出するステップにおいて抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するステップと、
を実行させる。 The program according to one embodiment is
On the computer
A step of extracting the movement of the feature point of the monitored object from the image of the monitored object, and
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object makes a rising motion and the feature points extracted in the extraction step, it is determined before the monitored object makes a rising motion. And the step to output the warning signal of
To execute.

一実施形態によれば、被監視対象の安全に供し得る監視システム、監視装置、監視方法、及びプログラムを提供することができる。 According to one embodiment, it is possible to provide a monitoring system, a monitoring device, a monitoring method, and a program that can be safely provided to the monitored object.

一実施形態に係る監視システムの概略構成を示す機能ブロック図である。It is a functional block diagram which shows the schematic structure of the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。It is a figure explaining the example of the feature point extracted in the monitoring system which concerns on one Embodiment.

本開示において、「監視装置」とは、電力により駆動する機器としてよい。また、「監視システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係る監視システム及び／又は監視装置を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係る監視システム及び／又は監視装置を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係る監視システム及び／又は監視装置によって監視される対象となる者（例えば人間又は動物）としてよい。 In the present disclosure, the "monitoring device" may be a device driven by electric power. Further, the "monitoring system" may include a device driven by electric power. Further, the "user" may be a person (typically a human being) who uses the monitoring system and / or the monitoring device according to the embodiment. The user may include a person who monitors the monitored object by using the monitoring system and / or the monitoring device according to the embodiment. Further, the “monitored target” may be a person (for example, a human or an animal) to be monitored by the monitoring system and / or the monitoring device according to the embodiment.

一実施形態に係る監視システムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び／又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び／又は管理は、極めて重要である。一実施形態に係る監視システムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び／又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係る監視システムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。 The scene in which the monitoring system according to one embodiment is used is assumed to be specified by a person engaged in social activities such as a company, a hospital, an elderly home, a school, a sports gym, and a long-term care facility. It may be a facility of. For example, in the case of a company, it is extremely important to understand and / or manage the health status of employees. Similarly, it is extremely important to understand and / or manage the health status of patients and medical staff in hospitals, and residents and staff in nursing homes. The scene in which the monitoring system according to the embodiment is used is not limited to the above-mentioned facilities such as companies, hospitals, and elderly housings, and any of the above-mentioned facilities for which it is desired to grasp and / or manage the health condition of the monitored object. Good as a facility. Any facility may also include non-commercial facilities, such as the user's home. Further, the scene in which the monitoring system according to the embodiment is used may be, for example, a moving body such as a train, a bus, or an airplane, a station, a platform, or the like.

一実施形態に係る監視システムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係る監視システムは、例えば要看護者又は要介護者などのような被監視対象の立ち上がり動作を監視することができる。ここで、被監視対象の立ち上がり動作とは、例えば被監視対象者が座っている状態又は横たわっている状態から立ち上がる動作としてよい。 The monitoring system according to one embodiment may be used for monitoring the behavior of a monitored object such as a nurse requiring nursing care or a person requiring nursing care in a nursing care facility or the like. The monitoring system according to one embodiment can monitor the rising motion of a monitored object such as a nurse or a care recipient. Here, the rising motion of the monitored object may be, for example, an motion of standing up from a state in which the monitored person is sitting or lying down.

特に、一実施形態に係る監視システムは、例えば要看護者又は要介護者などのような被監視者が、立ち上がり動作をする前、例えば立ち上がり動作を完了する前に、所定の警告を発することができる。したがって、一実施形態に係る監視システムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が、立ち上がり動作を完了する前に、立ち上がり動作をしようとしていることを把握し得る。 In particular, the monitoring system according to one embodiment may issue a predetermined warning before a monitored person such as a nurse or a care recipient performs a stand-up operation, for example, before completing the stand-up operation. can. Therefore, according to the monitoring system according to one embodiment, the staff of a nursing care facility, for example, will perform the standing-up operation before the monitored person such as a nurse or a person requiring nursing care completes the standing-up operation. You can understand what you are doing.

また、一実施形態に係る監視システムは、要看護者又は要介護者などのような被監視者が危険な立ち上がり動作をする前、例えば危険な立ち上がり動作を完了する前に、所定の警告を発することもできる。また、一実施形態に係る監視システムは、特定の被監視者が立ち上がり動作をする前、例えば立ち上がり動作を完了する前に、所定の警告を発することもできる。 In addition, the monitoring system according to the embodiment issues a predetermined warning before a monitored person such as a nurse or a care recipient performs a dangerous standing-up operation, for example, before completing a dangerous standing-up operation. You can also do it. Further, the monitoring system according to the embodiment can also issue a predetermined warning before the specific monitored person performs the stand-up operation, for example, before the stand-up operation is completed.

以下、一実施形態に係る監視システムについて、図面を参照して詳細に説明する。 Hereinafter, the monitoring system according to the embodiment will be described in detail with reference to the drawings.

図１は、一実施形態に係る監視システムの概略構成を示す図である。図１に示すように、一実施形態に係る監視システム１は、監視装置１０及び撮像部２０を含んで構成されてよい。監視装置１０と撮像部２０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係る監視システム１は、図１に示す機能部の一部を含まなくてもよいし、図１に示す以外の機能部を含んでもよい。例えば、一実施形態に係る監視システム１は、警告部１７及び通信部１９の少なくとも一方を備えなくてもよい。 FIG. 1 is a diagram showing a schematic configuration of a monitoring system according to an embodiment. As shown in FIG. 1, the monitoring system 1 according to the embodiment may be configured to include a monitoring device 10 and an imaging unit 20. The monitoring device 10 and the imaging unit 20 may be connected by wire or wireless, or a combination of wired and wireless. The monitoring system 1 according to the embodiment may not include a part of the functional unit shown in FIG. 1, or may include a functional unit other than that shown in FIG. For example, the monitoring system 1 according to the embodiment may not include at least one of the warning unit 17 and the communication unit 19.

図１に示す撮像部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２０は、例えば図１に示すように、被監視対象Ｔを撮像してよい。ここで、被監視対象Ｔは、例えば人間としてよい。撮像部２０は、撮像した画像を信号に変換して、監視装置１０に送信してよい。例えば、撮像部２０は、撮像した画像に基づく信号を、監視装置１０の抽出部１１、記憶部１３、及び／又は、コントローラ１５などに送信してよい。撮像部２０は、被監視対象Ｔを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。 The image pickup unit 20 shown in FIG. 1 may include an image sensor that electronically captures an image, such as a digital camera. The image pickup unit 20 may be configured to include an image pickup element that performs photoelectric conversion, such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. The image pickup unit 20 may take an image of the monitored target T, for example, as shown in FIG. Here, the monitored target T may be, for example, a human being. The image pickup unit 20 may convert the captured image into a signal and transmit it to the monitoring device 10. For example, the image pickup unit 20 may transmit a signal based on the captured image to the extraction unit 11, the storage unit 13, and / or the controller 15 of the monitoring device 10. The image pickup unit 20 is not limited to an image pickup device such as a digital camera as long as it captures the monitored target T, and may be any device.

一実施形態において、撮像部２０は、例えば被監視対象Ｔを所定時間ごと（例えば０．５秒おき）の静止画として撮像してもよい。また、一実施形態において、撮像部２０は、例えば被監視対象Ｔを連続した動画として撮像してもよい。 In one embodiment, the image pickup unit 20 may take an image of the monitored target T, for example, as a still image at predetermined time intervals (for example, every 0.5 seconds). Further, in one embodiment, the imaging unit 20 may image, for example, the monitored target T as a continuous moving image.

図１に示すように、一実施形態に係る監視装置１０は、抽出部１１、記憶部１３、コントローラ１５、警告部１７、及び通信部１９を備えてよい。一実施形態に係る監視装置１０は、図１に示す機能部の一部を備えなくてもよいし、図１に示す以外の機能部を備えてもよい。例えば、一実施形態に係る監視装置１０は、記憶部１３に記憶される後述の機械学習データ１３２を備えてもよい。例えば、一実施形態に係る監視装置１０は、後述の機械学習データ１３２の少なくとも一部が、外部サーバなどの外部機器に記憶されているとしてもよい。 As shown in FIG. 1, the monitoring device 10 according to the embodiment may include an extraction unit 11, a storage unit 13, a controller 15, a warning unit 17, and a communication unit 19. The monitoring device 10 according to the embodiment may not include a part of the functional unit shown in FIG. 1, or may include a functional unit other than that shown in FIG. For example, the monitoring device 10 according to the embodiment may include machine learning data 132, which will be described later, stored in the storage unit 13. For example, in the monitoring device 10 according to the embodiment, at least a part of the machine learning data 132 described later may be stored in an external device such as an external server.

抽出部１１は、撮像部２０によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの特徴点の動きを抽出してもよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの頭部、体幹、四肢、及び／又は各関節などの各部の動きを抽出してもよい。抽出部１１は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。このように、抽出部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔの特徴点の動きを抽出してよい。 The extraction unit 11 may have a function of extracting a predetermined feature point from the image captured by the image pickup unit 20. For example, the extraction unit 11 may extract the movement of the feature point of the monitored target T from the image of the monitored target T captured by the imaging unit 20. Here, the feature points will be further described later. In one embodiment, the extraction unit 11 obtains the movement of each part such as the head, trunk, limbs, and / or joints of the monitored object T from the image of the monitored object T captured by the imaging unit 20. It may be extracted. The extraction unit 11 may be configured as dedicated hardware, may be configured to include software at least in part, or may be configured entirely by software. In this way, the extraction unit 11 may extract the movement of the feature point of the monitored target T from the image captured by the image pickup unit 20.

記憶部１３は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１３は、例えばコントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などを記憶してよい。また、記憶部１３は、コントローラ１５のワークメモリとして機能してよい。記憶部１３は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１３は、一実施形態に係る監視装置１０に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部１３は、後述のコントローラ１５として用いられるＣＰＵの内部メモリであってもよいし、コントローラ１５に別体として接続されるものとしてもよい。 The storage unit 13 may have a function as a memory for storing various types of information. The storage unit 13 may store, for example, a program executed by the controller 15, the result of processing executed by the controller 15, and the like. Further, the storage unit 13 may function as a work memory of the controller 15. The storage unit 13 can be configured by, for example, a semiconductor memory or the like, but is not limited to this, and can be any storage device. For example, the storage unit 13 may be a storage medium such as a memory card inserted in the monitoring device 10 according to the embodiment. Further, the storage unit 13 may be the internal memory of the CPU used as the controller 15 described later, or may be connected to the controller 15 as a separate body.

図１に示すように、記憶部１３は、例えば機械学習データ１３２を記憶してもよい。ここで、機械学習データ１３２は、機械学習によって生成されるデータとしてよい。また、機械学習とは、特定のタスクをトレーニングにより実行可能になるＡＩ（Artificial Intelligence）の技術としてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩ（Artificial Intelligence）の一部には、機械学習が含まれるとしてもよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習、及び、報酬や罰を与えて入力データの特徴又はルールを学習する強化学習などを含むとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。本実施形態の機械学習データ１３２の概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープラーニングを利用するとしてよい。ディープラーニングは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープラーニングと呼ばれている。 As shown in FIG. 1, the storage unit 13 may store, for example, machine learning data 132. Here, the machine learning data 132 may be data generated by machine learning. Further, machine learning may be an AI (Artificial Intelligence) technique that enables a specific task to be executed by training. More specifically, machine learning may be a technique in which an information processing device such as a computer learns a large amount of data and automatically constructs an algorithm or model for performing tasks such as classification and / or prediction. In the present specification, a part of AI (Artificial Intelligence) may include machine learning. In the present specification, machine learning includes supervised learning that learns the features or rules of input data based on correct answer data, unsupervised learning that learns features or rules of input data in the absence of correct answer data, and It may include reinforcement learning to learn the characteristics or rules of input data by giving rewards and punishments. Further, in the present specification, machine learning may be an arbitrary combination of supervised learning, unsupervised learning, and reinforcement learning. The concept of machine learning data 132 of the present embodiment may include an algorithm that outputs a predetermined inference result by using an algorithm learned for input data. In this embodiment, as this algorithm, for example, a linear regression that predicts the relationship between a dependent variable and an independent variable, a neural network (NN) that mathematically models a human brain nervous system neuron, and a least squares that squares an error are calculated. Other appropriate algorithms such as multiplication, decision trees that make problem solving into a tree structure, and regularization that transforms data in a predetermined way can be used. In this embodiment, deep learning, which is a kind of neural network, may be used. Deep learning is a type of neural network, and a neural network with a deep network hierarchy is called deep learning.

特に、一実施形態において、機械学習データ１３２は、被監視対象Ｔが立ち上がり動作をする際の特徴点の動きを機械学習したデータとしてよい。また、機械学習データ１３２は、被監視対象Ｔが危険な立ち上がり動作をする際の特徴点の動きを機械学習したデータとしてもよい。さらに、機械学習データ１３２は、被監視対象Ｔとして特定の人物（例えば被監視対象Ｔ１）が立ち上がり動作をする際の特徴点の動きを機械学習したデータとしてもよい。一実施形態に係る機械学習データ１３２については、さらに後述する。 In particular, in one embodiment, the machine learning data 132 may be data obtained by machine learning the movement of the feature points when the monitored target T rises and operates. Further, the machine learning data 132 may be data obtained by machine learning the movement of the feature points when the monitored target T makes a dangerous rising motion. Further, the machine learning data 132 may be data obtained by machine learning the movement of the feature points when a specific person (for example, the monitored target T1) stands up as the monitored target T. The machine learning data 132 according to the embodiment will be further described later.

コントローラ１５は、監視装置１０を構成する各機能部をはじめとして、監視装置１０の全体を制御及び／又は管理する。コントローラ１５は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１５は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。 The controller 15 controls and / or manages the entire monitoring device 10 including each functional unit constituting the monitoring device 10. The controller 15 may include at least one processor, such as a CPU (Central Processing Unit), to provide control and processing power to perform various functions. The controller 15 may be realized collectively by one processor, by several processors, or by individual processors. The processor may be realized as a single integrated circuit. The integrated circuit is also referred to as an IC (Integrated Circuit). The processor may be realized as a plurality of communicably connected integrated circuits and discrete circuits. The processor may be implemented on the basis of various other known techniques.

一実施形態において、コントローラ１５は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。コントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などは、例えば記憶部１３に記憶されてよい。コントローラ１５は、コントローラ１５の動作に必要なメモリを適宜含んでもよい。一実施形態に係る監視装置１０のコントローラ１５の動作については、さらに後述する。 In one embodiment, the controller 15 may be configured as, for example, a CPU and a program executed by the CPU. The program executed by the controller 15, the result of the process executed by the controller 15, and the like may be stored in, for example, the storage unit 13. The controller 15 may appropriately include a memory necessary for the operation of the controller 15. The operation of the controller 15 of the monitoring device 10 according to the embodiment will be further described later.

警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、監視システム１又は監視装置１０のユーザなどに注意を促すための所定の警告を発してよい。警告部１７は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部１７は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部１７は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してもよい。 The warning unit 17 may issue a predetermined warning to call attention to the user of the monitoring system 1 or the monitoring device 10 based on the predetermined warning signal output from the controller 15. As a predetermined warning, the warning unit 17 may be any functional unit that stimulates at least one of the user's auditory sense, visual sense, and tactile sense, such as sound, voice, light, characters, video, and vibration. Specifically, the warning unit 17 may be at least one of, for example, an audio output unit such as a buzzer or a speaker, a light emitting unit such as an LED, a display unit such as an LCD, and a tactile presentation unit such as a vibrator. .. In this way, the warning unit 17 may issue a predetermined warning based on the predetermined warning signal output from the controller 15. In one embodiment, the warning unit 17 may issue a predetermined alarm as information acting on at least one of auditory, visual, and tactile sensations.

一実施形態において、警告部１７は、例えば被監視対象Ｔが立ち上がり動作をする前に、被監視対象Ｔが立ち上がり動作をする旨の警告を発してよい。また、一実施形態において、警告部１７は、例えば被監視対象Ｔが危険な立ち上がり動作をする前に、被監視対象Ｔが危険な立ち上がり動作をする旨の警告を発してもよい。さらに、一実施形態において、警告部１７は、例えば特定の人物が立ち上がり動作をする旨の警告を発してもよい。例えば、一実施形態において、視覚情報を出力する警告部１７は、被監視対象Ｔが立ち上がり動作をする旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部１７は、被監視対象Ｔが立ち上がり動作をする旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。 In one embodiment, the warning unit 17 may issue a warning that the monitored target T starts up, for example, before the monitored target T starts up. Further, in one embodiment, the warning unit 17 may issue a warning that the monitored target T performs a dangerous rising operation, for example, before the monitored target T performs a dangerous rising operation. Further, in one embodiment, the warning unit 17 may issue a warning that, for example, a specific person stands up. For example, in one embodiment, the warning unit 17 that outputs visual information may warn the user by emitting light or a predetermined display when it is detected that the monitored target T starts up. Further, in one embodiment, the warning unit 17 that outputs auditory information may warn the user by a predetermined sound or voice when it is detected that the monitored target T starts up and operates. In the present embodiment, the warning may be a combination of light emission or a predetermined display, and a predetermined sound or voice.

図１に示す監視装置１０は、警告部１７を内蔵している。しかしながら、一実施形態に監視システム１において、警告部１７は、監視装置１０の外部に設けられてもよい。この場合、警告部１７と監視装置１０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。 The monitoring device 10 shown in FIG. 1 has a built-in warning unit 17. However, in one embodiment, in the monitoring system 1, the warning unit 17 may be provided outside the monitoring device 10. In this case, the warning unit 17 and the monitoring device 10 may be connected by wire or wireless, or a combination of wired and wireless.

通信部１９は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部１９によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部１９は、上記の通信規格の１つ又は複数をサポートすることができる。通信部１９は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部１９は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部１９は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアの説明は省略する。 The communication unit 19 has an interface function for communicating by wire or wirelessly. The communication method performed by the communication unit 19 of one embodiment may be a wireless communication standard. For example, wireless communication standards include communication standards for cellular phones such as 2G, 3G, 4G, and 5G. For example, the communication standards for cellular phones are LTE (Long Term Evolution), W-CDMA (Wideband Code Division Multiple Access), CDMA2000, PDC (Personal Digital Cellular), GSM (Registered Trademark) (Global System for Mobile communications), and PHS. (Personal Handy-phone System) etc. are included. For example, wireless communication standards include WiMAX (Worldwide Interoperability for Microwave Access), 802.11, WiFi, Bluetooth®, Infrared Data Association (IrDA), NFC (Near Field Communication) and the like. The communication unit 19 can support one or more of the above communication standards. The communication unit 19 may be configured to include, for example, an antenna for transmitting and receiving radio waves, an appropriate RF unit, and the like. Further, the communication unit 19 may be configured as an interface such as a connector for making a wired connection to the outside. Since the communication unit 19 can be configured by a known technique for performing wireless communication, a more detailed description of the hardware will be omitted.

通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に供給されてよい。通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に内蔵されたメモリに記憶してもよい。また、通信部１９は、例えばコントローラ１５による処理結果、抽出部１１による抽出結果、及び／又は、記憶部１３に記憶された情報などを外部に送信してもよい。 Various types of information received by the communication unit 19 may be supplied to, for example, the storage unit 13 and / or the controller 15. Various information received by the communication unit 19 may be stored in, for example, a memory built in the storage unit 13 and / or the controller 15. Further, the communication unit 19 may transmit, for example, the processing result by the controller 15, the extraction result by the extraction unit 11, and / or the information stored in the storage unit 13 to the outside.

図１に示すような、一実施形態に係る監視装置１０を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。 As shown in FIG. 1, at least a part of each functional unit constituting the monitoring device 10 according to the embodiment may be configured by a specific means in which software and hardware resources cooperate.

次に、一実施形態に係る監視システム１の動作について説明する。 Next, the operation of the monitoring system 1 according to the embodiment will be described.

図２は、一実施形態に係る監視システム１の動作の一例を示すフローチャートである。図２に示す動作は、例えば病院又は介護施設などにおいて、被監視対象Ｔの立ち上がり動作の監視を行う際に開始してよい。例えば介護施設又は病院などにおいて、お年寄り又は負傷者のように、足腰が弱くなっているため自力で立ち上がろうとすると転倒するリスクが高い者が存在し得る。また、例えば認知症を発症している患者などは、自力で立ち上がると、徘徊したり行方不明になったりするリスクもある。このような被監視対象Ｔを監視システム１によって監視することで、例えば介護施設又は病院などのスタッフは、被監視対象Ｔが自力で立ち上がろうとしていることを、被監視対象Ｔが実際に立ち上がり動作をする前に認識することができる。 FIG. 2 is a flowchart showing an example of the operation of the monitoring system 1 according to the embodiment. The operation shown in FIG. 2 may be started when monitoring the rising operation of the monitored target T, for example, in a hospital or a nursing care facility. For example, in a long-term care facility or a hospital, there may be a person such as an elderly person or an injured person who has a weak leg and has a high risk of falling if he / she tries to stand up by himself / herself. In addition, for example, a patient who develops dementia may wander or go missing if he / she stands up by himself / herself. By monitoring such a monitored target T by the monitoring system 1, for example, a staff member of a nursing care facility or a hospital actually starts up the monitored target T to indicate that the monitored target T is about to stand up by itself. Can be recognized before doing.

図２に示す動作が開始すると、一実施形態に係る監視システム１において、撮像部２０は、被監視対象Ｔを撮像する（ステップＳ１）。ステップＳ１において、撮像部２０は、被監視対象Ｔの画像を撮像してよい。ステップＳ１において、撮像部２０は、この時点で被監視対象Ｔの撮像を開始してもよいし、すでに開始していた被監視対象Ｔの撮像を継続してもよい。また、ステップＳ１において、撮像部２０は、被監視対象Ｔを例えば所定時間ごと（例えば０．５秒おき）の静止画として撮像してもよい。また、ステップＳ１において、撮像部２０は、例えば被監視対象Ｔを連続した動画として撮像してもよい。ステップＳ１において撮像部２０によって撮像された被監視対象Ｔの画像は、監視装置１０の抽出部１１に供給される。また、撮像部２０は、例えば被監視対象Ｔを、例えば所定時間ごと（例えば０．５秒おき）の静止画及び連続した動画との組合せで撮像してもよい。本実施形態は、動画の撮像モードから静止画のモードに移行して画像データの容量を削減してもよい。本実施形態は、被監視対象Ｔの動作が少ない、例えば夜間などの場合に、動画の撮像モードから静止画のモードに移行して画像データの容量を削減してもよい。 When the operation shown in FIG. 2 starts, the image pickup unit 20 takes an image of the monitored target T in the monitoring system 1 according to the embodiment (step S1). In step S1, the image pickup unit 20 may capture an image of the monitored target T. In step S1, the imaging unit 20 may start imaging of the monitored target T at this point, or may continue imaging of the monitored target T that has already started. Further, in step S1, the imaging unit 20 may capture the monitored target T as a still image, for example, at predetermined time intervals (for example, every 0.5 seconds). Further, in step S1, the imaging unit 20 may image, for example, the monitored target T as a continuous moving image. The image of the monitored object T captured by the imaging unit 20 in step S1 is supplied to the extraction unit 11 of the monitoring device 10. Further, the image pickup unit 20 may take an image of the monitored object T, for example, in combination with a still image and a continuous moving image at predetermined time intervals (for example, every 0.5 seconds). In this embodiment, the amount of image data may be reduced by shifting from the moving image imaging mode to the still image mode. In the present embodiment, when the operation of the monitored target T is small, for example, at night, the image data capacity may be reduced by shifting from the moving image imaging mode to the still image mode.

ステップＳ１において被監視対象Ｔが撮像されたら、監視装置１０の抽出部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔの特徴点の動きを抽出する（ステップＳ２）。 When the monitored target T is imaged in step S1, the extraction unit 11 of the monitoring device 10 extracts the movement of the feature point of the monitored target T from the image captured by the imaging unit 20 (step S2).

図４以降は、撮像部２０によって撮像された被監視対象Ｔの画像に基づいて、抽出部１１によって抽出される被監視対象Ｔの特徴点の例を模式的に示す図である。図４は、椅子Ｃ１に座っている状態の被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。 4A and 4B are diagrams schematically showing an example of the feature points of the monitored object T extracted by the extraction unit 11 based on the image of the monitored object T captured by the imaging unit 20. FIG. 4 schematically shows an example of feature points extracted from an image of the monitored target T sitting on the chair C1 from the left side.

一実施形態において、抽出部１１によって抽出される被監視対象Ｔの特徴点は、例えば図４以降に示すように、次のような特徴点としてよい。
特徴点Ｐ１は、被監視対象Ｔの例えば頭部としてよい。
特徴点Ｐ２は、被監視対象Ｔの例えば頭部と首との接続部としてよい。
特徴点Ｐ３は、被監視対象Ｔの例えば首と体幹との接続部としてよい。
特徴点Ｐ４は、被監視対象Ｔの例えば体幹と脚との接続部としてよい。
特徴点Ｐ５は、被監視対象Ｔの例えば肩としてよい。
特徴点Ｐ６は、被監視対象Ｔの例えば肘としてよい。
特徴点Ｐ７は、被監視対象Ｔの例えば手としてよい。
特徴点Ｐ８は、被監視対象Ｔの例えば膝としてよい。
特徴点Ｐ９は、被監視対象Ｔの例えば足としてよい。 In one embodiment, the feature points of the monitored target T extracted by the extraction unit 11 may be the following feature points, for example, as shown in FIGS. 4 and later.
The feature point P1 may be, for example, the head of the monitored target T.
The feature point P2 may be a connection portion between the head and the neck of the monitored target T, for example.
The feature point P3 may be a connection portion between the neck and the trunk of the monitored target T, for example.
The feature point P4 may be a connection portion between the trunk and the leg of the monitored target T, for example.
The feature point P5 may be, for example, a shoulder of the monitored target T.
The feature point P6 may be, for example, an elbow of the monitored target T.
The feature point P7 may be, for example, a hand of the monitored target T.
The feature point P8 may be, for example, the knee of the monitored target T.
The feature point P9 may be, for example, a foot of the monitored target T.

図２の説明に戻り、ステップＳ２において、抽出部１１は、既存の画像認識などの技術を用いて特徴点の抽出を行ってよい。また、ステップＳ２において、抽出部１１は、例えばＡＩなどに基づく技術を用いて特徴点の抽出を行ってもよい。 Returning to the description of FIG. 2, in step S2, the extraction unit 11 may extract feature points by using an existing technique such as image recognition. Further, in step S2, the extraction unit 11 may extract feature points by using a technique based on, for example, AI.

ステップＳ２において、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの連続する複数の静止画から、特徴点の動きを抽出してもよい。また、ステップＳ２において、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの動画から、特徴点の動きを抽出してもよい。 In step S2, the extraction unit 11 may extract the movement of the feature point from a plurality of continuous still images of the monitored target T imaged by the image pickup unit 20. Further, in step S2, the extraction unit 11 may extract the movement of the feature point from the moving image of the monitored target T imaged by the image pickup unit 20.

ステップＳ２において特徴点の動きが抽出されたら、監視装置１０のコントローラ１５は、機械学習データ１３２を取得する（ステップＳ３）。ステップＳ３において、コントローラ１５は、記憶部１３から機械学習データ１３２を読み出してもよい。また、必要な機械学習データ１３２が記憶部１３に記憶されていない場合、コントローラ１５は、必要な機械学習データ１３２を例えば外部サーバなどから取得してもよい。この場合、コントローラ１５は、通信部１９を介して、必要な機械学習データ１３２を受信してもよい。このようにして受信された機械学習データ１３２は、例えば記憶部１３又はコントローラ１５の内部メモリなどに記憶されてもよい。以下、機械学習データ１３２について、さらに説明する。 When the movement of the feature point is extracted in step S2, the controller 15 of the monitoring device 10 acquires the machine learning data 132 (step S3). In step S3, the controller 15 may read the machine learning data 132 from the storage unit 13. Further, when the necessary machine learning data 132 is not stored in the storage unit 13, the controller 15 may acquire the necessary machine learning data 132 from, for example, an external server. In this case, the controller 15 may receive the necessary machine learning data 132 via the communication unit 19. The machine learning data 132 received in this way may be stored in, for example, the internal memory of the storage unit 13 or the controller 15. Hereinafter, the machine learning data 132 will be further described.

上述のように、一実施形態に係る監視装置１０は、被監視対象Ｔの特徴点の動きに基づいて、被監視対象Ｔが立ち上がり動作をする前に、被監視対象Ｔが立ち上がり動作をすると判定してよい。被監視対象Ｔが立ち上がり動作をする前は、例えば立ち上がり動作を完了する前としてよい。このため、一実施形態に係る監視装置１０において、コントローラ１５は、撮像された被監視対象Ｔの画像から抽出された特徴点の動きを監視してよい。具体的には、コントローラ１５は、被監視対象Ｔの画像から抽出された複数の特徴点の所定のタイミングにおける位置を、それぞれ監視してよい。また、コントローラ１５は、被監視対象Ｔの画像から抽出された複数の特徴点が所定の位置に到来するタイミングを、それぞれ監視してもよい。 As described above, the monitoring device 10 according to the embodiment determines that the monitored target T makes a rising operation before the monitored target T makes a rising operation based on the movement of the feature points of the monitored target T. You can do it. Before the monitored target T starts up, for example, it may be before the start-up operation is completed. Therefore, in the monitoring device 10 according to the embodiment, the controller 15 may monitor the movement of the feature points extracted from the captured image of the monitored object T. Specifically, the controller 15 may monitor the positions of the plurality of feature points extracted from the image of the monitored target T at predetermined timings. Further, the controller 15 may monitor the timing at which the plurality of feature points extracted from the image of the monitored target T arrive at a predetermined position.

一実施形態において、被監視対象Ｔの画像から抽出された特徴点の動きと対比される対象として、機械学習データ１３２を使用してよい。この機会学習データ１３２には、機械学習を行うアルゴリズムも含まれるとしてもよい。ここで、一実施形態において、機械学習データ１３２として、被監視対象Ｔが立ち上がり動作をする際の特徴点の動きを機械学習したデータを用いてよい。例えば、機械学習データ１３２は、これまでに被監視対象Ｔが実際に行った立ち上がり動作から抽出した特徴点の動きに基づくデータを含むとしてよい。特に、機械学習データ１３２は、例えば、これまでに被監視対象Ｔが実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータを含むとしてもよい。このような機械学習データ１３２は、例えば被監視対象Ｔが複数回の立ち上がり動作をした際の特徴点の動きに基づくデータを含むとしてもよい。このような機械学習データ１３２と、抽出部１１によって抽出された特徴点の動きを対比させることによって、コントローラ１５は、被監視対象Ｔが立ち上がり動作を行うか否かを判定するとことができる。また、本実施形態の機械学習データ１３２は、これまでに被監視対象Ｔが実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータに限定されない。すなわち、機械学習データ１３２は、これまでに被監視対象Ｔが実際に行った立ち上がり動作以外の動作などから抽出した特徴点の動きに基づくデータとしてもよい。例えば、機械学習データ１３２は、被監視対象Ｔが、コップを取る動作や、対話相手に向く動作など、立ち上がり動作以外の動作から抽出した特徴点の動きに基づくデータを含むとしてもよい。 In one embodiment, machine learning data 132 may be used as an object to be compared with the movement of feature points extracted from the image of the monitored object T. The opportunity learning data 132 may also include an algorithm for performing machine learning. Here, in one embodiment, as the machine learning data 132, data obtained by machine learning the movement of the feature points when the monitored target T starts up may be used. For example, the machine learning data 132 may include data based on the movement of feature points extracted from the rising motion actually performed by the monitored target T so far. In particular, the machine learning data 132 may include, for example, data based on the movement of feature points extracted from successful examples of the rising operation actually performed by the monitored target T so far. Such machine learning data 132 may include, for example, data based on the movement of feature points when the monitored target T makes a plurality of rising operations. By comparing the machine learning data 132 with the movements of the feature points extracted by the extraction unit 11, the controller 15 can determine whether or not the monitored target T performs a rising operation. Further, the machine learning data 132 of the present embodiment is not limited to the data based on the movement of the feature points extracted from the successful examples of the rising operation actually performed by the monitored target T so far. That is, the machine learning data 132 may be data based on the movement of the feature points extracted from the movements other than the rising movement actually performed by the monitored target T so far. For example, the machine learning data 132 may include data based on the movement of feature points extracted from movements other than the rising movement, such as a movement in which the monitored target T takes a cup or a movement toward a dialogue partner.

後述のように、被監視対象Ｔが行う立ち上がり動作は、座っている状態から立ち上がり動作が完了するまでの一連の動作において、少なくとも１以上の部分的な動作を含む。したがって、座っている状態から立ち上がるまでの一連の動作に含まれる少なくとも１以上の部分的な動作の少なくとも一部が行われたことが判定できれば、被監視対象Ｔが立ち上がり動作をする（しようとしている）と推定できる。このような推定は、被監視対象Ｔが立ち上がり動作を完了する前に行うことができる。したがって、一実施形態に係る監視装置１０によれば、被監視対象Ｔが立ち上がり動作を完了する前に、被監視対象Ｔが立ち上がり動作を行うことを察知して、所定の警告を発することができる。すなわち、監視装置１０は、機械学習データ１３２に基づけば、被監視対象Ｔが立ち上がり動作をする前に、所定の警告を発することができる。 As will be described later, the rising motion performed by the monitored target T includes at least one partial motion in a series of motions from the sitting state to the completion of the standing motion. Therefore, if it can be determined that at least a part of at least one or more partial movements included in the series of movements from the sitting state to standing up has been performed, the monitored target T will perform (trying to) stand up. ). Such an estimation can be performed before the monitored target T starts up and completes the operation. Therefore, according to the monitoring device 10 according to the embodiment, it is possible to detect that the monitored target T performs the rising operation and issue a predetermined warning before the monitored target T completes the rising operation. .. That is, based on the machine learning data 132, the monitoring device 10 can issue a predetermined warning before the monitored target T starts up and operates.

また、例えば、機械学習データ１３２は、これまでに被監視対象Ｔが実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータに限定されない。すなわち、機械学習データ１３２は、これまでに被監視対象Ｔが実際に行った立ち上がり動作の失敗例などから抽出した特徴点の動きに基づくデータとしてもよい。例えば、機械学習データ１３２は、被監視対象Ｔが立ち上がり動作をしようとしたが失敗（例えば転倒）した場合又は失敗しかけた場合の動作から抽出した特徴点の動きに基づくデータとしてもよい。このような機械学習データ１３２に基づけば、監視装置１０は、被監視対象Ｔの立ち上がり動作が成功する（すなわち失敗しない）確率が所定以上の場合には、所定の警告を発しないようにしてもよい。一方、このような機械学習データ１３２に基づけば、監視装置１０は、被監視対象Ｔの立ち上がり動作が成功しない（すなわち失敗する）確率が所定以上の場合には、所定の警告を発するようにしてもよい。 Further, for example, the machine learning data 132 is not limited to the data based on the movement of the feature points extracted from the successful examples of the rising operation actually performed by the monitored target T so far. That is, the machine learning data 132 may be data based on the movement of the feature points extracted from the failure examples of the rising operation actually performed by the monitored target T so far. For example, the machine learning data 132 may be data based on the movement of feature points extracted from the movement when the monitored target T tries to start up but fails (for example, falls) or is about to fail. Based on such machine learning data 132, the monitoring device 10 does not issue a predetermined warning when the probability that the rising operation of the monitored target T succeeds (that is, does not fail) is equal to or higher than a predetermined value. good. On the other hand, based on such machine learning data 132, the monitoring device 10 issues a predetermined warning when the probability that the rising operation of the monitored target T does not succeed (that is, fails) is equal to or higher than a predetermined value. May be good.

例えば、機械学習データ１３２は、教師あり学習データとして、人間がラベル付けしたデータを使用して、被監視対象Ｔの立ち上がり動作が成功するか否かを判定するアルゴリズムを訓練したものとしてもよい。ここで、機械学習データ１３２において、被監視対象Ｔの立ち上がり動作が成功する場合と失敗する場合とで、異なるラベル付けをしてもよい。また、機械学習データ１３２において、被監視対象Ｔの立ち上がり動作が単なる成功又は失敗する場合だけではなく、各立ち上がり動作のそれぞれに対して異なるラベルを付けてもよい。例えば、被監視対象Ｔの立ち上がり動作が一応成功したがスムーズな動作ではなかった場合などは、立ち上がり動作が成功した場合とは異なるラベル付けをしてもよい。 For example, the machine learning data 132 may be trained with an algorithm for determining whether or not the rising motion of the monitored target T is successful by using the data labeled by a human as supervised learning data. Here, in the machine learning data 132, different labeling may be performed depending on whether the rising operation of the monitored target T succeeds or fails. Further, in the machine learning data 132, not only when the rising motion of the monitored target T simply succeeds or fails, but also a different label may be attached to each rising motion. For example, when the rising operation of the monitored target T is successful but not smooth, the labeling may be different from the case where the rising operation is successful.

一方、機械学習データ１３２は、教師なし学習データとして、ラベルなしのデータを与えて、被監視対象Ｔの立ち上がり動作が成功するか否かを判定するアルゴリズム自身にパターンを見出させるものとしてもよい。 On the other hand, the machine learning data 132 may be given unlabeled data as unsupervised learning data so that the algorithm itself for determining whether or not the rising operation of the monitored target T succeeds finds a pattern. ..

さらに、機械学習データ１３２は、被監視対象Ｔとして特定の人物（例えば被監視対象Ｔ１など）が立ち上がり動作をする際の特徴点の動きを機械学習したデータであってもよい。このような機械学習データ１３２に基づけば、監視装置１０は、被監視対象Ｔ１のような特定の人物が立ち上がり動作をする前に、所定の警告を発することができる。 Further, the machine learning data 132 may be data obtained by machine learning the movement of a feature point when a specific person (for example, the monitored target T1 or the like) stands up as a monitored target T. Based on such machine learning data 132, the monitoring device 10 can issue a predetermined warning before a specific person such as the monitored target T1 stands up.

また、例えば、機械学習データ１３２は、被監視対象Ｔ１のような特定の人物が実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータに限定されない。すなわち、機械学習データ１３２は、被監視対象Ｔ１のような特定の人物が実際に行った立ち上がり動作の失敗例などから抽出した特徴点の動きに基づくデータを含むとしてもよい。このような機械学習データ１３２に基づけば、監視装置１０は、被監視対象Ｔ１のような特定の人物の立ち上がり動作が成功する（すなわち失敗しない）確率が所定以上の場合には、所定の警告を発しないようにしてもよい。一方、このような機械学習データ１３２に基づけば、監視装置１０は、被監視対象Ｔ１のような特定の人物の立ち上がり動作が成功しない（すなわち失敗する）確率が所定以上の場合には、所定の警告を発するようにしてもよい。 Further, for example, the machine learning data 132 is not limited to data based on the movement of feature points extracted from a successful example of a rising motion actually performed by a specific person such as the monitored target T1. That is, the machine learning data 132 may include data based on the movement of feature points extracted from a failure example of a rising operation actually performed by a specific person such as the monitored target T1. Based on such machine learning data 132, the monitoring device 10 issues a predetermined warning when the probability that the rising operation of a specific person such as the monitored target T1 succeeds (that is, does not fail) is more than a predetermined value. You may not emit it. On the other hand, based on such machine learning data 132, the monitoring device 10 determines a predetermined value when the probability that the rising operation of a specific person such as the monitored target T1 does not succeed (that is, fails) is equal to or higher than a predetermined value. You may want to issue a warning.

ステップＳ３において機械学習データ１３２が取得されたら、コントローラ１５は、抽出部１１によって抽出された特徴点、及び、機械学習データ１３２に基づいて、被監視対象Ｔが立ち上がり動作をするか否か判定してよい（ステップＳ４）。ステップＳ４において、コントローラ１５は、機械学習データ１３２を用いたＡＩの技術による機械学習アルゴリズムに基づいて、被監視対象Ｔが立ち上がり動作をするか否か判定してもよい。 When the machine learning data 132 is acquired in step S3, the controller 15 determines whether or not the monitored target T starts up and operates based on the feature points extracted by the extraction unit 11 and the machine learning data 132. (Step S4). In step S4, the controller 15 may determine whether or not the monitored target T starts up and operates based on the machine learning algorithm by the AI technique using the machine learning data 132.

ステップＳ４において被監視対象Ｔが立ち上がり動作をしないと判定された場合、コントローラ１５は、図２に示す動作を終了する。図２に示す動作を終了したら、コントローラ１５は、連続して、又は所定の時間間隔ごとに、図２に示す動作を再び開始してもよい。 When it is determined in step S4 that the monitored target T does not start up, the controller 15 ends the operation shown in FIG. After completing the operation shown in FIG. 2, the controller 15 may restart the operation shown in FIG. 2 continuously or at predetermined time intervals.

一方、ステップＳ４において被監視対象Ｔが立ち上がり動作をすると判定された場合、コントローラ１５は、被監視対象Ｔが立ち上がり動作をする前に所定の警告信号を出力してよい（ステップＳ５）。ステップＳ５において、コントローラ１５は、所定の警告信号を警告部１７に出力してよい。ステップＳ５においてコントローラ１５から出力された所定の警告信号に基づいて、警告部１７は、所定の警告をユーザ発してよい。 On the other hand, when it is determined in step S4 that the monitored target T starts up, the controller 15 may output a predetermined warning signal before the monitored target T starts up (step S5). In step S5, the controller 15 may output a predetermined warning signal to the warning unit 17. Based on the predetermined warning signal output from the controller 15 in step S5, the warning unit 17 may issue a predetermined warning to the user.

このように、コントローラ１５は、抽出部１１によって抽出された特徴点、及び、機械学習データ１３２に基づいて、被監視対象Ｔが立ち上がり動作をする前に所定の警告信号を出力してよい。 As described above, the controller 15 may output a predetermined warning signal before the monitored target T starts up and operates based on the feature points extracted by the extraction unit 11 and the machine learning data 132.

図２に示すステップＳ４において、コントローラ１５は、被監視対象Ｔが立ち上がり動作をするか否かを判定した。これにより、監視装置１０は、被監視対象Ｔが立ち上がり動作をする前、例えば立ち上がり動作を完了する前に、所定の警告を発することができる。 In step S4 shown in FIG. 2, the controller 15 determines whether or not the monitored target T starts up and operates. As a result, the monitoring device 10 can issue a predetermined warning before the monitored target T starts the rising operation, for example, before the rising operation is completed.

これに対し、上述したように、コントローラ１５は、被監視対象Ｔが成功の可能性が比較的高い（すなわち安全な）立ち上がり動作をするか、又は失敗の可能性が比較的高い（すなわち危険な）立ち上がり動作をするか判定してもよい。この場合、機械学習データ１３２は、被監視対象Ｔ１のような特定の人物が実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータとしてもよい。また、この場合、機械学習データ１３２は、被監視対象Ｔ１のような特定の人物が実際に行った立ち上がり動作の失敗例などから抽出した特徴点の動きに基づくデータとしてもよい。 On the other hand, as described above, in the controller 15, the monitored target T has a relatively high probability of success (that is, a safe) start-up operation, or a relatively high possibility of failure (that is, dangerous). ) It may be determined whether or not the rising operation is performed. In this case, the machine learning data 132 may be data based on the movement of feature points extracted from a successful example of a rising motion actually performed by a specific person such as the monitored target T1. Further, in this case, the machine learning data 132 may be data based on the movement of the feature points extracted from the failure example of the rising operation actually performed by a specific person such as the monitored target T1.

図３は、上述のような危険な立ち上がりを監視する監視システム１の動作の一例を示すフローチャートである。 FIG. 3 is a flowchart showing an example of the operation of the monitoring system 1 for monitoring the dangerous rise as described above.

図３は、図２におけるステップＳ４をステップＳ１４に変更したものである。すなわち、図２のステップＳ４において、コントローラ１５は、被監視対象Ｔが立ち上がり動作をするか否かを判定した。これに対し、図３のステップＳ１４において、コントローラ１５は、被監視対象Ｔが危険な（すなわち失敗の可能性が比較的高い）立ち上がり動作をするか否かを判定してよい。ステップＳ１４における動作以外の動作は、図２において説明したのと同様に実施することができるため、より詳細な説明は省略する。 FIG. 3 shows that step S4 in FIG. 2 is changed to step S14. That is, in step S4 of FIG. 2, the controller 15 determines whether or not the monitored target T starts up. On the other hand, in step S14 of FIG. 3, the controller 15 may determine whether or not the monitored target T performs a dangerous (that is, a relatively high possibility of failure) rising operation. Since the operations other than the operations in step S14 can be performed in the same manner as described with reference to FIG. 2, more detailed description will be omitted.

このように、コントローラ１５は、抽出部１１によって抽出された特徴点及び機械学習データ１３２に基づいて、被監視対象Ｔが危険な立ち上がり動作をする前に所定の警告信号を出力してもよい。ここで、機械学習データ１３２は、被監視対象Ｔが危険な立ち上がり動作をする際の特徴点の動きを機械学習したデータとしてもよい。 As described above, the controller 15 may output a predetermined warning signal before the monitored target T performs a dangerous rising operation based on the feature points and the machine learning data 132 extracted by the extraction unit 11. Here, the machine learning data 132 may be data obtained by machine learning the movement of the feature points when the monitored target T makes a dangerous rising motion.

また、上述のように、監視装置１０は、被監視対象Ｔ１のような特定の人物が立ち上がり動作をする前に、所定の警告を発してもよい。このように、コントローラ１５は、抽出部１１によって抽出された特徴点及び機械学習データ１３２に基づいて、特定の人物が立ち上がり動作をする前に所定の警告信号を出力してもよい。ここで、機械学習データ１３２は、被監視対象Ｔとして例えば特定の人物（被監視対象Ｔ１）が立ち上がり動作をする際の特徴点の動きを機械学習したデータとしてもよい。 Further, as described above, the monitoring device 10 may issue a predetermined warning before a specific person such as the monitored target T1 stands up. As described above, the controller 15 may output a predetermined warning signal before the specific person stands up based on the feature points and the machine learning data 132 extracted by the extraction unit 11. Here, the machine learning data 132 may be data obtained by machine learning the movement of a feature point when, for example, a specific person (monitored target T1) stands up as a monitored target T.

以下、抽出部１１によって抽出される被監視対象Ｔの特徴点に基づいて機械学習データ１３２を生成するに際し、実証実験から得られた知見のいくつかについて、さらに説明する。 Hereinafter, some of the findings obtained from the demonstration experiment in generating the machine learning data 132 based on the feature points of the monitored object T extracted by the extraction unit 11 will be further described.

（アームレストのない椅子から立ち上がる場合）
図４乃至図７は、被監視対象Ｔがアームレストのない椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図４から図７までは、アームレストのない椅子Ｃ１に座っている被監視対象Ｔが、徐々に立ち上がる際の特徴点の動きを示している。図４乃至図７は、被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子Ｃ１は、図４乃至図７に示すように、アームレスト又は肘掛けなどのない構造の椅子としてよい。 (When standing up from a chair without armrests)
4 to 7 are diagrams illustrating an example of extracting characteristic points of an operation in which the monitored object T stands up from a chair without an armrest. 4 to 7 show the movement of the feature points when the monitored object T sitting on the chair C1 without armrests gradually stands up. 4 to 7 schematically show an example of feature points extracted from an image in which the monitored object T is captured from the left side. Here, as shown in FIGS. 4 to 7, the chair C1 may be a chair having a structure without armrests or armrests.

図４から図７までに示すように、被監視対象Ｔが椅子Ｃ１に座っている状態から立ち上がる動作一連の動作には、いくつかの部分的な動作が含まれる。例えば、図４は、上述したように、椅子Ｃ１に座っている状態の被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。 As shown in FIGS. 4 to 7, the series of movements in which the monitored object T stands up from the state of sitting on the chair C1 includes some partial movements. For example, as described above, FIG. 4 schematically shows an example of feature points extracted from an image of the monitored target T sitting on the chair C1 from the left side.

図４に示した状態から図５に示す状態までに、被監視対象Ｔが行う一例の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。
（１）足を後ろに引く動作（特徴点Ｐ９の移動（図５に示す距離ｄ１及び角度ａ１））
（２）前傾姿勢を取る動作（特徴点Ｐ１，Ｐ２，又はＰ３の移動（図５に示す角度ａ２））
（３）手を前に出す動作（特徴点Ｐ７及び／又はＰ６の移動（図５に示す距離ｄ２）） From the state shown in FIG. 4 to the state shown in FIG. 5, the partial operation included in the rising operation of the example performed by the monitored target T may be, for example, the following operation.
(1) The action of pulling the foot backward (movement of the feature point P9 (distance d1 and angle a1 shown in FIG. 5))
(2) Action to take a forward leaning posture (movement of feature points P1, P2, or P3 (angle a2 shown in FIG. 5))
(3) Action to move the hand forward (movement of feature points P7 and / or P6 (distance d2 shown in FIG. 5))

ここで、被監視対象Ｔの通常の（安全な）立ち上がり動作において、上記（１）の距離ｄ１は約１０ｃｍ、角度ａ１は約７０°になる傾向にある。一方、被監視対象Ｔの危険な立ち上がり動作において、上記（１）の距離ｄ１は約２０ｃｍ、角度ａ１は約５０°になる傾向にある。以下、通常の（安全な）立ち上がり動作とは、例えば立ち上がり動作が成功する（すなわち失敗しない）確率が所定以上になる動作としてよい。また、危険な立ち上がり動作とは、例えば転倒するなど、立ち上がり動作が成功しない（すなわち失敗する）確率が所定以上になる動作としてよい。 Here, in the normal (safe) rising operation of the monitored object T, the distance d1 in (1) above tends to be about 10 cm, and the angle a1 tends to be about 70 °. On the other hand, in the dangerous rising motion of the monitored target T, the distance d1 in (1) above tends to be about 20 cm, and the angle a1 tends to be about 50 °. Hereinafter, the normal (safe) rising operation may be, for example, an operation in which the probability that the rising operation succeeds (that is, does not fail) becomes a predetermined value or more. Further, the dangerous rising motion may be an motion in which the probability that the rising motion does not succeed (that is, fails) becomes a predetermined value or more, for example, a fall.

また、監視対象Ｔの通常の立ち上がり動作において、上記（２）の角度ａ２は約４０°になる傾向にある。一方、被監視対象Ｔの危険な立ち上がり動作において、上記（２）の角度ａ２は約７０°になる傾向にある。 Further, in the normal rising operation of the monitored object T, the angle a2 in (2) above tends to be about 40 °. On the other hand, in the dangerous rising operation of the monitored target T, the angle a2 in (2) above tends to be about 70 °.

また、上記（３）の距離ｄ２は、監視対象Ｔの通常の立ち上がり動作においても、危険な立ち上がり動作においても、約１０ｃｍになる傾向にある。 Further, the distance d2 in (3) above tends to be about 10 cm in both the normal rising operation and the dangerous rising operation of the monitored object T.

次に、図５に示した状態から図６に示す状態を経て図７に示す状態までに、被監視対象Ｔが行う一例の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。図５及び図６は、被監視対象Ｔが行う一例の立ち上がり動作の途中の状態の画像から抽出された特徴点の例を模式的に示している。また、図７は、被監視対象Ｔが一例の立ち上がり動作を完了した状態の画像から抽出された特徴点の例を模式的に示している。
（４）お尻を持ち上げる動作（特徴点Ｐ４の移動（図６に示す距離ｄ３））
（５）膝を伸ばす動作（特徴点Ｐ４及び／又はＰ９の移動（図６に示す角度ａ３））
（６）頭を持ち上げる動作（特徴点Ｐ１の移動（図６に示す距離ｄ４））
（７）腕を伸ばす動作（特徴点Ｐ７の移動（図６に示す角度ａ４））
（８）背筋を伸ばす動作（特徴点Ｐ１，Ｐ２，又はＰ３の移動（図６に示す角度ａ５）） Next, from the state shown in FIG. 5 through the state shown in FIG. 6 to the state shown in FIG. 7, the partial operation included in the rising operation of the example performed by the monitored target T is, for example, the following operation. May be. 5 and 6 schematically show an example of feature points extracted from an image of a state during a rising operation of an example performed by the monitored target T. Further, FIG. 7 schematically shows an example of feature points extracted from an image in which the monitored target T has completed an example of a rising operation.
(4) Operation of lifting the buttocks (movement of feature point P4 (distance d3 shown in FIG. 6))
(5) Knee extension motion (movement of feature points P4 and / or P9 (angle a3 shown in FIG. 6))
(6) Head lifting operation (movement of feature point P1 (distance d4 shown in FIG. 6))
(7) Arm extension motion (movement of feature point P7 (angle a4 shown in FIG. 6))
(8) Motion to stretch the back muscle (movement of feature points P1, P2, or P3 (angle a5 shown in FIG. 6))

ここで、被監視対象Ｔの通常の立ち上がり動作において、上記（５）の角度ａ３は約７０°から約１８０°に変化する傾向にある。一方、被監視対象Ｔの危険な立ち上がり動作において、上記（５）の角度ａ３は約５０°から約１５０°に変化する傾向にある。 Here, in the normal rising operation of the monitored target T, the angle a3 in (5) above tends to change from about 70 ° to about 180 °. On the other hand, in the dangerous rising motion of the monitored target T, the angle a3 in (5) above tends to change from about 50 ° to about 150 °.

また、被監視対象Ｔの通常の立ち上がり動作において、上記（６）の距離ｄ４は、図６に示すＰ１の位置から図７に示すＰ１の位置まで変化する傾向にある。一方、被監視対象Ｔの危険な立ち上がり動作において、上記（６）の距離ｄ４は、図６に示すＰ１の位置から図７に示すＰ１の位置までの距離に約２０ｃｍ満たない位置まで変化する傾向にある。 Further, in the normal rising operation of the monitored target T, the distance d4 in (6) above tends to change from the position of P1 shown in FIG. 6 to the position of P1 shown in FIG. 7. On the other hand, in the dangerous rising motion of the monitored target T, the distance d4 in (6) above tends to change to a position less than about 20 cm from the position of P1 shown in FIG. 6 to the position of P1 shown in FIG. It is in.

また、被監視対象Ｔの通常の立ち上がり動作において、上記（７）の角度ａ４は約９０°から約１７０°に変化する傾向にある。一方、被監視対象Ｔの危険な立ち上がり動作において、上記（７）の角度ａ４は約９０°から約１６０°に変化する傾向にある。 Further, in the normal rising operation of the monitored target T, the angle a4 in (7) above tends to change from about 90 ° to about 170 °. On the other hand, in the dangerous rising motion of the monitored target T, the angle a4 in (7) above tends to change from about 90 ° to about 160 °.

さらに、被監視対象Ｔの通常の立ち上がり動作において、上記（８）の角度ａ５は約０°になる傾向にある。一方、被監視対象Ｔの危険な立ち上がり動作において、上記（８）の角度ａ５は約２０°になる傾向にある。 Further, in the normal rising operation of the monitored target T, the angle a5 in (8) above tends to be about 0 °. On the other hand, in the dangerous rising motion of the monitored target T, the angle a5 in (8) above tends to be about 20 °.

ここまで、被監視対象Ｔの立ち上がり動作における特徴点の動きについて説明した。以下、被監視対象Ｔの立ち上がり動作における特徴点の動くタイミングについて、さらに説明する。 Up to this point, the movement of the feature points in the rising motion of the monitored target T has been described. Hereinafter, the timing of movement of the feature points in the rising operation of the monitored target T will be further described.

実証実験の結果、被監視対象Ｔの通常の立ち上がり動作において、上記（１）から（３）までの動作は、約０．６秒の間に行われる傾向にある。また、被監視対象Ｔの通常の立ち上がり動作において、上記（４）から（８）までの動作は、約１．２秒の間に行われる傾向にある。すなわち、被監視対象Ｔの通常の立ち上がり動作は、全体として約２秒の間に行われる傾向にある。 As a result of the demonstration experiment, in the normal rising operation of the monitored object T, the operations (1) to (3) tend to be performed within about 0.6 seconds. Further, in the normal rising operation of the monitored target T, the operations (4) to (8) tend to be performed within about 1.2 seconds. That is, the normal rising operation of the monitored target T tends to be performed in about 2 seconds as a whole.

一方、被監視対象Ｔの危険な立ち上がり動作において、上記（１）から（３）までの動作は、約３秒の間に行われる傾向にある。また、被監視対象Ｔの危険な立ち上がり動作において、上記（４）から（８）までの動作は、約３秒の間に行われる傾向にある。すなわち、被監視対象Ｔの危険な立ち上がり動作は、全体として約６秒の間に行われる傾向にある。言い換えると、被監視対象Ｔの危険な立ち上がり動作は、全体として、被監視対象Ｔの通常の立ち上がり動作のように約２秒の間には行われない傾向にある。 On the other hand, in the dangerous rising operation of the monitored target T, the operations (1) to (3) tend to be performed within about 3 seconds. Further, in the dangerous rising operation of the monitored target T, the operations (4) to (8) above tend to be performed within about 3 seconds. That is, the dangerous rising operation of the monitored target T tends to be performed in about 6 seconds as a whole. In other words, the dangerous rising motion of the monitored target T tends not to be performed in about 2 seconds as the normal rising motion of the monitored target T as a whole.

以上から、例えば、監視装置１０のコントローラ１５は、被監視対象Ｔが立ち上がり動作を開始してから２秒経過しても立ち上がり動作を完了していない場合、危険な立ち上がりである旨を示す警告信号を出力してもよい。このようにすれば、監視装置１０は、被監視対象Ｔが危険な立ち上がりを完了する前に、被監視対象Ｔが危険な立ち上がり動作をしている旨の警告をユーザに発することができる。 From the above, for example, the controller 15 of the monitoring device 10 has a warning signal indicating that the rising operation is dangerous if the rising operation is not completed within 2 seconds after the monitored target T starts the rising operation. May be output. In this way, the monitoring device 10 can issue a warning to the user that the monitored target T is performing a dangerous rising operation before the monitored target T completes a dangerous rising operation.

また、上記（１）から（８）までの動作は、被監視対象Ｔが行う一連の立ち上がり動作に含まれる。したがって、例えば上記（１）から（３）までの動作が行われると、その後引き続き上記（４）から（８）までの動作が行われるものと想定することができる。そこで、例えば、コントローラ１５は、被監視対象Ｔが上記（１）から（３）までの動作を行うのに３秒以上かかった時点で、危険な立ち上がりである旨を示す警告信号を出力してもよい。このようにすれば、監視装置１０は、被監視対象Ｔが危険な立ち上がりを完了する所定時間前（例えば３秒前）に、被監視対象Ｔが危険な立ち上がり動作をしている旨の警告をユーザに発することができる。このように、コントローラ１５は、被監視対象Ｔが立ち上がり動作を完了する所定時間前に、所定の警告信号を出力してもよい。 Further, the operations (1) to (8) are included in a series of rising operations performed by the monitored target T. Therefore, for example, if the above operations (1) to (3) are performed, it can be assumed that the above operations (4) to (8) are subsequently performed. Therefore, for example, the controller 15 outputs a warning signal indicating a dangerous rise when it takes 3 seconds or more for the monitored target T to perform the operations (1) to (3) above. May be good. In this way, the monitoring device 10 warns that the monitored target T is performing a dangerous rising operation a predetermined time (for example, 3 seconds before) when the monitored target T completes the dangerous rising operation. Can be sent to the user. In this way, the controller 15 may output a predetermined warning signal before the predetermined time when the monitored target T rises up and completes the operation.

さらに、本実施形態において、被監視対象Ｔの危険な立ち上がり動作において、コントローラ１５は、被監視対象Ｔが立ち上がり動作を開始してから１秒以内に上記（１）から（３）までの動作を完了していなかった場合に、立ち上がり動作を行っている旨を示す警告信号を出力してもよい。さらに、被監視対象Ｔの危険な立ち上がり動作において、コントローラ１５は、被監視対象Ｔが立ち上がり動作を開始してから１秒以内に上記（１）から（３）までの動作を完了していた場合に、立ち上がり動作を行っている旨を示す警告信号を出力しないとしてもよい。このようにすれば、監視装置１０は、被監視対象Ｔが危険な立ち上がりを行う完了する所定時間前（例えば１秒前）に、被監視対象Ｔが危険な立ち上がり動作をしている旨の警告をユーザに発することができる。また、この場合、本実施形態では、警告をするか否かを、上記（１）から（３）までの動作の完了が１秒かかったか否かとしたため、通常の立ち上がりが可能な者の立ち上がりは警告せず、危険な立ち上がりを行う者の立ち上がりを警告できる。このため、本実施形態では、警告の信頼性や有用性を向上させることができる。また、本実施形態において、所定の警告信号を出力するか否かを判定するための経過時間は、上述のように１秒に限定されるものではない。つまり、通常の立ち上がり動作の動作時間Ｔ１と、危険な立ち上がり動作の動作時間をＴ２とした場合、所定の警告信号を出力するか否かを判定するための経過時間Ｔｔｈは、Ｔ２≧Ｔｔｈ≧Ｔ１としてよい。経過時間ＴｔｈをＴ１Ｔとした場合、本実施形態は、警告を迅速に出力することができる。経過時間ＴｔｈをＴ２とした場合、本実施形態は、通常の立ち上がり動作を危険な立ち上がり動作と誤認識する確率を減らすことができる。経過時間ＴｔｈをＴ２＞Ｔｔｈ＞Ｔ１とした場合、本実施形態は、警告出力の迅速性と誤認識の低減とをバランスよく設定することができる。また、本実施形態において、通常の立ち上がり動作の動作時間Ｔ１を０．６秒とし、危険な立ち上がり動作の動作時間Ｔ２を３秒とする場合を例にしたが、本実施形態は、Ｔ１、Ｔ２としてこのような値ではなく、被監視対象Ｔの年齢、体格、健康状態、心身の障害状態、時刻、例えば運動した後などのシチュエーションなどに基づいて適宜他の値を設定してもよい。 Further, in the present embodiment, in the dangerous rising operation of the monitored target T, the controller 15 performs the above operations (1) to (3) within 1 second after the monitored target T starts the rising operation. If it is not completed, a warning signal indicating that the rising operation is being performed may be output. Further, in the dangerous rising operation of the monitored target T, when the controller 15 completes the operations (1) to (3) above within 1 second after the monitored target T starts the rising operation. In addition, the warning signal indicating that the rising operation is being performed may not be output. In this way, the monitoring device 10 warns that the monitored target T is performing a dangerous rising operation before a predetermined time (for example, 1 second before) when the monitored target T completes a dangerous rising operation. Can be issued to the user. Further, in this case, in the present embodiment, whether or not to give a warning is determined by whether or not it took 1 second to complete the operations (1) to (3). It is possible to warn the rise of a person who makes a dangerous rise without warning. Therefore, in the present embodiment, the reliability and usefulness of the warning can be improved. Further, in the present embodiment, the elapsed time for determining whether or not to output a predetermined warning signal is not limited to 1 second as described above. That is, when the operating time of the normal rising operation is T1 and the operating time of the dangerous rising operation is T2, the elapsed time Tth for determining whether or not to output a predetermined warning signal is T2 ≧ Tth ≧ T1. May be. When the elapsed time Tth is T1T, the present embodiment can quickly output a warning. When the elapsed time Tth is T2, the present embodiment can reduce the probability of erroneously recognizing a normal rising motion as a dangerous rising motion. When the elapsed time Tth is T2> Tth> T1, the present embodiment can set the speed of the warning output and the reduction of erroneous recognition in a well-balanced manner. Further, in the present embodiment, an example is taken in which the operating time T1 of the normal rising operation is 0.6 seconds and the operating time T2 of the dangerous rising operation is 3 seconds. However, in the present embodiment, T1 and T2 are used. Instead of such a value, another value may be appropriately set based on the age, physique, health condition, mental and physical disorder condition, time, for example, a situation such as after exercising, etc. of the monitored target T.

以上のような動作を、被監視対象Ｔの通常の立ち上がり動作において行ってもよい。例えば、被監視対象Ｔの通常の立ち上がり動作において、上記（１）から（３）までの動作が０．６秒の間に行われると、その後引き続き上記（４）から（８）までの動作が１．２秒の間に行われるものと想定することができる。 The above operation may be performed in the normal rising operation of the monitored target T. For example, in the normal rising operation of the monitored target T, if the above operations (1) to (3) are performed within 0.6 seconds, then the above operations (4) to (8) are continuously performed. It can be assumed that it takes place in 1.2 seconds.

そこで、コントローラ１５は、被監視対象Ｔが立ち上がり動作を開始してから１秒以内に上記（１）から（３）までの動作を完了した場合に、立ち上がり動作を行っている旨を示す警告信号を出力してもよい。本実施形態は、所定の警告信号を出力するか否かを判定するための経過時間として１秒としてよい。このようにすれば、監視装置１０は、被監視対象Ｔが通常の立ち上がりを完了する所定時間前（例えば約１秒前）に、被監視対象Ｔが立ち上がり動作を開始している旨の警告をユーザに発することができる。このように、コントローラ１５は、被監視対象Ｔが立ち上がり動作をする所定時間前に、所定の警告信号を出力してもよい。ここで、本実施形態において、所定の警告信号を出力するか否かを判定するための経過時間は、上述のように１秒に限定されるものではない。つまり、通常の立ち上がり動作の動作時間Ｔ１と、危険な立ち上がり動作の動作時間をＴ２とした場合、所定の警告信号を出力するか否かを判定するための経過時間Ｔｔｈは、Ｔ２≧Ｔｔｈ≧Ｔ１としてよい。経過時間ＴｔｈをＴ１とした場合、本実施形態は、警告を迅速に出力することができる。経過時間ＴｔｈをＴ２とした場合、本実施形態は、通常の立ち上がり動作を危険な立ち上がり動作と誤認識する確率を減らすことができる。経過時間ＴｔｈをＴ２＞Ｔｔｈ＞Ｔ１とした場合、本実施形態は、警告出力の迅速性と誤認識の低減とをバランスよく設定することができる。また、本実施形態において、通常の立ち上がり動作の動作時間Ｔ１を０．６秒とし、危険な立ち上がり動作の動作時間Ｔ２を３秒とする場合を例にしたが、本実施形態は、Ｔ１、Ｔ２としてこのような値ではなく、被監視対象Ｔの年齢、体格、健康状態、心身の障害状態、時刻、例えば運動した後などのシチュエーションなどに基づいて適宜他の値を設定してもよい。 Therefore, the controller 15 is a warning signal indicating that the rising operation is performed when the operation from (1) to (3) is completed within 1 second after the monitored target T starts the rising operation. May be output. In this embodiment, the elapsed time for determining whether or not to output a predetermined warning signal may be 1 second. In this way, the monitoring device 10 warns that the monitored target T has started the rising operation before a predetermined time (for example, about 1 second before) when the monitored target T completes the normal rising. Can be sent to the user. In this way, the controller 15 may output a predetermined warning signal before the predetermined time when the monitored target T starts up and operates. Here, in the present embodiment, the elapsed time for determining whether or not to output a predetermined warning signal is not limited to one second as described above. That is, when the operating time of the normal rising operation is T1 and the operating time of the dangerous rising operation is T2, the elapsed time Tth for determining whether or not to output a predetermined warning signal is T2 ≧ Tth ≧ T1. May be. When the elapsed time Tth is T1, the present embodiment can quickly output a warning. When the elapsed time Tth is T2, the present embodiment can reduce the probability of erroneously recognizing a normal rising motion as a dangerous rising motion. When the elapsed time Tth is T2> Tth> T1, the present embodiment can set the speed of the warning output and the reduction of erroneous recognition in a well-balanced manner. Further, in the present embodiment, an example is taken in which the operating time T1 of the normal rising operation is 0.6 seconds and the operating time T2 of the dangerous rising operation is 3 seconds. However, in the present embodiment, T1 and T2 are used. Instead of such a value, another value may be appropriately set based on the age, physique, health condition, mental and physical disorder condition, time, for example, a situation such as after exercising, etc. of the monitored target T.

いずれの場合も、監視装置１０によれば、被監視対象Ｔが立ち上がり動作を完了する前に、被監視対象Ｔが立ち上がり動作を開始している旨の警告をユーザに発してよい。このように、コントローラ１５は、被監視対象Ｔが立ち上がり動作を完了する前に、所定の警告信号を出力してもよい。以上説明したように、一実施形態において、コントローラ１５は、抽出部１１によって抽出された特徴点、及び、機械学習データ１３２に基づいて、被監視対象Ｔが立ち上がり動作をする前に所定の警告信号を出力してよい。 In either case, according to the monitoring device 10, a warning to the user that the monitored target T has started the rising operation may be issued before the monitored target T completes the rising operation. In this way, the controller 15 may output a predetermined warning signal before the monitored target T rises up and completes the operation. As described above, in one embodiment, the controller 15 has a predetermined warning signal before the monitored target T starts up and operates based on the feature points extracted by the extraction unit 11 and the machine learning data 132. May be output.

一実施形態に係る監視システム１によれば、被監視対象Ｔが例えば危険な立ち上がりを行おうとしている場合などに、危険な立ち上がり動作をする前に、ユーザに警告を発することができる。したがって、一実施形態に係る監視システム１によれば、被監視対象の安全に供し得る。 According to the monitoring system 1 according to the embodiment, when the monitored target T is about to perform a dangerous start-up operation, for example, a warning can be issued to the user before the dangerous start-up operation is performed. Therefore, according to the monitoring system 1 according to the embodiment, the monitored object can be safely provided.

（アームレスト付きの椅子から立ち上がる場合）
図８乃至図１０は、被監視対象Ｔがアームレスト付きの椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図８乃至図１０は、アームレスト付きの椅子Ｃ２に座っている被監視対象Ｔが立ち上がる際の特徴点の動きを示している。図８乃至図１０は、被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子Ｃ２は、図８乃至図１０に示すように、アームレスト又は肘掛けなどの付いた構造の椅子としてよい。以下、上述した「アームレストのない椅子から立ち上がる場合」とは異なる点について、主に説明する。 (When standing up from a chair with armrests)
8 to 10 are diagrams illustrating an example of extracting the feature points of the operation in which the monitored object T stands up from the chair with the armrest. 8 to 10 show the movement of the feature points when the monitored object T sitting on the chair C2 with the armrest stands up. 8 to 10 schematically show an example of feature points extracted from an image in which the monitored object T is captured from the left side. Here, as shown in FIGS. 8 to 10, the chair C2 may be a chair having a structure such as an armrest or an armrest. Hereinafter, the points different from the above-mentioned "when standing up from a chair without armrests" will be mainly described.

図８は、図４と同様に、椅子Ｃ２に座っている状態の被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。 FIG. 8 schematically shows an example of feature points extracted from an image in which the monitored object T sitting on the chair C2 is captured from the left side, as in FIG. 4.

図８に示した状態から図９に示す状態までに、被監視対象Ｔが行う一例の通常の立ち上がり動作に含まれる部分的な動作は、上述のように、例えば以下のような動作としてよい。
（１）足を後ろに引く動作（特徴点Ｐ９の移動）
（２）前傾姿勢を取る動作（特徴点Ｐ１，Ｐ２，又はＰ３の移動）
（３）手を前に出す動作（特徴点Ｐ７及び／又はＰ６の移動（図９に示す距離ｄ５）） From the state shown in FIG. 8 to the state shown in FIG. 9, the partial operation included in the normal rising operation of an example performed by the monitored target T may be, for example, the following operation as described above.
(1) Pulling the foot backward (movement of feature point P9)
(2) Action to take a forward leaning posture (movement of feature points P1, P2, or P3)
(3) Action to move the hand forward (movement of feature points P7 and / or P6 (distance d5 shown in FIG. 9))

ここで、被監視対象Ｔの通常の立ち上がり動作において、上記（３）の距離ｄ５は、図５に示した場合と同様に、約１０ｃｍになる傾向にある。 Here, in the normal rising operation of the monitored target T, the distance d5 in (3) above tends to be about 10 cm, as in the case shown in FIG.

一方、被監視対象Ｔの危険な立ち上がり動作において、上記の「（３）手を前に出す動作」は、図１０に示すように、「（３’）腕を後方に引き上げる動作（特徴点Ｐ７及びＰ６の移動）」に代わる傾向にある。「（３’）腕を後方に引き上げる動作」は、図１０に示すように、特徴点Ｐ７の移動（図１０に示す距離ｄ６）及び特徴点Ｐ６の移動（図１０に示す距離ｄ７）を含んでよい。ここで、被監視対象Ｔの危険な立ち上がり動作において、上記の距離ｄ６は約１０ｃｍ、距離ｄ７は約１０ｃｍになる傾向にある。 On the other hand, in the dangerous rising motion of the monitored target T, the above-mentioned "(3) motion of pushing the hand forward" is "(3') the motion of pulling the arm backward (feature point P7), as shown in FIG. And the movement of P6) ”. As shown in FIG. 10, the "(3') arm pulling motion" includes the movement of the feature point P7 (distance d6 shown in FIG. 10) and the movement of the feature point P6 (distance d7 shown in FIG. 10). It's fine. Here, in the dangerous rising operation of the monitored target T, the distance d6 tends to be about 10 cm and the distance d7 tends to be about 10 cm.

すなわち、被監視対象Ｔの特徴点の動きを抽出する際に、被監視対象Ｔが上記（１）から（３）までの動作を完了した場合に図９のような特徴点になっていれば、被監視対象Ｔの通常の立ち上がり動作になる傾向にある。一方、被監視対象Ｔの特徴点の動きを抽出する際に、被監視対象Ｔが上記（１）から（３）までの動作を完了した場合に図１０のような特徴点になっていれば、被監視対象Ｔの危険な立ち上がり動作になる傾向にある。 That is, when the movement of the feature point of the monitored target T is extracted, if the monitored target T has the feature point as shown in FIG. 9 when the above operations (1) to (3) are completed. , There is a tendency for the monitored target T to be in the normal rising operation. On the other hand, when extracting the movement of the feature point of the monitored target T, if the monitored target T has the feature point as shown in FIG. 10 when the above operations (1) to (3) are completed. , There is a tendency for the monitored target T to be in a dangerous rising motion.

（デスクとともに使用していた椅子から立ち上がる場合）
図１１及び図１２は、被監視対象Ｔがデスクとともに使用していた椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図１１及び図１２は、デスクＤ１とともに用いられる椅子Ｃ１に座っている被監視対象Ｔが立ち上がる際の特徴点の動きを示している。図１１及び図１２は、被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子Ｃ１は、図４乃至図７に示したのと同様に、アームレスト又は肘掛けなどのない構造の椅子としてよい。以下、上述した説明とは異なる点について、主に説明する。 (When standing up from the chair used with the desk)
11 and 12 are diagrams illustrating an example of extracting the feature points of the movement of the monitored object T to stand up from the chair used together with the desk. 11 and 12 show the movement of the feature points when the monitored object T sitting on the chair C1 used together with the desk D1 stands up. 11 and 12 schematically show an example of feature points extracted from an image in which the monitored object T is captured from the left side. Here, the chair C1 may be a chair having a structure without armrests or armrests, as shown in FIGS. 4 to 7. Hereinafter, points different from the above description will be mainly described.

図１１は、図５とほぼ同様に、椅子Ｃ１に座っている状態から立ち上がろうとしている被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。 FIG. 11 schematically shows an example of a feature point extracted from an image of a monitored object T trying to stand up from a state of sitting on a chair C1 from the left side, in substantially the same manner as in FIG. ..

上述したように、図５に示した状態までに、被監視対象Ｔが行う一例の通常の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。
（１）足を後ろに引く動作（特徴点Ｐ９の移動）
（２）前傾姿勢を取る動作（特徴点Ｐ１，Ｐ２，又はＰ３の移動）
（３）手を前に出す動作（特徴点Ｐ７及び／又はＰ６の移動） As described above, the partial operation included in the normal rising operation of one example performed by the monitored target T up to the state shown in FIG. 5 may be, for example, the following operation.
(1) Pulling the foot backward (movement of feature point P9)
(2) Action to take a forward leaning posture (movement of feature points P1, P2, or P3)
(3) Action to move the hand forward (movement of feature points P7 and / or P6)

これに対し、図１１に示す状態までに、被監視対象Ｔが行う一例の通常の立ち上がり動作に含まれる部分的な動作のうち、上記（１）及び（２）は、図５に示した状態と同様に含まれるものとしてよい。一方、上記の「（３）手を前に出す動作」は、図１１に示す状態において、「（３”）手で机を押す動作、及び／又は、椅子を引く動作（特徴点Ｐ７及びＰ６の移動）」に代わる傾向にある。「（３”）手で机を押す動作、及び／又は、椅子を引く動作」は、図１２に示すように、特徴点Ｐ７及び／又は特徴点Ｐ６の移動（図１２に示す角度ａ６）を含んでよい。上記（３”）の動作における角度ａ６は、監視対象Ｔの通常の立ち上がり動作においても、危険な立ち上がり動作においても、約７０°から約１７０°に変化する傾向にある。 On the other hand, among the partial operations included in the normal rising operation of the example performed by the monitored target T up to the state shown in FIG. 11, the above (1) and (2) are the states shown in FIG. It may be included in the same manner as. On the other hand, the above-mentioned "(3) operation of pushing the hand forward" is "(3") the operation of pushing the desk with the hand and / or the operation of pulling the chair (feature points P7 and P6) in the state shown in FIG. (Movement) ”has a tendency to replace. "(3") Pushing the desk by hand and / or pulling the chair "moves the feature points P7 and / or the feature points P6 (angle a6 shown in FIG. 12) as shown in FIG. May include. The angle a6 in the above operation (3 ″) tends to change from about 70 ° to about 170 ° in both the normal rising operation and the dangerous rising operation of the monitored object T.

以上のように、被監視対象Ｔの立ち上がり動作において、椅子のタイプ及び／又はデスクの有無に応じて、抽出される特徴点の動きは異なり得る。このため、各状況において抽出される特徴点に基づいて機械学習を行うことにより、監視システム１は、各状況に応じて被監視対象Ｔが立ち上がり動作をする前に所定の警告を発することができる。 As described above, in the rising motion of the monitored target T, the movement of the extracted feature points may differ depending on the type of chair and / or the presence or absence of a desk. Therefore, by performing machine learning based on the feature points extracted in each situation, the monitoring system 1 can issue a predetermined warning before the monitored target T starts up and operates according to each situation. ..

また、被監視対象Ｔの立ち上がり動作において、椅子のタイプ及び／又はデスクの有無に応じて、抽出される特徴点の動きは異なり得るが、共通して抽出される特徴点の動きも存在し得る。このため、異なる各状況において共通して抽出される特徴点に基づいて機械学習を行うことにより、監視システム１は、異なる各状況に依存せずに、被監視対象Ｔが立ち上がり動作をする前に所定の警告を発することができる。 Further, in the rising motion of the monitored target T, the movements of the feature points extracted may differ depending on the type of chair and / or the presence or absence of a desk, but the movements of the feature points extracted in common may also exist. .. Therefore, by performing machine learning based on the feature points commonly extracted in each different situation, the monitoring system 1 does not depend on each different situation and before the monitored target T starts up and operates. A predetermined warning can be issued.

（半身麻痺がある被監視対象が立ち上がる場合）
図１３及び図１４は、例えば半身麻痺がある被監視対象Ｔが椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図１３及び図１４は、椅子Ｃ１に座っている被監視対象Ｔが立ち上がる際の特徴点の動きを示している。図１３及び図１４は、被監視対象Ｔが前方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子Ｃ１は、図４乃至図７に示したのと同様に、アームレスト又は肘掛けなどのない構造の椅子としてよい。以下、上述した説明とは異なる点について、主に説明する。ここで、図１３及び図１４は、左半身の麻痺の被監視対象Ｔの図である。図１４は、被監視対象Ｔの肩が下がっている側に麻痺がある例を示す。例えば、脳卒中の後遺症として、半身が麻痺になる（片麻痺）症状がある。半身麻痺は、左半身の上半身及び下半身の麻痺のケースと、左半身の上半身の麻痺のケースがある。図１４の半身麻痺がある被監視対象Ｔは、左半身の上半身の麻痺のケースとしてよい。麻痺している側の左半身には力が入らないので、左側の上半身は下に下がりがちになる。また、この場合、足は地面に接しているため、左側の下半身は下に下がらない。したがって、この場合、左側の下半身が麻痺していない場合と変わらない体勢になる。 (When a monitored subject with hemiplegia stands up)
13 and 14 are diagrams illustrating an example of extracting the characteristic points of the motion of the monitored target T having hemiplegia, for example, to stand up from the chair. 13 and 14 show the movement of the feature points when the monitored object T sitting on the chair C1 stands up. 13 and 14 schematically show an example of feature points extracted from an image in which the monitored object T is captured from the front. Here, the chair C1 may be a chair having a structure without armrests or armrests, as shown in FIGS. 4 to 7. Hereinafter, points different from the above description will be mainly described. Here, FIGS. 13 and 14 are diagrams of the monitored target T for paralysis of the left half of the body. FIG. 14 shows an example in which the monitored target T has paralysis on the side where the shoulder is lowered. For example, as a sequela of stroke, there is a symptom of paralysis of the half body (hemiplegia). Hemiplegia includes cases of paralysis of the upper and lower body of the left half of the body and cases of paralysis of the upper body of the left half of the body. The monitored target T having hemiplegia in FIG. 14 may be a case of paralysis of the upper body of the left half of the body. The left upper body on the paralyzed side tends to fall down because there is no force on the left half of the body. Also, in this case, since the feet are in contact with the ground, the lower half of the body on the left side does not go down. Therefore, in this case, the posture is the same as when the lower body on the left side is not paralyzed.

図１３は、図４とほぼ同様に、椅子Ｃ１に座っている状態の被監視対象Ｔが撮像された画像から抽出された特徴点の例を模式的に示している。図４は、椅子Ｃ１に座っている状態の被監視対象Ｔが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。これに対し、図１３は、椅子Ｃ１に座っている状態の被監視対象Ｔが前方正面から撮像された画像から抽出された特徴点の例を模式的に示している。 FIG. 13 schematically shows an example of feature points extracted from an image in which the monitored object T sitting on the chair C1 is captured, substantially similar to FIG. 4. FIG. 4 schematically shows an example of feature points extracted from an image of the monitored target T sitting on the chair C1 from the left side. On the other hand, FIG. 13 schematically shows an example of feature points extracted from an image of the monitored target T sitting on the chair C1 from the front front.

上述したように、図５に示した状態までに、被監視対象Ｔが行う一例の通常の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。
（１）足を後ろに引く動作（特徴点Ｐ９の移動）
（２）前傾姿勢を取る動作（特徴点Ｐ１，Ｐ２，又はＰ３の移動）
（３）手を前に出す動作（特徴点Ｐ７及び／又はＰ６の移動） As described above, the partial operation included in the normal rising operation of one example performed by the monitored target T up to the state shown in FIG. 5 may be, for example, the following operation.
(1) Pulling the foot backward (movement of feature point P9)
(2) Action to take a forward leaning posture (movement of feature points P1, P2, or P3)
(3) Action to move the hand forward (movement of feature points P7 and / or P6)

ここで、図１４に示すように、半身麻痺がある被監視対象Ｔが行う一例の立ち上がり動作に含まれる部分的な動作のうち、上記「（２）前傾姿勢を取る動作」は、図５に示した状態とは異なる動作に代わる傾向にある。したがって、この場合、上記「（２）前傾姿勢を取る動作」は、左右非対称な動きを含む「（２’）前傾姿勢を取る動作」に代えてよい。この場合、「（２’）前傾姿勢を取る動作」において、上述した特徴点Ｐ１，Ｐ２，又はＰ３の移動については、図５において説明した「（２）前傾姿勢を取る動作」の場合と同様にしてよい。一方、「（２’）前傾姿勢を取る動作」は、左右非対称な動きとして、例えば特徴点Ｐ５Ｌ及び／又はＰ５Ｒの移動（図１４に示す角度ａ７）を含むものとしてよい。 Here, as shown in FIG. 14, among the partial movements included in the standing-up movement of the monitored target T having hemiplegia, the above-mentioned "(2) movement of taking a forward leaning posture" is shown in FIG. It tends to replace the operation different from the state shown in. Therefore, in this case, the above-mentioned "(2) operation of taking a forward leaning posture" may be replaced with "(2') an operation of taking a forward leaning posture" including a left-right asymmetrical movement. In this case, regarding the movement of the above-mentioned feature points P1, P2, or P3 in the "(2') forward leaning posture", the case of the "(2) forward leaning posture" described in FIG. May be the same as. On the other hand, the "(2') forward leaning posture" may include, for example, the movement of the feature points P5L and / or P5R (angle a7 shown in FIG. 14) as a left-right asymmetrical movement.

以上のように、被監視対象Ｔの立ち上がり動作において、被監視対象Ｔの身体的特徴及び／又は障がいなどに応じて、抽出される特徴点の動きは異なり得る。このため、各被監視対象Ｔにおいて抽出される特徴点に基づいて機械学習を行うことにより、監視システム１は、各被監視対象Ｔが立ち上がり動作をする前に所定の警告を発することができる。 As described above, in the rising motion of the monitored target T, the movement of the extracted feature points may differ depending on the physical characteristics and / or disability of the monitored target T. Therefore, by performing machine learning based on the feature points extracted in each monitored target T, the monitoring system 1 can issue a predetermined warning before each monitored target T starts up.

また、被監視対象Ｔの立ち上がり動作において、被監視対象Ｔの身体的特徴及び／又は障がいなどに応じて、抽出される特徴点の動きは異なり得るが、共通して抽出される特徴点の動きも存在し得る。このため、異なる各被監視対象Ｔにおいて共通して抽出される特徴点に基づいて機械学習を行うことにより、監視システム１は、異なる各被監視対象Ｔに依存せずに、被監視対象Ｔが立ち上がり動作をする前に所定の警告を発することができる。 Further, in the rising motion of the monitored target T, the movement of the extracted feature points may differ depending on the physical characteristics and / or disability of the monitored target T, but the movements of the feature points extracted in common. Can also exist. Therefore, by performing machine learning based on the feature points commonly extracted in each different monitored target T, the monitoring system 1 does not depend on each different monitored target T, and the monitored target T can be monitored. A predetermined warning can be issued before the start-up operation is performed.

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。 Although the embodiments according to the present disclosure have been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications or modifications based on the present disclosure. It should be noted, therefore, that these modifications or modifications are within the scope of this disclosure. For example, the functions included in each component or each step can be rearranged so as not to be logically inconsistent, and a plurality of components or steps can be combined or divided into one. Is. Although the embodiment according to the present disclosure has been mainly described with respect to the apparatus, the embodiment according to the present disclosure can also be realized as a method including steps executed by each component of the apparatus. The embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in the apparatus. It should be understood that these are also included in the scope of this disclosure.

上述した実施形態は、監視システム１としての実施のみに限定されるものではない。例えば、上述した実施形態は、監視システム１に含まれる監視装置１０として実施してもよい。また、上述した実施形態は、例えば、監視装置１０のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、監視装置１０のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してもよい。 The above-described embodiment is not limited to the implementation as the monitoring system 1. For example, the above-described embodiment may be implemented as a monitoring device 10 included in the monitoring system 1. Further, the above-described embodiment may be implemented as a monitoring method using a device such as the monitoring device 10. Further, the above-described embodiment may be implemented as a program executed by, for example, a device such as a monitoring device 10 or an information processing device (for example, a computer).

１ 監視システム
１０ 監視装置
１１ 抽出部
１３ 記憶部
１３２ 機械学習データ
１５ コントローラ
１７ 警告部
１９ 通信部
２０ 撮像部

1 Monitoring system 10 Monitoring device 11 Extraction unit 13 Storage unit 132 Machine learning data 15 Controller 17 Warning unit 19 Communication unit 20 Imaging unit

Claims (10)

被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から、前記被監視対象の特徴点の動きを抽出する抽出部と、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出部によって抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するコントローラと、
前記コントローラから出力される前記所定の警告信号に基づいて、所定の警告を発する警告部と、
を備える、監視システム。 An imaging unit that captures the monitored object and
An extraction unit that extracts the movement of the feature point of the monitored object from the image captured by the imaging unit, and an extraction unit.
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object starts up and the feature points extracted by the extraction unit, a predetermined value is set before the monitored object starts up. A controller that outputs a warning signal and
A warning unit that issues a predetermined warning based on the predetermined warning signal output from the controller.
A monitoring system equipped with. 前記コントローラは、前記被監視対象が立ち上がり動作をする所定時間前に前記所定の警告信号を出力する、請求項１に記載の監視システム。 The monitoring system according to claim 1, wherein the controller outputs the predetermined warning signal before the predetermined time when the monitored object starts up. 前記コントローラは、前記被監視対象が立ち上がり動作を完了する前に前記所定の警告信号を出力する、請求項１に記載の監視システム。 The monitoring system according to claim 1, wherein the controller outputs the predetermined warning signal before the monitored object starts up and completes the operation. 前記コントローラは、前記被監視対象が立ち上がり動作を完了する所定時間前に前記所定の警告信号を出力する、請求項１に記載の監視システム。 The monitoring system according to claim 1, wherein the controller outputs the predetermined warning signal before the predetermined time for the monitored object to complete the rising operation. 前記機械学習データは、前記被監視対象が危険な立ち上がり動作をする際の前記特徴点の動きを機械学習したデータであり、
前記コントローラは、前記抽出部によって抽出された特徴点及び前記機械学習データに基づいて、前記被監視対象が危険な立ち上がり動作をする前に所定の警告信号を出力する、請求項１から４のいずれかに記載の監視システム。 The machine learning data is data obtained by machine learning the movement of the feature points when the monitored object makes a dangerous rising motion.
Any of claims 1 to 4, wherein the controller outputs a predetermined warning signal before the monitored object performs a dangerous rising operation based on the feature points extracted by the extraction unit and the machine learning data. The monitoring system described in Crab. 前記機械学習データは、前記被監視対象として特定の人物が立ち上がり動作をする際の前記特徴点の動きを機械学習したデータであり、
前記コントローラは、前記抽出部によって抽出された特徴点及び前記機械学習データに基づいて、前記特定の人物が立ち上がり動作をする前に所定の警告信号を出力する、請求項１から５のいずれかに記載の監視システム。 The machine learning data is data obtained by machine learning the movement of the feature points when a specific person stands up as a monitored object.
The controller according to any one of claims 1 to 5, which outputs a predetermined warning signal before the specific person starts up, based on the feature points extracted by the extraction unit and the machine learning data. The monitoring system described. 前記警告部は、前記所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発する、請求項１から６のいずれかに記載の監視システム。 The monitoring system according to any one of claims 1 to 6, wherein the warning unit issues the predetermined alarm as information acting on at least one of auditory, visual, and tactile sensations. 被監視対象の画像から前記被監視対象の特徴点の動きを抽出する抽出部と、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出部によって抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するコントローラと、
を備える、監視装置。 An extraction unit that extracts the movement of the feature points of the monitored object from the image of the monitored object, and
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object starts up and the feature points extracted by the extraction unit, a predetermined value is set before the monitored object starts up. A controller that outputs a warning signal and
A monitoring device. 被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出するステップにおいて抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するステップと、
を含む、監視方法。 A step of extracting the movement of the feature point of the monitored object from the image of the monitored object, and
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object makes a rising motion and the feature points extracted in the extraction step, it is determined before the monitored object makes a rising motion. And the step to output the warning signal of
Monitoring methods, including. コンピュータに、
被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
前記被監視対象が立ち上がり動作をする際の前記特徴点の動きを機械学習した機械学習データ及び前記抽出するステップにおいて抽出された特徴点に基づいて、前記被監視対象が立ち上がり動作をする前に所定の警告信号を出力するステップと、
を実行させる、プログラム。
On the computer
A step of extracting the movement of the feature point of the monitored object from the image of the monitored object, and
Based on the machine learning data obtained by machine learning the movement of the feature points when the monitored object makes a rising motion and the feature points extracted in the extraction step, it is determined before the monitored object makes a rising motion. And the step to output the warning signal of
A program that runs.
JP2020083924A 2020-05-12 2020-05-12 Monitoring system, monitoring device, monitoring method, and program Active JP7483486B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020083924A JP7483486B2 (en) 2020-05-12 2020-05-12 Monitoring system, monitoring device, monitoring method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020083924A JP7483486B2 (en) 2020-05-12 2020-05-12 Monitoring system, monitoring device, monitoring method, and program

Publications (2)

Publication Number Publication Date
JP2021179726A true JP2021179726A (en) 2021-11-18
JP7483486B2 JP7483486B2 (en) 2024-05-15

Family

ID=78511443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020083924A Active JP7483486B2 (en) 2020-05-12 2020-05-12 Monitoring system, monitoring device, monitoring method, and program

Country Status (1)

Country Link
JP (1) JP7483486B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005152616A (en) * 2003-10-30 2005-06-16 Technos Japan:Kk Method and system for informing rising from bed or absence from chair of nursed person
JP2015138427A (en) * 2014-01-23 2015-07-30 シャープ株式会社 monitor
JP2020052867A (en) * 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ Posture analysis device, posture analysis method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005152616A (en) * 2003-10-30 2005-06-16 Technos Japan:Kk Method and system for informing rising from bed or absence from chair of nursed person
JP2015138427A (en) * 2014-01-23 2015-07-30 シャープ株式会社 monitor
JP2020052867A (en) * 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ Posture analysis device, posture analysis method and program

Also Published As

Publication number Publication date
JP7483486B2 (en) 2024-05-15

Similar Documents

Publication Publication Date Title
KR102204265B1 (en) Smart wearable devices and methods for acquisition of sensorial information from wearable devices to activate functions in other devices
Parajuli et al. Senior health monitoring using Kinect
US20150310629A1 (en) Motion information processing device
US20170147772A1 (en) Wireless patient verification
US20210236022A1 (en) Smart Interpretive Wheeled Walker using Sensors and Artificial Intelligence for Precision Assisted Mobility Medicine Improving the Quality of Life of the Mobility Impaired
JP6292283B2 (en) Behavior detection device, behavior detection method, and monitored person monitoring device
JP2021179726A (en) Monitoring system, monitoring device, monitoring method, and program
WO2020008995A1 (en) Image recognition program, image recognition device, learning program, and learning device
JP7438847B2 (en) Monitoring system, monitoring device, monitoring method, and program
Safarzadeh et al. Real-time fall detection and alert system using pose estimation
Zhang et al. Context-aware fall detection using a bayesian network
WO2022111704A1 (en) Heart rate measurement method and electronic device
JP2022039814A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP7467300B2 (en) SYSTEM, ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, AND PROGRAM
JP7465773B2 (en) SYSTEM, ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, AND PROGRAM
JP2022050271A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP2023047410A (en) Portable device, program and method for presenting information based on object recognition in accordance with user's dynamic state
Patel et al. Vitafall: Nxtgeuh system for well-being monitoring with fall recognition and real-time vital sign monitoring
JP2022050273A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP2022050272A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
Saile et al. Smart IoT Devices for the Elderly and People with Disabilities
JP7518699B2 (en) SYSTEM, ELECTRONIC DEVICE, CONTROL METHOD FOR ELECTRONIC DEVICE, AND PROGRAM
JP2022055253A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
CN113544736A (en) Lower limb muscle strength estimation system, lower limb muscle strength estimation method, and program
JP7449211B2 (en) Systems, electronic devices, control methods for electronic devices, and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221111

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240314

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240501

R150 Certificate of patent or registration of utility model

Ref document number: 7483486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150