JP2022050273A - System, electronic apparatus, method for controlling electronic apparatus, and program - Google Patents
System, electronic apparatus, method for controlling electronic apparatus, and program Download PDFInfo
- Publication number
- JP2022050273A JP2022050273A JP2020156785A JP2020156785A JP2022050273A JP 2022050273 A JP2022050273 A JP 2022050273A JP 2020156785 A JP2020156785 A JP 2020156785A JP 2020156785 A JP2020156785 A JP 2020156785A JP 2022050273 A JP2022050273 A JP 2022050273A
- Authority
- JP
- Japan
- Prior art keywords
- monitored object
- pica
- coordinates
- time point
- monitored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
Description
本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。 The present disclosure relates to systems, electronic devices, control methods for electronic devices, and programs.
例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献1は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献2は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献3は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、特許文献4は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。
For example, in a field such as a long-term care facility, a device for monitoring the behavior of a monitored person such as a nurse or a care recipient has been proposed. For example,
被監視対象を監視することにより、被監視対象の安全に供することができれば、有益である。 It would be beneficial if the monitored object could be safely monitored by monitoring it.
本開示の目的は、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a system, an electronic device, a control method for the electronic device, and a program that can be safely provided to the monitored object.
一実施形態に係るシステムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
前記撮像部によって撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習するコントローラと、
を備える。
The system according to one embodiment is
An imaging unit that captures the monitored object and
An extraction unit that extracts the coordinates of a predetermined portion of the monitored object from the image captured by the imaging unit, and an extraction unit.
Based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image captured by the image pickup unit, the coordinates of the predetermined portion between the start time point and the end time point and the coordinates. , A controller that machine-learns the relationship with the start of pica behavior of the monitored object,
To prepare for.
また、一実施形態に係るシステムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定するコントローラと、
を備える。
In addition, the system according to one embodiment is
An imaging unit that captures the monitored object and
An extraction unit that extracts the coordinates of a predetermined portion of the monitored object from the image captured by the imaging unit, and an extraction unit.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction unit based on the machine learning data obtained by machine learning. A controller that estimates the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and
To prepare for.
一実施形態に係る電子機器は、
被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
前記被監視対象を含んで撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習するコントローラと、
を備える。
The electronic device according to the embodiment is
An extraction unit that extracts the coordinates of a predetermined part of the monitored object from an image captured including the monitored object, and an extraction unit.
The predetermined portion between the start time point and the end time point based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image taken including the monitored object. A controller that machine-learns the relationship between the coordinates of the above and the start of the pica behavior of the monitored object.
To prepare for.
また、一実施形態に係る電子機器は、
被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定するコントローラと、
を備える。
Further, the electronic device according to the embodiment is
An extraction unit that extracts the coordinates of a predetermined part of the monitored object from an image captured including the monitored object, and an extraction unit.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction unit based on the machine learning data obtained by machine learning. A controller that estimates the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and
To prepare for.
一実施形態に係る電子機器の制御方法は、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習する機械学習ステップと、
を含む。
The method for controlling an electronic device according to an embodiment is as follows.
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
Based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image captured by the imaging step, the coordinates of the predetermined portion between the start time point and the end time point and the coordinates. , The machine learning step of machine learning the relationship with the start of pica behavior of the monitored object,
including.
また、一実施形態に係る電子機器の制御方法は、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定する推定ステップと、
を含む。
Further, the control method of the electronic device according to the embodiment is as follows.
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction step based on the machine learning data obtained by machine learning. An estimation step for estimating the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and an estimation step.
including.
一実施形態に係るプログラムは、
コンピュータに、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習する機械学習ステップと、
を実行させる。
The program according to one embodiment is
On the computer
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
Based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image captured by the imaging step, the coordinates of the predetermined portion between the start time point and the end time point and the coordinates. , The machine learning step of machine learning the relationship with the start of pica behavior of the monitored object,
To execute.
また、一実施形態に係るプログラムは、
コンピュータに、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定する推定ステップと、
を実行させる。
In addition, the program according to one embodiment is
On the computer
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction step based on the machine learning data obtained by machine learning. An estimation step for estimating the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and an estimation step.
To execute.
一実施形態によれば、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。 According to one embodiment, it is possible to provide a system, an electronic device, a control method for the electronic device, and a program that can be safely provided to the monitored object.
本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び/又は電子機器を使用する者(典型的には人間)としてよい。ユーザは、一実施形態に係るシステム及び/又は電子機器を用いることで、被監視対象の監視を行う者を含んでよい。また、「被監視対象」とは、一実施形態に係るシステム及び/又は電子機器によって監視される対象となる者(例えば人間又は動物)としてよい。さらに、ユーザは、被監視対象を含んでよい。 In the present disclosure, the "electronic device" may be a device driven by electric power. Further, the "system" may include a device driven by electric power. Further, the "user" may be a person (typically a human being) who uses the system and / or the electronic device according to the embodiment. The user may include a person who monitors the monitored object by using the system and / or the electronic device according to the embodiment. Further, the “monitored target” may be a person (for example, a human or an animal) to be monitored by the system and / or the electronic device according to the embodiment. Further, the user may include a monitored object.
一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び/又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び/又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び/又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてよい。 It is assumed that the system according to one embodiment is used in a specific situation used by a person engaged in social activities such as a company, a hospital, an elderly home, a school, a sports gym, and a long-term care facility. It may be a facility. For example, in the case of a company, it is extremely important to understand and / or manage the health status of employees. Similarly, it is extremely important to understand and / or manage the health status of patients and medical staff in hospitals, and residents and staff in elderly housing with care. The scene in which the system according to the embodiment is used is not limited to the above-mentioned facilities such as companies, hospitals, and elderly housings, but any facility where it is desired to grasp and / or manage the health condition of the monitored object. May be. Any facility may also include non-commercial facilities, such as the user's home. Further, the scene in which the system according to one embodiment is used may be, for example, a moving body such as a train, a bus, or an airplane, a station, a platform, or the like.
一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。つまり、一実施形態に係るシステムは、監視システムであってよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象の異食行為を監視することができる。ここで、異食行為とは、被監視対象が食べ物以外の物(以下「異物」という)を食べる行為である。 The system according to one embodiment may be used for monitoring the behavior of a monitored object such as a nurse-requiring person or a nursing-requiring person in a nursing care facility or the like. That is, the system according to the embodiment may be a monitoring system. The system according to one embodiment can monitor pica behavior of a monitored object such as a nurse or a care recipient. Here, pica is the act of the monitored object eating something other than food (hereinafter referred to as "foreign matter").
特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視者の異食行為が終了する前、例えば異物を口に入れる前に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が異物を口に入れる前に、異食をしていることを認識し得る。 In particular, the system according to one embodiment can issue a predetermined warning before the pica of a monitored person such as a nurse or a care recipient ends, for example, before a foreign substance is put into the mouth. .. Therefore, according to the system according to one embodiment, a staff member such as a long-term care facility eats a pica before a monitored person such as a nurse or a care recipient puts a foreign substance in his or her mouth. Can be recognized.
以下、図面を参照して、一実施形態に係るシステムが詳細に説明される。 Hereinafter, the system according to the embodiment will be described in detail with reference to the drawings.
図1は、一実施形態に係るシステムの概略構成を示す図である。図1に示すように、一実施形態に係るシステム1は、電子機器10及び撮像部20を含んで構成されてよい。電子機器10と撮像部20とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム1は、図1に示す機能部の一部を含まなくてよいし、図1に示す以外の機能部を含んでよい。例えば、一実施形態に係るシステム1は、警告部17及び通信部19の少なくとも一方を備えなくてよい。また、例えば、一実施形態に係るシステム1は、画像を表示可能なディスプレイ及び/又はメモリカードなどのストレージを挿入可能なスロットなどを備えてよい。
FIG. 1 is a diagram showing a schematic configuration of a system according to an embodiment. As shown in FIG. 1, the
図1に示す撮像部20は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部20は、CCD(Charge Coupled Device Image Sensor)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部20は、例えば図1に示すように、被監視対象Tを撮像してよい。ここで、被監視対象Tは、例えば人間としてよい。撮像部20は、撮像した画像を信号に変換して、電子機器10に送信してよい。例えば、撮像部20は、撮像した画像に基づく信号を、電子機器10の抽出部11、記憶部13、及び/又は、コントローラ15などに送信してよい。撮像部20は、被監視対象Tを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。
The
一実施形態において、撮像部20は、例えば被監視対象Tを所定時間ごと(例えば秒間15フレーム)の静止画として撮像してよい。また、一実施形態において、撮像部20は、例えば被監視対象Tを連続した動画として撮像してよい。
In one embodiment, the
図1に示すように、一実施形態に係る電子機器10は、抽出部11、記憶部13、コントローラ15、警告部17、及び通信部19を備えてよい。一実施形態に係る電子機器10は、図1に示す機能部の一部を備えなくてよいし、図1に示す以外の機能部を備えてよい。例えば、一実施形態に係る電子機器10は、記憶部13に記憶される後述の機械学習データ132を備えてよい。例えば、一実施形態に係る電子機器10は、後述の機械学習データ132の少なくとも一部が、外部サーバなどの外部機器に記憶されているとしてよい。
As shown in FIG. 1, the
抽出部11は、撮像部20によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部11は、撮像部20によって撮像された被監視対象Tの画像から、当該被監視対象Tの身体における所定部位のような特徴点の座標を抽出してよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部11は、撮像部20によって撮像された被監視対象Tの画像から、当該被監視対象Tの頭部、体幹、四肢、及び/又は各関節などの各部の座標を抽出してよい。抽出部11は、専用のハードウェアとして構成されてよいし、少なくとも一部にソフトウェアを含めて構成されてよいし、全てソフトウェアで構成されているとしてよい。このように、抽出部11は、撮像部20によって撮像された画像から、被監視対象Tの所定部位の座標を抽出してよい。
The
抽出部11は、撮像部20によって撮像された画像から、画像内にある物体を認識する機能を有してよい。一実施形態において、抽出部11は、撮像部20によって撮像された画像から、例えばテーブル、食べ物、食器、ティッシュペーパー、花、包装紙、ペットボトルの蓋などの物体を認識し、認識した物体の位置を特定してよい。ここで、物体認識については、さらに後述する。
The
記憶部13は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部13は、例えばコントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などを記憶してよい。また、記憶部13は、コントローラ15のワークメモリとして機能してよい。記憶部13は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部13は、一実施形態に係る電子機器10に挿入されたメモリカードのような記憶媒体としてよい。また、記憶部13は、後述のコントローラ15として用いられるCPUの内部メモリであってよいし、コントローラ15に別体として接続されるものとしてよい。
The
図1に示すように、記憶部13は、例えば機械学習データ132を記憶してよい。ここで、機械学習データ132は、機械学習によって生成されるデータとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるAI(Artificial Intelligence)の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び/又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、AIの一部には、機械学習が含まれるとしてよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてよい。本実施形態の機械学習データ132の概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論(推定)結果を出力するアルゴリズムを含むとしてよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク(NN)、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープラーニングを利用するとしてよい。ディープラーニングは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープラーニングと呼ばれている。
As shown in FIG. 1, the
本開示の技術において、被監視対象の身体の動作aと、この動作aから発生する被監視対象の動作結果Aとの間には、一般的に一定の関係が存在するものとしてよい。ここでの動作結果には、被監視対象の動作、被監視対象の動作開始時点、被監視対象の動作から発生する事故及び事件その他の出来事などを含むとしてよい。例えば、被監視対象の身体の動作aが行われ、この動作aから被監視対象の動作結果Aが発生したとする。また、被監視対象の身体の動作bが行われ、この動作bから被監視対象の動作結果Bが発生したとする。本開示の技術は、上記動作aと動作結果A、動作bと動作結果B、その他の動作と動作結果の関係を、機械学習データとして蓄積する。そして、本開示の技術は、動作xが抽出された場合に、上記機械学習データを用いて、動作xに関係する動作結果Xを推定するとしてよい。 In the technique of the present disclosure, it may be assumed that there is generally a certain relationship between the motion a of the body of the monitored object and the motion result A of the monitored object generated from this motion a. The operation result here may include the operation of the monitored object, the operation start time of the monitored object, an accident, an incident or other event generated from the operation of the monitored object. For example, it is assumed that the movement a of the body of the monitored target is performed, and the movement result A of the monitored target is generated from this movement a. Further, it is assumed that the movement b of the body to be monitored is performed, and the movement result B of the monitored target is generated from this movement b. The technique of the present disclosure accumulates the relationship between the operation a and the operation result A, the operation b and the operation result B, and other operations and the operation result as machine learning data. Then, in the technique of the present disclosure, when the motion x is extracted, the motion result X related to the motion x may be estimated by using the machine learning data.
特に、一実施形態において、機械学習データ132は、被監視対象Tが異食行為をする際の特徴点の動きを機械学習したデータとしてよい。以下、被監視対象Tが異食する行為及び異食に関連する動作を「異食行為」と記すことがある。また、機械学習データ132は、被監視対象Tとして特定の人物(例えば特定の要介護者など)が異食行為をする際の特徴点の動きを機械学習したデータとしてよい。機械学習データ132については、さらに後述する。
In particular, in one embodiment, the
コントローラ15は、電子機器10を構成する各機能部をはじめとして、電子機器10の全体を制御及び/又は管理する。コントローラ15は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)のような、少なくとも1つのプロセッサを含んでよい。コントローラ15は、まとめて1つのプロセッサで実現してよいし、いくつかのプロセッサで実現してよいし、それぞれ個別のプロセッサで実現してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
The
一実施形態において、コントローラ15は、例えばCPU及び当該CPUで実行されるプログラムとして構成されてよい。コントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などは、例えば記憶部13に記憶されてよい。コントローラ15は、コントローラ15の動作に必要なメモリを適宜含んでよい。一実施形態に係る電子機器10のコントローラ15の動作については、さらに後述する。
In one embodiment, the
警告部17は、コントローラ15から出力される所定の警告信号に基づいて、システム1又は電子機器10のユーザなどに注意を促すための所定の警告を発してよい。警告部17は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部17は、例えばブザー又はスピーカのような音声出力部、LEDのような発光部、LCDのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部17は、コントローラ15から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部17は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してよい。
The
一実施形態において、警告部17は、例えば被監視対象Tが異食行為を開始する前に、被監視対象Tが異食するリスクがある旨の警告を発してよい。また、一実施形態において、警告部17は、被監視対象Tが異食行為を終了する前に、被監視対象Tが異食するリスクがある旨の警告を発してよい。例えば、一実施形態において、視覚情報を出力する警告部17は、被監視対象Tの異食が疑われる行為が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部17は、被監視対象Tの異食が疑われる行為が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてよい。
In one embodiment, the
図1に示す電子機器10は、警告部17を内蔵している。しかしながら、一実施形態に係るシステム1において、警告部17は、電子機器10の外部に設けられてよい。この場合、警告部17と電子機器10とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
The
通信部19は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部19によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は2G、3G、4G、及び5G等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、LTE(Long Term Evolution)、W-CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、及びPHS(Personal Handy-phone System)等を含む。例えば、無線通信規格は、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、WiFi、Bluetooth(登録商標)、IrDA(Infrared Data Association)、及びNFC(Near Field Communication)等を含む。通信部19は、上記の通信規格の1つ又は複数をサポートすることができる。通信部19は、例えば電波を送受信するアンテナ及び適当なRF部などを含めて構成してよい。また、通信部19は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してよい。通信部19は、無線通信を行うための既知の技術により構成することができる。
The
通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に供給されてよい。通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に内蔵されたメモリに記憶してよい。また、通信部19は、例えばコントローラ15による処理結果、抽出部11による抽出結果、及び/又は、記憶部13に記憶された情報などを外部に送信してよい。
Various types of information received by the
図1に示すような、一実施形態に係る電子機器10を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてよい。
As shown in FIG. 1, at least a part of each functional unit constituting the
次に、一実施形態に係るシステム1の動作が説明される。
Next, the operation of the
一実施形態に係るシステム1の動作は、典型的には、「学習フェーズ」と「推定フェーズ」とに分けることができる。学習フェーズにおいては、例えば被監視対象Tのような人間の異食行為における身体の各部の位置(座標)と、異食行為のタイミングとの関係を機械学習する動作を行ってよい。また、推定フェーズにおいては、学習フェーズにおいて機械学習した結果に基づいて、被監視対象Tの異食行為における身体の各部の位置(座標)から、異食行為の開始を推定する動作を行ってよい。ここで、本開示では、例えば図1に示されるシステム1が複数あり、「学習フェーズ」と「推定フェーズ」を実施するシステムが異なるシステムであってよい。
The operation of the
図2は、一実施形態に係るシステム1の学習フェーズにおける動作の一例を示すフローチャートである。図2は、一実施形態に係るシステム1に含まれる電子機器10の学習フェーズにおける動作に焦点を当てたフローチャートとしてよい。
FIG. 2 is a flowchart showing an example of the operation in the learning phase of the
例えば介護施設などにおいて、お年寄りのように、認知機能が低下している者は、異食を行うリスクがあり得る。一実施形態に係るシステム1の学習フェーズにおいては、上述のようにして被監視対象Tのような人間の異食行為における身体の各部の位置(座標)と、異食行為のタイミングとの関係を機械学習してよい。
For example, in a long-term care facility, a person with impaired cognitive function, such as the elderly, may be at risk of eating a pica. In the learning phase of the
図2に示す動作が開始する時点において、システム1の撮像部20は、例えば被監視対象Tのような人間の撮像を開始していてよい。図2に示す動作が開始する時点は、撮像部20が例えば被監視対象Tのような人間の撮像を開始した時点としてよい。また、図2に示す動作が開始する時点は、撮像部20が撮像を開始してから、例えば被監視対象Tのような人間が撮像部20の撮像範囲に入った時点としてよい。
At the time when the operation shown in FIG. 2 starts, the
図2に示す動作が開始すると、電子機器10のコントローラ15は、撮像部20によって撮像された画像を取得する(ステップS11)。
When the operation shown in FIG. 2 starts, the
図3は、図2に示したステップS11においてコントローラ15が取得した画像、すなわち撮像部20によって撮像された画像の例を示す図である。
FIG. 3 is a diagram showing an example of an image acquired by the
図3に示すように、撮像部20は、例えば被監視対象Tのような人間が椅子に着座している状態を撮像してよい。コントローラ15は、撮像部20から、被監視対象Tのような人間が着座している画像を取得する。
As shown in FIG. 3, the
撮像部20は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部20が撮像する画像は、連続するフレームの静止画としてよいし、動画としてよい。例えば、撮像部20は、秒間15フレームの画像を撮像するものとしてよい。ステップS11において、コントローラ15は、撮像部20によって撮像された秒間所定数のフレームの画像を取得してよい。
The
図2に示すように、ステップS11において撮像された画像を取得すると、抽出部11は、画像における物体認識を実行する(ステップS12)。ここで、ステップS12における動作は、抽出部11に代わって、コントローラ15が行ってよい。
As shown in FIG. 2, when the image captured in step S11 is acquired, the
ステップS12において、抽出部11は、画像に含まれる物体が何であるかを認識する。認識対象となる物体は、被監視対象Tのような人間を除いてよい。図3の例では、テーブルの上に置かれた物体だけを認識対象としてよい。本実施形態において、抽出部11は、少なくとも画像に含まれる異物を認識する。異物は、食べ物以外の物であって、例えばティッシュペーパー、花、石鹸、布切れ、紙おむつ、硬貨、洗剤、漂白剤、タバコ、殺虫剤、電池、包装紙、ペットボトルの蓋、ボタン、ゴム、ビニール袋、鍵などを含んでよい。ここで、抽出部11は、例えばスプーン、フォーク及び箸などの食べ物を口に運ぶための道具を、異物と認識しなくてよい。また、本開示での異物は、バナナの皮、魚の骨など食物に関連する物も含むとしてよい。
In step S12, the
ステップS12において、抽出部11は、公知の物体認識の手法を用いてよい。例えば、抽出部11は、事前学習済みのディープラーニングモデルを用いて物体認識を実行してよい。
In step S12, the
物体認識の結果は、異物を把持する動作及び異物を食べる動作などの判定に用いられてよい。例えば、被監視対象Tの口元に運ばれた物体が、異物と認識された物体を含む場合に、画像における人間の行為が異物を食べる動作であると判定されてよい。例えば、被監視対象Tの口元に運ばれた物体が、食べ物及びスプーンと認識された場合に、画像における人間の行為が異物を食べる動作ではないと判定されてよい。 The result of object recognition may be used for determination of an action of gripping a foreign substance, an action of eating a foreign substance, and the like. For example, when the object carried to the mouth of the monitored object T includes an object recognized as a foreign substance, it may be determined that the human action in the image is an action of eating the foreign substance. For example, when the object carried to the mouth of the monitored object T is recognized as food and a spoon, it may be determined that the human action in the image is not the action of eating a foreign substance.
図2に示すように、ステップS12において物体認識を実行すると、抽出部11は、被監視対象Tの身体における所定部位の座標を抽出する(ステップS13)。ここで、ステップS13における動作は、抽出部11に代わって、コントローラ15が行ってよい。
As shown in FIG. 2, when the object recognition is executed in step S12, the
図4は、ステップS13において抽出される被監視対象Tの身体における所定部位の例を示す図である。 FIG. 4 is a diagram showing an example of a predetermined portion of the body of the monitored target T extracted in step S13.
ステップS13において、抽出部11は、例えば図4に示すような被監視対象Tの身体における所定部位の座標を抽出してよい。図4に示すように、ステップS13において座標を抽出する所定部位は、例えば、被監視対象Tの身体における首、左肩、左肘、左手首、右肩、右肘、及び右手首を含んでよい。また、図4に示すように、ステップS13において座標を抽出する所定部位は、例えば、被監視対象Tの身体における左尻、左膝、左足首、右尻、右膝、及び右足首をさらに含んでよい。このように、ステップS13において抽出される所定部位の座標は、被監視対象Tの身体における所定の関節点の座標などとしてよい。
In step S13, the
図5は、図3に示した画像において、被監視対象Tの身体における所定部位として抽出される座標の例を示す図である。図5に示す被監視対象Tの画像は、図3に示した被監視対象Tの画像と同じものを示している。図5は、図3に示した被監視対象Tの画像において、図4に示した被監視対象Tの身体における所定部位として抽出される座標を示している。 FIG. 5 is a diagram showing an example of coordinates extracted as a predetermined part of the body of the monitored target T in the image shown in FIG. The image of the monitored object T shown in FIG. 5 is the same as the image of the monitored object T shown in FIG. FIG. 5 shows the coordinates extracted as a predetermined part of the body of the monitored object T shown in FIG. 4 in the image of the monitored object T shown in FIG.
ステップS13において、抽出部11は、図5に示す複数のドットの座標を、図4に示す被監視対象Tの身体における所定部位として抽出する。例えば、抽出部11は、図5に示す座標軸に従って、図5に示す複数のドットの座標を、2次元的に抽出してよい。すなわち、抽出部11は、撮像部20によって撮像される画像の撮像範囲の左下端部を、図5に示す座標軸の原点を示すものとしてよい。例えば、抽出部11は、図5に示す被監視対象Tの首の位置の座標を、図5に示す座標軸に従って取得する。
In step S13, the
ここで、撮像部20が秒間所定数のフレームの各画像を撮像する場合、抽出部11は、秒間所定数のフレームにおいて被監視対象Tの身体における所定部位として抽出してよい。また、コントローラ15が秒間所定数のフレームの画像を取得する場合も、抽出部11は、秒間所定数のフレームにおいて被監視対象Tの身体における所定部位として抽出してよい。一例として、抽出部11は、被監視対象Tの身体における所定部位を、秒間15フレームにおいて抽出してよい。
Here, when the
図6は、例えば1秒間の15フレームにおいて、被監視対象Tの身体において抽出された所定部位の座標をまとめて示す図である。図6に示すように、ステップS13において、抽出部11は、被監視対象Tの身体において抽出された所定部位の座標を、フレームごとに並べて配置してよい。図6に示すように、抽出部11は、フレームごとに、被監視対象Tの身体において2次元的に(X,Y座標として)所定部位の座標を抽出してよい。図6に示す表において、各行は、各フレームにおいて、被監視対象Tの身体の所定部位が、X,Y座標として抽出された様子を模式的に示してある。また、図6に示す表において、各フレームを示す行は、時間の経過に従って上から下に示してある。図6に示す15フレームの座標は、例えば図5に示すような画像(又は動画)における1秒間の座標をトラッキングしたものとしてよい。また、図6に示す15フレームの後も、順次、被監視対象Tの身体において所定部位の座標が抽出されるものとしてよい。
FIG. 6 is a diagram showing the coordinates of predetermined parts extracted in the body of the monitored target T collectively, for example, in 15 frames per second. As shown in FIG. 6, in step S13, the
このように、一実施形態において、抽出部11は、撮像部20によって撮像された秒間所定数のフレームの画像ごとに、被監視対象Tの身体における所定数の関節点の座標を2次元的に抽出してよい。
As described above, in one embodiment, the
ステップS13において所定部位の座標が抽出されたら、抽出部11は、抽出された所定数のフレーム(例えば1秒間の15フレーム)における座標(X,Y)それぞれの最大値及び最小値に従って、座標を正規化する(ステップS14)。
After the coordinates of the predetermined portion are extracted in step S13, the
ステップS13において抽出される所定部位の座標は、例えば被監視対象Tの身体のサイズなどに起因してばらつくことが想定される。また、ステップS13において抽出される所定部位の座標は、例えば撮像部20と被監視対象Tとの距離、及び、撮像部20から被監視対象Tに向く方向などにも起因してばらつくことが想定される。したがって、一実施形態において、ステップS13において抽出された座標のX方向成分及びY方向成分をそれぞれ正規化することにより、抽出された座標を汎用的に機械学習に用いることができるようにする。
It is assumed that the coordinates of the predetermined portion extracted in step S13 vary due to, for example, the size of the body of the monitored target T. Further, it is assumed that the coordinates of the predetermined portion extracted in step S13 vary due to, for example, the distance between the
この場合、例えば1秒間の15フレームにおいて抽出されたX,Y座標のそれぞれの最大値及び最小値に基づいて、抽出されるX,Y座標が正規化されてよい。ここで、ステップS13において抽出されたX座標の最大値がXmaxであり、ステップS13において抽出されたX座標の最小値がXminである。また、正規化後のX座標の最大値はX´maxとする。この場合、以下の式(1)を用いて、正規化前のX座標(X)を、正規化後のX座標(X´)に変換することができる。 In this case, for example, the extracted X and Y coordinates may be normalized based on the maximum and minimum values of the extracted X and Y coordinates in 15 frames per second. Here, the maximum value of the X coordinate extracted in step S13 is Xmax, and the minimum value of the X coordinate extracted in step S13 is Xmin. The maximum value of the X coordinate after normalization is X'max. In this case, the X coordinate (X) before normalization can be converted into the X coordinate (X') after normalization by using the following equation (1).
X´=((X-Xmin)/(Xmax-Xmin))・X´max (1) X'= ((X-Xmin) / (Xmax-Xmin)) · X'max (1)
同様に、ステップS13において抽出されたY座標の最大値がYmaxであり、ステップS13において抽出されたY座標の最小値がYminである。また、正規化後のY座標の最大値はY´maxとする。この場合、以下の式(2)を用いて、正規化前のY座標(Y)を、正規化後のY座標(Y´)に変換することができる。 Similarly, the maximum value of the Y coordinate extracted in step S13 is Ymax, and the minimum value of the Y coordinate extracted in step S13 is Ymin. The maximum value of the Y coordinate after normalization is Y'max. In this case, the Y coordinate (Y) before normalization can be converted into the Y coordinate (Y') after normalization by using the following equation (2).
Y´=((Y-Ymin)/(Ymax-Ymin))・Y´max (2) Y'= ((Y-Ymin) / (Ymax-Ymin)) · Y'max (2)
上記の式(1)及び式(2)に従って、抽出された座標のX方向成分及びY方向成分を正規化することにより、被監視対象Tの個体差、及び撮像部20が被監視対象Tを撮像した環境などが機械学習に与える影響を低減することが期待できる。
By normalizing the X-direction component and the Y-direction component of the extracted coordinates according to the above equations (1) and (2), the individual difference of the monitored target T and the
このように、一実施形態において、抽出部11は、2次元的に抽出された被監視対象Tの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してよい。また、このような動作は、抽出部11ではなくコントローラ15が行ってよい。
As described above, in one embodiment, the
ステップS14に示す座標の正規化により、図6に示す各座標(X,Y)は、それぞれ座標(X´,Y´)に正規化される。 By normalizing the coordinates shown in step S14, each of the coordinates (X, Y) shown in FIG. 6 is normalized to the coordinates (X', Y'), respectively.
ステップS14において座標が正規化されたら、コントローラ15は、タイミング情報を取得する(ステップS15)。ステップS15においてコントローラ15がタイミング情報を取得するために、ステップS11において取得された画像、又は、ステップS13において抽出された座標において、予めタイミング情報が付与(設定)されている必要がある。また、ステップS13において抽出された座標ではなく、ステップS14において正規化された座標において、予めタイミング情報が付与(設定)されていてよい。
When the coordinates are normalized in step S14, the
一実施形態において、電子機器10が機械学習するためのデータとして、例えば被監視対象Tのような人間が異食行為の開始時点及び終了時点を示す情報を用意する必要がある。被監視対象Tが異食行為の開始時点及び終了時点を示す情報(タイミング情報)があれば、電子機器10は、このタイミング情報を例えば教師データとして機械学習を行うことができる。以上のように、被監視対象Tが異食行為の開始時点及び終了時点を示す情報を、「タイミング情報」とも記す。すなわち、「タイミング情報」とは、撮像部20によって撮像された経時的な画像において異食行為の開始時点及び終了時点を示す情報としてよい。
In one embodiment, as data for the
このようなタイミング情報は、例えばスタッフなどの人員によって付与(設定)されてよい。すなわち、例えば行動学の専門家又は介護施設の職員などが、撮像部20によって撮像された被監視対象Tの画像を観察(視認)しながら、異食行為を示すタイミング情報を付与してよい。また、このようなタイミング情報を付与するための所定の基準を予め設けることにより、行動学の専門家又は介護施設の職員などではない一般的な人員であっても、タイミング情報を付与することができる。上述のように、タイミング情報は、ステップS11において取得された画像データにおいて付与(設定)されてよい。また、タイミング情報は、ステップS13において抽出された座標データにおいて付与(設定)されてよい。また、タイミング情報は、ステップS14において正規化された座標データにおいて付与(設定)されてよい。
Such timing information may be given (set) by personnel such as staff. That is, for example, an ethology expert or a staff member of a long-term care facility may add timing information indicating pica while observing (visually recognizing) the image of the monitored target T captured by the
図7は、タイミング情報の設定について説明する図である。図7においては、画像データがフレームごとに時間の経過とともに連続している様子を概念的に示している。すなわち、図7において、画像データは、時間の経過に従って、フレーム1、フレーム2、フレーム3、…のように連続していることを示している。また、図7においては、画像データにタイミング情報を付与(設定)する例を示している。しかしながら、上述のように、図7に示す画像データは、座標データに代えてよいし、正規化された座標データに代えてよい。
FIG. 7 is a diagram illustrating the setting of timing information. FIG. 7 conceptually shows how the image data is continuous with the passage of time for each frame. That is, in FIG. 7, it is shown that the image data is continuous like
図7に示す「入室」の時点において、例えば撮像部20が設置された部屋に被監視対象Tが入室した様子が、撮像部20によって撮像された画像のデータ(画像データ)に示されていたとする。
At the time of "entering the room" shown in FIG. 7, for example, the state in which the monitored target T entered the room in which the
図7に示す「着席」の時点において、入室してきた被監視対象Tが椅子に着席した様子が、画像データに示されていたとする。 It is assumed that the image data shows that the monitored target T who has entered the room is seated in the chair at the time of "seating" shown in FIG. 7.
図7に示す「異食の開始」の時点において、被監視対象Tが異食行為を開始した様子が、画像データに示されていたとする。 It is assumed that the image data shows that the monitored target T has started pica at the time of "start of pica" shown in FIG. 7.
図7に示す「異食の終了」の時点において、被監視対象Tが異食行為を終了した様子が、画像データに示されていたとする。 It is assumed that the image data shows that the monitored target T has completed the pica act at the time of "end of pica" shown in FIG. 7.
図7に示す「離席」の時点において、椅子に着座していた被監視対象Tが例えば立ち上がるなどして椅子から離席した様子が、画像データに示されていたとする。 It is assumed that the image data shows that the monitored object T, who was seated in the chair, left the chair at the time of "leaving the seat" shown in FIG. 7, for example, by standing up.
図7に示す「退室」の時点において、椅子から離席した被監視対象Tが、例えば撮像部20が設置された部屋から退室した様子が、画像データに示されていたとする。
It is assumed that the image data shows that the monitored object T, who has left the chair, has left the room in which the
以上のように撮像された画像データにおいて、例えば行動学の専門家又は介護施設の職員その他の一般的な人員などによって、少なくとも、「異食の開始」の時点及び「異食の終了」の時点を示すタイミング情報が付与(設定)されてよい。 In the image data captured as described above, at least the time point of "start of pica" and the time point of "end of pica" are indicated by, for example, an ethology expert, a staff member of a long-term care facility, or other general personnel. Timing information may be given (set).
ここで、「異食の開始」の時点とは、例えば図5に示すように椅子に着座していた被監視対象Tが、例えば図8に示すような動きを開始した時点としてよい。図5及び図8においては、簡略化のために、ステップS11において取得された画像データではなく、ステップS13において抽出された座標データを図示してある。図5は、被監視対象Tが椅子に着座している様子を示している。これは図7に示す「着席」の時点から「異食の開始」の時点までの状態を示すものとしてよい。 Here, the time point of "start of pica" may be, for example, the time point when the monitored object T sitting on the chair starts the movement as shown in FIG. 8, for example. In FIGS. 5 and 8, for the sake of simplification, the coordinate data extracted in step S13 is shown instead of the image data acquired in step S11. FIG. 5 shows how the monitored object T is sitting on a chair. This may indicate the state from the time of "sitting" shown in FIG. 7 to the time of "starting pica".
一般的に、図5に示す状態から被監視対象Tが異食行為を開始する場合、図8に示すように、被監視対象Tが異物まで手を延ばして持ち上げる。一実施形態において、図5に示す状態から図8に示す状態に遷移を開始した時点を「異食の開始」の時点として、タイミング情報が付与(設定)されてよい。「異食の開始」の時点は、より厳密に言うと、被監視対象Tが、異物と認識される物体を把持した時であってよい。また、一実施形態において、「異食の開始」の時点は、被監視対象Tが、異物と認識される物体を把持して、例えば胸の高さまで持ち上げた時であってよい。 Generally, when the monitored target T starts pica from the state shown in FIG. 5, the monitored target T reaches for a foreign substance and lifts it as shown in FIG. In one embodiment, timing information may be added (set) with the time point at which the transition from the state shown in FIG. 5 to the state shown in FIG. 8 is started as the time point of "start of pica". Strictly speaking, the time point of "start of pica" may be when the monitored object T grips an object recognized as a foreign substance. Further, in one embodiment, the time point of "start of pica" may be when the monitored object T grasps an object recognized as a foreign substance and lifts it to the height of the chest, for example.
このように、一実施形態において、タイミング情報における異食行為の開始時点は、被監視対象Tが異物を把持したタイミングを示してよい。また、一実施形態において、タイミング情報における異食行為の開始時点は、被監視対象Tが異物を把持して持ち上げたタイミングを示してよい。 As described above, in one embodiment, the start time point of the pica act in the timing information may indicate the timing when the monitored object T grips the foreign substance. Further, in one embodiment, the start time point of the pica act in the timing information may indicate the timing when the monitored object T grips and lifts the foreign substance.
また、「異食の終了」の時点とは、例えば図8に示すように異物を把持した被監視対象Tが、例えば図9に示すような動きを開始した時点としてよい。図9においては、簡略化のために、ステップS11において取得された画像データではなく、ステップS13において抽出された座標データを図示してある。 Further, the time point of "end of pica" may be, for example, the time point when the monitored object T holding the foreign substance starts the movement as shown in FIG. 9, for example, as shown in FIG. In FIG. 9, for the sake of simplification, the coordinate data extracted in step S13 is shown instead of the image data acquired in step S11.
一般的に、被監視対象Tは、把持した異物を食べることによって異食行為を終了する。一実施形態において、図8から図9に示す状態になった時点を「異食の終了」の時点として、タイミング情報が付与(設定)されてよい。「異食の終了」の時点は、より厳密に言うと、被監視対象Tが、把持した異物を口元に持っていった時であってよい。 Generally, the monitored object T ends the pica by eating the grasped foreign substance. In one embodiment, timing information may be added (set) with the time point when the state shown in FIGS. 8 to 9 is reached as the time point of "end of pica". Strictly speaking, the time point of "end of pica" may be when the monitored object T brings the grasped foreign substance to his mouth.
このように、一実施形態において、タイミング情報における異食行為の終了時点は、被監視対象Tが、把持した異物を口元に持っていったタイミングを示してよい。 As described above, in one embodiment, the end point of the pica act in the timing information may indicate the timing at which the monitored target T brings the grasped foreign substance to the mouth.
タイミング情報において、上述した「異食の開始」の時点及び「異食の終了」の時点は、必ずしもこの順序で付与(設定)しなくてよい。すなわち、タイミング情報において、最初に「異食の終了」の時点が設定されてから、「異食の開始」の時点が設定されてよい。 In the timing information, the time points of the above-mentioned "start of pica" and "end of pica" do not necessarily have to be given (set) in this order. That is, in the timing information, the time point of "end of pica" may be set first, and then the time point of "start of pica" may be set.
例えば、スタッフなどの人員は、撮像部20によって撮像された被監視対象Tの画像を再生して観察(視認)している際、「異食の開始」の時点を見極めるのが必ずしも容易でないことも想定される。このような場合、まず、スタッフなどの人員は、撮像部20によって撮像された被監視対象Tの画像を再生して観察(視認)している際に、「異食の終了」の時点をタイミング情報として設定してよい。次に、スタッフなどの人員は、「異食の終了」の時点から、撮像部20によって撮像された被監視対象Tの画像を時間的に逆に再生して観察(視認)してよい。ここで、撮像部20によって撮像された被監視対象Tの画像を時間的に逆に再生する際には、当該逆再生の速度をある程度低下させてよい。このようにすれば、スタッフなどの人員は、タイミング情報において、「異食の終了」の時点よりも前の時点である「異食の開始」の時点を容易に設定することができる。
For example, it may not always be easy for personnel such as staff to determine the time point of "start of pica" when reproducing (visually recognizing) the image of the monitored target T captured by the
上述のようにして画像データ(又は座標データ若しくは正規化された座標データ)においてタイミング情報が付与(設定)されたら、コントローラ15は、ステップS15において当該タイミング情報を取得することができる。電子機器10のコントローラ15は、ステップS15において、上述のようなタイミング情報を、例えば通信部19を介して外部のネットワークなどから取得してよい。また、コントローラ15は、ステップS15において、上述のようなタイミング情報を、例えばメモリカードなどのストレージを挿入可能な電子機器10のスロットなどから取得してよい。また、システム1が画像を表示可能なディスプレイを含む場合、当該ディスプレイに画像データなどを表示してよい。この場合、スタッフなどの人員がディスプレイを視認しながら設定するタイミング情報は、例えば電子機器10の操作部などを介して入力されてよい。
When the timing information is added (set) in the image data (or the coordinate data or the normalized coordinate data) as described above, the
ステップS15においてタイミング情報を取得したら、コントローラ15は、画像データから抽出された座標と、異食行為の開始との関係を、タイミング情報に基づいて機械学習する(ステップS16)。ステップS16において、コントローラ15は、異食行為の開始時点と終了時点との間における被監視対象Tの所定部位(関節点)の座標と、異食行為の開始との関係を、タイミング情報に基づいて学習するものとしてよい。ここで、コントローラ15は、画像データ(又は座標データ、若しくは正規化された座標データ)、及びこれに設定されたタイミング情報に基づいて、機械学習を行ってよい。以下、ステップS16における機械学習の結果として生成されるデータを、「機械学習データ」と記すことがある。
After acquiring the timing information in step S15, the
上述のような機械学習を行うことにより、電子機器10は、異食行為が開始するタイミングと、異食行為の開始時点から終了時点までの間における被監視対象Tの所定部位(関節点)の座標の動きとの関連を把握することができる。このため、電子機器10によれば、後述の推定フェーズにおいて、被監視対象Tの所定部位(関節点)の座標の動きに基づいて、異食行為の開始時点が推定され得る。
By performing the machine learning as described above, the
このように、一実施形態において、コントローラ15は、異食行為の開始時点と終了時点との間における被監視対象Tの所定部位の座標と、異食行為の開始との関係を、タイミング情報に基づいて機械学習する。ここで、タイミング情報とは、上述のように、撮像部20によって撮像された経時的な画像において異食行為の開始時点及び終了時点を示す情報としてよい。ここで、本開示において、コントローラ15が機械学習する、異食行為の開始時点と終了時点との間における被監視対象Tの所定部位の座標と、異食行為の開始との関係の数は、例えば1以上、10以上、100以上、1000以上など、少なくとも1以上の数であればよい。
As described above, in one embodiment, the
後述の推定フェーズにおいて電子機器10が異食行為の開始時点を推定する精度を向上するために、比較的多数のサンプル(例えば被監視対象Tのような人間)のデータについて、機械学習を行ってよい。機械学習を行う際のサンプルのデータを多くすることにより、後述の推定フェーズにおいて電子機器10が異食行為の開始時点を推定する際の精度を高めることが期待できる。したがって、機械学習を行う際のサンプルのデータを多くすることにより、電子機器10が異食行為の開始を推定して警告を発する際に、誤報を発したり、失報したりするといったことを低減し得る。ここで、本開示において、コントローラ15が機械学習する、サンプルの数は、例えば1以上、10以上、100以上、1000以上など、少なくとも1以上の数であればよい。
In order to improve the accuracy with which the
上述の機械学習において、タイミング情報は、撮像部20によって撮像された経時的な画像において異食行為の開始時点及び終了時点を示す情報とした。一実施形態において、タイミング情報は、撮像部20によって撮像された経時的な画像において異食行為の開始時点及び終了時点以外の時点を示す情報を含むものとしてよい。
In the above-mentioned machine learning, the timing information is information indicating the start time point and the end time point of the pica action in the time-dependent image captured by the
例えば、図7に示す学習データ(4)の区間の画像データは、異食行為の開始時点と終了時点との間に存在する。このため、学習データ(4)は、危険な(すなわち異食のリスクが高い)クラスに分類されるデータとして、コントローラ15に機械学習させてよい。図7に示す学習データ(4)の区間の画像データは、異食行為の開始時点とほぼ同じ時点において開始している。一方、図7に示す学習データ(4)の区間の画像データは、異食行為の終了時点とは異なる時点において終了している。
For example, the image data of the section of the learning data (4) shown in FIG. 7 exists between the start time point and the end time point of the pica act. Therefore, the learning data (4) may be machine-learned by the
一方、図7に示す学習データ(1)乃至(3)、及び学習データ(5)乃至(6)の区間の画像データは、異食行為の開始時点と終了時点との間に存在しない。このため、これらの学習データは、正常な(すなわち危険が少ない(異食のリスクが低い))クラスに分類されるデータとして、コントローラ15に機械学習させてよい。これらの学習データの区間の画像データは、異食行為の開始時点とは異なる時点において開始し、異食行為の終了時点とは異なる時点において終了している。
On the other hand, the learning data (1) to (3) and the image data in the section of the learning data (5) to (6) shown in FIG. 7 do not exist between the start time and the end time of the pica. Therefore, these training data may be machine-learned by the
このように、一実施形態において、タイミング情報は、撮像部20によって撮像された経時的な画像において異食行為の開始時点及び終了時点以外の時点を示す情報を含んでよい。このようなタイミング情報に基づいて、コントローラ15は、異食行為の開始時点と終了時点との間における被監視対象Tの所定部位の座標と、異食行為の開始との関係を機械学習してよい。
As described above, in one embodiment, the timing information may include information indicating a time point other than the start time point and the end time point of the pica action in the time-dependent image captured by the
コントローラ15は、図7に示すように、危険なクラスに分類される学習データ(4)のみならず、正常なクラスに分類される学習データ(1)乃至(3)、及び学習データ(5)乃至(6)のような学習データにも基づいて、機械学習を行ってよい。コントローラ15は、危険なクラスに分類される学習データ及び正常なクラスに分類される学習データに基づいて機械学習を行うことにより、異食行為の開始を推定する精度を高めることができる。
As shown in FIG. 7, the
図10は、一実施形態に係るシステム1の推定フェーズにおける動作の一例を示すフローチャートである。図10は、一実施形態に係るシステム1に含まれる電子機器10の推定フェーズにおける動作に焦点を当てたフローチャートとしてよい。
FIG. 10 is a flowchart showing an example of the operation in the estimation phase of the
上述のように、例えば介護施設などにおいて、お年寄りのように、認知機能が低下している者は、異食を行うリスクがあり得る。一実施形態に係るシステム1の推定フェーズにおいては、学習フェーズにおいて得られた機械学習データを利用して、被監視対象Tの身体の各部の位置(座標)から、異食行為の開始を推定してよい。システム1によって被監視対象Tを監視することで、例えば介護施設などのスタッフは、被監視対象Tの異食行為を、異食行為の終了前に認識することができる。
As mentioned above, in a long-term care facility, for example, a person with impaired cognitive function, such as the elderly, may be at risk of eating a pica. In the estimation phase of the
図10に示す動作が開始すると、電子機器10のコントローラ15は、機械学習データを取得する(ステップS21)。ステップS21において取得する機械学習データは、図2に示したステップS16における機械学習の結果として生成されるデータとしてよい。すなわち、機械学習データとは、人間の異食行為の開始時点と終了時点との間におけるその人間の所定部位の座標と、その人間の異食行為の開始との関係が機械学習されたデータとしてよい。
When the operation shown in FIG. 10 starts, the
図10に示す動作が開始する時点で既に機械学習データを取得している場合には、コントローラ15は、ステップS21において再び機械学習データを取得しなくてよい。また、ステップS21において取得する機械学習データは、後述のステップS26において用いられる。このため、一実施形態において、機械学習データの取得は、必ずしもステップS21において行う必要がなく、ステップ25までの任意のタイミングにおいて行ってよい。
If the machine learning data has already been acquired at the time when the operation shown in FIG. 10 starts, the
ステップS21において機械学習データが取得されたら、コントローラ15は、撮像部20によって撮像された画像を取得する(ステップS22)。ステップS22における動作は、図2に示したステップS11の動作と同様に行ってよい。
When the machine learning data is acquired in step S21, the
ステップS22において撮像された画像を取得すると、抽出部11は、画像における物体認識を実行する(ステップS23)。ステップS23における動作は、図2に示したステップS12の動作と同様に行ってよい。ここで、ステップS23における動作は、抽出部11に代わって、コントローラ15が行ってよい。
Upon acquiring the image captured in step S22, the
ステップS23で被監視対象Tが把持する又は把持しようとする物体が食べ物(異物でない)と認識された場合に、後述する異食行為の開始の推定(ステップS26)において、異食行為でないと判定されてよい。つまり、後述する異食行為の開始の推定(ステップS26)は、ステップS23において被監視対象Tの把持の対象の物体が異物と認識されるか否かに影響されてよい。 When the object to be grasped or to be grasped by the monitored object T is recognized as food (not a foreign substance) in step S23, it is determined that the object is not pica in the estimation of the start of pica (step S26) described later. good. That is, the estimation of the start of pica behavior (step S26), which will be described later, may be influenced by whether or not the object to be gripped by the monitored target T is recognized as a foreign substance in step S23.
ここで、別の例として、ステップS24以降の処理は、ステップS23で被監視対象Tの把持する又は把持しようとする物体が食べ物でない(異物)と認識される場合にだけ、実行されてよい。つまり、被監視対象Tの把持の対象の物体が食べ物である場合には異食行為とならないため、ステップS24以降の処理が実行されずに、図10に示す動作が終了されてよい。 Here, as another example, the processing after step S24 may be executed only when the object to be grasped or to be grasped by the monitored object T is recognized as not food (foreign matter) in step S23. That is, when the object to be gripped by the monitored object T is food, the pica does not occur, so that the operation shown in FIG. 10 may be terminated without executing the processing after step S24.
ステップS23において物体認識を実行すると、抽出部11は、被監視対象Tの身体における所定部位の座標を抽出する(ステップS24)。ステップS24における動作は、図2に示したステップS13の動作と同様に行ってよい。すなわち、例えば、抽出部11は、撮像部20によって撮像された秒間所定数のフレームの画像ごとに、被監視対象Tの身体における所定数の関節点の座標を2次元的に抽出してよい。ここで、ステップS24における動作は、抽出部11に代わって、コントローラ15が行ってよい。
When the object recognition is executed in step S23, the
ステップS24において所定部位の座標が抽出されたら、抽出部11は、抽出された所定数のフレーム(例えば1秒間の15フレーム)における座標(X,Y)それぞれの最大値及び最小値に従って、座標を正規化する(ステップS25)。ステップS25における動作は、図2に示したステップS14の動作と同様に行ってよい。すなわち、例えば、抽出部11は、2次元的に抽出された被監視対象Tの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してよい。
After the coordinates of the predetermined portion are extracted in step S24, the
ステップS25において座標が正規化されたら、コントローラ15は、ステップS21において取得された機械学習データに基づいて、ステップS25において正規化された座標から、異食行為の開始が推定されるか否かを判定する(ステップS26)。
After the coordinates are normalized in step S25, the
ステップS26において異食行為の開始が推定される場合、すなわち、異食行為がこれから開始されるリスクが高まった場合、コントローラ15は、所定の警告信号を出力する(ステップS27)。ステップS27において、コントローラ15は、所定の警告信号を警告部17に出力してよい。これにより、警告部17は、所定の警告を発することができる。
When the start of pica behavior is presumed in step S26, that is, when the risk that pica behavior is about to start increases, the
一方、ステップS26において異食行為の開始が推定されない場合、すなわち、異食行為がこれから開始するリスクが高まっていない場合、コントローラ15は、ステップS27の動作をスキップして、図10に示す動作を終了してよい。図10に示す動作が終了すると、コントローラ15は、再び図10に示す動作を開始してよい。例えば、コントローラ15は、画像データから座標が抽出されるごとに、図10に示す動作を繰り返してよい。すなわち、例えば抽出部11が秒間15フレームの画像データから座標(X,Y)を抽出する場合、コントローラ15は、ステップS26における異食行為の開始の推定を秒間15回行ってよい。
On the other hand, if the start of pica behavior is not presumed in step S26, that is, if the risk of starting pica behavior is not increased, the
このように、一実施形態において、コントローラ15は、機械学習データに基づいて、抽出部11によって抽出された被監視対象Tの所定部位の座標から、異食行為の開始を推定してよい。また、抽出部11は、撮像部20によって撮像された単位時間当たり所定数のフレームの画像から被監視対象Tの所定部位の座標を抽出してよい。この場合、コントローラ15は、抽出部11によって抽出された被監視対象Tの所定部位の座標から、異食行為の開始を推定してよい。
As described above, in one embodiment, the
図10に示すように、コントローラ15は、ステップS26において異食行為の開始を推定したら直ちに、ステップS27において所定の警告信号を出力してよい。このため、コントローラ15は、実際の異食行為が終了する前に、所定の警告信号を出力してよい。このように、コントローラ15は、異食行為の開始を推定したら、異食行為の終了前に、所定の警告信号を出力してよい。また、コントローラ15は、可能な場合には、実際の異食行為が開始する前に、所定の警告信号を出力してよい。このように、コントローラ15は、異食行為の開始を推定したら、異食行為の開始前に、所定の警告信号を出力してよい。
As shown in FIG. 10, the
一実施形態に係るシステム1によれば、例えば被監視対象Tのような人間が異食行為における身体の関節点の座標と、異食行為のタイミングとの関係を機械学習することができる。また、一実施形態に係るシステム1によれば、機械学習した結果に基づいて、被監視対象Tが異食行為における身体の関節点の座標から、異食行為の開始を推定することができる。したがって、一実施形態に係るシステム1によれば、被監視対象Tの異食行為が終了する前、例えば被監視対象Tが異物を口に入れる前の把持している状態で、所定の警告を発することができる。したがって、一実施形態に係るシステム1によれば、例えば介護施設などのスタッフは異食行為の発生を認識し得る。このため、一実施形態に係るシステム1によれば、被監視対象Tの異物の摂取を回避して、被監視対象Tの安全に供することができる。
According to the
図11は、図10のステップS26において説明した推定処理をさらに説明する図である。図11は、左側の列において、例えば図10のステップS22において取得された画像データに撮像された被監視対象Tの状態を示している。図11に示すように、撮像された画像データにおいて、被監視対象Tは、撮像部20が設置された部屋に入室して椅子に着席した後、異食行為を開始したとする。異食行為が開始した瞬間から、コントローラ15は、図10に示したステップS22以降の動作を、秒間15フレームの処理として行うものとする。すなわち、システム1において、撮像部20は、秒間15フレームの画像を撮像するものとしてよい。また、システム1において、コントローラ15は、秒間15フレームの画像を取得するものとしてよい。また、システム1において、抽出部11は、秒間15フレームの画像から、被監視対象Tの身体の関節点の座標を抽出するものとしてよい。また、システム1において、コントローラ15(又は抽出部11)は、秒間15フレームの画像から抽出された座標を正規化するものとしてよい。さらに、システム1において、コントローラ15は、機械学習データに基づいて、秒間15フレームの正規化された座標から、異食行為を推定してよい。
FIG. 11 is a diagram further explaining the estimation process described in step S26 of FIG. FIG. 11 shows the state of the monitored object T captured in the image data acquired in step S22 of FIG. 10, for example, in the left column. As shown in FIG. 11, in the captured image data, it is assumed that the monitored target T enters a room in which the
図11の中央の列において、コントローラ15が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから抽出された座標としてよいし、正規化された座標としてよい。また、図11の中央の列において、ハッチングを付した画像データは、異食行為が開始してから1秒間のフレームを表している。
In the central column of FIG. 11, the
このような状況において、コントローラ15は、異食行為が開始してから1秒間のフレーム(フレーム1からフレーム15まで)に基づいて、その時点における異食行為の開始を推定してよい(図11に示す推定1)。次に、コントローラ15は、フレーム2からフレーム16までフレームに基づいて、その時点における異食行為の開始を推定してよい(図11に示す推定2)。以上のような動作を繰り返すことにより、コントローラ15は、異食行為の開始の推定を、秒間15回行うことになる。したがって、一実施形態に係るシステム1によれば、例えば図11に示す推定1及び推定2において何らかの原因により本来推定されるべき異食行為の開始が推定されなかったとしても、秒間15回の推定によって失報のリスクを低減することができる。
In such a situation, the
上述した実施形態において、例えば図4に示したように、抽出部11は、被監視対象Tの関節点として、13か所の部位の座標を抽出する例について説明した。しかしながら、一実施形態において、抽出部11は、13か所より多い部位の座標を抽出してよいし、13より少ない箇所の部位の座標を抽出してよい。また、上述した実施形態において、システム1は、秒間15フレームを処理する例について説明した。しかしながら、一実施形態において、システム1又はシステム1を構成する各機能部は、秒間15よりも多くのフレームを処理してよいし、秒間15よりも少ないフレームを処理してよい。一実施形態において、システム1が扱う関節点の数及び/又は処理するフレームの数は、異食行為の開始の推定が妥当な結果になるように調整してよい。
In the above-described embodiment, for example, as shown in FIG. 4, the
このように、一実施形態において、コントローラ15は、異食行為の開始の推定の妥当性が所定以上になるように、フレームの数及び関節点の数の少なくとも一方を決定してよい。
Thus, in one embodiment, the
上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてよい。 In the above embodiment, since the captured image data is used, visible light is used as a detection target for monitoring. However, the present disclosure is not limited to such cases, and other detection targets such as arbitrary electromagnetic waves, sound waves, temperatures, and vibrations may be arbitrarily used.
また、本開示の技術では、図1に示される電子機器10の各構成要素のすべてが1つの筐体又はサーバに存在しなくてよい。例えば、電子機器10の構成要素のコントローラ15及び記憶部13などの各部が、互いに有線、無線若しくはこれらの組み合わせからなるネットワークにより接続され、異なる筐体、サーバ、装置、部屋、ビル、地域、国などに任意に配置されているとしてよい。
Further, in the technique of the present disclosure, all the components of the
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。 Although the embodiments according to the present disclosure have been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications or modifications based on the present disclosure. It should be noted, therefore, that these modifications or modifications are within the scope of this disclosure. For example, the functions included in each component or each step can be rearranged so as not to be logically inconsistent, and a plurality of components or steps can be combined or divided into one. Is. Although the embodiment according to the present disclosure has been mainly described with respect to the apparatus, the embodiment according to the present disclosure can also be realized as a method including steps executed by each component of the apparatus. The embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in the apparatus. It should be understood that these are also included in the scope of this disclosure.
上述した実施形態は、システム1としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム1に含まれる電子機器10として実施してよい。また、上述した実施形態は、例えば、電子機器10による監視方法又は電子機器10の制御方法として実施してよい。さらに、上述した実施形態は、例えば、電子機器10のような機器又は情報処理装置(例えばコンピュータ)が実行するプログラムとして実施してよい。
The above-described embodiment is not limited to the implementation as the
1 システム
10 電子機器
11 抽出部
13 記憶部
132 機械学習データ
15 コントローラ
17 警告部
19 通信部
20 撮像部
1
Claims (20)
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
前記撮像部によって撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習するコントローラと、
を備えるシステム。 An imaging unit that captures the monitored object and
An extraction unit that extracts the coordinates of a predetermined portion of the monitored object from the image captured by the imaging unit, and an extraction unit.
Based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image captured by the image pickup unit, the coordinates of the predetermined portion between the start time point and the end time point and the coordinates. , A controller that machine-learns the relationship with the start of pica behavior of the monitored object,
A system equipped with.
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定するコントローラと、
を備えるシステム。 An imaging unit that captures the monitored object and
An extraction unit that extracts the coordinates of a predetermined portion of the monitored object from the image captured by the imaging unit, and an extraction unit.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction unit based on the machine learning data obtained by machine learning. A controller that estimates the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and
A system equipped with.
前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定する、請求項8に記載のシステム。 The extraction unit extracts the coordinates of the predetermined portion of the monitored object from the images of a predetermined number of frames per unit time captured by the imaging unit.
The system according to claim 8, wherein the controller estimates the start of pica behavior of the monitored object from the coordinates of a predetermined portion of the monitored object extracted by the extraction unit.
前記被監視対象を含んで撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習するコントローラと、
を備える電子機器。 An extraction unit that extracts the coordinates of a predetermined part of the monitored object from an image captured including the monitored object, and an extraction unit.
The predetermined portion between the start time point and the end time point based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image taken including the monitored object. A controller that machine-learns the relationship between the coordinates of the above and the start of the pica behavior of the monitored object.
Electronic equipment equipped with.
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定するコントローラと、
を備える電子機器。 An extraction unit that extracts the coordinates of a predetermined part of the monitored object from an image captured including the monitored object, and an extraction unit.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction unit based on the machine learning data obtained by machine learning. A controller that estimates the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and
Electronic equipment equipped with.
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習する機械学習ステップと、
を含む、電子機器の制御方法。 An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
Based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image captured by the imaging step, the coordinates of the predetermined portion between the start time point and the end time point and the coordinates. , The machine learning step of machine learning the relationship with the start of pica behavior of the monitored object,
How to control electronic devices, including.
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定する推定ステップと、
を含む、電子機器の制御方法。 An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction step based on the machine learning data obtained by machine learning. An estimation step for estimating the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and an estimation step.
How to control electronic devices, including.
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象の異食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の異食行為の開始との関係を機械学習する機械学習ステップと、
を実行させる、プログラム。 On the computer
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
Based on the timing information indicating the start time point and the end time point of the pica behavior of the monitored object in the time-dependent image captured by the imaging step, the coordinates of the predetermined portion between the start time point and the end time point and the coordinates. , The machine learning step of machine learning the relationship with the start of pica behavior of the monitored object,
A program that runs.
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
人間の異食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の異食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の異食行為の開始を推定する推定ステップと、
を実行させる、プログラム。 On the computer
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, and an extraction step.
The relationship between the coordinates of the predetermined part of the human between the start time and the end time of the human pica and the start of the human pica is extracted by the extraction step based on the machine learning data obtained by machine learning. An estimation step for estimating the start of pica behavior of the monitored object from the coordinates of the predetermined portion of the monitored object, and an estimation step.
A program that runs.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156785A JP2022050273A (en) | 2020-09-17 | 2020-09-17 | System, electronic apparatus, method for controlling electronic apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156785A JP2022050273A (en) | 2020-09-17 | 2020-09-17 | System, electronic apparatus, method for controlling electronic apparatus, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022050273A true JP2022050273A (en) | 2022-03-30 |
Family
ID=80854375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020156785A Pending JP2022050273A (en) | 2020-09-17 | 2020-09-17 | System, electronic apparatus, method for controlling electronic apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022050273A (en) |
-
2020
- 2020-09-17 JP JP2020156785A patent/JP2022050273A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110477925A (en) | A kind of fall detection for home for the aged old man and method for early warning and system | |
EP3432772B1 (en) | Using visual context to timely trigger measuring physiological parameters | |
JP2022095619A (en) | Recuperation support system | |
JPWO2017183602A1 (en) | Monitored person monitoring system and monitored person monitoring method | |
JP2004337556A (en) | Robot with means to obtain biological information and function to manage health care | |
CN115662631A (en) | AI intelligence discrimination-based nursing home management system | |
Chauhan et al. | A novel patient monitoring system using photoplethysmography and IOT in the age of COVID-19 | |
Nugent et al. | Managing sensor data in ambient assisted living | |
JP2022050273A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP2022050272A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
Ianculescu et al. | Improving the Elderly’s Fall Management through Innovative Personalized Remote Monitoring Solution | |
US20240008783A1 (en) | Method and system for sensor signals dependent dialog generation during a medical imaging process | |
JP2022050271A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
Khawandi et al. | Integrated monitoring system for fall detection in elderly | |
JP2022039814A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP2022055253A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
Safarzadeh et al. | Real-time fall detection and alert system using pose estimation | |
JP2022050269A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JPWO2017183528A1 (en) | Monitored person monitoring apparatus, method and system | |
JP2022050268A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP2022055252A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP2022039815A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP2022055251A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program | |
JP7483486B2 (en) | Monitoring system, monitoring device, monitoring method, and program | |
JP2022055248A (en) | System, electronic apparatus, method for controlling electronic apparatus, and program |