JP2022055252A - System, electronic apparatus, method for controlling electronic apparatus, and program - Google Patents

System, electronic apparatus, method for controlling electronic apparatus, and program Download PDF

Info

Publication number
JP2022055252A
JP2022055252A JP2020162741A JP2020162741A JP2022055252A JP 2022055252 A JP2022055252 A JP 2022055252A JP 2020162741 A JP2020162741 A JP 2020162741A JP 2020162741 A JP2020162741 A JP 2020162741A JP 2022055252 A JP2022055252 A JP 2022055252A
Authority
JP
Japan
Prior art keywords
coordinates
predetermined
monitored
image
monitored object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020162741A
Other languages
Japanese (ja)
Inventor
健宏 馬渕
Takehiro Mabuchi
智子 浅野
Tomoko Asano
裕 香島
Yu Kashima
賢也 小林
Kenya Kobayashi
永勲 高
Younghun Ko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020162741A priority Critical patent/JP2022055252A/en
Publication of JP2022055252A publication Critical patent/JP2022055252A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

To provide a system, an electronic apparatus, a method for controlling an electronic apparatus, and a program contributing to the safety of a subject to be monitored.SOLUTION: A system 1 comprises: an imaging unit 20 that picks up an image of a subject to be monitored; an extraction unit 11 that extracts the coordinates of a predetermined part of the subject to be monitored from the image picked up by the imaging unit, recognizes an object included in the image, and extracts the coordinates of the object; and a controller 15 that, when a predetermined condition for determining the stealthy eating behavior of the subject to be monitored based on the coordinates of the predetermined part of the subject to be monitored and the coordinates of the object extracted by the extraction unit is satisfied, outputs a predetermined alarm signal.SELECTED DRAWING: Figure 1

Description

本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。 The present disclosure relates to systems, electronic devices, control methods for electronic devices, and programs.

例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献１は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献２は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献３は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、特許文献４は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。 For example, in a field such as a long-term care facility, a device for monitoring the behavior of a monitored person such as a nurse or a care recipient has been proposed. For example, Patent Document 1 discloses a monitored person system that detects a predetermined behavior in a monitored person based on an image obtained by an image pickup device. Patent Document 2 discloses a fall prevention system that prevents a subject from falling while walking by attaching a detection device to the foot of the subject. Further, Patent Document 3 discloses a monitoring support device for determining the body position of a human body by detecting a temperature distribution. In addition, Patent Document 4 discloses a medical system for monitoring elderly psychotic patients at home or in an elderly home or a long-term care facility.

特開２０１７－９１５５２号公報Japanese Unexamined Patent Publication No. 2017-91552 特開２０１７－２２１５０２号公報Japanese Unexamined Patent Publication No. 2017-221502 特開２０１４－１０６６３６号公報Japanese Unexamined Patent Publication No. 2014-106636 特開２００３－９１７９０号公報Japanese Patent Application Laid-Open No. 2003-91790

被監視対象を監視することにより、被監視対象の安全に供することができれば、有益である。 It would be beneficial if the monitored object could be safely monitored by monitoring it.

本開示の目的は、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a system, an electronic device, a control method for the electronic device, and a program that can be safely provided to the monitored object.

一実施形態に係るシステムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力するコントローラと、
を備える。 The system according to one embodiment is
An imaging unit that captures the monitored object and
An extraction unit that extracts the coordinates of a predetermined portion of the monitored object from the image captured by the image pickup unit, recognizes an object included in the image, and extracts the coordinates of the object.
When a predetermined condition for determining the eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction unit is satisfied, a predetermined warning is given. A controller that outputs signals and
To prepare for.

一実施形態に係る電子機器は、
被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力するコントローラと、
を備える。 The electronic device according to one embodiment is
An extraction unit that extracts the coordinates of a predetermined part of the monitored object from an image captured including the monitored object, recognizes an object included in the image, and extracts the coordinates of the object.
A predetermined warning is satisfied when a predetermined condition for determining an eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction unit is satisfied. A controller that outputs signals and
To prepare for.

一実施形態に係る電子機器の制御方法は、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力する出力ステップと、
を含む。 The method for controlling an electronic device according to an embodiment is as follows.
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, recognizing an object included in the image, and extracting the coordinates of the object.
A predetermined warning is satisfied when a predetermined condition for determining the eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction step is satisfied. The output step to output the signal and
including.

一実施形態に係るプログラムは、
コンピュータに、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力する出力ステップと、
を実行させる。 The program according to one embodiment is
On the computer
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, recognizing an object included in the image, and extracting the coordinates of the object.
A predetermined warning is satisfied when a predetermined condition for determining the eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction step is satisfied. The output step to output the signal and
To execute.

一実施形態によれば、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。 According to one embodiment, it is possible to provide a system, an electronic device, a control method for the electronic device, and a program that can be safely provided to the monitored object.

一実施形態に係るシステムの概略構成を示す機能ブロック図である。It is a functional block diagram which shows the schematic structure of the system which concerns on one Embodiment. 一実施形態に係るシステムによる動作を説明するフローチャートである。It is a flowchart explaining operation by the system which concerns on one Embodiment. 一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。It is a flowchart which shows the example of the image imaged by the system which concerns on one Embodiment. 一実施形態に係るシステムによって抽出される所定の部位の例を示す図である。It is a figure which shows the example of the predetermined part extracted by the system which concerns on one Embodiment. 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。It is a figure which shows the example of the predetermined part extracted from the image imaged by the system which concerns on one Embodiment. 一実施形態に係るシステムによって抽出される所定の部位の座標について説明する図である。It is a figure explaining the coordinates of the predetermined part extracted by the system which concerns on one Embodiment. 一実施形態に係るシステムによって判定される所定の条件の例を示す図である。It is a figure which shows the example of the predetermined condition determined by the system which concerns on one Embodiment. 一実施形態に係るシステムによって判定される所定の条件の例を示す図である。It is a figure which shows the example of the predetermined condition determined by the system which concerns on one Embodiment. 一実施形態に係るシステムによる判定について説明する図である。It is a figure explaining the determination by the system which concerns on one Embodiment.

本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、被監視対象の監視を行う者を含んでよい。また、「被監視対象」とは、一実施形態に係るシステム及び／又は電子機器によって監視される対象となる者（例えば人間又は動物）としてよい。さらに、ユーザは、被監視対象を含んでよい。 In the present disclosure, the "electronic device" may be a device driven by electric power. Further, the "system" may include a device driven by electric power. Further, the "user" may be a person (typically a human being) who uses the system and / or the electronic device according to the embodiment. The user may include a person who monitors the monitored object by using the system and / or the electronic device according to the embodiment. Further, the "monitored target" may be a person (for example, a human being or an animal) to be monitored by the system and / or the electronic device according to the embodiment. Further, the user may include a monitored object.

一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び／又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び／又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び／又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてよい。 It is assumed that the system according to one embodiment is used in a specific situation used by a person engaged in social activities such as a company, a hospital, an elderly home, a school, a sports gym, and a long-term care facility. It may be a facility. For example, in the case of a company, it is extremely important to understand and / or manage the health status of employees. Similarly, it is extremely important to understand and / or manage the health status of patients and medical staff in hospitals, and residents and staff in elderly housing with care. The scene in which the system according to the embodiment is used is not limited to the above-mentioned facilities such as companies, hospitals, and elderly housings, but any facility where it is desired to grasp and / or manage the health condition of the monitored object. May be. Any facility may also include non-commercial facilities, such as the user's home. Further, the scene in which the system according to one embodiment is used may be, for example, a moving body such as a train, a bus, or an airplane, a station, a platform, or the like.

一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。つまり、一実施形態に係るシステムは、監視システムであってよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象の盗食行為を監視することができる。ここで、盗食行為とは、被監視対象が自分の食事でなく、他人の食事を食べる行為である。また、盗食行為には、自己が食べるものとされていない食べ物を食べることを広く含み、誰かが食べるものとされている食べ物以外を食べることも含む。盗食行為には、例えば配膳前の食べ物及び、料理前、料理中の食べ物を食べる行為も含む。食事には、朝、昼若しくは晩の食事のみではなく、おやつ及び飲み物なども広く含むことが可能である。食事には、米などの穀物類、パン、肉、魚、野菜、果物若しくは流動食その他の食べ物を含むことができる。食事には、お菓子、アルコール類、お茶、ジュースなども含むことができる。 The system according to one embodiment may be used for monitoring the behavior of a monitored object such as a nurse-requiring person or a nursing-requiring person in a nursing care facility or the like. That is, the system according to the embodiment may be a monitoring system. The system according to one embodiment can monitor the eating behavior of a monitored object such as a nurse or a care recipient. Here, the act of stealing is an act in which the monitored object eats the meal of another person, not his own meal. The act of stealing also broadly includes eating food that is not supposed to be eaten by oneself, and also includes eating food other than that that someone is supposed to eat. The act of stealing includes, for example, the act of eating food before serving and the act of eating food before cooking or during cooking. Meals can include not only morning, noon or evening meals, but also snacks and drinks. Meals can include cereals such as rice, bread, meat, fish, vegetables, fruits or liquid foods and other foods. Meals can also include sweets, alcohols, tea, juices and the like.

特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視者が食事をしている場合に、盗食行為が終了する前に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が盗食をしていることを認識し得る。 In particular, the system according to one embodiment may issue a predetermined warning before the end of the stealing act when a monitored person such as a nurse or a care recipient is eating. can. Therefore, according to the system according to one embodiment, a staff member such as a care facility can recognize that a monitored person such as a nurse or a care recipient is stealing food.

以下、図面を参照して、一実施形態に係るシステムが詳細に説明される。 Hereinafter, the system according to the embodiment will be described in detail with reference to the drawings.

図１は、一実施形態に係るシステムの概略構成を示す図である。図１に示すように、一実施形態に係るシステム１は、電子機器１０及び撮像部２０を含んで構成されてよい。電子機器１０と撮像部２０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム１は、図１に示す機能部の一部を含まなくてよいし、図１に示す以外の機能部を含んでよい。例えば、一実施形態に係るシステム１は、警告部１７及び通信部１９の少なくとも一方を備えなくてよい。また、例えば、一実施形態に係るシステム１は、画像を表示可能なディスプレイ及び／又はメモリカードなどのストレージを挿入可能なスロットなどを備えてよい。 FIG. 1 is a diagram showing a schematic configuration of a system according to an embodiment. As shown in FIG. 1, the system 1 according to an embodiment may be configured to include an electronic device 10 and an image pickup unit 20. The electronic device 10 and the image pickup unit 20 may be connected by wire or wireless, or a combination of wire and wireless. The system 1 according to one embodiment does not have to include a part of the functional unit shown in FIG. 1, and may include a functional unit other than that shown in FIG. For example, the system 1 according to the embodiment does not have to include at least one of the warning unit 17 and the communication unit 19. Further, for example, the system 1 according to the embodiment may include a display capable of displaying an image and / or a slot into which a storage such as a memory card can be inserted.

図１に示す撮像部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２０は、例えば図１に示すように、被監視対象Ｔを撮像してよい。ここで、被監視対象Ｔは、例えば人間としてよい。撮像部２０は、撮像した画像を信号に変換して、電子機器１０に送信してよい。例えば、撮像部２０は、撮像した画像に基づく信号を、電子機器１０の抽出部１１、記憶部１３、及び／又は、コントローラ１５などに送信してよい。撮像部２０は、被監視対象Ｔを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。 The image pickup unit 20 shown in FIG. 1 may include an image sensor that electronically captures an image, such as a digital camera. The image pickup unit 20 may be configured to include an image pickup device that performs photoelectric conversion, such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Sensor) sensor. The image pickup unit 20 may take an image of the monitored object T, for example, as shown in FIG. Here, the monitored target T may be, for example, a human being. The image pickup unit 20 may convert the captured image into a signal and transmit it to the electronic device 10. For example, the image pickup unit 20 may transmit a signal based on the captured image to the extraction unit 11, the storage unit 13, and / or the controller 15 of the electronic device 10. The image pickup unit 20 is not limited to an image pickup device such as a digital camera as long as it captures the monitored target T, and may be any device.

一実施形態において、撮像部２０は、例えば被監視対象Ｔを所定時間ごと（例えば秒間１５フレーム）の静止画として撮像してよい。また、一実施形態において、撮像部２０は、例えば被監視対象Ｔを連続した動画として撮像してよい。 In one embodiment, the imaging unit 20 may image, for example, the monitored target T as a still image at predetermined time intervals (for example, 15 frames per second). Further, in one embodiment, the imaging unit 20 may image, for example, the monitored target T as a continuous moving image.

図１に示すように、一実施形態に係る電子機器１０は、抽出部１１、記憶部１３、コントローラ１５、警告部１７、及び通信部１９を備えてよい。一実施形態に係る電子機器１０は、図１に示す機能部の一部を備えなくてよいし、図１に示す以外の機能部を備えてよい。 As shown in FIG. 1, the electronic device 10 according to the embodiment may include an extraction unit 11, a storage unit 13, a controller 15, a warning unit 17, and a communication unit 19. The electronic device 10 according to the embodiment does not have to include a part of the functional unit shown in FIG. 1, and may include a functional unit other than that shown in FIG.

抽出部１１は、撮像部２０によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの身体における所定部位のような特徴点の座標を抽出してよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの頭部、体幹、四肢、及び／又は各関節などの各部の座標を抽出してよい。抽出部１１は、専用のハードウェアとして構成されてよいし、少なくとも一部にソフトウェアを含めて構成されてよいし、全てソフトウェアで構成されているとしてよい。このように、抽出部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔの所定部位の座標を抽出してよい。 The extraction unit 11 may have a function of extracting a predetermined feature point from the image captured by the image pickup unit 20. For example, the extraction unit 11 may extract the coordinates of a feature point such as a predetermined part of the body of the monitored object T from the image of the monitored object T captured by the imaging unit 20. Here, the feature points will be further described later. In one embodiment, the extraction unit 11 obtains the coordinates of each part such as the head, trunk, limbs, and / or joints of the monitored object T from the image of the monitored object T captured by the imaging unit 20. It may be extracted. The extraction unit 11 may be configured as dedicated hardware, may be configured to include software at least in part, or may be configured entirely by software. In this way, the extraction unit 11 may extract the coordinates of the predetermined portion of the monitored target T from the image captured by the image pickup unit 20.

抽出部１１は、撮像部２０によって撮像された画像から、画像に含まれる物体を認識する機能を有してよい。一実施形態において、抽出部１１は、撮像部２０によって撮像された画像から、例えばテーブル、食べ物、食器、ティッシュペーパー、花、包装紙、ペットボトルの蓋などの物体を認識し、認識した物体の座標を抽出してよい。ここで、物体認識については、さらに後述する。 The extraction unit 11 may have a function of recognizing an object included in the image from the image captured by the image pickup unit 20. In one embodiment, the extraction unit 11 recognizes an object such as a table, food, tableware, tissue paper, flowers, wrapping paper, or a PET bottle lid from the image captured by the image pickup unit 20, and recognizes the recognized object. The coordinates may be extracted. Here, object recognition will be further described later.

記憶部１３は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１３は、例えばコントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などを記憶してよい。記憶部１３は、被監視対象Ｔが盗食行為をしたか否かをコントローラ１５が判定するための基準となる所定の条件を記憶してよい。所定の条件については後述する。また、記憶部１３は、コントローラ１５のワークメモリとして機能してよい。記憶部１３は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１３は、一実施形態に係る電子機器１０に挿入されたメモリカードのような記憶媒体としてよい。また、記憶部１３は、後述のコントローラ１５として用いられるＣＰＵの内部メモリであってよいし、コントローラ１５に別体として接続されるものとしてよい。 The storage unit 13 may have a function as a memory for storing various types of information. The storage unit 13 may store, for example, a program executed by the controller 15, the result of processing executed by the controller 15, and the like. The storage unit 13 may store a predetermined condition as a reference for the controller 15 to determine whether or not the monitored target T has stolen. The predetermined conditions will be described later. Further, the storage unit 13 may function as a work memory of the controller 15. The storage unit 13 can be configured by, for example, a semiconductor memory or the like, but is not limited to this, and can be any storage device. For example, the storage unit 13 may be a storage medium such as a memory card inserted in the electronic device 10 according to the embodiment. Further, the storage unit 13 may be the internal memory of the CPU used as the controller 15 described later, or may be connected to the controller 15 as a separate body.

コントローラ１５は、電子機器１０を構成する各機能部をはじめとして、電子機器１０の全体を制御及び／又は管理する。コントローラ１５は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１５は、まとめて１つのプロセッサで実現してよいし、いくつかのプロセッサで実現してよいし、それぞれ個別のプロセッサで実現してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。 The controller 15 controls and / or manages the entire electronic device 10 including each functional unit constituting the electronic device 10. The controller 15 may include at least one processor, such as a CPU (Central Processing Unit), in order to provide control and processing power to perform various functions. The controller 15 may be realized collectively by one processor, may be realized by several processors, or may be realized by individual processors. The processor may be realized as a single integrated circuit. The integrated circuit is also referred to as an IC (Integrated Circuit). The processor may be realized as a plurality of communicably connected integrated circuits and discrete circuits. The processor may be implemented on the basis of various other known techniques.

一実施形態において、コントローラ１５は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。コントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などは、例えば記憶部１３に記憶されてよい。コントローラ１５は、コントローラ１５の動作に必要なメモリを適宜含んでよい。 In one embodiment, the controller 15 may be configured as, for example, a CPU and a program executed by the CPU. The program executed by the controller 15, the result of the process executed by the controller 15, and the like may be stored in, for example, the storage unit 13. The controller 15 may appropriately include a memory necessary for the operation of the controller 15.

コントローラ１５は、被監視対象Ｔが盗食行為をしたか否かを判定する処理を行ってよい。コントローラ１５は、盗食行為を判定するために、所定の条件が満たされたか否かを判定してよい。コントローラ１５は、盗食行為を判定するために、抽出部１１によって抽出された被監視対象Ｔの所定部位の座標及び物体の座標に基づいて、所定の条件が満たされたか否かを判定してよい。また、コントローラ１５は、所定の条件が満たされることによって、盗食行為があることを判定したら、所定の警告信号を出力してよい。所定の条件については、さらに後述する。また、一実施形態に係る電子機器１０のコントローラ１５の動作については、さらに後述する。 The controller 15 may perform a process of determining whether or not the monitored target T has eaten. In order to determine the eating behavior, the controller 15 may determine whether or not a predetermined condition is satisfied. In order to determine the eating behavior, the controller 15 determines whether or not the predetermined condition is satisfied based on the coordinates of the predetermined portion of the monitored target T extracted by the extraction unit 11 and the coordinates of the object. good. Further, the controller 15 may output a predetermined warning signal when it is determined that there is an act of stealing by satisfying a predetermined condition. The predetermined conditions will be further described later. The operation of the controller 15 of the electronic device 10 according to the embodiment will be further described later.

警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、システム１又は電子機器１０のユーザなどに注意を促すための所定の警告を発してよい。警告部１７は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部１７は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部１７は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してよい。 The warning unit 17 may issue a predetermined warning for calling attention to the user of the system 1 or the electronic device 10 based on the predetermined warning signal output from the controller 15. As a predetermined warning, the warning unit 17 may be any functional unit that stimulates at least one of the user's auditory sense, visual sense, and tactile sense, such as sound, voice, light, characters, video, and vibration. Specifically, the warning unit 17 may be at least one of an audio output unit such as a buzzer or a speaker, a light emitting unit such as an LED, a display unit such as an LCD, and a tactile presentation unit such as a vibrator. .. In this way, the warning unit 17 may issue a predetermined warning based on a predetermined warning signal output from the controller 15. In one embodiment, the warning unit 17 may issue a predetermined alarm as information acting on at least one of auditory, visual, and tactile sensations.

一実施形態において、警告部１７は、例えば被監視対象Ｔが盗食行為を開始した時点で、被監視対象Ｔが盗食するリスクがある旨の警告を発してよい。また、一実施形態において、警告部１７は、被監視対象Ｔが盗食行為を終了する前に、被監視対象Ｔが盗食するリスクがある旨の警告を発してよい。例えば、一実施形態において、視覚情報を出力する警告部１７は、被監視対象Ｔの盗食が疑われる行為が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部１７は、被監視対象Ｔの盗食が疑われる行為が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてよい。 In one embodiment, the warning unit 17 may issue a warning that the monitored target T is at risk of stealing, for example, when the monitored target T starts eating. Further, in one embodiment, the warning unit 17 may issue a warning that the monitored target T is at risk of stealing before the monitored target T ends the stealing action. For example, in one embodiment, the warning unit 17 that outputs visual information may warn the user by emitting light or a predetermined display when an act suspected of stealing the monitored target T is detected. .. Further, in one embodiment, the warning unit 17 that outputs auditory information may warn the user by a predetermined sound or voice when an act suspected of stealing the monitored target T is detected. .. In the present embodiment, the warning may be a combination of light emission or a predetermined display, and a predetermined sound or voice.

図１に示す電子機器１０は、警告部１７を内蔵している。しかしながら、一実施形態に係るシステム１において、警告部１７は、電子機器１０の外部に設けられてよい。この場合、警告部１７と電子機器１０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。 The electronic device 10 shown in FIG. 1 has a built-in warning unit 17. However, in the system 1 according to the embodiment, the warning unit 17 may be provided outside the electronic device 10. In this case, the warning unit 17 and the electronic device 10 may be connected by wire or wireless, or a combination of wire and wireless.

通信部１９は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部１９によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、及びＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ－ｐｈｏｎｅ Ｓｙｓｔｅｍ）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、及びＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を含む。通信部１９は、上記の通信規格の１つ又は複数をサポートすることができる。通信部１９は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部１９は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してよい。通信部１９は、無線通信を行うための既知の技術により構成することができる。 The communication unit 19 has an interface function for communicating by wire or wirelessly. The communication method performed by the communication unit 19 of one embodiment may be a wireless communication standard. For example, wireless communication standards include communication standards for cellular phones such as 2G, 3G, 4G, and 5G. For example, the communication standards for cellular phones are LTE (Long Term Evolution), W-CDMA (Wideband Code Division Multiple Access), CDMA2000, PDC (Personal Digital Cellular), GSM (Registered Trademark) and GlobalS. (Personal Handy-phone System) and the like are included. For example, wireless communication standards include WiMAX (Worldwide Internet Access), IEEE802.11, WiFi, Bluetooth®, IrDA (Infrared Data Association), Co., etc., and FC. The communication unit 19 can support one or more of the above communication standards. The communication unit 19 may be configured to include, for example, an antenna for transmitting and receiving radio waves, an appropriate RF unit, and the like. Further, the communication unit 19 may be configured as an interface such as a connector for making a wired connection to the outside. The communication unit 19 can be configured by a known technique for performing wireless communication.

通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に供給されてよい。通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に内蔵されたメモリに記憶してよい。また、通信部１９は、例えばコントローラ１５による処理結果、抽出部１１による抽出結果、及び／又は、記憶部１３に記憶された情報などを外部に送信してよい。 Various types of information received by the communication unit 19 may be supplied to, for example, the storage unit 13 and / or the controller 15. Various information received by the communication unit 19 may be stored in, for example, a memory built in the storage unit 13 and / or the controller 15. Further, the communication unit 19 may transmit, for example, the processing result by the controller 15, the extraction result by the extraction unit 11, and / or the information stored in the storage unit 13 to the outside.

図１に示すような、一実施形態に係る電子機器１０を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてよい。 As shown in FIG. 1, at least a part of each functional unit constituting the electronic device 10 according to the embodiment may be configured by specific means in which software and hardware resources cooperate.

次に、一実施形態に係るシステム１の動作が説明される。 Next, the operation of the system 1 according to the embodiment will be described.

一実施形態に係るシステム１は、被監視対象Ｔの盗食行為における身体の各部の位置（座標）から、盗食行為の開始を判定する動作を行ってよい。 The system 1 according to one embodiment may perform an operation of determining the start of the eating act from the position (coordinates) of each part of the body in the eating act of the monitored target T.

図２は、一実施形態に係るシステム１の動作の一例を示すフローチャートである。図２は、一実施形態に係るシステム１に含まれる電子機器１０の動作に焦点を当てたフローチャートとしてよい。 FIG. 2 is a flowchart showing an example of the operation of the system 1 according to the embodiment. FIG. 2 may be a flowchart focusing on the operation of the electronic device 10 included in the system 1 according to the embodiment.

例えば介護施設などにおいて、お年寄りのように、認知機能が低下している者は、盗食を行うリスクがあり得る。一実施形態に係るシステム１は、上述のようにして被監視対象Ｔのような人間の盗食行為における身体の各部の位置（座標）から、盗食行為の開始を判定してよい。 For example, in a long-term care facility, a person with impaired cognitive function, such as the elderly, may be at risk of eating. As described above, the system 1 according to the embodiment may determine the start of the eating act from the position (coordinates) of each part of the body in the human eating act such as the monitored target T.

図２に示す動作が開始する時点において、システム１の撮像部２０は、例えば被監視対象Ｔのような人間の撮像を開始していてよい。図２に示す動作が開始する時点は、撮像部２０が例えば被監視対象Ｔのような人間の撮像を開始した時点としてよい。また、図２に示す動作が開始する時点は、撮像部２０が撮像を開始してから、例えば被監視対象Ｔのような人間が撮像部２０の撮像範囲に入った時点としてよい。 At the time when the operation shown in FIG. 2 starts, the imaging unit 20 of the system 1 may start imaging a human such as the monitored target T. The time point at which the operation shown in FIG. 2 starts may be the time point at which the image pickup unit 20 starts image pickup of a human such as the monitored target T. Further, the time point at which the operation shown in FIG. 2 starts may be a time point when a person such as a monitored target T enters the image pickup range of the image pickup unit 20 after the image pickup unit 20 starts image pickup.

図２に示す動作が開始すると、電子機器１０のコントローラ１５は、撮像部２０によって撮像された画像を取得する（ステップＳ１１）。 When the operation shown in FIG. 2 starts, the controller 15 of the electronic device 10 acquires the image captured by the image pickup unit 20 (step S11).

図３は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の例を示す図である。 FIG. 3 is a diagram showing an example of an image acquired by the controller 15 in step S11 shown in FIG. 2, that is, an image captured by the imaging unit 20.

図３に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が椅子に着座して食事をしている状態を撮像してよい。図３の例では、被監視対象Ｔの隣において、他の人間が着座して同じように食事をしている。コントローラ１５は、撮像部２０から、被監視対象Ｔのような人間が食事をしている画像を取得する。 As shown in FIG. 3, the image pickup unit 20 may take an image of a state in which a person such as a monitored target T is sitting on a chair and eating. In the example of FIG. 3, another human is sitting next to the monitored target T and eating in the same manner. The controller 15 acquires an image of a human being eating, such as the monitored target T, from the image pickup unit 20.

撮像部２０は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部２０が撮像する画像は、連続するフレームの静止画としてよいし、動画としてよい。例えば、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。ステップＳ１１において、コントローラ１５は、撮像部２０によって撮像された秒間所定数のフレームの画像を取得してよい。 The image pickup unit 20 may capture each image of a predetermined number of frames per second. Here, the image captured by the image pickup unit 20 may be a still image of continuous frames or a moving image. For example, the image pickup unit 20 may capture an image of 15 frames per second. In step S11, the controller 15 may acquire images of a predetermined number of frames per second captured by the image pickup unit 20.

図２に示すように、ステップＳ１１において撮像された画像を取得すると、抽出部１１は、画像における物体認識を実行する（ステップＳ１２）。ここで、ステップＳ１２における動作は、抽出部１１に代わって、コントローラ１５が行ってよい。 As shown in FIG. 2, when the image captured in step S11 is acquired, the extraction unit 11 executes object recognition in the image (step S12). Here, the operation in step S12 may be performed by the controller 15 instead of the extraction unit 11.

ステップＳ１２において、抽出部１１は、画像に含まれる物体が何であるかを認識する。認識対象となる物体は、被監視対象Ｔのような人間を除いてよい。図３の例では、テーブルの上に置かれた物体だけを認識対象としてよい。本実施形態において、抽出部１１は、少なくとも画像に含まれる食べ物を認識する。また、抽出部１１は、例えばスプーン、フォーク及び箸などの食べ物を口に運ぶための道具を認識してよい。 In step S12, the extraction unit 11 recognizes what the object included in the image is. The object to be recognized may exclude a human such as the monitored object T. In the example of FIG. 3, only the object placed on the table may be recognized. In the present embodiment, the extraction unit 11 recognizes at least the food contained in the image. In addition, the extraction unit 11 may recognize a tool for carrying food such as a spoon, a fork, and chopsticks to the mouth.

ステップＳ１２において、抽出部１１は、公知の物体認識の手法を用いてよい。例えば、抽出部１１は、事前学習済みのディープラーニングモデルを用いて物体認識を実行してよい。 In step S12, the extraction unit 11 may use a known object recognition method. For example, the extraction unit 11 may execute object recognition using a pre-learned deep learning model.

物体認識の結果は、食べ物を把持する動作及び食べる動作などの判定に用いられてよい。例えば、被監視対象Ｔの口元に運ばれた物体が、食べ物又は食べ物を口に運ぶための道具と認識された物体を含む場合に、画像における人間の行為が食べる動作であると判定されてよい。 The result of the object recognition may be used for determining the motion of grasping the food, the motion of eating, and the like. For example, when the object carried to the mouth of the monitored object T includes food or an object recognized as a tool for carrying food to the mouth, it may be determined that the human action in the image is an eating action. ..

図２に示すように、ステップＳ１２において物体認識を実行すると、抽出部１１は、被監視対象Ｔの身体における所定部位の座標を抽出する（ステップＳ１３）。ここで、ステップＳ１３における動作は、抽出部１１に代わって、コントローラ１５が行ってよい。 As shown in FIG. 2, when the object recognition is executed in step S12, the extraction unit 11 extracts the coordinates of the predetermined portion of the body of the monitored target T (step S13). Here, the operation in step S13 may be performed by the controller 15 instead of the extraction unit 11.

図４は、ステップＳ１３において抽出される被監視対象Ｔの身体における所定部位の例を示す図である。 FIG. 4 is a diagram showing an example of a predetermined portion of the body of the monitored target T extracted in step S13.

ステップＳ１３において、抽出部１１は、例えば図４に示すような被監視対象Ｔの身体における所定部位の座標を抽出してよい。図４に示すように、ステップＳ１３において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における首、左肩、左肘、左手首、右肩、右肘、及び右手首を含んでよい。また、図４に示すように、ステップＳ１３において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における左尻、左膝、左足首、右尻、右膝、及び右足首をさらに含んでよい。このように、ステップＳ１３において抽出される所定部位の座標は、被監視対象Ｔの身体における所定の関節点の座標などとしてよい。 In step S13, the extraction unit 11 may extract the coordinates of a predetermined portion of the body of the monitored target T as shown in FIG. 4, for example. As shown in FIG. 4, the predetermined portion from which the coordinates are extracted in step S13 may include, for example, the neck, left shoulder, left elbow, left wrist, right shoulder, right elbow, and right wrist in the body of the monitored object T. .. Further, as shown in FIG. 4, the predetermined portion for which the coordinates are extracted in step S13 further includes, for example, the left hip, left knee, left ankle, right hip, right knee, and right ankle in the body of the monitored target T. It's fine. As described above, the coordinates of the predetermined portion extracted in step S13 may be the coordinates of the predetermined joint point in the body of the monitored target T or the like.

図５は、図３に示した画像において、被監視対象Ｔの身体における所定部位として抽出される座標の例を示す図である。図５に示す被監視対象Ｔの画像は、図３に示した被監視対象Ｔの画像と同じものを示している。図５は、図３に示した被監視対象Ｔの画像において、図４に示した被監視対象Ｔの身体における所定部位として抽出される座標を示している。 FIG. 5 is a diagram showing an example of coordinates extracted as a predetermined part of the body of the monitored target T in the image shown in FIG. The image of the monitored object T shown in FIG. 5 is the same as the image of the monitored object T shown in FIG. FIG. 5 shows the coordinates extracted as a predetermined part of the body of the monitored object T shown in FIG. 4 in the image of the monitored object T shown in FIG.

ステップＳ１３において、抽出部１１は、図５に示す複数のドットの座標を、図４に示す被監視対象Ｔの身体における所定部位として抽出する。例えば、抽出部１１は、図５に示す座標軸に従って、図５に示す複数のドットの座標を、２次元的に抽出してよい。すなわち、抽出部１１は、撮像部２０によって撮像される画像の撮像範囲の左下端部を、図５に示す座標軸の原点を示すものとしてよい。例えば、抽出部１１は、図５に示す被監視対象Ｔの首の位置の座標を、図５に示す座標軸に従って取得する。 In step S13, the extraction unit 11 extracts the coordinates of the plurality of dots shown in FIG. 5 as predetermined parts of the body of the monitored target T shown in FIG. For example, the extraction unit 11 may two-dimensionally extract the coordinates of the plurality of dots shown in FIG. 5 according to the coordinate axes shown in FIG. That is, the extraction unit 11 may indicate the lower left end of the image pickup range of the image captured by the image pickup unit 20 as the origin of the coordinate axis shown in FIG. For example, the extraction unit 11 acquires the coordinates of the position of the neck of the monitored target T shown in FIG. 5 according to the coordinate axes shown in FIG.

ここで、撮像部２０が秒間所定数のフレームの各画像を撮像する場合、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。また、コントローラ１５が秒間所定数のフレームの画像を取得する場合も、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。一例として、抽出部１１は、被監視対象Ｔの身体における所定部位を、秒間１５フレームにおいて抽出してよい。 Here, when the imaging unit 20 captures each image of a predetermined number of frames per second, the extraction unit 11 may extract the image as a predetermined portion of the body of the monitored target T in the predetermined number of frames per second. Further, even when the controller 15 acquires images of a predetermined number of frames per second, the extraction unit 11 may extract the images of the monitored target T as a predetermined part in the body in the predetermined number of frames per second. As an example, the extraction unit 11 may extract a predetermined portion of the body of the monitored target T at 15 frames per second.

図６は、例えば１秒間の１５フレームにおいて、被監視対象Ｔの身体において抽出された所定部位の座標をまとめて示す図である。図６に示すように、ステップＳ１３において、抽出部１１は、被監視対象Ｔの身体において抽出された所定部位の座標を、フレームごとに並べて配置してよい。図６に示すように、抽出部１１は、フレームごとに、被監視対象Ｔの身体において２次元的に（Ｘ，Ｙ座標として）所定部位の座標を抽出してよい。図６に示す表において、各行は、各フレームにおいて、被監視対象Ｔの身体の所定部位が、Ｘ，Ｙ座標として抽出された様子を模式的に示してある。また、図６に示す表において、各フレームを示す行は、時間の経過に従って上から下に示してある。図６に示す１５フレームの座標は、例えば図５に示すような画像（又は動画）における１秒間の座標をトラッキングしたものとしてよい。また、図６に示す１５フレームの後も、順次、被監視対象Ｔの身体において所定部位の座標が抽出されるものとしてよい。 FIG. 6 is a diagram showing the coordinates of predetermined parts extracted in the body of the monitored target T collectively, for example, in 15 frames per second. As shown in FIG. 6, in step S13, the extraction unit 11 may arrange the coordinates of the predetermined portion extracted in the body of the monitored target T side by side for each frame. As shown in FIG. 6, the extraction unit 11 may extract the coordinates of a predetermined portion two-dimensionally (as X and Y coordinates) in the body of the monitored target T for each frame. In the table shown in FIG. 6, each row schematically shows how a predetermined part of the body of the monitored target T is extracted as X and Y coordinates in each frame. Also, in the table shown in FIG. 6, the rows showing each frame are shown from top to bottom over time. The coordinates of the 15 frames shown in FIG. 6 may be, for example, tracking the coordinates of one second in an image (or moving image) as shown in FIG. Further, even after the 15 frames shown in FIG. 6, the coordinates of a predetermined portion in the body of the monitored target T may be sequentially extracted.

このように、一実施形態において、抽出部１１は、撮像部２０によって撮像された秒間所定数のフレームの画像ごとに、被監視対象Ｔの身体における所定数の関節点の座標を２次元的に抽出してよい。 As described above, in one embodiment, the extraction unit 11 two-dimensionally obtains the coordinates of a predetermined number of joint points in the body of the monitored target T for each image of a predetermined number of frames per second captured by the image pickup unit 20. It may be extracted.

ステップＳ１３において所定部位の座標が抽出されたら、抽出部１１は、抽出された所定数のフレーム（例えば１秒間の１５フレーム）における座標（Ｘ，Ｙ）それぞれの最大値及び最小値に従って、座標を正規化する（ステップＳ１４）。 After the coordinates of the predetermined portion are extracted in step S13, the extraction unit 11 sets the coordinates according to the maximum and minimum values of the coordinates (X, Y) in the extracted predetermined number of frames (for example, 15 frames per second). Normalize (step S14).

ステップＳ１３において抽出される所定部位の座標は、例えば被監視対象Ｔの身体のサイズなどに起因してばらつくことが想定される。また、ステップＳ１３において抽出される所定部位の座標は、例えば撮像部２０と被監視対象Ｔとの距離、及び、撮像部２０から被監視対象Ｔに向く方向などにも起因してばらつくことが想定される。したがって、一実施形態において、ステップＳ１３において抽出された座標のＸ方向成分及びＹ方向成分をそれぞれ正規化することにより、抽出された座標について汎用的な基準を用いて判定を行うことができるようにする。 It is assumed that the coordinates of the predetermined portion extracted in step S13 vary due to, for example, the size of the body of the monitored target T. Further, it is assumed that the coordinates of the predetermined portion extracted in step S13 vary due to, for example, the distance between the image pickup unit 20 and the monitored target T, the direction from the image pickup unit 20 toward the monitored target T, and the like. Will be done. Therefore, in one embodiment, by normalizing the X-direction component and the Y-direction component of the coordinates extracted in step S13, the extracted coordinates can be determined using a general-purpose standard. do.

この場合、例えば１秒間の１５フレームにおいて抽出されたＸ，Ｙ座標のそれぞれの最大値及び最小値に基づいて、抽出されるＸ，Ｙ座標が正規化されてよい。ここで、ステップＳ１３において抽出されたＸ座標の最大値がＸｍａｘであり、ステップＳ１３において抽出されたＸ座標の最小値がＸｍｉｎである。また、正規化後のＸ座標の最大値はＸ´ｍａｘとする。この場合、以下の式（１）を用いて、正規化前のＸ座標（Ｘ）を、正規化後のＸ座標（Ｘ´）に変換することができる。 In this case, for example, the extracted X and Y coordinates may be normalized based on the maximum and minimum values of the extracted X and Y coordinates in 15 frames per second. Here, the maximum value of the X coordinate extracted in step S13 is Xmax, and the minimum value of the X coordinate extracted in step S13 is Xmin. The maximum value of the X coordinate after normalization is X'max. In this case, the X coordinate (X) before normalization can be converted into the X coordinate (X') after normalization by using the following equation (1).

Ｘ´＝（（Ｘ－Ｘｍｉｎ）／（Ｘｍａｘ－Ｘｍｉｎ））・Ｘ´ｍａｘ （１） X'= ((X-Xmin) / (Xmax-Xmin)) · X'max (1)

同様に、ステップＳ１３において抽出されたＹ座標の最大値がＹｍａｘであり、ステップＳ１３において抽出されたＹ座標の最小値がＹｍｉｎである。また、正規化後のＹ座標の最大値はＹ´ｍａｘとする。この場合、以下の式（２）を用いて、正規化前のＹ座標（Ｙ）を、正規化後のＹ座標（Ｙ´）に変換することができる。 Similarly, the maximum value of the Y coordinate extracted in step S13 is Ymax, and the minimum value of the Y coordinate extracted in step S13 is Ymin. The maximum value of the Y coordinate after normalization is Y'max. In this case, the Y coordinate (Y) before normalization can be converted into the Y coordinate (Y') after normalization by using the following equation (2).

Ｙ´＝（（Ｙ－Ｙｍｉｎ）／（Ｙｍａｘ－Ｙｍｉｎ））・Ｙ´ｍａｘ （２） Y'= ((Y-Ymin) / (Ymax-Ymin)) · Y'max (2)

上記の式（１）及び式（２）に従って、抽出された座標のＸ方向成分及びＹ方向成分を正規化することにより、被監視対象Ｔの個体差、及び撮像部２０が被監視対象Ｔを撮像した環境などが座標についての判定に与える影響を低減することが期待できる。 By normalizing the X-direction component and the Y-direction component of the extracted coordinates according to the above equations (1) and (2), the individual difference of the monitored target T and the imaging unit 20 determine the monitored target T. It can be expected that the influence of the imaged environment on the judgment of the coordinates will be reduced.

このように、一実施形態において、抽出部１１は、２次元的に抽出された被監視対象Ｔの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してよい。また、このような動作は、抽出部１１ではなくコントローラ１５が行ってよい。 As described above, in one embodiment, the extraction unit 11 sets each direction component of the coordinates of a predetermined number of joint points in the body of the monitored target T two-dimensionally extracted to the maximum value and the minimum value of each direction component. It may be normalized based on the value. Further, such an operation may be performed by the controller 15 instead of the extraction unit 11.

ステップＳ１４に示す座標の正規化により、図６に示す各座標（Ｘ，Ｙ）は、それぞれ座標（Ｘ´，Ｙ´）に正規化される。ここで、上記において被監視対象Ｔの身体における所定数の関節点の座標を例に正規化について説明したが、関節点の座標に限らず画像内の物体の全ての座標はステップＳ１４の処理によって正規化される。 By normalizing the coordinates shown in step S14, each of the coordinates (X, Y) shown in FIG. 6 is normalized to the coordinates (X', Y'), respectively. Here, the normalization has been described above using the coordinates of a predetermined number of joint points in the body of the monitored target T as an example, but not only the coordinates of the joint points but all the coordinates of the object in the image are processed by step S14. It is normalized.

ステップＳ１４において座標が正規化されたら、コントローラ１５は、正規化された座標に基づいて、盗食の開始を判定する（ステップＳ１５）。ステップＳ１５において、コントローラ１５は、正規化された座標の位置関係に基づいて、盗食の開始か否かを判定してよい。 After the coordinates are normalized in step S14, the controller 15 determines the start of stealing based on the normalized coordinates (step S15). In step S15, the controller 15 may determine whether or not the stealing has started based on the positional relationship of the normalized coordinates.

ここで、「盗食の開始」の時点とは、例えば図５に示すように椅子に着座していた被監視対象Ｔが、例えば図７に示すような動きを開始した時点としてよい。図５及び図７においては、簡略化のために、ステップＳ１１において取得された画像データではなく、ステップＳ１３において抽出された座標データを図示してある。図５は、被監視対象Ｔが椅子に着座して、通常の食事をしている様子を示している。これは「盗食の開始」の時点までの状態を示すものとしてよい。 Here, the time point of "start of stealing" may be, for example, the time point when the monitored object T sitting on the chair starts the movement as shown in FIG. 7, for example. In FIGS. 5 and 7, for the sake of simplification, the coordinate data extracted in step S13 is shown instead of the image data acquired in step S11. FIG. 5 shows a state in which the monitored target T is sitting on a chair and eating a normal meal. This may indicate the state up to the time of "start of stealing".

一般的に、図５に示す状態から被監視対象Ｔが盗食行為を開始する場合、図７に示すように、被監視対象Ｔが他人の食べ物又は食べ物が乗った食器まで手を延ばす。一実施形態において、図５に示す状態から図７に示す状態に遷移を開始した時点が「盗食の開始」の時点とされてよい。「盗食の開始」の時点は、より厳密に言うと、被監視対象Ｔが、食べ物と認識された物体を含む、離れた位置の物体を把持した時であってよい。 Generally, when the monitored target T starts eating from the state shown in FIG. 5, the monitored target T reaches for another person's food or tableware on which the food is placed, as shown in FIG. 7. In one embodiment, the time point at which the transition from the state shown in FIG. 5 to the state shown in FIG. 7 is started may be regarded as the time point of "start of stealing". Strictly speaking, the time point of "start of stealing" may be when the monitored object T grips an object at a distant position including an object recognized as food.

このように、一実施形態において盗食行為の開始時点は、被監視対象Ｔが、離れた位置の物体を把持したタイミングを示してよい。 As described above, in one embodiment, the start time of the stealing act may indicate the timing at which the monitored object T grips the object at a distant position.

ここで、上記のように、コントローラ１５は、所定の条件が満たされることによって盗食行為の開始を判定する。この場合における所定の条件は、盗食行為の開始すなわち予兆を示すものであるため予兆条件と称することができる。図７に示すように、予兆条件は、物体（食べ物）の座標と被監視対象Ｔの右手首（又は左手首）の部位の座標との距離が第１の閾値ｄ１より小さく、かつ、被監視対象Ｔの右手首（又は左手首）の部位の座標と首の部位の座標との横方向の距離が第２の閾値ｄ２より大きいこととしてよい。ここで、食べ物の座標と被監視対象Ｔの右手首の部位の座標との距離が第１の閾値ｄ１より小さいことは、被監視対象Ｔが食べ物を右手で把持していることを示す。第１の閾値ｄ１は、特に限定されないが、被監視対象Ｔの手首から指先までよりも短い距離（例えば１０ｃｍ）に設定されてよい。また、被監視対象Ｔの右手首の部位の座標と首の部位の座標との横方向の距離が第２の閾値ｄ２より大きいことは、他人の食事がある離れた位置まで右手を延ばしていることを示す。第２の閾値ｄ２は、特に限定されないが、自分の食べ物までの範囲を超える長い距離（例えば４０ｃｍ）に設定されてよい。 Here, as described above, the controller 15 determines the start of the stealing act when a predetermined condition is satisfied. The predetermined condition in this case can be referred to as a sign condition because it indicates the start of the stealing act, that is, a sign. As shown in FIG. 7, the sign condition is that the distance between the coordinates of the object (food) and the coordinates of the right wrist (or left wrist) portion of the monitored target T is smaller than the first threshold value d1 and is monitored. The lateral distance between the coordinates of the right wrist (or left wrist) portion of the target T and the coordinates of the neck portion may be larger than the second threshold value d2. Here, the fact that the distance between the coordinates of the food and the coordinates of the right wrist portion of the monitored object T is smaller than the first threshold value d1 indicates that the monitored object T is holding the food with his right hand. The first threshold value d1 is not particularly limited, but may be set to a shorter distance (for example, 10 cm) from the wrist to the fingertip of the monitored target T. Further, the fact that the lateral distance between the coordinates of the right wrist portion of the monitored target T and the coordinates of the neck portion is larger than the second threshold value d2 means that the right hand is extended to a distant position where another person's meal is located. Show that. The second threshold value d2 is not particularly limited, but may be set to a long distance (for example, 40 cm) beyond the range to one's own food.

また、「盗食の終了」の時点とは、例えば図７に示すように他人の食べ物を把持した被監視対象Ｔが、例えば図８に示すような動きを開始した時点としてよい。図８においては、簡略化のために、ステップＳ１１において取得された画像データではなく、ステップＳ１３において抽出された座標データを図示してある。 Further, the time point of "end of stealing" may be, for example, the time point when the monitored target T holding the food of another person starts the movement as shown in FIG. 8, for example, as shown in FIG. In FIG. 8, for the sake of simplification, the coordinate data extracted in step S13 is shown instead of the image data acquired in step S11.

一般的に、被監視対象Ｔは、盗んだ食べ物を食べることによって盗食行為を終了する。一実施形態において、図７から図８に示す状態になった時点が「盗食の終了」の時点とされてよい。「盗食の終了」の時点は、より厳密に言うと、被監視対象Ｔが、把持した物体を口元に持っていった時であってよい。 Generally, the monitored target T ends the stealing act by eating the stolen food. In one embodiment, the time point when the state shown in FIGS. 7 to 8 is reached may be the time point of "end of stealing". Strictly speaking, the time point of "end of stealing" may be when the monitored object T brings the grasped object to his mouth.

このように、一実施形態において盗食行為の終了時点は、被監視対象Ｔが、把持した物体を口元に持っていったタイミングを示してよい。 As described above, in one embodiment, the end point of the eating act may indicate the timing at which the monitored object T brings the grasped object to the mouth.

コントローラ１５は、所定の条件が満たされることによって盗食行為の終了を判定することができる。この場合における所定の条件は、盗食行為の終了すなわち実施を示すものであるため実施条件と称することができる。図８に示すように、実施条件は、予兆条件が満たされた後で、被監視対象Ｔの右手首（又は左手首）の部位の座標と首の部位の座標との距離が第３の閾値ｄ３より小さくなることとしてよい。ここで、被監視対象Ｔの右手首の部位の座標と首の部位の座標との距離が第３の閾値ｄ３より小さくなることは、被監視対象Ｔが食べ物を口元に持っていったことを示す。第３の閾値ｄ３は、特に限定されないが、被監視対象Ｔの首から口までの距離に近い距離（例えば１５ｃｍ）に設定されてよい。 The controller 15 can determine the end of the eating act when a predetermined condition is satisfied. The predetermined condition in this case can be referred to as an implementation condition because it indicates the end of the eating act, that is, the implementation. As shown in FIG. 8, in the implementation condition, after the sign condition is satisfied, the distance between the coordinates of the right wrist (or left wrist) portion of the monitored target T and the coordinates of the neck portion is the third threshold value. It may be smaller than d3. Here, the fact that the distance between the coordinates of the right wrist portion of the monitored target T and the coordinates of the neck portion is smaller than the third threshold value d3 means that the monitored target T has food in his mouth. show. The third threshold value d3 is not particularly limited, but may be set to a distance close to the distance from the neck to the mouth of the monitored object T (for example, 15 cm).

ここで、ステップＳ１２で被監視対象Ｔが把持する又は把持しようとする物体が食べ物又は食べ物を口に運ぶための道具でないと認識された場合に、ステップＳ１５において、盗食行為でないと判定されてよい。つまり、コントローラ１５が盗食行為の判定に用いる所定の条件は、抽出部１１によって物体が、食べ物又は食べ物を口に運ぶための道具と認識されることを含んでよい。所定の条件が食べ物などの認識を含むことによって、より高い精度で盗食行為を判定することができる。 Here, when it is recognized in step S12 that the object to be grasped or to be grasped by the monitored object T is not food or a tool for carrying food to the mouth, it is determined in step S15 that it is not an act of stealing. good. That is, the predetermined condition used by the controller 15 for determining the eating behavior may include that the extraction unit 11 recognizes the object as food or a tool for carrying food to the mouth. By including the recognition of food or the like as a predetermined condition, it is possible to determine the eating behavior with higher accuracy.

ここで、別の例として、ステップＳ１３以降の処理は、ステップＳ１２で被監視対象Ｔの把持する又は把持しようとする物体が食べ物であると認識される場合にだけ、実行されてよい。つまり、被監視対象Ｔの把持の対象の物体が食べ物でない場合には盗食行為と結びつかないため、ステップＳ１３以降の処理が実行されずに、図２に示す動作が終了されてよい。 Here, as another example, the processing after step S13 may be executed only when the object to be grasped or to be grasped by the monitored object T is recognized as food in step S12. That is, if the object to be gripped by the monitored object T is not food, it is not linked to the eating act, so that the operation shown in FIG. 2 may be terminated without executing the processing after step S13.

ステップＳ１５において盗食行為の開始が判定される場合、すなわち、盗食行為がこれから開始されるリスクが高まった場合、コントローラ１５は、所定の警告信号を出力する（ステップＳ１６）。ステップＳ１６において、コントローラ１５は、所定の警告信号を警告部１７に出力してよい。これにより、警告部１７は、所定の警告を発することができる。 When the start of the stealing action is determined in step S15, that is, when the risk that the stealing action is about to start is increased, the controller 15 outputs a predetermined warning signal (step S16). In step S16, the controller 15 may output a predetermined warning signal to the warning unit 17. As a result, the warning unit 17 can issue a predetermined warning.

一方、ステップＳ１５において盗食行為の開始が判定されない場合、すなわち、盗食行為がこれから開始するリスクが高まっていない場合、コントローラ１５は、ステップＳ１６の動作をスキップして、図２に示す動作を終了してよい。図２に示す動作が終了すると、コントローラ１５は、再び図２に示す動作を開始してよい。例えば、コントローラ１５は、画像データから座標が抽出されるごとに、図２に示す動作を繰り返してよい。すなわち、例えば抽出部１１が秒間１５フレームの画像データから座標（Ｘ，Ｙ）を抽出する場合、コントローラ１５は、ステップＳ１５における盗食行為の開始の判定を秒間１５回行ってよい。 On the other hand, when the start of the stealing action is not determined in step S15, that is, when the risk of the stealing action starting from now on is not increased, the controller 15 skips the operation of step S16 and performs the operation shown in FIG. You may quit. When the operation shown in FIG. 2 is completed, the controller 15 may start the operation shown in FIG. 2 again. For example, the controller 15 may repeat the operation shown in FIG. 2 every time the coordinates are extracted from the image data. That is, for example, when the extraction unit 11 extracts the coordinates (X, Y) from the image data of 15 frames per second, the controller 15 may determine the start of the eating act in step S15 15 times per second.

このように、一実施形態において、コントローラ１５は、抽出部１１によって抽出された被監視対象Ｔの所定部位の座標から、盗食行為の開始を判定してよい。また、抽出部１１は、撮像部２０によって撮像された単位時間当たり所定数のフレームの画像から被監視対象Ｔの所定部位の座標及び物体の座標を抽出してよい。この場合、コントローラ１５は、抽出部１１によって抽出された被監視対象Ｔの所定部位の座標及び物体の座標から、盗食行為の開始を判定してよい。 As described above, in one embodiment, the controller 15 may determine the start of the stealing act from the coordinates of the predetermined portion of the monitored target T extracted by the extraction unit 11. Further, the extraction unit 11 may extract the coordinates of the predetermined portion of the monitored target T and the coordinates of the object from the images of a predetermined number of frames per unit time captured by the image pickup unit 20. In this case, the controller 15 may determine the start of the stealing act from the coordinates of the predetermined portion of the monitored target T extracted by the extraction unit 11 and the coordinates of the object.

図２に示すように、コントローラ１５は、ステップＳ１５において盗食行為の開始を判定したら直ちに、ステップＳ１６において所定の警告信号を出力してよい。このように、コントローラ１５は、盗食行為の開始を判定したら、盗食行為の終了前に、予兆検知として所定の警告信号を出力してよい。また、コントローラ１５は、予兆検知に代えて、又は、予兆検知に加えて、実施検知として所定の警告信号を出力してよい。つまり、コントローラ１５は、盗食行為の判定に用いる所定の条件として、予兆条件に代えて、又は、予兆検知に加えて、実施条件を用いてよい。コントローラ１５は、実施条件が満たされた場合に、所定の警告信号を出力してよい。 As shown in FIG. 2, the controller 15 may output a predetermined warning signal in step S16 immediately after determining the start of the stealing act in step S15. In this way, after determining the start of the stealing action, the controller 15 may output a predetermined warning signal as a sign detection before the end of the stealing action. Further, the controller 15 may output a predetermined warning signal as execution detection instead of or in addition to the sign detection. That is, the controller 15 may use the implementation condition in place of the sign condition or in addition to the sign detection as a predetermined condition used for determining the eating behavior. The controller 15 may output a predetermined warning signal when the implementation conditions are satisfied.

一実施形態に係るシステム１によれば、被監視対象Ｔが盗食行為における身体の関節点の座標及び物体の座標から、盗食行為の開始を判定することができる。したがって、一実施形態に係るシステム１によれば、被監視対象Ｔの盗食行為が終了する前、例えば被監視対象Ｔが他人の食べ物を口に入れる前の把持している状態で、所定の警告を発することができる。したがって、一実施形態に係るシステム１によれば、例えば介護施設などのスタッフは盗食行為の予兆を認識し得る。このため、一実施形態に係るシステム１によれば、被監視対象Ｔの食事の過剰摂取を回避して、被監視対象Ｔの安全に供することができる。 According to the system 1 according to the embodiment, the monitored target T can determine the start of the eating act from the coordinates of the joint point of the body and the coordinates of the object in the eating act. Therefore, according to the system 1 according to the embodiment, a predetermined state is held before the stealing action of the monitored target T is completed, for example, before the monitored target T eats the food of another person. You can issue a warning. Therefore, according to the system 1 according to the embodiment, for example, a staff member of a nursing care facility can recognize a sign of eating. Therefore, according to the system 1 according to the embodiment, it is possible to avoid the excessive intake of the meal of the monitored target T and provide the monitored target T safely.

また、一実施形態に係るシステム１によれば、被監視対象Ｔが盗食行為における身体の関節点の座標及び物体の座標から、盗食行為の終了を判定することができる。したがって、一実施形態に係るシステム１によれば、例えば介護施設などのスタッフは盗食行為の発生を認識し得る。このため、一実施形態に係るシステム１によれば、事後的な処置によって被監視対象Ｔの食事の過剰摂取を回避して、被監視対象Ｔの安全に供することができる。 Further, according to the system 1 according to the embodiment, the monitored target T can determine the end of the eating act from the coordinates of the joint point of the body and the coordinates of the object in the eating act. Therefore, according to the system 1 according to the embodiment, the staff of, for example, a long-term care facility can recognize the occurrence of the eating behavior. Therefore, according to the system 1 according to the embodiment, it is possible to avoid the excessive intake of the meal of the monitored target T by the ex post facto treatment and to provide the monitored target T safely.

図９は、図２のステップＳ１５において説明した判定処理をさらに説明する図である。図９は、左側の列において、例えば図２のステップＳ１１において取得された画像データに撮像された被監視対象Ｔの状態を示している。図９に示すように、撮像された画像データにおいて、被監視対象Ｔは、撮像部２０が設置された部屋に入室して椅子に着席した後、盗食行為を開始したとする。盗食行為が開始した瞬間から、コントローラ１５は、図２に示したステップＳ１１以降の動作を、秒間１５フレームの処理として行うものとする。すなわち、システム１において、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。また、システム１において、コントローラ１５は、秒間１５フレームの画像を取得するものとしてよい。また、システム１において、抽出部１１は、秒間１５フレームの画像から、被監視対象Ｔの身体の関節点の座標を抽出するものとしてよい。また、システム１において、コントローラ１５（又は抽出部１１）は、秒間１５フレームの画像から抽出された座標を正規化するものとしてよい。さらに、システム１において、コントローラ１５は、秒間１５フレームの正規化された座標から、盗食行為を判定してよい。 FIG. 9 is a diagram further explaining the determination process described in step S15 of FIG. FIG. 9 shows the state of the monitored target T captured in the image data acquired in step S11 of FIG. 2, for example, in the left column. As shown in FIG. 9, in the captured image data, it is assumed that the monitored target T enters the room in which the imaging unit 20 is installed, sits in a chair, and then starts eating. From the moment when the stealing action starts, the controller 15 shall perform the operation after step S11 shown in FIG. 2 as a process of 15 frames per second. That is, in the system 1, the image pickup unit 20 may capture an image of 15 frames per second. Further, in the system 1, the controller 15 may acquire an image of 15 frames per second. Further, in the system 1, the extraction unit 11 may extract the coordinates of the joint points of the body of the monitored target T from the image of 15 frames per second. Further, in the system 1, the controller 15 (or the extraction unit 11) may normalize the coordinates extracted from the image of 15 frames per second. Further, in the system 1, the controller 15 may determine the eating behavior from the normalized coordinates of 15 frames per second.

図９の中央の列において、コントローラ１５が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから抽出された座標としてよいし、正規化された座標としてよい。また、図９の中央の列において、ハッチングを付した画像データは、盗食行為が開始してから１秒間のフレームを表している。 In the central column of FIG. 9, a state in which the controller 15 continuously acquires frames of image data is conceptually shown. Here, the image data of each frame may be the coordinates extracted from the image data or may be the normalized coordinates. Further, in the central column of FIG. 9, the hatched image data represents a frame for one second after the start of the stealing act.

このような状況において、コントローラ１５は、盗食行為が開始してから１秒間のフレーム（フレーム１からフレーム１５まで）に基づいて、その時点における盗食行為の開始を判定してよい（図９に示す判定１）。次に、コントローラ１５は、フレーム２からフレーム１６までフレームに基づいて、その時点における盗食行為の開始を判定してよい（図９に示す判定２）。以上のような動作を繰り返すことにより、コントローラ１５は、盗食行為の開始の判定を、秒間１５回行うことになる。したがって、一実施形態に係るシステム１によれば、例えば図９に示す判定１及び判定２において何らかの原因により本来判定されるべき盗食行為の開始が判定されなかったとしても、秒間１５回の判定によって失報のリスクを低減することができる。 In such a situation, the controller 15 may determine the start of the eating activity at that time based on the frame (frames 1 to 15) for 1 second after the eating activity starts (FIG. 9). Judgment 1). Next, the controller 15 may determine the start of the eating act at that time based on the frames from the frame 2 to the frame 16 (determination 2 shown in FIG. 9). By repeating the above operation, the controller 15 determines the start of the eating act 15 times per second. Therefore, according to the system 1 according to the embodiment, even if the start of the eating act that should be originally determined is not determined in the determination 1 and the determination 2 shown in FIG. 9, for example, the determination is performed 15 times per second. The risk of misreporting can be reduced.

上述した実施形態において、例えば図４に示したように、抽出部１１は、被監視対象Ｔの関節点として、１３か所の部位の座標を抽出する例について説明した。しかしながら、一実施形態において、抽出部１１は、１３か所より多い部位の座標を抽出してよいし、１３より少ない箇所の部位の座標を抽出してよい。また、上述した実施形態において、システム１は、秒間１５フレームを処理する例について説明した。しかしながら、一実施形態において、システム１又はシステム１を構成する各機能部は、秒間１５よりも多くのフレームを処理してよいし、秒間１５よりも少ないフレームを処理してよい。一実施形態において、システム１が扱う関節点の数及び／又は処理するフレームの数は、盗食行為の開始の判定が妥当な結果になるように調整してよい。 In the above-described embodiment, for example, as shown in FIG. 4, the extraction unit 11 has described an example in which the extraction unit 11 extracts the coordinates of 13 sites as the joint points of the monitored target T. However, in one embodiment, the extraction unit 11 may extract the coordinates of more than 13 parts, or may extract the coordinates of less than 13 parts. Further, in the above-described embodiment, the system 1 has described an example of processing 15 frames per second. However, in one embodiment, the system 1 or each functional unit constituting the system 1 may process more than 15 frames per second and may process less than 15 frames per second. In one embodiment, the number of joint points handled by the system 1 and / or the number of frames processed may be adjusted so that the determination of the start of the stealing act gives a reasonable result.

このように、一実施形態において、コントローラ１５は、盗食行為の開始の判定の妥当性が所定以上になるように、フレームの数及び関節点の数の少なくとも一方を決定してよい。 Thus, in one embodiment, the controller 15 may determine at least one of the number of frames and the number of joint points so that the validity of the determination of the start of the stealing act becomes equal to or higher than a predetermined value.

上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてよい。 In the above embodiment, since the captured image data is used, visible light is used as a detection target for monitoring. However, the present disclosure is not limited to such cases, and other detection targets such as arbitrary electromagnetic waves, sound waves, temperatures, and vibrations may be arbitrarily used.

また、本開示の技術では、図１に示される電子機器１０の各構成要素のすべてが１つの筐体又はサーバに存在しなくてよい。例えば、電子機器１０の構成要素のコントローラ１５及び記憶部１３などの各部が、互いに有線、無線若しくはこれらの組み合わせからなるネットワークにより接続され、異なる筐体、サーバ、装置、部屋、ビル、地域、国などに任意に配置されているとしてよい。 Further, in the technique of the present disclosure, all the components of the electronic device 10 shown in FIG. 1 do not have to be present in one housing or server. For example, each part such as the controller 15 and the storage unit 13 which are the components of the electronic device 10 are connected to each other by a network consisting of a wired, wireless or a combination thereof, and have different housings, servers, devices, rooms, buildings, regions, countries. It may be arbitrarily arranged in such as.

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。 Although the embodiments according to the present disclosure have been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications or modifications based on the present disclosure. It should be noted, therefore, that these modifications or modifications are within the scope of this disclosure. For example, the functions included in each component or each step can be rearranged so as not to be logically inconsistent, and a plurality of components or steps can be combined or divided into one. Is. Although the embodiment according to the present disclosure has been mainly described with respect to the apparatus, the embodiment according to the present disclosure can also be realized as a method including steps executed by each component of the apparatus. The embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in the apparatus. It should be understood that these are also included in the scope of this disclosure.

例えば、一実施形態に係るシステム１及び電子機器１０における処理を簡略化して、図２のステップＳ１４に示した座標を正規化する処理が省略されてよい。 For example, the process of normalizing the coordinates shown in step S14 of FIG. 2 may be omitted by simplifying the process in the system 1 and the electronic device 10 according to the embodiment.

上述した実施形態は、システム１としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム１に含まれる電子機器１０として実施してよい。また、上述した実施形態は、例えば、電子機器１０による監視方法又は電子機器１０の制御方法として実施してよい。さらに、上述した実施形態は、例えば、電子機器１０のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してよい。 The above-described embodiment is not limited to the implementation as the system 1. For example, the above-described embodiment may be implemented as an electronic device 10 included in the system 1. Further, the above-described embodiment may be implemented as, for example, a monitoring method by the electronic device 10 or a control method of the electronic device 10. Further, the above-described embodiment may be implemented as a program executed by, for example, a device such as an electronic device 10 or an information processing device (for example, a computer).

１ システム
１０ 電子機器
１１ 抽出部
１３ 記憶部
１５ コントローラ
１７ 警告部
１９ 通信部
２０ 撮像部 1 System 10 Electronic equipment 11 Extraction unit 13 Storage unit 15 Controller 17 Warning unit 19 Communication unit 20 Imaging unit

Claims (12)

被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力するコントローラと、
を備えるシステム。 An imaging unit that captures the monitored object and
An extraction unit that extracts the coordinates of a predetermined portion of the monitored object from the image captured by the image pickup unit, recognizes an object included in the image, and extracts the coordinates of the object.
When a predetermined condition for determining the eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction unit is satisfied, a predetermined warning is given. A controller that outputs signals and
A system equipped with. 前記所定の条件は、前記物体の座標と前記被監視対象の所定部位の座標のうち右手首又は左手首の部位の座標との距離が第１の閾値より小さく、かつ、前記被監視対象の所定部位の座標のうち右手首又は左手首の部位の座標と首の部位の座標との横方向の距離が第２の閾値より大きいことである予兆条件を含む、請求項１に記載のシステム。 The predetermined condition is that the distance between the coordinates of the object and the coordinates of the part of the right wrist or the left wrist among the coordinates of the predetermined part of the monitored object is smaller than the first threshold value, and the predetermined condition of the monitored object is The system according to claim 1, wherein the lateral distance between the coordinates of the right wrist or the left wrist part and the coordinates of the neck part among the coordinates of the parts is larger than the second threshold value. 前記所定の条件は、前記予兆条件が満たされた後で、前記被監視対象の所定部位の座標のうち右手首又は左手首の部位の座標と首の部位の座標との距離が第３の閾値より小さくなることである実施条件を含む、請求項２に記載のシステム。 In the predetermined condition, after the sign condition is satisfied, the distance between the coordinates of the right wrist or the left wrist part and the coordinates of the neck part among the coordinates of the predetermined part to be monitored is the third threshold value. The system according to claim 2, wherein the implementation condition is to be smaller. 前記所定の条件は、前記抽出部によって前記物体が、食べ物又は食べ物を口に運ぶための道具と認識されることを含む、請求項１から３のいずれか一項に記載のシステム。 The system according to any one of claims 1 to 3, wherein the predetermined condition is that the object is recognized by the extraction unit as food or a tool for carrying food to the mouth. 前記抽出部は、前記撮像部によって撮像された単位時間当たり所定数のフレームの画像から前記被監視対象の所定部位の座標及び前記物体の座標を抽出し、
前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づいて、前記所定の警告信号を出力する、請求項１から４のいずれかに記載のシステム。 The extraction unit extracts the coordinates of the predetermined portion of the monitored object and the coordinates of the object from the images of a predetermined number of frames per unit time captured by the imaging unit.
The system according to any one of claims 1 to 4, wherein the controller outputs the predetermined warning signal based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction unit. .. 前記抽出部は、前記撮像部によって撮像された秒間所定数のフレームの画像ごとに、前記被監視対象の身体における所定数の関節点の座標を２次元的に抽出する、請求項１から５のいずれか一項に記載のシステム。 The extraction unit two-dimensionally extracts the coordinates of a predetermined number of joint points in the body to be monitored for each image of a predetermined number of frames per second captured by the imaging unit, according to claims 1 to 5. The system described in any one of the items. 前記抽出部は、２次元的に抽出された前記被監視対象の身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化する、請求項１から６のいずれかに記載のシステム。 The extraction unit normalizes each direction component of the coordinates of a predetermined number of joint points in the body to be monitored, which is two-dimensionally extracted, based on the maximum value and the minimum value of each direction component. Item 6. The system according to any one of Items 1 to 6. 前記コントローラは、前記所定の警告信号の出力の妥当性が所定以上になるように、前記フレームの数を決定する、請求項５又は６に記載のシステム。 The system according to claim 5 or 6, wherein the controller determines the number of frames so that the validity of the output of the predetermined warning signal is equal to or higher than a predetermined value. 前記コントローラは、前記所定の警告信号の出力の妥当性が所定以上になるように、前記関節点の数を決定する、請求項６又は７に記載のシステム。 The system according to claim 6 or 7, wherein the controller determines the number of the joint points so that the validity of the output of the predetermined warning signal becomes equal to or higher than a predetermined value. 被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力するコントローラと、
を備える電子機器。 An extraction unit that extracts the coordinates of a predetermined part of the monitored object from an image captured including the monitored object, recognizes an object included in the image, and extracts the coordinates of the object.
When a predetermined condition for determining the eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction unit is satisfied, a predetermined warning is given. A controller that outputs signals and
Electronic equipment equipped with. 被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力する出力ステップと、
を含む、電子機器の制御方法。 An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, recognizing an object included in the image, and extracting the coordinates of the object.
A predetermined warning is satisfied when a predetermined condition for determining the eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction step is satisfied. The output step to output the signal and
How to control electronic devices, including. コンピュータに、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出し、前記画像に含まれる物体を認識して前記物体の座標を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記物体の座標に基づく、前記被監視対象の盗食行為を判定するための所定の条件が満たされた場合に、所定の警告信号を出力する出力ステップと、
を実行させる、プログラム。 On the computer
An imaging step that captures the monitored object, and
An extraction step of extracting the coordinates of a predetermined portion of the monitored object from the image captured by the imaging step, recognizing an object included in the image, and extracting the coordinates of the object.
A predetermined warning is satisfied when a predetermined condition for determining the eating behavior of the monitored object based on the coordinates of the predetermined portion of the monitored object and the coordinates of the object extracted by the extraction step is satisfied. The output step to output the signal and
A program that runs.
JP2020162741A 2020-09-28 2020-09-28 System, electronic apparatus, method for controlling electronic apparatus, and program Pending JP2022055252A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020162741A JP2022055252A (en) 2020-09-28 2020-09-28 System, electronic apparatus, method for controlling electronic apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020162741A JP2022055252A (en) 2020-09-28 2020-09-28 System, electronic apparatus, method for controlling electronic apparatus, and program

Publications (1)

Publication Number Publication Date
JP2022055252A true JP2022055252A (en) 2022-04-07

Family

ID=80998164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020162741A Pending JP2022055252A (en) 2020-09-28 2020-09-28 System, electronic apparatus, method for controlling electronic apparatus, and program

Country Status (1)

Country Link
JP (1) JP2022055252A (en)

Similar Documents

Publication Publication Date Title
Kalantarian et al. A wearable nutrition monitoring system
US9504426B2 (en) Using an adaptive band-pass filter to compensate for motion induced artifacts in a physiological signal extracted from video
Kalantarian et al. A survey of diet monitoring technology
CN109961058B (en) Non-contact fall detection method and device
CN108882853B (en) Triggering measurement of physiological parameters in time using visual context
JP2010033326A (en) Diet-health management system, method, and program
WO2019013257A1 (en) Monitoring assistance system and method for controlling same, and program
CN109222927A (en) A kind of processing method based on health status, intelligent wearable device and storage medium
CN115116133A (en) Abnormal behavior detection system and method for monitoring solitary old people
US10229489B1 (en) Medical environment monitoring system
JP2022055252A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP2022055253A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
Lin et al. Local Object Tracking Using Infrared Array for Bed-exit Behavior Recognition.
JP2022050272A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP2022055251A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
WO2017183528A1 (en) Device, method, and system for monitoring of monitor subject
JP2022050271A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
Khawandi et al. Integrated monitoring system for fall detection in elderly
JP2022050273A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP7449211B2 (en) Systems, electronic devices, control methods for electronic devices, and programs
JP2022055248A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP7449212B2 (en) Systems, electronic devices, control methods for electronic devices, and programs
WO2020008995A1 (en) Image recognition program, image recognition device, learning program, and learning device
JP2022039814A (en) System, electronic apparatus, method for controlling electronic apparatus, and program
JP7438847B2 (en) Monitoring system, monitoring device, monitoring method, and program