JP2022050272A - システム、電子機器、電子機器の制御方法、及びプログラム - Google Patents

Abstract

【課題】被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供する。【解決手段】システム１は、被監視対象を撮像する撮像部２０と、撮像部によって撮像された画像から被監視対象の所定部位の座標を抽出する抽出部１１と、撮像部によって撮像された経時的な画像において被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、開始時点と終了時点との間における所定部位の座標と、被監視対象の盗食行為の開始との関係を機械学習するコントローラ１５と、を備える。【選択図】図１

Description

本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。

例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献１は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献２は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献３は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、特許文献４は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。

特開２０１７－９１５５２号公報 特開２０１７－２２１５０２号公報 特開２０１４－１０６６３６号公報 特開２００３－９１７９０号公報

被監視対象を監視することにより、被監視対象の安全に供することができれば、有益である。

本開示の目的は、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。

一実施形態に係るシステムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
前記撮像部によって撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習するコントローラと、
を備える。

また、一実施形態に係るシステムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定するコントローラと、
を備える。

一実施形態に係る電子機器は、
被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
前記被監視対象を含んで撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習するコントローラと、
を備える。

また、一実施形態に係る電子機器は、
被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定するコントローラと、
を備える。

一実施形態に係る電子機器の制御方法は、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習する機械学習ステップと、
を含む。

また、一実施形態に係る電子機器の制御方法は、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定する推定ステップと、
を含む。

一実施形態に係るプログラムは、
コンピュータに、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習する機械学習ステップと、
を実行させる。

また、一実施形態に係るプログラムは、
コンピュータに、
被監視対象を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定する推定ステップと、
を実行させる。

一実施形態によれば、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。

一実施形態に係るシステムの概略構成を示す機能ブロック図である。 一実施形態に係るシステムによる学習フェーズの動作を説明するフローチャートである。 一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。 一実施形態に係るシステムによって抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって抽出される所定の部位の座標について説明する図である。 一実施形態に係るシステムによって取得されるタイミング情報について説明する図である。 一実施形態に係るシステムによって抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによる推定フェーズの動作を説明するフローチャートである。 一実施形態に係るシステムによる推定について説明する図である。

本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、被監視対象の監視を行う者を含んでよい。また、「被監視対象」とは、一実施形態に係るシステム及び／又は電子機器によって監視される対象となる者（例えば人間又は動物）としてよい。さらに、ユーザは、被監視対象を含んでよい。

一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び／又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び／又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び／又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてよい。

一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。つまり、一実施形態に係るシステムは、監視システムであってよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象の盗食行為を監視することができる。ここで、盗食行為とは、被監視対象が自分の食事でなく、他人の食事を食べる行為である。また、盗食行為には、自己が食べるものとされていない食べ物を食べることを広く含み、誰かが食べるものとされている食べ物以外を食べることも含む。盗食行為には、例えば配膳前の食べ物及び、料理前、料理中の食べ物を食べる行為も含む。食事には、朝、昼若しくは晩の食事のみではなく、おやつ及び飲み物なども広く含むことが可能である。食事には、米などの穀物類、パン、肉、魚、野菜、果物若しくは流動食その他の食べ物を含むことができる。食事には、お菓子、アルコール類、お茶、ジュースなども含むことができる。

特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視者が食事をしている場合に、盗食行為が終了する前、例えば他人の食事を口に入れる前に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が他人の食事を口に入れる前に、盗食をしていることを認識し得る。

以下、図面を参照して、一実施形態に係るシステムが詳細に説明される。

図１は、一実施形態に係るシステムの概略構成を示す図である。図１に示すように、一実施形態に係るシステム１は、電子機器１０及び撮像部２０を含んで構成されてよい。電子機器１０と撮像部２０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム１は、図１に示す機能部の一部を含まなくてよいし、図１に示す以外の機能部を含んでよい。例えば、一実施形態に係るシステム１は、警告部１７及び通信部１９の少なくとも一方を備えなくてよい。また、例えば、一実施形態に係るシステム１は、画像を表示可能なディスプレイ及び／又はメモリカードなどのストレージを挿入可能なスロットなどを備えてよい。

図１に示す撮像部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２０は、例えば図１に示すように、被監視対象Ｔを撮像してよい。ここで、被監視対象Ｔは、例えば人間としてよい。撮像部２０は、撮像した画像を信号に変換して、電子機器１０に送信してよい。例えば、撮像部２０は、撮像した画像に基づく信号を、電子機器１０の抽出部１１、記憶部１３、及び／又は、コントローラ１５などに送信してよい。撮像部２０は、被監視対象Ｔを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。

一実施形態において、撮像部２０は、例えば被監視対象Ｔを所定時間ごと（例えば秒間１５フレーム）の静止画として撮像してよい。また、一実施形態において、撮像部２０は、例えば被監視対象Ｔを連続した動画として撮像してよい。

図１に示すように、一実施形態に係る電子機器１０は、抽出部１１、記憶部１３、コントローラ１５、警告部１７、及び通信部１９を備えてよい。一実施形態に係る電子機器１０は、図１に示す機能部の一部を備えなくてよいし、図１に示す以外の機能部を備えてよい。例えば、一実施形態に係る電子機器１０は、記憶部１３に記憶される後述の機械学習データ１３２を備えてよい。例えば、一実施形態に係る電子機器１０は、後述の機械学習データ１３２の少なくとも一部が、外部サーバなどの外部機器に記憶されているとしてよい。

抽出部１１は、撮像部２０によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの身体における所定部位のような特徴点の座標を抽出してよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの頭部、体幹、四肢、及び／又は各関節などの各部の座標を抽出してよい。抽出部１１は、専用のハードウェアとして構成されてよいし、少なくとも一部にソフトウェアを含めて構成されてよいし、全てソフトウェアで構成されているとしてよい。このように、抽出部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔの所定部位の座標を抽出してよい。

抽出部１１は、撮像部２０によって撮像された画像から、画像内にある物体を認識する機能を有してよい。一実施形態において、抽出部１１は、撮像部２０によって撮像された画像から、例えばテーブル、食べ物、食器、ティッシュペーパー、花、包装紙、ペットボトルの蓋などの物体を認識し、認識した物体の位置を特定してよい。ここで、物体認識については、さらに後述する。

記憶部１３は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１３は、例えばコントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などを記憶してよい。また、記憶部１３は、コントローラ１５のワークメモリとして機能してよい。記憶部１３は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１３は、一実施形態に係る電子機器１０に挿入されたメモリカードのような記憶媒体としてよい。また、記憶部１３は、後述のコントローラ１５として用いられるＣＰＵの内部メモリであってよいし、コントローラ１５に別体として接続されるものとしてよい。

図１に示すように、記憶部１３は、例えば機械学習データ１３２を記憶してよい。ここで、機械学習データ１３２は、機械学習によって生成されるデータとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩの一部には、機械学習が含まれるとしてよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてよい。本実施形態の機械学習データ１３２の概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープラーニングを利用するとしてよい。ディープラーニングは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープラーニングと呼ばれている。

本開示の技術において、被監視対象の身体の動作ａと、この動作ａから発生する被監視対象の動作結果Ａとの間には、一般的に一定の関係が存在するものとしてよい。ここでの動作結果には、被監視対象の動作、被監視対象の動作開始時点、被監視対象の動作から発生する事故及び事件その他の出来事などを含むとしてよい。例えば、被監視対象の身体の動作ａが行われ、この動作ａから被監視対象の動作結果Ａが発生したとする。また、被監視対象の身体の動作ｂが行われ、この動作ｂから被監視対象の動作結果Ｂが発生したとする。本開示の技術は、上記動作ａと動作結果Ａ、動作ｂと動作結果Ｂ、その他の動作と動作結果の関係を、機械学習データとして蓄積する。そして、本開示の技術は、動作ｘが抽出された場合に、上記機械学習データを用いて、動作ｘに関係する動作結果Ｘを推定するとしてよい。

特に、一実施形態において、機械学習データ１３２は、被監視対象Ｔが盗食行為をする際の特徴点の動きを機械学習したデータとしてよい。以下、被監視対象Ｔが盗食する行為及び盗食に関連する動作を「盗食行為」と記すことがある。また、機械学習データ１３２は、被監視対象Ｔとして特定の人物（例えば特定の要介護者など）が盗食行為をする際の特徴点の動きを機械学習したデータとしてよい。機械学習データ１３２については、さらに後述する。

コントローラ１５は、電子機器１０を構成する各機能部をはじめとして、電子機器１０の全体を制御及び／又は管理する。コントローラ１５は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１５は、まとめて１つのプロセッサで実現してよいし、いくつかのプロセッサで実現してよいし、それぞれ個別のプロセッサで実現してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

一実施形態において、コントローラ１５は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。コントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などは、例えば記憶部１３に記憶されてよい。コントローラ１５は、コントローラ１５の動作に必要なメモリを適宜含んでよい。一実施形態に係る電子機器１０のコントローラ１５の動作については、さらに後述する。

警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、システム１又は電子機器１０のユーザなどに注意を促すための所定の警告を発してよい。警告部１７は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部１７は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部１７は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してよい。

一実施形態において、警告部１７は、例えば被監視対象Ｔが盗食行為を開始する前に、被監視対象Ｔが盗食するリスクがある旨の警告を発してよい。また、一実施形態において、警告部１７は、被監視対象Ｔが盗食行為を終了する前に、被監視対象Ｔが盗食するリスクがある旨の警告を発してよい。例えば、一実施形態において、視覚情報を出力する警告部１７は、被監視対象Ｔの盗食が疑われる行為が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部１７は、被監視対象Ｔの盗食が疑われる行為が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてよい。

図１に示す電子機器１０は、警告部１７を内蔵している。しかしながら、一実施形態に係るシステム１において、警告部１７は、電子機器１０の外部に設けられてよい。この場合、警告部１７と電子機器１０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。

通信部１９は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部１９によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、及びＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ－ｐｈｏｎｅ Ｓｙｓｔｅｍ）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、及びＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を含む。通信部１９は、上記の通信規格の１つ又は複数をサポートすることができる。通信部１９は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部１９は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してよい。通信部１９は、無線通信を行うための既知の技術により構成することができる。

通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に供給されてよい。通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に内蔵されたメモリに記憶してよい。また、通信部１９は、例えばコントローラ１５による処理結果、抽出部１１による抽出結果、及び／又は、記憶部１３に記憶された情報などを外部に送信してよい。

図１に示すような、一実施形態に係る電子機器１０を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてよい。

次に、一実施形態に係るシステム１の動作が説明される。

一実施形態に係るシステム１の動作は、典型的には、「学習フェーズ」と「推定フェーズ」とに分けることができる。学習フェーズにおいては、例えば被監視対象Ｔのような人間の盗食行為における身体の各部の位置（座標）と、盗食行為のタイミングとの関係を機械学習する動作を行ってよい。また、推定フェーズにおいては、学習フェーズにおいて機械学習した結果に基づいて、被監視対象Ｔの盗食行為における身体の各部の位置（座標）から、盗食行為の開始を推定する動作を行ってよい。ここで、本開示では、例えば図１に示されるシステム１が複数あり、「学習フェーズ」と「推定フェーズ」を実施するシステムが異なるシステムであってよい。

図２は、一実施形態に係るシステム１の学習フェーズにおける動作の一例を示すフローチャートである。図２は、一実施形態に係るシステム１に含まれる電子機器１０の学習フェーズにおける動作に焦点を当てたフローチャートとしてよい。

例えば介護施設などにおいて、お年寄りのように、認知機能が低下している者は、盗食を行うリスクがあり得る。一実施形態に係るシステム１の学習フェーズにおいては、上述のようにして被監視対象Ｔのような人間の盗食行為における身体の各部の位置（座標）と、盗食行為のタイミングとの関係を機械学習してよい。

図２に示す動作が開始する時点において、システム１の撮像部２０は、例えば被監視対象Ｔのような人間の撮像を開始していてよい。図２に示す動作が開始する時点は、撮像部２０が例えば被監視対象Ｔのような人間の撮像を開始した時点としてよい。また、図２に示す動作が開始する時点は、撮像部２０が撮像を開始してから、例えば被監視対象Ｔのような人間が撮像部２０の撮像範囲に入った時点としてよい。

図２に示す動作が開始すると、電子機器１０のコントローラ１５は、撮像部２０によって撮像された画像を取得する（ステップＳ１１）。

図３は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の例を示す図である。

図３に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が椅子に着座して食事をしている状態を撮像してよい。図３の例では、被監視対象Ｔの隣において、他の人間が着座して同じように食事をしている。コントローラ１５は、撮像部２０から、被監視対象Ｔのような人間が食事をしている画像を取得する。

撮像部２０は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部２０が撮像する画像は、連続するフレームの静止画としてよいし、動画としてよい。例えば、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。ステップＳ１１において、コントローラ１５は、撮像部２０によって撮像された秒間所定数のフレームの画像を取得してよい。

図２に示すように、ステップＳ１１において撮像された画像を取得すると、抽出部１１は、画像における物体認識を実行する（ステップＳ１２）。ここで、ステップＳ１２における動作は、抽出部１１に代わって、コントローラ１５が行ってよい。

ステップＳ１２において、抽出部１１は、画像に含まれる物体が何であるかを認識する。認識対象となる物体は、被監視対象Ｔのような人間を除いてよい。図３の例では、テーブルの上に置かれた物体だけを認識対象としてよい。本実施形態において、抽出部１１は、少なくとも画像に含まれる食べ物を認識する。また、抽出部１１は、例えばスプーン、フォーク及び箸などの食べ物を口に運ぶための道具を認識してよい。

ステップＳ１２において、抽出部１１は、公知の物体認識の手法を用いてよい。例えば、抽出部１１は、事前学習済みのディープラーニングモデルを用いて物体認識を実行してよい。

物体認識の結果は、食べ物を把持する動作及び食べる動作などの判定に用いられてよい。例えば、被監視対象Ｔの口元に運ばれた物体が、食べ物又は食べ物を口に運ぶための道具と認識された物体を含む場合に、画像における人間の行為が食べる動作であると判定されてよい。

図２に示すように、ステップＳ１２において物体認識を実行すると、抽出部１１は、被監視対象Ｔの身体における所定部位の座標を抽出する（ステップＳ１３）。ここで、ステップＳ１３における動作は、抽出部１１に代わって、コントローラ１５が行ってよい。

図４は、ステップＳ１３において抽出される被監視対象Ｔの身体における所定部位の例を示す図である。

ステップＳ１３において、抽出部１１は、例えば図４に示すような被監視対象Ｔの身体における所定部位の座標を抽出してよい。図４に示すように、ステップＳ１３において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における首、左肩、左肘、左手首、右肩、右肘、及び右手首を含んでよい。また、図４に示すように、ステップＳ１３において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における左尻、左膝、左足首、右尻、右膝、及び右足首をさらに含んでよい。このように、ステップＳ１３において抽出される所定部位の座標は、被監視対象Ｔの身体における所定の関節点の座標などとしてよい。

図５は、図３に示した画像において、被監視対象Ｔの身体における所定部位として抽出される座標の例を示す図である。図５に示す被監視対象Ｔの画像は、図３に示した被監視対象Ｔの画像と同じものを示している。図５は、図３に示した被監視対象Ｔの画像において、図４に示した被監視対象Ｔの身体における所定部位として抽出される座標を示している。

ステップＳ１３において、抽出部１１は、図５に示す複数のドットの座標を、図４に示す被監視対象Ｔの身体における所定部位として抽出する。例えば、抽出部１１は、図５に示す座標軸に従って、図５に示す複数のドットの座標を、２次元的に抽出してよい。すなわち、抽出部１１は、撮像部２０によって撮像される画像の撮像範囲の左下端部を、図５に示す座標軸の原点を示すものとしてよい。例えば、抽出部１１は、図５に示す被監視対象Ｔの首の位置の座標を、図５に示す座標軸に従って取得する。

ここで、撮像部２０が秒間所定数のフレームの各画像を撮像する場合、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。また、コントローラ１５が秒間所定数のフレームの画像を取得する場合も、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。一例として、抽出部１１は、被監視対象Ｔの身体における所定部位を、秒間１５フレームにおいて抽出してよい。

図６は、例えば１秒間の１５フレームにおいて、被監視対象Ｔの身体において抽出された所定部位の座標をまとめて示す図である。図６に示すように、ステップＳ１３において、抽出部１１は、被監視対象Ｔの身体において抽出された所定部位の座標を、フレームごとに並べて配置してよい。図６に示すように、抽出部１１は、フレームごとに、被監視対象Ｔの身体において２次元的に（Ｘ，Ｙ座標として）所定部位の座標を抽出してよい。図６に示す表において、各行は、各フレームにおいて、被監視対象Ｔの身体の所定部位が、Ｘ，Ｙ座標として抽出された様子を模式的に示してある。また、図６に示す表において、各フレームを示す行は、時間の経過に従って上から下に示してある。図６に示す１５フレームの座標は、例えば図５に示すような画像（又は動画）における１秒間の座標をトラッキングしたものとしてよい。また、図６に示す１５フレームの後も、順次、被監視対象Ｔの身体において所定部位の座標が抽出されるものとしてよい。

このように、一実施形態において、抽出部１１は、撮像部２０によって撮像された秒間所定数のフレームの画像ごとに、被監視対象Ｔの身体における所定数の関節点の座標を２次元的に抽出してよい。

ステップＳ１３において所定部位の座標が抽出されたら、抽出部１１は、抽出された所定数のフレーム（例えば１秒間の１５フレーム）における座標（Ｘ，Ｙ）それぞれの最大値及び最小値に従って、座標を正規化する（ステップＳ１４）。

ステップＳ１３において抽出される所定部位の座標は、例えば被監視対象Ｔの身体のサイズなどに起因してばらつくことが想定される。また、ステップＳ１３において抽出される所定部位の座標は、例えば撮像部２０と被監視対象Ｔとの距離、及び、撮像部２０から被監視対象Ｔに向く方向などにも起因してばらつくことが想定される。したがって、一実施形態において、ステップＳ１３において抽出された座標のＸ方向成分及びＹ方向成分をそれぞれ正規化することにより、抽出された座標を汎用的に機械学習に用いることができるようにする。

この場合、例えば１秒間の１５フレームにおいて抽出されたＸ，Ｙ座標のそれぞれの最大値及び最小値に基づいて、抽出されるＸ，Ｙ座標が正規化されてよい。ここで、ステップＳ１３において抽出されたＸ座標の最大値がＸｍａｘであり、ステップＳ１３において抽出されたＸ座標の最小値がＸｍｉｎである。また、正規化後のＸ座標の最大値はＸ´ｍａｘとする。この場合、以下の式（１）を用いて、正規化前のＸ座標（Ｘ）を、正規化後のＸ座標（Ｘ´）に変換することができる。

Ｘ´＝（（Ｘ－Ｘｍｉｎ）／（Ｘｍａｘ－Ｘｍｉｎ））・Ｘ´ｍａｘ （１）

同様に、ステップＳ１３において抽出されたＹ座標の最大値がＹｍａｘであり、ステップＳ１３において抽出されたＹ座標の最小値がＹｍｉｎである。また、正規化後のＹ座標の最大値はＹ´ｍａｘとする。この場合、以下の式（２）を用いて、正規化前のＹ座標（Ｙ）を、正規化後のＹ座標（Ｙ´）に変換することができる。

Ｙ´＝（（Ｙ－Ｙｍｉｎ）／（Ｙｍａｘ－Ｙｍｉｎ））・Ｙ´ｍａｘ （２）

上記の式（１）及び式（２）に従って、抽出された座標のＸ方向成分及びＹ方向成分を正規化することにより、被監視対象Ｔの個体差、及び撮像部２０が被監視対象Ｔを撮像した環境などが機械学習に与える影響を低減することが期待できる。

このように、一実施形態において、抽出部１１は、２次元的に抽出された被監視対象Ｔの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してよい。また、このような動作は、抽出部１１ではなくコントローラ１５が行ってよい。

ステップＳ１４に示す座標の正規化により、図６に示す各座標（Ｘ，Ｙ）は、それぞれ座標（Ｘ´，Ｙ´）に正規化される。

ステップＳ１４において座標が正規化されたら、コントローラ１５は、タイミング情報を取得する（ステップＳ１５）。ステップＳ１５においてコントローラ１５がタイミング情報を取得するために、ステップＳ１１において取得された画像、又は、ステップＳ１３において抽出された座標において、予めタイミング情報が付与（設定）されている必要がある。また、ステップＳ１３において抽出された座標ではなく、ステップＳ１４において正規化された座標において、予めタイミング情報が付与（設定）されていてよい。

一実施形態において、電子機器１０が機械学習するためのデータとして、例えば被監視対象Ｔのような人間が盗食行為の開始時点及び終了時点を示す情報を用意する必要がある。被監視対象Ｔが盗食行為の開始時点及び終了時点を示す情報（タイミング情報）があれば、電子機器１０は、このタイミング情報を例えば教師データとして機械学習を行うことができる。以上のように、被監視対象Ｔが盗食行為の開始時点及び終了時点を示す情報を、「タイミング情報」とも記す。すなわち、「タイミング情報」とは、撮像部２０によって撮像された経時的な画像において盗食行為の開始時点及び終了時点を示す情報としてよい。

このようなタイミング情報は、例えばスタッフなどの人員によって付与（設定）されてよい。すなわち、例えば行動学の専門家又は介護施設の職員などが、撮像部２０によって撮像された被監視対象Ｔの画像を観察（視認）しながら、盗食行為を示すタイミング情報を付与してよい。また、このようなタイミング情報を付与するための所定の基準を予め設けることにより、行動学の専門家又は介護施設の職員などではない一般的な人員であっても、タイミング情報を付与することができる。上述のように、タイミング情報は、ステップＳ１１において取得された画像データにおいて付与（設定）されてよい。また、タイミング情報は、ステップＳ１３において抽出された座標データにおいて付与（設定）されてよい。また、タイミング情報は、ステップＳ１４において正規化された座標データにおいて付与（設定）されてよい。

図７は、タイミング情報の設定について説明する図である。図７においては、画像データがフレームごとに時間の経過とともに連続している様子を概念的に示している。すなわち、図７において、画像データは、時間の経過に従って、フレーム１、フレーム２、フレーム３、…のように連続していることを示している。また、図７においては、画像データにタイミング情報を付与（設定）する例を示している。しかしながら、上述のように、図７に示す画像データは、座標データに代えてよいし、正規化された座標データに代えてよい。

図７に示す「入室」の時点において、例えば撮像部２０が設置された部屋に被監視対象Ｔが入室した様子が、撮像部２０によって撮像された画像のデータ（画像データ）に示されていたとする。

図７に示す「着席」の時点において、入室してきた被監視対象Ｔが椅子に着席した様子が、画像データに示されていたとする。

図７に示す「盗食の開始」の時点において、被監視対象Ｔが盗食行為を開始した様子が、画像データに示されていたとする。

図７に示す「盗食の終了」の時点において、被監視対象Ｔが盗食行為を終了した様子が、画像データに示されていたとする。

図７に示す「離席」の時点において、椅子に着座していた被監視対象Ｔが例えば立ち上がるなどして椅子から離席した様子が、画像データに示されていたとする。

図７に示す「退室」の時点において、椅子から離席した被監視対象Ｔが、例えば撮像部２０が設置された部屋から退室した様子が、画像データに示されていたとする。

以上のように撮像された画像データにおいて、例えば行動学の専門家又は介護施設の職員その他の一般的な人員などによって、少なくとも、「盗食の開始」の時点及び「盗食の終了」の時点を示すタイミング情報が付与（設定）されてよい。

ここで、「盗食の開始」の時点とは、例えば図５に示すように椅子に着座していた被監視対象Ｔが、例えば図８に示すような動きを開始した時点としてよい。図５及び図８においては、簡略化のために、ステップＳ１１において取得された画像データではなく、ステップＳ１３において抽出された座標データを図示してある。図５は、被監視対象Ｔが椅子に着座して、通常の食事をしている様子を示している。これは図７に示す「着席」の時点から「盗食の開始」の時点までの状態を示すものとしてよい。

一般的に、図５に示す状態から被監視対象Ｔが盗食行為を開始する場合、図８に示すように、被監視対象Ｔが他人の食べ物又は食べ物が乗った食器まで手を延ばす。一実施形態において、図５に示す状態から図８に示す状態に遷移を開始した時点を「盗食の開始」の時点として、タイミング情報が付与（設定）されてよい。「盗食の開始」の時点は、より厳密に言うと、被監視対象Ｔが、食べ物と認識された物体を含む、離れた位置の物体を把持した時であってよい。

このように、一実施形態において、タイミング情報における盗食行為の開始時点は、被監視対象Ｔが、離れた位置の物体を把持したタイミングを示してよい。

また、「盗食の終了」の時点とは、例えば図８に示すように他人の食べ物を把持した被監視対象Ｔが、例えば図９に示すような動きを開始した時点としてよい。図９においては、簡略化のために、ステップＳ１１において取得された画像データではなく、ステップＳ１３において抽出された座標データを図示してある。

一般的に、被監視対象Ｔは、盗んだ食べ物を食べることによって盗食行為を終了する。一実施形態において、図８から図９に示す状態になった時点を「盗食の終了」の時点として、タイミング情報が付与（設定）されてよい。「盗食の終了」の時点は、より厳密に言うと、被監視対象Ｔが、把持した物体を口元に持っていった時であってよい。

このように、一実施形態において、タイミング情報における盗食行為の終了時点は、被監視対象Ｔが、把持した物体を口元に持っていったタイミングを示してよい。

タイミング情報において、上述した「盗食の開始」の時点及び「盗食の終了」の時点は、必ずしもこの順序で付与（設定）しなくてよい。すなわち、タイミング情報において、最初に「盗食の終了」の時点が設定されてから、「盗食の開始」の時点が設定されてよい。

例えば、スタッフなどの人員は、撮像部２０によって撮像された被監視対象Ｔの画像を再生して観察（視認）している際、「盗食の開始」の時点を見極めるのが必ずしも容易でないことも想定される。このような場合、まず、スタッフなどの人員は、撮像部２０によって撮像された被監視対象Ｔの画像を再生して観察（視認）している際に、「盗食の終了」の時点をタイミング情報として設定してよい。次に、スタッフなどの人員は、「盗食の終了」の時点から、撮像部２０によって撮像された被監視対象Ｔの画像を時間的に逆に再生して観察（視認）してよい。ここで、撮像部２０によって撮像された被監視対象Ｔの画像を時間的に逆に再生する際には、当該逆再生の速度をある程度低下させてよい。このようにすれば、スタッフなどの人員は、タイミング情報において、「盗食の終了」の時点よりも前の時点である「盗食の開始」の時点を容易に設定することができる。

上述のようにして画像データ（又は座標データ若しくは正規化された座標データ）においてタイミング情報が付与（設定）されたら、コントローラ１５は、ステップＳ１５において当該タイミング情報を取得することができる。電子機器１０のコントローラ１５は、ステップＳ１５において、上述のようなタイミング情報を、例えば通信部１９を介して外部のネットワークなどから取得してよい。また、コントローラ１５は、ステップＳ１５において、上述のようなタイミング情報を、例えばメモリカードなどのストレージを挿入可能な電子機器１０のスロットなどから取得してよい。また、システム１が画像を表示可能なディスプレイを含む場合、当該ディスプレイに画像データなどを表示してよい。この場合、スタッフなどの人員がディスプレイを視認しながら設定するタイミング情報は、例えば電子機器１０の操作部などを介して入力されてよい。

ステップＳ１５においてタイミング情報を取得したら、コントローラ１５は、画像データから抽出された座標と、盗食行為の開始との関係を、タイミング情報に基づいて機械学習する（ステップＳ１６）。ステップＳ１６において、コントローラ１５は、盗食行為の開始時点と終了時点との間における被監視対象Ｔの所定部位（関節点）の座標と、盗食行為の開始との関係を、タイミング情報に基づいて学習するものとしてよい。ここで、コントローラ１５は、画像データ（又は座標データ、若しくは正規化された座標データ）、及びこれに設定されたタイミング情報に基づいて、機械学習を行ってよい。以下、ステップＳ１６における機械学習の結果として生成されるデータを、「機械学習データ」と記すことがある。

上述のような機械学習を行うことにより、電子機器１０は、盗食行為が開始するタイミングと、盗食行為の開始時点から終了時点までの間における被監視対象Ｔの所定部位（関節点）の座標の動きとの関連を把握することができる。このため、電子機器１０によれば、後述の推定フェーズにおいて、被監視対象Ｔの所定部位（関節点）の座標の動きに基づいて、盗食行為の開始時点が推定され得る。

このように、一実施形態において、コントローラ１５は、盗食行為の開始時点と終了時点との間における被監視対象Ｔの所定部位の座標と、盗食行為の開始との関係を、タイミング情報に基づいて機械学習する。ここで、タイミング情報とは、上述のように、撮像部２０によって撮像された経時的な画像において盗食行為の開始時点及び終了時点を示す情報としてよい。ここで、本開示において、コントローラ１５が機械学習する、盗食行為の開始時点と終了時点との間における被監視対象Ｔの所定部位の座標と、盗食行為の開始との関係の数は、例えば１以上、１０以上、１００以上、１０００以上など、少なくとも１以上の数であればよい。

後述の推定フェーズにおいて電子機器１０が盗食行為の開始時点を推定する精度を向上するために、比較的多数のサンプル（例えば被監視対象Ｔのような人間）のデータについて、機械学習を行ってよい。機械学習を行う際のサンプルのデータを多くすることにより、後述の推定フェーズにおいて電子機器１０が盗食行為の開始時点を推定する際の精度を高めることが期待できる。したがって、機械学習を行う際のサンプルのデータを多くすることにより、電子機器１０が盗食行為の開始を推定して警告を発する際に、誤報を発したり、失報したりするといったことを低減し得る。ここで、本開示において、コントローラ１５が機械学習する、サンプルの数は、例えば１以上、１０以上、１００以上、１０００以上など、少なくとも１以上の数であればよい。

上述の機械学習において、タイミング情報は、撮像部２０によって撮像された経時的な画像において盗食行為の開始時点及び終了時点を示す情報とした。一実施形態において、タイミング情報は、撮像部２０によって撮像された経時的な画像において盗食行為の開始時点及び終了時点以外の時点を示す情報を含むものとしてよい。

例えば、図７に示す学習データ（４）の区間の画像データは、盗食行為の開始時点と終了時点との間に存在する。このため、学習データ（４）は、危険な（すなわち盗食のリスクが高い）クラスに分類されるデータとして、コントローラ１５に機械学習させてよい。図７に示す学習データ（４）の区間の画像データは、盗食行為の開始時点とほぼ同じ時点において開始している。一方、図７に示す学習データ（４）の区間の画像データは、盗食行為の終了時点とは異なる時点において終了している。

一方、図７に示す学習データ（１）乃至（３）、及び学習データ（５）乃至（６）の区間の画像データは、盗食行為の開始時点と終了時点との間に存在しない。このため、これらの学習データは、正常な（すなわち危険が少ない（盗食のリスクが低い））クラスに分類されるデータとして、コントローラ１５に機械学習させてよい。これらの学習データの区間の画像データは、盗食行為の開始時点とは異なる時点において開始し、盗食行為の終了時点とは異なる時点において終了している。

このように、一実施形態において、タイミング情報は、撮像部２０によって撮像された経時的な画像において盗食行為の開始時点及び終了時点以外の時点を示す情報を含んでよい。このようなタイミング情報に基づいて、コントローラ１５は、盗食行為の開始時点と終了時点との間における被監視対象Ｔの所定部位の座標と、盗食行為の開始との関係を機械学習してよい。

コントローラ１５は、図７に示すように、危険なクラスに分類される学習データ（４）のみならず、正常なクラスに分類される学習データ（１）乃至（３）、及び学習データ（５）乃至（６）のような学習データにも基づいて、機械学習を行ってよい。コントローラ１５は、危険なクラスに分類される学習データ及び正常なクラスに分類される学習データに基づいて機械学習を行うことにより、盗食行為の開始を推定する精度を高めることができる。

図１０は、一実施形態に係るシステム１の推定フェーズにおける動作の一例を示すフローチャートである。図１０は、一実施形態に係るシステム１に含まれる電子機器１０の推定フェーズにおける動作に焦点を当てたフローチャートとしてよい。

上述のように、例えば介護施設などにおいて、お年寄りのように、認知機能が低下している者は、盗食を行うリスクがあり得る。一実施形態に係るシステム１の推定フェーズにおいては、学習フェーズにおいて得られた機械学習データを利用して、被監視対象Ｔの身体の各部の位置（座標）から、盗食行為の開始を推定してよい。システム１によって被監視対象Ｔを監視することで、例えば介護施設などのスタッフは、被監視対象Ｔの盗食行為を、盗食行為の終了前に認識することができる。

図１０に示す動作が開始すると、電子機器１０のコントローラ１５は、機械学習データを取得する（ステップＳ２１）。ステップＳ２１において取得する機械学習データは、図２に示したステップＳ１６における機械学習の結果として生成されるデータとしてよい。すなわち、機械学習データとは、人間の盗食行為の開始時点と終了時点との間におけるその人間の所定部位の座標と、その人間の盗食行為の開始との関係が機械学習されたデータとしてよい。

図１０に示す動作が開始する時点で既に機械学習データを取得している場合には、コントローラ１５は、ステップＳ２１において再び機械学習データを取得しなくてよい。また、ステップＳ２１において取得する機械学習データは、後述のステップＳ２６において用いられる。このため、一実施形態において、機械学習データの取得は、必ずしもステップＳ２１において行う必要がなく、ステップ２５までの任意のタイミングにおいて行ってよい。

ステップＳ２１において機械学習データが取得されたら、コントローラ１５は、撮像部２０によって撮像された画像を取得する（ステップＳ２２）。ステップＳ２２における動作は、図２に示したステップＳ１１の動作と同様に行ってよい。

ステップＳ２２において撮像された画像を取得すると、抽出部１１は、画像における物体認識を実行する（ステップＳ２３）。ステップＳ２３における動作は、図２に示したステップＳ１２の動作と同様に行ってよい。ここで、ステップＳ２３における動作は、抽出部１１に代わって、コントローラ１５が行ってよい。

ステップＳ２３で被監視対象Ｔが把持する又は把持しようとする物体が食べ物でないと認識された場合に、後述する盗食行為の開始の推定（ステップＳ２６）において、盗食行為でないと判定されてよい。つまり、後述する盗食行為の開始の推定（ステップＳ２６）は、ステップＳ２３において被監視対象Ｔの把持の対象の物体が食事と認識されるか否かに影響されてよい。

ここで、別の例として、ステップＳ２４以降の処理は、ステップＳ２３で被監視対象Ｔの把持する又は把持しようとする物体が食べ物であると認識される場合にだけ、実行されてよい。つまり、被監視対象Ｔの把持の対象の物体が食べ物でない場合には盗食行為と結びつかないため、ステップＳ２４以降の処理が実行されずに、図１０に示す動作が終了されてよい。

ステップＳ２３において物体認識を実行すると、抽出部１１は、被監視対象Ｔの身体における所定部位の座標を抽出する（ステップＳ２４）。ステップＳ２４における動作は、図２に示したステップＳ１３の動作と同様に行ってよい。すなわち、例えば、抽出部１１は、撮像部２０によって撮像された秒間所定数のフレームの画像ごとに、被監視対象Ｔの身体における所定数の関節点の座標を２次元的に抽出してよい。ここで、ステップＳ２４における動作は、抽出部１１に代わって、コントローラ１５が行ってよい。

ステップＳ２４において所定部位の座標が抽出されたら、抽出部１１は、抽出された所定数のフレーム（例えば１秒間の１５フレーム）における座標（Ｘ，Ｙ）それぞれの最大値及び最小値に従って、座標を正規化する（ステップＳ２５）。ステップＳ２５における動作は、図２に示したステップＳ１４の動作と同様に行ってよい。すなわち、例えば、抽出部１１は、２次元的に抽出された被監視対象Ｔの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してよい。

ステップＳ２５において座標が正規化されたら、コントローラ１５は、ステップＳ２１において取得された機械学習データに基づいて、ステップＳ２５において正規化された座標から、盗食行為の開始が推定されるか否かを判定する（ステップＳ２６）。

ステップＳ２６において盗食行為の開始が推定される場合、すなわち、盗食行為がこれから開始されるリスクが高まった場合、コントローラ１５は、所定の警告信号を出力する（ステップＳ２７）。ステップＳ２７において、コントローラ１５は、所定の警告信号を警告部１７に出力してよい。これにより、警告部１７は、所定の警告を発することができる。

一方、ステップＳ２６において盗食行為の開始が推定されない場合、すなわち、盗食行為がこれから開始するリスクが高まっていない場合、コントローラ１５は、ステップＳ２７の動作をスキップして、図１０に示す動作を終了してよい。図１０に示す動作が終了すると、コントローラ１５は、再び図１０に示す動作を開始してよい。例えば、コントローラ１５は、画像データから座標が抽出されるごとに、図１０に示す動作を繰り返してよい。すなわち、例えば抽出部１１が秒間１５フレームの画像データから座標（Ｘ，Ｙ）を抽出する場合、コントローラ１５は、ステップＳ２６における盗食行為の開始の推定を秒間１５回行ってよい。

このように、一実施形態において、コントローラ１５は、機械学習データに基づいて、抽出部１１によって抽出された被監視対象Ｔの所定部位の座標から、盗食行為の開始を推定してよい。また、抽出部１１は、撮像部２０によって撮像された単位時間当たり所定数のフレームの画像から被監視対象Ｔの所定部位の座標を抽出してよい。この場合、コントローラ１５は、抽出部１１によって抽出された被監視対象Ｔの所定部位の座標から、盗食行為の開始を推定してよい。

図１０に示すように、コントローラ１５は、ステップＳ２６において盗食行為の開始を推定したら直ちに、ステップＳ２７において所定の警告信号を出力してよい。このため、コントローラ１５は、実際の盗食行為が終了する前に、所定の警告信号を出力してよい。このように、コントローラ１５は、盗食行為の開始を推定したら、盗食行為の終了前に、所定の警告信号を出力してよい。また、コントローラ１５は、可能な場合には、実際の盗食行為が開始する前に、所定の警告信号を出力してよい。このように、コントローラ１５は、盗食行為の開始を推定したら、盗食行為の開始前に、所定の警告信号を出力してよい。

一実施形態に係るシステム１によれば、例えば被監視対象Ｔのような人間が盗食行為における身体の関節点の座標と、盗食行為のタイミングとの関係を機械学習することができる。また、一実施形態に係るシステム１によれば、機械学習した結果に基づいて、被監視対象Ｔが盗食行為における身体の関節点の座標から、盗食行為の開始を推定することができる。したがって、一実施形態に係るシステム１によれば、被監視対象Ｔの盗食行為が終了する前、例えば被監視対象Ｔが他人の食べ物を口に入れる前の把持している状態で、所定の警告を発することができる。したがって、一実施形態に係るシステム１によれば、例えば介護施設などのスタッフは盗食行為の発生を認識し得る。このため、一実施形態に係るシステム１によれば、被監視対象Ｔの食事の過剰摂取を回避して、被監視対象Ｔの安全に供することができる。

図１１は、図１０のステップＳ２６において説明した推定処理をさらに説明する図である。図１１は、左側の列において、例えば図１０のステップＳ２２において取得された画像データに撮像された被監視対象Ｔの状態を示している。図１１に示すように、撮像された画像データにおいて、被監視対象Ｔは、撮像部２０が設置された部屋に入室して椅子に着席した後、盗食行為を開始したとする。盗食行為が開始した瞬間から、コントローラ１５は、図１０に示したステップＳ２２以降の動作を、秒間１５フレームの処理として行うものとする。すなわち、システム１において、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。また、システム１において、コントローラ１５は、秒間１５フレームの画像を取得するものとしてよい。また、システム１において、抽出部１１は、秒間１５フレームの画像から、被監視対象Ｔの身体の関節点の座標を抽出するものとしてよい。また、システム１において、コントローラ１５（又は抽出部１１）は、秒間１５フレームの画像から抽出された座標を正規化するものとしてよい。さらに、システム１において、コントローラ１５は、機械学習データに基づいて、秒間１５フレームの正規化された座標から、盗食行為を推定してよい。

図１１の中央の列において、コントローラ１５が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから抽出された座標としてよいし、正規化された座標としてよい。また、図１１の中央の列において、ハッチングを付した画像データは、盗食行為が開始してから１秒間のフレームを表している。

このような状況において、コントローラ１５は、盗食行為が開始してから１秒間のフレーム（フレーム１からフレーム１５まで）に基づいて、その時点における盗食行為の開始を推定してよい（図１１に示す推定１）。次に、コントローラ１５は、フレーム２からフレーム１６までフレームに基づいて、その時点における盗食行為の開始を推定してよい（図１１に示す推定２）。以上のような動作を繰り返すことにより、コントローラ１５は、盗食行為の開始の推定を、秒間１５回行うことになる。したがって、一実施形態に係るシステム１によれば、例えば図１１に示す推定１及び推定２において何らかの原因により本来推定されるべき盗食行為の開始が推定されなかったとしても、秒間１５回の推定によって失報のリスクを低減することができる。

上述した実施形態において、例えば図４に示したように、抽出部１１は、被監視対象Ｔの関節点として、１３か所の部位の座標を抽出する例について説明した。しかしながら、一実施形態において、抽出部１１は、１３か所より多い部位の座標を抽出してよいし、１３より少ない箇所の部位の座標を抽出してよい。また、上述した実施形態において、システム１は、秒間１５フレームを処理する例について説明した。しかしながら、一実施形態において、システム１又はシステム１を構成する各機能部は、秒間１５よりも多くのフレームを処理してよいし、秒間１５よりも少ないフレームを処理してよい。一実施形態において、システム１が扱う関節点の数及び／又は処理するフレームの数は、盗食行為の開始の推定が妥当な結果になるように調整してよい。

このように、一実施形態において、コントローラ１５は、盗食行為の開始の推定の妥当性が所定以上になるように、フレームの数及び関節点の数の少なくとも一方を決定してよい。

上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてよい。

また、本開示の技術では、図１に示される電子機器１０の各構成要素のすべてが１つの筐体又はサーバに存在しなくてよい。例えば、電子機器１０の構成要素のコントローラ１５及び記憶部１３などの各部が、互いに有線、無線若しくはこれらの組み合わせからなるネットワークにより接続され、異なる筐体、サーバ、装置、部屋、ビル、地域、国などに任意に配置されているとしてよい。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

上述した実施形態は、システム１としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム１に含まれる電子機器１０として実施してよい。また、上述した実施形態は、例えば、電子機器１０による監視方法又は電子機器１０の制御方法として実施してよい。さらに、上述した実施形態は、例えば、電子機器１０のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してよい。

１ システム
１０ 電子機器
１１ 抽出部
１３ 記憶部
１３２ 機械学習データ
１５ コントローラ
１７ 警告部
１９ 通信部
２０ 撮像部

Claims (20)

1. 被監視対象を撮像する撮像部と、
   前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
   前記撮像部によって撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習するコントローラと、
   を備えるシステム。
2. 前記コントローラは、前記撮像部によって撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点以外の時点を含むタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習する、請求項１に記載のシステム。
3. 前記抽出部は、前記撮像部によって撮像された秒間所定数のフレームの画像ごとに、前記被監視対象の身体における所定数の関節点の座標を２次元的に抽出する、請求項１又は２に記載のシステム。
4. 前記抽出部は、２次元的に抽出された前記被監視対象の身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化する、請求項１から３のいずれかに記載のシステム。
5. 前記タイミング情報において、前記被監視対象の盗食行為の終了時点は、前記撮像部によって撮像された経時的な画像において前記被監視対象が把持した物体を口元に持っていったタイミングを示す、請求項１から４のいずれかに記載のシステム。
6. 前記タイミング情報において、前記被監視対象の盗食行為の開始時点は、前記撮像部によって撮像された経時的な画像において前記被監視対象が離れた位置の物体を把持したタイミングを示す、請求項１から５のいずれかに記載のシステム。
7. 前記抽出部は、前記撮像部によって撮像された経時的な画像に含まれる物体を認識する、請求項１から６のいずれかに記載のシステム。
8. 被監視対象を撮像する撮像部と、
   前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
   人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定するコントローラと、
   を備えるシステム。
9. 前記抽出部は、前記撮像部によって撮像された単位時間当たり所定数のフレームの画像から前記被監視対象の所定部位の座標を抽出し、
   前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定する、請求項８に記載のシステム。
10. 前記コントローラは、前記被監視対象の盗食行為の開始を推定したら、前記被監視対象の盗食行為の開始前に、所定の警告信号を出力する、請求項８又は９に記載のシステム。
11. 前記コントローラは、前記被監視対象の盗食行為の開始を推定したら、前記被監視対象の盗食行為の終了前に、所定の警告信号を出力する、請求項８又は９に記載のシステム。
12. 前記抽出部は、前記撮像部によって撮像された秒間所定数のフレームの画像ごとに、前記被監視対象の身体における所定数の関節点の座標を２次元的に抽出する、請求項８から１１のいずれかに記載のシステム。
13. 前記抽出部は、２次元的に抽出された前記被監視対象の身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化する、請求項１２に記載のシステム。
14. 前記コントローラは、前記被監視対象の盗食行為の開始の推定の妥当性が所定以上になるように、前記フレームの数及び前記関節点の数の少なくとも一方を決定する、請求項１２又は１３に記載のシステム。
15. 被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
    前記被監視対象を含んで撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習するコントローラと、
    を備える電子機器。
16. 被監視対象を含んで撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出部と、
    人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定するコントローラと、
    を備える電子機器。
17. 被監視対象を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
    前記撮像ステップによって撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習する機械学習ステップと、
    を含む、電子機器の制御方法。
18. 被監視対象を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
    人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定する推定ステップと、
    を含む、電子機器の制御方法。
19. コンピュータに、
    被監視対象を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
    前記撮像ステップによって撮像された経時的な画像において前記被監視対象の盗食行為の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標と、前記被監視対象の盗食行為の開始との関係を機械学習する機械学習ステップと、
    を実行させる、プログラム。
20. コンピュータに、
    被監視対象を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標を抽出する抽出ステップと、
    人間の盗食行為の開始時点と終了時点との間における前記人間の所定部位の座標と、前記人間の盗食行為の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標から、前記被監視対象の盗食行為の開始を推定する推定ステップと、
    を実行させる、プログラム。

Images