JP2023094219A - 評価システム、情報処理装置、評価方法、および制御プログラム - Google Patents

Abstract

【課題】離乳食の食べ方や食べさせ方を客観的に評価することができる技術を提供する。【解決手段】評価システム（１００）は、離乳食を食べている乳幼児をモニタリングするモニタリング装置（３）と、前記モニタリングにより得られたデータを用いて前記乳幼児の食べ方または食べさせ方を評価または判定する情報処理装置（１）と、前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力装置（２）と、を含む。【選択図】図１

Description

本発明は、評価システム、情報処理装置、評価方法、および制御プログラムに関する。

従来、人がものを食べるという行為を解析して有用な知見を得る試みがなされている。例えば、下記の特許文献１には、被験者が試料を咀嚼する際の筋電位を測定し、測定した筋電位を解析することにより、試料の食感を定量的に推定する技術が開示されている。

特開２０１６－５２５１６号公報

しかしながら、上記のような従来技術は、成人を対象としたものであり、乳幼児の離乳食の食べ方や食べさせ方を解析し、客観的に評価する技術は存在しなかった。このため、食べさせ方に改善の余地があってもそのことに気付く機会がなかった。また、離乳食は、乳幼児の身体的成長および摂食機能の向上に伴って段階的に進められるが、次の段階に進めるべきか否かの判断に迷う人も多かった。

本発明の一態様は、上述の問題に鑑みてなされたものであり、その目的の一例は、離乳食の食べ方や食べさせ方を客観的に評価することができる技術を提供することである。

上記の課題を解決するために、本発明の一態様に係る評価システムは、離乳食を食べている乳幼児をモニタリングするモニタリング装置と、前記モニタリングにより得られたデータを用いて前記乳幼児の食べ方または食べさせ方を評価または判定する情報処理装置と、前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力装置と、を含む。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、離乳食を食べている乳幼児をモニタリングするモニタリング装置と、前記モニタリングにより得られたデータを用いて前記乳幼児の食べ方または食べさせ方を評価または判定する制御装置と、前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力装置と、を備えている。

上記の課題を解決するために、本発明の一態様に係る評価方法は、モニタリング装置と情報処理装置と出力装置とを含む評価システムにより実行される評価方法であって、前記モニタリング装置が、離乳食を食べている乳幼児をモニタリングするモニタリングステップと、前記情報処理装置が、前記モニタリングにより得られたデータを用いて前記乳幼児の食べ方または食べさせ方を評価または判定する評価判定ステップと、前記出力装置が、前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力ステップと、を含む。

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより前記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、離乳食の食べ方や食べさせ方を客観的に評価することができる。

本開示の情報処理装置の要部構成の一例を示す図である。 本開示の評価システムの概要を示す図である。 食べさせ方が適正でない場合に得られる画像およびパターン情報の一具体例を示す図である。 食べさせ方が適正である場合に得られる画像およびパターン情報の一具体例を示す図である。 実施形態１に係る表示装置においてユーザに提示されるフィードバック情報の一具体例を示す図である。 実施形態１に係る評価システムが実行する評価方法の一例を示すフローチャートである。 検出される特徴点および当該特徴点に基づいて得られる咀嚼動作の解析結果情報の一具体例を示す図である。 実施形態２に係る表示装置においてユーザに提示されるフィードバック情報の一具体例を示す図である。 実施形態２に係る評価システムが実行する評価方法の一例を示すフローチャートである。

〔実施形態１〕
＜概要＞
図２は、本実施形態に係る評価システムの概要を示す図である。実施形態１に係る評価システム１００は、乳幼児の離乳食の食べ方および乳幼児に離乳食を与える給仕者の食べさせ方の少なくとも一方を評価するためのシステムである。

本開示の評価システム１００は、離乳食を食べている乳幼児をモニタリングするモニタリング装置と、モニタリングにより得られたデータを用いて乳幼児の食べ方または食べさせ方を評価または判定する情報処理装置と、評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力装置と、を含む。

上述の情報処理装置は、図示の例では、情報処理装置１として示されており、情報処理装置１は、一例として、スマートフォンで実現されてもよい。また、図示の例では、上述のモニタリング装置は、離乳食を与えられ喫食している乳幼児を撮影する撮影装置３として示されており、撮影装置３は、一例として、スマートフォンとしての情報処理装置１が備えるカメラなどで実現されてもよい。図示の例では、撮影装置３は、情報処理装置１の背面に設けられている。また、図示の例では、上述の出力装置は、フィードバック情報を可視化情報として表示出力する表示装置２として示されており、表示装置２は、一例として、スマートフォンとしての情報処理装置１が備える、タッチパネルと一体に形成された液晶ディスプレイパネル、有機ＥＬディスプレイパネルなどで実現されていてもよい。すなわち、図示の例では、１台の情報処理装置１が本開示の評価システム１００として機能する。

図２には情報処理装置１がスマートフォンである例を示しているが、任意の１または複数のコンピュータを情報処理装置１として機能させることが可能である。例えば、情報処理装置１は、タブレット端末、パーソナルコンピュータ、ノートＰＣ、サーバ装置、クラウドコンピューティングなどによって実現されてもよい。

図２には評価システム１００が１台の情報処理装置１（スマートフォン）で実現されている例を示しているが、任意の複数の装置を組み合わせて評価システム１００を構成することが可能である。例えば、評価システム１００は、モニタリング装置としての撮影装置３と、情報処理装置１と、出力装置としての表示装置２とを含んで構成されてもよい。この場合、撮影装置３は、情報処理装置１とは別体の、動画を撮影するためのビデオカメラであってもよい。表示装置２は、情報処理装置１とは別体の、液晶ディスプレイ装置、または、有機ＥＬディスプレイ装置などであってもよい。

以下では、乳幼児の離乳食の食べ方または乳幼児への離乳食の食べさせ方を評価するために観察する対象を対象者と称する。対象者は、本実施形態では、離乳食を喫食する乳幼児である。

本実施形態では、例えば、評価システム１００において、以下のようにして乳幼児の食べ方または食べさせ方が評価される。

給仕者（例えば、母親などの養育者、保育士、看護師などが想定される）は、対象者に離乳食を与え、また、対象者は与えられた離乳食を喫食する。ユーザは、給仕者が離乳食を与える様子および対象者が離乳食を喫食する様子を情報処理装置１の撮影装置３で撮影する（離乳食を食べている乳幼児をモニタリングするモニタリングステップ）。ユーザとは、乳幼児の食べ方または食べさせ方の評価を得るために評価システム１００を利用している者を指し、ユーザは、給仕者自身であってもよいし、給仕者以外の他の者であってもよい。他の者は、例えば、給仕者に離乳食の与え方を指導する指導者であってもよい。給仕者が、自身の情報処理装置１を三脚に固定するなどして撮影を行ってもよいし、給仕者以外の者が撮影を行ってもよい。

情報処理装置１は、モニタリングにより得られたデータとして、撮影により得られた時系列の画像を得る。情報処理装置１は、対象者の喫食の様子が写っている時系列の画像を用いて乳幼児の食べ方または食べさせ方を評価または判定する（評価判定ステップ）。

情報処理装置１は、評価または判定の結果に基づいて生成されたフィードバック情報を、出力装置に出力させる（出力ステップ）。例えば、フィードバック情報は、表示装置２に表示されてもよい。

上述の構成および方法によれば、離乳食を食べている乳幼児をモニタリングし、モニタリングにより得られたデータを用いて離乳食の食べ方または食べさせ方を評価するので、離乳食の食べ方や食べさせ方を客観的に評価することができる。また、客観的に評価された結果を、給仕者または給仕者以外のユーザに提示することができる。このため、給仕者の食べさせ方に改善の余地がある場合にそのことを給仕者または給仕者以外のユーザに気付かせることができ、給仕者は、食べさせ方を改善するように動機付けられる。

例えば、図２に示す情報処理装置１の表示装置２には、フィードバック情報（以下では適宜、ＦＢ（Feed Back）情報と記載する）として、情報処理装置１が行った評価の結果を象徴する画像１６１と、乳幼児の食べ方または食べさせ方について、ユーザに対するメッセージ１６２とが表示される。

画像１６１を表示させることにより、ユーザ（例えば、給仕者本人）は、対象者の離乳食の食べ方または給仕者の食べさせ方が適正であるか否かを画像により直感的に認識することができる。こうして、ユーザは、食べさせ方に改善の余地がある場合にそのことに気付く機会を得ることができ、食べさせ方を改善するように動機付けられる。

また、メッセージ１６２は、対象者の食べ方の現状を説明する文章や、給仕者への食べさせ方の改善点を説明する文章などを含んでいてもよい。メッセージ１６２は、対象者の離乳食の食べ方または給仕者の食べさせ方を改善するための施策を具体的にユーザに伝達することができる。そのため、給仕者は、画像１６１と同様に、食べさせ方を改善するように動機付けられる。さらに、メッセージ１６２により、ユーザは、具体的にどのように改善すればよいのかを把握することができるので、メッセージ１６２は、ユーザにとってより有益な情報となる。

なお、図２に示すＦＢ情報は一例に過ぎず、食べさせ方に改善の余地があることの気づきをユーザに与えるものであればその内容は任意である。また、ユーザへのフィードバックは視覚的なものに限られず、音や振動等によってフィードバックを行ってもよく、それらの組み合わせによってフィードバックしてもよい。また、情報処理装置１の外部の表示装置にＦＢ情報を表示させる等、他の装置を介してフィードバックを行ってもよい。

＜情報処理装置の構成＞
図１は、本開示の情報処理装置１の要部構成の一例を示す図である。図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０（制御装置）と、情報処理装置１が使用する各種データを記憶する記憶部１１と、撮影装置３（モニタリング装置）と、表示装置２（出力装置）とを備えている。撮影装置３は、離乳食を食べている乳幼児をモニタリングするモニタリング装置であり、本実施形態では、例えば、離乳食を食べている乳幼児を撮影する装置である。制御部１０は、モニタリングにより得られたデータを用いて乳幼児の食べ方または食べさせ方を評価または判定する制御装置である。表示装置２は、制御部１０により評価または判定の結果に基づいて生成されたＦＢ情報を出力する出力装置であり、本実施形態では、例えば、ＦＢ情報を可視化情報としてユーザに提示する装置である。

本実施形態では、撮影装置３は、単眼にて画像を取得するものであってもよいし、同時刻同一被写体に対して複数視点から複数の画像を取得するものであってもよい。撮影装置３を複数台用意して、同時刻同一被写体に対して複数視点から複数の画像を取得するようにしてもよい。あるいは、撮影装置３としては、赤外線（ＩＲ）センサ式、ステレオ式、ＴｏＦ（Time Of Flight）式、構造照明式などの公知の様々な様式の３次元カメラを採用し得る。

図示しないが、情報処理装置１は、情報処理装置１が他の装置と通信するための通信部、音を出力するスピーカ等の音出力部を備えていてもよい。さらに、情報処理装置１は、情報処理装置１に対する各種データの入力を受け付ける入力部を備えていてもよい。なお、入力部と表示装置２の機能はタッチパネルにより実現されてもよい。

また、制御部１０には、画像取得部１０１、検出部１０２、評価判定部１０３、および出力制御部１０５が含まれている。制御部１０内のこれらの処理部は、例えば情報処理装置１をこれらの処理部として機能させるための制御プログラムを情報処理装置１にインストールすることにより実現することもできる。また、記憶部１１には、画像１１１、動作情報１１２、結果情報１１３、およびＦＢ情報１１４が記憶されている。

画像取得部１０１は、対象者が喫食するシーンを時系列で撮影した画像を取得する。対象者が喫食するシーンには、対象者が離乳食を口に入れる動作（以下、摂食動作）と、対象者が離乳食を口に入れてから嚥下するまでの間、各種の口腔器官を動かす動作（以下、咀嚼動作）とが含まれる。なお、離乳食初期において乳児は口に入れた離乳食を「噛み砕く」という動作を伴わずに、上唇、下唇、舌、顎、咀嚼筋などの各種の口腔器官を動かして嚥下することが想定される。以下では、こうした「噛み砕く」という動作の有無に関係なく、口に入れてから嚥下するまでの間、各種の口腔器官を動かす動作を包括的に咀嚼動作と称する。

本実施形態では、画像取得部１０１は、情報処理装置１が内蔵する撮影装置３が撮影した画像を取得する。他の例では、画像取得部１０１は、不図示の通信部を介して、別体の撮影装置３と通信することにより、撮影装置３から画像を受信してもよい。あるいは、画像取得部１０１は、情報処理装置１において着脱可能な外付けメモリ等に記憶されている画像を、不図示の端子を介して取得してもよい。

また、画像取得部１０１は、取得した画像を画像１１１として記憶部１１に記憶させる。画像１１１は、動画像であってもよいし、連続して撮影された時系列の静止画像であってもよい。また、画像取得部１０１は、動画像を取得し、その動画像から抽出したフレーム画像を画像１１１として記憶させてもよい。

検出部１０２は、対象者が喫食するシーンを時系列で撮影した画像１１１を解析して、対象者の喫食中における特定の動作を検出する。本実施形態では、検出部１０２は、画像を解析して、対象者が離乳食を口に入れるときに行う摂食動作を検出する。

検出部１０２は、動作の検出結果を、動作情報１１２として記憶部１１に記憶させる。本実施形態では、検出部１０２は、摂食動作の検出結果を動作情報１１２として記憶部１１に記憶させる。

例えば、検出部１０２は、画像１１１を解析して、離乳食を食べている乳幼児の頭部および口の動作の経時変化のパターンを特定してもよい。より具体的には、検出部１０２は、対象者の摂食動作に関係する動きを数値化し、対象者の摂食動作を検出するとともに、当該摂食動作をパターン化して示すパターン情報を生成して、動作情報１１２として記憶部１１に記憶させてもよい。パターン情報は、例えば、摂食動作に関係する動き；
（１）対象者の顔の前後方向の移動量、
（２）対象者の頭部のピッチ（頭部の前傾姿勢、後傾姿勢などを表現するための角度、例えば、オイラー角で表現されてもよい）、および
（３）対象者の口の開閉動作
を数値化した情報を含んでいてもよい。

評価判定部１０３は、検出部１０２によって生成された動作情報１１２に基づいて、乳幼児の食べ方または食べさせ方を評価または判定する。本実施形態では、評価判定部１０３は、例えば、検出部１０２によって特定された対象者の摂食動作のパターンと、適正な食べさせ方をしたときの当該摂食動作の経時変化の標準パターンとの差異に基づき、当該乳幼児に対する離乳食の食べさせ方を評価してもよい。

例えば、評価判定部１０３は、検出部１０２によって生成されたパターン情報が示す対象者のパターンを、標準パターンと比較する。評価判定部１０３は、比較の結果、両パターンの差異が所定よりも小さければ、離乳食の食べ方または食べさせ方が適正であると評価し、当該差異が所定よりも大きければ、離乳食の食べ方または食べさせ方に改善の余地があると評価することができる。評価判定部１０３は、離乳食の食べ方または食べさせ方が適正か否かを示す評価結果を、結果情報１１３として記憶部１１に記憶させる。

標準パターンの生成方法、および、どのようなパターンを標準パターンとして採用するかの採用方法は、任意である。例えば、記憶部１１には、事前に用意された、適正な食べさせ方をしたときの当該摂食動作の経時変化の典型的なパターンを標準パターンとして格納したデータベースが記憶されていてもよい。評価判定部１０３は、データベース上にある標準パターンとの比較により、食べさせ方の適否を評価してもよい。

他の例では、対象者である乳幼児が適正な食べ方ができたときの摂食動作の経時変化のパターンを、当該対象者の標準パターンとしてデータベースに格納しておいてもよい。評価判定部１０３は、対象者の食べさせ方を評価するときには、当該対象者に関連付けられた標準パターンとの比較により、当該対象者への食べさせ方の適否を評価してもよい。

さらに他の例では、対象者の評価に際して複数の標準パターンを採用してもよい。例えば、対象者の食べ方の観察を複数回行うことにより、当該対象者の摂食動作の経時変化のパターンがいくつか蓄積される。そこで、初回～数回目の評価に際しては、評価判定部１０３は、典型的なパターンに基づいて生成された標準パターンを比較対象として採用してもよい。次に、この数回の観察によって得られた当該対象者の複数のパターンから、当該対象者における標準パターンを情報処理装置１が学習し、当該対象者の標準パターンを生成してもよい。そして、評価判定部１０３は、所定の回数以降の評価に際しては、学習された当該対象者の標準パターンを比較対象として採用してもよい。

出力制御部１０５は、結果情報１１３に基づいて生成されたフィードバック情報を出力する。本実施形態では、出力制御部１０５は、結果情報１１３に応じて、離乳食の食べ方または食べさせ方について、ユーザにフィードバックするためのＦＢ情報１１４を、表示装置２に表示させるための可視化情報として生成し、表示装置２に出力する。

本実施形態では、ＦＢ情報１１４は、離乳食の食べ方または食べさせ方が適正か否かを示す評価結果を含む。ＦＢ情報１１４は、適正な離乳食の食べさせ方を指南するアドバイス情報を含んでいてもよい。出力制御部１０５は、評価結果およびアドバイス情報を、画像１６１として生成してもよいし、メッセージ１６２などのように文字情報として生成してもよい。

例えば、離乳食の食べ方または食べさせ方が適正である場合に提示するＦＢ情報１１４と、適正でない場合に提示するＦＢ情報１１４とが、あらかじめ記憶部１１に記憶されていてもよい。出力制御部１０５は、評価判定部１０３によって出力された結果情報１１３が、適正であることを示す評価結果である場合には、当該評価結果に対応するＦＢ情報１１４を選択し、表示装置２に出力することができる。一方、評価判定部１０３によって出力された結果情報１１３が、適正でないことを示す評価結果である場合には、出力制御部１０５は、当該評価結果に対応するＦＢ情報１１４を選択し、表示装置２に出力することができる。

＜摂食動作の検出＞
摂食動作を検出する処理の一例を、図３および図４を用いて説明する。図３は、離乳食の食べ方または食べさせ方が適正でない場合に得られる、対象者の喫食中の画像１１１の一具体例を示す図である。図４は、離乳食の食べ方または食べさせ方が適正である場合に得られる、対象者の喫食中の画像１１１の一具体例を示す図である。

各図には、動画像から抽出された１つのフレーム画像が示されているが、当該フレーム画像の前後には、対象者の一連の摂食動作を撮影した連続するフレーム画像が画像取得部１０１によって取得され、これらの連続するフレーム画像が動画像として記憶部１１に記憶されている。

摂食動作を検出する処理は、離乳食の食べ方または食べさせ方が適正であってもなくても同様であるので、以下では、図３に示すフレーム画像を含む動画像が検出部１０２に入力された場合を例に挙げて、摂食動作を検出する処理について説明する。図４に示すフレーム画像を含む動画像が入力された場合も、検出部１０２は、同様に摂食動作を検出する処理を実行できる。

図３に示すフレーム画像を含む動画像が検出部１０２に入力されると、検出部１０２は、動画像を解析して、摂食動作に関係する動きを数値化し、パターン情報を生成する。一例として、検出部１０２は、
（１）対象者の顔の前後方向の移動量の経時変化のパターンを示すグラフ３０１、
（２）対象者の頭部のロール・ピッチ・ヨーの経時変化のパターンを示すグラフ３０２、および
（３）対象者の口の開きの大きさの経時変化のパターンを示すグラフ３０３
を含むパターン情報を生成し、動作情報１１２として出力してもよい。

他の例では、検出部１０２は、さらに、（４）口唇の内側の領域における色彩の経時変化のパターンを示すグラフ３０４をパターン情報の１つとして生成してもよい。

より具体的には、検出部１０２は、動画像において、顔の特徴点（例えば、鼻頭など）を追跡し、当該特徴点の時系列の奥行き方向の位置情報に基づいて、グラフ３０１を生成してもよい。検出部１０２は、対象者の顔または頭領域の大きさに基づいて、撮影装置３と対象者の顔との距離を把握して、グラフ３０１を生成してもよい。

検出部１０２は、動画像において、頭部の重心の角度（例えば、オイラー角など）を観察し、当該角度の時系列の変化に基づいて、グラフ３０２を生成してもよい。

検出部１０２は、動画像において、口周辺の特徴点を２つ以上追跡し、当該特徴点の時系列の縦横（上下左右）方向の位置情報に基づいて、グラフ３０３を生成してもよい。口周辺の特徴点とは、図７を参照すれば、例えば、鼻頭に対応する点３１３、上唇中央に対応する点３１４、下唇中央に対応する点３１５、右の口角に対応する点３１７、および左の口角に対応する点３１８のうちのいずれかであってもよい。

さらに、必要に応じて、検出部１０２は、動画像に含まれる、対象者の口唇の内側の領域（以下、口唇内側領域）における色彩変化を観察し、当該口唇内側領域において観察された色彩変化に基づいてグラフ３０４を生成してもよい。例えば、検出部１０２は、上唇と下唇との間かつ左口角と右口角との間の領域を口唇内側領域として特定してもよい。そして、検出部１０２は、口唇内側領域において所定以上の色彩変化が観察された期間における口の開閉動作を、離乳食を取り込む時の口の開閉動作、すなわち、摂食動作に関連する開閉動作として特定してもよい。

図３に示すパターン情報として各グラフの横軸は、いずれも、時間の経過を表す。検出部１０２は、各グラフを同期させて配列することができ、各グラフの波形から観察されるイベントの時系列を把握することにより、図示の太枠内において、摂食動作が起こったことを検出し、摂食動作期間におけるパターン情報を動作情報１１２として出力することができる。具体的には、検出部１０２は、グラフ３０３に基づいて、口の開閉動作を意味するイベント３１１を検出した場合に、当該イベント３１１が起こったタイミングの前後数秒間を摂食動作期間３１３（図３の太枠）として検出してもよい。

検出部１０２は、動画像の中から、１回または複数回の摂食動作を検出し、当該摂食動作の期間におけるパターン情報を、動作情報１１２として記憶部１１に記憶させる。

検出部１０２は、対象者の口周辺（例えば、上述の口唇内側領域）の色彩変化を観察し、大きな色彩変化が認められたイベント３１２を検出してもよい。他の例では、検出部１０２は、対象者を構成する色味とは異なる特定の色味の色領域（スプーンなどを想定）を画像認識して追跡し、追跡対象がフレームインして口周辺に近づき再びフレームアウトしたイベント３１２を検出してもよい。

検出部１０２は、イベント３１１と同じタイミングでイベント３１２を検出した場合に、イベント３１１を摂食動作に伴う口の開閉動作であると判断してもよい。一方、検出部１０２は、イベント３１２を伴わないイベント３１１は、摂食動作とは無関係の口の開閉動作であると判断し、イベント３１１の前後の期間を摂食動作の期間から除外することができる。上述の構成によれば、スプーンなどが横切ったタイミングを特定し、摂食動作を正確に検出することが可能となる。例えば、摂食動作と関係がない口の開閉動作をノイズとして評価対象から除外することができる。

＜摂食動作の評価＞
評価判定部１０３は、検出部１０２が出力した動作情報１１２（例えば、図３および図４に示すパターン情報に含まれる各グラフ）に基づいて、対象者の離乳食の食べ方または食べさせ方を評価する。

一例として、評価判定部１０３は、特定したパターン情報が、離乳食を取り込む摂食動作時の口の開閉動作に伴って、頭部を前方に移動させた後、下方向に回動する変化を示す場合に、食べさせ方が適正であると評価してもよい。また、評価判定部１０３は、パターン情報が、当該変化を示さない場合に、食べさせ方が適正でないと評価してもよい。これにより、乳幼児の自発的な摂食動作を促すことができない食べさせ方を、「適正でない」と正しく評価することができる。一例として、支給者が食事をスプーンなどで口の中まで運び、その結果、乳幼児の頭部が自発的に前方向に動かないような食べさせ方、いわゆる介護での食事の介助のような食べさせ方等が「適正でない」と評価されてもよい。

より詳細には、適正とされる離乳食の食べさせ方は、以下のような一連の動きが伴うと考えられる。
手順１：スプーンの先端部に離乳食をすくい、スプーンを下唇に軽くのせて、乳幼児自身が上唇で取り込む動きを待つ。
手順２：乳幼児が口を開けて、自ら頭部を動かしスプーン先端部の離乳食を口の中に入れて口を閉じたら、水平にスプーンを引き抜く。

上述の手順１および手順２の動作が正しく行われた場合、対象者（乳幼児）において、離乳食を口に取り込むときの摂食動作として、口をスプーンに近づけるために、顔を前進させ、頭部を前傾させる動きが伴うことに、発明者らは着目した。

そして、動画像において以下のイベントが以下の順で検出されることにより、対象者の摂食動作に上述の動きが伴っており、上述の手順通りに離乳食が与えられたと判断できると、発明者らは考えた。
イベント１：目の前のスプーンに寄っていくように、顔を前方に移動させる（対象者の顔の前後方向の移動）
イベント２：スプーンの先端部の離乳食を口内に取り込もうとして、頭部を前傾させて下を向く（対象者の頭部のピッチ変化）
イベント３：下唇が下方向に動いて口が開く（上唇と下唇との距離の変化）
イベント４：スプーンが上唇と下唇との間かつ左口角と右口角との間の口唇内側領域を横切る（口唇内側領域における色彩変化）
イベント５：下唇が上方向に動いて口が閉じる（上唇と下唇との距離の変化）
イベント６：頭部の前傾姿勢を元に戻す（頭部のピッチの変化）
イベント７：顔が元の位置に戻る、すなわち、顔を後方に移動させる（対象者の顔の前後方向の移動）
以上のイベント１～７の後、対象者は咀嚼動作に移る。咀嚼動作の前段階である摂食動作は、以上のイベント１～７が検出されることにより、適切であると評価され得る。食べさせ方の適否の評価においては、イベント１～７が起こる順序についても考慮されてもよい。

そこで、評価判定部１０３は、検出部１０２が検出した摂食動作期間３１３におけるグラフ３０１を参照し、顔を前方に移動させるイベント１が検出されたか否かを判定する。また、評価判定部１０３は、摂食動作期間３１３におけるグラフ３０２を参照し、頭部を前傾させるイベント２が検出されたか否かを判定する。また、評価判定部１０３は、摂食動作期間３１３におけるグラフ３０３を参照し、口が開くイベント３が検出されたか否かを判定する。また、評価判定部１０３は、摂食動作期間３１３におけるグラフ３０４を参照し、スプーンが口唇内側領域を横切るイベント４が検出されたか否かを判定してもよい。また、評価判定部１０３は、摂食動作期間３１３におけるグラフ３０３を参照し、口が閉じるイベント５が検出されたか否かを判定する。また、評価判定部１０３は、摂食動作期間３１３におけるグラフ３０２を参照し、頭部の前傾姿勢を元に戻すイベント６が検出されたか否かを判定する。また、評価判定部１０３は、摂食動作期間３１３におけるグラフ３０１を参照し、顔を後方に移動させるイベント７が検出されたか否かを判定する。

評価判定部１０３は、摂食動作期間３１３において、イベント１～７が順に検出されたと判定した場合に、対象者の離乳食の食べ方または給仕者の食べさせ方は適正であると評価する。

図３に示すフレーム画像には、対象者の離乳食の食べ方または食べさせ方が適正でない場合の当該対象者の摂食動作の１シーンが示されている。適正でないケースとしては、例えば、摂食動作期間３１３において、口の開閉動作に加えて、対象者が顔を前後方向に移動させる動き、および対象者が頭部を前後傾させる動きの少なくともいずれか一方が伴わないケースが考えられる。そこで、評価判定部１０３は、摂食動作期間３１３において、顔の前後方向の移動および頭部の前後傾の少なくともいずれかが発生しない場合、離乳食の食べ方または食べさせ方が適正でないと評価してもよい。

図３を参照して具体的に説明する。図示の例では、口の開閉動作のイベント３１１およびスプーンが横切るイベント３１２が含まれている摂食動作期間３１３において、頭部の前後傾を示すイベントがグラフ３０２には表れていない。また、摂食動作期間３１３において、顔の前後方向の移動を示すイベントもグラフ３０１には表れていない。これは、対象者が、同図のフレーム画像に示されているとおり、離乳食の摂食時に、頭部を動かすことなく元の座位を維持したまま、ただ口を開けて離乳食が口の中に運ばれるのを待っているだけの状態であることを意味している。あるいは、対象者が、口を開けて離乳食が口の中に運ばれるのを待っている場合には、頭部の前傾が観察されることなく、口を開けるときに頭部の後傾のみが観察されることもある。

以上のことは、給仕者が、対象者に食事を能動的に行わせるような食べさせ方ができていないことを意味している。より詳細には、給仕者は、対象者が上を向いて口を開けて待っているところにスプーンにのせた離乳食を運び、対象者がスプーンから離乳食を口内に取り込むのを待つことなく、スプーンを上顎にこすり付けるようにしてスプーンを抜いて離乳食を与えていると考えられる。このように、離乳食を口に入れるような食べさせ方をすると、自分で食べ物を食べるという意識や姿勢が培われず、口腔機能の発達不全に影響する可能性がある。また、対象者が上を向いた状態で離乳食を口に入れると、丸飲みする癖がつくので、誤嚥を引き起こす可能性があり、また、顎の筋力を十分に使わなくなることでこれも口腔機能の発達不全に影響する可能性がある。

以上のとおり、評価判定部１０３は、摂食動作期間３１３において、乳幼児の発育にとって好ましくない摂食動作が観察された場合には、対象者の離乳食の食べ方または食べさせ方が適正でないと評価する。評価判定部１０３は、適正でないことを示す評価結果を結果情報１１３として記憶部１１に記憶させる。

図４に示すフレーム画像には、対象者の離乳食の食べ方または食べさせ方が適正である場合の当該対象者の摂食動作の１シーンが示されている。適正であるケースとしては、例えば、摂食動作期間４１３において、口の開閉動作に加えて、対象者が顔を前後方向に移動させる動き、および対象者が頭部を前後傾させる動きが伴っているケースが考えられる。そこで、評価判定部１０３は、摂食動作期間４１３において、顔の前後方向の移動および頭部の前後傾が発生した場合、離乳食の食べ方または食べさせ方が適正であると評価してもよい。

図４を参照して具体的に説明する。評価判定部１０３は、グラフ４０３において口の開閉動作のイベント４１１およびグラフ４０４においてスプーンが横切るイベント４１２が含まれている摂食動作期間４１３のパターン情報に含まれているグラフ４０１およびグラフ４０２に注目する。グラフ４０１によれば、開口動作のイベント４１１の直前に、顔を前方に移動させるイベント４１４が観測されている。続いて、グラフ４０２によれば、頭部を前傾させるイベント４１５が観測されている。これは、対象者が、同図のフレーム画像に示されているとおり、離乳食の摂食時に、対象者が顔を前に出して、下を向き、自らスプーンの先端を口で捉えるように動いたことを意味している。つまり、給仕者は、対象者に食事を能動的に行わせるような食べさせ方ができていることを意味している。

以上のとおり、評価判定部１０３は、摂食動作期間４１３において、乳幼児の発育にとって好ましい摂食動作が観察された場合には、対象者の離乳食の食べ方または食べさせ方が適正であると評価する。評価判定部１０３は、適正であることを示す評価結果を結果情報１１３として記憶部１１に記憶させる。

＜フィードバック＞
図５は、実施形態１に係る表示装置２においてユーザに提示されるＦＢ情報１１４の一具体例を示す図である。第１の表示画面例５０１は、離乳食の食べ方または食べさせ方について否定的な評価がなされた場合に表示されるＦＢ情報１１４の一例を示す。第２の表示画面例５０２は、離乳食の食べ方または食べさせ方について肯定的な評価がなされた場合に表示されるＦＢ情報１１４の一例を示す。

出力制御部１０５は、評価判定部１０３によって出力された評価結果に対応するＦＢ情報１１４を選択または生成し、表示画面を構成して、表示装置２に表示させる。例えば、出力制御部１０５は、
（１）評価判定部１０３が出力した評価結果を象徴する画像（画像５１１、５２１）、および
（２）当該評価結果および適正な乳幼児の食べ方または食べさせ方を指南するメッセージ（メッセージ５１２、５２２）、
を含むＦＢ情報１１４に基づいて表示画面を構成してもよい。

さらに、出力制御部１０５は、（３）適正な乳幼児の食べ方または食べさせ方をより詳細に指南する情報を提供する画面へとユーザを誘導するためのリンク情報（リンク情報５１３、５２３）をＦＢ情報１１４に含めてもよい。出力制御部１０５は、肯定的な評価がなされた場合の表示画面においても、リンク情報５２３を配置してもよい。

以上のとおり、ＦＢ情報１１４を表示装置２に表示させることにより、給仕者の食べさせ方に改善の余地がある場合にそのことを給仕者または給仕者以外のユーザに気付かせることができ、給仕者は、食べさせ方を改善するように動機付けられる。さらに、メッセージ５１２やリンク情報５１３により、給仕者は、食べさせ方をどのように改善すればよいのかを把握し、実際に、食べさせ方を改善することができる。また、メッセージ５２２やリンク情報５２３により、肯定的な評価を受けた給仕者にも、適正な食べさせ方を意識させることが可能である。これにより、給仕者は、適正な食べさせ方を意識的に継続するように促される。

＜処理の流れ＞
図６は、実施形態１に係る評価システム１００が実行する評価方法の一例を示すフローチャートである。評価方法の一連の処理は、例えば、撮影装置３によって撮影された動画像が制御部１０に入力されることにより開始される。

Ｓ１１では、画像取得部１０１が対象者の喫食の様子を撮影した画像を取得し、画像１１１として記憶部１１に記憶させる。例えば、喫食する対象者の動画を撮影装置３によって撮影した場合、画像取得部１０１はその動画像から抽出したフレーム画像を画像１１１として取得してもよい。

Ｓ１２では、検出部１０２は、対象者の摂食動作を検出する。具体例を挙げると、検出部１０２は、画像１１１の群から対象者の口の動きを示す特徴点を検出し、検出した特徴点の上下左右方向の位置情報を時系列に配列したパターン情報（例えば、グラフ３０３）を生成してもよい。また、検出部１０２は、鼻頭などの顔の特徴点を検出し、検出した特徴点の奥行方向の位置情報を時系列に配列したパターン情報（例えば、グラフ３０１）を生成してもよい。また、検出部１０２は、頭部の重心の角度（特に、ピッチ）を観察し、当該角度の時系列の変化に基づいて、グラフ３０２を生成してもよい。必要に応じて、さらに、検出部１０２は、口唇内側領域を検出し、検出した口唇内側領域における色彩変化を観察し、色彩の経時変化を表すグラフ３０４を生成してもよい。口唇内側領域は、例えば、上唇中央、下唇中央、左口角、および右口角の各特徴点を検出することにより定義されてもよい。

Ｓ１３では、検出部１０２は、検出した摂食動作に関連する各種の動きのパターン情報を動作情報１１２として記憶部１１に記憶させる。

Ｓ１４では、評価判定部１０３は、摂食動作が検出された期間（例えば、摂食動作期間３１３）おいて、顔を前後方向に移動させる動作、および頭部を前後傾させる動作が観察されたか否かを判定する。評価判定部１０３は、２つの動作が観察された場合、Ｓ１４のＹＥＳに処理を進め、２つの動作の少なくともいずれかが観察されなかった場合、Ｓ１４のＮＯに処理を進める。

Ｓ１５では、評価判定部１０３は、対象者の離乳食の食べ方または給仕者の離乳食の食べさせ方は適正であると評価する。

Ｓ１６では、評価判定部１０３は、対象者の離乳食の食べ方または給仕者の離乳食の食べさせ方は適正でないと評価する。

Ｓ１７では、評価判定部１０３は、適正であることまたは適正でないことを示す評価結果を結果情報１１３として記憶部１１に記憶させる。

Ｓ１８では、出力制御部１０５は、結果情報１１３が示す評価結果に対応するＦＢ情報１１４を選択または生成し、出力装置に出力させる。例えば、出力制御部１０５は、ＦＢ情報１１４を含む表示画面を構成して、表示装置２に表示させる。

＜効果＞
上述の構成および方法によれば、撮影装置３が、離乳食を食べている乳幼児をモニタリングし、モニタリングにより得られたデータを用いて、情報処理装置１が、離乳食を食べている前記乳幼児の頭部および口の動作の経時変化のパターンを特定する。情報処理装置１は、特定したパターンと、適正な食べさせ方をしたときの当該動作の経時変化のパターンとの差異に基づき、当該乳幼児に対する離乳食の食べさせ方を評価する。そのため、離乳食の食べ方や食べさせ方を客観的に評価することができる。また、客観的に評価された結果を、給仕者または給仕者以外のユーザに提示することができる。このため、給仕者の食べさせ方に改善の余地がある場合にそのことを給仕者または給仕者以外のユーザに気付かせることができ、給仕者は、食べさせ方を改善するように動機付けられる。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

＜概要＞
本実施形態に係る評価システムは、例えば、実施形態１と同様に図２に示すとおりであってもよい。実施形態２に係る評価システム１００は、乳幼児の離乳食の食べ方を評価して、当該乳幼児の離乳食の進捗段階を判定するためのシステムである。

本実施形態では、例えば、評価システム１００において、以下のようにして乳幼児の離乳食の進捗段階が判定される。

撮影装置３によって、対象者が離乳食を喫食する様子が撮影される（モニタリングステップ）。

情報処理装置１は、モニタリングにより得られたデータとして、撮影により得られた時系列の画像を得る。情報処理装置１は、対象者の喫食の様子が写っている時系列の画像を用いて離乳食の進捗段階を判定する（評価判定ステップ）。本実施形態では、とりわけ、情報処理装置１は、喫食の様子の中でも、対象者が離乳食を口に入れた後、嚥下するまでの間、各種の口腔器官を動かす咀嚼動作を検出し、検出した咀嚼動作に基づいて、対象者の離乳食の進捗段階を判定する。

出力装置としての表示装置２は、評価または判定の結果に基づいて生成されたＦＢ情報を出力する（出力ステップ）。例えば、表示装置２には、ＦＢ情報として、情報処理装置１が行った判定の結果を示す画像１６１と、判定された離乳食の進捗段階に関して、ユーザに対するメッセージ１６２とが表示される。

これにより、摂食機能に関わる発達段階に応じて判定された離乳食の進捗段階をユーザに認識させることが可能となる。すなわち、ＦＢ情報は、離乳食の段階を次の段階に進めるべきか否かをユーザが判断するため助けとなる有益な情報である。ユーザとは、乳幼児の離乳食の進捗段階の判定結果を得るために評価システム１００を利用している者を指し、ユーザは、給仕者自身であってもよいし、給仕者以外の他の者であってもよい。

なお、図２に示すＦＢ情報は一例に過ぎず、離乳食の進捗段階をユーザに把握させるものであればその内容は任意である。また、ユーザへのフィードバックは視覚的なものに限られず、音や振動等によってフィードバックを行ってもよく、それらの組み合わせによってフィードバックしてもよい。また、情報処理装置１の外部の表示装置にＦＢ情報を表示させる等、他の装置を介してフィードバックを行ってもよい。

＜情報処理装置の構成＞
本実施形態に係る情報処理装置１は、例えば、実施形態１と同様に図１に示すとおりであってもよい。

本実施形態では、検出部１０２は、画像を解析して、離乳食を口に取り込む摂食動作に後続して起こる咀嚼動作を検出する。検出部１０２は、咀嚼動作の検出結果を動作情報１１２として記憶部１１に記憶させる。

具体的には、検出部１０２は、対象者の咀嚼の様子を時系列で撮影した画像１１１に基づき、対象者の咀嚼時における口の動きの大きさを検出する。一例として、検出部１０２は、口の縦方向（上下方向）および横方向（左右方向）の動きの大きさをそれぞれ検出してもよい。より具体的には、検出部１０２は、特徴点を検出する特徴点検出部としての機能と、特徴点の位置情報に基づいて口の動きを解析する動き解析部としての機能とを備えるように構成されていてもよい。

検出部１０２は、撮影により得られた時系列の画像に基づいて対象者の咀嚼時における口の動きの大きさを検出する。検出部１０２は、口の縦方向および横方向の大きさを距離としてそれぞれ検出してもよいし、口の動きの大きさを面積として検出してもよい。具体的には、距離は、口またはその周囲の特徴点の縦方向よび横方向の移動距離であってもよい。面積は、口またはその周囲の特徴点が描く軌跡で囲まれる領域の面積であってもよい。

また、奥行方向の口の動きを捉えることが可能な３次元カメラ等の撮影装置３によって撮影された画像を用いることも考えられる。この場合、検出部１０２は、口の縦方向、横方向、および、奥行方向の大きさを距離としてそれぞれ検出してもよいし、口の動きの大きさを体積として検出してもよい。具体的には、体積は、口またはその周囲の特徴点が描く軌跡で囲まれる空間の体積であってもよい。

まず、検出部１０２は、画像１１１から対象者の顔における所定の特徴点を検出する。検出部１０２は、検出した特徴点の時系列の位置情報に基づいて咀嚼動作を検出する。検出部１０２は、検出した咀嚼動作に対応する時系列の特徴点の位置情報を、動作情報１１２として記憶部１１に記憶させてもよい。

さらに、検出部１０２は、動画像の各フレーム画像において観察される乳幼児の上唇の頂点と下唇の頂点との間の距離（例えば、図７の点３１４と点３１５との距離）を監視してもよい。そして、当該距離が所定閾値以上である口の開動作を含んだ一連の口の開閉動作を、検出すべき咀嚼動作から除いてもよい。このようにすれば、離乳食を取り込む時の口の開閉動作を、離乳食の進捗段階を判定するために必要な咀嚼動作とは区別して除外することができる。これにより、咀嚼ではなくスプーンを口に入れる際の開動作を咀嚼時の開口動作と誤認しないようにして、咀嚼動作の態様に基づく離乳食の進捗段階の判定を精度良く行うことが可能となる。

次に、検出部１０２は、時系列の上記位置情報を用いて咀嚼動作時の口の動きを解析する。検出部１０２は、解析の結果特定した口の動きの大きさを示す情報を出力する。検出部１０２は、口の動きの大きさを示す情報を、動作情報１１２として記憶部１１に記憶させてもよい。具体的には、検出部１０２は、口の動きの大きさを示す情報として、口の動きの大きさを示す指標値を算出してもよい。検出部１０２は、口の動きの大きさを示す情報として、口の動きの大きさが可視化した可視化情報を生成してもよい。可視化情報は、口の動きの大きさを表したグラフ、図形、イラスト等であってもよい。検出部１０２は、上述のグラフ、図形、イラスト等を時系列の位置情報や指標値に基づいて生成する。

検出部１０２は、口の動きの大きさを示す指標値および可視化情報の少なくともいずれか一方を動作情報１１２として記憶部１１に記憶させてもよい。

評価判定部１０３は、検出された咀嚼動作の動作情報１１２に基づいて、咀嚼動作を評価する。具体的には、評価判定部１０３は、咀嚼動作の態様を特定する。そして、評価判定部１０３は、特定した咀嚼動作の態様から当該乳幼児の離乳食の進捗段階を判定する。評価判定部１０３は、判定した進捗段階を示す判定結果を結果情報１１３として記憶部１１に記憶させてもよい。

出力制御部１０５は、評価判定部１０３から出力された結果情報１１３に対応するＦＢ情報１１４を選択または生成し、出力装置に出力させる。例えば、出力制御部１０５は、結果情報１１３が示す判定結果に対応するＦＢ情報１１４を含む表示画面を構成して、表示装置２に表示させてもよい。

＜咀嚼動作の検出＞
（特徴点の検出）
検出部１０２による特徴点の検出方法について図７に基づいて説明する。図７は、検出部１０２が検出する特徴点、および、検出された特徴点に基づいて得られる咀嚼動作の解析結果情報（動作情報１１２）の一具体例を示す図である。

図７の顔の模式図３１は、検出する特徴点の例を示している。検出部１０２が検出する特徴点は、咀嚼時の口の動きの解析に用いられるものであるから、咀嚼時にその咀嚼態様が反映された動きをする部位とすればよい。例えば、検出部１０２は、模式図３１における点３１４（上唇の頂点）、点３１５（下唇の頂点）、点３１６（顎の中心位置）または不図示の顎の先端等のような、顔の中心線Ｌ上の口の周囲の部位を特徴点として検出してもよい。中心線Ｌ上の部位を特徴点として検出することにより、咀嚼時における口の横方向の動きの大きさを特定しやすい。

また、検出部１０２は、模式図３１における点３１７および点３１８（口角）を特徴点として検出してもよい。この場合、検出部１０２は、点３１７（右側の口角）と点３１８（左側の口角）の中間点の動きを口の動きとみなして口の動きを解析すればよい。この他にも、例えば検出部１０２は、咬筋付近の頬の領域を特徴点として検出してもよく、この場合、検出部１０２は、当該領域の面積の変化から口の動きを解析すればよい。

また、検出部１０２は、咀嚼に起因した動きのない部位を検出してもよい。例えば、検出部１０２は、点３１３（鼻頭）を検出してもよい。この場合、検出部１０２は、点３１３（鼻頭）の位置を基準として、画像１１１に写る特徴点の位置を表すことができる。これにより、時系列の画像１１１間で対象者が写る位置がずれた場合でも、各特徴点の時系列の動きを正確に特定することができる。

さらに、検出部１０２は、口の動きの大きさを評価する際の基準となる画像１１１上の距離を求めるために、咀嚼に起因した動きのない複数の部位を検出してもよい。例えば、検出部１０２は、点３１１および点３１２（目頭）を検出してもよい。これにより、評価判定部１０３は、点３１１（右側の目頭）と点３１２（左側の目頭）の間の距離を基準として、口の動きの大きさを評価することができる。検出部１０２は、点３１１、点３１２、点３１３、点３１７および点３１８等を、顔の中心線Ｌを求めるために利用してもよい。

このように、検出部１０２は、画像１１１から検出された、対象者の顔における咀嚼により位置が変化することがない所定の特徴点間の距離に基づいて対象者の咀嚼時における口の縦方向および横方向の動きの大きさを検出してもよい。これにより、画像１１１に対象者が大きく写る場合でも小さく写る場合でも、口の動きの大きさを的確に検出することができる。

なお、口の動きの大きさを評価するための基準となる距離は対象者等に入力させてもよい。また、被写体までの距離が分かる場合（例えば距離情報を出力する３次元カメラで撮影した場合等）にはその距離に応じて口の動きの大きさを特定できるため基準の距離を算出するための部位検出を省略することができる。

上述のような特徴点の検出方法は特に限定されず、例えば、画像解析の手法を適用してもよいし、機械学習の手法を適用してもよく、それらを組み合わせて適用してもよい。また、複数の特徴点を検出する場合、検出対象の特徴点毎に検出部１０２を設けてもよい。また、対象者の顔の検出対象部位に検出用のマーカや２次元コードや３次元コードを貼り付けて、画像中からそれらを検出してもよい。

（動きの解析）
検出部１０２は、上述のようにして検出された特徴点の時系列の位置変化から、咀嚼時の口の動きを解析し、その動きを示す指標値を算出する。これについて図７に示すグラフ３２に基づいて説明する。

グラフ３２は、画像１１１上における特徴点の時系列の位置変化を示すグラフである。グラフ３２は、時系列の複数の画像１１１のそれぞれから検出した当該画像１１１に写る特徴点の位置情報から生成することができる。

例えば、下唇の頂点（模式図３１における点３１５）や顎（模式図３１における点３１６）の位置は咀嚼時にグラフ３２に示されるような変化をする。グラフ３２において、初期位置３２１が咀嚼開始時（口を開け始める直前）の特徴点の位置を示している。グラフ３２に示されるように、咀嚼開始後に特徴点は左下方向に移動し、その後右上方向に移動し、そして左方向に移動している。なお、ここで説明された左右とは、対象者を撮影（観察）する側から見た左右であり、対象者から見れば左右は逆であることを付言しておく。

このように、グラフ３２には、咀嚼開始時の初期位置３２１から特徴点が移動し、再び初期位置３２１の付近に戻ってくるという特徴がある。よって、検出部１０２は、この特徴を利用してグラフ３２（正確には時系列の複数の画像１１１のそれぞれから検出した特徴点の位置情報）から１回の咀嚼動作を特定することができる。また、これにより、咀嚼対象物を噛み始めてから嚥下するまでの咀嚼回数を示す指標値を算出することもできる。

また、グラフ３２から、１回の咀嚼動作において特徴点が最も左側に移動したときの位置と、最も右側に移動したときの位置を特定することができる。よって、検出部１０２は、時系列の複数の画像１１１のそれぞれから検出した特徴点の位置情報から、特徴点の横方向の動きの大きさがＭｏｘであることを特定することもできる。同様に、検出部１０２は、時系列の複数の画像１１１のそれぞれから検出した特徴点の位置情報から、特徴点が最も上側にあるときの位置（例えば、咀嚼開始時の初期位置３２１）と特徴点が最も下側に移動したときの位置を特定し、特徴点の縦方向の動きの大きさがＭｏｙであることを特定することもできる。ここで、検出部１０２は、特徴点の動きを２次元平面上（撮影した画像上）で表したときの移動距離をＭｏｘ、Ｍｏｙとしてもよいし、特徴点の３次元的な移動距離をＭｏｘ、Ｍｏｙとしてもよい。

具体的には、検出部１０２は、時系列の複数の画像１１１のそれぞれから検出した特徴点の位置情報から、１回の咀嚼動作に包含される位置情報を抽出する。なお、１回の咀嚼動作の検出は、口角の動きや唇の厚み、咬筋付近の頬の面積の変位等に基づいて行うことも可能である。そして、検出部１０２は、１回の咀嚼動作における口の大きさを示す指標値として、それらの位置情報のうち最も左側の位置を示すものと最も右側の位置を示すものまでの距離Ｍｏｘを算出すると共に、それらの位置情報のうち最も上側の位置を示すものと最も下側の位置を示すものまでの距離Ｍｏｙを算出する。

この際、検出部１０２は、画像１１１から検出された対象者の顔における、咀嚼により位置が変化することがない所定の特徴点間の距離に基づき、対象者の口の縦方向および横方向の動きの大きさを示す指標値を算出してもよい。例えば、検出部１０２は、模式図３１における点３１１（右側の目頭）と点３１２（左側の目頭）の間の距離Ｅｘを算出し、口の横方向の動きの大きさを示す指標値としてＭｏｘ／Ｅｘの値を算出し、口の縦方向の動きの大きさを示す指標値としてＭｏｙ／Ｅｘの値を算出してもよい。これにより、ＭｏｘおよびＭｏｙの値を無次元化して、画像１１１に写る対象者の大きさの違いをキャンセルすることができる。

なお、咀嚼時の口の動きを示す指標値は上述の例に限られない。例えば、グラフ３２で囲まれる部分の面積（以下、Ｍｏｓと呼ぶ）は、口の動きの大きさを示しているといえるから、当該部分の面積を咀嚼時の口の動きの大きさを示す指標値としてもよい。Ｍｏｓについても咀嚼により位置が変化することがない所定の特徴点間の距離（例えば上述のＥｘ）で割って無次元化してもよい。

また、検出部１０２は、ＭｏｘおよびＭｏｙから三平方の定理により求められる斜め方向の距離の長さを、口の縦方向および横方向の動きの大きさを表わす指標値として算出してもよい。図７に示すグラフ３２を参照して具体的に説明すれば、検出部１０２は、横の長さがＭｏｘ、縦の長さがＭｏｙである四角形（破線で示される）の対角線の長さを口の縦方向および横方向の動きの大きさを表わす指標値として算出してもよい。

また、検出部１０２は、口の動きの大きさを示す指標値以外の指標値も算出してもよい。例えば、検出部１０２は、単位時間あたりの咀嚼回数、１個の咀嚼対象物を口に含んでから嚥下するまでの咀嚼回数、咀嚼のリズム等を指標値としてもよい。この他にも、検出部１０２は、例えば、口角の動き等に基づいて左右どちら側で咀嚼しているかを判定し、左右の咀嚼回数やそれらの比を指標値として算出してもよい。また、例えば、検出部１０２は、特徴点の動きが正常範囲であるか否かを判定し、その判定結果を示す指標値を出力してもよい。

なお、検出部１０２は、指標値を得るにあたって、ＭｏｘおよびＭｏｙの平均値を用いてもよいし、ＭｏｘおよびＭｏｙの合計値を用いてもよいし、ＭｏｘおよびＭｏｙのいずれか一方を用いてもよい。

（動作情報の出力）
上述のとおり、検出部１０２は、咀嚼動作の解析結果情報を動作情報１１２として出力することができる。咀嚼動作の解析結果情報は、具体的には、対象者の口の動きに関連する様々な指標値および可視化情報（グラフ）などを指す。検出部１０２は、咀嚼動作に関する様々な解析結果のうち、評価判定部１０３が乳幼児である対象者の離乳食の進捗段階を判定するために必要とする情報を選りすぐって動作情報１１２として出力してもよい。

本実施形態では、例えば、検出部１０２は、検出した１回の咀嚼動作、または、複数回の咀嚼動作に対応する、
（１）下唇頂点に対応する特徴点３１５の時系列の位置変化を示す、グラフ３２のようなグラフ（以下、咀嚼時下唇軌跡グラフ）と、
（２）左口角に対応する特徴点３１８の時系列の位置変化を示すグラフ（以下、咀嚼時左口角軌跡グラフ）と、
（３）下顎中心に対応する特徴点３１６の時系列の位置変化を示すグラフ（以下、咀嚼時下顎軌跡グラフ）とを、含む咀嚼動作の解析結果情報（動作情報１１２）として出力してもよい。

咀嚼時下唇軌跡グラフは、例えば、評価判定部１０３が、対象者の咀嚼時の口の縦方向および横方向の動きの大きさを評価するために参照し得る。咀嚼時左口角軌跡グラフは、例えば、評価判定部１０３が、対象者の咀嚼時の口角の縦方向および横方向の動きの大きさを評価するために参照し得る。咀嚼時下顎軌跡グラフは、例えば、評価判定部１０３が、対象者の咀嚼時の下顎の運動経路を表す咀嚼周期（チューイングサイクル）を評価するために参照し得る。

検出部１０２は、咀嚼時下唇軌跡グラフに代えて、下唇頂点に対応する特徴点３１５について、１回の咀嚼動作のＭｏｘおよびＭｏｙ、または、複数回の咀嚼動作のＭｏｘおよびＭｏｙそれぞれの平均値を出力してもよい。

検出部１０２は、咀嚼時左口角軌跡グラフに代えて、左口角に対応する特徴点３１８について、１回の咀嚼動作のＭｏｘおよびＭｏｙ、または、複数回の咀嚼動作のＭｏｘおよびＭｏｙそれぞれの平均値を出力してもよい。

検出部１０２は、さらに必要に応じて、検出した１回の咀嚼動作、または、複数回の咀嚼動作に対応する、（４）上唇の頂点３１４と下唇の頂点３１５との間の距離の変化を示すグラフ（以下、咀嚼時開口幅グラフ）を動作情報１１２として出力してもよい。

他の例では、検出部１０２は、図７に示すグラフ３２について、横の長さがＭｏｘ、縦の長さがＭｏｙである四角形（破線で示される）の対角線の長さを示す図形を動作情報１１２として出力してもよい。

＜離乳食の進捗段階の判定＞
乳幼児の離乳（食）の開始から離乳（食）の完了までの期間は、乳幼児の摂食機能の発達段階に応じて４段階に分けて考えられることが一般的であり、離乳食の進捗段階も、当該４段階に対応させて、進め方の目安が設けられている。離乳食の進捗段階は、具体的には、以下の４段階に分類できる。
第１段階（離乳初期）：月齢の目安としては、生後５～６か月の乳幼児が該当する。摂食機能の目安としては、この時期の乳幼児は、口を閉じて取り込みや飲み込みができるようになっている。しかし、取り込んだ後、嚥下までの咀嚼動作においては、咀嚼の運動が不十分で口が軽く開いたままになることもある。一般的には、「ゴックン期」と称されることがある。
第２段階（離乳中期）：月齢の目安としては、生後７～８か月の乳幼児が該当する。摂食機能の目安としては、この時期の乳幼児は、舌と上あごで食物を潰すことができるようになっている。一般的には、「モグモグ期」と称されることがある。
第３段階（離乳後期）：月齢の目安としては、生後９～１１か月の乳幼児が該当する。摂食機能の目安としては、この時期の乳幼児は、歯茎で食物を潰すことができるようになっている。一般的には、「カミカミ期」と称されることがある。
第４段階（離乳完了期）：月齢の目安としては、生後１２～１８か月の乳幼児が該当する。摂食機能の目安としては、この時期の乳幼児は、歯を使って食物を咀嚼することができるようになっている。一般的には、「パクパク期」と称されることがある。

離乳初期の乳幼児は、咀嚼動作における口の開閉動作に伴って、口角に縦方向の動きが見られることに発明者らは着目した。そこで、評価判定部１０３が、口角に縦方向の動きがあるとの咀嚼態様を特定した場合に、対象者の離乳食の進捗段階を離乳初期と判定するように、評価判定部１０３を構成することができる。一例として、評価判定部１０３は、下唇頂点（点３１５）の縦方向の動きの大きさを示す指標値Ｍｏｙが所定閾値以上、かつ左口角（点３１８）の指標値Ｍｏｙが所定閾値以上である場合に、進捗段階を離乳初期と判定してもよい。

さらに、評価判定部１０３は、咀嚼動作の期間における乳幼児の上唇頂点（点３１４）と下唇頂点（点３１５）との間の距離のうちの最短距離が所定閾値以上である場合に、咀嚼時に上下唇内側が開いたままになっている咀嚼態様を特定してもよい。このような咀嚼態様を特定した場合、評価判定部１０３は、離乳食の進捗段階を離乳初期と判定してもよい。このようにすれば、離乳初期に該当することをより的確に判定することが可能となる。また、舌突出癖を早期に発見し、改善することにも寄与する。

離乳中期の乳幼児は、咀嚼動作において、縦方向に加えてさらに口角に横方向の動きが見られることに発明者らは着目した。そこで、評価判定部１０３が、縦方向に加えてさらに口角に横方向の動きがあるとの咀嚼態様を特定した場合に、対象者の離乳食の進捗段階を離乳中期と判定するように、評価判定部１０３を構成することができる。一例として、評価判定部１０３は、下唇頂点（点３１５）の指標値Ｍｏｙが所定閾値以上、かつ左口角（点３１８）の横方向の動きの大きさを示す指標値Ｍｏｘが所定閾値以上である場合に、進捗段階を離乳中期と判定してもよい。

離乳後期の乳幼児は、咀嚼動作において、さらに口唇や顎にも横方向の動きが見られることに発明者らは着目した。そこで、評価判定部１０３が、さらに口唇や顎にも横方向の動きがあるとの咀嚼態様を特定した場合に、対象者の離乳食の進捗段階を離乳後期と判定するように、評価判定部１０３を構成することができる。一例として、評価判定部１０３は、下唇頂点（点３１５）の指標値Ｍｏｘが所定閾値以上である場合に、進捗段階を離乳後期と判定してもよい。

離乳完了期の乳幼児は、咀嚼動作において観察されるチューイングサイクルが、縦長の棒状から尖形の涙滴状へと、円に近づくように丸みを帯びてくることに発明者らは着目した。そこで、咀嚼時下顎軌跡グラフにおいて、所定以上丸みを帯びたチューイングサイクルが観察された咀嚼態様を特定した場合に、対象者の離乳食の進捗段階を離乳完了期と判定するように、評価判定部１０３を構成することができる。あるいは、評価判定部１０３は、下顎中心（点３１６）の指標値Ｍｏｘの指標値Ｍｏｙに対する比率が所定閾値以上であるとの咀嚼態様を特定した場合に、離乳完了期と判定してもよい。

評価判定部１０３は、上述の離乳食の進捗段階のいずれかを示す判定結果を結果情報１１３として記憶部１１に記憶させる。

なお、情報処理装置１は、不図示の入力部を介して、ユーザ（例えば、対象者の養育者など）から、対象者に関連する情報を予め受け付けて記憶部１１に記憶させておいてもよい。対象者に関連する情報は、例えば、対象者の月齢および歯の萌出状況などが想定される。対象者に関連する情報は、身長、体重、１回あたりの授乳時間、１日あたりの授乳回数、対象者の行動に関するアンケート結果、対象者が現在食べている離乳食の固さに関するアンケート結果など、離乳食の進捗段階を判定するに際して参考にし得る情報をさらに含んでいてもよい。

評価判定部１０３は、対象者の月齢、および歯の萌出状況の少なくともいずれか一方を加味して対象者の離乳食の進捗段階を判定してもよい。これにより、対象者の離乳食の進捗段階を一層精度良く判定することができる。

＜フィードバック＞
図８は、実施形態２に係る表示装置２においてユーザに提示されるＦＢ情報１１４の一具体例を示す図である。図示の表示画面例は、対象者の離乳食の進捗段階が「離乳中期」と判定された場合に表示されるＦＢ情報１１４の一例を示す。

出力制御部１０５は、評価判定部１０３によって出力された判定結果に対応するＦＢ情報１１４を選択または生成し、表示画面を構成して、表示装置２に表示させる。例えば、出力制御部１０５は、
（１）評価判定部１０３が出力した判定結果を象徴する画像８０１、および
（２）当該判定結果および当該判定結果に対応する進捗段階において乳幼児に食べさせる食材の固さや大きさなどを指南するメッセージ８０３、
を含むＦＢ情報１１４に基づいて表示画面を構成してもよい。

さらに、出力制御部１０５は、（３）判定結果に対応する進捗段階を端的に表した離乳食期の名称８０２をＦＢ情報１１４に含めてもよい。

さらに、出力制御部１０５は、（４）判定された進捗段階において与える離乳食の固さや大きさなどの目安をより詳細に提供する画面へとユーザを誘導するためのリンク情報（不図示）をＦＢ情報１１４に含めてもよい。

出力制御部１０５は、画像８０１または名称８０２を提示するに際し、表示画面に４段階のすべての離乳食期の画像および名称を時系列に配置した上で、対象者に当てはまる離乳食期の画像および名称を明確に示すためのカーソル８０４を配置してもよい。このような見せ方により、ユーザは、対象者の現在の状況を把握するだけでなく、離乳開始から完了までの離乳期間において対象者の状態がどの段階にあるのかを把握することができる。例えば、ユーザは離乳初期に相当する離乳食を与えていたが、対象者の離乳食期が離乳中期であると提示された場合には、ユーザは、対象者が次の離乳食の段階に進めると気付くことができる。そして、ユーザは、食材の固さや大きさなどを変更して、離乳食をステップアップさせることを動機付けられる。

さらに、情報処理装置１は、不図示の入力部を介して、ユーザから、当該ユーザが予測した現在の対象者の離乳食の進捗段階を予め受け付けて記憶部１１に記憶させておいてもよい。評価判定部１０３は、ユーザによって事前に予測された前記乳幼児の離乳食の進捗段階と、特定した前記咀嚼動作の態様から判定した離乳食の進捗段階とを比較し、その異同を判定することができる。そして、評価判定部１０３は、当該異同を示す判定結果を結果情報１１３として記憶部１１に記憶させてもよい。

これにより、出力制御部１０５は、ユーザが考えている進捗段階と評価判定部１０３によって判定された進捗段階とが一致しているか否かをユーザに知らせるＦＢ情報１１４をユーザに提示することができる。例えば、両者が一致していない場合には、出力制御部１０５は、判定された進捗段階に適した離乳食を食べさせることをユーザに推奨するメッセージなどをＦＢ情報１１４に表示させることができる。

結果として、ユーザは、自己の判断に迷うことなく、乳幼児の身体的成長および摂食機能の向上に合わせて適時に離乳食を進めることができる。

＜処理の流れ＞
図９は、実施形態２に係る評価システム１００が実行する評価方法の一例を示すフローチャートである。評価方法の一連の処理は、例えば、撮影装置３によって撮影された動画像が制御部１０に入力されることにより開始される。

Ｓ３１では、画像取得部１０１が対象者の喫食の様子を撮影した画像を取得し、画像１１１として記憶部１１に記憶させる。例えば、喫食する対象者の動画を撮影装置３によって撮影した場合、画像取得部１０１はその動画像から抽出したフレーム画像を画像１１１として取得してもよい。

Ｓ３２では、検出部１０２は、対象者の咀嚼動作を検出し、咀嚼の動きを解析する。具体例を挙げると、検出部１０２は、咀嚼時下唇軌跡グラフまたは下唇頂点の点３１５のＭｏｘおよびＭｏｙを出力してもよい。検出部１０２は、咀嚼時左口角軌跡グラフまたは左口角の点３１８のＭｏｘおよびＭｏｙにより算出される指標値を出力してもよい。なお、検出部１０２は、指標値を得るにあたって、１回の咀嚼動作におけるＭｏｘおよびＭｏｙそれぞれの値を用いてもよいし、任意の回数の咀嚼動作におけるＭｏｘおよびＭｏｙそれぞれの平均値を用いてもよいし、任意の回数の咀嚼動作におけるＭｏｘおよびＭｏｙそれぞれの合計値を用いてもよい。ここで、検出部１０２は、特徴点の動きを２次元平面上（撮影した画像上）で表したときの移動距離をＭｏｘ、Ｍｏｙとしてもよいし、特徴点の３次元的な移動距離をＭｏｘ、Ｍｏｙとしてもよい。検出部１０２は、咀嚼時下顎軌跡グラフまたは下顎中心の点３１６のチューイングサイクルを出力してもよい。

Ｓ３３では、検出部１０２は、検出した咀嚼動作を解析した結果得られた上述の各種の軌跡グラフを解析結果情報（動作情報１１２）として記憶部１１に記憶させる。

Ｓ３４では、評価判定部１０３は、検出された咀嚼動作について、口角が縦方向に動く咀嚼態様に加えて、口角が横方向に動く咀嚼態様の特定を試みる。評価判定部１０３は、口角が縦方向に動く咀嚼態様を特定したが、口角が横方向に動く咀嚼態様を特定できなかった場合、Ｓ３４のＮＯからＳ３５に処理を進める。一方、評価判定部１０３は、口角が縦方向に動く咀嚼態様に加えて、口角が横方向に動く咀嚼態様を特定できた場合、Ｓ３４のＹＥＳからＳ３６に処理を進める。

Ｓ３５では、評価判定部１０３は、口角が縦方向に動く咀嚼態様を特定したことに基づいて、対象者の離乳食の進捗段階を離乳初期と判定する。

Ｓ３６では、評価判定部１０３は、検出された咀嚼動作について、さらに、口唇や顎が横方向に動く咀嚼態様の特定を試みる。評価判定部１０３は、口唇や顎が横方向に動く咀嚼態様を特定できなかった場合、Ｓ３６のＮＯからＳ３７に処理を進める。一方、評価判定部１０３は、さらに口唇や顎が横方向に動く咀嚼態様を特定できた場合、Ｓ３６のＹＥＳからＳ３８に処理を進める。

Ｓ３７では、評価判定部１０３は、口角が横方向に動く咀嚼態様を特定したことに基づいて、対象者の離乳食の進捗段階を離乳中期と判定する。

Ｓ３８では、評価判定部１０３は、検出された咀嚼動作について、下顎のチューイングサイクルが丸みを帯びる咀嚼態様の特定を試みる。評価判定部１０３は、下顎のチューイングサイクルが丸みを帯びる咀嚼態様を特定できなかった場合、Ｓ３８のＮＯからＳ３９に処理を進める。一方、評価判定部１０３は、下顎のチューイングサイクルが丸みを帯びる咀嚼態様を特定できた場合、Ｓ３８のＹＥＳからＳ４０に処理を進める。

Ｓ３９では、評価判定部１０３が、口唇や顎が横方向に動く咀嚼態様を特定したことに基づいて、対象者の離乳食の進捗段階を離乳後期と判定する。

Ｓ４０では、評価判定部１０３が、下顎のチューイングサイクルが丸みを帯びる咀嚼態様を特定したことに基づいて、対象者の離乳食の進捗段階を離乳完了期と判定する。

Ｓ４１では、評価判定部１０３は、対象者について判定したいずれかの進捗段階を示す判定結果を結果情報１１３として記憶部１１に記憶させる。

Ｓ４２では、出力制御部１０５は、結果情報１１３が示す判定結果に対応するＦＢ情報１１４を選択または生成し、出力装置に出力させる。例えば、出力制御部１０５は、ＦＢ情報１１４を含む表示画面を構成して、表示装置２に表示させる。

＜効果＞
上述の構成および方法によれば、撮影装置３が、離乳食を食べている乳幼児をモニタリングし、モニタリングにより得られたデータを用いて、情報処理装置１が、乳幼児の咀嚼動作の態様を特定し、特定した態様から当該乳幼児の離乳食の進捗段階を判定する。そのため、乳幼児の咀嚼の対象に基づいて、当該乳幼児自体の離乳食の進捗段階を精度良く判定することができる。また、判定された結果を、給仕者または給仕者以外のユーザに提示することができる。

従来、月齢や摂食機能に関わる発達段階に応じて目安として示された離乳食期を参考にするしかなかった。しかし、本実施形態に係る評価システム１００および評価方法によれば、乳幼児本人の咀嚼動作に応じて判定された乳幼児本人の離乳食の進捗段階を、給仕者または給仕者以外のユーザに認識させることが可能となる。こうして提示された進捗段階を示すＦＢ情報は、離乳食の段階を次の段階に進めるべきか否かをユーザが判断するため助けとなる大変有益な情報である。

〔実施形態３〕
本開示の評価システム１００を、乳幼児の離乳食の食べ方および乳幼児に離乳食を与える給仕者の食べさせ方の少なくとも一方を評価するとともに、乳幼児の離乳食の進捗段階を判定するように構成することができる。

この場合、情報処理装置１の検出部１０２は、実施形態１で説明したように摂食動作を検出し、当該摂食動作のパターン情報（例えば、図３、図４に示されるグラフなど）を生成するとともに、実施形態２で説明したように咀嚼動作を検出し、当該咀嚼動作を解析するように構成される。検出部１０２は、咀嚼動作の解析結果情報として、例えば、図７に示される指標値およびグラフなどを生成する。検出部１０２は、摂食動作のパターン情報および咀嚼動作の解析結果情報を動作情報１１２として記憶部１１に記憶させる。

評価判定部１０３は、摂食動作のパターン情報に基づいて、図６に示す評価判定ステップを実行し、乳幼児の離乳食の食べ方または乳幼児に離乳食を与える給仕者の食べさせ方について適否を評価する。さらに、評価判定部１０３は、咀嚼動作の解析結果情報に基づいて、図９に示す評価判定ステップを実行し、乳幼児の離乳食の進捗段階を判定する。

評価判定部１０３は、食べ方または食べさせ方の適否を評価する精度を高めるために、咀嚼動作の解析結果情報を用いてもよい。また、評価判定部１０３は、離乳食の進捗段階の判定精度を高めるために、摂食動作のパターン情報を用いてもよい。例えば、評価判定部１０３は、口唇内部領域の色彩変化のパターンに基づいて特定された摂食動作期間の口の開閉動作を、離乳食の進捗段階の判定するための咀嚼動作から除いた上で、対象者の咀嚼態様を特定してもよい。

出力制御部１０５は、図５に示すＦＢ情報１１４および図８に示すＦＢ情報１１４を表示装置２に表示させる。出力制御部１０５は、各ＦＢ情報１１４が１画面で表示されるように表示画面を構成してもよいし、それぞれのＦＢ情報１１４を表示する２つの表示画面が切り替えられるように表示画面を構成してもよい。

〔実施形態４〕
情報処理装置１の評価判定部１０３が実行する評価または判定の処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。

この場合、評価判定部１０３は、離乳食を食べている乳幼児をモニタリングすることにより得られたデータを説明変数とし、離乳食の食べ方もしくは食べさせ方の評価結果、または乳幼児の離乳食の進捗段階の判定結果を目的変数として、当該説明変数と目的変数との関係を学習した評価モデルを用いて評価または判定するように構成される。

一例として、離乳食を食べている乳幼児をモニタリングすることにより得られたデータを説明変数とし、離乳食の食べ方または食べさせ方の評価結果を目的変数として、当該説明変数と目的変数との関係を学習した第１評価モデルが構築されてもよい。評価判定部１０３は、第１評価モデルにモニタリングすることにより得られたデータを入力し、当該第１評価モデルから出力された出力データを得ることにより、離乳食の食べ方または食べさせ方を評価するように構成される。

離乳食を食べている乳幼児をモニタリングすることにより得られたデータとは、例えば、離乳食を食べている乳幼児を撮影装置３によって撮影して得た動画像または静止画像であってもよい。あるいは、上記データとは、検出部１０２が動画像または静止画像を解析することによって得られた摂食動作のパターン情報（動作情報１１２）であってもよい。また、第１評価モデルから出力される出力データは、食べさせ方が適正か適正でないかを示す評価結果であってもよい。

他の例では、離乳食を食べている乳幼児をモニタリングすることにより得られたデータを説明変数とし、当該乳幼児の離乳食の進捗段階の判定結果を目的変数として、当該説明変数と目的変数との関係を学習した第２評価モデルが構築されてもよい。評価判定部１０３は、第２評価モデルにモニタリングすることにより得られたデータを入力し、当該第２評価モデルから出力された出力データを得ることにより、離乳食の進捗段階を判定するように構成される。

離乳食を食べている乳幼児をモニタリングすることにより得られたデータとは、例えば、離乳食を食べている乳幼児を撮影装置３によって撮影して得た動画像または静止画像であってもよい。あるいは、上記データとは、検出部１０２が動画像または静止画像を解析することによって得られた咀嚼動作の解析結果情報（動作情報１１２）であってもよい。また、第２評価モデルから出力される出力データは、乳幼児に当てはまる離乳食の進捗段階のいずれかを示す判定結果であってもよい。

〔変形例〕
（モニタリング装置の他の例）
離乳食を食べている乳幼児をモニタリングするモニタリング装置は、撮影装置３に限られない。モニタリング装置は、乳幼児の頭部の位置を把握するための位置センサであってもよいし、乳幼児の咀嚼筋の筋活動量を計測する筋電位計であってもよいし、これらの組み合わせであってもよい。

（ＦＢ情報の他の例）
実施形態１に係る情報処理装置１の評価判定部１０３は、図６のＳ１４において観察されなかった動作がある場合に、Ｓ１６において、観察されなかった動作を示す情報を含む評価結果を生成してもよい。

出力制御部１０５は、どのような動作が観察されなかったかを示すＦＢ情報１１４を表示装置２に表示させてもよい。例えば、顔を前方に移動させる動作および頭部を前傾させる動作が観察されなかった場合、これらの動作が観察されなかったことを説明する文章を、ＦＢ情報１１４として表示装置２に表示させてもよい。

さらに、評価判定部１０３は、観察された動作または観察されなかった動作の種類に応じて、離乳食の食べ方または食べさせ方をいくつかのタイプに分類してもよい。評価判定部１０３は、例えば、「スプーンを上唇や上顎に押し付けている」、「スプーンを口の奥まで入れ過ぎている」、「頭部が後傾している」などのタイプに分類してもよい。

出力制御部１０５は、評価判定部１０３によって分類されたタイプに応じて、食べ方または食べさせ方の改善ポイントを示したメッセージを選択し、ＦＢ情報１１４として表示装置２に表示させてもよい。例えば、「スプーンを上唇や上顎に押し付けている」と分類された場合には、出力制御部１０５は、「スプーンは下唇に軽くのせて上唇で取り込むまで待ちましょう」等のメッセージを選択し、ＦＢ情報１１４として表示装置２に表示させてもよい。

あるいは、出力制御部１０５は、メッセージに代えて、あるいは、メッセージに加えて、改善ポイントを示した動画やアニメーションなどをＦＢ情報１１４として表示装置２に表示させてもよい。

実施形態１において、検出部１０２が、動画像から、対象者が離乳食を口の中に取り込む摂食動作を検出しなかった場合、評価判定部１０３は、食べ方または食べさせ方の適否を評価できないと判断してもよい。この場合、出力制御部１０５は、食べ方または食べさせ方の適否を評価するための摂食動作が検出されなかった旨のエラーメッセージをＦＢ情報１１４として出力装置に出力させてもよい。

実施形態１～３において、検出部１０２は、動画像において、対象者の左右両方の口角の時系列の位置、または、下顎の運動経路を解析してもよい。解析結果情報において、咀嚼時に運動器官の運動量について顔の左右で偏りが観察された場合、評価判定部１０３は、偏咀嚼の口腔悪習癖がある咀嚼態様を特定してもよい。この場合、出力制御部１０５は、偏咀嚼の疑いがある旨の注意喚起メッセージをＦＢ情報１１４として出力装置に出力させてもよい。

〔付記事項〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本開示は、以下に記載された態様に限定されない。

（付記１）
本開示の一態様に係る情報処理装置（１）は、離乳食を食べている乳幼児を撮影した動画像を取得する画像取得部（１０１）と、前記動画像から、前記乳幼児が離乳食を取り込む時の摂食動作、または前記乳幼児が口内に取り込んだ離乳食を嚥下するまでの咀嚼動作を検出する検出部（１０２）と、検出された前記摂食動作または前記咀嚼動作に対する解析結果に基づいて、前記乳幼児の食べ方または食べさせ方を評価または判定する評価判定部（１０３）と、前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力制御部（１０５）とを備えている。

上記の構成によれば、離乳食を食べている乳幼児をモニタリングし、モニタリングにより得られたデータを用いて離乳食の食べ方または食べさせ方を評価するので、離乳食の食べ方や食べさせ方を客観的に評価することができる。

（付記２）
付記１の情報処理装置において、前記検出部は、離乳食を食べている乳幼児の頭部および口の動作の経時変化に基づいて前記摂食動作を検出し、当該摂食動作の期間における乳幼児の頭部および口の動作の経時変化を数値化することにより、当該摂食動作のパターンを示すパターン情報を生成し、前記評価判定部は、前記パターン情報に基づいて、前記乳幼児の食べ方または食べさせ方を評価してもよい。

離乳食をどのような食べさせ方で食べさせたかは、離乳食を食べる乳幼児の頭部および口の動作の経時変化のパターンに現れる。つまり、離乳食を適正な食べさせ方で食べさせたときには、頭部および口の動作が所定のパターンで経時変化し、食べさせ方が適正でなければ頭部および口の動作の経時変化が所定のパターンと異なるものとなる。よって、上記の構成によれば、離乳食の食べさせ方を適切に評価することができる。

（付記３）
付記１または付記２の情報処理装置において、前記検出部は、離乳食を食べている乳幼児の顔の各特徴点の位置の経時変化に基づいて、前記咀嚼動作を検出し、当該咀嚼動作の期間における乳幼児の口の縦方向および横方向の動きの大きさ、並びにチューイングサイクルを解析し、前記評価判定部は、前記動きの大きさおよび前記チューイングサイクルの少なくともいずれか一方に基づいて、前記乳幼児の離乳食の進捗段階を判定してもよい。

離乳食は、乳幼児の身体的成長および摂食機能の向上に伴って段階的に進められ、その進捗段階は、咀嚼動作の態様に現れる。よって、上記の構成によれば、離乳食の進捗段階を適切に判定することができる。

（付記４）
本開示の一態様に係る情報処理装置（１）の制御方法は、離乳食を食べている乳幼児を撮影した動画像を取得する画像取得ステップ（Ｓ１１、Ｓ３１）と、前記動画像から、前記乳幼児が離乳食を取り込む時の摂食動作、または前記乳幼児が口内に取り込んだ離乳食を嚥下するまでの咀嚼動作を検出する検出ステップ（Ｓ１２、Ｓ３２）と、検出された前記摂食動作または前記咀嚼動作に対する解析結果に基づいて、前記乳幼児の食べ方または食べさせ方を評価または判定する評価判定ステップ（Ｓ１４～Ｓ１７、Ｓ３４～Ｓ４１）と、前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力制御ステップ（Ｓ１８、Ｓ４２）とを含む。

（付記５）
付記１に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、前記画像取得部、前記検出部、前記評価判定部、および前記出力制御部としてコンピュータを機能させるための制御プログラムも本開示の技術的範囲に含まれる。

〔効果〕
本開示の構成によれば、成長過程にある乳幼児の口腔機能に関わる運動器官の発達を促したり、口腔悪習癖を早期に発見したりすることができる。食べ物を噛むことや嚥下行動、唾液の分泌等は、脳および全身への影響が大きく、心身の健康および健康寿命に大きく影響を及ぼす要素である。したがって、本開示の構成によれば、乳幼児の心身の健康維持、発達促進および口腔悪習癖に起因する口腔機能不全の予防に貢献することが期待される。延いては、持続可能な開発目標（ＳＤＧｓ）の目標３「すべての人に健康と福祉を」の達成に寄与する。

〔ソフトウェアによる実現例〕
評価システム１００または情報処理装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理装置
２ 表示装置（出力装置）
３ 撮影装置（モニタリング装置）
１０ 制御部（制御装置）
１１ 記憶部
１００ 評価システム
１０１ 画像取得部
１０２ 検出部
１０３ 評価判定部
１０５ 出力制御部

Claims (13)

1. 離乳食を食べている乳幼児をモニタリングするモニタリング装置と、
   前記モニタリングにより得られたデータを用いて前記乳幼児の食べ方または食べさせ方を評価または判定する情報処理装置と、
   前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力装置と、を含む評価システム。
2. 前記情報処理装置は、離乳食を食べている前記乳幼児の頭部および口の動作の経時変化のパターンを特定し、特定したパターンと、適正な食べさせ方をしたときの当該動作の経時変化のパターンとの差異に基づき、当該乳幼児に対する離乳食の食べさせ方を評価する、請求項１に記載の評価システム。
3. 前記情報処理装置は、特定した前記パターンが、
   離乳食を取り込む時の口の開閉動作に伴って、頭部を前方に移動させた後、下方向に回動する変化を示す場合に、食べさせ方が適正であると評価し、
   前記変化を示さない場合に、食べさせ方が適正でないと評価する、請求項２に記載の評価システム。
4. 前記モニタリング装置は、離乳食を食べている前記乳幼児を撮影する撮影装置であり、
   前記情報処理装置は、撮影された動画像を解析して前記乳幼児の食べ方または食べさせ方を評価または判定するものであり、
   前記情報処理装置は、
   前記動画像に含まれる前記乳幼児の口唇の内側の領域における色彩変化に基づいて、前記口の開閉動作を特定する、請求項３に記載の評価システム。
5. 前記情報処理装置は、前記乳幼児の咀嚼動作の態様を特定し、特定した態様から当該乳幼児の離乳食の進捗段階を判定する、請求項１から４のいずれか１項に記載の評価システム。
6. 前記モニタリング装置は、離乳食を食べている前記乳幼児を撮影する撮影装置であり、
   前記情報処理装置は、撮影された動画像を解析して前記乳幼児の食べ方または食べさせ方を評価または判定するものであり、
   前記情報処理装置は、
   前記動画像に含まれる前記乳幼児の上唇の頂点と下唇の頂点との間の距離を監視し、当該距離が所定閾値以上である口の開動作を含んだ一連の口の開閉動作を、前記咀嚼動作から除く、請求項５に記載の評価システム。
7. 前記情報処理装置は、
   前記咀嚼動作の期間における前記乳幼児の前記距離を監視し、
   前記距離のうちの最短距離が所定閾値以上である場合に、咀嚼時に上下唇内側が開いたままになっている態様を特定する、請求項６に記載の評価システム。
8. 前記情報処理装置は、前記乳幼児の月齢、および歯の萌出状況の少なくともいずれか一方を加味して前記乳幼児の離乳食の進捗段階を判定する、請求項５から７のいずれか１項に記載の評価システム。
9. 前記情報処理装置は、
   ユーザによって事前に予測された前記乳幼児の離乳食の進捗段階と、特定した前記咀嚼動作の態様から判定した離乳食の進捗段階との異同を示す前記フィードバック情報を生成する、請求項５から８のいずれか１項に記載の評価システム。
10. 前記情報処理装置は、
    離乳食を食べている乳幼児をモニタリングすることにより得られたデータを説明変数とし、離乳食の食べ方もしくは食べさせ方の評価結果、または乳幼児の離乳食の進捗段階の判定結果を目的変数として、当該説明変数と目的変数との関係を学習した評価モデルを用いて評価または判定する、請求項１から９のいずれか１項に記載の評価システム。
11. 離乳食を食べている乳幼児をモニタリングするモニタリング装置と、
    前記モニタリングにより得られたデータを用いて前記乳幼児の食べ方または食べさせ方を評価または判定する制御装置と、
    前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力装置と、を備えている情報処理装置。
12. モニタリング装置と情報処理装置と出力装置とを含む評価システムにより実行される評価方法であって、
    前記モニタリング装置が、離乳食を食べている乳幼児をモニタリングするモニタリングステップと、
    前記情報処理装置が、前記モニタリングにより得られたデータを用いて前記乳幼児の食べ方または食べさせ方を評価または判定する評価判定ステップと、
    前記出力装置が、前記評価または判定の結果に基づいて生成されたフィードバック情報を出力する出力ステップと、を含む、評価方法。
13. 請求項１または１１に記載の情報処理装置としてコンピュータを機能させるための制御プログラム。

Images