JP2022074671A - 咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法 - Google Patents
咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法 Download PDFInfo
- Publication number
- JP2022074671A JP2022074671A JP2020184914A JP2020184914A JP2022074671A JP 2022074671 A JP2022074671 A JP 2022074671A JP 2020184914 A JP2020184914 A JP 2020184914A JP 2020184914 A JP2020184914 A JP 2020184914A JP 2022074671 A JP2022074671 A JP 2022074671A
- Authority
- JP
- Japan
- Prior art keywords
- mastication
- information
- user
- instruction
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】咀嚼運動の改善が容易な咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法を提供する。
【解決手段】咀嚼指導システム1は、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報Iを記憶する基準情報記憶部3と、咀嚼運動が行われている期間中に、ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画Mとしてリアルタイムで取得する動画取得部22と、撮像動画Mから、咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部23と、咀嚼情報と咀嚼基準情報Iとに基づいて、ユーザに対して咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部24と、撮像動画Mの取得と並行して、指導情報をリアルタイムでユーザに報知する報知部25とを備えた。
【選択図】図7
【解決手段】咀嚼指導システム1は、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報Iを記憶する基準情報記憶部3と、咀嚼運動が行われている期間中に、ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画Mとしてリアルタイムで取得する動画取得部22と、撮像動画Mから、咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部23と、咀嚼情報と咀嚼基準情報Iとに基づいて、ユーザに対して咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部24と、撮像動画Mの取得と並行して、指導情報をリアルタイムでユーザに報知する報知部25とを備えた。
【選択図】図7
Description
本発明は、ユーザの咀嚼を指導する咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法に関する。
食べ物を噛むことや嚥下行動、唾液の分泌等は、脳および全身への影響が大きく、心身の健康および健康寿命に大きく影響を及ぼす。口腔および咽頭領域の健康を維持、向上させることで、結果的に健康寿命も延びるといわれている。
とくに、歯応えのある食事の十分な咀嚼は、心身の成長の促進、脳の活性化、運動機能の向上、肥満の抑制、老化の抑制、社会性の維持につながるなど、健康寿命の延伸に効果があるとされている。咀嚼回数の少ない食事の摂取などの不十分な咀嚼は、発達期の子供の咀嚼機能の低下、高齢者のオーラルフレイルへ繋がることが知られている(非特許文献1参照)。
また、いつも同じ側でばかり噛む「偏咀嚼」は、片側の歯の寿命が縮まる、噛まない歯が汚れやすい、顎の関節に負担がかかる、顏がゆがむといった、歯や顎、顏などへの悪影響を及ぼす恐れがある。また、このような悪影響から、やがて体のゆがみ、肩こり、腰痛を引き起こすなど、全身にも影響が及ぶおそれがある。左右の咬合のバランス(咬合干渉)も、身体的、情動的ストレスを引き起こすと言われ、交感神経と副交感神経の両機能に影響を及ぼすおそれがある。
そこで、ユーザの顔にセンサを取り付けることによって、ユーザの咀嚼運動を測定する技術が知られている(例えば、特許文献1参照。)。
特許文献1に記載の技術によれば、ユーザの咀嚼運動を測定することはできる。しかしながら、専門知識のないユーザが咀嚼運動の測定結果を見ても、測定結果から咀嚼運動の問題を判断したり、どのように咀嚼運動を改善すべきかを判断したりすることは困難である。また、咀嚼運動は、通常無意識に行われるため、ユーザが無意識の咀嚼運動を改善することは容易でない。
本発明の目的は、咀嚼運動の改善が容易な咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法を提供することである。
本発明に係る咀嚼指導システムは、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部と、前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部と、前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部と、前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部と、前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部とを備える。
また、本発明に係る咀嚼指導プログラムは、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部、前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部、前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部、前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部、及び、前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部としてコンピュータを機能させる。
また、本発明に係る咀嚼指導方法は、(1)ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶し、(2)前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得し、(3)前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得し、(4)前記撮像動画と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成し、(5)前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する。
これらのシステム、方法、及びプログラムによれば、ユーザを撮影した撮像動画に基づいて、ユーザに対して咀嚼運動を指導するための指導情報をリアルタイムで報知することができるので、ユーザの咀嚼運動の改善が容易である。
また、前記咀嚼基準情報は、食物を口に入れてから飲み込むまでの咀嚼回数を示す咀嚼基準回数を含み、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼回数を前記咀嚼情報としてリアルタイムで計数し、前記指導情報は、前記計数された咀嚼回数と前記咀嚼基準回数とを含むことが好ましい。
この構成によれば、ユーザは、咀嚼しながら、咀嚼回数の基準となる咀嚼基準回数と、自分の咀嚼した咀嚼回数とを知ることができるので、適切な回数、食物を咀嚼することが可能となる。
また、前記指導情報生成部は、ユーザによる右噛み回数と左噛み回数とが実質的に同一になるように噛方向を前記指導情報として設定することが好ましい。
この構成によれば、右噛み回数と左噛み回数とが実質的に同一になるように噛方向が指導情報として設定され、その噛方向がリアルタイムで報知される。ユーザは、報知された噛み方向に従って咀嚼することによって、偏咀嚼が改善される。
また、前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、前記指導情報生成部は、前記間隔基準情報に基づいて、前記指導情報として咀嚼タイミングを生成し、前記報知部は、前記指導情報により示されるタイミングで、前記ユーザに咀嚼すべきタイミングを報知することが好ましい。
この構成によれば、ユーザが報知されたタイミングで咀嚼することによって、適切な時間間隔でリズムよく咀嚼することが可能となる。
また、前記報知部は、前記タイミングを、音によって報知することが好ましい。
この構成によれば、咀嚼のタイミングを耳から知ることができる。
また、前記報知部は、前記タイミングを、振動によって報知することが好ましい。
この構成によれば、咀嚼のタイミングを振動によって知ることができるので、視覚によらず、かつ音による報知のように第三者に対するノイズを生じる虞を低減しつつ、ユーザが咀嚼のタイミングを知ることができる。
また、前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、前記指導情報は、前記間隔基準情報と前記間隔情報とを含むことが好ましい。
この構成によれば、ユーザは、咀嚼の時間間隔の基準となる間隔基準情報と、自分の今の咀嚼間隔とを知ることができる。その結果、ユーザが自分の咀嚼間隔を、間隔基準情報に近づけることが可能となる。
また、前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、前記指導情報生成部は、さらに、前記間隔情報に基づいて、前記ユーザの咀嚼間隔を前記間隔基準情報で示される時間間隔に近づけるように前記ユーザを指導する情報を前記指導情報として生成することが好ましい。
この構成によれば、ユーザの咀嚼間隔を間隔基準情報で示される時間間隔に近づけるようにユーザを指導することができる。
また、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼運動経路を前記咀嚼情報としてリアルタイムで取得することが好ましい。
この構成によれば、ユーザの咀嚼運動経路を把握することが可能となる。
また、前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、前記指導情報生成部は、さらに、前記リアルタイムで取得された咀嚼運動経路に基づいて、前記ユーザの咀嚼運動経路を前記咀嚼経路基準情報で示される咀嚼運動経路に近づけるように前記ユーザを指導する情報を前記指導情報として生成することが好ましい。
また、前記報知部は、前記指導情報を、人の顔の画像によって報知することが好ましい。
この構成によれば、ユーザは視覚的に直感的に指導情報を把握することが容易となる。
また、前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、前記報知部は、前記咀嚼経路基準情報が示す咀嚼運動経路と前記リアルタイムで取得された咀嚼運動経路とを、リアルタイムで画像表示することが好ましい。
この構成によれば、ユーザは、見本となる咀嚼運動経路と自分の咀嚼運動経路とをリアルタイムで見比べながら、見本となる咀嚼運動経路に近づけるように自分の咀嚼運動をトレーニングすることが可能となる。
また、前記咀嚼情報取得部は、咀嚼運動に伴い動く顔の特徴点である動的特徴点と、咀嚼に伴い動かない顔の特徴点である静的特徴点とを前記撮像動画から検出し、前記動的特徴点と前記静的特徴点との距離の時間的変化を示す時間的変化情報を取得し、前記時間的変化情報に基づき前記咀嚼情報を取得することが好ましい。
この構成によれば、顔の撮像動画から、咀嚼情報を取得することが容易となる。
また、前記動的特徴点は、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうちいずれかであり、前記静的特徴点は、鼻先、及び鼻元のうちいずれかであることが好ましい。
口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点は、動的特徴点として適しており、鼻先、及び鼻元は、静的特徴点として適している。
また、前記咀嚼基準情報の入力を受け付けて前記基準情報記憶部に記憶させる基準情報受付部をさらに備えることが好ましい。
この構成によれば、咀嚼基準情報を適宜設定することが容易となる。
このような構成の咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法は、咀嚼運動の改善が容易となる。
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図1は、本発明の一実施形態に係る咀嚼指導方法を用いる咀嚼指導システムの構成の一例を示すブロック図である。
図1に示す咀嚼指導システム1は、制御部2、基準情報記憶部3、カメラ4、タッチパネルディスプレイ5、スピーカ6、及び振動発生装置7を備える。咀嚼指導システム1は、例えば、いわゆるスマートフォン、タブレット端末、パーソナルコンピュータ等によって、構成することができる。なお、咀嚼指導システム1は、スピーカ6及び振動発生装置7のうち、いずれか一つを備えていればよく、スピーカ6及び振動発生装置7を両方備えていなくてもよい。また、咀嚼指導システム1は、カメラ4、タッチパネルディスプレイ5、スピーカ6、及び振動発生装置7を備えていなくてもよい。
また、咀嚼指導システム1は、単一の装置として構成される必要はなく、複数の装置から構成されていてもよい。また、制御部2は、複数の装置から構成されていてもよい。そして、基準情報記憶部3、カメラ4、タッチパネルディスプレイ5、スピーカ6、制御部2(又は制御部2を構成する各部)のうち少なくとも一部が、ネットワークを介して異なった場所に配置されていてもよい。
例えばカメラ4、タッチパネルディスプレイ5、及びスピーカ6がユーザの近くに配置され、制御部2は、ネットワークを介してカメラ4、タッチパネルディスプレイ5、及びスピーカ6と接続されていてもよい。あるいは、例えばカメラ4、タッチパネルディスプレイ5、スピーカ6、及び制御部2がユーザの近くに配置され、基準情報記憶部3は、ネットワークを介して制御部2と接続されていてもよい。
基準情報記憶部3は、例えばフラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の不揮発性の記憶装置、あるいはRAM(Random Access Memory)等の揮発性の記憶装置を用いて構成されている。基準情報記憶部3には、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報Iが予め記憶されている。咀嚼基準情報Iは、咀嚼基準回数I1、間隔基準情報I2、及び咀嚼経路基準情報I3を含む。
咀嚼基準回数I1は、食物を口に入れてから飲み込むまでの適切な咀嚼回数の基準となる回数である。間隔基準情報I2は、咀嚼の適切な時間間隔を示す情報である。咀嚼経路基準情報I3は、適切な咀嚼運動経路を示す情報である。
カメラ4は、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等のカメラである。カメラ4は、撮像した動画を撮像動画Mとして制御部2へ送信する。
タッチパネルディスプレイ5は、例えば液晶表示器や有機EL(Electro Luminescence)等の表示装置と、タッチパネルとが一体化された入出力操作装置である。なお、タッチパネルディスプレイ5の代わりに、表示装置と入出力操作装置とを備えてもよい。入出力操作装置は、マウスやキーボードであってもよい。タッチパネルディスプレイ5は、ユーザの操作を受け付けて制御部2へ送信し、制御部2からの信号に応じた画像を表示する。
スピーカ6は、制御部2からの信号に応じた音を出力する。振動発生装置7は、いわゆるバイブレータであってもよく、振動によってユーザに音を感知させる骨伝導スピーカであってもよい。
制御部2は、例えば所定の演算処理を実行するCPU(Central Processing Unit)、データを一時的に記憶するRAM(Random Access Memory)、例えば咀嚼指導プログラム等を記憶する不揮発性の記憶装置、及びこれらの周辺回路等を備えて構成されている。そして、制御部2は、上述の記憶装置に記憶された咀嚼指導プログラムを実行することによって、基準情報受付部21、動画取得部22、咀嚼情報取得部23、指導情報生成部24、及び報知部25として機能する。
基準情報受付部21は、例えばタッチパネルディスプレイ5の操作や図略のネットワークを介して入力された咀嚼基準情報Iを受け付けて、咀嚼指導システム1による咀嚼指導の開始前に予め基準情報記憶部3に咀嚼基準情報Iを記憶される。
なお、基準情報受付部21を備える例に限らない。咀嚼基準情報Iは、例えば工場出荷時等に、予め基準情報記憶部3に記憶されていてもよい。
動画取得部22は、カメラ4によって撮像された撮像動画Mをリアルタイムで取得する。ユーザは、食事の際、ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を、カメラ4によって撮像動画Mとして撮像させる。これにより、動画取得部22は、咀嚼運動が行われている期間中に、ユーザの顔の動画を撮像動画Mとして取得する。なお、撮像動画Mは、必ずしも顔全体の画像を含んでいる必要はなく、特徴点を含む領域、具体的にはユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画であればよい。
咀嚼情報取得部23は、撮像動画Mから、ユーザの咀嚼運動に関する咀嚼情報をリアルタイムで取得する。咀嚼情報には、例えばユーザの咀嚼回数CT、ユーザの咀嚼の時間間隔に関する間隔情報TW、及びユーザの咀嚼運動経路PWが含まれる。
なお、リアルタイムとは、ユーザの咀嚼に伴う口の動きに対する時間遅れが、おおよそ一回の咀嚼にかかる時間以内であることを意味する。具体的には、リアルタイムは、ユーザの咀嚼に伴う口の動きに対し、報知部25による報知の時間遅れが例えば1秒以下となるように、動画取得部22、咀嚼情報取得部23、指導情報生成部24、及び報知部25が処理を行うことを意味する。
例えば咀嚼情報取得部23は、以下のようにして咀嚼回数CT、及び間隔情報TWを取得することができる。咀嚼情報取得部23は、撮像動画Mから、顔の特徴点を検出する。顔の特徴点には、咀嚼運動に伴い動く特徴点である動的特徴点と、咀嚼に伴い動かない特徴点である静的特徴点とが含まれる。
顔の特徴点としては、例えば、鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、咬筋付近の頬の輪郭に沿った点などを用いることができる。このような特徴点の検出方法としては、Active shape model(ASM)やActive appearance model(AAM)、Constrained local model(CLM)等、顏特徴点検出技術として公知の種々の方法を利用できる。
動的特徴点としては、例えば口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうちいずれかを用いることができる。静的特徴点としては、例えば鼻先、及び鼻元のうちいずれかを用いることができる。
さらに、咀嚼情報取得部23は、撮像動画Mから、動的特徴点と静的特徴点との距離Lの時間的変化を示す時間的変化情報Aを取得する。
図2は、時間的変化情報Aの一例を簡略化して模式的に示したグラフである。横軸は時間、縦軸は距離Lを示している。図2では、動的特徴点を下唇の頂点、静的特徴点を鼻先とした例を示している。図2に示す時間的変化情報Aによれば、動的特徴点と静的特徴点の距離Lの最小ピークである咀嚼開始点P1から、時間の経過とともに距離Lが増大して最大ピークの最大開口点P2に至り、距離Lが減少して最小ピークの咀嚼終了点P3に至る咀嚼運動を読み取ることができる。
咀嚼情報取得部23は、撮像動画Mから時間的変化情報Aを取得し、時間的変化情報Aからユーザの咀嚼回数CTをリアルタイムで計数する。例えば、咀嚼情報取得部23は、時間的変化情報Aにおける咀嚼開始点P1から咀嚼終了点P3までを一回の咀嚼運動として計数することによって、ユーザの咀嚼回数CTを計数することができる。
また、咀嚼情報取得部23は、撮像動画Mから時間的変化情報Aを取得し、時間的変化情報Aからユーザの咀嚼の時間間隔に関する間隔情報TWをリアルタイムで取得する。例えば、咀嚼情報取得部23は、時間的変化情報Aにおける咀嚼開始点P1から咀嚼終了点P3までの時間、すなわち一回の咀嚼時間を、間隔情報TWとして計時することによって、間隔情報TWを取得することができる。この場合、咀嚼終了点P3は、次の咀嚼の開始点でもあるから、間隔情報TWは、咀嚼と咀嚼の間隔を表す時間でもある。
なお、間隔情報TWは、ユーザの咀嚼の時間間隔に関する情報であればよく、必ずしも一回の咀嚼時間、あるいは咀嚼と咀嚼の間隔に限らない。例えば、間隔情報TWは、予め設定された設定時間、例えば一分間の咀嚼回数であってもよい。間隔情報TWは、ユーザの咀嚼の時間間隔に関し、咀嚼が速いか遅いかを表す情報であればよい。
また、咀嚼情報取得部23は、撮像動画Mからユーザの咀嚼運動経路PWを咀嚼情報としてリアルタイムで取得する。
図3、図4は、咀嚼運動経路PWの一例を簡略化して模式的に示した説明図である。図3、図4に示す咀嚼運動経路PWは、左右方向をX軸、上下方向をY軸で表した二次元座標のXY平面に咀嚼運動経路PWを示している。-X方向が右方向、+X方向が左方向を表している。図3、図4に示す咀嚼運動経路PWは、人の顔を正面から見たときの咀嚼運動時における動的特徴点の軌跡に相当する。図3は右側の歯で噛む右噛み、図4は左側の歯で噛む左噛みの場合の咀嚼運動経路PWを示している。
図3、図4に示すように、右噛みと左噛みとでは、咀嚼運動経路PWの傾き方が異なることが知られている。
咀嚼情報取得部23は、撮像動画Mから、静的特徴点に対する、動的特徴点の相対的な座標位置を取得してXY平面にプロットすることによって、図3、図4に示す咀嚼運動経路PWを得ることができる。
なお、動的特徴点は、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点に限られず、静的特徴点は、鼻先、及び鼻元に限られない。また、また、咀嚼情報取得部23は、動的特徴点と静的特徴点とに基づいて時間的変化情報Aを取得する例に限らない。
指導情報生成部24は、咀嚼回数CT、間隔情報TW、及び咀嚼運動経路PW等の咀嚼情報と咀嚼基準情報Iとに基づいて、ユーザに対して咀嚼運動を指導するための指導情報をリアルタイムで生成する。
次に、咀嚼指導システム1の動作について説明する。図5、図6は、図1に示す咀嚼指導システム1の動作の一例を示すフローチャートである。図5、図6に示すステップS1~S27は、ユーザの食事中等において、咀嚼を行っている期間中に実行される。
まず、咀嚼情報取得部23は、ユーザの咀嚼回数を示す変数CTをゼロに初期化する(ステップS1)。
次に、指導情報生成部24は、基準情報記憶部3から咀嚼基準回数I1を読みだして、咀嚼回数CTと咀嚼基準回数I1の1/2とを比較する(ステップS2)。咀嚼回数CTが咀嚼基準回数I1の1/2以下のとき(ステップS2でYES)、指導情報生成部24は、ユーザが右で噛むか左で噛むかを指示するための指導情報である噛方向Dを右とする(ステップS3)。一方、咀嚼回数CTが咀嚼基準回数I1の1/2を超えるとき(ステップS2でNO)、指導情報生成部24は、噛方向Dを左とする(ステップS4)。
次に、報知部25は、噛方向Dでの咀嚼を指示する噛方向指示画像をタッチパネルディスプレイ5に表示する(ステップS5)。
図7は、噛方向Dが右のとき、すなわちユーザに右噛みを指示するときに報知部25によって表示される報知画面G1の一例を示す画面図である。図8は、噛方向Dが左のとき、すなわちユーザに左噛みを指示するときに報知部25によって表示される報知画面G2の一例を示す画面図である。
報知画面G1では、右噛みしている人の顔の画像に矢印で右噛みを指示する噛方向指示画像Gd1が表示され、報知画面G2では、左噛みしている人の顔の画像に矢印で左噛みを指示する噛方向指示画像Gd1が表示される。これにより、指導情報が人の顔によって報知され、ユーザに対して直感的にわかりやすく噛み方向が指示される。
なお、報知部25は、指導情報を人の顔の画像によって報知する例に限られず、報知画面G1,G2は人の顔の画像を含んでいなくてもよい。
また、報知画面G1,G2には、左右の噛み方向を示す棒状の方向表示バーGdが表示されている。報知画面G1では方向表示バーGdに右噛みを指示する噛方向指示画像Gd2が表示され、報知画面G2では方向表示バーGdに左噛みを指示する噛方向指示画像Gd2が表示される。これにより、ユーザに対して明示的に噛み方向が指示される。
ステップS2~S5によれば、ユーザによる咀嚼基準回数I1の咀嚼のうち、実質的に半分を右噛み、残りの半分を左噛みするように、ユーザをトレーニングすることができる。これにより、ユーザによる偏咀嚼を解消するように、左右でバランスよく咀嚼を行うよう、ユーザをトレーニングすることが可能となる。
ステップS2~S5によれば、咀嚼基準回数I1が偶数のときは、左噛みと右噛みとが同数となり、咀嚼基準回数I1が奇数のときは、左噛みと右噛みとの回数の差が一回となるので、左噛みの回数と右噛みの回数とを、実質的に同一にすることができる。左噛みの回数と右噛みの回数とが実質的に同一、とは、左噛みと右噛みとの回数の差が咀嚼基準回数I1の10%以内、より好ましくは、左噛みと右噛みとの回数の差が一回以内であることを意味するものとする。
なお、指導情報生成部24は、ユーザの左噛みの回数と右噛みの回数とを、実質的に同一にするように噛方向Dを設定することができればよく、咀嚼基準回数I1の前半と後半とで噛み方向を変える例に限らない。例えば左噛みと右噛みを交互に繰り返すように噛方向Dを設定してもよく、数回ずつで噛み方向を変えてもよい。
次に、ユーザが食事等により咀嚼を行うときに、カメラ4で自分の顔を撮影する。そうすると、カメラ4から撮像動画Mが制御部2へ出力され(ステップS6)、動画取得部22が撮像動画Mを取得する(ステップS7)。
次に、咀嚼情報取得部23は、撮像動画Mから時間的変化情報Aを取得する(ステップS8)。データサイズの大きい撮像動画Mから時間的変化情報Aを取得することによって、撮像動画Mよりも単純化された時間的変化情報Aでユーザの咀嚼の特徴を表すことができる。このように、撮像動画Mから時間的変化情報Aを取得し、時間的変化情報Aに基づいて咀嚼回数CT及び間隔情報TWを取得することによって、撮像動画Mから咀嚼回数CT及び間隔情報TWを取得することが容易となる。
次に、咀嚼情報取得部23は、撮像動画Mからユーザの咀嚼運動経路PWuを取得する(ステップS9)。
次に、咀嚼情報取得部23は、時間的変化情報Aから咀嚼回数CTを計数する(ステップS10)。
次に、指導情報生成部24は、基準情報記憶部3から咀嚼基準回数I1を読みだして、咀嚼回数CTと咀嚼基準回数I1とを指導情報として報知部25へ出力する。報知部25は、咀嚼回数CTと咀嚼基準回数I1とをタッチパネルディスプレイ5に表示する(ステップS11)。このとき、報知部25は、報知画面G1,G2のうち噛方向Dに対応する報知画面に咀嚼回数CTと咀嚼基準回数I1とを表示することが好ましい。
図7、図8に示す報知画面G1,G2には、咀嚼回数CTとして3、咀嚼基準回数I1として20が表示されている。ユーザは、報知画面G1,G2を見ながら食事することで、咀嚼基準回数I1により、20回咀嚼すべきところ、現在何回咀嚼したかを咀嚼回数CTの表示により知ることができる。これにより、咀嚼回数CTが咀嚼基準回数I1になるまで咀嚼することができる。その結果、食べ物をよく噛まないで飲み込んでしまう習慣のあるユーザに対し、適切な回数咀嚼するようにトレーニングすることができる。
次に、指導情報生成部24は、基準情報記憶部3から間隔基準情報I2を読みだして、間隔基準情報I2で示される時間間隔で咀嚼タイミングTを生成する(ステップS21)。報知部25は、咀嚼タイミングTと同期してスピーカ6から音を鳴らす(ステップS22)。
ユーザは、音が鳴ったタイミングで咀嚼することによって、適切な時間間隔、すなわち適切なリズムで咀嚼を行うことができる。これにより、噛むのが速すぎたり、遅すぎたりするユーザに対し、適切な時間間隔(リズム)で咀嚼するトレーニングを行うことができる。また、食事の途中で、咀嚼が速くなったり遅くなったり、食事が不安定なユーザに対しても、一定の時間間隔(リズム)で咀嚼するトレーニングを行うことができる。
なお、咀嚼タイミングTの報知方法は音に限らず、画像を表示することによって咀嚼タイミングTを報知してもよい。しかしながら、音で咀嚼タイミングTを報知する場合、いわゆるメトロノームと同様、耳から咀嚼タイミングTを知らせることができる。
また、報知部25は、スピーカ6の代わりに、振動発生装置7によって振動を発生させることによって、ユーザに咀嚼タイミングTを報知してもよい。例えば咀嚼指導システム1がスマートフォンによって構成され、スマートフォンに内蔵された振動発生装置7を振動させるようにすれば、スマートフォンを手にもって咀嚼するユーザに対して、振動で咀嚼タイミングTを報知することができる。
また、振動発生装置7を骨伝導スピーカとすれば、骨伝導した振動がユーザにとって音として感知されるので、骨伝導した振動が音として感知されることによって、ユーザに咀嚼タイミングTを報知することができる。
このように、振動によって咀嚼タイミングTを報知することによって、視覚によらず、かつ音による報知のように第三者に対するノイズを生じる虞を低減しつつ、ユーザが咀嚼のタイミングを知ることができる。
次に、咀嚼情報取得部23は、時間的変化情報Aから間隔情報TWを取得する(ステップS23)。報知部25は、タッチパネルディスプレイ5に間隔情報TWを表示する(ステップS24)。このとき、報知部25は、報知画面G1,G2のうち噛方向Dに対応する報知画面に間隔情報TWを表示することが好ましい。
報知画面G1,G2では、間隔情報TWを、棒状の速度表示バーGpによってグラフィカルに表示する例を示している。速度表示バーGpは、その中央部が間隔基準情報I2で示される時間間隔に対応している。速度表示バーGpの中央部より左側は間隔情報TWが間隔基準情報I2よりも長く、ユーザの咀嚼が遅い状態を示している。速度表示バーGpの中央部より右側は間隔情報TWが間隔基準情報I2よりも短く、ユーザの咀嚼が速い状態を示している。報知部25は、速度表示バーGpの間隔情報TWの時間間隔に対応する位置に白丸を表示することによって、ユーザの間隔情報TWを表示する。
次に、指導情報生成部24は、間隔情報TWに基づいて、ユーザの咀嚼間隔を間隔基準情報I2で示される時間間隔に近づけるようにユーザを指導する指導画像Gtwを指導情報として生成する(ステップS25)。
例えば、報知画面G1,G2に示すように、ユーザの間隔情報TWが間隔基準情報I2の時間間隔よりも短く、ユーザの咀嚼が速い状態を示しているときは、指導情報生成部24は、ユーザに対して咀嚼速度を遅くするように指示する指導画像Gtwを指導情報として生成する。
報知画面G1,G2とは逆に、ユーザの間隔情報TWが間隔基準情報I2の時間間隔よりも長く、ユーザの咀嚼が遅い状態を示しているときは、指導情報生成部24は、ユーザに対して咀嚼速度を速くするように指示する指導画像Gtwを指導情報として生成する。
次に、報知部25は、タッチパネルディスプレイ5に指導画像Gtwを指導情報として表示する(ステップS26)。このとき、報知部25は、報知画面G1,G2のうち噛方向Dに対応する報知画面に指導画像Gtwを表示することが好ましい。これにより、ユーザは、指導画像Gtwに従って咀嚼速度を調節することによって、適切な時間間隔で咀嚼を行うことが可能となる。
次に、報知部25は、咀嚼情報取得部23によって取得された咀嚼運動経路PWuと咀嚼経路基準情報I3が示す基準咀嚼経路PWrとをリアルタイムでタッチパネルディスプレイ5に表示し(ステップS27)、再びステップS2以降の処理を繰り返す。
図9は、報知部25によって表示された咀嚼運動経路PWuと基準咀嚼経路PWrとの一例を示す表示画面である。図9に示す表示画面G3では、基準咀嚼経路PWrを実線で、咀嚼運動経路PWuを破線で示し、咀嚼運動経路PWuと基準咀嚼経路PWrとを重ね合わせて表示している。これにより、ユーザは、リアルタイムで表示される自分の咀嚼運動経路PWuが、基準咀嚼経路PWrと重なるように口を動かすことによって、正しい咀嚼の仕方をトレーニングすることができる。
このように、咀嚼運動経路PWuと基準咀嚼経路PWrとを表示することによって、ユーザの咀嚼運動経路PWuを、基準咀嚼経路PWrに近づけるようにユーザを指導することができるから、咀嚼運動経路PWuと基準咀嚼経路PWrとは、指導情報の一例に相当する。
以上、ステップS1~S27によれば、ユーザの咀嚼運動の改善が容易である。
なお、咀嚼基準情報Iは咀嚼経路基準情報I3を含んでいなくてもよく、ステップS27を実行しなくてもよく、ステップS9を実行しなくてもよい。また、咀嚼基準情報Iは間隔基準情報I2を含んでいなくてもよく、ステップS25、S26を実行しなくてもよく、ステップS23,S24を実行しなくてもよい。また、ステップS21,S22を実行しなくてもよい。また、咀嚼基準情報Iは咀嚼基準回数I1を含んでいなくてもよく、ステップS10,S11を実行しなくてもよい。また、ステップS2~S5を実行しなくてもよい。
1 咀嚼指導システム
2 制御部
3 基準情報記憶部
4 カメラ
5 タッチパネルディスプレイ
6 スピーカ
7 振動発生装置
21 基準情報受付部
22 動画取得部
23 咀嚼情報取得部
24 指導情報生成部
25 報知部
A 時間的変化情報
CT 咀嚼回数(咀嚼情報)
D 噛方向(指導情報)
G1,G2 報知画面
G3 表示画面
Gd 方向表示バー
Gd1,Gd2 噛方向指示画像
Gp 速度表示バー
Gtw 指導画像
I 咀嚼基準情報
I1 咀嚼基準回数
I2 間隔基準情報
I3 咀嚼経路基準情報
L 距離
M 撮像動画
P1 咀嚼開始点
P2 最大開口点
P3 咀嚼終了点
PW 咀嚼運動経路(咀嚼情報)
PWr 基準咀嚼経路(指導情報)
PWu 咀嚼運動経路(咀嚼情報、指導情報)
T 咀嚼タイミング(指導情報)
TW 間隔情報(咀嚼情報)
2 制御部
3 基準情報記憶部
4 カメラ
5 タッチパネルディスプレイ
6 スピーカ
7 振動発生装置
21 基準情報受付部
22 動画取得部
23 咀嚼情報取得部
24 指導情報生成部
25 報知部
A 時間的変化情報
CT 咀嚼回数(咀嚼情報)
D 噛方向(指導情報)
G1,G2 報知画面
G3 表示画面
Gd 方向表示バー
Gd1,Gd2 噛方向指示画像
Gp 速度表示バー
Gtw 指導画像
I 咀嚼基準情報
I1 咀嚼基準回数
I2 間隔基準情報
I3 咀嚼経路基準情報
L 距離
M 撮像動画
P1 咀嚼開始点
P2 最大開口点
P3 咀嚼終了点
PW 咀嚼運動経路(咀嚼情報)
PWr 基準咀嚼経路(指導情報)
PWu 咀嚼運動経路(咀嚼情報、指導情報)
T 咀嚼タイミング(指導情報)
TW 間隔情報(咀嚼情報)
Claims (17)
- ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部と、
前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部と、
前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部と、
前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部と、
前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部とを備える咀嚼指導システム。 - 前記咀嚼基準情報は、食物を口に入れてから飲み込むまでの咀嚼回数を示す咀嚼基準回数を含み、
前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼回数を前記咀嚼情報としてリアルタイムで計数し、
前記指導情報は、前記計数された咀嚼回数と前記咀嚼基準回数とを含む請求項1に記載の咀嚼指導システム。 - 前記指導情報生成部は、ユーザによる右噛み回数と左噛み回数とが実質的に同一になるように噛方向を前記指導情報として設定する請求項1又は2に記載の咀嚼指導システム。
- 前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、
前記指導情報生成部は、前記間隔基準情報に基づいて、前記指導情報として咀嚼タイミングを生成し、
前記報知部は、前記指導情報により示されるタイミングで、前記ユーザに咀嚼すべきタイミングを報知する請求項1~3のいずれか一項に記載の咀嚼指導システム。 - 前記報知部は、前記タイミングを、音によって報知する請求項4に記載の咀嚼指導システム。
- 前記報知部は、前記タイミングを、振動によって報知する請求項4に記載の咀嚼指導システム。
- 前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、
前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、
前記指導情報は、前記間隔基準情報と前記間隔情報とを含む請求項1~6のいずれか一項に記載の咀嚼指導システム。 - 前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、
前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、
前記指導情報生成部は、さらに、前記間隔情報に基づいて、前記ユーザの咀嚼間隔を前記間隔基準情報で示される時間間隔に近づけるように前記ユーザを指導する情報を前記指導情報として生成する請求項1~7のいずれか一項に記載の咀嚼指導システム。 - 前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼運動経路を前記咀嚼情報としてリアルタイムで取得する請求項1~8のいずれか1項に記載の咀嚼指導システム。
- 前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、
前記指導情報生成部は、さらに、前記リアルタイムで取得された咀嚼運動経路に基づいて、前記ユーザの咀嚼運動経路を前記咀嚼経路基準情報で示される咀嚼運動経路に近づけるように前記ユーザを指導する情報を前記指導情報として生成する請求項9に記載の咀嚼指導システム。 - 前記報知部は、前記指導情報を、人の顔の画像によって報知する請求項1~10のいずれか1項に記載の咀嚼指導システム。
- 前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、
前記報知部は、前記咀嚼経路基準情報が示す咀嚼運動経路と前記リアルタイムで取得された咀嚼運動経路とを、リアルタイムで画像表示する請求項9に記載の咀嚼指導システム。 - 前記咀嚼情報取得部は、咀嚼運動に伴い動く顔の特徴点である動的特徴点と、咀嚼に伴い動かない顔の特徴点である静的特徴点とを前記撮像動画から検出し、前記動的特徴点と前記静的特徴点との距離の時間的変化を示す時間的変化情報を取得し、前記時間的変化情報に基づき前記咀嚼情報を取得する請求項1~12のいずれか1項に記載の咀嚼指導システム。
- 前記動的特徴点は、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうちいずれかであり、
前記静的特徴点は、鼻先、及び鼻元のうちいずれかである請求項13に記載の咀嚼指導システム。 - 前記咀嚼基準情報の入力を受け付けて前記基準情報記憶部に記憶させる基準情報受付部をさらに備える請求項1~14のいずれか1項に記載の咀嚼指導システム。
- ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部、
前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部、
前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部、
前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部、及び、
前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部としてコンピュータを機能させる咀嚼指導プログラム。 - (1)ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶し、
(2)前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得し、
(3)前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得し、
(4)前記撮像動画と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成し、
(5)前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する咀嚼指導方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020184914A JP2022074671A (ja) | 2020-11-05 | 2020-11-05 | 咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020184914A JP2022074671A (ja) | 2020-11-05 | 2020-11-05 | 咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022074671A true JP2022074671A (ja) | 2022-05-18 |
Family
ID=81606469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020184914A Pending JP2022074671A (ja) | 2020-11-05 | 2020-11-05 | 咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022074671A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7436720B1 (ja) | 2023-02-21 | 2024-02-22 | 株式会社電通 | 咀嚼状態判定装置、咀嚼状態判定方法および咀嚼状態判定プログラム |
-
2020
- 2020-11-05 JP JP2020184914A patent/JP2022074671A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7436720B1 (ja) | 2023-02-21 | 2024-02-22 | 株式会社電通 | 咀嚼状態判定装置、咀嚼状態判定方法および咀嚼状態判定プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2731861C2 (ru) | Системы, способы и устройства для предоставления указаний и обратной связи на основании местоположения и эффективности | |
US11273344B2 (en) | Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders | |
JP7146401B2 (ja) | ユーザにフィードバックを提供する少なくとも1つの加速度計を含む口腔衛生デバイスを用いてユーザのブラッシング動作特性を抽出する方法及びシステム | |
JP6635929B2 (ja) | 拡張現実歯科設計方法およびシステム | |
de Felício et al. | Expanded protocol of orofacial myofunctional evaluation with scores: validity and reliability | |
US10258259B1 (en) | Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders | |
US20230017611A1 (en) | Method and apparatus for providing tooth-brushing guide information using augmented reality | |
JP6285002B1 (ja) | 顎関節症等歯科疾患治療のためのシステム及びプログラム | |
Angela et al. | Esthetic evaluation of dynamic smiles with attention to facial muscle activity | |
JP2022074671A (ja) | 咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法 | |
JP2019047859A (ja) | 治療検査システム、該治療検査システムの作動方法、治療検査プログラム、及び、記憶媒体 | |
Tanikawa et al. | Test-retest reliability of smile tasks using three-dimensional facial topography | |
JP6585809B1 (ja) | 歯状態判定装置及び歯状態判定方法 | |
Clemente et al. | Three-dimensional analysis of the cranio-cervico-mandibular complex during piano performance | |
WO2021010645A1 (ko) | 식사 모니터링 방법, 장치 및 시스템 | |
Baldini et al. | Influence of the mandibular position on the active cervical range of motion of healthy subjects analyzed using an accelerometer | |
JP2022126288A (ja) | 咀嚼改善提案システム、咀嚼改善提案プログラム、及び咀嚼改善提案方法 | |
JP2004242902A (ja) | 咀嚼回数検出装置及びそのプログラム | |
WO2021132270A1 (ja) | 咀嚼支援システム | |
Minami et al. | The three‐axial gyroscope sensor detects the turning point between opening and closing phases of chewing | |
Kitashima et al. | Modulation of the masticatory path at the mandibular first molar throughout the masticatory sequence of a hard gummy jelly in normal occlusion | |
JP7269585B2 (ja) | 食生活推定装置 | |
JP7381139B1 (ja) | プログラム、コンピュータ装置及び方法 | |
WO2022176942A1 (ja) | 口腔内カメラシステム及び撮影動作判定方法 | |
JP2020081088A (ja) | 情報処理装置、情報処理システム、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20221220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231002 |