JP2020089613A - 嚥下能力測定システム、嚥下能力測定方法およびセンサホルダ - Google Patents

Abstract

【課題】管状器官の動作や位置、又は食物の動きや位置の直接的な評価が可能な技術の提供。【解決手段】超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得部と、前記超音波動画に基づいて、前記頸部の内部に存在する管状器官の管壁と、前記管状器官内を通過する食物と、の少なくとも一方における部分毎の移動速度を取得する移動速度取得部と、を備える嚥下能力測定システムを構成する。【選択図】図１

Description

本発明は、嚥下能力測定システム、嚥下能力測定方法およびセンサホルダに関する。

従来、嚥下能力に関する測定を行うための種々の方法が知られている。例えば、特許文献１においては、嚥下をモニタリングするために超音波イメージングを利用することが開示されている。また、特許文献２においては、頸部に取り付けたセンサによって咽頭動作音の測定データを取得することが開示されている。さらに、特許文献３においては、頸部に取り付けたセンサによって液体を飲み込む際の意識に応じた筋活動量が測定される構成が開示されている。また、特許文献３においては、嚥下音測定器が設けられてもよいことが開示されている。

特開２０１７−５２５５０４号公報 特開２０１３−１７６９４号公報 特開２０１８−８６０３９号公報

嚥下は口腔内の食物等を胃に送り込む動作であり、嚥下が行われると、一般的に頸部の筋肉が動作し、食物等が咽頭から頸部内の管状器官に送られ、食物等が管状器官内を通過する。従って、嚥下能力を正確に評価するためには、管状器官と、管状器官内を通過する食物とを直接的に測定し、解析することが好ましい。特許文献１においては、超音波イメージングについて触れられているが、嚥下の際の管状器官の動作や位置、又は食物の動きや位置を解析するための具体的な手法は提案されていない。また、特許文献２に開示された音や特許文献３に開示された筋活動量は、嚥下能力を間接的に評価するための要素となるが、音や筋活動量から食物の実際の動きや位置を特定するのは困難である。そこで、嚥下の際の管状器官の動作や位置、又は食物の動きや位置の直接的な評価が可能な嚥下能力測定システムを開発することが望まれていた。

また、嚥下能力としては、嚥下が意図通りにされているか否かが重要である。例えば、加齢に伴って筋力が低下すると、自身が嚥下したと考えていても、食物の少なくとも一部が管状器官内を通過しないなどの状況が発生し得る。また、嚥下音がしているのに食物の少なくとも一部が管状器官内を通過しないなどの状況も発生し得る。このように食物の流れが滞ると、嚥下障害となり、誤嚥性肺炎等の原因になってしまう。そこで、嚥下のイベントと嚥下の結果との時系列的な関係を評価可能な嚥下能力測定システムを開発することが望まれていた。
本発明は、前記課題にかんがみてなされたもので、上述の課題の少なくとも一つに応じた技術を提供することを目的とする。

上述の目的の少なくとも一つを達成するため、嚥下能力測定システムは、超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得部と、超音波動画に基づいて、頸部の内部に存在する管状器官の管壁と、管状器官内を通過する食物と、の少なくとも一方における部分毎の移動速度を取得する移動速度取得部と、を備える。

すなわち、管状器官と管状器官内の食物とを含む超音波動画を構成する画像を時系列で比較すると、画像内のオブジェクトが画像内で変位していく様子を時系列で特定することができる。従って、このような超音波動画の解析により、画像内のオブジェクトの部分毎の移動速度を取得することができる。そして、移動速度の取得対象を、管状器官の管壁と、管状器官内を通過する食物と、の少なくとも一方とすれば、嚥下の際の管状器官の動作や食物の動きや位置の直接的な評価が可能な嚥下能力測定システムを提供することができる。

上述の目的の少なくとも一つを達成するため、嚥下能力測定システムは、超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得部と、前記超音波動画に基づいて、前記頸部の内部に存在する管状器官の管壁と、前記管状器官内を通過する食物と、の少なくとも一方における部分毎の位置情報を取得する位置情報取得部と、を備える。

すなわち、管状器官と管状器官内の食物とを含む超音波動画を構成する画像の解析により、画像内のオブジェクトの部分毎の位置情報を取得することができる。嚥下の際の管状器官の管壁や管状器官内を通過する食物の位置情報を取得できるので、管状器官の開き具合や管状器官内における食物位置の直接的な評価が可能な嚥下能力測定システムを提供することができる。

さらに、上述の目的の少なくとも一つを達成するため、嚥下能力測定システムは、超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得部と、頸部において発生する嚥下音を時系列で取得する嚥下音取得部と、頸部の筋電位を時系列で取得する筋電位取得部と、超音波動画と、時系列の嚥下音と、時系列の筋電位と、の少なくとも２個から得られた情報を時系列で同期させた同期情報を取得する同期情報取得部と、を備えていてもよい。

すなわち、頸部における超音波動画と、嚥下音と、筋電位と、の全てが同期した同期情報が取得される。このため、超音波動画と、嚥下音と、筋電位とのそれぞれによって特定されるイベントを時系列で捉えることが可能になる。従って、超音波動画と、嚥下音と、筋電位とのそれぞれが独立で取得される場合では得られなかった組み合わせのイベントを時系列で評価することができる。さらに、超音波動画は頸部内のオブジェクト（管状器官や、管状器官内を通過する食物等）の動きや位置を示しているので、嚥下の結果を示している。従って、以上の構成によれば、嚥下のイベントと嚥下の結果との時系列的な関係を評価可能な嚥下能力測定システムを提供することができる。

さらに、頸部の外周に接した状態で頸部に装着される本体と、本体が頸部に装着された状態で本体が頸部に接する面に取り付けられた、嚥下音を取得するための音センサと、本体が頸部に装着された状態で本体が頸部に接する面に取り付けられた、筋電位を取得するための筋電位センサと、本体が頸部に装着された状態で、超音波動画を撮影するためのプローブが頸部に接するようにプローブが取り付けられるプローブ取付部と、を備えるセンサホルダが提供されてもよい。

この構成によれば、センサホルダを頸部に取り付けるだけで嚥下音および筋電位のそれぞれを取得可能なセンサをセンシング可能な位置に配置させることができる。また、プローブ取付部にプローブを取り付けた状態にすることで、超音波動画を取得可能な位置にプローブを配置させることができる。

嚥下能力測定システムのブロック図である。 センサホルダを示す図である。 ユーザインタフェースの例を示す図である。 嚥下能力測定処理のフローチャートである。 移動速度を示す図である。 複数のマイクロホンの検出結果を示す図である。 複数の電極対の検出結果を示す図である。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）嚥下能力測定システムの構成：
（２）嚥下能力測定処理：
（３）他の実施形態：

（１）嚥下能力測定システムの構成：
図１は、本発明の一実施形態にかかる嚥下能力測定システム１０のブロック図である。本実施形態にかかる嚥下能力測定システム１０は、頸部内の超音波画像、嚥下音、頸部の筋電位をセンサによって取得し、取得結果から得られた情報を表示するための構成を備えている。

具体的には、嚥下能力測定システム１０は、超音波動画を取得する超音波動画取得部２０と、嚥下音取得部３０と、筋電位取得部４０と、記録媒体５０と、表示部６０と、入力部７０と制御部８０とを備えている。制御部８０は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等によってプログラムを実行し、プログラムに記述された機能を実現する回路を備えている。

超音波動画取得部２０は、プローブＰと超音波画像出力部２０ａと超音波動画生成部２０ｂと、制御部８０とを含む。超音波画像出力部２０ａには、超音波を出力し、生体によって反射された超音波を検出するプローブＰが接続される。本実施形態においては、頸部に装着されるセンサホルダに形成された穴（プローブ取付部）に対してプローブＰの先端が挿入される。図２は、センサホルダＨを模式的に示す図である。本実施形態においては、被験者Ｍから見た前後左右上下を基準に方向を示しており、図２に示すセンサホルダＨの向きは、図示された向きで被験者Ｍに装着されるような向きで示してある。なお、図２においては、左右上下が記入されており、前後はこれらに垂直な方向である。本実施形態は、被験者Ｍの嚥下能力を頸部Ｔにて生じる各種の現象に基づいて評価する。このため、本実施形態においては、各種のセンサを頸部Ｔの周囲の測定位置に配置するためにセンサホルダＨが利用される。

すなわち、センサホルダＨは、頸部に巻き付けられることが可能な布状の本体Ｂを備えている。本体Ｂが広げられると略矩形の形状であり、本実施形態においては、本体Ｂの矩形の長辺が円を形成するように丸められることで頸部Ｔに装着される。本体Ｂが頸部Ｔに装着された状態で保持または固定されるための構成は、種々の構成であってよく、例えば、矩形の短辺側の一面と当該一面に対応する面に面ファスナーが取り付けられる構成等が挙げられる。

本体ＢにはプローブＰを取り付けるためのプローブ取付部として機能する穴Ｐｈが形成されている。穴Ｐｈの内周の大きさは、超音波を検出するためのプローブＰの先端の外周の大きさとほぼ同一の大きさである。従って、穴ＰｈにプローブＰの先端を挿入することにより、プローブＰの位置を大きく変更させることはできないが、プローブＰの向きを変更させることができる状態となる。穴Ｐｈは、本体Ｂを頸部Ｔに装着した状態においてプローブＰを穴Ｐｈに挿入すると、プローブＰが超音波動画の測定対象（管状器官と食物）を撮影可能な位置に配置されるように、本体Ｂに形成されている。なお、被験者によりプローブＰの最適な位置は異なり得るが、本体Ｂの頸部への取り付け位置とプローブＰの向きとの少なくとも一方を調整することでプローブＰが最適な位置になるように調整可能である。プローブＰの最適な位置は、例えば、超音波動画を見ながら調整して設定可能である。また、ウェーブレット変換、特徴点マッチング又は機械学習などを利用した画像処理によりプローブＰの最適な位置を決定してもよい。

図１に示す超音波画像出力部２０ａは、プローブＰが出力する検出結果に基づいて２次元の超音波画像を生成し、出力する回路を備えている。すなわち、本実施形態において超音波画像出力部２０ａは、いわゆるＢモードによって超音波断層画像を出力する。超音波画像出力部２０ａは、一定時間毎に超音波画像を撮影して出力する。

超音波動画生成部２０ｂは、超音波画像出力部２０ａから出力される超音波画像を時系列で再生するための超音波動画を生成する回路を備えている。超音波動画生成部２０ｂは、生成した超音波動画を既定のフォーマットの動画ファイルとし、出力する。制御部８０は、超音波動画生成部２０ｂが出力した当該動画ファイルを取得し、記録媒体５０に超音波動画データ５０ａとして記録する。なお、本実施形態において、超音波動画は、プローブＰで検出された超音波の差異を輝度の差異として表現することで被写体の像を示した画像である。

以上のように、センサホルダＨが頸部Ｔに装着された状態で穴ＰｈにプローブＰが取り付けられ、撮影が行われると、頸部の内部が超音波によって撮影される。従って、超音波動画取得部２０は、超音波によって撮影された頸部の内部の動画である超音波動画を取得する回路として機能する。

嚥下音取得部３０は、マイクロホンＭ₁〜Ｍ_nと録音部３０ａとＡ／Ｄ変換部３４と、制御部８０とを含む。録音部３０ａには、マイクロホンＭ₁〜Ｍ_nが接続される。ｎはマイクロホンの個数であり、マイクロホンは１個以上であれば良く数は限定されないが、複数個であることが好ましい。マイクロホンＭ₁〜Ｍ_nは音をアナログ信号に変換する装置である。本実施形態においてマイクロホンＭ₁〜Ｍ_nは、図２に示すセンサホルダＨが頸部Ｔに取り付けられた状態において頸部Ｔと接触する面に取り付けられる。センサホルダＨに対するマイクロホンＭ₁〜Ｍ_nの取付位置は、センサホルダＨが頸部Ｔに装着された状態において、マイクロホンＭ₁〜Ｍ_nが嚥下音を取得可能になる位置である。図２においては、マイクロホンＭ₁〜Ｍ_nが合計７個である例が示されている。本実施形態においては、センサホルダＨが頸部Ｔに装着された状態において、頸部Ｔの前方においてマイクロホンが上下に並び（図２のマイクロホンＭ₁〜Ｍ₄）、頸部Ｔの上部において頸部Ｔの外周の右半分に渡って複数個並ぶ（図２のマイクロホンＭ₄〜Ｍ₇）ようにマイクロホンが配置されている。

図１に示す録音部３０ａは、マイクロホンＭ₁〜Ｍ_nが出力する検出結果に基づいて、音を示すｎチャネル分のアナログ信号を同期した状態で記録する回路を備えている。また、録音部３０ａは、当該ｎチャンネル分のアナログ信号をリアルタイムで出力することができる。Ａ／Ｄ変換部３４は、録音部３０ａから出力されるアナログ信号をデジタル信号に変換する回路である。すなわち、Ａ／Ｄ変換部３４は、入力されたアナログ信号から時系列の音を示すデジタル信号を生成し、出力する。制御部８０は、Ａ／Ｄ変換部３４が出力した当該デジタル信号を取得し、嚥下音データ５０ｂとして記録媒体５０に記録する。

以上のような構成の本実施形態においてはセンサホルダＨが頸部Ｔに装着されると、マイクロホンＭ₁〜Ｍ_nが頸部Ｔで発生する嚥下音を測定するための位置に配置される。この状態においてマイクロホンＭ₁〜Ｍ_nが出力する信号を取得すると、嚥下音を示す信号が取得される。従って、嚥下音取得部３０は、頸部において発生する嚥下音を時系列で取得する回路として機能する。

筋電位取得部４０は、電極対Ｅ₁〜Ｅ_mと増幅器４０ａとＡ／Ｄ変換部３４と、制御部８０とを含む。増幅器４０ａには、電極対Ｅ₁〜Ｅ_mが接続される。ｍは電極対の個数であり、電極対は１個以上であれば良く数は限定されないが、複数個であることが好ましい。電極対Ｅ₁〜Ｅ_mは、表面筋電位を測定するための電極対であり、頸部に貼り付けられる。なお、本実施形態においては、図示しない筋電アースが例えば被験者Ｍの耳たぶ等に取り付けられる。本実施形態において、電極対Ｅ₁〜Ｅ_mのそれぞれがプラスとマイナスの電極のセットで構成され、両者の電位差が筋電位として検出される。

本実施形態において電極対Ｅ₁〜Ｅ_mは、図２に示すセンサホルダＨが頸部Ｔに取り付けられた状態において頸部Ｔと接触する面に取り付けられ、プラスとマイナスそれぞれの電極が頸部Ｔの皮膚表面に接触するように構成されている。センサホルダＨに対する電極対Ｅ₁〜Ｅ_mの取付位置は、センサホルダＨが頸部Ｔに装着された状態において、電極対Ｅ₁〜Ｅ_mが筋電位を取得可能になる位置である。図２においては、電極対Ｅ₁〜Ｅ_mが合計４個である例が示されている。すなわち、本実施形態においては、図２の電極対Ｅ₁によってオトガイ舌骨筋、電極対Ｅ₂によって舌骨筋、電極対Ｅ₃によって輪状咽頭筋、電極対Ｅ₄によって蓋突舌骨筋の筋電位を取得することが想定されている。

図１に示す増幅器４０ａは、電極対Ｅ₁〜Ｅ_mが出力する筋電位を増幅して出力する回路を備えている。Ａ／Ｄ変換部３４は、増幅器４０ａから出力されるアナログ信号をデジタル信号に変換する回路である。すなわち、Ａ／Ｄ変換部３４は、入力されたアナログ信号から時系列の筋電位を示すデジタル信号を生成し、出力する。制御部８０は、Ａ／Ｄ変換部３４が出力した当該デジタル信号を取得し、筋電位データ５０ｃとして記録媒体５０に記録する。

以上のような構成の本実施形態においてはセンサホルダＨが頸部Ｔに装着されると、電極対Ｅ₁〜Ｅ_mが頸部Ｔで発生する筋電位を測定するための位置に配置される。この状態において電極対Ｅ₁〜Ｅ_mが出力する信号を取得すると、測定対象の筋電位を示す信号が取得される。従って、筋電位取得部４０は、頸部の筋電位を時系列で取得する回路として機能する。

なお、本実施形態において、超音波動画取得部２０、嚥下音取得部３０、筋電位取得部４０は制御部８０を共有し、嚥下音取得部３０、筋電位取得部４０はＡ／Ｄ変換部３４を共有するが、むろん、それぞれが別個のハードウェアで構成されていても良い。

制御部８０は、上述のように、超音波動画データ５０ａ、嚥下音データ５０ｂ、筋電位データ５０ｃを取得するが、この際に制御部８０は、超音波動画と、時系列の嚥下音と、時系列の筋電位とから得られた情報を時系列で同期させた同期情報を取得する。すなわち、超音波動画と、時系列の嚥下音と、時系列の筋電位は、別個のセンサによって取得されるため、制御部８０は、同一時刻に発生した事象が時間軸上で同一の位置になるように同期をとる。

同期は種々の手法で実施されてよいが、本実施形態においては録音部３０ａが生成する同期信号を利用する。同期信号は、時間軸上での基準のタイミングを特定可能な信号であれば良く、本実施形態においては、既定時間周期のクロック信号と記録開始タイミングを示す信号とによって構成されている。

すなわち、録音部３０ａは、既定時間周期のクロック信号を超音波動画生成部２０ｂとＡ／Ｄ変換部３４とに出力し続ける。一方、録音部３０ａは、図示しないボタン等による記録開始指示に応じて記録開始タイミングを示す信号を出力する（例えば、タイムコードの初期値であることを示す信号）。

超音波動画生成部２０ｂは、記録開始タイミングを示す信号が入力されたタイミングとクロック信号とに基づいて記録開始からの経過時間を計算する。そして、超音波動画生成部２０ｂは、超音波画像出力部２０ａが出力する静止画に対して記録開始からの経過時間対応付け、さらに、静止画が撮影順に再生される動画ファイルを生成し、出力する。このように、超音波動画生成部２０ｂから出力される動画ファイルは、記録開始タイミングからの経過時間が対応づけられた情報であり、制御部８０は、この情報を超音波動画データ５０ａとして記録媒体５０に記録する。

また、Ａ／Ｄ変換部３４は、デジタル信号が示す音圧のタイミングを計算し、嚥下音を示すデジタル信号に対して対応づける。すなわち、Ａ／Ｄ変換部３４は、記録開始タイミングを示す信号が入力されたタイミングとクロック信号とに基づいて記録開始からの経過時間を計算し、当該経過時間において録音された音圧値に対応づける。Ａ／Ｄ変換部３４から出力される音圧のデジタル信号は、当該記録開始タイミングからの経過時間が対応づけられた情報であり、制御部８０は、この情報を嚥下音データ５０ｂとして記録媒体５０に記録する。

さらに、Ａ／Ｄ変換部３４は、デジタル信号が示す筋電位のタイミングを計算し、筋電位を示すデジタル信号に対して対応づける。すなわち、Ａ／Ｄ変換部３４は、記録開始タイミングを示す信号が入力されたタイミングとクロック信号とに基づいて記録開始からの経過時間を計算し、当該経過時間において取得された筋電位に対応づける。Ａ／Ｄ変換部３４から出力される筋電位のデジタル信号は、当該記録開始タイミングからの経過時間が対応づけられた情報であり、制御部８０は、この情報を筋電位データ５０ｃとして記録媒体５０に記録する。

以上のように、記録開始からの経過時間が動画内の画像や嚥下音、筋電位に対応づけられた状態で超音波動画データ５０ａ、嚥下音データ５０ｂ、筋電位データ５０ｃが取得される。従って、本実施形態においては、録音部３０ａと超音波動画生成部２０ｂとＡ／Ｄ変換部３４と制御部８０が、同期情報取得部として機能している。

本実施形態においては、これらの機能に加えて制御部８０を位置情報取得部８０ａ、移動速度取得部８０ｂ、表示制御部８０ｃとして機能させるプログラムが予め用意されている。位置情報取得部８０ａは、超音波動画に基づいて、頸部の内部に存在する管状器官の管壁と、管状器官内を通過する食物と、の少なくとも一方における部分毎の位置情報を取得する機能を制御部８０に実行させるプログラムモジュールである。また、移動速度取得部８０ｂは、超音波動画に基づいて、頸部の内部に存在する管状器官の管壁と、管状器官内を通過する食物と、の少なくとも一方における部分毎の移動速度を取得する機能を制御部８０に実行させるプログラムモジュールである。管状器官は、頸部内に存在する管状の器官であり、食物が通過する通路となる器官である。当該器官は、下咽頭、食道などと呼ばれることがあるが、いずれにしても、頸部において食物が通過し得る器官は管状器官である。

本実施形態において、制御部８０は、位置情報取得部８０ａの機能により、超音波動画データ５０ａが示す超音波動画を構成する複数の静止画を取得する。さらに、制御部８０は、各静止画のそれぞれから、予め決められた基準に適合する部分を特定することによって管状器官の管壁の画像と食物の画像を特定する。

本実施形態において制御部８０は、学習モデル５０ａ２に基づいて静止画に含まれる被写体を推定する。すなわち、本実施形態においては、静止画と当該静止画に含まれる被写体とを対応づけた教師データが予め用意され、当該教師データによって予め機械学習が行われる。当該機械学習は、種々の態様で実施されてよく、例えば、画像の部分毎に各部分に含まれる被写体を推定するＹＯＬＯ（You Only Look Once）のようなモデルを採用可能である。

いずれにしても、静止画を構成するピクセル毎の輝度値を入力値として学習モデル５０ａ２による演算を行うと、静止画の部分毎に被写体が管状器官の管壁である可能性と、食物である可能性とが出力される。従って、制御部８０は、当該出力された可能性と閾値を比較し、閾値以上である場合に、基準に適合するとみなす。そして、制御部８０は、基準に適合する部分を管状器官の管壁、食物またはこれら以外として抽出する。

このようにして、静止画内で管壁、食物が特定されると、静止画内における管壁および食物の位置が特定された状態になる。従って、管壁および食物の部分毎の位置情報が特定された状態になる。本実施形態において、制御部８０は、特定された位置情報（画像内での座標）を超音波動画データ５０ａの各静止画に対応づけて記録媒体５０に記録する。なお、位置情報は超音波動画データ５０ａに含まれていても良いし、超音波動画データ５０ａとは別のファイルとして記録されていても良い。また、位置情報の記録態様としては、超音波動画と関連づけられる構成に限定されず、例えば、静止画を示す画像データに位置情報が対応づけられて記録されても良いし、管壁や食物の部分が強調された画像が生成されることによって管壁や食物の位置が画像上で明示されたり、管壁の動作や食物の動きの動画が再生可能であったりする構成等であっても良い。

さらに、制御部８０は、移動速度取得部８０ｂの機能により、時系列で並ぶ静止画同士を比較することで、静止画間での画素移動量（オプティカルフロー）を取得する。画素移動量が得られると、制御部８０は、管状器官の管壁および食物と見なされた像の各部分（各ピクセル）について画素移動量および画素移動方向を特定する。そして、制御部８０は、当該画素移動方向への画素移動量を管状器官の管壁および食物の部分毎の移動速度（ピクセル／フレーム）と見なす。

以上の処理によれば、管壁および食物の各部分について移動速度が得られるが、本実施形態において、管壁の移動速度は管壁全体についても算出される。超音波動画においては管状器官を軸に平行な方向に切断した断面が撮影されるため、通常、管壁は２箇所に現れる。そこで、制御部８０は、食物の両サイドの２箇所に現れる管壁（後述する図３の表示エリアＺｕに示すＷ₁，Ｗ₂）のそれぞれにおいて管壁全体についての移動速度を算出する。例えば、管壁を構成する部分の移動速度の平均によって管壁全体の移動速度を算出する。むろん、ここでは、各静止画間での画素移動量を静止画同士の時間間隔で除することにより移動速度（ピクセル／秒）を取得してもよい。むろん、移動量の単位はピクセル単位であってもよいし、長さの単位であってもよい。なお、本実施形態においては、移動速度取得部８０ｂの機能において、位置情報取得部８０ａによって取得された位置情報が流用されるが、移動速度取得部８０ｂの機能によって位置情報が取得され、時系列の位置情報が比較されることで移動速度が取得されても良い。

各静止画に存在する管壁の移動速度および食物の部分毎の位置情報および移動速度が取得されると、制御部８０は、各静止画内の部分毎の移動速度を示す情報を生成する。さらに、制御部８０は、超音波動画内の各静止画に対応づけられた記録開始タイミングからの経過時間と同一の経過時間を、移動速度を示す各静止画に対応づける。そして、制御部８０は、当該移動速度の静止画を時系列に再生可能な動画ファイルを生成し、記録開始タイミングからの経過時間を対応づけて移動速度データ５０ａ１を生成し、記録媒体５０に記録する。すなわち、移動速度データ５０ａ１においては、部分毎の移動速度を示す情報に記録開始タイミングからの経過時間が対応づけられ、時系列の移動速度を示す情報となっている。

当該経過時間は、超音波動画データ５０ａと同一の情報であるため、移動速度データ５０ａ１も超音波動画、嚥下音、筋電位と同期された状態であり、同期情報に含まれる。すなわち、プローブＰで取得された超音波動画から得られた情報であっても、同期情報に含まれ得る。むろん、マイクロホンＭ₁〜Ｍ_nや電極対Ｅ₁〜Ｅ_mの検出結果から得られた情報が同期情報に含まれていてもよい。

表示制御部８０ｃは、表示部６０に各種の表示を行わせる機能を制御部８０に実行させるプログラムモジュールである。すなわち、嚥下能力測定システム１０は、表示部６０および入力部７０を備えており、これらの装置を利用して利用者（嚥下能力測定システム１０のオペレータ）に各種の情報を提供することができる。表示部６０は、画像を表示可能なディスプレイであり、制御部８０の制御によって各種の文字やグラフ、写真等の画像を表示させることができる。入力部７０は、利用者の操作によって各種の情報を入力する装置であり、例えば、キーボードやマウス等である。むろん、表示部６０や入力部７０としては、種々の態様を採用可能である。

制御部８０は、表示制御部８０ｃの機能により、嚥下能力の測定結果を示す情報を表示するためにユーザインタフェースを表示部６０に表示させる。当該ユーザインタフェースは各種の態様であってよいが、本実施形態においては、嚥下音を示すグラフ、筋電位を示すグラフ、超音波動画、移動速度の動画を示す画面である。

図３は、ユーザインタフェースの例を示す図である。図３に示す例においては、画面左側に嚥下音を示すグラフＧｓと筋電位を示すグラフＧｅが縦に並べて表示されている。グラフＧｓ，Ｇｅは横軸を時間軸としたグラフであり、両者における時間軸の原点は同一タイミング、すなわち、記録開始タイミングである。また、両者における時間軸のスケールは一致している。従って、縦方向に同じ位置における嚥下音と筋電位は、同一タイミングでの嚥下音と筋電位が時間軸で同一の位置に配置されるように並べて表示されている。

なお、図３に示す例においては、複数チャネルの筋電位、嚥下音から代表的なチャネルのデータが選択されて表示されている。選択は、利用者によって行われてもよいし、自動的に（例えば、振幅が相対的に大きいデータ等）選択されてもよい。むろん、複数チャネル分のデータが表示されてもよい。

図３に示すユーザインタフェースの右側には動画を表示するための表示エリアが設けられている。すなわち、画面右側の上部には超音波動画が表示される表示エリアＺｕ、画面右側の下部には移動速度の時系列の変化を示す動画が表示される表示エリアＺｖが設けられている。なお、移動速度は、超音波動画から特定された管状器官の管壁の間の各部分について定義されており、濃淡によって移動速度の大きさおよび方向が示される。図３の表示エリアＺｖにおいては、横軸がＸ座標、縦軸がＹ座標である座標平面上において、Ｘ方向の移動速度が示される。また、Ｘ方向の移動速度の大きさが大きいほど白く、小さいほど黒くなるように着色される。

なお、表示エリアＺｖにおけるＸ軸、Ｙ軸は、超音波動画に基づいて決められており、本実施形態においては、管状器官の軸の方向がＸ軸である。すなわち、制御部８０は、超音波動画の各静止画に基づいて、管状器官の軸を特定する。軸は、例えば、食物を挟む管状器官の管壁の間の中心を通る直線や、管壁に平行な直線などであれば良く、種々の手法で特定されてよい。むろん、軸の方向は、複数の静止画の像に基づいて統計的に決定されてもよい。いずれにしても、制御部８０は、超音波動画データ５０ａを参照し、管壁の像に基づいて管状器官の軸方向を決定し、Ｘ軸と見なす。また、当該Ｘ軸に垂直な方向をＹ軸とする。

さらに、制御部８０は、移動速度データ５０ａ１に基づいてＸ軸に平行な移動速度成分を取得する。そして、制御部８０は、Ｘ軸に平行な移動速度の大きさに基づいて、Ｘ軸およびＹ軸で張られる平面内で管壁に挟まれた部位を着色する。制御部８０は、以上の処理を時系列に並ぶ複数のタイミングの移動速度について実施することで移動速度を色で示す動画を生成する。なお、本実施形態において、移動速度の動画のフレームレートは超音波動画のフレームレートと同一である。

図３に示すユーザインタフェースには再生開始ボタンＢｐが設けてあり、利用者は、当該再生開始ボタンＢｐを利用して動画を再生させることができる。すなわち、制御部８０は、入力部７０が出力する利用者の操作内容に基づいて再生開始ボタンＢｐによる指示が行われたことを検出することができる。

再生開始ボタンＢｐによる指示が行われると、制御部８０は、超音波動画データ５０ａに基づいて超音波動画を再生し、移動速度の動画を再生する。両動画のフレームレートは同一であるため、両動画は同一時刻の情報が同一時刻に再生される。すなわち、同期した状態で再生される。

さらに、本実施形態において制御部８０は、表示部６０において再生中の動画の時間軸上での位置を示すアイコンを、嚥下音および筋電位のグラフの時間軸上に表示させる。すなわち、本実施形態において制御部８０は、再生中の動画の各静止画に対応づけられた、記録開始タイミングからの経過時間を取得する。また、制御部８０は、当該記録開始タイミングからの経過時間に相当するグラフＧｓ、グラフＧｅの時間軸上の位置を特定する。そして、制御部８０は、表示部６０を制御し、当該時間軸上の位置においてグラフＧｓ、グラフＧｅを縦方向に貫く直線Ｌｔを表示させる。

制御部８０は、動画の再生の進行に応じてこの処理を繰り返す。従って、表示部６０においては、再生中の動画に同期して、再生されている時刻での嚥下音、筋電位を示す直線Ｌｔが時間軸方向（図３の横方向）に移動していく。この構成によれば、超音波動画に基づいて管壁の動作や位置と食物の実際の動きや位置を観察しながら、管状器官内の部分毎の移動速度や管状器官の開き具合を観察することができる。さらに、管壁と食物の状態や移動速度が動画に示された状態であるタイミングで筋電位と嚥下音の様子がどのような状態であるのかを観察することができる。なお、嚥下音は、超音波動画と同期させて再生されてもよい。

また、本実施形態において利用者は、入力部７０に対する操作により、超音波動画の再生中または一時停止中に、管壁や食物の位置情報を表示部６０に表示させることができる。位置情報の表示態様は種々の態様であってよく、例えば、図３の表示エリアＺｕに示す超音波動画のように、管壁Ｗ₁，Ｗ₂，食物Ｗ₃が引き出し線等によって示されても良いし、管壁や食物の部分がそれぞれの色で着色されても良いし、他にも種々の構成が採用可能である。

この構成によれば、利用者は、嚥下の際の管状器官の管壁や管状器官内を通過する食物の位置を確認することができる。このため、利用者は、管状器官の開き具合や管状器官内における食物の位置を把握できる。従って嚥下の際に管状器官が正常に動作しているか、食物が管状器官内の正常な位置に存在しているか、などを、管状器官の実際の動作、食物の実際の動きに基づいて直接的に評価することができる。

さらに、本実施形態においては、表示エリアＺｖにおいてＸ軸方向の移動速度の大きさが示される。Ｘ軸方向は、管状器官の軸方向であり、食物が流れるべき方向である。すなわち、嚥下に伴って管状器官内を食物が流れる際には、食物が咽頭から胃の方向に向けて流れるべきであり、移動速度の動画により、胃の方向に向けて流れているか否か、充分な速度で流れているか否かを観察することができる。また、Ｘ軸方向の移動速度は正負で表示され得るため、管状器官内で食物が逆流した場合、逆流の発生を観察することができる。また、速度の大きさによって逆流の程度も観察することができる。上述のように移動速度は色で示しているので、負の移動速度を特定の色域で表現すれば逆流の観察がより容易になる。

さらに、本実施形態においては、図２に示されるように、マイクロホンＭ₁〜Ｍ_nおよび電極対Ｅ₁〜Ｅ_mが取り付けられたセンサホルダＨが頸部Ｔに装着された状態で測定が行われる。従って、本実施形態においては、センサホルダＨを頸部Ｔに装着するのみでマイクロホンＭ₁〜Ｍ_nおよび電極対Ｅ₁〜Ｅ_mを測定可能位置に配置することができる。また、本体に形成された穴Ｐｈに対してプローブＰの先端を挿入するのみで、頸部Ｔの内部を測定可能な測定可能位置にプローブＰを配置することができる。従って、本実施形態によれば、極めて容易に測定のための準備を行うことができる。

（２）嚥下能力測定処理：
次に、嚥下能力測定処理の例を詳細に説明する。図４は、嚥下能力測定処理を示すフローチャートである。利用者は、センサホルダＨを被験者Ｍの頸部Ｔに装着し、本体Ｂに設けられた穴ＰｈにプローブＰの先端を挿入する。この状態において利用者が図示しないボタン等によって記録開始指示を行うと、嚥下能力測定処理が開始される。なお、音声や音による指示を認識することにより記録開始指示としてもよい。

嚥下能力測定処理が開始されると、超音波動画データの取得（ステップＳ１００−１）と、嚥下音データの取得（ステップＳ１００−２）と、筋電位データの取得（ステップＳ１００−３）とが並列的に実行される。

すなわち、ステップＳ１００−１においては、プローブＰによって検出された情報に基づいて、超音波画像出力部２０ａが超音波画像を生成し、当該画像に基づいて超音波動画生成部２０ｂが超音波動画を生成する。この際、超音波動画生成部２０ｂは、録音部３０ａが出力する同期信号に基づいて、記録開始からの経過時間を示す情報を静止画に対応付け、経過時間が対応づけられた動画ファイルを出力する。制御部８０は、当該動画ファイルを超音波動画データ５０ａとして記録媒体５０に記録させる。

ステップＳ１００−２においては、録音部３０ａが同期信号の出力を開始するとともに、マイクロホンＭ₁〜Ｍ_nから出力された音圧のアナログ信号の取得を録音部３０ａが開始し、チャネル毎に順次アナログ信号をＡ／Ｄ変換部３４に出力する。Ａ／Ｄ変換部３４は、音圧を示すアナログ信号をデジタル信号に変換するとともに、デジタル信号に対して記録開始からの経過時間を示す情報を対応づけて出力する。制御部８０は、当該出力された情報を、嚥下音データ５０ｂとして記録媒体５０に記録させる。

ステップＳ１００−３においては、電極対Ｅ₁〜Ｅ_mから出力された筋電位のアナログ信号の取得を増幅器４０ａが開始し、チャネル毎にアナログ信号を増幅して順次Ａ／Ｄ変換部３４に出力する。Ａ／Ｄ変換部３４は、筋電位を示すアナログ信号をデジタル信号に変換するとともに、デジタル信号に対して記録開始からの経過時間を示す情報を対応づけて出力する。制御部８０は、当該出力された情報を、筋電位データ５０ｃして記録媒体５０に記録させる。

本実施形態においては、被験者Ｍによる一回の嚥下動作が終了するまでステップＳ１００−１〜Ｓ１００−３が実行される。一回の嚥下動作の開始と終了は、種々のタイミングで定義されてよく、例えば、開始と終了の少なくとも一方で拍手などの大きな音が発生されてもよいし、被験者Ｍに嚥下開始を伝達してから被験者Ｍが嚥下の終了を認識するまでの期間が開始から終了までの期間とされてもよく種々の構成が採用可能である。

嚥下動作の終了によって超音波動画データ５０ａと嚥下音データ５０ｂと筋電位データ５０ｃの記録が終了すると、制御部８０は、嚥下音の開始タイミングおよび終了タイミングを取得する（ステップＳ１０５）。すなわち、本実施形態において制御部８０は、嚥下能力を測定するための要素として嚥下音の開始タイミングと終了タイミングとを特定する。嚥下音は、「ゴックン」などと表現される音であるが、この音の様子によって喉頭蓋の動作の不全や、嚥下音と食物の流動の整合性（ゴックンと音がしているのに食物が流れていない場合には不全である等）等が評価可能である。

このため、制御部８０は、嚥下音データ５０ｂに基づいて嚥下音の開始タイミングおよび終了タイミングを取得する。本実施形態において制御部８０は、マイクロホンＭ₁〜Ｍ_nのそれぞれで取得された嚥下音の大きさ（絶対値）を予め決められた閾値と比較し、閾値を超えたタイミングを嚥下音の開始タイミングと見なし、閾値を下回ったタイミングを嚥下音の終了タイミングと見なす。むろん、ノイズを無視する等の処理が行われてもよい。

嚥下音の検出元であるマイクロホンＭ₁〜Ｍ_nは、複数個存在するので、本実施形態においては、嚥下音が最も明らかなマイクロホンＭ₁〜Ｍ_nによって特定されたタイミングを嚥下音の開始タイミングおよび終了タイミングとみなす。嚥下音が最も明らかであるか否かは、種々の指標で判定されてよく、例えば、ピーク音圧が最大のマイクロホンや、ピーク音圧を含む音圧の絶対値の積分値、嚥下音の開始から終了までの音圧の絶対値の積分値等が相対的に大きいデータが最も明らかであると見なされる構成等を採用可能である。なお、嚥下音の開始タイミングおよび終了タイミングは、嚥下音データ５０ｂに対応づけられた時間軸上で特定されるため、嚥下音の開始タイミングおよび終了タイミングは嚥下音から得られた情報であり、嚥下音に同期した同期情報であると見なすことができる。

次に、制御部８０は、筋肉の活動開始タイミングおよび活動終了タイミングを取得する（ステップＳ１１０）。すなわち、本実施形態において制御部８０は、嚥下能力を測定するための要素として頸部の筋肉が嚥下のために活動する際の活動開始タイミングと活動終了タイミングとを特定する。本実施形態において制御部８０は、電極対Ｅ₁〜Ｅ_mのそれぞれで取得された筋電位の大きさ（絶対値）を予め決められた閾値と比較し、閾値を超えたタイミングを筋肉の活動開始タイミングと見なし、閾値を下回ったタイミングを筋肉の活動終了タイミングと見なす。むろん、ノイズを無視する等の処理が行われてもよい。

制御部８０は、ここでも筋電位が最も明らかな電極対Ｅ₁〜Ｅ_mによって特定されたタイミングを筋電位の開始タイミングおよび終了タイミングとみなす。筋電位が最も明らかであるか否かは、上述の嚥下音と同様に、種々の指標で判定されてよい。また、筋肉の活動開始タイミングおよび活動終了タイミングは、筋電位データ５０ｃに対応づけられた時間軸上で特定されるため、筋肉の活動開始タイミングおよび活動終了タイミングは筋電位から得られた情報であり、筋電位に同期した同期情報であると見なすことができる。

次に、制御部８０は、超音波動画の切り出しエリアの入力を受け付ける（ステップＳ１１５）。すなわち、プローブＰの視野には管状器官とその内部の食物のみが含まれるとは限らない。そこで、制御部８０は、超音波動画データ５０ａを参照し、超音波動画を構成する静止画をサンプルとして表示部６０に表示させる。この状態において利用者は、入力部７０を操作して静止画に矩形を重ね、矩形の位置および大きさを指定することで切り出しエリアを指定することができる。利用者が入力部７０によって切り出しエリアの確定を指示すると、制御部８０は、当該切り出しエリアを超音波動画の表示対象として特定する。なお、超音波動画の切り出しエリアについては、画像処理により自動的に切り出してもかまわない。

次に、制御部８０は、移動速度取得部８０ｂの機能により、輝度に基づいて管状器官の管壁を取得する（ステップＳ１２０）。すなわち、制御部８０は、超音波動画データ５０ａを参照し、超音波動画を構成する静止画を取得する。そして、制御部８０は、当該静止画（または、静止画から切り出された切り出しエリア）を構成するピクセルの輝度値を入力値とし、学習モデル５０ａ２による演算を行う。この結果、画像の部分毎に管壁および食物である可能性が特定される。制御部８０は、当該可能性が閾値以上である部分のそれぞれを管壁や食物と見なす。

次に、制御部８０は、移動速度取得部８０ｂの機能により、管壁と食物の移動速度を取得する（ステップＳ１３０）。すなわち、制御部８０は、時系列で並ぶ静止画同士を比較することにより、静止画間での画素移動方向および画素移動量（オプティカルフロー）を取得する。画素移動方向および画素移動量は、例えば、Farneback法やLukas-Kanade法、Horn-Schunck法等を採用可能である。画素移動方向および画素移動量が得られると、制御部８０は、ステップＳ１２０で取得された管状器官の管壁および食物の各部分（各ピクセル）について画素移動方向および画素移動量を特定する。

そして、制御部８０は、当該画素移動方向への画素移動量を管状器官の管壁および食物の部分毎の移動速度（ピクセル／フレーム）と見なす。なお、管壁については、食物の両サイドの２箇所に現れる管壁（図３の表示エリアＺｕに示すＷ₁，Ｗ₂）のそれぞれについて、管壁全体の移動速度を算出する。すなわち、制御部８０は、管壁を構成する部分の移動速度の平均によって管壁全体の移動速度を算出する。

次に、制御部８０は、移動速度取得部８０ｂの機能により、管壁の移動速度に基づいて咽頭挙上タイミングおよび咽頭下降タイミングを取得する（ステップＳ１３５）。すなわち、嚥下動作が開始されると、咽頭挙上動作が発生し、嚥下動作が終了する際に咽頭下降動作が発生すると見なすことができる。そして、本実施形態においては、管状器官の管壁の動作開始が咽頭挙上タイミングであり、動作終了が咽頭下降タイミングに対応していると見なされる。

そこで、制御部８０は、ステップＳ１３０で取得された管壁の移動速度の変化が開始したタイミングを咽頭挙上タイミング、移動速度の変化が終了したタイミングを咽頭下降タイミングとして取得する。図５は、管壁の移動速度の時間変化を示すグラフである。すなわち、図５において、横軸は時間、縦軸は移動速度であり、管壁の移動速度は実線によって示されている。なお、図５においては、Ｘ軸方向の移動速度を示しているが、Ｙ軸方向の移動速度が参照されてもよい。

いずれにしても、移動速度は図５に示されるように、０である期間の後、咽頭挙上を契機に負の移動速度となり、嚥下の過程で移動速度が負から正に変化し、やがて移動速度が徐々に０に近づき、咽頭下降が完了すると移動速度が０に戻る。そこで、制御部８０は、移動速度が０から閾値を超えて負の方向に変化したタイミングを咽頭挙上タイミングＴｕとして取得する。また、制御部８０は、移動速度が正から０に至って安定した場合に、０に至ったタイミングを咽頭下降タイミングＴｄとして取得する。むろん、咽頭挙上タイミングＴｕ、咽頭下降タイミングＴｄを取得するための手法は、種々の手法であってよく、移動速度と閾値との比較のみならず、ノイズ等による短期の移動速度の変化を無視するような処理が導入されてよい。

次に、制御部８０は、移動速度取得部８０ｂの機能により、食物の移動速度に基づいて食物の流入タイミングおよび食物の流出タイミングを取得する（ステップＳ１４０）。すなわち、嚥下動作が開始されると、筋肉の活動によって食物が管状器官に流入し、正常に嚥下が行われると管状器官から食物が流出する。そして、本実施形態においては、嚥下能力を評価するために、管状器官の管壁に挟まれた領域に食物が現れた状態を食物の流入タイミングと見なし、食物が当該領域外に達するタイミングが食物の流出タイミングと見なす。

そこで、制御部８０は、ステップＳ１３０で取得された食物の移動速度が検出されない状態（ステップＳ１２０で食物が検出されない状態）から有意な値で検出され始めたタイミングを食物の流入タイミング、移動速度が検出されない状態になったタイミングを食物の流出タイミングとして取得する。図５においては、破線によって食物の移動速度が示されている。

食物の移動速度は図５に示されるように、食物の移動速度が検出されない状態から、あるタイミングで移動速度が検出される状態に遷移し、移動速度が時間とともに上昇し、その後、徐々に下降する。そして、あるタイミングで移動速度が検出されない状態に遷移する。そこで、制御部８０は、食物の移動速度として閾値以上の移動速度が検出されたタイミングを食物の流入タイミングＴｉとして取得する。また、制御部８０は、食物の移動速度が正から０に至り、その後検出されなくなった場合に、０に至ったタイミングを食物の流出タイミングＴｏとして取得する。むろん、食物の流入タイミングＴｉ、食物の流出タイミングＴｏを取得するための手法は、種々の手法であってよく、移動速度と閾値との比較のみならず、ノイズ等による短期の移動速度の変化を無視するような処理が導入されてよい。また、移動速度によらず、ステップＳ１２０で食物の取得が開始されたタイミングが流入タイミング、食物の取得が終了したタイミングが流出タイミングとされてもよい。

次に、制御部８０は、表示制御部８０ｃの機能により、嚥下音、筋電位、超音波動画、移動速度の動画を示すユーザインタフェースを表示する（ステップＳ１４５）。すなわち、制御部８０は、超音波動画データ５０ａを参照し、最初（記録開始タイミング）の静止画を表示エリアＺｕに表示させる。この構成により、超音波動画の再生準備が行われていることが示される。

また、制御部８０は、移動速度データ５０ａ１に基づいて、Ｘ軸に平行な移動速度成分を計算し、Ｘ軸に平行な移動速度の大きさに基づいて、Ｘ軸およびＹ軸で張られる平面内で管壁に挟まれた部位を着色する。さらに、制御部８０は、着色された画像を時系列で表示させるための移動速度の動画を生成する。そして、制御部８０は、当該移動速度の動画における最初（記録開始タイミング）の静止画を表示エリアＺｖに表示させる。この構成により、移動速度の動画の再生準備が行われていることが示される。

さらに、制御部８０は、嚥下音データ５０ｂを参照し、嚥下音を示すグラフＧｓを表示させる。さらに、制御部８０は、筋電位データ５０ｃを参照し、筋電位を示すグラフＧｅを表示させる。この構成により、嚥下音と筋電位との時系列の変化が同期した状態で示される。以上の処理により、図３に示す画面が表示部６０に表示される。

本実施形態においては、さらに、ステップＳ１０５，Ｓ１１０，Ｓ１３５，Ｓ１４０で取得された各タイミングが時間軸上で示される。すなわち、制御部８０は、ステップＳ１０５，Ｓ１１０，Ｓ１３５，Ｓ１４０で取得された各タイミングの時間軸上での位置を特定し、図３に示す時間軸上での各位置に各タイミングを示す直線を表示させる。

図３においては、嚥下音の開始タイミングＴｓｓおよび終了タイミングＴｓｅを破線、筋肉の活動開始タイミングＴｅｓおよび活動終了タイミングＴｅｅを一点鎖線で表示している。さらに、咽頭挙上タイミングＴｕ、咽頭下降タイミングＴｄ、食物の流入タイミングＴｉ、食物の流出タイミングＴｏを二点鎖線で表示している。

以上の表示によれば、利用者は、画面表示に基づいて、嚥下能力の評価を行うことができる。すなわち、嚥下に伴うイベント（嚥下音の開始および終了、筋肉の活動開始および活動終了、咽頭挙上および咽頭下降、食物の流入および流出）の時系列の関係を把握することができる。このため、例えば、「ゴックン」という１回の嚥下音が発生にもかかわらず食物の流入や流出が不充分である、食物の量が不充分であるなどの評価を行うことが可能である。また、筋肉の活動が開始されているのに嚥下音が発生しない、不充分であるなどの評価を行うことが可能である。

なお、超音波動画には、管状器官の動作や位置、管状器官を通過する食物の動きや位置が含まれる。従って、本実施形態においては、これらの動作や動きの評価を行うことができる。また、管状器官や食物の位置が把握できるので、嚥下に伴う管状器官の開き具合や嚥下された食物の管状器官内での位置の評価を行うことができる。また、マイクロホンＭ₁〜Ｍ_nで取得した音には、喉頭蓋の動作、食物の動き、食物等が声帯や管状器官と擦れる音、筋肉が動く音が含まれ得る。従って、本実施形態によれば、これらの項目の評価を行うことが可能である。さらに、電極対Ｅ₁〜Ｅ_mで取得した筋電位は、頸部の筋肉（本実施形態においては、オトガイ舌骨筋、舌骨筋、輪状咽頭筋、蓋突舌骨筋）の動作を示している。従って、本実施形態によれば、これらの筋肉の動作を評価することが可能である。

このようにユーザインタフェースが表示された状態において、制御部８０は、再生指示があったと判定されるまで待機する（ステップＳ１５０）。すなわち、制御部８０は、再生開始ボタンＢｐによる指示が行われるまで待機する。ステップＳ１５０において、再生開始ボタンＢｐによる指示が行われたと判定された場合、制御部８０は、超音波動画、移動速度の動画を再生し、動画の再生に同期させて嚥下音、筋電位のグラフに表示させた直線を移動させる（ステップＳ１５５）。

すなわち、制御部８０は、超音波動画データ５０ａに基づいて動画を再生し、表示エリアＺｕに表示させる。また、制御部８０は、移動速度の動画を再生し、表示エリアＺｖに表示させる。さらに、制御部８０は、表示部６０を制御し、再生中の動画のタイミング（記録開始からの経過時間）に該当する時間軸上の位置に、グラフＧｓおよびグラフＧｅを縦方向に貫く直線Ｌｔを表示させ、動画の進行とともに時間軸上を移動させる。

動画の再生が終了すると、制御部８０は、ステップＳ１５０以降の処理を繰り返す。むろん、ユーザインタフェースにおいては、動画再生の一時停止や終了、早送り、巻き戻し等の操作が実行可能であってもよい。また、プログレスバー等によって動画における任意のタイミングを指定して再生を行わせることも可能である。さらに、図示しない操作によって嚥下能力測定処理の終了操作が実行可能であり、当該終了操作が行われた場合、制御部８０は、嚥下能力測定処理を終了する。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、超音波動画等の再生は、リアルタイムで行われてもよい。また、超音波動画、嚥下音、筋電位の解析法は、種々の手法であってよい。嚥下音であれば、マイクロホンの検出結果から嚥下音の開始、終了が特定される構成以外にも種々の解析が行われてよい。例えば、検出結果から咽頭挙上と咽頭によって発生する音（Ｉ音）、下咽頭の食塊流入と食道部の開大によって発生する音（II音）、嚥下終了後の咽頭の下降によって発生する音（III音）の少なくともいずれかが特定され、表示等がされる構成であってもよい。

さらに、嚥下音や筋電位の解析には、公知の種々の手法が用いられてよい。例えば、独立成分分析やスペクトル情報の解析（ＦＦＴ，ＬＰＣ，ケプストラム、ウェーブレット）等が行われてよい。なお、独立成分分析が行われれば、嚥下音や筋電位の変化の原因を特定したり、原因毎に音や電位の波形を分離したり、嚥下音の音源や筋電位を生じさせた筋肉毎に波形を分離したりするなどの解析が可能である。

さらに、マイクロホンや電極対は１個以上であれば良いが、本実施形態のように複数個利用される場合、より正確な解析が可能になる。すなわち、嚥下音や筋電位が複数のセンサで特定されれば、嚥下音の開始や筋肉の動作開始をより明確に示している検出結果を用いて解析を行うことが可能である。

図６は、６個のマイクロホンＭ₁〜Ｍ₆による嚥下音の検出結果を示している。この例においては、Ｉ音、II音、III音が特定されている。この例においては、マイクロホンＭ₁，Ｍ₂でII音が不明確である一方、Ｍ₃，Ｍ₄，Ｍ₆ではII音が明確である。また、マイクロホンＭ₁でＩ音が明確である。このように、複数のマイクロホンを利用すれば、解析容易なセンサを選択することが可能になる。

さらに、あるチャネルでは特定のイベントの発生が明確であるが同一のイベントの終了が不明確である場合に、発生と終了を異なるチャネルで特定するなどの処理が可能である。図７は、４個の電極対Ｅ₁〜Ｅ₆による筋電位の検出結果を示している。これらの筋電位から筋肉の活動開始タイミングＴｅｓ、活動終了タイミングＴｅｅが特定されることを想定する。この例においては、電極対Ｅ₄で筋肉の活動開始を示す筋電位が最初に現れ、電極対Ｅ₂で筋肉の活動終了を示す筋電位が最後に現れている。このように、複数の電極対を利用すれば、筋肉の活動開始および活動終了をより容易に、明確に特定することができる。

さらに、センサホルダＨを頸部Ｔに取り付けることによって、各センサが所望の位置に配置されたとしても、好ましい結果を出力するセンサは被験者によって異なる場合がある。このような場合であっても、センサが複数個備えられていれば、より適切な結果を選択して解析を行うことが可能である。

さらに、嚥下能力の測定は、種々の目的に利用されて良い。すなわち、被験者の器官の能力を評価し、病気の予防等に利用される以外にも、種々の目的に利用されてよい。例えば、嚥下困難者による嚥下の様子を観察することを通じて、嚥下困難者のためのフードデザインを行う目的等に利用されて良い。

超音波動画取得部は、超音波によって撮影された頸部の内部の動画である超音波動画を取得することができればよい。すなわち、超音波動画に基づいて管状器官の管壁と、管状器官内を通過する食物と、の少なくとも一方について部分毎の移動速度が取得できる限り、種々の態様で超音波動画が取得されてよい。例えば、上述の超音波動画はＢモードであるが、Ａモード、ドップラーモード等の種々の方式が利用されて良い。ただし、Ｂモードは、例えば、ドップラーモードと比較して空間分解能が高いため、頸部内のオブジェクトの部分毎の移動速度をより正確に解析することができる。

また、超音波動画は、管状器官の管壁と、管状器官内を通過する食物との一方または双方が視野に含まれる動画を撮影できればよく、両者が視野に含まれ得る範囲で超音波動画を撮影可能なプローブで撮影が行われればよい。頸部は、脊椎動物の頭部と胴とを接続する部分であり、食物が通過する管状器官を有する部位であれば良い。動画は種々の態様で定義されてよく、その態様はファイル形式、圧縮形式等は限定されない。

移動速度取得部は、超音波動画に基づいて、頸部の内部に存在する管状器官の管壁と、管状器官内を通過する食物と、の少なくとも一方における部分毎の移動速度を取得することができればよい。すなわち、動画は、時系列の静止画像や部分画像等によって構成されており、時間軸上で並ぶ画像同士の比較により、画像内のオブジェクトの移動量を部分毎に特定することが可能である。従って、これらの画像の時間軸上での距離（すなわち、時間間隔）と移動量とに基づいて移動速度を特定することが可能である。なお、移動速度は、少なくとも動画を構成する画像平面に平行な方向において特定されればよいが、画像平面の奥行き方向における移動速度が特定されてもよい。

管状器官は、食物（飲料物を含む）が通過する管であれば良く、頸部に存在すればよい。すなわち、嚥下能力は頸部における食物の動きによって評価されるため、頸部内で食物等の通路となっている器官が管状器官と見なされればよい。従って、管状器官は、咽頭の一部であってもよいし、食道の一部であってもよいし、双方であってもよい。

管壁は、管状器官の組織の一部であり、超音波動画において食物の周囲に存在するオブジェクトである。管状器官は生体組織であるため不定形となり、微視的には種々の構造体を有するが、ここでは、管状器官において器官の内側と外側とを隔てている部位が管壁である。移動速度は、部分毎に取得されればよく、部分の大きさは限定されない。また、移動速度の取得対象となる部分と移動速度の取得対象とならない部分とが存在してもよい。いずれにしても、嚥下能力の評価が行われるべき部分について移動速度が取得されればよい。

管状器官の軸は、管状器官が延びる方向であれば良く、直線または曲線で表現され得るが、管状器官の形状は変化し得るため、管状器官の軸や軸の方向は必ずしも厳密には定義されない。従って、管状器官の軸の方向も厳密に定義されなくてもよい。すなわち、管状器官の軸は、管状器官内を通過する食物が流れるべき方向と略一致するため、食物が流れるべき方向として、例えば、画像上で予め決められた方向に平行な方向への移動速度が取得されればよい。

管壁の画像や食物の画像を特定するための構成は、上述のような機械学習が利用される構成以外にも種々の構成が採用可能である。例えば、パターンマッチング処理におけるテンプレートへの適合率に対して、予め基準を決めておき、適合率が基準を上回る場合にその画像が管壁や食物であると見なす構成等が採用されてもよい。また、既定値以上の輝度の画素がまとまっている（面積が既定の基準を見なす）場合、その部位を管壁や食物として見なされる構成等が採用されてもよい。

嚥下音の取得は、嚥下の際に頸部において発生し得る音の取得であれば良い。すなわち、嚥下音は、頸部において発生する音であり、通常は被験者が嚥下する意志を持って嚥下動作を行った場合に発生する。しかし、嚥下能力が低下している被験者の場合、嚥下音が発生しない場合や小さい場合があり得る。この場合であっても、嚥下音の取得は行われる。すなわち、嚥下音と見なすことができる音圧の音が発生するか否かに関わらず、音圧が時系列で取得されることによって嚥下音の取得が行われる。

嚥下音を取得するための音センサは、音を電気信号に変換するセンサであれば良く、音圧によってダイアフラム等に生じる振動を検出するマイクロホンであってもよいし、任意の場所（頸部表面等）に生じる振動を検出する振動センサ等であってもよく、種々の態様であってよい。

筋電位の取得は、嚥下の際に頸部において発生し得る筋電位の取得であれば良い。すなわち、嚥下の際には頸部の筋肉が変化し、筋電位が変化し得る。通常は被験者が嚥下する意志を持って嚥下動作を行った場合に嚥下に関する筋肉が動作し、その結果筋電位が変化する。しかし、嚥下能力が低下している被験者の場合、筋電位が変化しない場合や変化が小さい場合があり得る。この場合であっても、筋電位の取得は行われる。すなわち、嚥下を行おうとする意志に応じて筋電位が変化するか否かに関わらず、筋電位が時系列で取得されることによって筋電位の取得が行われる。

筋電位を取得するための筋電位センサは、筋電位を検出するセンサであれば良く、電位を測定する電極等によって構成される。センサの態様としては、種々の態様であってよく、頸部に貼り付けられる電極であってもよいし、頸部に電極針を挿入することによって取り付けられる電極であってもよく、種々の態様を採用し得る。

同期情報は、超音波動画と、時系列の嚥下音と、時系列の筋電位と、の少なくとも２個から得られた情報を時系列で同期させた情報であれば良い。従って、超音波動画自体、時系列の嚥下音自体、時系列の筋電位自体や、超音波動画から得られた情報（例えば、移動速度）、時系列の嚥下音から得られた情報（例えば、統計情報）、時系列の筋電位から得られた情報（例えば、統計情報）が任意に組み合わされて同期情報が生成されてよい。

同期情報は、異なるセンサで取得された情報を時系列で同期させた情報であれば良い。すなわち、同じタイミングで発生した現象が時間軸上で同じ位置に存在するように、異なるセンサで取得された情報の時間軸上の位置が特定されればよい。このような同期情報は、種々の態様で定義されてよい。例えば、時間軸上での時間は、何時何分などのような時刻であってもよいし、ある共通の基準タイミングからの経過時間によって定義されてもよく、種々の構成が採用可能である。

同一時刻の同期情報が時間軸で同一の位置に配置されるように並べて表示するための構成としては、種々の構成を採用可能である。すなわち、横軸が時間軸である別個のグラフを縦軸方向に並べて表示する構成以外にも、種々の構成が採用可能である。例えば、一つのグラフ上に値を併記してもよい。また、奥行き方向に異なった位置に並んでいるように見える鳥瞰図や斜視図のようにグラフが表示されてもよい。

再生中の超音波動画の時間軸上での位置を示すアイコンは、直線以外にも種々の態様であってよい。例えば、三角形の頂点で時間軸上での位置を示すアイコンや矢印によって時間軸上での位置を示すアイコンなど、種々のアイコンを採用可能である。

嚥下音の開始タイミングや嚥下音の終了タイミングは、予め決められた基準によって定義されればよい。例えば、嚥下音の開始タイミングや終了タイミングは、嚥下によって生じた音圧の変化が他の音と区別可能なレベルが予め特定され、音圧が当該レベル以上である期間が開始タイミングから終了タイミングまでの期間であると見なされる構成等を採用可能である。筋肉の活動開始タイミングと活動終了タイミングも同様に、予め決められた基準によって定義されればよい。すなわち、活動している状態としていない状態とを区別するための電位レベルが予め特定され、筋電位が当該レベル以上である期間が活動開始タイミングから活動終了タイミングまでの期間であると見なされる構成等を採用可能である。

センサホルダの本体を頸部に装着するための構成は、上述のような布状の本体を頸部に巻き付けて面ファスナーによって固定する構成に限定されない。例えば、筒状の本体が軸方向に平行な切断面で切断されて２以上の部材に分割されており、２以上の部材によって頸部を挟むことによって装着が行われてもよい。固定のためには面ファスナーが利用されても良いし、ベルトやフック等が利用されても良く、種々の構成が採用されてよい。

また、本体が頸部に装着された状態においては、少なくとも本体の一部が頸部の外周に接していればよい。すなわち、本体が頸部の外周に接することに伴って音センサが測定可能位置に配置され、筋電位センサが測定可能位置に配置されて、嚥下音および筋電位を取得できるように構成されていれば良い。

音センサは、本体が頸部に装着された状態で本体と頸部との間に配置され、この結果、音センサによって嚥下音が取得可能になればよい。この意味で、音センサの位置は任意であるが、音センサを特定の測定位置に配置すべき場合には、本体が頸部に装着された状態で音センサが測定位置に配置されるように音センサが本体に取り付けられる。

筋電位センサは、本体が頸部に装着された状態で本体と頸部との間に配置され、この結果、筋電位センサによって筋電位が取得可能になればよい。この意味で、筋電位センサの位置は任意であるが、筋電位センサを特定の測定位置に配置すべき場合には、本体が頸部に装着された状態で筋電位センサが測定位置に配置されるように筋電位センサが本体に取り付けられる。

プローブ取付部は、超音波動画を撮影するためのプローブを取り付けることができればよく、その態様は種々の態様であってよい。すなわち、上述の実施形態のように、プローブの先端（頸部に接触させるべき部分）を挿入可能な穴が本体に形成されており、当該穴を通じてプローブが頸部に接触する構成に限定されない。例えば、プローブを本体に対して着脱するための着脱部が本体に設けられていてもよい。

さらに、本発明は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたサーバ、クライアントシステムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…嚥下能力測定システム、２０…超音波動画取得部、２０ａ…超音波画像出力部、２０ｂ…超音波動画生成部、３０…嚥下音取得部、３０ａ…録音部、３４…Ａ／Ｄ変換部、４０…筋電位取得部、４０ａ…増幅器、５０…記録媒体、５０ａ…超音波動画データ、５０ａ１…移動速度データ、５０ａ２…学習モデル、５０ｂ…嚥下音データ、５０ｃ…筋電位データ、６０…表示部、７０…入力部、８０…制御部、８０ａ…位置情報取得部、８０ｂ…移動速度取得部、８０ｃ…表示制御部

Claims (16)

1. 超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得部と、
   前記超音波動画に基づいて、前記頸部の内部に存在する管状器官の管壁と、前記管状器官内を通過する食物と、の少なくとも一方における部分毎の移動速度を取得する移動速度取得部と、
   を備える嚥下能力測定システム。
2. 前記移動速度の時系列の変化を示す動画を表示部に表示させる表示制御部をさらに備える、
   請求項１に記載の嚥下能力測定システム。
3. 前記移動速度取得部は、
   前記管状器官の軸の方向の前記移動速度を取得し、
   前記表示制御部は、
   前記軸の方向の前記移動速度を示す前記動画を前記表示部に表示させる、
   請求項２に記載の嚥下能力測定システム。
4. 前記移動速度取得部は、
   前記超音波動画を構成する複数の静止画のそれぞれから、予め決められた基準に適合する部分を特定することによって前記管壁の画像と前記食物の画像の少なくとも一方を特定し、画像の時系列変化によって前記移動速度を取得する、
   請求項１〜請求項３のいずれかに記載の嚥下能力測定システム。
5. 超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得部と、
   前記超音波動画に基づいて、前記頸部の内部に存在する管状器官の管壁と、前記管状器官内を通過する食物と、の少なくとも一方における部分毎の位置情報を取得する位置情報取得部と、
   を備える嚥下能力測定システム。
6. 前記位置情報取得部は、
   前記超音波動画を構成する複数の静止画のそれぞれから、予め決められた基準に適合する部分を特定することによって前記管壁の画像と前記食物の画像の少なくとも一方を特定することにより前記位置情報を取得する、
   請求項５に記載の嚥下能力測定システム。
7. 超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得工程と、
   前記超音波動画に基づいて、前記頸部の内部に存在する管状器官の管壁と、前記管状器官内を通過する食物と、の少なくとも一方における部分毎の移動速度を取得する移動速度取得工程と、
   を含む嚥下能力測定方法。
8. 超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得工程と、
   前記超音波動画に基づいて、前記頸部の内部に存在する管状器官の管壁と、前記管状器官内を通過する食物と、の少なくとも一方における部分毎の位置情報を取得する位置情報取得工程と、
   を含む嚥下能力測定方法。
9. 超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得部と、
   前記頸部において発生する嚥下音を時系列で取得する嚥下音取得部と、
   前記頸部の筋電位を時系列で取得する筋電位取得部と、
   前記超音波動画と、時系列の前記嚥下音と、時系列の前記筋電位と、の少なくとも２個から得られた情報を時系列で同期させた同期情報を取得する同期情報取得部と、
   を備える嚥下能力測定システム。
10. 同一時刻の前記同期情報が時間軸で同一の位置に配置されるように並べて表示部に表示させる表示制御部をさらに備える、
    請求項９に記載の嚥下能力測定システム。
11. 前記表示制御部は、
    前記表示部において前記超音波動画を再生し、再生中の前記超音波動画の時間軸上での位置を示すアイコンを、前記同期情報を示す時間軸上に表示させる、
    請求項１０に記載の嚥下能力測定システム。
12. 前記同期情報は、
    前記超音波動画に基づいて特定された、前記頸部の内部に存在する管状器官の管壁と、前記管状器官内を通過する食物と、の少なくとも一方における部分毎の移動速度を含む、
    請求項９〜請求項１１のいずれかに記載の嚥下能力測定システム。
13. 前記同期情報は、
    前記嚥下音の開始タイミングと、前記嚥下音の終了タイミングとの少なくとも一方を含む、
    請求項９〜請求項１２のいずれかに記載の嚥下能力測定システム。
14. 前記同期情報は、
    筋肉の活動開始タイミングと、筋肉の活動終了タイミングとの少なくとも一方を含む、
    請求項９〜請求項１３のいずれかに記載の嚥下能力測定システム。
15. 超音波によって撮影された頸部の内部の動画である超音波動画を取得する超音波動画取得工程と、
    前記頸部において発生する嚥下音を時系列で取得する嚥下音取得工程と、
    前記頸部の筋電位を時系列で取得する筋電位取得工程と、
    前記超音波動画と、時系列の前記嚥下音と、時系列の前記筋電位と、の少なくとも２個から得られた情報を時系列で同期させた同期情報を取得する同期情報取得工程と、
    を含む嚥下能力測定方法。
16. 頸部の外周に接した状態で前記頸部に装着される本体と、
    前記本体が前記頸部に装着された状態で前記本体が前記頸部に接する面に取り付けられた、嚥下音を取得するための音センサと、
    前記本体が前記頸部に装着された状態で前記本体が前記頸部に接する面に取り付けられた、筋電位を取得するための筋電位センサと、
    前記本体が前記頸部に装着された状態で、超音波動画を撮影するためのプローブが前記頸部に接するように前記プローブが取り付けられるプローブ取付部と、
    を備えるセンサホルダ。