JP2022074153A

JP2022074153A - 被験者の顎運動を測定するためのシステム、プログラム、および方法

Info

Publication number: JP2022074153A
Application number: JP2022006480A
Authority: JP
Inventors: 基文十河; Motofumi Sogo; 善之木戸; Yoshiyuki Kido; 一徳野▲崎▼; Kazunori Nozaki; 一典池邉; Kazunori Ikebe; 哲山口; Satoru Yamaguchi; 雅也西願; Masaya Saigan
Original assignee: ICAT KK; Osaka University NUC
Current assignee: ICAT KK; Osaka University NUC
Priority date: 2019-11-08
Filing date: 2022-01-19
Publication date: 2022-05-17
Also published as: WO2021090921A1; JP7037159B2; JPWO2021090921A1

Abstract

【課題】被験者の顎運動を簡易に測定することが可能なシステム等を提供すること。【解決手段】本発明は、顎運動を測定するためのシステムを提供し、前記システムは、顎運動中の被験者の顔の連続した複数の画像を取得すること（ステップＳ８０１）と、前記被験者の顔の座標系を少なくとも補正すること（ステップＳ８０２）と、前記顔の下顎領域内の運動点を少なくとも抽出すること（ステップＳ８０３）と、前記運動点を追跡することによって、前記運動点の軌跡を示す運動点軌跡情報を少なくとも生成すること（ステップＳ８０４）とを行うように構成されている。【選択図】図８

Description

本発明は、被験者の顎運動を測定するためのシステム、プログラム、および方法に関する。さらに、被験者の顎運動を測定するために利用される運動点軌跡学習済モデルを構築するためのシステム、プログラム、および方法にも関する。

歯科分野における診断行為の１つとして、顎運動の評価が挙げられる。顎運動には、咀嚼していない状況（非機能時）で顎骨の可動範囲を確認する「限界運動測定」と、咀嚼時（機能時）の下顎運動（咀嚼運動）を測定する「咀嚼時顎運動測定」がある。歯科医療現場では、顎関節症の患者や、歯の欠損補綴が必要な患者などに適用されている。

特許文献１は、顎運動を測定するための手法を開示している。この手法では、患者にヘッドフレームおよび下顎マーカー具を固定する必要がある。特許文献１に示されるような従来の顎運動を測定するための手法では、測定のために必要な器具を患者に装着するために、患者は病院に直接出向く必要があった。これは、患者および医師等にとって大きな負担および手間となり得る。さらに、これらの器具はいずれも専用品であり、非常に高価でコスト高であり得る。

特開２００２－３３６２８２号公報

本発明は、被験者の顎運動を簡易に測定することが可能なシステム等を提供することを目的とする。

本発明の一実施形態において、顎運動を測定するためのシステムは、顎運動中の被験者の顔の連続した複数の画像を取得する取得手段と、前記被験者の顔の座標系を少なくとも補正する補正手段と、前記顔の下顎領域内の運動点を少なくとも抽出する抽出手段と、前記運動点を追跡することによって、前記運動点の軌跡を示す運動点軌跡情報を少なくとも生成する生成手段とを備える。

一実施形態において、前記抽出手段は、前記顔の下顎領域内の運動点を抽出する第１の抽出手段と、前記複数の画像から前記顔の上顔面領域内の固定点を抽出する第２の抽出手段とを備え、前記補正手段は、前記固定点と、事前に定義された顔基準位置テンプレートとに基づいて、前記座標系を補正する。

一実施形態において、前記第１の抽出手段は、前記複数の画像において複数の特徴部分を抽出し、前記複数の特徴部分のうち、所定期間内の座標変化が所定の範囲内の特徴部分を運動点として抽出し、前記第２の抽出手段は、前記複数の特徴部分のうち、所定期間内の座標変化が所定の閾値未満の特徴部分を固定点として抽出する

一実施形態において、前記補正手段は、前記被験者の顔の座標系を補正する第１の補正手段と、前記固定点を追跡することによって、固定点の軌跡を示す固定点軌跡情報を生成する第２の生成手段と、前記固定点軌跡情報に基づいて、前記運動点軌跡情報を補正する第２の補正手段とを備える。

一実施形態において、前記補正手段は、複数の被験者の顔の基準座標系を学習する処理を施された基準座標系学習済モデルであって、前記基準座標系学習済モデルは、入力された画像中の被験者の顔の座標系を前記基準座標系に補正するように構成されている、基準座標系学習済モデルを備える。

一実施形態において、前記基準座標系学習済モデルは、入力された画像中の被験者の顔の座標系と、前記基準座標系との差分をとることと、前記差分に基づいて、前記入力された画像を変換処理することとによって前記座標系を補正する。

一実施形態において、前記変換処理は、アフィン変換を含む。

一実施形態において、前記抽出手段は、前記複数の画像において複数の特徴部分を抽出し、前記複数の特徴部分のうち、所定期間内の座標変化が所定の範囲内のピクセルを運動点として抽出する。

一実施形態において、前記補正手段は、前記被験者の顔のベース顔モデルを生成するベース顔モデル生成手段と、前記複数の画像中の前記被験者の顔を前記ベース顔モデルに反映させることにより、前記被験者の顎運動顔モデルを生成する顎運動顔モデル生成手段とを備え、前記補正手段は、前記ベース顔モデルの座標系に基づいて、前記顎運動顔モデルの座標系を補正することにより、前記座標系を補正する。

一実施形態において、前記抽出手段は、前記顎運動顔モデルまたは前記ベース顔モデルにおける運動点を抽出する。

一実施形態において、本発明のシステムは、前記生成された運動点軌跡情報に少なくとも基づいて、前記被験者の顎運動の評価を示す顎運動評価情報を生成する評価手段をさらに備える。

一実施形態において、本発明のシステムは、前記被験者の前記下顎領域に設置されるように構成された標点をさらに備え、前記抽出手段は、前記複数の画像中の前記標点を運動点として抽出する。

一実施形態において、前記被験者の前記上顔面領域に設置されるように構成された標点をさらに備え、前記第２の抽出手段は、前記複数の画像中の前記標点を固定点として抽出する。

一実施形態において、前記標点は、前記標点上の特定点を表すように構成されている。

本発明の一実施形態において、顎運動を測定するためのプログラムは、プロセッサ部を備えるシステムにおいて実行され、前記プログラムは、顎運動中の被験者の顔の連続した複数の画像を取得することと、前記被験者の顔の座標系を少なくとも補正することと、前記顔の下顎領域内の運動点を少なくとも抽出することと、前記運動点を追跡することによって、前記運動点の軌跡を示す運動点軌跡情報を少なくとも生成することとを含む処理を前記プロセッサ部に行わせる。

本発明の一実施形態において、顎運動を測定するための方法は、顎運動中の被験者の顔の連続した複数の画像を取得することと、前記被験者の顔の座標系を少なくとも補正することと、前記顔の下顎領域内の運動点を少なくとも抽出することと、前記運動点を追跡することによって、前記運動点の軌跡を示す運動点軌跡情報を少なくとも生成することとを含む。

本発明の一実施形態において、顎運動を測定するためのシステムは、顎運動中の被験者の顔の連続した複数の画像を取得する取得手段と、前記複数の画像に基づいて、前記顔の下顎領域内の運動点を少なくとも抽出する抽出手段と、前記運動点を追跡することによって、前記運動点の軌跡を示す運動点軌跡情報を少なくとも生成する生成手段と、前記運動点軌跡情報に少なくとも基づいて、前記被験者の顎運動の評価を示す顎運動評価情報を生成する評価手段であって、前記評価手段は、複数の被験者の運動点軌跡情報を学習する処理を施された運動点軌跡学習済モデルを備え、前記運動点軌跡学習済モデルは、入力された運動点軌跡情報を顎運動の評価と相関させるように構成されている、評価手段とを備える。

本発明の一実施形態において、顎運動を測定するためのプログラムは、プロセッサ部を備えるシステムにおいて実行され、前記プログラムは、顎運動中の被験者の顔の連続した複数の画像を取得することと、前記複数の画像に基づいて、前記顔の下顎領域内の運動点を少なくとも抽出することと、前記運動点を追跡することによって、前記運動点の軌跡を示す運動点軌跡情報を少なくとも生成することと、複数の被験者の運動点軌跡情報を学習する処理を施された運動点軌跡学習済モデルを利用して、前記運動点軌跡情報に少なくとも基づいて、前記被験者の顎運動の評価を示す顎運動評価情報を生成することであって、前記運動点軌跡学習済モデルは、入力された運動点軌跡情報を顎運動の評価と相関させるように構成されている、こととを含む処理を前記プロセッサ部に行わせる。

本発明の一実施形態において、顎運動を測定するための方法は、顎運動中の被験者の顔の連続した複数の画像を取得することと、前記複数の画像に基づいて、前記顔の下顎領域内の運動点を少なくとも抽出することと、前記運動点を追跡することによって、前記運動点の軌跡を示す運動点軌跡情報を少なくとも生成することと、複数の被験者の運動点軌跡情報を学習する処理を施された運動点軌跡学習済モデルを利用して、前記運動点軌跡情報に少なくとも基づいて、前記被験者の顎運動の評価を示す顎運動評価情報を生成することであって、前記運動点軌跡学習済モデルは、入力された運動点軌跡情報を顎運動の評価と相関させるように構成されている、こととを含む。

本発明の一実施形態において、被験者の顎運動を測定するために利用される運動点軌跡学習済モデルを構築するためのシステムは、複数の被験者の運動点を追跡することによって得られた運動点の軌跡を示す運動点軌跡情報を少なくとも取得する取得手段と、少なくとも前記複数の被験者の前記運動点軌跡情報を入力用教師データとした学習処理により、運動点軌跡学習済モデルを構築する構築手段とを備える。

一実施形態において、前記学習処理は、教師あり学習であり、前記取得手段は、前記複数の被験者の顎運動の評価を取得し、前記取得された顎運動の評価が出力用教師データとして利用される。

一実施形態において、前記学習処理は、教師なし学習であり、本発明のシステムは、前記構築された運動点軌跡学習済モデルの出力を分類する分類手段をさらに備える。

本発明の一実施形態において、被験者の顎運動を測定するために利用される運動点軌跡学習済モデルを構築するためのプログラムは、プロセッサ部を備えるシステムにおいて実行され、前記プログラムは、複数の被験者の運動点を追跡することによって得られた運動点の軌跡を示す運動点軌跡情報を少なくとも取得することと、少なくとも前記複数の被験者の前記運動点軌跡情報を入力用教師データとした学習処理により、運動点軌跡学習済モデルを構築することとを含む処理を前記プロセッサ部に行わせる。

一実施形態において、被験者の顎運動を測定するために利用される運動点軌跡学習済モデルを構築するための方法は、複数の被験者の運動点を追跡することによって得られた運動点の軌跡を示す運動点軌跡情報を少なくとも取得することと、少なくとも前記複数の被験者の前記運動点軌跡情報を入力用教師データとした学習処理により、運動点軌跡学習済モデルを構築することとを含む。

本発明によれば、被験者の顎運動を簡易に測定することが可能なシステム等を提供することができる。ユーザは、本発明のシステムを用いることにより、場所を問わずに、例えば、医療機関以外にも、会社、自宅等で顎運動を測定することができるようになる。

本発明の一実施形態を用いて、患者の顎運動を簡易に測定するためのフロー１０の一例を示す図被験者の顎運動を測定するためのコンピュータシステム１００の構成の一例を示す図一実施形態におけるプロセッサ部１２０の構成の一例を示す図抽出手段１２２による顔の複数の特徴部分の抽出の結果の一例を示す図顔とカメラとの角度をずらした場合の動画における２つのフレームについて、Ｏｐｅｎｆａｃｅを用いて顔の特徴部分を抽出した結果を比較した図一実施形態におけるプロセッサ部１３０の構成の一例を示す図別の実施形態におけるプロセッサ部１４０の構成の一例を示す図別の実施形態におけるプロセッサ部１５０の構成の一例を示す図別の実施形態におけるプロセッサ部１６０の構成の一例を示す図評価手段１６１が利用し得るニューラルネットワークモデル１６１０の構造の一例を示す図被験者の顎運動を測定するためのコンピュータシステム１００による処理の一例（処理８００）を示すフローチャート被験者の顎運動を測定するためのコンピュータシステム１００による処理の別の例（処理９００）を示すフローチャート被験者の顎運動を測定するためのコンピュータシステム１００による処理の別の例（処理１０００）を示すフローチャート標点の一例を示す図標点の一例を示す図

（定義）
本明細書において「下顎領域」は、顔の下顎骨上の領域のことをいう。

本明細書において「上顔面領域」は、顔の下顎領域以外の領域のことをいう。すなわち、顔の領域は、「下顎領域」と「上顔面領域」とに二分される。

本明細書において「顔の座標系」とは、顔において定義された座標系のことをいう。「顔の座標系」は、例えば、水平系（ｘ軸）と、矢状系（ｙ軸）と、冠状系（ｚ軸）とからなる。「顔の座標系」における水平系は、例えば、眼耳平面（フランクフルト平面）、鼻聴導線（もしくはカンペル平面）、ヒップ平面、咬合平面、または、両瞳孔線等に沿って定義される。「顔の座標系」の矢状系は、例えば、正中線、または、正中矢状平面等に沿って定義される。「顔の座標系」の冠状系は、例えば、眼窩平面等に沿って定義される。水平系、矢状系、および冠状系を定義する平面または線は、上述したものに限定されず、任意の平面または線に沿って定義され得る。

本明細書において「顔の基準座標系」とは、正面を向いた人間が通常有する顔の座標系のことをいう。「顔の基準座標系」は、複数の顔の画像を学習することによって導出される。

本明細書において「運動点」とは、顎運動によって運動する部位上の点または領域のことをいう。

本明細書において「固定点」とは、顎運動によっては運動しない部位上の点または領域のことをいう。

本明細書において「ベース顔モデル」とは、顔の３次元モデルのことをいい、いわゆる「３Ｄアバター」である。実際の顎運動を撮影した動画から抽出された特徴部分の動きを「ベース顔モデル」に対して反映させると、実際の顎運動を反映した「顎運動顔モデル」となる。「顎運動顔モデル」は、いわゆる、動画中の顎運動に合わせて「動く３Ｄアバター」である。

本明細書において「約」とは、後に続く数値の±１０％を意味する。

以下、図面を参照しながら、本発明の実施の形態を説明する。

１．患者の顎運動を簡易に測定するためのフロー
図１は、本発明の一実施形態を用いて、患者の顎運動を簡易に測定するためのフロー１０の一例を示す。フロー１０は、歯科医が、患者２０が咀嚼している様子を動画で撮影するだけで、患者２０の顎運動が測定され（すなわち、咀嚼時顎運動測定が行われ）、顎運動の測定結果が歯科医に提供されるというものである。

はじめに、歯科医が、端末装置３００（例えば、スマートフォン、タブレット等）を用いて、患者２０が咀嚼している様子を動画で撮影する。なお、動画は、連続した複数の画像（静止画）であると見なせるため、本明細書では、「動画」と「連続した複数の画像」とは同義に用いられる。

ステップＳ１では、撮影された動画が、サーバ装置３０に提供される。動画がサーバ装置３０に提供される態様は問わない。例えば、動画は、ネットワーク（例えば、インターネット、ＬＡＮ等）を介してサーバ装置３０に提供され得る。例えば、動画は、記憶媒体（例えば、リムーバブルメディア）を介してサーバ装置３０に提供され得る。

次いで、サーバ装置３０において、ステップＳ１で提供された動画に対する処理が行われる。サーバ装置３０による処理により、患者２０の顎運動の測定結果が生成される。顎運動の測定結果は、例えば、顎運動の軌跡を表す情報であり得る。あるいは、顎運動の測定結果は、例えば、顎運動の軌跡を表す情報に基づいて生成された患者２０の顎運動を評価した顎運動評価情報であり得る。顎運動評価情報は、例えば、顎運動の軌跡が正常なパターンであるか否かの情報を含む。

ステップＳ２では、サーバ装置３０で生成された顎運動の測定結果が、歯科医に提供される。顎運動の測定結果が提供される態様は問わない。例えば、顎運動の測定結果は、ネットワークを介して提供されてもよいし、記憶媒体を介して提供されてもよい。あるいは、例えば、顎運動の測定結果は、紙媒体を介して提供されてもよい。

歯科医は、ステップＳ２で提供された患者２０の顎運動の測定結果を確認する。

このように、歯科医は、特有の器具を必要とすることなく、端末装置３００で患者２０の咀嚼の様子を撮影するだけで、患者２０の顎運動を簡易に測定することができる。

上述した例では、フロー１０において、咀嚼時顎運動測定を行うことを説明したが、本発明は、これに限定されない。例えば、フロー１０において、限界運動測定を行うこともできる。これは、例えば、歯科医が、端末装置３００を用いて、患者２０が顎を大きく動かした様子（例えば、大きく口を開けた様子、顎を前に出した様子等）を動画で撮影し、撮影された動画をサーバ装置３０で処理することによって達成され得る。

上述した例では、歯科医が、患者２０の顎運動の動画を撮影するだけで、顎運動の測定結果の提供を受けることができるフロー１０を説明したが、本発明は、これに限定されない。例えば、患者２０が、自身の端末装置３００を用いて、自身が咀嚼している様子を動画で撮影するだけで、あるいは、患者２０が、別の人に、端末装置３００を用いて、自身が咀嚼している様子を動画で撮影してもらうだけで、患者２０の顎運動の測定結果が、医師、歯科医、介護者、または患者２０の家族あるいは患者２０本人に提供されるというフローも可能である。

なお、上述したサーバ装置３０による処理を端末装置３００で行うことも可能である。この場合は、サーバ装置３０が省略され得、端末装置３００は、スタンドアローンで動くことができる。患者２０の顎運動の測定結果が、医師、歯科医、介護者、または家族に提供される上述した例では、端末装置３００からサーバ装置３０を介することなく、顎運動の測定結果が病院の医師もしくは歯科医、または、介護者、または、患者の２０の家族あるいは患者２０本人に提供され得る。

上述したフロー１０は、後述する本発明のコンピュータシステム１００を利用して実現され得る。

２．被験者の顎運動を測定するためのコンピュータシステムの構成
図２は、被験者の顎運動を測定するためのコンピュータシステム１００の構成の一例を示す。

コンピュータシステム１００は、データベース部２００に接続されている。また、コンピュータシステム１００は、少なくとも１つの端末装置３００にネットワーク４００を介して接続され得る。

ネットワーク４００は、任意の種類のネットワークであり得る。ネットワーク４００は、例えば、インターネットであってもよいし、ＬＡＮであってもよい。ネットワーク４００は、有線ネットワークであってもよいし、無線ネットワークであってもよい。

コンピュータシステム１００の一例は、サーバ装置であるが、これに限定されない。端末装置３００の一例は、ユーザが保持するコンピュータ（例えば、端末装置）、または、病院に設置されているコンピュータ（例えば、端末装置）であるが、これに限定されない。ここで、コンピュータ（サーバ装置または端末装置）は、任意のタイプのコンピュータであり得る。例えば、端末装置は、スマートフォン、タブレット、パーソナルコンピュータ、スマートグラス等の任意のタイプの端末装置であり得る。

コンピュータシステム１００は、インターフェース部１１０と、プロセッサ部１２０と、メモリ１７０部とを備える。

インターフェース部１１０は、コンピュータシステム１００の外部と情報のやり取りを行う。コンピュータシステム１００のプロセッサ部１２０は、インターフェース部１１０を介して、コンピュータシステム１００の外部から情報を受信することが可能であり、コンピュータシステム１００の外部に情報を送信することが可能である。インターフェース部１１０は、任意の形式で情報のやり取りを行うことができる。

インターフェース部１１０は、例えば、コンピュータシステム１００に情報を入力することを可能にする入力部を備える。入力部が、どのような態様でコンピュータシステム１００に情報を入力することを可能にするかは問わない。例えば、入力部がタッチパネルである場合には、ユーザがタッチパネルにタッチすることによって情報を入力するようにしてもよい。あるいは、入力部がマウスである場合には、ユーザがマウスを操作することによって情報を入力するようにしてもよい。あるいは、入力部がキーボードである場合には、ユーザがキーボードのキーを押下することによって情報を入力するようにしてもよい。あるいは、入力部がマイクである場合には、ユーザがマイクに音声を入力することによって情報を入力するようにしてもよい。あるいは、入力部がカメラである場合には、カメラが撮像した情報を入力するようにしてもよい。あるいは、入力部がデータ読み取り装置である場合には、コンピュータシステム１００に接続された記憶媒体から情報を読み取ることによって情報を入力するようにしてもよい。あるいは、入力部が受信器である場合、受信器がネットワーク４００を介してコンピュータシステム１００の外部から情報を受信することにより入力してもよい。

インターフェース部１１０は、例えば、コンピュータシステム１００から情報を出力することを可能にする出力部を備える。出力部が、どのような態様でコンピュータシステム１００から情報を出力することを可能にするかは問わない。例えば、出力部が表示画面である場合、表示画面に情報を出力するようにしてもよい。あるいは、出力部がスピーカである場合には、スピーカからの音声によって情報を出力するようにしてもよい。あるいは、出力部がデータ書き込み装置である場合、コンピュータシステム１００に接続された記憶媒体に情報を書き込むことによって情報を出力するようにしてもよい。あるいは、出力部が送信器である場合、送信器がネットワーク４００を介してコンピュータシステム１００の外部に情報を送信することにより出力してもよい。この場合、ネットワークの種類は問わない。例えば、送信器は、インターネットを介して情報を送信してもよいし、ＬＡＮを介して情報を送信してもよい。

例えば、出力部は、コンピュータシステム１００によって生成された運動点軌跡情報を出力することができる。例えば、出力部は、コンピュータシステム１００によって生成された顎運動評価情報を出力することができる。

プロセッサ部１２０は、コンピュータシステム１００の処理を実行し、かつ、コンピュータシステム１００全体の動作を制御する。プロセッサ部１２０は、メモリ部１７０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータシステム１００を所望のステップを実行するシステムとして機能させることが可能である。プロセッサ部１２０は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。

メモリ部１７０は、コンピュータシステム１００の処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等を格納する。メモリ部１７０は、被験者の顎運動を測定するための処理をプロセッサ部１２０に行わせるためのプログラム（例えば、後述する図８、図９に示される処理を実現するプログラム）、および、被験者の顎運動を測定するために利用される運動点軌跡学習済モデルを構築するための処理（例えば、後述する図１０に示される処理を実現するプログラム）を格納してもよい。ここで、プログラムをどのようにしてメモリ部１７０に格納するかは問わない。例えば、プログラムは、メモリ部１７０にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部１７０にインストールされるようにしてもよい。この場合、ネットワークの種類は問わない。メモリ部１７０は、任意の記憶手段によって実装され得る。

データベース部２００には、例えば、複数の被験者のそれぞれについて、顎運動中の被験者の顔の連続した複数の画像が格納され得る。顎運動中の被験者の顔の連続した複数の画像は、例えば、端末装置３００からネットワーク４００を介してデータベース部２００に送信されたものであってもよいし、例えば、コンピュータシステム１００が備える撮影手段によって撮影されたものであってもよい。複数の被験者の顎運動中の顔の連続した複数の画像は、後述する顔基準座標系学習済モデルを構築するために利用され得る。

データベース部２００には、例えば、複数の被験者のそれぞれについて、顎運動中の顔の連続した複数の画像またはそれらの画像から導出された運動点軌跡情報と、その被験者の顎運動の評価とが関連付けて格納され得る。格納されたデータは、後述する運動点軌跡学習済モデルを構築するために利用され得る。

また、データベース部２００には、例えば、コンピュータシステム１００によって出力された運動点軌跡情報、または顎運動評価情報が格納され得る。

端末装置３００は、少なくとも、カメラ等の撮影手段を備える。撮影手段は、少なくとも連続した複数の画像を撮影することが可能である限り、任意の構成を備え得る。撮影手段は、顎運動中の被験者の顔の連続した複数の画像を撮影するために利用される。撮影される画像は、２次元情報（縦×横）を含む画像であってもよいし、３次元情報（縦×横×奥行）を含む画像であってもよい。

図３は、一実施形態におけるプロセッサ部１２０の構成の一例を示す。

プロセッサ部１２０は、取得手段１２１と、抽出手段１２２と、生成手段１２３とを備える。

取得手段１２１は、顎運動中の被験者の顔の連続した複数の画像を取得するように構成されている。取得手段１２１は、例えば、データベース部２００に格納されている顎運動中の被験者の顔の連続した複数の画像をインターフェース部１１０を介して取得することができる。あるいは、取得手段１２１は、例えば、インターフェース部１１０を介して端末装置３００から受信された連続した複数の画像を取得することができる。

取得手段１２１は、後述する運動点軌跡学習済モデルを構築するために、複数の被験者の運動点を追跡することによって得られた運動点の軌跡を示す運動点軌跡情報を取得するように構成されてもよい。運動点軌跡情報は、例えば、本発明のコンピュータシステム１００を用いて取得された運動点軌跡情報であってもよいし、公知の任意の顎運動測定装置から得られた運動点軌跡情報であってもよい。取得手段１２１は、例えば、データベース部２００に格納されている運動点軌跡情報をインターフェース部１１０を介して取得することができる。取得手段１２１は、さらに、後述する運動点軌跡学習済モデルを構築するために、複数の被験者の顎運動の評価を取得するように構成されてもよい。取得手段１２１は、例えば、データベース部２００に格納されている顎運動の評価をインターフェース部１１０を介して取得することができる。

抽出手段１２２は、顔の下顎領域内の運動点を少なくとも抽出するように構成されている。抽出手段１２２は、例えば、取得手段１２１が取得した画像から運動点を抽出することができる。抽出手段１２２は、例えば、後述する補正手段１３１による出力から運動点を抽出することができる。抽出手段１２２は、例えば、画像中の運動点がどこであるかの入力を受け、その入力に基づいて、運動点を抽出するようにしてもよいし、入力を受けることなく、自動的に運動点を抽出するようにしてもよい。抽出手段１２２は、例えば、顔の正中線上の点または領域を運動点として自動的に抽出することができる。顔の下顎領域内の正中線上の点は、顎運動によって大きく動くため、顎運動を評価するために好適である。抽出手段１２２は、例えば、下顎の先端の点を運動点として自動的に抽出するようにしてもよい。

一実施形態において、抽出手段１２２が運動点を自動的に抽出する場合、抽出手段１２２は、まず、複数の画像の各々に対して、顔の複数の特徴部分を検出する。顔の複数の特徴部分のうちの１つは、例えば、画像中の１以上のピクセルとして表現され得る。顔の複数の特徴部分は、例えば、目、眉毛、鼻、口、眉間、顎、耳、喉、輪郭等に該当する部分であり得る。抽出手段１２２による顔の複数の特徴部分の抽出は、例えば、複数の被験者の顔画像を用いて特徴部分を学習する処理を施された学習済モデルを用いて行うことができる。一例において、抽出手段１２２による顔の複数の特徴部分の抽出は、顔認識アプリケーション「Ｏｐｅｎｆａｃｅ」を用いて行うことができる（Tadas Baltrusaitis, Peter Robinson, Louis-Philippe Morency、「OpenFace: an open source facial behavior analysis toolkit」、2016 IEEE Winter Conference on Applications of Computer Vision (WACV)、pp.1-10、2016）。「Ｏｐｅｎｆａｃｅ」は、顔の２次元情報（縦×横）を含む画像から顔の３次元情報（縦×横×奥行）を出力できるソフトウェアである。

抽出手段１２２は、例えば、画像に対して色強調処理を行い、色調が周囲と異なる部分を特徴部分として抽出するようにしてもよい。これは、眉毛等の周囲と色調が明確に異なる部分を抽出する際に特に好ましい。

図４は、抽出手段１２２による顔の複数の特徴部分の抽出の結果の一例を示す。抽出手段１２２は、顔認識アプリケーション「Ｏｐｅｎｆａｃｅ」を用いて、顔の複数の特徴部分を抽出している。抽出された複数の特徴部分のそれぞれが、黒点４０００で表示されている。「Ｏｐｅｎｆａｃｅ」では、輪郭が特徴部分として抽出され、輪郭内部の目立つ特徴がない部分（例えば、頬、口と顎との間等）を抽出することはできない。

抽出手段１２２は、抽出された複数の特徴部分のうち、下顎領域内の点４１００を運動点として抽出する。抽出手段１２２は、例えば、抽出された複数の特徴部分のうち、所定期間内の座標変化が所定の範囲内の部分を運動点として抽出することができる。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。所定範囲は、例えば、約５ｍｍ～約２０ｍｍの範囲等であり得る。これにより、顎運動による運動以外で座標変化している特徴部分を誤って運動点として抽出することを回避することができる。例えば、被験者を撮影する際の被験者の身体の大きな動きを誤って抽出することを回避することができる。

例えば、図４に示されるように、下顎領域内の下顎の下端の運動点４１００が抽出され得る。

再び図３を参照して、生成手段１２３は、運動点を追跡することによって、運動点の軌跡を示す運動点軌跡情報を少なくとも生成するように構成されている。運動点軌跡情報は、所定期間内の運動点の軌跡を示す情報である。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。生成手段１２３は、例えば、連続した複数の画像の各々における運動点の画像中の座標を特定し、連続した複数の画像間で座標をトレースすることによって、運動点軌跡情報を生成することができる。このとき、運動点の座標は、２次元座標であってもよいし、３次元座標であってもよい。画像が２次元情報（縦×横）を含む画像である場合には、運動点の座標は２次元座標となり、画像が３次元情報（縦×横×奥行）を含む画像である場合には、運動点の座標は３次元座標となる。あるいは、画像が２次元情報（縦×横）を含む画像であっても、２次元画像から３次元情報（縦×横×奥行）を出力するアルゴリズムを利用する場合には、運動点の座標は３次元座標となり得る。

生成された運動点軌跡情報は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。

上述した抽出手段１２２による顔の複数の特徴部分の抽出では、連続した複数の画像の各々において、顔上の同一の点を抽出することが難しい場合がある。例えば、上述したＯｐｅｎｆａｃｅでは、連続した複数の画像の各々で独立して特徴部分を抽出するため、連続した複数の画像のうちの第１の画像で抽出された特徴部分と、連続した複数の画像のうちの第２の画像で抽出された特徴部分とが同一であるとは限らない。さらに、Ｏｐｅｎｆａｃｅでは、目、眉毛、鼻、口、眉間、顎、耳、喉、輪郭等が特徴部分として抽出されるため、例えば、輪郭上の点を下顎領域に対応する特徴部分とする場合には、連続した複数の画像の撮影中に被験者の身体が動いたり、傾いたりすると、画像内の被写体の顔の輪郭が変わり、抽出される特徴部分も変わる。これにより、抽出される顔の複数の特徴部分は、連続した複数の画像間でずれることとなる。

図５は、顔とカメラとの角度をずらした場合の動画における２つのフレームについて、Ｏｐｅｎｆａｃｅを用いて顔の特徴部分を抽出した結果を比較した図である。図５において、白線は、鼻筋の延長線であり、黒点が抽出された特徴部分である。矢印で示される下顎上の特徴部分と白線との間の距離が、２つのフレームで異なっていることから、抽出された特徴部分が、２つのフレームで同一ではないことが確認される。

このように、連続した複数の画像間で抽出される特徴部分が異なると、特徴部分に基づいて抽出される運動点も、連続した複数の画像間で異なるようになる。これでは、正確な運動点軌跡情報を生成することができなくなる。従って、連続した複数の画像間で、抽出される運動点が異ならないように、撮影中の被験者の動きや傾きを補正することが好ましい。

例えば、被験者の下顎領域に標点を設置することにより、抽出手段１２２は、下顎領域に設置された標点を認識することによって、運動点を抽出するようにしてもよい。標点は、例えば、シールであってもよいし、インクであってもよい。抽出手段１２２が、標点を運動点として抽出することにより、抽出される運動点は、連続した複数の画像間で同一になり得る。

一実施形態において、標点は、標点上の特定点を表すように構成され得る。標点がある程度の大きさを有すると、抽出手段１２２によって連続した複数の画像のそれぞれから認識される標点が、連続した複数の画像間でわずかにずれることがある。抽出手段１２２が、標点内の任意の点を認識してしまうからである。これでは、抽出される運動点が、連続した複数の画像間でわずかに異なってしまい、これは、運動点軌跡情報の誤差につながり得る。抽出手段１２２が、標点上の特定点を認識するようにすることで、認識される標点のずれを無くすことができ、抽出される運動点を、連続した複数の画像間で同一にすることができる。特定点は、抽出手段１２２によって点として認識される大きさであることが好ましい。

例えば、標点は、特定点を表す模様を有することができる。模様は、例えば、ドット模様（例えば、図１１Ａに示されるようなＡＲマーカー（例えば、ＡｒＵｃｏマーカー）、ＱＲコード（登録商標）等）であり得る。ドット模様は、各ドットの角または模様の中心を特定点として表している。模様は、例えば、機械製図における重心記号（例えば、図１１Ｂに示されるような、円形を４等分して塗り分けた記号）であり得る。機械製図における重心記号は、その中心を特定点として表している。例えば、標点は、色分けされる（例えば、特定点の色を標点の他の部分の色の補色とする、または、特定点の色を肌色の補色とする）ことにより、特定点を表すようにしてもよい。例えば、標点は、その大きさを十分に小さくすることにより、特定点を表すようにしてもよい。

例えば、標点が有する模様がドット模様である場合、ドット模様上の少なくとも４点を認識することにより、標点の３次元座標を導出することができる。３次元座標の導出は、ＡＲ（拡張現実）の分野等で公知の技術を用いて達成することができる。標点の３次元座標は、運動点の３次元座標に相当することになる。

なお、抽出手段１２２は、「Ｏｐｅｎｆａｃｅ」以外のアプリケーションを用いて特徴部分を抽出するようにしてもよい。例えば、複数の画像間で一貫した特徴部分を抽出することができるアプリケーションであることが好ましい。これにより、上述した標点を用いる場合と同様の効果、すなわち、抽出される運動点が、連続した複数の画像間で同一になり得るという効果を得られるからである。また、抽出手段１２２は、例えば、顔の３次元情報（縦×横×奥行）を含む画像から特徴部分を抽出することも可能である。抽出手段１２２が、顔の３次元情報（縦×横×奥行）を含む画像から特徴部分を抽出することによっても、抽出される運動点は、連続した複数の画像間で同一になり得る。

このように、抽出手段１２２が、標点を運動点として抽出する、または、複数の画像間で一貫した特徴部分を抽出することができるアプリケーションを用いて特徴部分を抽出する、または、顔の３次元情報を含む画像から特徴部分を抽出することにより、抽出される運動点は、連続した複数の画像間で同一になり得る。しかしながら、これらの場合であっても、撮影中の被験者の動きや傾きが存在すると、運動点の軌跡に被験者の動きや傾きが含まれることになり、正確な運動点軌跡情報を生成することができなくなる。従って、撮影中の被験者の動きや傾きを補正することが好ましい。

図６Ａは、一実施形態におけるプロセッサ部１３０の構成の一例を示す。プロセッサ部１３０は、連続した複数の画像間で、抽出される運動点が異ならないように補正をするための構成を有し得る。プロセッサ部１３０は、上述したプロセッサ部１２０の代替としてコンピュータシステム１００が備えるプロセッサ部である。図６Ａでは、図３に示される要素と同一の要素に同じ参照番号を付し、ここでは説明を省略する。

プロセッサ部１３０は、取得手段１２１と、補正手段１３１と、抽出手段１２２と、生成手段１２３とを備える。

補正手段１３１は、取得手段１２１によって取得された複数の画像に基づいて、被験者の顔の座標系を少なくとも補正するように構成されている。

一実施形態において、補正手段１３１は、複数の画像の各々で被験者の顔の座標系が一致するように、複数の画像の各々について、被験者の顔の座標系を補正することができる。補正手段１３１は、例えば、複数の画像の各々をアフィン変換することにより、顔の座標系を補正することができる。複数の画像が３次元情報（縦×横×奥行）を含む画像である場合には、３次元のアフィン変換が行われ得る。これにより、複数の画像の各々から抽出される運動点が、複数の画像間で一致するようになる。

別の実施形態において、補正手段１３１は、複数の被験者の顔の基準座標系を学習する処理を施された基準座標系学習済モデルを利用して、複数の画像の各々について、被験者の顔の座標系を補正することができる。基準座標系学習済モデルは、入力された画像中の被験者の顔の座標系を基準座標系に補正した画像を出力するように構成されている。基準座標系学習済モデルは、任意の機械学習モデルを用いて構築することができる。

基準座標系学習済モデルは、例えば、教師あり学習によって構築され得る。教師あり学習では、例えば、被験者の顔の画像が入力用教師データとして用いられ、その画像における基準座標系が出力用教師データとして用いられ得る。複数の被験者（例えば、少なくとも５０人分）の複数の画像を繰り返し学習することにより、学習済モデルは、複数の被験者の顔が統計上有すると推定される基準座標系を認識することができるようになる。このような学習済モデルに被験者の顔の画像を入力すると、被験者の顔の座標系と基準座標系との差分が出力されるようになる。例えば、被験者の顔の座標系と基準座標系との差分をゼロにまたは所定の閾値未満にするように、入力された画像を変換処理（例えば、拡縮、回転、剪断、平行移動等）するように学習済モデルを構成することによって、基準座標系学習済モデルが生成され得る。画像の変換処理は、例えば、アフィン変換を利用して行われ得る。

基準座標系学習済モデルは、例えば、教師なし学習によって構築され得る。教師なし学習では、例えば、複数の被験者の顔の画像が入力用教師データとして用いられ得る。複数の被験者の多数の画像を繰り返し学習することにより、学習済モデルは、多くの画像に共通する顔の座標系を、複数の被験者が統計上有すると推定される基準座標系として認識することができるようになる。このような学習済モデルに被験者の顔の画像を入力すると、被験者の顔の座標系と基準座標系との差分が出力されるようになる。例えば、被験者の顔の座標系と基準座標系との差分をゼロにまたは所定の閾値未満にするように、入力された画像を変換処理（例えば、拡縮、回転、剪断、平行移動等）するように学習済モデルを構成することによって、基準座標系学習済モデルが生成され得る。画像の変換処理は、例えば、アフィン変換を利用して行われ得る。

入力用教師データに用いられる画像は、例えば、２次元情報（縦×横）を含む画像であってもよいが、３次元情報（縦×横×奥行）を含む画像であることが好ましい。これにより、構築される基準座標系学習済モデルが、３次元情報を含む画像を出力することができるようになるからである。３次元情報（縦×横×奥行）を含む画像は、例えば、ＲＧＢ－Ｄカメラを用いて取得され得る。２次元情報を含む画像を利用する場合には、奥行き情報を推定する処理を行い、奥行き情報を付加したうえで、学習処理に利用することが好ましい。

抽出手段１２２は、補正手段１３１によって補正された座標系において、顔の下顎領域内の運動点を抽出する。生成手段１２３は、抽出された運動点を追跡することによって、運動点の軌跡を示す運動点軌跡情報を生成する。複数の画像の各々から抽出される運動点は、それぞれ同一の座標系において取得されるため、生成される運動点軌跡情報は、より正確な情報となる。

図６Ｂは、別の実施形態におけるプロセッサ部１４０の構成の一例を示す。プロセッサ部１４０は、顎運動においては運動しない固定点を基準として用いて、被験者の顔の座標系を補正するための構成を有し得る。プロセッサ部１４０は、上述したプロセッサ部１２０の代替としてコンピュータシステム１００が備えるプロセッサ部である。図６Ｂでは、図３、図６Ａで上述した構成要素と同じ構成要素には同じ参照数字を付し、ここでは説明を省略する。

プロセッサ部１４０は、取得手段１２１と、補正手段１３１と、抽出手段１２２と、生成手段１２３とを備える。抽出手段１２２は、第１の抽出手段１４１と、第２の抽出手段１４２とを備える。

第２の抽出手段１４２は、複数の画像に基づいて、顔の上顔面領域内の固定点を抽出するように構成されている。第２の抽出手段１４２は、例えば、画像中の固定点がどこであるかの入力を受け、その入力に基づいて、固定点を抽出するようにしてもよいし、入力を受けることなく、自動的に固定点を抽出するようにしてもよい。例えば、固定点は、顎運動によっては運動しない額、眉、眉間、鼻頭等の部位上の点または領域であり得る。例えば、固定点は、解剖学的特徴（例えば、眉、眉間、外眼角（目尻）、内眼角、瞳孔、耳珠、鼻頭等）上の点または領域であり得る。固定点は、画像上で少なくとも３ピクセルを有することが好ましく、固定点は、例えば、少なくとも３ピクセルを有する１つの領域であってもよいし、それぞれが少なくとも１ピクセルを有する３つの点であってもよい。少なくとも３ピクセルあれば、後述する補正手段１３１が、これら３つを基準として用いて、複数の画像を顔基準位置テンプレートに対応付けるように補正することができるからである。例えば、固定点は、相互に離間した少なくとも３つの点であり得、この場合、後述する補正手段１３３によって、固定点と事前に定義された顔基準位置テンプレートとに基づいて被験者の顔の座標系を補正する際に生じ得る誤差を小さくすることができる。例えば、固定点は、顔の上顔面領域の少なくとも一部を覆う領域（例えば、額を覆う曲面）であり得、この場合、後述する補正手段１３３によって、固定点と事前に定義された顔基準位置テンプレートとに基づいて被験者の顔の座標系を補正する際に生じ得る誤差を小さくすることができる。

一実施形態において、第２の抽出手段１４２が自動的に固定点を抽出する場合、第２の抽出手段１４２は、図３を参照して上述した抽出手段１２２と同様に、まず、複数の画像の各々に対して、顔の複数の特徴部分を検出する。第２の抽出手段１４２による顔の複数の特徴部分の抽出は、例えば、複数の被験者の顔画像を用いて特徴部分を学習する処理を施された学習済モデルを用いて行うことができ、例えば、顔認識アプリケーション「Ｏｐｅｎｆａｃｅ」を用いて行うことができる。第２の抽出手段１４２は、抽出された複数の特徴部分のうち、上顔面領域内の点または領域を固定点として抽出する。第２の抽出手段１４２は、例えば、抽出された複数の特徴部分のうち、所定期間内の座標変化が所定の閾値未満の部分を固定点として抽出することができる。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。所定の閾値は、例えば、約１ｍｍであり得る。第２の抽出手段１４２は、例えば、画像に対して色強調処理を行い、色調が周囲と異なる部分を特徴部分として抽出するようにしてもよい。これは、眉毛等の周囲と色調が明確に異なる部分を抽出する際に特に好ましい。

一実施形態において、被験者の上顔面領域に標点を設置することにより、第２の抽出手段１４２は、上顔面領域に設置された標点を認識することによって、固定点を抽出するようにしてもよい。本明細書および特許請求の範囲では、上顔面領域に設置される標点は、下顎領域に設置される標点と区別するために、固定点用標点とも呼ばれる。固定点用標点は、下顎領域に設置される標点と同様の構成を有することができる。固定点用標点は、例えば、シールであってもよいし、インクであってもよい。固定点用標点は、下顎領域に設置される標点とは別個に用いられてもよいが、固定点用標点は、下顎領域に設置される標点と併用されることが好ましい。

一実施形態において、固定点用標点は、固定点用標点上の特定点を表すように構成され得る。例えば、固定点用標点は、特定点を表す模様を有することができる。模様は、例えば、ドット模様（例えば、図１１Ａに示されるようなＡＲマーカー（例えば、ＡｒＵｃｏマーカー）、ＱＲコード（登録商標）等）であり得る。ドット模様は、各ドットの角または模様の中心を特定点として表している。模様は、例えば、機械製図における重心記号（例えば、図１１Ｂに示されるような、円形を４等分して塗り分けた記号）であり得る。機械製図における重心記号は、その中心を特定点として表している。例えば、固定点用標点は、色分けされる（例えば、特定点の色を標点の他の部分の色の補色とする、または、特定点の色を肌色の補色とする）ことにより、特定点を表すようにしてもよい。例えば、固定点用標点は、その大きさを十分に小さくすることにより、特定点を表すようにしてもよい。

例えば、固定点用標点が有する模様がドット模様である場合、ドット模様上の少なくとも４点を認識することにより、固定点用標点の３次元座標を導出することができる。３次元座標の導出は、ＡＲ（拡張現実）の分野等で公知の技術を用いて達成することができる。固定点用標点の３次元座標は、固定点の３次元座標に相当することになる。

補正手段１３１は、固定点と、事前に定義された顔基準位置テンプレートとに基づいて、被験者の顔の座標系を補正するように構成されている。例えば、補正手段１３１は、複数の画像の各々の固定点が、顔基準位置テンプレート上の対応する点に移動するように、複数の画像の各々を変換処理（例えば、拡縮、回転、剪断、平行移動等）する。あるいは、例えば、補正手段１３１は、複数の画像の各々の固定点と顔基準位置テンプレート上の対応する点との間の距離をゼロにまたは所定の閾値未満にするように、複数の画像の各々を変換処理する。あるいは、例えば、補正手段１３１は、複数の画像の各々の固定点によって定義される平面と顔基準位置テンプレート上の対応する平面とが一致するように、複数の画像の各々を変換処理する。変換処理後の複数の画像内の被験者の顔の座標系が、補正後の顔の座標系となる。画像の変換処理は、例えば、アフィン変換によって行われ得る。例えば、固定点が顔の上顔面領域の少なくとも一部を覆う領域（例えば、額を覆う曲面）である場合に、補正手段１３１は、当該領域と、顔基準位置テンプレート上の対応する領域との誤差が最小になるように、複数の画像の各々を変換処理することができる。これは、例えば、最小二乗法を用いて行うことができる。補正手段１３１は、例えば、固定点に加えて、運動点も利用して、被験者の顔の座標系を補正するようにしてもよい。

一例において、顔基準位置テンプレートは、顔が正面を向いている状態での顔の位置（すなわち、顔基準位置）を定義するテンプレートである。例えば、顔基準位置テンプレートは、解剖学的に定義され得る。例えば、顔基準位置テンプレートは、眼耳平面（フランクフルト平面）、鼻聴導線（もしくはカンペル平面）、ヒップ平面、咬合平面、または、両瞳孔線が水平となる状態での顔の位置を定義するテンプレートであり得る。例えば、顔基準位置テンプレートは、正中線、または、正中矢状平面が垂直となる状態での顔の位置を定義するテンプレートであり得る。例えば、顔基準位置テンプレートは、眼窩平面が正面を向く状態での顔の位置を定義するテンプレートであり得る。例えば、顔基準位置テンプレートは、眼耳平面（フランクフルト平面）、鼻聴導線（もしくはカンペル平面）、ヒップ平面、咬合平面、または、両瞳孔線が水平となる状態で、かつ／または、正中線、または、正中矢状平面が垂直となる状態で、かつ／または、眼窩平面が正面を向く状態での顔の位置を定義するテンプレートであり得る。顔基準位置テンプレートは、顔が正面を向いている状態での顔の各部位の位置を確認するために用いられることができる。例えば、補正手段１３１は、顔基準位置テンプレートにおける顔の部位の位置を確認し、その位置に複数の画像中の対応する部位（例えば、固定点が位置する部位）を移動させるように、複数の画像の各々を変換処理することができる。例えば、補正手段１３１は、顔基準位置テンプレートにおける種々の平面（例えば、フランクフルト平面、カンペル平面等）の向きを確認し、その向きに複数の画像中の対応する平面（例えば、固定点によって定義される平面）を移動させるように、複数の画像の各々を変換処理することができる。

一例において、顔基準位置テンプレートは、連続した複数の画像を撮影する際に利用されるテンプレートとして実装され得る。例えば、顔基準位置テンプレートが、端末装置３００を用いて複数の画像を撮影する際に端末装置３００の画面に表示され、被験者の顔の向きが、顔基準位置テンプレートに整合した場合にのみ、画像が撮影されるようにすることができる。これにより、撮影される複数の画像の各々における被験者の顔の写り方が一貫し、連続した複数の画像間で、抽出される運動点が異なる可能性を低減することができる。このような撮影される画像を制限することも、コンピュータシステム１００による補正の一種である。

第１の抽出手段１４１は、図３を参照して上述した抽出手段１２２と同様の構成であり得る。第１の抽出手段１４１は、補正手段１３１によって補正された座標系において、顔の下顎領域内の運動点を抽出する。生成手段１２３は、抽出された運動点を追跡することによって、運動点の軌跡を示す運動点軌跡情報を生成する。複数の画像の各々から抽出される運動点は、それぞれ同一の座標系において取得されるため、生成される運動点軌跡情報は、より正確な情報となる。

上述したように、図６Ｂに示される例では、固定点を基準として用いて顔の座標系を補正することにより、より正確な運動点軌跡情報を生成することができる。例えば、連続した複数の画像の撮影時に、被験者の身体の動き等により、顎運動とは独立して固定点が移動してしまう場合（例えば、眉を固定点とする際に顎運動をしながら眉を上下に動かしたり、上顔面領域の皮膚が動いたりすることにより、固定点が複数の画像間で一致しない場合等）には、固定点を基準として用いて顔の座標系を補正することに加えて、固定点の移動を相殺するように補正することが好ましい。固定点の移動による運動点の軌跡の誤差が低減され、さらに正確な運動点軌跡情報を生成することができるからである。

固定点の移動を相殺するように補正するために、補正手段１３１は、第２の生成手段（図示せず）と、第２の補正手段（図示せず）とをさらに備え得る。

第２の生成手段は、固定点を追跡することによって、固定点の軌跡を示す固定点軌跡情報を生成するように構成されている。第２の生成手段は、例えば、少なくとも３ピクセルのそれぞれについて固定点軌跡情報を生成するようにしてもよいし、少なくとも３ピクセルのうちの少なくとも１ピクセル（例えば、最も正中線に近いピクセル、最も上側にあるピクセル、最も下側にあるピクセル、ランダムに選択されるピクセルなど）について固定点軌跡情報を生成するようにしてもよい。第２の生成手段は、例えば、少なくとも３ピクセルの重心について固定点軌跡情報を生成するようにしてもよい。固定点軌跡情報は、所定期間内の固定点の軌跡を示す情報である。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。第２の生成手段は、例えば、連続した複数の画像の各々における固定点の画像中の座標を追跡することによって、固定点軌跡情報を生成することができる。

第２の補正手段は、固定点軌跡情報に基づいて、運動点軌跡情報を補正するように構成されている。例えば、第２補正手段は、運動点の軌跡から固定点の軌跡を差し引くことによって、運動点軌跡情報を補正するようにしてもよい。このとき、例えば、少なくとも３ピクセルのそれぞれの固定点軌跡情報のうち、最も軌跡の移動が小さいピクセルの固定点軌跡情報を用いて、運動点の軌跡から固定点の軌跡を差し引くことによって、運動点軌跡情報を補正することができる。あるいは、例えば、少なくとも３ピクセルのそれぞれの固定点軌跡情報のうち、最も軌跡の移動が大きいピクセルの固定点軌跡情報を用いて、運動点の軌跡から固定点の軌跡を差し引くことによって、運動点軌跡情報を補正することができる。あるいは、例えば、少なくとも３ピクセルの重心の固定点軌跡情報を用いて、運動点の軌跡から固定点の軌跡を差し引くことによって、運動点軌跡情報を補正することができる。

例えば、第２の補正手段は、運動点の座標から固定点の座標を差し引いて得られる補正後の運動点を追跡することによって、運動点軌跡情報を補正するようにしてもよい。このとき、例えば、少なくとも３ピクセルのそれぞれの固定点軌跡情報のうち、最も軌跡の移動が小さいピクセルの座標を運動点の座標から差し引いて、補正後の運動点を得るようにしてもよい。あるいは、例えば、少なくとも３ピクセルのそれぞれの固定点軌跡情報のうち、最も軌跡の移動が大きいピクセルの座標を運動点の座標から差し引いて、補正後の運動点を得るようにしてもよい。あるいは、例えば、少なくとも３ピクセルの重心の座標を運動点の座標から差し引いて、補正後の運動点を得るようにしてもよい。

このようにして補正された運動点軌跡情報には、固定点の移動による誤差が含まれておらず、より正確な情報となり得る。

上述した例では、顔の座標系を補正し、補正された座標系において運動点を抽出し、その運動点を追跡することによって、運動点軌跡情報を生成することを説明したが、本発明では、補正のタイミングはこれに限定されない。例えば、運動点を抽出し、抽出された運動点を補正し、補正された運動点を追跡することによって運動点軌跡情報を生成するようにしてもよい。例えば、運動点を抽出し、抽出された運動点を追跡することによって運動点軌跡情報を生成し、生成された運動点軌跡情報を補正するようにしてもよい。これは、上述した座標系の補正と同様の手法で、運動点の座標系または運動点軌跡情報を補正することによって達成され得る。

すなわち、生成手段１２３によって生成される運動点軌跡情報は、下顎の運動点以外の運動（例えば、撮影中の被験者の身体の動き（例えば、上顎の運動）や傾きによるノイズ）を示す情報を含む場合と、下顎の運動点以外の運動を示す情報を含まない場合とがある。前者の場合は、運動点軌跡情報を生成した後に運動点軌跡情報を補正する場合である。後者の場合は、運動点軌跡情報を生成する前に、座標系を補正して運動点を抽出する場合であるか、または、運動点追跡情報を生成する前に、運動点を抽出し、抽出された運動点を補正する場合である。

図６Ｃは、別の実施形態におけるプロセッサ部１５０の構成の一例を示す。プロセッサ部１５０は、被験者の顎運動顔モデルを用いて、被験者の顔の座標系を補正するための構成を有し得る。プロセッサ部１５０は、上述したプロセッサ部１２０の代替としてコンピュータシステム１００が備えるプロセッサ部である。図６Ｃでは、図３、図６Ａで上述した構成要素と同じ構成要素には同じ参照数字を付し、ここでは説明を省略する。

プロセッサ部１５０は、取得手段１２１と、補正手段１３１と、抽出手段１２２と、生成手段１２３とを備える。補正手段１３１は、ベース顔モデル生成手段１５１と、顎運動顔モデル生成手段１５２とを備える。

ベース顔モデル生成手段１５１は、被験者の顔のベース顔モデルを生成するように構成されている。ベース顔モデル作成手段１５１は、例えば、予め取得された被験者の顔の画像（例えば、データベース部２００に格納されている被験者の顔の画像）から、ベース顔モデルを生成するようにしてもよいし、インターフェース部１１０を介して端末装置３００から受信された被験者の顔の画像から、ベース顔モデルを生成するようにしてもよい。ベース顔モデルを生成するために利用される顔の画像は、正面を向いて静止した無表情の画像であることが好ましい。生成されるベース顔モデルが、正面を向いた無表情のものとなり、種々の動きに対応し易くなるからである。ベース顔モデル生成手段１５１は、公知の任意の手法を用いて、ベース顔モデルを生成することができる。利用される画像は、２次元情報（縦×横）を含む画像であってもよいしが、３次元情報（縦×横×奥行）を含む画像であることが好ましい。３次元情報を含む画像により、より容易にかつ高精度のベース顔モデルを生成することができるからである。

顎運動顔モデル生成手段１５２は、複数の画像中の被験者の顔をベース顔モデルに反映させることにより、被験者の顎運動顔モデルを生成するように構成されている。顎運動顔モデル生成手段１５２は、インターフェース部１１０を介して端末装置３００から受信された連続した複数の画像内の被験者の顔をベース顔モデルに反映することにより、被験者の顎運動顔モデルを生成する。顎運動顔モデル生成手段１５２は、公知の任意の手法を用いて、顎運動顔モデルを生成することができる。例えば、連続した複数の画像内の被験者の顔の各部位の座標を導出し、各部位の座標をベース顔モデル上にマッピングすることにより顎運動顔モデルが作成され得る。生成された顎運動顔モデルは、複数の画像に写る被験者の動きに合わせて動く３Ｄアバターとなる。

一例において、ベース顔モデル生成手段１５１および顎運動顔モデル生成手段１５２は、ｉＰｈｏｎｅ（登録商標）Ｘにおいて実装されている「アニ文字」を構築するための処理と同様の処理によって、顎運動顔モデルを生成することができる。

補正手段１３１は、ベース顔モデルと顎運動顔モデルとの座標系の違いを補正する。補正手段１３１は、ベース顔モデルの座標系に基づいて、顎運動顔モデルの座標系を補正することによって、顔の座標系を補正するように構成されている。補正手段１３１は、例えば、任意の座標変換処理を行うことにより、顎運動顔モデルの座標系をベース顔モデルの座標系に変換することによって、顔の座標系を補正する。

補正手段１３１は、例えば、顎運動顔モデル生成手段１５２が顎運動顔モデルを生成する前に、連続した複数の画像内の被験者の顔の各部位の座標に対して座標変換処理を行うようにしてもよい。これにより、生成される顎運動顔モデルの座標系は、ベース顔モデルの座標系と一致する。

抽出手段１２２は、補正手段１３１によって補正された座標系において、顔の下顎領域内の運動点を抽出する。抽出手段１２２は、例えば、ベース顔モデルにおいて運動点を抽出するようにしてもよいし、座標変換前の顎運動顔モデルにおいて運動点を抽出するようにしてもよいし、座標変換後の顎運動顔モデルにおいて運動点を抽出するようにしてもよい。ベース顔モデルにおいて運動点を抽出する場合には、運動点は、顎運動顔モデルの生成過程において、顎運動顔モデルの対応する点に反映される。

生成手段１２３は、抽出された運動点を追跡することによって、運動点の軌跡を示す運動点軌跡情報を生成する。複数の画像の各々から抽出される運動点は、それぞれ同一の座標系において取得されるため、生成される運動点軌跡情報は、より正確な情報となる。

上述した例では、補正された座標系（すなわち、ベース顔モデルの座標系）における運動点を追跡することによって、運動点軌跡情報を生成することを説明したが、本発明では、補正のタイミングはこれに限定されない。例えば、顎運動顔モデルの座標系において運動点を抽出し、抽出された運動点を補正し、補正された運動点を追跡することによって運動点軌跡情報を生成するようにしてもよい。例えば、顎運動顔モデルの座標系において運動点を抽出し、運動点を追跡することによって生成された運動点軌跡情報を補正することにより、補正された運動点軌跡情報を生成するようにしてもよい。例えば、複数の画像において運動点を抽出し、抽出された運動点を顎運動顔モデルに反映し、反映された運動点または反映された運動点を追跡することによって生成された運動点軌跡情報を補正することによって運動点軌跡情報を生成するようにしてもよい。これは、上述した座標変換処理と同様の手法で、運動点の座標系または運動点の軌跡を補正することによって達成され得る。

図６Ｄは、別の実施形態におけるプロセッサ部１６０の構成の一例を示す。プロセッサ部１６０は、生成された運動点軌跡情報に基づいて被験者の運動を評価するための構成を有し得る。プロセッサ部１６０は、上述したプロセッサ部１２０の代替としてコンピュータシステム１００が備えるプロセッサ部である。図６Ｄでは、図３で上述した構成要素と同じ構成要素には同じ参照数字を付し、ここでは説明を省略する。

プロセッサ部１６０は、取得手段１２１と、抽出手段１２２と、生成手段１２３と、評価手段１６１とを備える。

評価手段１６１は、運動点軌跡情報に少なくとも基づいて、被験者の顎運動の評価を示す顎運動評価情報を生成するように構成されている。評価手段１６１は、複数の被験者の運動点軌跡情報を学習する処理を施された運動点軌跡学習済モデルを利用して、顎運動評価情報を生成することができる。運動点軌跡学習済モデルは、入力された運動点軌跡情報を顎運動の評価と相関させるように構成されている。生成手段１２３によって生成された運動点軌跡情報には、撮影中の被験者の身体の動きや傾きによるノイズが含まれ得るが、運動点軌跡学習済モデルは、このようなノイズも含めた運動点軌跡情報を学習する処理を施されているため、運動点軌跡情報に含まれ得る撮影中の被験者の身体の動きや傾きによるノイズに関わらず、精度よく、顎運動評価情報を生成することができる。学習に用いられる運動点軌跡情報は、２次元の情報（或る平面における運動点の軌跡を示す情報）であってもよいし、３次元の情報（或る空間における運動点の軌跡を示す情報）であってもよいし、４次元の情報（或る空間における運動点の軌跡および運動点の速度を示す情報）であってもよい。ここで、速度は、スカラー量であってもよいが、好ましくは、ベクトル量である。より高次元の情報を利用することにより、構築される運動点軌跡学習済モデルの精度が向上する。運動点軌跡学習済モデルは、例えば、数千、数万、数十万、または数百万の運動点軌跡情報を学習することによって構築され得る。より多くの情報を学習するほど精度は向上するが、過学習に留意する必要がある。

動点軌跡学習済モデルは、任意の機械学習モデルを用いて構築することができる。運動点軌跡学習済モデルは、例えば、ニューラルネットワークモデルであり得る。

図７は、評価手段１６１が利用し得るニューラルネットワークモデル１６１０の構造の一例を示す。

ニューラルネットワークモデル１６１０は、入力層と、少なくとも１つの隠れ層と、出力層とを有する。ニューラルネットワークモデル１６１０の入力層のノード数は、入力されるデータの次元数に対応する。ニューラルネットワークモデル１６１０の隠れ層は、任意の数のノードを含むことができる。ニューラルネットワークモデル１６１０の出力層のノード数は、出力されるデータの次元数に対応する。例えば、顎運動に異常が有るかないかを評価する場合、出力層のノード数は、１であり得る。例えば、顎運動の軌跡が７つのパターンのうちのいずれであるかを評価する場合、出力層のノード数は、７であり得る。

ニューラルネットワークモデル１６１０は、取得手段１２１が取得した情報を使用して予め学習処理がなされ得る。学習処理は、取得手段１２１が取得したデータを使用して、ニューラルネットワークモデル１６１０の隠れ層の各ノードの重み係数を計算する処理である。

学習処理は、例えば、教師あり学習である。教師あり学習では、例えば、運動点軌跡情報を入力用教師データとし、対応する顎運動の評価を出力用教師データとして、複数の被験者の情報を使用してニューラルネットワークモデル１６１０の隠れ層の各ノードの重み係数を計算することにより、運動点軌跡情報を顎運動の評価と相関させることが可能な学習済モデルを構築することができる。

例えば、教師あり学習のための（入力用教師データ，出力用教師データ）の組は、（第１の被験者の運動点軌跡情報，第１の被験者の顎運動の評価）、（第２の被験者の運動点軌跡情報，第２の被験者の顎運動の評価）、・・・（第ｉの被験者の運動点軌跡情報，第ｉの被験者の顎運動の評価、・・・等であり得る。このような学習済のニューラルネットワークモデルの入力層に被験者から新たに取得された運動点軌跡情報を入力すると、その被験者の顎運動の評価が出力層に出力される。

学習処理は、例えば、教師なし学習である。教師なし学習では、例えば、複数の被験者について、運動点軌跡情報を入力用教師データとしたときの複数の出力をクラスタリングすることによって、出力を複数のクラスタに区分する。複数のクラスタの各クラスタについて、属する被験者の顎運動の評価に基づいて、各クラスタを特徴付ける。これにより、運動点軌跡情報を顎運動の評価と相関させることが可能な学習済モデルが構築される。クラスタリングは、例えば、任意の公知の手法を用いて行われ得る。このような学習済のニューラルネットワークモデルの入力層に被験者から新たに取得された運動点軌跡情報を入力すると、その被験者の顎運動の評価が出力層に出力される。

図６Ａ～図６Ｃを参照して上述した例で生成された運動点軌跡情報は、例えば、被験者の顎運動を評価するために利用され得る。この場合、プロセッサ部１２０、１３０、１４０、または１５０は、生成された運動点軌跡情報に少なくとも基づいて、被験者の顎運動の評価を示す顎運動評価情報を生成する評価手段（図示せず）をさらに備え得る。評価手段は、プロセッサ部１６０が備える評価手段１６１と同様の構成であってもよいし、異なる構成であってもよい。評価手段は、例えば、複数の被験者の運動点軌跡情報を学習する処理を施された運動点軌跡学習済モデルを利用して、顎運動評価情報を生成することができる。

図６Ａ～図６Ｃを参照して上述した例では、連続した複数の画像間で、抽出される運動点が異ならないように、撮影中の被験者の動きや傾きに対処するために、補正手段１３１を備える構成を説明した。図６Ｄに示される例は、撮影中の被験者の身体の動きや傾きを含めた顎運動の軌跡を学習した学習済モデルを用いることにより、撮影中の被験者の動きや傾きに対処している。

図２に示される例では、データベース部２００は、コンピュータシステム１００の外部に設けられているが、本発明はこれに限定されない。データベース部２００の少なくとも一部をコンピュータシステム１００の内部に設けることも可能である。このとき、データベース部２００の少なくとも一部は、メモリ部１７０を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部１７０を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部２００の少なくとも一部は、コンピュータシステム１００のための格納部として構成される。データベース部２００の構成は、特定のハードウェア構成に限定されない。例えば、データベース部２００は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２００は、コンピュータシステム１００の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。

上述した図３、図６Ａ～図６Ｄに示される例では、プロセッサ部１２０、１３０、１４０、１５０、１６０の各構成要素が同一のプロセッサ部１２０、１３０、１４０、１５０、１６０内に設けられているが、本発明はこれに限定されない。プロセッサ部１２０、１３０、１４０、１５０、１６０の各構成要素が、複数のプロセッサ部に分散される構成も本発明の範囲内である。このとき、複数のプロセッサ部は、同一のハードウェア部品内に位置してもよいし、近傍または遠隔の別個のハードウェア部品内に位置してもよい。例えば、プロセッサ部１５０のベース顔モデル生成手段１５１は、他の構成要素とは別のプロセッサ部によって実装されることが好ましい。これにより、ベースモデル作成という負荷が大きい処理を別個に行うことができるようになるからである。

なお、上述したコンピュータシステム１００の各構成要素は、単一のハードウェア部品で構成されていてもよいし、複数のハードウェア部品で構成されていてもよい。複数のハードウェア部品で構成される場合は、各ハードウェア部品が接続される態様は問わない。各ハードウェア部品は、無線で接続されてもよいし、有線で接続されてもよい。本発明のコンピュータシステム１００は、特定のハードウェア構成には限定されない。プロセッサ部１２０、１３０、１４０、１５０、１６０をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。本発明のコンピュータシステム１００の構成は、その機能を実現できる限りにおいて上述したものに限定されない。

３．被験者の顎運動を測定するためのコンピュータシステムによる処理
図８は、被験者の顎運動を測定するためのコンピュータシステム１００による処理の一例（処理８００）を示すフローチャートである。処理８００は、例えば、コンピュータシステム１００におけるプロセッサ部１３０、１４０または１５０において実行される。

ステップＳ８０１では、プロセッサ部の取得手段１２１が、顎運動中の被験者の顔の連続した複数の画像を取得する。取得手段１２１は、例えば、データベース部２００に格納されている顎運動中の被験者の顔の連続した複数の画像をインターフェース部１１０を介して取得することができる。あるいは、取得手段１２１は、例えば、インターフェース部１１０を介して端末装置３００から受信された連続した複数の画像を取得することができる。

ステップＳ８０２では、プロセッサ部の補正手段１３１が、被験者の顔の座標系を少なくとも補正する。プロセッサ部の補正手段１３１は、例えば、ステップＳ８０２で取得された画像に基づいて、被験者の顔の座標系を補正することができる。

ステップＳ８０３では、プロセッサ部の抽出手段１２２が、上述した各実施形態のステップＳ８０２で補正された座標系において、顔の下顎領域内の運動点を少なくとも抽出する。抽出手段１２２は、例えば、画像中の運動点がどこであるかの入力をインターフェース部１１０を介して（例えば、端末装置３００から）受け、その入力に基づいて、運動点を抽出することができる。あるいは、抽出手段１２２は、例えば、入力を受けることなく、自動的に運動点を抽出することができる。

抽出手段１２２は、例えば、複数の画像の各々に対して、顔の複数の特徴部分を検出し、抽出された複数の特徴部分のうち、所定期間内の座標変化が所定の範囲内の部分を運動点として抽出することができる。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。所定範囲は、例えば、約５ｍｍ～約２０ｍｍであり得る。

ステップＳ８０４では、プロセッサ部の生成手段１２３が、運動点を追跡することによって、運動点の軌跡を示す運動点軌跡情報を少なくとも生成する。運動点軌跡情報は、所定期間内の運動点の軌跡を示す情報である。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。

処理８００によれば、複数の画像の各々から抽出される運動点は、それぞれ同一の座標系において取得されるため、生成される運動点軌跡情報は、より正確な情報となる。

一実施形態において、ステップＳ８０２では、プロセッサ部１４０の補正手段１３１が、固定点と、事前に定義された顔基準位置テンプレートとに基づいて、被験者の顔の座標系を補正する。

この実施形態では、ステップＳ８０２の前に、ステップＳ８０２０を含むことができる。ステップＳ８０２０では、プロセッサ部１４０の抽出手段１２２の第２の抽出手段１４２が、ステップＳ８０１で取得された複数の画像に基づいて、顔の上顔面領域内の固定点を抽出する。第２の抽出手段１４２は、例えば、画像中の固定点がどこであるかの入力をインターフェース部１１０を介して（例えば、端末装置３００から）受け、その入力に基づいて、固定点を抽出することができる。あるいは、第２の抽出手段１４２は、例えば、入力を受けることなく、自動的に固定点を抽出することができる。

第２の抽出手段１４２は、例えば、複数の画像の各々に対して、顔の複数の特徴部分を検出し、抽出された複数の特徴部分のうち、所定期間内の座標変化が所定閾値未満の部分を固定点として抽出することができる。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。所定範囲は、例えば、約５ｍｍ～約２０ｍｍであり得る。第２の抽出手段１４２は、例えば、画像に対して色強調処理を行い、色調が周囲と異なる部分を固定点とし抽出することもできる。ステップＳ８０２０で抽出される固定点は、ステップＳ８０３の抽出するステップで抽出されるものの１つであるとみなすことができ、従って、ステップＳ８０２０は、ステップＳ８０３の一部であるとみなすことができる。

ステップＳ８０２では、プロセッサ部１４０の補正手段１３１が、ステップＳ８０２０で抽出された固定点と、事前に定義された顔基準位置テンプレートとに基づいて、被験者の顔の座標系を補正する。例えば、補正手段１３１は、複数の画像の各々について、ステップＳ８０２０で抽出された固定点が、顔基準位置テンプレート上の対応する点に移動するように、複数の画像の各々を変換処理（例えば、拡縮、回転、剪断、平行移動等）する。あるいは、例えば、補正手段１３１は、複数の画像の各々について、ステップＳ８０２０で抽出された固定点と顔基準位置テンプレート上の対応する点との間の距離をゼロにまたは所定の閾値未満にするように、複数の画像の各々を変換処理する。あるいは、例えば、補正手段１３１は、複数の画像の各々の固定点によって定義される平面と顔基準位置テンプレート上の対応する平面とが一致するように、複数の画像の各々を変換処理する。ここで、例えば、顔基準位置テンプレートは、顔が正面を向いている状態での顔の位置を定義するテンプレートであり、解剖学的に定義され得る。

別の実施形態において、ステップＳ８０２では、プロセッサ部１３０の補正手段１３１は、複数の被験者の顔の基準座標系を学習する処理を施された基準座標系学習済モデルを利用して、複数の画像の各々について、被験者の顔の座標系を補正することができる。基準座標系学習済モデルは、入力された画像中の被験者の顔の座標系を基準座標系に補正した画像を出力するように構成されている。

基準座標系学習済モデルは、例えば、教師あり学習によって構築され得る。教師あり学習では、例えば、被験者の顔の画像が入力用教師データとして用いられ、その画像における基準座標系が出力用教師データとして用いられ得る。複数の被験者の複数の画像を繰り返し学習することにより、学習済モデルは、複数の被験者の顔が統計上有すると推定される基準座標系を認識することができるようになる。このような学習済モデルに被験者の顔の画像を入力すると、被験者の顔の座標系と基準座標系との差分が出力されるようになる。例えば、被験者の顔の座標系と基準座標系との差分をゼロにまたは所定の閾値未満にするように、入力された画像を変換処理（例えば、拡縮、回転、剪断、平行移動等）するように学習済モデルを構成することによって、基準座標系学習済モデルが生成され得る。画像の変換処理は、例えば、アフィン変換を利用して行われ得る。

ステップＳ８０２では、プロセッサ部１３０の補正手段１３１が、ステップＳ８０１で取得された複数の画像を基準座標系学習済モデルに入力し、入力された画像中の被験者の顔の座標系が基準座標系に補正された画像を得ることができる。

さらに別の実施形態において、ステップＳ８０２では、プロセッサ部１５０補正手段１３１が、被験者の顎運動顔モデルを用いて、被験者の顔の座標系を補正する。

この実施形態では、ステップＳ８０２の前に、ステップＳ８０２１と、ステップＳ８０２２とを含むことができる。ステップＳ８０２１では、プロセッサ部１５０の補正手段１３１のベース顔モデル生成手段１５１が、被験者の顔のベース顔モデルを生成する。ベース顔モデル作成手段１５１は、例えば、予め取得された被験者の顔の画像（例えば、データベース部２００に格納されている被験者の顔の画像）から、ベース顔モデルを生成するようにしてもよいし、インターフェース部１１０を介して端末装置３００から受信された被験者の顔の画像から、ベース顔モデルを生成するようにしてもよい。なお、ベース顔モデルが予め生成されている場合には、ステップＳ８０２１は省略され得る。

ステップＳ８０２２では、プロセッサ部１５０の補正手段１３１の顎運動顔モデル生成手段１５２が、ステップＳ８０１で取得された複数の画像中の被験者の顔をベース顔モデルに反映させることにより、被験者の顎運動顔モデルを生成する。生成された顎運動顔モデルは、ステップＳ８０１で取得された複数の画像に写る被験者の顎運動に合わせて動く３Ｄアバターとなる。

ステップＳ８０２では、プロセッサ部１５０の補正手段１３１が、ステップＳ８０２１で生成されたベース顔モデルの座標系に基づいて、ステップＳ８０２２で生成された顎運動顔モデルの座標系を補正する。補正手段１３１は、例えば、任意の座標変換処理を行うことにより、顎運動顔モデルの座標系をベース顔モデルの座標系に変換することができる。

ステップＳ８０２で、固定点と、顔基準位置テンプレートとに基づいて、被験者の顔の座標系を補正した場合には、連続した複数の画像の撮影時の被験者の身体の動き等により、顎運動とは独立して固定点が移動してしまうことがある。このため、処理８００は、運動点軌跡情報に含まれ得る固定点軌跡情報を相殺するための処理（ステップＳ８０５、ステップＳ８０６）を含むことができる。

ステップＳ８０５では、プロセッサ部１４０の補正手段１３１の第２の生成手段が、ステップＳ８０１０で抽出された固定点を追跡することによって、固定点の軌跡を示す固定点軌跡情報を生成する。固定点軌跡情報は、所定期間内の固定点の軌跡を示す情報である。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。第２の生成手段は、例えば、連続した複数の画像の各々における固定点の画像中の座標を追跡することによって、固定点軌跡情報を生成することができる。

ステップＳ８０６では、プロセッサ部１４０の補正手段１３１の第２の補正手段が、定点軌跡情報に基づいて、運動点軌跡情報を補正する。例えば、第２補正手段は、運動点の軌跡から固定点の軌跡を差し引くことによって、運動点軌跡情報を補正することができる。あるいは、例えば、第２補正手段は、運動点の座標から固定点の座標を差し引いて得られる補正後の運動点を追跡することによって、運動点軌跡情報を補正するようにしてもよい。ステップＳ８０５およびステップＳ８０６で補正される運動点軌跡情報は、ステップＳ８０２の補正するステップで補正されるものの１つであるとみなすことができ、従って、ステップＳ８０５およびステップＳ８０６は、ステップＳ８０２の一部であるとみなすことができる。

上述した例では、補正された座標系における運動点を追跡することによって、運動点軌跡情報を生成することを説明したが、本発明では、補正のタイミングはこれに限定されない。例えば、ステップＳ８０２の前のステップＳ８０３において、ステップＳ８０１で取得された複数の画像から運動点を抽出し、次いで、ステップＳ８０４において、運動点を追跡することによって運動点軌跡情報を生成した後に、ステップＳ８０２において、ステップＳ８０４で生成された運動点軌跡情報を補正するようにしてもよい。あるいは、例えば、ステップＳ８０２の前のステップＳ８０３において、ステップＳ８０１で取得された複数の画像から運動点を抽出し、次いで、ステップＳ８０２において、ステップＳ８０３で抽出された運動点を補正し、次いで、ステップＳ８０４において、補正された運動点を追跡することによって運動点軌跡情報を生成するようにしてもよい。

すなわち、生成手段１２３によって生成される運動点軌跡情報は、下顎の運動点以外の運動（例えば、撮影中の被験者の身体の動き（例えば、上顎の運動）や傾きによるノイズ）を示す情報を含む場合と、下顎の運動点以外の運動を示す情報を含まない場合とがある。前者は、運動点軌跡情報を生成した後に運動点軌跡情報を補正する場合である。後者は、運動点軌跡情報を生成する前に、座標系を補正して運動点を抽出する場合、または、運動点追跡情報を生成する前に、運動点を抽出し、抽出された運動点を補正する場合である。

図９は、被験者の顎運動を測定するためのコンピュータシステム１００による処理の別の例（処理９００）を示すフローチャートである。処理９００は、被験者の顎運動を評価するための処理である。処理９００は、例えば、コンピュータシステム１００におけるプロセッサ部１６０において実行される。

ステップＳ９０１では、プロセッサ部１６０の取得手段１２１が、顎運動中の被験者の顔の連続した複数の画像を取得する。ステップＳ９０１は、ステップＳ８０１と同様の処理である。

ステップＳ９０２では、プロセッサ部１６０の抽出手段１２２が、ステップＳ８０１で取得された複数の画像に基づいて、顔の下顎領域内の運動点を少なくとも抽出する。顔の下顎領域内の運動点を抽出する。抽出手段１２２は、例えば、画像中の運動点がどこであるかの入力をインターフェース部１１０を介して（例えば、端末装置３００から）受け、その入力に基づいて、運動点を抽出することができる。あるいは、抽出手段１２２は、例えば、入力を受けることなく、自動的に運動点を抽出することができる。

ステップＳ９０３では、プロセッサ部１６０の生成手段１２３が、ステップＳ９０２で抽出された運動点を追跡することによって、運動点の軌跡を示す運動点軌跡情報を少なくとも生成する。運動点軌跡情報は、所定期間内の運動点の軌跡を示す情報である。ここで、所定期間は、例えば、連続した複数の画像が撮影された期間のすべてまたは一部であり得る。

ステップＳ９０４では、プロセッサ部１６０の評価手段１６１が、ステップＳ９０３で生成された運動点軌跡情報に少なくとも基づいて、被験者の顎運動の評価を示す顎運動評価情報を生成する。評価手段１６１は、複数の被験者の運動点軌跡情報を学習する処理を施された運動点軌跡学習済モデルを利用して、顎運動評価情報を生成することができる。運動点軌跡学習済モデルは、入力された運動点軌跡情報を顎運動の評価と相関させるように構成されている。例えば、ステップＳ９０３で生成された運動点軌跡情報を運動点軌跡学習済モデルに入力すると、被験者の顎運動の推定された評価が出力され得る。

ステップＳ９０３で生成された運動点軌跡情報には、撮影中の被験者の身体の動きや傾きによるノイズが含まれ得るが、運動点軌跡学習済モデルは、このようなノイズも含めた運動点軌跡情報を学習する処理を施されているため、ステップＳ９０４では、運動点軌跡情報に含まれ得る運撮影中の被験者の身体の動きや傾きによるノイズに関わらず、精度よく、顎運動評価情報を生成することができる。

例えば、ステップＳ９０１～ステップＳ９０４を行った後に、後述する学習処理と同様の処理を行うことにより、運動点軌跡学習済モデルを更新するようにしてもよい。

図１０は、被験者の顎運動を測定するためのコンピュータシステム１００による処理の別の例（処理１０００）を示すフローチャートである。処理１０００は、被験者の顎運動を測定するために利用される運動点軌跡学習済モデルを構築するための処理である。処理１０００は、例えば、コンピュータシステム１００におけるプロセッサ部１６０において実行される。

ステップＳ１００１では、プロセッサ部１６０の取得手段１２１が、複数の被験者の運動点を追跡することによって得られた運動点の軌跡を示す運動点軌跡情報を少なくとも取得する。取得手段１２１は、例えば、データベース部２００に格納されている運動点軌跡情報をインターフェース部１１０を介して取得することができる。運動点軌跡情報は、例えば、本発明のコンピュータシステム１００を用いて取得された運動点軌跡情報であってもよいし、公知の任意の顎運動測定装置から得られた運動点軌跡情報であってもよい。

ステップＳ１００１では、さらに、取得手段１２１は、複数の被験者の顎運動の評価を取得するようにしてもよい。取得手段１２１は、例えば、データベース部２００に格納されている顎運動の評価をインターフェース部１１０を介して取得することができる。

ステップＳ１００２では、プロセッサ部１６０が、少なくとも、ステップＳ１００１で取得された複数の被験者の運動点軌跡情報を入力用教師データとした学習処理により、運動点軌跡学習済モデルを構築する。運動点軌跡学習済モデルは、例えば、ニューラルネットワークモデルであり得る。

例えば、動点軌跡学習済モデルが、ニューラルネットワークモデルである場合、ステップＳ１００２では、学習処理により、ステップＳ１００１で取得されたデータを使用して、ニューラルネットワークモデルの隠れ層の各ノードの重み係数が計算される。

学習処理は、例えば、教師なし学習である。教師なし学習では、例えば、複数の被験者について、運動点軌跡情報を入力用教師データとしたときの複数の出力を分類する。分類は、任意の公知の手法を用いて行うことができ、分類された出力を顎運動の評価で特徴付けることによって、運動点軌跡情報を顎運動の評価と相関させることが可能な学習済モデルが構築される。

分類は、例えば、クラスタリングによって行われる。例えば、複数の出力をクラスタリングすることによって、出力を複数のクラスタに区分する。複数のクラスタの各クラスタについて、属する被験者の顎運動の評価に基づいて、各クラスタを特徴付ける。これにより、運動点軌跡情報を顎運動の評価と相関させることが可能な学習済モデルが構築される。クラスタリングは、例えば、任意の公知の手法を用いて行われ得る。

図８～図１０を参照して上述した例では、特定の順序で処理が行われることを説明したが、各処理の順序は説明されたものに限定されず、論理的に可能な任意の順序で行われ得る。

図８～図１０を参照して上述した例では、図８～図１０に示される各ステップの処理は、プロセッサ部１２０、プロセッサ部１３０、プロセッサ部１４０、プロセッサ部１５０、またはプロセッサ部１６０とメモリ部１７０に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図８～図１０に示される各ステップの処理のうちの少なくとも１つは、制御回路などのハードウェア構成によって実現されてもよい。

上述した例では、コンピュータシステム１００が、端末装置３００にネットワーク４００を介して接続されるサーバ装置である場合を例に説明したが、本発明は、これに限定されない。コンピュータシステム１００は、プロセッサ部を備える任意の情報処理装置であり得る。例えば、コンピュータシステム１００は、端末装置３００であり得る。あるいは、例えば、コンピュータシステム１００は、端末装置３００とサーバ装置との組み合わせであり得る。

上述した例では、本発明の一実装例としてコンピュータシステム１００を説明したが、本発明は、例えば、コンピュータシステム１００を含むシステムとしても実装され得る。このシステムは、例えば、上述したコンピュータシステム１００と、被験者の下顎領域に設置されるように構成された標点とを備える。標点は、上述したように、標点上の特定点を表すように構成され得る。標点を被験者の下顎領域に設置した状態で撮影した連続した複数の画像を利用することにより、コンピュータシステム１００での運動点の抽出処理が容易になり、かつ、抽出される運動点が、複数の画像間で一致することになる。このシステムは、被験者の上顔面領域に設置されるように構成された固定点用標点をさらに備えることができる。固定点用標点も、上述したように、固定用標点上の特定点を表すように構成され得る。固定点用標点を被験者の上顔面領域に設置した状態で撮影した連続した複数の画像を利用することにより、コンピュータシステム１００での固定点の抽出処理が容易になる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、被験者の顎運動を簡易に測定することが可能なシステム等を提供するものとして有用である。

１００コンピュータシステム
１１０インターフェース部
１２０、１３０、１４０、１５０、１６０プロセッサ部
１７０メモリ部
２００データベース部
３００端末装置
４００ネットワーク

Claims

本明細書に記載の発明。