JP2002150291A

JP2002150291A - 動点軌跡計測方法及び動点軌跡計測装置、画像処理方法及び画像処理装置並びに動点軌跡計測プログラムを記録したコンピュータ読み取り可能な記録媒体及び動点軌跡計測プログラム

Info

Publication number: JP2002150291A
Application number: JP2000338023A
Authority: JP
Inventors: Akira Iwata; 彰岩田; Keiji Matsuo; 啓志松尾; Takeshi Shinoda; 武志篠田; Hideyuki Takeuchi; 秀行竹内
Original assignee: Nagoya Industrial Science Research Institute
Current assignee: Nagoya Industrial Science Research Institute
Priority date: 2000-11-06
Filing date: 2000-11-06
Publication date: 2002-05-24

Abstract

(57)【要約】【課題】動点の軌跡をより正確に計測することのできる
動点軌跡計測方法及び動点軌跡計測装置等を提供する。【解決手段】複数のフレームにより動点を撮影した動画
を取得する。各フレームから第１解像度の第１画像Ｇ１
を作成し、各第１画像Ｇ１上に、少なくとも一つが動点
と対応する複数の第１格子点Ｐ１０をもち、各第１格子
点Ｐ１０が近傍の各第１格子点Ｐ１１〜Ｐ１４から拘束
を受ける第１アクティブメッシュＡＭ１を仮想する。各
フレーム又は各第１画像Ｇ１から第１解像度より解像度
の低い第２解像度の第２画像Ｇ２を作成し、各第２画像
Ｇ２上に、少なくとも一つが動点と対応する複数の第２
格子点Ｐ２０をもち、各第２格子点Ｐ２０が近傍の各第
１格子点Ｐ１１〜Ｐ１４及び各第２格子点Ｐ２１〜Ｐ２
４から拘束を受ける第２アクティブメッシュＡＭ２を仮
想する。そして、第１格子点Ｐ２０のオプティカルフロ
ーを算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動点軌跡計測方法及
び動点軌跡計測装置、画像処理方法及び画像処理装置並
びに動点軌跡計測プログラムを記録したコンピュータ読
み取り可能な記録媒体及び動点軌跡計測プログラムに関
する。

【０００２】これらの動点軌跡計測方法及び動点軌跡計
測装置等は、フレームが人の皮膚等の低テクスチャーで
ある顎関節症等の関節運動の異常診断、表情変化による
居眠り検出機、唇の動きから言葉を検出する読唇機、車
両の自動運転装置等に利用できる。

【０００３】

【従来の技術】従来、例えば、顎関節症を検出するため
には、以下のような方法が採用されていた。すなわち、
まず患者の下顎切歯前堤部に磁石を取り付け、その患者
に閉口運動を行ってもらう。その患者の頭部にはメガネ
フレームにより磁気センサが固定されており、下顎を動
かした時に起こる磁場の変化をその磁気センサにより検
知する。そして、その磁場の変化から下顎運動を計測す
る。また、患者の顎関節に針を差し、その針に電気を流
すことにより、顎関節周辺の筋肉の動きを観測すること
も行われていた。

【０００４】

【発明が解決しようとする課題】しかし、上記一般的な
顎関節症の検出方法では、顎関節症であるか否かの精度
が低く、その検出も簡易でない。すなわち、一般的な顎
関節症の検出方法では、顎の近くに磁石を取り付けると
ともに、顎以外の動きの影響を受けない箇所に磁気セン
サを取り付けなければならない等の制約がある。また、
患者の体に取り付けた磁石等がずれてしまうと正確な検
出ができないため、その磁石等は患者の体にしっかりと
固定できる箇所に取り付けられなければならない。この
ため、検出箇所は自ずと限定されてしまう。また、こう
して磁石等をしっかりと体に固定したつもりでも、皮膚
等の動きにより微小ながら磁石等がずれてしまうことは
不可避であり、検出精度は必ずしも高いものではない。
さらに、この検出方法に用いられる装置は、大型のもの
であるため、広い設置場所を必要とするとともに、往診
や遠隔診断に用いることもできない。

【０００５】このため、「電子情報通信学会論文誌（Ｄ
−ＩＩＶｏｌ．Ｊ７７−Ｄ−ＩＩＮｏ．１１ｐｐ．
２２３９−２２４６１９９４年１１月）」に開示され
たアクティブメッシュによる動点軌跡計測方法を採用す
ることも考えられる。この場合、動点軌跡計測方法は、
複数のフレームにより動点を撮影した動画を取得する撮
影工程と、各フレームから所定の解像度の画像を作成
し、少なくとも一つが動点と対応する複数の格子点をも
つアクティブメッシュを各画像上に仮想するアクティブ
メッシュ仮想工程と、格子点のオプティカルフローを算
出するオプティカルフロー算出工程とを有することとな
る。

【０００６】すなわち、まず撮影工程として、複数のフ
レームにより患者の下顎を撮影した動画をテレビカメラ
等の視覚的センサにより取得する。そして、アクティブ
メッシュ仮想工程として、図１５及び図１６に示すよう
に、各フレームから所定の解像度の画像Ｇを作成し、ア
クティブメッシュＡＭを各画像Ｇ上に仮想する。このア
クティブメッシュＡＭは、図１７に概念モデルを示すよ
うに、画像Ｇ上に格子状に配置された複数の格子点Ｐを
もつ。動画の一動点と対応する一格子点Ｐ０は画像Ｇの
例えば上下左右の四近傍の格子点Ｐ１〜Ｐ４から拘束を
受けるようになっている。この拘束をバネＳで示す。拘
束としては、各動点間の動きに基づく内部エネルギＥ
_internalと、画像Ｇのピクセルを構成する明度（輝度）
に基づく外部エネルギＥ_externalとの和の最小化原理が
採用され得る。つまり、内部エネルギＥ_internalは各格
子点Ｐに定義されたアクティブメッシュＡＭ自身の形状
の歪みを表し、外部エネルギＥ_externalは対応する二画
像間の差異を表す。一格子点Ｐ０は、図１８に示すよう
に、内部エネルギＥ_internalを最小化する力Ｆｉと、外
部エネルギＥ_externalを最小化する力Ｆｏとがつりあう
ように移動を繰り返し、アクティブメッシュＡＭは変形
を繰り返す。次いで、オプティカルフロー算出工程とし
て、格子点ＰのオプティカルフローＯＦを算出する。

【０００７】より詳述すれば、図１５及び図１６に示す
画像Ｇに（ｘ，ｙ）座標をとり、アクティブメッシュＡ
Ｍの一格子点Ｐｃのオプティカルフローのベクトルを
（ｕ（ｘ，ｙ）、v（ｘ，ｙ））とすると、内部エネル
ギＥ_internalは数１により表される。

【０００８】

【数１】

【０００９】数１の一部は数２のように変形することが
できる。

【００１０】

【数２】

【００１１】このため、内部エネルギＥ_internalは数３
により表される。

【００１２】

【数３】

【００１３】また、外部エネルギＥ_externalは、動画の
ある時刻の画像と所定時間ｔ後の時刻の画像との間にお
いて、数４により表される。

【００１４】

【数４】

【００１５】これら二つのエネルギ関数の和は数５とな
る。

【００１６】

【数５】

【００１７】ここで、αは両エネルギ関数間の重みを表
す定数係数である。一格子点Ｐ０は数５が最小になるよ
うに移動するため、その格子点Ｐ０のオプティカルフロ
ーはベクトル場として算出される。

【００１８】この際、定数係数αが小さい場合、より外
部エネルギＥ_external、つまり対応するピクセルの動き
情報が一格子点Ｐ０の軌跡、ひいてはアクティブメッシ
ュＡＭの形状に影響を及ぼす。他方、定数係数αが大き
い場合は、内部エネルギーＥ _internal、つまり各動点間
の動き情報がアクティブメッシュＡＭの形状に影響を及
ぼす。このため、フレームが低テクスチャである場合、
定数係数αを大きく設定することにより、局所的にテク
スチャのほとんど無い所においても、内部エネルギーＥ
_internalにより、周辺から補完的にアクティブメッシュ
ＡＭの形状を求めることが可能となり、安定したオプテ
ィカルフローを算出することが可能となる。

【００１９】こうして求められたオプティカルフローに
より、下顎の軌跡を計測することができることから、そ
の軌跡により顎関節症の検出が可能になるはずである。
また、この方法によれば、ブロックマッチング、勾配法
等の他のオプティカルフローを算出する方法に比し、明
度の勾配がほとんどなく、局所的に低テクスチャーであ
る人の皮膚であっても、ある程度正確に動点の軌跡を計
測することができる。

【００２０】しかしながら、かかる動点軌跡計測方法で
は、所定の解像度の画像Ｇを作成し、各画像Ｇ上にそれ
ぞれ一つのアクティブメッシュＡＭを仮想しているに過
ぎないことから、動点の軌跡を必ずしも正確に計測する
ことができない。特に、顎関節症の検出に用いる場合の
ように、フレームが人の皮膚等の低テクスチャーである
場合には、より定数係数αを小さくして外部エネルギＥ
_externalの影響を大きくすることにより、低テクスチャ
から大きなエネルギを得る必要があるが、それに比例し
てノイズの影響が大きくなり、オプティカルフローが正
確でなくなりやすく、動点の軌跡を必ずしも正確に計測
することができない。

【００２１】本発明は、上記従来の実情に鑑みてなされ
たものであって、動点の軌跡をより正確に計測すること
のできる動点軌跡計測方法及び動点軌跡計測装置並びに
画像処理方法及び画像処理装置を提供することを解決す
べき課題としている。

【００２２】

【課題を解決するための手段】本発明の動点軌跡計測方
法は、複数のフレームにより動点を撮影した動画を取得
する撮影工程と、

【００２３】各該フレームから第１解像度の第１画像を
作成し、各該第１画像上に、少なくとも一つが該動点と
対応する複数の第１格子点をもち、各該第１格子点が近
傍の各該第１格子点から拘束を受ける第１アクティブメ
ッシュを仮想する第１アクティブメッシュ仮想工程と、

【００２４】各該フレーム又は各該第１画像から該第１
解像度より解像度の低い第２解像度の第２画像を作成
し、各該第２画像上に、少なくとも一つが該動点と対応
する複数の第２格子点をもち、各該第２格子点が近傍の
各該第１格子点及び各該第２格子点から拘束を受ける第
２アクティブメッシュを仮想する第２アクティブメッシ
ュ仮想工程と、

【００２５】該第１格子点のオプティカルフローを算出
するオプティカルフロー算出工程とを有することを特徴
とする。

【００２６】本発明の動点軌跡計測方法では、まず撮影
工程として複数のフレームにより動点を撮影した動画を
取得する。そして、第１アクティブメッシュ仮想工程と
して、各フレームから第１解像度の第１画像を作成し、
各第１画像上に第１アクティブメッシュを仮想する。ま
た、第２アクティブメッシュ仮想工程として、各フレー
ム又は第１画像から第２解像度の第２画像を作成し、各
第２画像上に第２アクティブメッシュを仮想する。

【００２７】ここで、第２画像の第２解像度は第１画像
の第１解像度より解像度が低くなっている。また、図１
に概念モデルを示すように、第１画像Ｇ１上に仮想され
る第１アクティブメッシュＡＭ１の第１格子点Ｐ１０は
第１アクティブメッシュＡＭ１の近傍の例えば各第１格
子点Ｐ１１〜Ｐ１４から拘束を受ける。また、第２画像
Ｇ２上に仮想される第２アクティブメッシュＡＭ２の第
２格子点Ｐ２０は、第２アクティブメッシュＡＭ２の近
傍の例えば各第２格子点Ｐ２１〜Ｐ２４から拘束を受け
るばかりでなく、第１アクティブメッシュＡＭ１の各第
１格子点Ｐ１０〜Ｐ１４からも拘束を受ける。つまり、
本発明の動点軌跡計測方法は多重解像度間で拘束を行っ
ている。こうして、第２アクティブメッシュＡＭ２の各
第２格子点Ｐ２０が正確に把握され、これに対応する第
１アクティブメッシュＡＭ１の各第１格子点Ｐ１０が正
確に把握されることとなる。

【００２８】そして、続くオプティカルフロー算出工程
として、第１アクティブメッシュＡＭ１の第１格子点Ｐ
１０のオプティカルフローを算出する。なお、第１画像
Ｇ１上の第１アクティブメッシュＡＭ１に対して第２画
像Ｇ２上の第２アクティブメッシュＡＭ２を仮想する場
合と同様、第２画像Ｇ２上の第２アクティブメッシュに
対して第３画像Ｇ３上の第３アクティブメッシュＡＭ３
を仮想する場合も同様であり、第ｍ−１画像Ｇｍ−１上
の第ｍ−１アクティブメッシュＡＭｍ−１に対して第ｍ
画像Ｇｍ上の第ｍアクティブメッシュＡＭｍを仮想する
場合も同様である（ｍは自然数である。）。

【００２９】こうして、第ｍ−１画像よりも低解像度で
あることからノイズの影響の少ない第ｍ画像について第
ｍアクティブメッシュＡＭｍの形状を求め、第ｍ画像よ
りも高解像度の第ｍ−１画像の第ｍ−１アクティブメッ
シュＡＭｍ−１の形状にその第ｍアクティブメッシュＡ
Ｍｍの形状を反映させることにより、第ｍ−１アクティ
ブメッシュＡＭｍ−１の形状に関する耐ノイズ性を上げ
ることができる。

【００３０】したがって、本発明の動点軌跡計測方法に
よれば、耐ノイズ性により、動点の軌跡を正確に計測す
ることができる。また、本発明の動点軌跡計測方法によ
れば、磁石等を体に固定する必要がないことから、検出
箇所に制限を受けない。さらに、本発明の動点軌跡計測
方法は、装置が小型のもので足りることから、設置場所
が問題となることはなく、往診や遠隔診断に用いること
もできる。

【００３１】本発明の動点軌跡計測方法は、拘束とし
て、各動点間の動きに基づく内部エネルギＥ
_internalと、第１画像及び第２画像のピクセルを構成す
る物理量に基づく外部エネルギＥ_externalとの和の最小
化原理を採用できる。

【００３２】すなわち、第１画像Ｇの解像度をＩ⁽¹⁾と
した場合、第ｍ画像Ｇｍの解像度Ｉ⁽ ^m)は数６で生成さ
れ得る。

【００３３】

【数６】

【００３４】そして、第ｍ画像Ｇｍ上に仮想した第ｍア
クティブメッシュＡＭｍの格子点Ｐｍ（ｘ，ｙ）の内部
エネルギＥ_internalについて、新たに数７に示す式が定
義できる。

【００３５】

【数７】

【００３６】第ｍアクティブメッシュＡＭｍの格子点Ｐ
ｍ（ｘ，ｙ）における第ｍ画像Ｇｍの大きさについて、
正規化したオプティカルフローのベクトルを（ｕ（ｍ，
ｘ，ｙ）、ｖ（ｍ，ｘ，ｙ））とする。ここで、α、β
は内部エネルギＥ_internalのより詳細な重みを表す定数
係数である。新たに定義した内部エネルギＥ_internalの
数７と、外部エネルギＥ_externalの上記数４との和を最
小化するように、第１〜ｍアクティブメッシュＡＭ１〜
ｍの形状を求める。

【００３７】また、本発明の動点軌跡計測方法では、物
理量として、明度（輝度）、色相（色合い）及び彩度
（鮮やかさ）の少なくとも１種を採用できる他、色の三
原色（Ｒ．Ｇ．Ｂ）の少なくとも１種を採用することが
できる。特に、物理量として最も数値化しやすく、動点
の軌跡を計測する速度を上げるためには、明度を採用す
ることができる。明度を物理量とすれば、画像のピクセ
ルが白黒となり、本発明の方法を短時間で行うことがで
きるとともに、装置のコストを低廉化することができ
る。

【００３８】本発明の動点軌跡計測方法は、フレームが
下顎のように人の皮膚等、明度変化の小さい低テクスチ
ャーである場合に効果が大きい。フレームが低テクスチ
ャーである場合でも、内部エネルギＥ_internalを定数係
数α、βによってより詳細に設定できることから、各動
点間の動き情報を正当に評価してノイズを可及的に排除
できるからである。

【００３９】低テクスチャーが人の下顎によるものであ
れば、本発明の動点軌跡計測方法を顎関節症の検出に適
用できる。また、低テクスチャーが人の皮膚によるもの
であれば、表情変化による居眠り検出機として利用する
ことができ、また唇の動きから言葉を検出する読唇機等
にも利用することができる。

【００４０】本発明の動点軌跡計測方法を画像処理方法
とした場合、この画像処理方法は、人の皮膚の動画を取
得する工程と、該動画を処理して該皮膚のオプティカル
フローを抽出する工程とを有することを特徴とする。

【００４１】本発明の動点軌跡計測方法を動点軌跡計測
プログラムを記録したコンピュータ読み取り可能な記録
媒体とした場合、この記録媒体は、複数のフレームによ
り動点を撮影した動画を取得する撮影工程と、各該フレ
ームから第１解像度の第１画像を作成し、各該第１画像
上に、少なくとも一つが該動点と対応する複数の第１格
子点をもち、各該第１格子点が近傍の各該第１格子点か
ら拘束を受ける第１アクティブメッシュを仮想する第１
アクティブメッシュ仮想工程と、各該フレーム又は各該
第１画像から該第１解像度より解像度の低い第２解像度
の第２画像を作成し、各該第２画像上に、少なくとも一
つが該動点と対応する複数の第２格子点をもち、各該第
２格子点が近傍の各該第１格子点及び各該第２格子点か
ら拘束を受ける第２アクティブメッシュを仮想する第２
アクティブメッシュ仮想工程と、該第１格子点のオプテ
ィカルフローを算出するオプティカルフロー算出工程と
を有することを特徴とする。

【００４２】本発明の動点軌跡計測方法を動点軌跡計測
装置とした場合、この動点軌跡計測装置は、複数のフレ
ームにより動点を撮影した動画を取得する撮影手段と、
各該フレームから第１解像度の第１画像を作成し、各該
第１画像上に、少なくとも一つが該動点と対応する複数
の第１格子点をもち、各該第１格子点が近傍の各該第１
格子点から拘束を受ける第１アクティブメッシュを仮想
する第１アクティブメッシュ仮想手段と、各該フレーム
又は各該第１画像から該第１解像度より解像度の低い第
２解像度の第２画像を作成し、各該第２画像上に、少な
くとも一つが該動点と対応する複数の第２格子点をも
ち、各該第２格子点が近傍の各該第１格子点及び各該第
２格子点から拘束を受ける第２アクティブメッシュを仮
想する第２アクティブメッシュ仮想手段と、該第１格子
点のオプティカルフローを算出するオプティカルフロー
算出手段とを有することを特徴とする。

【００４３】本発明の動点軌跡計測装置では、撮影手段
としてはデジタルビデオカメラ等を採用することがで
き、第１アクティブメッシュ仮想手段、第２アクティブ
メッシュ仮想手段及びオプティカルフロー算出手段とし
てはコンピュータを採用できる。この動点軌跡計測装置
は小型化され得る。

【００４４】本発明の動点軌跡計測装置を画像処理装置
とした場合、この画像処理装置は、人の皮膚の動画を取
得する手段と、該動画を処理して該皮膚のオプティカル
フローを抽出する手段とを有することを特徴とする。

【００４５】本発明の動点軌跡計測方法を動点軌跡計測
プログラムとした場合、この記録媒体は、複数のフレー
ムにより動点を撮影した動画を取得する撮影工程と、各
該フレームから第１解像度の第１画像を作成し、各該第
１画像上に、少なくとも一つが該動点と対応する複数の
第１格子点をもち、各該第１格子点が近傍の各該第１格
子点から拘束を受ける第１アクティブメッシュを仮想す
る第１アクティブメッシュ仮想工程と、各該フレーム又
は各該第１画像から該第１解像度より解像度の低い第２
解像度の第２画像を作成し、各該第２画像上に、少なく
とも一つが該動点と対応する複数の第２格子点をもち、
各該第２格子点が近傍の各該第１格子点及び各該第２格
子点から拘束を受ける第２アクティブメッシュを仮想す
る第２アクティブメッシュ仮想工程と、該第１格子点の
オプティカルフローを算出するオプティカルフロー算出
工程とを有することを特徴とする。

【００４６】プログラムは、ＣＤ−ＲＯＭ等の記録媒体
を用いて行うこともできる。本明細書においては、記録
媒体を搬送波を含むものとする。

【００４７】

【発明の実施の形態】以下、実施例として、顎関節症の
検出方法及びその検出装置に本発明の動点軌跡計測方法
及び動点軌跡計測装置、画像処理方法及び画像処理装置
並びに動点軌跡計測プログラムを記録したコンピュータ
読み取り可能な記録媒体及び動点軌跡計測プログラムを
具体化する。この実施例を図面２〜１４を参照しつつ説
明する。

【００４８】図２に示すように、実施例の検出装置で
は、撮影手段としてデジタルビデオカメラレコーダー
（ＳＯＮＹ（株）製「ＤＣＲ−ＴＲＶ９００」）ＣＲを
使用し、第１アクティブメッシュ仮想手段、第２アクテ
ィブメッシュ仮想手段及びオプティカルフロー算出手段
としてパソコンＰＣを用いている。

【００４９】撮影工程として、室内において、患者Ａの
下顎の動きをデジタルビデオカメラレコーダーＤＣＲで
撮影する。撮影条件は、シャッタースピード：１２５、
３０（フレーム／秒）、プログレッシブスキャンなしで
ある。

【００５０】パソコンＰＣでは、図３に示すように、入
力工程Ｓ１において動画が入力される。入力された動画
は複数のフレームにより動点としての下顎が撮影されて
いる。

【００５１】そして、動画について、第１、２アクティ
ブメッシュ仮想工程Ｓ２、Ｓ３として、図４に示すよう
に、各フレームから４００×４８０ピクセルの第１解像
度の第１画像Ｇ１、２００×２４０ピクセルの第２解像
度の第２画像Ｇ２、１００×１２０ピクセルの第３解像
度の第３画像（図略）、５０×６０ピクセルの第４解像
度の第４画像（図略）及び２５×３０ピクセルの第５解
像度の第５画像（図略）を作成する。第１〜５画像Ｇ１
等の明度階調は２５６階調である。

【００５２】そして、図５に示すように、各第５画像上
に第５アクティブメッシュ（図略）を仮想し、各第４画
像上に第４アクティブメッシュ（図略）を仮想し、各第
３画像上に第３アクティブメッシュ（図略）を仮想し、
各第２画像Ｇ２上に第２アクティブメッシュＡＭ２を仮
想し、各第１画像Ｇ１上に第１アクティブメッシュＡＭ
１を仮想する。ここで、第５アクティブメッシュの各第
５格子点の間隔、第４アクティブメッシュの各第４格子
点の間隔、第３アクティブメッシュの各第３格子点の間
隔、第２アクティブメッシュＡＭ２の各第２格子点Ｐ２
の間隔及び第１アクティブメッシュＡＭ１の各第１格子
点Ｐ１の間隔を３ピクセルとする。

【００５３】上記数７と上記数４との和を最小化するよ
うに、逐次近似の回数を６００回とし、第１〜５アクテ
ィブメッシュＡＭ１等の形状を求める。ここでは、定数
係数αを２０と、定数係数βを４とする。そして、図３
に示すオプティカルフロー算出工程Ｓ４により第１格子
点Ｐ１のオプティカルフローを算出する。この際、鼻の
点での動きを引くことにより、頭全体の動きを補正す
る。

【００５４】そして、表示出力工程Ｓ５により、図６に
示すように、複数の第１格子点Ｐ１のオプティカルフロ
ーからなる下顎の軌跡Ｌ１を第１画像Ｇ１上に表示す
る。また、図７に示すように、こうして得られた軌跡Ｌ
１を表示する。

【００５５】他方、他の患者Ｂについても同様の検出方
法を実行し、図８に示すように、軌跡Ｌ２を第１画像Ｇ
１上に表示する。また、図９に示すように、こうして得
られた軌跡Ｌ２を表示する。他の患者Ｃについても、図
１０に示すように、同様の軌跡Ｌ３を表示する。図６〜
１０より、患者Ａは、その軌跡Ｌ１が途中で大きく折れ
曲がっているため、重度の顎関節症であることがわか
る。また、患者Ｂは、その軌跡Ｌ２がほとんど直線であ
るため、顎関節症でないことがわかる。さらに、患者Ｃ
は、その軌跡Ｌ３が途中で少し折れ曲がっているため、
軽度の顎関節症であることがわかる。

【００５６】また、図１１に示すように、患者Ａの軌跡
Ｌ１と、患者Ａの下顎のほくろを目視して描いた軌跡Ｌ
１’とを比較すると、実施例の検出装置により得られた
軌跡Ｌ１は軌跡Ｌ１’と極めて近似することがわかる。
このため、実施例の検出装置は、人の目に極めて近く、
又は人の目より精度よく患者Ａの下顎の軌跡を計測でき
ることがわかる。

【００５７】さらに、軌跡Ｌ１’に基づく実際と想定し
たオプティカルフローと、ブロックマッチングによるオ
プティカルフローとの差を図１２に示す。ブロックマッ
チングに関しては、動く前の点を中心とした１辺２０ピ
クセルの正方形を各フレーム間でのブロックを動かす範
囲とし、ブロックのサイズを１５×１５ピクセルとし
た。ここでは、患者Ａの下顎先端の周辺１２０×１２０
ピクセルの範囲において、９ピクセルおきの点について
の差を求めた。横軸はベクトルの差のノルム（ピクセ
ル）を示し、縦軸はベクトルの位相の誤差（ラジアン）
を示す。

【００５８】また、実際と想定したオプティカルフロー
と、定数係数βを０とすることにより、一つのアクティ
ブメッシュを仮想するに過ぎない（多重解像度間での拘
束なし）場合のオプティカルフローとの差を図１３に示
す。

【００５９】さらに、実際と想定したオプティカルフロ
ーと、上記実施例によるオプティカルフローとの差を図
１４に示す。

【００６０】図１２に示すように、ブロックマッチング
によるオプティカルフローは、実際と想定したオプティ
カルフローに対し、位相及びノルムにばらつきが大きい
ことが判る。また、図１３に示すように、一つのアクテ
ィブメッシュを仮想するに過ぎない場合のオプティカル
フローは、実際と想定したオプティカルフローに対し、
位相の誤差は少ないものの、ノルムに少しばらつきがあ
ることが判る。これらに対し、図１４に示すように、上
記実施例におけるオプティカルフローは、実際と想定し
たオプティカルフローと極めて近似していることがわか
る。このため、実施例の検査方法は、分散値の広がりが
小さく、耐ノイズ性が向上していることが判る。

【００６１】したがって、実施例の検出方法によれば、
耐ノイズ性により、下顎の軌跡を正確に計測できること
がわかる。また、実施例の検出方法によれば、磁石等を
体に固定する必要がないことから、検出箇所に制限を受
けない。さらに、実施例の検出方法は、検出装置が小型
であることから、設置場所が問題となることはなく、往
診や遠隔診断に用いることもできる。

【図面の簡単な説明】

【図１】本発明の概念モデルを示す図である。

【図２】実施例の検出装置の側面図である。

【図３】実施例の検出方法を示すフローチャートであ
る。

【図４】実施例に係り、第１、２画像を示す図である。

【図５】実施例に係り、第１、２画像及び第１、２アク
ティブメッシュを示す図である。

【図６】実施例に係り、第１画像及びオプティカルフロ
ーを示す図である。

【図７】実施例のオプティカルフローを示す図である。

【図８】実施例に係り、第１画像及びオプティカルフロ
ーを示す図である。

【図９】実施例のオプティカルフローを示す図である。

【図１０】実施例のオプティカルフローを示す図であ
る。

【図１１】実際と想定したオプティカルフローと実施例
のオプティカルフローとを示す図である。

【図１２】実際と想定したオプティカルフローとブロッ
クマッチングによるオプティカルフローとの誤差を示す
グラフである。

【図１３】実際と想定したオプティカルフローと多重解
像度間での拘束なしの場合のオプティカルフローとの誤
差を示すグラフである。

【図１４】実際と想定したオプティカルフローと実施例
によるオプティカルフローとの誤差を示すグラフであ
る。

【図１５】従来の技術に係り、画像及びアクティブメッ
シュを示す図である。

【図１６】従来の技術に係り、画像及びアクティブメッ
シュを示す図である。

【図１７】従来の技術に係り、アクティブメッシュの概
念モデルを示す図である。

【図１８】従来の技術に係り、格子点に作用するエネル
ギの概念モデルを示す図である。

【符号の説明】

Ｇ１…第１画像Ｐ１、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４…第１
格子点ＡＭ１…第１アクティブメッシュＳ２…第１アクティブメッシュ仮想工程Ｇ２…第２画像Ｐ２、Ｐ２０、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４…第２
格子点ＡＭ２…第２アクティブメッシュＳ３…第２アクティブメッシュ仮想工程Ｓ４…オプティカルフロー算出工程Ｅ_internal…内部エネルギＥ_external…外部エネルギＣＲ…デジタルビデオカメラレコーダー（撮影手段）ＰＣ…パソコン（第１アクティブメッシュ仮想手段、第
２アクティブメッシュ仮想手段、オプティカルフロー算
出手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者篠田武志名古屋市昭和区御器所町名古屋工業大学内 (72)発明者竹内秀行京都府京都市伏見区京町９丁目41番地Ｆターム(参考） 5B057 AA07 BA02 CA12 CA16 CB12 CB16 CD05 DA01 DB02 DC30 5L096 BA06 BA18 GA08 HA04 JA11

Claims

【特許請求の範囲】

【請求項１】複数のフレームにより動点を撮影した動画
を取得する撮影工程と、各該フレームから第１解像度の第１画像を作成し、各該
第１画像上に、少なくとも一つが該動点と対応する複数
の第１格子点をもち、各該第１格子点が近傍の各該第１
格子点から拘束を受ける第１アクティブメッシュを仮想
する第１アクティブメッシュ仮想工程と、各該フレーム又は各該第１画像から該第１解像度より解
像度の低い第２解像度の第２画像を作成し、各該第２画
像上に、少なくとも一つが該動点と対応する複数の第２
格子点をもち、各該第２格子点が近傍の各該第１格子点
及び各該第２格子点から拘束を受ける第２アクティブメ
ッシュを仮想する第２アクティブメッシュ仮想工程と、該第１格子点のオプティカルフローを算出するオプティ
カルフロー算出工程とを有することを特徴とする動点軌
跡計測方法。
【請求項２】拘束は、各動点間の動きに基づく内部エネ
ルギと、第１画像及び第２画像のピクセルを構成する物
理量に基づく外部エネルギとの和の最小化原理によるこ
とを特徴とする請求項１記載の動点軌跡計測方法。
【請求項３】物理量は明度であることを特徴とする請求
項２記載の動点軌跡計測方法。
【請求項４】フレームは低テクスチャーであることを特
徴とする請求項１、２又は３記載の動点軌跡計測方法。
【請求項５】低テクスチャーは人の皮膚によることを特
徴とする請求項４記載の動点軌跡計測方法。
【請求項６】顎関節症の検出に適用することを特徴とす
る請求項４記載の動点軌跡計測方法。
【請求項７】人の皮膚の動画を取得する工程と、該動画
を処理して該皮膚のオプティカルフローを抽出する工程
とを有することを特徴とする画像処理方法。
【請求項８】複数のフレームにより動点を撮影した動画
を取得する撮影工程と、各該フレームから第１解像度の第１画像を作成し、各該
第１画像上に、少なくとも一つが該動点と対応する複数
の第１格子点をもち、各該第１格子点が近傍の各該第１
格子点から拘束を受ける第１アクティブメッシュを仮想
する第１アクティブメッシュ仮想工程と、各該フレーム又は各該第１画像から該第１解像度より解
像度の低い第２解像度の第２画像を作成し、各該第２画
像上に、少なくとも一つが該動点と対応する複数の第２
格子点をもち、各該第２格子点が近傍の各該第１格子点
及び各該第２格子点から拘束を受ける第２アクティブメ
ッシュを仮想する第２アクティブメッシュ仮想工程と、該第１格子点のオプティカルフローを算出するオプティ
カルフロー算出工程とを有することを特徴とする動点軌
跡計測プログラムを記録したコンピュータ読み取り可能
な記録媒体。
【請求項９】複数のフレームにより動点を撮影した動画
を取得する撮影手段と、各該フレームから第１解像度の第１画像を作成し、各該
第１画像上に、少なくとも一つが該動点と対応する複数
の第１格子点をもち、各該第１格子点が近傍の各該第１
格子点から拘束を受ける第１アクティブメッシュを仮想
する第１アクティブメッシュ仮想手段と、各該フレーム又は各該第１画像から該第１解像度より解
像度の低い第２解像度の第２画像を作成し、各該第２画
像上に、少なくとも一つが該動点と対応する複数の第２
格子点をもち、各該第２格子点が近傍の各該第１格子点
及び各該第２格子点から拘束を受ける第２アクティブメ
ッシュを仮想する第２アクティブメッシュ仮想手段と、該第１格子点のオプティカルフローを算出するオプティ
カルフロー算出手段とを有することを特徴とする動点軌
跡計測装置。
【請求項１０】人の皮膚の動画を取得する手段と、該動
画を処理して該皮膚のオプティカルフローを抽出する手
段とを有することを特徴とする画像処理装置。
【請求項１１】複数のフレームにより動点を撮影した動
画を取得する撮影工程と、各該フレームから第１解像度の第１画像を作成し、各該
第１画像上に、少なくとも一つが該動点と対応する複数
の第１格子点をもち、各該第１格子点が近傍の各該第１
格子点から拘束を受ける第１アクティブメッシュを仮想
する第１アクティブメッシュ仮想工程と、各該フレーム又は各該第１画像から該第１解像度より解
像度の低い第２解像度の第２画像を作成し、各該第２画
像上に、少なくとも一つが該動点と対応する複数の第２
格子点をもち、各該第２格子点が近傍の各該第１格子点
及び各該第２格子点から拘束を受ける第２アクティブメ
ッシュを仮想する第２アクティブメッシュ仮想工程と、該第１格子点のオプティカルフローを算出するオプティ
カルフロー算出工程とを有する動点軌跡計測プログラ
ム。