JP2001167283A - 顔面運動解析装置および顔面運動解析のためのプログラムを記憶した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 規模の大きな機材を利用することなく簡便
に、かつ、前段階に煩雑な手順を要することなく適切か
つ客観的に顔面運動を解析する。 【解決手段】 カメラにより撮影された被験者の顔面の
映像信号を、所定数のフレームのフレーム画像として、
フレーム画像のうち、所定のフレーム画像間の画素の移
動を算出し、得られた所定のフレーム画像間の各画素の
移動量および移動方向に基づき、顔面中の任意の領域の
運動を解析する。任意の領域は、入力装置の操作により
指定することができる。解析結果は、表示装置やプリン
タに出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の技術分野】本発明は、顔面運動、特に、顔面
の麻痺等による運動を解析する顔面運動解析装置に関す
る。

【０００２】

【従来の技術】医療において、顔面運動を解析しこれを
評価するための幾つかの手法が知られている。たとえ
ば、顔面神経麻痺の評価については、我が国において
は、４０点評価法が周知であり、また、他の国において
は、House-Brackmann法が広く知られている。これら評
価法の最大の特徴は、簡便に顔面神経麻痺の程度を評価
できるという点にある。また、これら評価法は、電気生
理的検査法と組み合わせることにより、予後の推定にも
利用することができる。しかしながら、上記評価法にお
いては、検者によって評価に大きなばらつきが生じると
いう問題点や、再現性に問題がある点など、主観的評価
法に付随する問題点があった。そこで、これら問題点を
解決するために、種々の客観的評価法が提案されてい
る。

【０００３】たとえば、モアレ法においては、光の干渉
現象（モアレ縞）を利用して、顔面の三次元形状をモア
レ縞による等高線情報として捉え、これを実現するた
め、格子照射型モアレカメラなどを利用して、被験者の
顔面上にモアレ縞を発生させ、これをビデオカメラにて
撮影している。この画像をスローモーションで再生する
ことにより、観察者は、等高線により顔面の動きを観察
できるため、従来の４０点法などと比較して、主観の入
る可能性を少なくすることが可能となる。また、モアレ
縞の本数の変化により、顔面の動きを定量的に解析する
ことも提案されている。

【０００４】また、マーカー利用法においては、被験者
の顔面の運動を検知すべき領域などに、所定数（たとえ
ば２０個程度）の小さな黒いマークを付した状態で、被
験者の顔面を撮影し、撮影された画像のうち所定のフレ
ーム画像を２値化して、被験者に付された黒いマークが
認識できるようにして、黒いマークの座標の変化を検知
している。また、所定のマークを結んだ多角形の面積の
測定により、顔の運動を解析することも提案されてい
る。

【０００５】

【発明が解決しようとする課題】しかしながら、モアレ
法においては、特殊なモアレカメラを配置する必要があ
り、簡単な設備にて顔面運動を観察できないという問題
点もあった。また、スローモーションによるビデオ画像
の観察を行う限り、観察者の主観を完全には排除するこ
とができないという問題点もあった。さらに、客観的な
観察のために、モアレ縞の本数を利用した定量的な解析
を行っているが、縞の本数に基づくのみでは、動きの方
向などを適切に解析することができないという問題点も
あった。

【０００６】その一方、マーカー法においては、解析の
前段階に、被験者の顔面に小さなマークを貼付するた
め、その時間を要し、また、マークの貼付は観察者の判
断により行われるため、観察者の経験を必要とするとい
う問題点もあった。さらに、より正確な解析をするため
には、マークの数を増大させる、すなわち、貼付するマ
ークの数にしたがって、解析の正確さも増大するという
問題点もあった。

【０００７】本発明は、規模の大きな機材を利用するこ
となく簡便に、かつ、前段階に煩雑な手順を要すること
なく適切かつ客観的に顔面運動を解析することができる
顔面運動解析装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明の目的は、カメラ
により撮影された被験者の顔面の映像信号を、所定数の
フレームのフレーム画像とするフレーム画像生成手段
と、前記フレーム画像のうち、所定のフレーム画像間の
画素の移動を算出する画素移動算出手段と、当該画素移
動算出手段により得られた所定のフレーム画像間の各画
素の移動量および移動方向に基づき、顔面中の任意の領
域の運動を解析する解析手段と、解析結果を出力する出
力手段とを備えたことを特徴とする顔面運動解析装置に
より達成される。

【０００９】本発明によれば、被験者の顔面を撮影した
映像信号から、フレーム画像を得て、所定のフレーム間
の画素の動きから、顔面の任意の領域の移動量や移動方
向を算出している。したがって、特殊な光学機器を利用
したり、被験者の顔面に特殊な処理（たとえばマーカー
の貼付）をすることなく、適切に顔面の運動を解析する
ことが可能となる。上記出力手段として、ＣＲＴやＬＣ
Ｄなどの表示装置や、プリンタなどの印刷装置を採用す
ることができる。

【００１０】本発明の好ましい実施態様においては、さ
らに、フレーム画像において被験者の顔面の中心位置を
示す正中線を検出する正中線検出手段と、フレーム画像
のうち所定のものの中心位置を基準として、他のフレー
ム画像の位置を補正する位置補正手段とを備えている。
この実施態様によれば、顔面の中心をなす正中線に基づ
き、各フレーム画像を整列することができる。したがっ
て、撮影に被験者の顔面が若干動いた場合であっても、
得られた映像信号から適切に、その運動を解析すること
が可能となる。たとえば、被験者の顔面のうち、両眼の
最も内側の点を結ぶ直線の垂直二等分線を正中線とし
て、位置補正手段が、前記直線および正中線をもちい
て、垂直方向および水平方向の位置をそれぞれ補正する
のが好ましい。

【００１１】本発明のさらに好ましい実施態様において
は、さらに、前記フレーム画像中の任意の領域を設定す
る領域設定手段を備え、前記解析手段が、設定された領
域におけるがその移動に基づく運動を解析するように構
成されている。たとえば、上記任意の領域は、表示装置
などに表示されたフレーム画像を参照して、オペレータ
がマウスの操作により指定できるようにするのが望まし
い。また、本発明のさらに好ましい実施態様において
は、解析装置が、前記設定された領域中の画素の移動量
の平均と、移動方向の平均とを算出するように構成され
ている。

【００１２】本発明の別の実施態様においては、画素移
動算出手段が、各フレーム画像において、所定数の画素
群を一つの画素とするような圧縮画像を生成する処理を
少なくとも一回以上実行し、圧縮率の最も大きい上位の
圧縮画像において画素の移動を検出し、下位の圧縮画像
において、前記上位の圧縮画像における移動先の画素に
対応する画素の領域にて、移動先の画素を特定すること
を繰り返して、もとのフレーム画素の画素の移動先を特
定するように構成されている。

【００１３】この実施態様によれば、画素数が少なく解
像度が低いものの、ノイズの少ない圧縮画像において、
ある画素の移動先を特定し、次に、一段階圧縮率の低
い、下位の圧縮画像において、当該画素の移動先に対応
する領域の画素を検索して、このレベルでの画素の移動
を特定する。これを繰り返すことにより、最終的に原画
像における画素の移動を算出することができる。この態
様では、画素の移動先を見出すための範囲をある程度特
定できるため、全体として、処理時間を短縮するととも
に、移動量および移動方向の算出誤差を少なくすること
が可能となる。

【００１４】また、本発明の目的は、上記手段を実現す
るステップを備えたコンピュータプログラムを記憶した
記憶媒体によっても達成される。

【００１５】

【発明の実施の形態】以下、添付図面を参照して、本発
明の実施の形態につき説明を加える。図１は、本発明の
第１の実施の形態にかかる顔面運動解析装置およびその
周辺装置の概略構成を示すブロックダイヤグラムであ
る。図１に示すように、システムは、被験者の顔面を撮
影するＣＣＤカメラ１２と、ＣＣＤカメラ１２からの映
像信号を記録するビデオテープレコーダ（ＶＴＲ）１４
と、ＶＴＲ１４の再生により出力される映像信号を受け
入れ、当該映像信号に基づく種々の解析を実行する解析
装置本体であるコンピュータ１６とを備えている。な
お、この実施の形態では、いったん、ＣＣＤカメラ１２
からの映像信号をＶＴＲ１４にて記憶しているがこれに
限定されるものではなく、ＣＣＤカメラ１２からの映像
信号を直接コンピュータ１６が受け入れ、この映像信号
をディジタル化した画像データを、コンピュータ１６の
ハードディスク等にて記憶するように構成しても良い。

【００１６】図２は、解析装置本体であるコンピュータ
１６のハードウェア構成を示すブロックダイヤグラムで
ある。図２に示すように、コンピュータ１６は、通常の
パーソナルコンピュータやワークステーションであり、
コンピュータ１６の各構成部分を制御するとともに、プ
ログラムにしたがって、ＶＴＲ１４からの画像に基づく
データに所定の処理を施すＣＰＵ２０と、データやプロ
グラムを一時的に保持するＲＡＭ(Random Access Memor
y)２２と、プログラム等を記憶したＲＯＭ(Read Only M
emory)２４と、画像データや処理後のデータを記憶する
ハードディスク装置２６と、ビデオカメラからの画像信
号を受け入れて、これがアナログ信号である場合にはデ
ィジタル化して、画素の階調を示す画像データを得るビ
デオキャプチャボードを含むインタフェース（Ｉ／Ｆ）
２８と、マウスやキーボードからなる入力装置３０と、
ＣＲＴやＬＣＤから構成される表示装置３２と、後述す
る処理により得られた解析結果などを印刷するプリンタ
３４とを有している。

【００１７】画像データに処理を施すためのプログラム
は、初期的にはＣＤ−ＲＯＭに記憶され、ＣＤ−ＲＯＭ
ドライバ（図示せず）によって読み込まれて、ＲＡＭ２
２やハードディスク装置２６に保持され、当該ＲＡＭ２
２やハードディスク装置２６中のプログラムをＣＰＵ２
０が読み出して、処理を実行するように構成しても良
い。或いは、予め、ＲＯＭ２４に記憶されていても良
い。さらに、プログラムは、インターネットなどを用い
て、通信回線（図示せず）を介して、コンピュータ１６
中にダウンロードされても良い。

【００１８】ＣＣＤカメラ１２は、被験者の顔に面して
配置される。被験者は、所定の固定手段にてその顔面が
固定されているのが望ましいが、固定されていない場合
であっても、本解析装置により適切に、顔面運動を解析
することは可能である。ＶＴＲ１４は、アナログ方式で
あっても良いし、ディジタル方式であっても良い。アナ
ログ方式の場合には、解析装置において、まず、アナロ
グの映像信号をディジタル画像に変換する必要がある。
したがって、Ａ／Ｄ変換の必要がないことから、ディジ
タルビデオを利用するのがより望ましい。

【００１９】図３は、本実施の形態にかかる顔面運動解
析装置を利用した処理の概略的な流れを示す図である。
図３に示すように、第１の実施の形態においては、ＶＴ
Ｒ１４を再生することにより、ＶＴＲ１４に録画された
映像を示す映像信号が、コンピュータ１６のビデオキャ
プチャボードに与えられる（図３の符号３０１、３０２
参照）。ビデオキャプチャボードは、受理した映像信号
を、フレームごとに、フレームを構成する画素の階調値
を示す画像データを生成する。

【００２０】本実施の形態においては、ＶＴＲ１４の録
画および再生の速度は、３０フレーム／秒であり、か
つ、１秒分（すなわち３０フレーム）の映像がキャプチ
ャーされて、３０フレーム分の画像データが得られる。
上記キャプチャーした映像の時間は、顔面における一連
の動き（たとえば表情の変化）に要する時間に略対応さ
せたものである。しかしながら、この時間は１秒に限定
されず、これより長くても短くても良い。また、ＶＴＲ
１４による録画および再生の速度も、上述したものに限
定されないことは言うまでもない。また、本実施の形態
においては、画像のキャプチャーにより２５６階調の画
像データが作られる。

【００２１】キャプチャーボードにより生成された画像
データは、一時的にハードディスク装置２６に一時的に
記憶される。コンピュータ１６は、キャプチャーが終了
すると、オプティカルフロー検出の前処理を実行する。
図４は、前処理の手順を示すフローチャートである。

【００２２】図４に示すように、まず、コンピュータ１
６は、画像中のノイズを除去するために、得られた画像
データに平滑化を施す（ステップ４０１）。次いで、コ
ンピュータ１６は、キャプチャーされハードディスク２
６に記憶された画像データのうち、先頭フレームに関す
る画像データを読み出して、これらの階調値の平均値を
得る（ステップ４０２）。次いで、コンピュータ１６
は、残りのフレームの各々に関する画像データを順次読
み出し、各画像データの画素値の平均値を算出して、先
頭フレームの平均値と、処理にかかるフレームの平均値
との割合を得て、この割合に基づき、処理にかかるフレ
ームの画素値を重み付ける（ステップ４０３）。これに
より、撮影環境の変化やカメラ状態の変化により、フレ
ーム間で明るさが変化することに起因して、オプティカ
ルフローの誤検出が生じるおそれを減じることが可能と
なる。

【００２３】次いで、コンピュータ１６は、先頭フレー
ム中の画像データにおいて、正中線を決定する（ステッ
プ４０４）。本実施の形態においては、画像データ中、
「眼」に対応する領域を検出し、二つの眼の最も内側の
点を結ぶ直線の垂直二等分線を、正中線と決定してい
る。コンピュータ１６は、この正中線を基準として、他
のフレームの画像データの位置補正を実行する。すなわ
ち、他のフレームの画像においても、正中線を算出し
て、先頭フレームの正中線と他のフレームの正中線とが
一致するように、他のフレームの画像が左右方向にシフ
トされる（ステップ４０５）。また、正中線と二つの眼
の内側の点を結ぶ直線との交点の位置を、フレーム間で
一致させるように、他のフレームの画像が上下方向にシ
フトされる（ステップ４０５）。なお、上記交点以外
に、或いは、これに加えて、正中線と顔の輪郭の最下点
（すなわち、あごの下端）との交点、および／または、
正中線と顔の輪郭の最上点（すなわち、頭頂部）との交
点を用いて、上下方向のシフト量を決定してもよい。

【００２４】このようにして前処理が終了することによ
り、フレーム間で明るさが一定になり、かつ、フレーム
間でその位置が整列された画像データを得ることが可能
となる。これらデータも、ハードディスク装置２６の所
定の領域に記憶される。次いで、コンピュータ１６は、
上記前処理が施された、隣接する二つのフレームに関す
る画像データをハードディスク装置の所定の領域から読
み出し、これら画像に基づきオプティカルフローを算出
する（図３のステップ３１２参照）。ここに、本明細書
においてオプティカルフローとは、画像上の画素の流れ
（動き）をベクトルで表わしたものをいう。本実施の形
態においては、隣接する２つのフレーム間で各画素の動
きをベクトルで求め、移動方向および移動量が算出され
る。オプティカルフローを算出するために、マッチング
法、グラディエント（勾配）法などが知られているが、
本実施の形態においては、グラディエント法を利用し
た。グラディエント法は、時空関画像の輝度の傾きから
速度場を求める手法であり、特徴点がなくとも移動方向
や移動量を検出することが可能である。

【００２５】このようにして、すべての隣接するフレー
ム間のオプティカルフローを求めた後、コンピュータ１
６のＣＰＵ２０は、先頭フレームから末尾フレームまで
の、所定画素の移動を示す画像を作成し、得られた画像
を表示装置３２の画面上に表示する。また、隣接するフ
レーム間の各画素の移動方向および移動量が、ハードデ
ィスク装置２６の所定の領域に記憶される。これらベク
トルに関するデータは、以下に述べる解析にて利用され
る。図５は、本実施の形態に基づき得られたオプティカ
ルフローを示す画像である。図５において、被験者の口
唇付近および左眼付近の移動が大きいことが理解でき
る。なお、オペレータが入力装置３０を操作することに
より、図５に示すような画像が印刷された印刷物を、プ
リンタ３４から出力させることもできる。

【００２６】オペレータは、マウスやキーボードからな
る入力装置３０を操作して、たとえば、先頭フレームの
画像を読み出す指令を与え、これに応答して、表示装置
３２の画面上に、被験者の画像が表示される。次いで、
オペレータは、入力装置３０を操作して、画像中の任意
の領域（目的領域）を指定して、当該目的領域に関する
解析を指令することができる（ステップ３１３および図
６参照）。図６は、目的領域が設定された状態の画像の
一例を示す図である。図６において、矩形で囲まれたウ
ィンドウ（たとえば、符号６０１、６０２、６０３等）
が、設定された目的領域を表わしている。

【００２７】コンピュータ１６のＣＰＵ２０は、上記指
令に応答して、すべての隣接するフレーム間の、目的領
域に含まれる画素の移動量および移動方向を、ハードデ
ィスク装置２６から読み出し、各画素の移動量および移
動方向の平均を求める（ステップ３１４）。たとえば、
本実施の形態においては、隣接するフレーム間の各画素
の移動方向を、ｘ軸方向（水平方向）とｙ軸方向（垂直
方向）とに分離し、各方向における移動量を算出した
後、目的領域に含まれる全ての画素のｘ方向の移動量の
平均値、および、ｙ方向の移動量の平均値が算出され
る。これら平均値を、全ての隣接するフレーム間に関し
て算出することにより、図７に示すようなグラフを得る
ことが可能である。図７（ａ）は、右上口唇（図６の目
的領域６０１参照）および左上口唇（図６の目的領域６
０２参照）における、先頭フレームから第１３フレーム
までの隣接するフレーム間で算出された、ｘ方向の画素
移動量のウィンドウ内の平均値を示し、図７（ｂ）は、
右上口唇（図６の目的領域６０１参照）および左上口唇
（図６の目的領域６０２参照）における、先頭フレーム
から第１３フレームまでの隣接するフレーム間で算出さ
れた、ｙ方向の画素移動量のウィンドウ内の平均値を示
している。図７（ａ）において、縦軸の値が大きくなる
のにしたがって、右側に移動していることが示され、図
７（ｂ）においては、縦軸の値が大きくなるのにしたが
って、上側に移動していることが示されている。この例
は、強閉眼時の顔面を撮影したものに基づいており、こ
のときに右側の口唇が、右方に引きつられていることが
理解できる。

【００２８】図７に示すようなグラフは、表示装置３２
の画面上に表示され、また、オペレータの操作により、
プリンタ３４からも印刷物として出力され得る。このよ
うに、本実施の形態によれば、撮影したフレーム画像に
所定の補正処理を施して、各フレーム間を整列させて、
次いで、隣接するフレーム間のオプティカルフローを算
出している。また、オプティカルフローの算出の後、所
定の領域における画素の移動量および移動方向を解析す
ることができる。したがって、顔面の運動を、正確かつ
適切に解析することが可能となる。本発明にかかる顔面
運動解析装置は、脳卒中などによる顔面の麻痺の解析、
リハビリによる効果を調べるための顔面運動の解析、顔
面の傷害を治療するための形成の効果を確認するための
解析などに、広く利用することができる。

【００２９】次に、本発明の第２の実施の形態につき説
明を加える。第２の実施の形態は、オプティカルフロー
の検出(図３のステップ３１２)において、以下に述べる
工夫が導入されている点を除き、第１の実施の形態のも
のと略同様に構成されている。この実施の形態において
は、前処理の後、オプティカルフローの検出のために、
隣接する一群の画素を１つの画素にして、画素数を縮小
した圧縮画像を階層的に作成している。この実施の形態
においては、図８（ａ）に示す原画像の隣接するある４
画素（たとえば、破線で囲んだもの）を、図８（ｂ）の
１画素（符号８０１参照）として表わし、これにより画
像を１／２に圧縮し、次いで、図８（ｂ）中のある４画
素（たとえば、破線で囲んだもの）を、図８（ｃ）の１
画素（符号８０２参照）として表わし、これにより画像
をさらに１／２に圧縮し、さらに、図８（ｃ）のある４
画素（たとえば、破線で囲んだもの）を、図８（ｄ）の
１画素（符号８０３）参照として表わし、画像をさらに
１／２に圧縮している。このために、４つの画素の階調
値の平均値を算出して、新たな画素の階調値とすればよ
い。このように、圧縮することにより、たとえば、２５
６画素×２５６画素の領域を、３２画素×３２画素の領
域に圧縮することができる。

【００３０】圧縮された上位の画像（階層画像）は、下
位の画像（階層画像）と比較して、解像度が低くなる反
面、被験者の動きを大局的に捉えることができ、雑音の
影響の少ない安定した画像となる。そこで、第２の実施
の形態において、コンピュータ１６のＣＰＵ２０は、隣
接するフレームの圧縮画像を生成した後に（図９のステ
ップ９０１参照）、当該圧縮画像の画素に基づき、隣接
するフレーム間の画素の移動を検知する（ステップ９０
２）。画素の検知が終了すると、最上位の（最も圧縮さ
れた）画像から、１段階ずつ下位の画像に戻り、フレー
ム間の画素の移動を推定する（ステップ９０３、ステッ
プ９０４参照）。より詳細には、１段階下位の画像にお
いて、上位の画像にて画素の移動が生じたと推定された
領域に含まれる画素について、その移動を特定する。こ
のような処理が、最下位の画像（すなわち原画像）まで
繰り返される。第２の実施の形態によれば、演算量の多
い（すなわち画素の多い）下位の画像に進むにしたがっ
て、処理すべき範囲が限定されるため、移動量や移動方
向の算出誤差を減じることができるとともに、最終的な
計算量を軽減することができる。

【００３１】このようにして、最終的に原画像中の画素
の移動量および移動方向が特定され（ステップ９０
５）、これらがハードウェア装置２６の所定の領域に記
憶される。オプティカルフローの検出が終了すると、コ
ンピュータ１６は、第１の実施の形態と同様に、得られ
たオプティカルフローを示す画像を表示装置３２の画面
上に表示する（図５参照）。また、第２の実施の形態に
おいても、オペレータによる目的領域の設定や、設定さ
れた目的領域の解析をなすことができる（図３のステッ
プ３１４、３１５参照）。

【００３２】第２の実施の形態によれば、対象を圧縮し
た階層画像を生成し、各階層において、画素の移動を検
知して、移動先の画素を推定し、これより圧縮度の小さ
な下位の画像において、移動先の画素に対応する領域を
検索して、画素の移動先を特定する。これにより、演算
の対象となる画素数を減じることができ、オプティカル
フローの検出精度を損なうことなく処理時間を短縮する
ことが可能となる。

【００３３】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。たとえ
ば、前記実施の形態においては、オペレータがマウス等
を利用して、被験者の顔面が表示された画像中に矩形の
目的領域を設定しているが、目的領域の形状および大き
さはこれに限定されるものではない。

【００３４】また、前記第２の実施の形態において、原
画像を、それぞれ、１／２、１／４および１／８に圧縮
した圧縮画像を生成し、１／８に圧縮したものを最上位
としているが、圧縮の度合いや圧縮の段階数はこれに限
定されるものではない。また、隣接する４画素の群を一
画素とした圧縮画像を得ているが、これに限定されるも
のではなく、場合によっては、隣接する９画素（３画素
×３画素）の群により一画素を作成してもよい。

【００３５】さらに、フレーム画像の速度や、フレーム
画像の数は、観察すべき顔面により、或いは、解析の用
途（たとえば、顔面麻痺の解析、リハビリ効果や形成の
効果の解析など）により任意に変更することができる。
また、本明細書において、手段とは必ずしも物理的手段
を意味するものではなく、各手段の機能が、ソフトウェ
アによって実現される場合も、もちろん包含する。ま
た、一つの手段の機能が、二つ以上の物理的手段により
実現されても、若しくは、二つ以上の手段の機能が、一
つの物理的手段により実現されてもよい。

【００３６】

【発明の効果】本発明によれば、規模の大きな機材を利
用することなく簡便に、かつ、前段階に煩雑な手順を要
することなく適切かつ客観的に顔面運動を解析すること
ができる顔面運動解析装置を提供することが可能とな
る。

【図面の簡単な説明】

【図１】 図１は、本発明の第１の実施の形態にかかる
顔面運動解析装置およびその周辺装置の概略構成を示す
ブロックダイヤグラムである。

【図２】 図２は、第1の実施の形態にかかる解析装置
本体であるコンピュータのハードウェア構成を示すブロ
ックダイヤグラムである。

【図３】 図３は、第1の実施の形態にかかる顔面運動
解析装置を利用した処理の概略的な流れを示す図であ
る。

【図４】 図４は、第1の実施の形態にかかる前処理の
手順を示すフローチャートである。

【図５】 図５は、第1の実施の形態に基づき得られた
オプティカルフローを示す画像である。

【図６】 図６は、第1の実施の形態において、目的領
域が設定された状態の画像の一例を示す図である。

【図７】 図７は、第１の実施の形態において目的領域
での移動量および移動方向を示すグラフである。

【図８】 図８は、第２の実施の形態にかかる階層画像
を説明するための図である。

【図９】 図９は、第２の形態にかかる階層画像を利用
した処理を示すフローチャートである。

【符号の説明】

１２ ＣＣＤカメラ １４ ＶＴＲ １６ コンピュータ ２０ ＣＰＵ ２２ ＲＡＭ ２４ ＲＯＭ ２６ ハードディスク装置 ２８ Ｉ／Ｆ ３０ 入力装置 ３２ 表示装置 ３４ プリンタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 國弘 幸伸 東京都台東区台東１−３−２ (72)発明者 南谷 晴之 神奈川県横浜市港北区日吉本町５−14−８ (72)発明者 衛藤 憲人 宮崎県宮崎市生目台１−９−３ (72)発明者 神崎 仁 東京都渋谷区松濤１−６−13 Ｆターム(参考） 4C038 VB03 VC05 5L096 BA06 BA18 CA02 EA14 EA45 FA03 GA17 HA04

Claims (10)

【特許請求の範囲】
1. 【請求項１】 カメラにより撮影された被験者の顔面の
   映像信号を、所定数のフレームのフレーム画像とするフ
   レーム画像生成手段と、 前記フレーム画像のうち、所定のフレーム画像間の画素
   の移動を算出する画素移動算出手段と、 当該画素移動算出手段により得られた所定のフレーム画
   像間の各画素の移動量および移動方向に基づき、顔面中
   の任意の領域の運動を解析する解析手段と、 解析結果を出力する出力手段とを備えたことを特徴とす
   る顔面運動解析装置。
2. 【請求項２】 さらに、フレーム画像において被験者の
   顔面の中心位置を示す正中線を検出する正中線検出手段
   と、 前記フレーム画像のうち所定のものの中心位置を基準と
   して、他のフレーム画像の位置を補正する位置補正手段
   とを備えたことを特徴とする請求項１に記載の顔面運動
   解析装置。
3. 【請求項３】 前記正中線検出手段が、被験者の顔面の
   うち、両眼の最も内側の点を結ぶ直線の垂直二等分線を
   正中線と決定し、かつ、前記位置補正手段が、前記直線
   および正中線を用いて、垂直方向および水平方向の位置
   をそれぞれ補正することを特徴とする請求項２に記載の
   顔面運動解析装置。
4. 【請求項４】 さらに、前記フレーム画像中の任意の領
   域を設定する領域設定手段を備え、 前記解析手段が、設定された領域における、画素の移動
   に基づく運動を解析することを特徴とする請求項１ない
   し３の何れか一項に記載の顔面運動解析装置。
5. 【請求項５】 前記解析装置が、前記設定された領域中
   の画素の移動量の平均と、移動方向の平均とを算出する
   ことを特徴とする請求項４に記載の顔面運動解析装置。
6. 【請求項６】 前記画素移動算出手段が、 各フレーム画像において、所定数の画素群を一つの画素
   とするような圧縮画像を生成する処理を少なくとも一回
   以上実行し、 圧縮率の最も大きい上位の圧縮画像において画素の移動
   を検出し、下位の圧縮画像において、前記上位の圧縮画
   像における移動先の画素に対応する画素の領域にて、移
   動先の画素を特定することを繰り返して、原画像である
   フレーム画像の画素の移動先を特定するように構成され
   たことを特徴とする請求項１ないし５の何れか一項に記
   載の顔面運動解析装置。
7. 【請求項７】 前記画素移動算出手段が、 隣接する4つの画素を一群の画素とするような圧縮画像
   を、3段階にわたり生成することを特徴とする請求項６
   に記載の顔面運動解析装置。
8. 【請求項８】 カメラにより撮影された被験者の顔面の
   映像信号に基づき、当該被験者の顔面運動を解析するプ
   ログラムを記憶したコンピュータにより読み出し可能な
   記憶媒体であって、 カメラにより撮影された被験者の顔面の映像信号を、所
   定数のフレームのフレーム画像とするステップと、 前記フレーム画像のうち、所定のフレーム画像間の画素
   の移動を算出するステップと、 前記フレーム画像中の任意の領域を設定するステップ
   と、 得られた所定のフレーム画像間の各画素の移動量および
   移動方向に基づき、前記設定された領域の運動を解析す
   るステップと、 解析結果を出力するステップとを備えたプログラムを記
   憶した記憶媒体。
9. 【請求項９】 さらに、フレーム画像において被験者の
   顔面の中心位置を示す正中線を検出するステップと、 前記フレーム画像のうち所定のものの中心位置を基準と
   して、他のフレーム画像の位置を補正するステップとを
   備えたことを特徴とする請求項８に記載のプラグラムを
   記憶した記憶媒体
10. 【請求項１０】 前記画素の移動を算出するステップ
    が、 各フレーム画像において、所定数の画素群を一つの画素
    とするような圧縮画像を生成する処理を少なくとも一回
    以上実行するステップと、 圧縮率の最も大きい上位の圧縮画像において画素の移動
    を検出し、下位の圧縮画像において、前記上位の圧縮画
    像における移動先の画素に対応する画素の領域にて、移
    動先の画素を特定するステップとを有し、 上位の圧縮画像における画素の移動先に基づき、下位の
    圧縮画像における画素の移動先の領域を特定して、当該
    領域において移動先となる画素を検知することを特徴と
    する請求項８または９に記載のプログラムを記憶した記
    憶媒体。