JP2007148922A - 顔運動療法支援装置 - Google Patents

Abstract

【課題】ユーザが顔の運動を行なうことを支援する顔運動療法支援装置を提供する。
【解決手段】映像モジュールプログラム１２００は、ハードディスク１１１０に格納された動画像から顔領域を抽出する顔検出部１２０８と、オプティカルフローに基づいて、検出され抽出された顔の内部の画像上の動きを特定するための情報の計算を行なうオプティカルフロー算出部１２０６と、オプティカルフローから得られる動きベクトルに対応してＭＩＤＩ信号を生成するＭＩＤＩマッピング部１２１４とを含む。一方、音楽モジュールプログラム１４００は、ＭＩＤＩ信号に応じて、音楽を生成し出力する。
【選択図】図２

Description

この発明は、顔の筋肉等のリハビリテーション等において、ユーザが顔の運動を行なうことを支援する顔運動療法支援装置の構成に関する。

さまざまな形態の神経の病気は、顔の麻痺やあるいは障害を引起す。これらの病気は、脳梗塞（しばしば「脳卒中」と呼ばれる。）や、パーキンソン病や、その他の病気を含んでいる。このような病気は、年齢とともに生じやすくなるものであるが、必ずしも年齢が高くなければ罹患しないというものでもない。

顔の筋肉を動かすのが困難になることは、通常、正常な表情や、発話や、歪んだり非対称となった顔の外観に対して影響を与える。このことは、患者の通常の社会生活の障害となる。なぜならば、人間の顔は非言語コミュニケーションや、社会的な相互作用において非常に重要な役割と果たしているからである。このことはまた、自信や自尊心の喪失、さらには、感情的な憂鬱といったものと繋がり得るものである。このような理由から、表情はしばしば内科医によって、理学療法の形態として治療が行なわれ、顔の筋肉の強さや柔軟性の回復が試みられる。このような運動を補助するものとして、いくつかの機械的な製品を利用することができる。

しかしながら、概して、患者は単調な運動を繰返すことを余儀なくされる。このことは、日々の他者からの訓練あるいは自分自身の強固な動機付けを必要とするものである。顔の麻痺の状態は、また、そのような患者の介護者に対して、介護の負荷を課すことになる。患者が顔の麻痺の状態を理由として、社会的に引きこもってしまったときには、患者は、その家族や介護者に対する大変大きな負荷となってしまう。このことは、患者が憂鬱状態となったり、あるいは、治療に対するモチベーションをなくしてしまうような場合には、一層状況を悪くする。顔の運動というような理学療法的な運動を通して、コミュニケーション能力が回復することは、しばしば介護者や家族の監督を要求するものである。このことは、非常に時間を要することとなり、介護者の忍耐に対する試練となる。

一方で、近年、撮像装置で撮影された画像から、撮像装置の周囲の物体の動き等を把握する方法が提案されている。その方法は、動画像のフレーム間でオプティカルフローを測定することにより、写っている物体の動きを把握するものである。

このような「オプティカルフロー」は、画像の各フレームに特徴照合法（パターンマッチング）や、時空間勾配法等を用いることにより求められる（たとえば、特許文献１、非特許文献１を参照）。
特開２００４−３５５０８２号公報 Barrron, J. L., Fleet, D. J., Beauchemin, S.S.: Performance of optical flow techniques. The International Journal of Computer Vision, 12(1994)pp.43-77

このように、撮影された画像内での動き検出については、先行例があるものの、これを用いて、リハビリテーション等における人間の表情の運動といかにして関連づけるかについては必ずしも明らかではない。

本発明は、このような問題点を解決するためになされたものであって、その目的は、ユーザが顔の運動を行なうことを支援する顔運動療法支援装置を提供することである。

この発明のある局面に従うと、顔運動療法支援装置であって、被験者の顔画像を含む対象画像領域についての動画像データを獲得する撮影手段と、動画像データを格納するための記憶装置と、対象画像領域内において、顔を検出する顔検出手段と、検出された顔に対応する部分顔領域において、単位領域ごとに動きベクトルを検出する動き検出手段と、動きベクトルと動きベクトルの対応する部分顔領域に基づいて、動きベクトルを音楽を再生するための要素情報に変換するための変換手段と、要素情報に対応する音声を再生して出力するための音声合成手段とを備える。

好ましくは、記憶装置は、部分顔領域ごとに、動きベクトルのいずれの成分を要素情報の変換処理において使用するかを示す規則情報を予め記憶しており、変換手段は、規則情報に基づいて変換処理を行なう。

好ましくは、変換手段は、動きベクトルの対象画像領域内の位置に応じた音程に対応するように要素情報への変換を行なう。

好ましくは、動き検出手段は、検出領域に対応する顔画像データにおいて格子点上の各点についてのオプティカルフローを算出するオプティカルフロー算出手段を含む。

（本発明の概要）
表情は人間の心的な状態の重要な情報を提供するものである。以下に説明するように、本発明は、被験者（被介護者）が顔の運動を行なうことを支援する顔運動療法支援装置を実現するものである。

つまり、本発明の顔運動療法支援装置は、画像入力インタフェースを有するパーソナルコンピュータまたはワークステーション等のコンピュータと、このコンピュータ上で実行されるソフトウェアと、カメラなどの撮像装置と、撮影された顔を表示するための表示装置と、上記ソフトウェアにより、検出された顔の動きを音楽に変換して出力する出力装置により実現されるものであって、人物の顔の映像から、顔部分を抽出するとともに、この顔の内部の動きを検出し、この動き情報と音楽の要素情報に変換して、この要素情報に基づいて、被験者の顔の動きに対応した音楽の生成および出力を可能とするものである。

なお、コンピュータについては、上述のような汎用コンピュータのみならず、専用機器に組み込まれた組込型のコンピュータであってもかまわない。

以下の説明で明らかとなるように、本発明によれば、顔の動きの何らかの困難に苦しんでいる患者にとって、顔の運動の規則的な訓練を、より楽しく面白く、さらには、没頭するようなものとすることができる。

本発明の基本的なアイデアは、顔のさまざまな部分の運動と音楽効果や出力とを関連付けるということである。そこで、顔の運動を連続して行なうことが、音楽という副産物を生じさせることになる。音楽というものは、積極的な感情と関連付いているということが知られているので、このことは、その理学療法の一部として毎日顔の運動を実行することを必要としている患者に対し、ポジティブなフィードバックを与えることになる。

このことはまた、このような運動を行なうことに対する動機付けを増加させ、さらには、通常は患者の介護のために多くの時間とエネルギを捧げなければならない介護者あるいは家族の介護の負担を緩和することになる。

さらに、音楽的なフィードバックは、患者が非常に熟練してその運動を完了することを助け、さらには、その理学療法においてより大きな成功を達成することを助けるものである。このことは、社会的に引きこもりあるいは憂鬱な状態となっている患者が自信を回復し、再び社会的な活動に参加することを助け、それとともに、介護者や家族から多くのストレスを取り除くことになる。
［ハードウェア構成］
以下、本発明の実施の形態にかかる顔運動療法支援装置について説明する。

図１は、本発明の顔運動療法支援装置１００の構成を示す概略ブロック図である。
図１を参照して、この顔運動療法支援装置１００は、パーソナルコンピュータなどのコンピュータ１１０と、コンピュータ１１０に接続され、被験者２への情報を表示するための表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０に接続され、被験者２からの指示や情報を入力するための入力装置としてのキーボード１０６と、被験者２の顔を含む画像を取込むためのカメラ１０２と、コンピュータ１１０により生成された音楽を音声として出力するためのステレオスピーカ１３０および１３２とを含む。なお、入力装置として、マウスや、タブレットとペンなどをさらに備える構成としてもよい。

また、この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。

なお、図示しないが、コンピュータ１１０には、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。

さらに、図１を参照して、コンピュータ１１０は、バスＢＳにそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０２からの画像を取り込み、あるいは入力装置１０６からの信号を受け取り、または、ディスプレイへ画像を出力し、ステレオスピーカ１３０および１３２に音声を出力するなどデータを授受するためのインタフェース部１１０２とを含んでいる。

既に述べたように、顔運動療法支援装置１００として機能する部分の主要部は、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。

図１に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭや、ハードディスク１１１０等の記憶媒体に記憶されたソフトウェアである。

なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該顔運動療法支援装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて顔運動療法支援装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。

［ソフトウェア構成］
図２は、図１に示した顔運動療法支援装置１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。

図２においては、コンピュータ１１０上で動作するプログラムは、映像モジュールプログラム１２００と、映像モジュールプログラム１２００が顔画像の動きを変換してハードディスク１１１０に格納した、音楽を再生するための要素情報、たとえば、ＭＩＤＩ（Musical Instruments Digital Interface）情報に基づいて音楽を再生するための音楽モジュールプログラム１４００とを含む。なお、音楽を再生するための要素情報としては、ＭＩＤＩ情報に限られず、どのような音色で、どの音程を、どんな強さで、どのくらいの期間鳴らすのかを規定するための情報であればよい。

以下に説明するとおり、顔運動療法支援装置１００では、動画像が実時間で処理されて、顔の領域が分離され、表情が記録される。顔の動きを解釈するために、オプティカルフロー法が使用される。

映像モジュールプログラム１２００は、対象となる人物とその周りの環境も含めた動画像をカメラ１０２から獲得する画像キャプチャ部１２０２と、キャプチャされた動画像をハードディスク１１１０に格納するための画像データ記録処理部１２０４とを含む。画像キャプチャ部１２０２は、必要に応じて、カメラ１０２から入力されるデジタル動画像データを保存に適した画像フォーマットへとフォーマット変換を行なう。

映像モジュールプログラム１２００は、さらに、ハードディスク１１１０に格納された動画像から顔領域を抽出する顔検出部１２０８と、オプティカルフローに基づいて、抽出された顔の内部の画像上の動きを特定するための情報（たとえば、画像内の動きベクトルの分布）の計算を行なうオプティカルフロー算出部１２０６とを含む。なお、オプティカルフロー算出部１２０６は、顔画像の動画像データを、算出された動きの属性データとともにハードディスク１１１０に格納してもよい。

算出された顔の画像内の動きベクトルに基づいて、しきい値比較部１２１０は、この動きベクトルが所定の規則のもとで、所定のしきい値を超えているかを判定する。ここで、所定の規則（「動き検知ルール」）とは、顔画像内の領域ごとに、しきい値と比較する対象を、動きベクトルの成分のうちいずれの方向成分（たとえば、ｘ成分またはｙ成分）とするか、または、動きベクトルの大きさとするか等を定めた規則である。この「動き検知ルール」は、たとえば、ハードディスク１１１０に予め格納されている。

表示制御部１３０２は、撮影された動画を表示部１０８に表示させるとともに、後に説明するように、検出された動きベクトルや、そのしきい値との比較結果等を表示部１０８の画面上に表示させる。

映像モジュールプログラム１２００で算出された、たとえば、ＭＩＤＩ情報は、ソフトウェアの合成モジュールである音楽モジュールプログラム１４００へと導かれる。この音楽モジュールプログラム１４００は、サンプリングシンセサイザを用いることで、音符をトリガする。このことは、ユーザの好みに合うように、個性化あるいはカスタマイズのために、音を変更することを可能とする。この合成モジュールの出力される音が、ステレオパンするということは、顔の右／左の位置に対応している。顔領域の垂直な位置は、音のピッチ（音程）と関連付いている。最終的には、そして最も重要なことは、顔の領域は、音符をトリガし、その結果、顔の動きのそれぞれの型は、相互に分離された区別可能な音となるということである。このシステムの技術的な詳細については、さらに、以下に説明する。

（映像モジュールプログラム１２００）
カメラ１０２からの動画像データの入力は、オプティカルフロー処理の演算量の削減や、ハードディスク１１１０へ格納するためのデータ容量の削減のために、たとえば、６４０×４８０画素から３２０×２４０画素に間引かれる。

周知の顔の検出アルゴリズムにより顔検出部１２０８が、カメラ１０２の視野の中に顔が存在するかどうかを決定し、それがどこに存在しているかも決定する。特に限定されないが、この顔検出のアルゴリズムは、頭の画像の中心の位置にくるように、顔に固定されたアスペクト比の矩形領域を登録する。たとえば、約３０°まで平面から回転している顔も正確に検出することができ、同様に、画像平面内において約３０°傾いた状態の顔も正確に検出することができる。顔画像はスケールされ、３０フレーム／秒までのレートで、各フレームに対応する顔画像が、タイムスタンプとともに保存される。なお、タイムスタンプは、動画像中の顔画像に対応するフレームを時系列中で特定可能な識別情報であれば、タイムスタンプには、かならずしも限定されない。

オプティカルフロー算出部１２０６において、画像のオプティカルフロー領域が、さまざまなビデオフレーム間での動きを検出する。検出された動きベクトルは、顔の内部領域全体にわたる動きベクトルの平均とともに、顔画像の動画像データと関連づけてハードディスク１１１０に保存される。

オプティカルフローは、視覚的なシーンにおいて、動きにより、画像領域がずれることを測定する。固定されたカメラと近似的に一定な照明に対しては、オプティカルフローのフィールドは、局所的な速度を計っていることになる。オプティカルフローを計算するために用いる方法としては、特に限定されないが、非特許文献１に記載されている、ブロックマッチングあるいはブロック相関として知られているものを使用することが可能である。

ブロック相関技術を用いることで、ある画像フレームの領域が、それに続くフレーム中の全く同じサイズの領域にマッチングされる。このようなマッチングは、画像間の距離（たとえば、各画素の輝度の差の絶対和または自乗和など）の大きさを最小化することによって決定される。たとえば、１５ｆｐｓのフレームレートのオプティカルフローフィールドにおいては、顔の内部の動作による特徴量の変位は、各時間ステップに対して数ピクセル程度になる。

速度として動きを計測するために、たとえば、１、３、５、７および１０ビデオフレームだけ離れたフレーム間でのオプティカルフローフィールドを計算する。オプティカルフローの値は、さらに、顔検知モジュールによって検出された顔の内部部分に対応している各領域について、対応するフレーム間について平均処理がされる。

図３は、顔画像について検出されたオプティカルフローのフィールドの例を示す図である。

顔の片側をこわばらせる動きをした場合に、顔画像上の格子点（これをフィールドと呼ぶ）の各々において、しきい値を超えた大きさを有する動きベクトルが白い矢印で示されている。

ＭＩＤＩ出力となる格子点は音符オフ信号が送られるまで大きくなっていく小さな色付きの円で示されている。このような視覚的な表現は、池に小石が投げ込まれたときの結果として生じるような広がっていくさざ波を真似ることを意図している。顔の領域のタイプは、４種類に色分けされている。眉の領域は赤の丸で視覚化されており、目の領域は黄色の丸でされており、頬は青で、口は緑色の丸でそれぞれ視覚化されている。

顔のこわばりの途中や、表情を緩める途中のように動きのある場合には、顔の各部の動きに応じて、動きベクトルが現れているのがわかる。

再び、図２を参照して、顔領域識別部１２１２で識別された７つの顔の部分領域が、主要顔領域の位置から計算される。そして、動きベクトルをラベル付けすることに用いられる。

図４は、このような７つの部分顔領域を示す図である。
図４に示すとおり、７つの部分領域は、眉上の左および右の部分ＬＢ，ＲＢと、左および右の目の部分ＬＥ，ＲＥと、左および右の頬の部分ＬＣ，ＲＣと、口部分Ｍとを含んでいる。

それぞれの顔の部分領域には、動きベクトルのｘ成分およびｙ成分等を評価するための上述した「動き検知ルール」が対応づけられており、しきい値比較部１２１０は、動きに対応したイベントをトリガするかどうかを決定する。たとえば、「動き検知ルール」としては、眉の領域は垂直方向成分のみを評価する、というような規則である。

与えられたフレームにおける所定の最大値を超える動きベクトルは、ＭＩＤＩ音符のオンイベントを生成する（音の生成を開始する）。ＭＩＤＩ音符のオフは、たとえば、固定された数のビデオフレームの後に音楽モジュールプログラム１４００に送られ、処理がなされる。検出された顔のサイズがある最小値以上でない限りは如何なる音符もトリガされない。

（音楽モジュールプログラム１４００）
音楽モジュールプログラム１４００は、指定された音のエンベロープ（音色）と音程で音を生成するための音源部１４０２と、ＭＩＤＩ情報に基づいて、対応する音楽を生成するサンプラー部１４０４と、指定された音楽効果を出力に与えて、スピーカ１３０および１３２に音声信号を出力する効果生成部１４０６とを含む。

映像モジュールプログラム１２００で生成されたＭＩＤＩ情報に対応する音符の音程は、トリガをする格子点の垂直な座標に依存している。一方で、音の演奏速度（テンポ）は、オプティカルフローベクトルの大きさによって決定される。たとえば、５音階が，最も低い音符（ＭＩＤＩ音符４０）がビデオフレームの底辺に対応し、フレームの上辺が最も高い音符（ＭＩＤＩ音符１１２）に対応している。

音声合成のために、サンプラー部１４０４は、ソフトウェア合成パッチとしてインストールされた７個の単音サンプラーのバンクを用い、これらのソフトウェアは、視覚モジュールが動いているのと同一のコンピュータ１００上で実行されている。それぞれのチャンネルは、顔内の領域の幾何学的な配置に相対的に対応している幾何学的な位置に設定されたステレオパンの値を有している。このことは、動きの空間的なマッピングに対応している音空間を生成する。音の出力は、１つのステレオチャンネルにミックスされる。

効果部１４０６では、各サンプルは、切換可能な独立な遅延効果ユニットで処理される。音色を維持した単調な低音が、いずれかの部分顔領域に対応して生じることとしてもよい。この場合、他の顔の部分領域では、短い音がトリガされる。この遅延ユニットにおける遅延時間は、たとえば、０から２秒まで変化する。

（合成モジュールコントロールインターフェイス）
図５は、音楽モジュールプログラム１４００の合成制御インタフェースの画面例を示す。

図５においては、顔の動きをすることによる演奏に演奏者が集中できるように、合成モジュールにおいては、調整可能な制御の量を制限している。殆どのサンプラーのパラメータは一般的な値に設定されている。たとえば、同じエンベロープがすべてのサンプルに対して使用されている。

ミキサー２００２の領域では、バーの上下により、各領域に対応した音のミキシング強度が調整される。遅延制御領域２００４では、遅延時間やフィードバック量を設定可能である。

サンプルの初期の組は、演奏の開始時点においてファイルとして提供されており、（ＷＡＶフォーマットの）サンプルは、異なった成分を演奏するためにシステムにロードされている。独立した左と右のオーディオチャンネルのボリュームコントロール２００６は、各サンプルに対して提供されており、セットアップ中においてオーディオレベルをマッチングすることを可能とする。

以上のとおり、本発明によれば、顔の運動を音楽の生成と関連づけることにより、顔運動に対する被験者の動機付けを向上させることが可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の顔運動療法支援装置１００の構成を示す概略ブロック図である。 顔運動療法支援装置１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。 顔画像について検出されたオプティカルフローのフィールドの例を示す図である。 ７つの部分顔領域を示す図である。 音楽モジュールプログラム１４００の合成制御インタフェースの画面例を示す図である。

符号の説明

２ 被験者、１００ 顔運動療法支援装置、１０２ カメラ、１０６ キーボード、１０８ ディスプレイ、１１０ コンピュータ、１１０２ インタフェース部、１１０４ ＣＰＵ、１１０６ ＲＯＭ、１１０８ ＲＡＭ、１１１０ ハードディスク、１２００ 映像モジュールプログラム、１２０２ キャプチャ部、１２０４ 画像データ記録処理部、１２０６ オプティカルフロー算出部、１２０８ 顔検出部、１４００ 音楽モジュールプログラム。

Claims (4)

1. 被験者の顔画像を含む対象画像領域についての動画像データを獲得する撮影手段と、
   前記動画像データを格納するための記憶装置と、
   前記対象画像領域内において、顔を検出する顔検出手段と、
   前記検出された顔に対応する部分顔領域において、単位領域ごとに動きベクトルを検出する動き検出手段と、
   前記動きベクトルと前記動きベクトルの対応する前記部分顔領域に基づいて、前記動きベクトルを音楽を再生するための要素情報に変換するための変換手段と、
   前記要素情報に対応する音声を再生して出力するための音声合成手段とを備える、顔運動療法支援装置。
2. 前記記憶装置は、前記部分顔領域ごとに、前記動きベクトルのいずれの成分を前記要素情報の変換処理において使用するかを示す規則情報を予め記憶しており、
   前記変換手段は、前記規則情報に基づいて変換処理を行なう、請求項１記載の顔運動療法支援装置。
3. 前記変換手段は、前記動きベクトルの前記対象画像領域内の位置に応じた音程に対応するように前記要素情報への変換を行なう、請求項１記載の顔運動療法支援装置。
4. 前記動き検出手段は、前記検出領域に対応する顔画像データにおいて格子点上の各点についてのオプティカルフローを算出するオプティカルフロー算出手段を含む、請求項１記載の顔運動療法支援装置。