JP2017188007A - 感覚呈示システム - Google Patents

Abstract

【課題】従来の感覚呈示システムでは、知覚可能な感覚が不足していた。また、感覚障害の患者が一人で訓練を行うことができるリハビリ機器は知られていなかった。【解決手段】感覚呈示システム１００は、マトリクス状に配置された複数の触覚棒２を有する感覚呈示装置１０と、撮像部１９を備えた透過型のＨＭＤ２０と、ＨＭＤ２０と通信可能に設けられ、感覚呈示装置１０を駆動する制御装置３０と、を備え、触覚棒２は、突出高さ及び温度のうち少なくとも一方を調整可能に設けられており、制御装置３０が、触覚棒２の突出高さ及び温度のうち少なくとも一方を所定の設定値に調整すると、撮像部１９は、感覚呈示装置１０を撮像し、制御装置３０は、撮像された撮像画像に対して、ＨＭＤ２０からの視点に合せた画像に変換する画像処理を施して視点画像を生成し、ＨＭＤ２０を透過して観察される感覚呈示装置の態様に、視点画像を重畳させることを特徴とする。【選択図】図１

Description

本発明は、被験者に触覚刺激を含む感覚刺激を提供可能な感覚呈示システムに関する。

従来、例えば、特許文献１には、被験者に疑似的な身体の部分画像（疑似画像）を視認させながら、実体の身体部分に機械的な刺激（触覚）を与え、疑似画像における被刺激部位に疑似触覚体画像を重畳させることで被験者に感覚刺激を提供する感覚呈示システムが開示されている。詳しくは、実体の手の甲に、指を模した棒状の触覚体で刺激を与えるとともに、眼鏡型ディスプレイには触覚体を表す矢印状マークが重畳された手の甲の疑似画像を表示することで、被験者に触覚刺激を知覚させる、としている。

また、脳梗塞の後遺症により、触覚、痛覚、温度覚が鈍る感覚障害が発症することが知られている。感覚障害のリハビリ方法として、感覚障害の患者が補助者に障害部位を動かしてもらいながら感覚を喚起する方法が知られている。このリハビリ方法では、感覚障害の患者一人一人の状態に応じて簡単な感覚から段階的に進めていく必要があることに加えて、補助者（理学療法士など）が必要なため、専門のリハビリ施設でないと訓練を行えないケースが多かった。このため、感覚障害の患者が、在宅で一人でもリハビリを行うことができるリハビリ機器が求められている。ここで、当該リハビリ機器として、特許文献１の感覚呈示システムを用いることが想定される。

国際公開第ＷＯ２００９／１５１１２１号

しかしながら、特許文献１に記載の従来の感覚呈示システムでは、感覚障害の患者が知覚可能な感覚が不足しているという課題があった。詳しくは、指を模した棒状の触覚体で感覚障害の患者に与えられる刺激は点状の触覚刺激のみであり、手の甲（平）全体が面の触覚器を有する人間の感覚には全く不十分なものであった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］本適用例に係る感覚呈示システムは、マトリクス状に配置された複数の触覚棒を有する感覚呈示装置と、撮像部を備えた透過型のヘッドマウントディスプレイと、ヘッドマウントディスプレイと通信可能に設けられ、感覚呈示装置を駆動する可能な制御装置と、を備え、触覚棒は、突出高さ及び温度のうち少なくとも一方を調整可能に設けられており、制御装置は、撮像された撮像画像に対して、ヘッドマウントディスプレイからの視点に合せた画像に変換する処理を含む画像処理を施した視点画像をヘッドマウントディスプレイに表示することを特徴とする。

本適用例によれば、マトリックス状に配置された触覚棒により面の刺激を与えられるため、点状の刺激しか与えられなかった従来技術と異なり、面の触覚器を有する人間の感覚をより効果的に喚起する訓練を行うことができる。
例えば、触覚棒の突出高さを山状に調整した場合、被験者にはヘッドマウントディスプレイを透過して観察される山状の複数の触覚棒の態様に、視点画像が重畳されて視認される。つまり、突出状態をより鮮明に映した視点画像が重畳されるため、被験者に山状の突出状態を忠実に視認させることができる。これにより、被験者が手の触覚で知覚している突出状態と、ヘッドマウントディスプレイで視認（視覚）された忠実な突出状態とを比較することができるため、視覚を基準として、手の触覚を徐々に高めるトレーニングを行うことが可能となる。

［適用例２］上記適用例に記載の感覚呈示システムにおいて、感覚呈示装置の４隅には、それぞれマーカーが配置されており、制御装置は、撮像画像に、４つのマーカーが含まれているか解析し、４つのマーカーが含まれている場合には、４つのマーカーがなす台形状と、視点画像とが一致するような台形補正を含む画像処理を行うことが好ましい。

本適用例によれば、感覚呈示装置の４隅にマーカーが配置されているため、４つのマーカーがなす台形状と、視点画像とが一致するような台形補正を含む画像処理を行うことができる。これによって、被験者は歪みが緩和された視点画像を視認することができる。

［適用例３］上記適用例に記載の感覚呈示システムにおいて、感覚呈示装置のうち触覚棒の温度が所定の温度よりも低い領域に対応する視点画像の領域は、寒色のカラー画像として表され、感覚呈示装置のうち触覚棒の温度が所定の温度よりも高い領域に対応する視点画像の領域は、暖色のカラー画像として表されることが好ましい。

本適用例によれば、被験者が視認できない温度覚に対して、温度状態のイメージに対応付けられた色彩画像が重畳されるため、被験者に感覚呈示領域の温度を視認させることができる。これによって、被験者は温度覚を効果的に認知することができる。

［適用例４］上記適用例に記載の感覚呈示システムにおいて、制御装置は、画像処理において人肌領域を削除する処理を行うことが好ましい。

本適用例によれば、視点画像における人肌領域を削除する処理を施すことで、視点画像上の人肌領域が透過表示となるため、被験者には実際の手が視認される。これにより、実際の手に視点画像が被さらないため、触っている位置と周囲の視点画像部分とが区分けされて、はっきりと視認することができる。

［適用例５］上記適用例に記載の感覚呈示システムにおいて、視点画像は、触覚棒の突出高さを含む凹凸状態が誇張されて表示されることが好ましい。

本適用例によれば、触覚棒の実際の突出状態を誇張した視点画像が重畳されるため、被験者が手の触覚で知覚している突出状態を更に鮮明に視認することができる。

［適用例６］マトリクス状に配置された複数の触覚棒を有する感覚呈示装置と、撮像部を備えた透過型のヘッドマウントディスプレイと、に接続されたコンピューターを、撮像部に画像を撮像させる撮像手段と、撮像部が撮像した画像に対して、ヘッドマウントディスプレイからの視点に合せた画像に変換する処理を含む画像処理を施して視点画像を生成する画像生成手段と、視点画像を前記ヘッドマウントディスプレイに表示させる表示手段と、として機能させるためのプログラム。

本適用例によれば、マトリックス状に配置された触覚棒により面の刺激を与えられるため、点状の刺激しか与えられなかった従来技術と異なり、面の触覚器を有する人間の感覚をより効果的に喚起する訓練を行うことができる。

感覚呈示システムの概要を示す図。 感覚呈示装置の平面図。 図２ＡのＰ−Ｐ線における断面図。 触覚棒の構成図。 感覚呈示システムの機能ブロック図。 実施形態１に係る感覚呈示システムの動作態様を示すフローチャート。 感覚呈示装置の実際の態様を示す図。 視点画像の元画像を示す図。 視点画像の一例を示す図。 実施形態２に係る感覚呈示システムの動作態様を示すフローチャート。 視点画像の元画像を示す図。 視点画像の一例を示す図。 実施形態３に係る感覚呈示システムの動作態様を示すフローチャート。 視点画像の元画像を示す図。 視点画像の一例を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各図においては、各部材を認識可能な程度の大きさにするため、各部材の尺度を実際とは異ならせしめている。

（実施形態１）
図１は、実施形態１に係る感覚呈示システム１００の概要を示す図である。まず、実施形態１に係る感覚呈示システム１００の概要について説明する。

（感覚呈示システムの概要）
図１に示す感覚呈示システム１００は、感覚障害の患者（以下、被験者という）が、在宅で一人でもリハビリを行うことができるリハビリ機器（システム）である。感覚呈示システム１００は、感覚呈示装置１０、ＨＭＤ２０（Head Mounted Display）及び制御装置３０を備えている。
被験者はＨＭＤ２０（Head Mounted Display）を眼前に装着した状態で、机上に感覚呈示装置１０が配置された机の前に着座する。感覚呈示装置１０には、複数の触覚棒２がマトリックス状（格子状）に配置されている。

制御装置３０には、感覚呈示装置１０等を動作させるためのリハビリ支援プログラムが記憶されている。リハビリ支援プログラムに基づいて複数の触覚棒２の高さが山状（例えば、図５）に変化すると、被験者にはＨＭＤ２０を透過して観察される山状の複数の触覚棒２の態様に、視点画像が重畳されて視認される。詳しくは、一様な金属光沢のため突出状態が解り難い触覚棒２を被験者がＨＭＤ２０を透過して観察した透過観察状態に対して、当該突出状態をより鮮明に映した視点画像が重畳されるため、被験者に山状の突出状態を鮮明に視認させることができる。これにより、被験者が手の触覚で知覚している突出状態と、ＨＭＤ２０に表示された視点画像に表される突出状態とを比較することができるため、視覚を基準として、手の触覚を徐々に高めるトレーニングを行うことが可能となる。

（感覚呈示装置の構成）
図２Ａは感覚呈示装置１０の平面図、図２Ｂは図２ＡのＰ−Ｐ線における断面図、図２Ｃは、触覚棒２の構成図である。
まず、感覚呈示装置１０の構成について説明する。
図２Ａに示すように、感覚呈示装置１０は上方から見た場合には平面的に長方形をなしており、複数の触覚棒２がマトリックス状に配置されている。なお、複数の触覚棒２がマトリックス状に配置された領域を感覚呈示領域３といい、触覚棒２が配置されていない領域を周辺領域４という。
感覚呈示装置１０における感覚呈示領域３の外側の周辺領域４の４隅（頂点近傍）には、それぞれマーカー５が配置されている。マーカー５は、平面的に円形状をなした取り外し可能なシール状の部材である。なお、詳しくは後述するが、このマーカー５は、ＨＭＤ２０の撮像部１９が撮像した周辺領域４及び感覚呈示領域３の画像に、台形補正を含む画像処理を施して、被験者視点による感覚呈示領域３の視点画像を生成する際に用いられる。

図２Ｂは、感覚呈示領域３を断面から観察した断面図である。複数本の触覚棒２は、それぞれが個別に高さを調整可能な構成となっている。図２Ｃに示すように、触覚棒２には、リニアアクチュエーター８が取付けられている。実施形態１では、リニアアクチュエーター８は、サーボモーター６、ボールねじ７などを含む昇降機構を採用している。なお、昇降機構としてはこの構成に限定されるものではなく、電気的に触覚棒２を昇降制御可能な構成であれば良い。例えば、ラックアンドピニオン機構を備えた構成であっても良い。
実施形態１において、触覚棒２は、アルミ製のパイプの一端を半球状に加工した物を用いている。触覚棒２の半球状の部分が感覚呈示領域３へ組み込まれており、被験者は、この半球状の部分に触る構成となっている。また、この半球状の部分の内部には、ペルチェ素子及びヒーターを有する温度調整部９が組み込まれており、触覚棒２の温度を調整可能な構成となっている。なお、アルミを用いることに限定するものではなく、肌触りが良く熱伝導性の優れた材料であれば良く、例えば、ステンレスや、チタンなどの金属や、樹脂を用いても良い。

（寸法関係）
実施形態１において、触覚棒２の直径Ｄは約φ７ｍｍとしている。なお、この寸法に限定するものではなく、被験者の体格に合せた設定であれば良い。例えば、被験者が子供の場合は、直径φ５ｍｍとし、大柄な被験者の場合は、直径φ１０ｍｍとしても良く、被験者の体格や障害状態に応じてリハビリ効果が得られる設定とすれば良い。また、隣り合う触覚棒の間に所定の間隔を設けて配置しても良い。
なお、触覚棒２が昇降する移動方向と直交する面における触覚棒２の断面形状は円形状に限定されるものではなく、角形状であっても良い。角形状とする場合は、肌触りを良くするために、表面側の面取り加工を行うと良い。

（機能ブロック構成）
図３は、感覚呈示システムの機能ブロック図である。
続いて、前述した感覚呈示装置１０を制御する制御装置３０、およびＨＭＤ２０など、感覚呈示システム１００の機能ブロック構成について説明する。
制御装置３０は、汎用のＰＣ（Personal computer）を用いている。詳しくは、ＣＰＵ２１（Central Processing Unit）、キャッシュメモリーやメインメモリー、ビデオＲＡＭ（フレームフッファー）を含む不揮発性メモリーからなるＲＡＭ２２、ハードディスクドライブからなる記憶部２３、画像入力部２４、画像出力部２５、感覚情報出力部２６などから構成されている。なお、実際には、データバスや、ＨＭＤ２０と無線通信を行うための無線ＬＡＮ（Wireless Local Area Network）端末ユニットを含むインターフェイス部なども構成に含まれているが、図示を省略している。

記憶部２３には、触覚棒２ごとの高さや温度を調整するための順序と内容を規定したリハビリ支援プログラム（以降、支援プログラムという）や、ＨＭＤ２０との間で画像信号の送受信を行うための通信プログラム、ＨＭＤ２０が撮像した画像を被験者視点の視点画像に変換するための画像処理プログラムなど様々なプログラム、および付随するデータが記憶されている。なお、支援プログラムは、障害内容、障害レベル、年齢、性別などに応じた複数の支援プログラムが用意（記憶）されている。
また、付随するデータには、支援プログラムごとに定められた触覚棒２の高さや温度の情報テーブルである感覚情報テーブルや、画像処理プログラムで用いられる台形補正の度合いを定めた補正データテーブルなどが含まれている。

感覚呈示装置１０には、制御装置３０からの制御信号に従って、感覚呈示領域３の触覚棒２の高さや、温度を調整する駆動回路１１が搭載されている。詳しくは、リニアアクチュエーター８（図２Ｃ）や、温度調整部９に駆動信号（電力）を供給して、触覚棒２の高さや、温度を変更する。

ＨＭＤ２０は、表示部１７、制御部１８及び撮像部１９を有する眼鏡型（両眼型）のヘッドマウントディスプレイである。
実施形態１においてＨＭＤ２０は、透過型（シースルー型）を採用している。詳しくは、一般的な眼鏡フレームと同様な構成で、レンズを介して観察される画像（景色、態様）に、表示部１７に表示した画像を重ね合せて（重畳させる）視認させるタイプである。具体的には、小型の投射装置からなる表示部１７が眼鏡のつる部に内蔵されており、当該投写器が射出した投写光が、レンズやプリズムからなる光学部を経由してレンズ内部に進行し、レンズ内部における眼球の全面に組込まれたハーフミラーで反射して画像を視認させる構成となっている。なお、この構成に限定するものではなく、シースルー型のヘッドマウントディスプレイであれば良く、例えば、単眼式であっても良い。

制御部１８は、ＭＣＵ（Micro Controller Unit）であり、表示部１７、撮像部１９など各部を制御する。また、制御部１８は、不揮発性メモリーを含む記憶部（図示せず）を含んで構成されている。不揮発性メモリーには、制御装置３０との間で画像データの送受信を行うための通信プログラムを含む様々なプログラムおよび付随するデータが記憶されている。
撮像部１９は、カメラであり、好適例としてＣＣＤ（Charge Coupled Device）カメラを採用している。撮像部１９は、眼鏡フレームの上部（図１）に取り付けられており、撮像方向が被験者の視線方向と一致するように構成されている。
また、図示を省略しているが、ＨＭＤ２０にも、無線ＬＡＮ端末ユニットが組み込まれており、制御装置３０との間での無線通信を可能としている。

（支援プログラムの実施態様）
図４は、本実施形態に係る感覚呈示システム１００の動作態様を示すフローチャートである。図５は、感覚呈示装置１０の実際の態様を示す図。図６Ａは、視点画像の元画像を示す図。図６Ｂは、視点画像の一例を示す図である。
続いて、感覚呈示システム１００による支援プログラムの一態様について、図４を主体に、適宜、図１、図５、図６Ａ、図６Ｂを交えて説明する。なお、図４のフローチャートは、制御装置３０の記憶部２３に記憶された実施形態１に係る支援プログラムが実行されることにより、制御装置３０が主体として、感覚呈示装置１０、およびＨＭＤ２０と連携（協働）して実行されるリハビリ態様の流れを示している。
まず、図１に示すように、初期状態として、被験者がＨＭＤ２０を頭部に装着した状態で、机上に感覚呈示装置１０が配置された机の前に着座している。被験者は、右手を感覚呈示装置１０の感覚呈示領域３に載せている。感覚呈示領域３における複数の触覚棒２は、全て同じ高さ（突出なし）でフラットとなっている。

フローは、例えば、被験者が支援プログラムの実行を指示したことを契機として開始される。
ステップＳ１０１では、制御装置３０は記憶部２３の感覚情報テーブルを参照して触覚棒２の突出高さを所定の高さに調整する。例えば、図５に示すように、右手の手のひらから指先に位置する部分の触覚棒２が小山をなすように突出高さが調整される。なお、フラット状態を基準として一部の触覚棒２が小山状に突出することに限定するものではなく、所期の凹凸状態に感覚呈示領域３を調整可能であれば良い。例えば、感覚呈示領域３のフラット面を構成する触覚棒２が低くなることで凹凸状態としても良いし、突出する触覚棒２と低くなる触覚棒２とを組み合せて凹凸状態としても良い。また、図５の触覚棒２は表現の便のため四角形（四角柱）で示されているが、実際には図２Ａ〜図２Ｃに示されるように円（円柱）の態様である。

ステップＳ１０２では、制御装置３０はＨＭＤ２０の撮像部１９に被験者の視線の方向を撮像させる。なお、撮像された画像データ（撮像画像）は、制御装置３０に送信される。

ステップＳ１０３では、制御装置３０はステップＳ１０２で撮像された画像データを解析し、感覚呈示領域３が画像データに含まれているか検出する。詳しくは、画像データ内に４つのマーカーが含まれているか解析する。

ステップＳ１０４では、制御装置３０は画像データ内に４つのマーカーが検出されたか判断する。４つのマーカーが検出された場合（Ｓ１０４：ＹＥＳ）は、ステップＳ１０５に進む。４つのマーカーが検出されなかった場合（Ｓ１０４：ＮＯ）は、ステップＳ１０２に戻る。

ステップＳ１０５では、制御装置３０は画像データを解析し、人肌領域を検出する。具体的には、制御装置３０のＲＡＭ２２のビデオＲＡＭ内で画像データを展開して、画素の表色系をＲＧＢからマンセル表色系に変換した後、人肌の色の領域を検出し、記憶しておく。

ステップＳ１０６では、制御装置３０はステップＳ１０１で設定された触覚棒２の突出高さデータ（感覚情報テーブル）に基づき、各触覚棒２の座標と法線の向きと飛び出し量を考慮し、３次元モデルを計算する。

ステップＳ１０７では、制御装置３０は画像データを解析して、視点情報を計算する。詳しくは、視点位置から４つのマーカーの座標を測定することで４つのマーカーの座標を基にユーザーの視点位置を決定し、視点情報を導出する。

ステップＳ１０８では、制御装置３０は３次元モデルと視点情報から２次元表示画像を作成する。具体的には、ステップＳ１０７で計算した視点位置に基づき、ステップＳ１０６で生成した３次元モデルの画像データに対して台形補正及び２次元画像データへの変換処理を含む画像処理を施す。この画像処理により、ＨＭＤ２０に視点画像を表示するための２次元画像データを生成する。なお、この２次元画像データが視点画像データの元データであり、図６Ａに示されている。詳しくは、複数の触覚棒２が小山状に突出している。なお、図６Ａでは、凹凸状態をグリッド線で表現しているが、凹凸状態が認識可能な画像であれば良い。例えば、１本１本の触覚棒２を忠実に再現した画像であっても良いし、等高線で表現しても良い。

ステップＳ１０９では、制御装置３０は２次元表示画像から人肌領域部分を削除する。具体的には、マンセル表色系に変換された画像データにおいて、人肌の色を示す画素を選択的に黒画素に変更する画像処理を施し、視点画像データを生成する。

ステップＳ１１０では、制御装置３０は生成された視点画像データに基づき視点画像をＨＭＤ２０に表示する。具体的には、ステップＳ１０９で生成された視点画像データをＨＭＤ２０の表示部１７に投写する。その結果、ＨＭＤ２０を透過して被験者に観察される実際の感覚呈示装置１０の態様に、視点画像が重畳される。図６Ｂは、ＨＭＤ２０に投射される重畳画像を示す図である。視点画像においては人肌領域の黒部分は何も表示されない（透過表示となる）ため、被験者には背景（手の部分）が透過されて実際の手が視認されることになる。

ステップＳ１１１では、制御装置３０は終了条件が満たされたか判断する。終了条件は、支援プログラムが全て終了したか、または、被験者による終了操作が行われた場合である。終了条件が満たされた場合（Ｓ１１１：ＹＥＳ）は、支援プログラムを終了する。終了条件が満たされていない場合（Ｓ１１１：ＮＯ）は、ステップＳ１０１に戻る。

以上述べたように、本実施形態に係る感覚呈示システム１００によれば、以下の効果を得ることができる。
支援プログラムに基づいて複数の触覚棒２の高さが山状（例えば、図４）に変化すると、被験者にはＨＭＤ２０を透過して観察される山状の複数の触覚棒２の態様に、視点画像が重畳されて視認される。一様な金属光沢のため突出状態が解り難い触覚棒２の透過観察状態に対して、当該突出状態をより鮮明に映した視点画像が重畳されるため、被験者に山状の突出状態を鮮明に視認させることができる。これにより、被験者は、手の触覚で知覚している突出状態と、ＨＭＤ２０に視認（視覚）された忠実な突出状態とを比較することができる。その結果、視覚を基準として、手の触覚を徐々に高めるトレーニングを行うことが可能となる。

さらに、実施形態１によれば、マトリックス状に配置された触覚棒２により被験者の手には面の刺激が与えられる。このため、点状の刺激しか与えられなかった従来技術と異なり、面の触覚器を有する人間の感覚をより効果的に喚起する訓練を行うことができる。

さらに、視点画像において人肌領域を削除する画像処理が行われている。これにより、図６Ｂに示すように、被験者には実際に視認されている手の周囲に凹凸状態を表すグリッド線が観察される。したがって被験者は、触っている位置と周囲の凹凸状態とが区分けされて、はっきりと視認することができる。

（実施形態２）
実施形態２に係る支援プログラムについて説明する。なお、実施形態１と同一の構成部位については、同一の番号を使用し、重複する説明は省略する。

（支援プログラムの概要）
まず、実施形態２における感覚呈示システムの構成は、実施形態１の感覚呈示システム１００と同様である。実施形態１との相違点は、実行される支援プログラムが実施形態１とは異なることである。実施形態１では触覚棒２を凹凸状態として触覚を喚起する支援プログラムが実行されたが、実施形態２では温度覚を喚起する支援プログラムが実行される。詳しくは、触覚棒２の高さは一定（フラット）としておき、温度調整部９（図２Ｃ）を駆動して触覚棒２の一端（半球側）の温度を調整する。複数の触覚棒２の温度が変化すると（例えば、図８Ｂ）、被験者にはＨＭＤ２０を透過して観察されるフラットな触覚棒２の態様に、温度分布を表す視点画像が重畳される。人間の視覚（裸眼）では温度分布は認識できないが、ＨＭＤ２０を介して触覚棒２の温度に応じた暖色や寒色などのカラー画像（視点画像）が重畳されるため、被験者に温度状態を視覚的に認識させることができる。
これにより、被験者が手の温度覚で知覚している温度状態と、ＨＭＤ２０に視認（視覚）される温度情報（状態）とを比較することができるため、視覚を基準として、手の温度覚を徐々に高めるトレーニングを行うことが可能となる。

（支援プログラムの実施態様）
図７は、実施形態２に係る感覚呈示システムの動作態様を示すフローチャートである。図８Ａは、視点画像の元画像を示す図。図８Ｂは、視点画像を示す図。
続いて、感覚呈示システム１００による支援プログラムの一態様について、図７を主体に、適宜、図１、図８Ａ、図８Ｂを交えて説明する。なお、図７のフローチャートは、制御装置３０の記憶部２３に記憶された実施形態２に係る支援プログラムが実行されることにより、制御装置３０が主体として、感覚呈示装置１０、およびＨＭＤ２０と連携して実行されるリハビリ態様の流れを示している。
また、初期状態は、実施形態１での説明と同様（図１）であり、被験者がＨＭＤ２０を頭部に装着した状態で、机上に感覚呈示装置１０が配置された机の前に着座しており、右手を感覚呈示装置１０の感覚呈示領域３に載せている。感覚呈示領域３における複数の触覚棒２は、全て同じ高さ（突出なし）でフラットとなっている。

ステップＳ２０１では、制御装置３０は記憶部２３の感覚情報テーブルを参照して触覚棒２を所定の温度に調整する。詳しくは、触覚棒２の温度調整部９に駆動電流を供給して、触覚棒２の温度を調整する。なお、本実施形態の支援プログラムでは、触覚棒２の伸縮は行われず、フラット（突出なし）のままの状態でリハビリが実施される。

ステップＳ２０２では、制御装置３０はＨＭＤ２０の撮像部１９に被験者の視線の方向を撮像させる。なお、撮像された画像データは、制御装置３０に送信される。

ステップＳ２０３では、制御装置３０はステップＳ２０２で撮像された画像データを解析し、感覚呈示領域３が画像データに含まれているか検出する。詳しくは、画像データ内に４つのマーカーが含まれているか解析する。

ステップＳ２０４では、制御装置３０は画像データ内に４つのマーカーが検出されたか判断する。４つのマーカーが検出された場合（Ｓ２０４：ＹＥＳ）は、ステップＳ２０５に進む。４つのマーカーが検出されなかった場合（Ｓ２０４：ＮＯ）は、ステップＳ２０２に戻る。

ステップＳ２０５では、制御装置３０は画像データを解析し、人肌領域を検出する。具体的には、制御装置３０のＲＡＭ２２のビデオＲＡＭ内で画像データを展開して、画素の表色系をＲＧＢからマンセル表色系に変換した後、人肌の色の領域を検出する。

ステップＳ２０６では、制御装置３０はステップＳ２０１で設定された温度データ（触覚情報テーブル）に基づき、３次元モデルを計算する。

ステップＳ２０７では、制御装置３０は画像データを解析して、視点情報を計算する。詳しくは、視点位置から４つのマーカーの座標を測定することで４つのマーカーの座標を基にユーザーの視点位置を決定し、視点情報を導出する。

ステップＳ２０８では、制御装置３０は３次元モデルと視点情報から２次元表示画像を作成する。具体的には、ステップＳ２０７で計算した視点位置に基づき、ステップＳ２０６で生成した３次元モデルの画像データに対して、台形補正を含む画像処理を施すことにより、ＨＭＤ２０に視点画像を表示するための２次元画像データを生成する。

なお、この２次元画像データが視点画像データの元データであり、図８Ａに示されている。ここで、複数の触覚棒の温度分布は、カラー画像で表わされている。感覚呈示領域３の中央が最も温度の高い領域５１で赤色に表示されている。そして、領域５１を中心として同心円状に、領域５２が薄赤色に、領域５３が紫色に表示されている。そして、領域５３の外側は青色に表示されている。このように、領域５１から領域５３に掛けて、温度が同心円状に低くなる温度分布をカラー画像で表している。触覚棒２の温度が所定の温度よりも低ければ寒色、所定の温度よりも高ければ暖色のカラー画像として表わしている。実施形態２における所定の温度は、感覚呈示システム１００が設置されている環境温度としているが、被験者が嫌悪感なく温度認識できる温度であれば良い。例えば、常温（15℃〜25℃）の範囲内、または常温から被験者の体温の範囲内であっても良い。

ステップＳ２０９では、制御装置３０は２次元表示画像から人肌領域部分を削除する。具体的には、マンセル表色系に変換された画像データにおいて、人肌の色を示す画素を選択的に黒画像に変換する画像処理を施し、視点画像データを生成する。

ステップＳ２１０では、制御装置３０は生成された視点画像データに基づき視点画像をＨＭＤ２０に表示する。具体的には、ステップＳ２０９で生成された視点画像データをＨＭＤ２０の表示部１７に投写する。その結果、ＨＭＤ２０を透過して被験者に観察される実際の感覚呈示装置１０の態様に、視点画像が重畳される。図８Ｂは、ＨＭＤ２０に視認される重畳画像を示す図である。視点画像においては人肌領域の黒部分が透過表示となるため背景が透過されて、実際の手が見える画像となっている。

ステップＳ２１１では、制御装置３０は終了条件が満たされたか判断する。終了条件は、支援プログラムが全て終了したか、または、被験者による終了操作が行われた場合である。終了条件が満たされた場合（Ｓ１１１：ＹＥＳ）は、支援プログラムを終了する。終了条件が満たされていない場合（Ｓ１１１：ＮＯ）は、ステップＳ１０１に戻る。

以上述べたように、本実施形態に係る感覚呈示システム１００によれば、以下の効果を得ることができる。
実施形態２の支援プログラムに基づいて複数の触覚棒２の温度が変化すると、被験者にはＨＭＤ２０を透過して観察される複数の触覚棒２に、視点画像が重畳されて視認される。被験者が視認できない温度覚に対して、温度状態に対応付けられた色彩画像が視点画像に重畳されるため、被験者に感覚呈示領域の温度を視認させることができる。これにより、被験者は、手の触覚で知覚している温度と、ＨＭＤ２０に視認（視覚）された色彩（カラー画像）とを認識することができるため、手の触覚を徐々に高めるトレーニングを行うことが可能になる。

（実施形態３）
実施形態３に係る支援プログラムについて説明するなお、実施形態１と同一の構成部位については、同一の番号を使用し、重複する説明は省略する。

（支援プログラムの概要）
実施形態３における感覚呈示システム１００の構成も、実施形態１の感覚呈示システム１００と同様である。実施形態３では、実施形態１および実施形態２の支援プログラムを組み合せた支援プログラム（以降、複合プログラムともいう）が実行される。複合プログラムが実行されると、触覚棒２が凹凸状態に調整されることに加えて、触覚棒２の温度も変化する。そして、ＨＭＤ２０に重畳される視点画像は、触覚棒２の突出状態に、温度分布を示すカラー画像を加味した画像となる。
これにより、被験者の触覚と、温度覚とを同時に刺激して、より効率的に手の感覚を喚起させるトレーニングが行われる。

（支援プログラムの実施態様）
図９は、本実施形態に係る感覚呈示システムの動作態様を示すフローチャートである。図１０Ａは、視点画像の元画像を示す図。図１０Ｂは、視点画像を示す図。
実施形態３における支援プログラムの一態様について、図９を主体に、適宜、図１、図１０Ａ、図１０Ｂを交えて説明する。なお、図９のフローチャートは、制御装置３０の記憶部２３に記憶された実施形態３に係る支援プログラム（複合プログラム）が実行されることにより、制御装置３０が主体として、感覚呈示装置１０、およびＨＭＤ２０と連携して実行されるリハビリ態様の流れを示している。
また、初期状態は、実施形態１での説明と同様（図１）であり、被験者がＨＭＤ２０を頭部に装着した状態で、机上に感覚呈示装置１０が配置された机の前に着座しており、右手を感覚呈示装置１０の感覚呈示領域３に載せている。感覚呈示領域３における複数の触覚棒２は、全て同じ高さ（突出なし）でフラットとなっている。

ステップＳ３０１では、制御装置３０は記憶部２３の感覚情報テーブルを参照して触覚棒２の突出高さを所定高さに調整する。

ステップＳ３０２では、制御装置３０は記憶部２３の感覚情報テーブルを参照して触覚棒２を所定の温度に調整する。

ステップＳ３０３では、制御装置３０はＨＭＤ２０の撮像部１９に被験者の視線の方向を撮像させる。なお、撮像された画像データは制御装置３０に送信される。

ステップＳ３０４では、制御装置３０はステップＳ３０３で撮像された画像データを解析し、感覚呈示領域３が画像データに含まれているか検出する。詳しくは、画像データ内に４つのマーカーが含まれているか解析する。

ステップＳ３０５では、制御装置３０は画像データ内に４つのマーカーが検出されたか判断する。４つのマーカーが検出された場合（Ｓ３０５：ＹＥＳ）は、ステップＳ３０６に進む。４つのマーカーが検出されなかった場合（Ｓ３０５：ＮＯ）は、ステップＳ３０３に戻る。

ステップＳ３０６では、制御装置３０は画像データを解析し、人肌領域を検出する。具体的には、制御装置３０のＲＡＭ２２のビデオＲＡＭ内で画像データを展開して、画素の表色系をＲＧＢからマンセル表色系に変換した後、人肌の色の領域を検出する。

ステップＳ３０７では、制御装置３０は感覚情報テーブルから感覚呈示領域３に表示する色を決定する。

ステップＳ３０８では、制御装置３０はステップＳ３０１で設定された触覚棒２の突出高さデータ（感覚情報テーブル）に基づき、各触覚棒２の座標と法線の向きと飛び出し量を考慮し、３次元モデルを計算する。

ステップＳ３０９では、制御装置３０は画像データを解析して、視点情報を計算する。詳しくは、視点位置から４つのマーカーの座標を測定することで４つのマーカーの座標を基にユーザーの視点位置を決定し、視点情報を導出する。

ステップＳ３１０では、制御装置３０は３次元モデルと視点情報から２次元表示映像を作成する。具体的には、ステップＳ３０８で生成した３次元モデルの画像データに対して、台形補正を含む画像処理を施す。この画像処理により、ＨＭＤ２０に視点画像を表示するための２次元画像データを生成する。なお、この２次元画像データが視点画像データの元データであり、図１０Ａに示されている。複数の触覚棒２による凹凸状態に、カラー画像で表された温度分布が重ねられている。ここで、実施形態１では凹凸状態がグリッド線で表現されていたが、本実施形態ではカラー画像により等高線状に表現されている。小山状の頂上領域が最も温度の高い赤色の領域５１で表示されており、中腹領域が薄赤色の領域５２、麓領域が紫色の領域５３というように、色彩の区切りが等高線的な役割をしている。なお、図１０Ａは、凹凸状態（小山状）の頂部から裾野に掛けて等高線的な温度分布とした事例であったが、突出高さと温度の高さとを一致させる必要はなく、凹凸状態と温度分布の組み合せは、リハビリ内容に合せて適宜設定すれば良い。また、色彩と温度との相関関係は、実施形態２での説明と同様である。

ステップＳ３１１では、制御装置３０は２次元表示画像から人肌領域部分を削除する。具体的には、マンセル表色系に変換された画像データにおいて、人肌の色を示す画素を選択的に黒画素に変更する画素処理を施し、視点画像データを生成する。

ステップＳ３１２では、制御装置３０は生成された視点画像データに基づき視点画像をＨＭＤ２０に表示する。具体的には、ステップＳ３１１で生成された視点画像データをＨＭＤ２０の表示部１７に投写する。その結果、ＨＭＤ２０を透過して被験者に観察される実際の感覚呈示装置１０の態様に、視点画像が重畳される。図１０Ｂは、ＨＭＤ２０に視認される重畳画像を示す図である。視点画像においては人肌領域の黒部分が透過表示となるため背景が透過されて、実際の手が見える画像となっている。

ステップＳ３１３では、制御装置３０は終了条件が満たされたか判断する。終了条件は、支援プログラムが全て終了したか、または、被験者による終了操作が行われた場合である。終了条件が満たされた場合（Ｓ３１３：ＹＥＳ）は、支援プログラムを終了する。終了条件が満たされていない場合（Ｓ３１３：ＮＯ）は、ステップＳ３０１に戻る。

以上述べたように、本実施形態に係る感覚呈示システム１００によれば、以下の効果を得ることができる。
本実施形態に係る複合プログラムが実行されると、触覚棒２が凹凸状態に調整されることに加えて、触覚棒２の温度も変化する。そして、ＨＭＤ２０に重畳される視点画像は、触覚棒２の突出状態に、温度分布を示すカラー画像を加えた画像となる。これにより、被験者の触覚と、温度覚とを同時に刺激して、より効率的に手の感覚を喚起させるトレーニングを行うことができる。

なお、本発明は上述した実施形態に限定されず、上述した実施形態に種々の変更や改良などを加えることが可能である。変形例を以下に述べる。

（変形例１）
各実施形態ではマーカー５の色については言及しなかったが、支援プログラムと紐付した色調をマーカー５に付けても良い。例えば、実施形態１の支援プログラムはマーカー５の色調を青色とし、実施形態２の支援プログラムは赤色、実施形態３の複合プログラムは黄色というように色調を付ける。
さらに、撮像部１９が感覚呈示装置１０を撮像した際に、マーカー５の色調に応じて、紐付された支援プログラムを実行する仕組みとしても良い。
また、マーカー５をＬＥＤ（Light Emitting Diode）で構成しても良い。ＬＥＤは複数色を発光可能な構成となっている。これにより、マーカー５それぞれの色調に対応付けられた複数の異なる支援プログラムを実行することができる。

（変形例２）
実施形態１では、ＨＭＤ２０を透過して観察される実際の触覚棒２による凹凸状態に、忠実な凹凸状態を表す視点画像を重畳させるものとして説明したが、凹凸状態を触覚棒２の高さよりも多少誇張した視点画像を用いても良い。なお、誇張の仕方としては、突出高さを実際よりも若干高い画像とする、輪郭線を強調する、色調を変える、などの方法が上げられる。これにより、視覚的に凹凸状態が際立つため、凹凸状態が少ない場合などであっても視覚と触覚との比較がし易くなり、効果的な訓練を行うことができる。
また、実施形態２の視点画像においても、実際には薄赤色となる領域を赤色とするなど、同様に誇張した視点画像を用いても良い。実施形態３においても同様である。

（変形例３）
人体（肌色）を抽出する方法は実施形態で説明したものに限定されない。画像データをマンセル表色系に変換せず、ＲＧＢ系のまま、ＲＧＢ各成分の階調値の関係からその画素が人肌の色かどうか判断しても良い。

（変形例４）
前記各実施形態では、感覚呈示システムはリハビリ用途に使用されるシステムとした。これに対して、変形例として、感覚呈示システムは、エンターテイメントやアミューズメント、教育分野等に使用されるシステムとしても良い。

（変形例５）
前記各実施形態では、触覚棒２がマトリックス状（格子状）に配置されているとした。これに対して、触覚棒２は、ハニカム構造または螺旋状等に配置されていても良い。

（変形例６）
前記各実施形態では、視点画像において人肌領域を削除する画像処理を行うとした。これに対して、視点画像において人肌領域を削除しない画像処理を行っても良い。

（変形例７）
前記各実施形態では、撮像部１９はＨＭＤ２０に取付けられている構成とした。これに対して、撮像部１９はＨＭＤ２０とは別体に設けられる構成としても良い。

（変形例８）
前記各実施形態では、触覚棒２の内部に温度調整部９が組み込まれているとした。これに対して、外部から光照射などで温度調整を行っても良い。

（変形例９）
前記各実施形態では、触覚棒２は円（円柱）の態様とした。これに対して、触覚棒２は四角（四角柱）又は多角形（多角柱）の態様としても良い。

（変形例１０）
前記各実施形態では、被験者は触覚棒２に触る構成とした。これに対して、触覚棒２に間接的に触る構成としても良い。例えば、シートを介して触覚棒に触る構成としても良い。

２…触覚棒、５…マーカー、１０…感覚呈示装置、１９…撮像部、２０…ＨＭＤ、３０…制御装置、１００…感覚呈示システム。

Claims (6)

1. マトリクス状に配置された複数の触覚棒を有する感覚呈示装置と、
   撮像部を備えた透過型のヘッドマウントディスプレイと、
   前記ヘッドマウントディスプレイと通信可能に設けられ、前記感覚呈示装置を駆動する可能な制御装置と、を備え、
   前記触覚棒は、突出高さ及び温度のうち少なくとも一方を調整可能に設けられており、
   前記制御装置は、前記撮像された撮像画像に対して、前記ヘッドマウントディスプレイからの視点に合せた画像に変換する処理を含む画像処理を施した視点画像を前記ヘッドマウントディスプレイに表示することを特徴とする、感覚呈示システム。
2. 請求項１に記載の感覚呈示システムであって、
   前記感覚呈示装置の４隅には、それぞれマーカーが配置されており、
   前記制御装置は、前記撮像画像に、４つの前記マーカーが含まれているか解析し、
   前記４つのマーカーが含まれている場合には、前記４つのマーカーがなす台形状と、前記視点画像とが一致するような台形補正を含む前記画像処理を行うことを特徴とする、感覚呈示システム。
3. 請求項１または２に記載の感覚呈示システムであって、
   前記感覚呈示装置のうち前記触覚棒の温度が前記所定の温度よりも低い領域に対応する前記視点画像の領域は、寒色のカラー画像として表され、
   前記感覚呈示装置のうち前記触覚棒の温度が前記所定の温度よりも高い領域に対応する前記視点画像の領域は、暖色のカラー画像として表される、ことを特徴とする、感覚呈示システム。
4. 請求項１〜３のいずれか一項に記載の感覚呈示システムであって、
   前記制御装置は、前記画像処理において人肌領域を削除する処理を行う、ことを特徴とする感覚呈示システム。
5. 請求項１〜４のいずれか一項に記載の感覚呈示システムであって、
   前記視点画像は、前記触覚棒の突出高さを含む凹凸状態が誇張されて表示されることを特徴とする、感覚呈示システム。
6. マトリクス状に配置された複数の触覚棒を有する感覚呈示装置と、撮像部を備えた透過型のヘッドマウントディスプレイと、に接続されたコンピューターを、
   前記撮像部に画像を撮像させる撮像手段と、
   前記撮像部が撮像した画像に対して、前記ヘッドマウントディスプレイからの視点に合せた画像に変換する処理を含む画像処理を施して視点画像を生成する画像生成手段と、
   前記視点画像を前記ヘッドマウントディスプレイに表示させる表示手段と、として機能させるためのプログラム。

Images