JP2007143919A - 義眼装置 - Google Patents

Abstract

【課題】コンピュータビジョンやコンピュータグラフィックスの技術により正常な眼の動きに追随する角膜の画像を描画し自然な外観を保つことができる義眼装置を提供する。
【解決手段】
義眼5は、正常な眼の動きを撮影するカメラ２が取り付けられた専用眼鏡１と共に装用される。義眼の画像は、画像処理部において、カメラ２で撮影された正常な目の画像を基に合成され、専用眼鏡１の送信部から、義眼５の受信部８へと伝送される。伝送された画像は、義眼５に埋め込まれた表示部６で表示される。
【選択図】 図２

Description

本発明は、正常な眼の動きに追随する角膜部分および眼瞼部分を有し自然な外観を保つことができる義眼装置に関する。

外傷や悪性腫瘍（癌）が原因で、眼球や眼窩内容の摘出を余儀なくされることがある。このような場合、患者は片側の失明と同時に、美容面・精神面でも大きなハンディキャップを負うこととなる。かつてはこのような患者の多くは、患側の変形を眼帯やガーゼで隠して生活していたが、現在では、精巧な義眼がつくられるようになっており、摘出された眼の代わりに義眼を挿入して美容面・精神面での改善を図っている。

片方の眼が正常で、他方の眼の代わりとしてこのような義眼を挿入した場合には、正常な眼の動きに伴い義眼も同様に動くことが自然であり望ましいわけであるが、従来の義眼は動かなかったために、他人に義眼であることを悟られたくない義眼装用者にとっては精神面で大きな負担となっていた。

このような義眼装用者の精神面での負担を克服するべく、可動型の義眼が提案されており、例えば、特許文献１（特開平１０−２０１７７７号公報）には、眼球部の外形を形成する眼球フレームと、該眼球フレームの内側に設けられた黒目部と、該黒目部を眼窩内奥部の残存眼筋部の動きに応じて傾動させる変形可動部とを備え、上記黒目部を該変形可動部を介して眼窩内奥部の残存眼筋部に連接させたことを特徴とする可動型義眼が開示されている。
特開平１０−２０１７７７号公報

しかしながら、上記特許文献１に開示された可動型義眼では、黒目部（角膜部分）を可動とするために眼球摘出後の眼窩内の残存眼筋と変形可動部とを連接させるための相当大がかりな手術をすることが必要であり、患者にとって身体的、費用的そして精神的な負担となるものである。また、眼窩内容の摘出量が多く眼筋が残っていないような場合には、そもそも特許文献１に開示された可動型義眼を用いることができないという問題もある。

本発明は、コンピュータビジョン及びコンピュータグラフィックス技術を駆使することにより、従来とは全く別のアプローチでこのような課題に対処するものである。

上記のような課題を解決するために、請求項１に係る発明は、片方の眼が正常であることを前提に装用する義眼を含む義眼装置において、眼瞼を含めた正常な眼の動きを検出する検出手段と、
該検出手段で検出された眼瞼を含めた正常な眼の動きに追随する画像を該義眼に表示する表示手段と、から成ることを特徴とする。

また、請求項２に係る発明は、請求項１に記載の義眼装置において、該検出手段は眼瞼を含めた正常な眼の動きを撮影するカメラであることを特徴とする。

また、請求項３に係る発明は、請求項２に記載の義眼装置において、該カメラは該義眼と共に装用する眼鏡に設けられることを特徴とする。

また、請求項４に係る発明は、請求項１乃至請求項３のいずれかに記載の義眼装置において、該表示手段は表示面が曲面である反射型液晶ディスプレイからなることを特徴とする。

また、請求項５に係る発明は、請求項２乃至請求項４のいずれかに記載の義眼装置において、該カメラで撮影された動画像を解析し該義眼で表示する画像を合成する画像処理手段を備え、該画像処理手段で合成された画像を該表示手段に表示することを特徴とする。

また、請求項６に係る発明は、請求項５に記載の義眼装置において、該眼鏡には該画像処理手段で合成された画像を該義眼に送信する送信手段が設けられ、該義眼には該送信手段から送信された画像を受信する受信手段が設けられていることを特徴とする。

また、請求項７に係る発明は、請求項５又は請求項６に記載の義眼装置において、該画像処理手段は、正常な眼の角膜の動き及び眼瞼の動きを解析することにより、該義眼で表示する画像を合成することを特徴とする。

また、請求項８に係る発明は、請求項５乃至請求項７のいずれかに記載の義眼装置において、該画像処理手段は、正常な眼の注視点を推定することにより、該義眼で表示する画像を合成することを特徴とする。

また、請求項９に係る発明は、請求項５乃至請求項８のいずれかに記載の義眼装置において、該画像処理手段は、イメージアナロジー法により、該義眼で表示する画像を合成することを特徴とする。

以下、本発明の実施の形態を図面を参照しつつ説明する。図１は、本発明の実施の形態に係る義眼とその義眼と共に使用する専用の眼鏡、その他の付属の構成物を示す図である。図1において、１は義眼と共に使用する専用眼鏡であり、５が義眼である。この義眼５と専用眼鏡１との組み合わせは、右の眼が健全で、左の眼の代わりとして本発明の義眼を挿入する場合の組み合わせであり、健全な右目の画像を撮影するためにカメラ２が専用眼鏡１の右レンズのフレーム下部に設けられている。左の眼が健全で、右の眼の代わりとして本発明の義眼を挿入する場合には、専用眼鏡１の左レンズのフレーム下部にカメラ２を設けるようにする。

カメラ2は、動画像を撮影可能なカメラであり、健全な眼である右目の画像を撮影する目的で設けられる。ここで、装用者の目の位置と専用眼鏡１との配置関係で、適切な画像を得ることができないような場合には、カメラ２を取り付ける位置を必ずしもレンズのフレーム下部と限定する必要はなく、適切な位置に変更することもできるし、また、このようにしても適当な画像が得られない場合にはさらにカメラ２をレンズ周囲のフレームの複数箇所に設けて、複数のカメラ２で撮影された画像を合成して、適正な眼の画像を得ることもできる。

カメラ２の配線及び送信部７の配線は専用眼鏡１のフレーム中に埋め込むように設けられている。さらに、カメラ２で撮影された画像情報等はコード３を介して制御部筐体４へと送られる。コード３は、カメラ２や義眼５への電力供給、義眼５の表示部６で表示するための動画像情報伝送等のためにも用いられる。専用眼鏡１に内蔵された送信部７は、義眼５に内蔵された受信部８に対して画像情報を送信するアンテナ等からなる。

制御部筐体４内には、カメラ２で撮影された画像を解析し、義眼５の表示部６で表示するための動画像を合成するための画像処理部、画像処理部やカメラ２や義眼５への電力を供給するための電源等が収納されている。

義眼５の表示部６としては、表示面が曲面である反射型の液晶ディスプレイを用いることが望ましいが、必ずしもこのような液晶ディスプレイに限定される必要はない。さらに言えば、表示部６は液晶ディスプレイ以外の表示デバイスを用いても構わない。

なお、専用眼鏡１にカメラ２を設け、健全な眼の動きを撮影するのは、健全な眼の動きに関する情報を取得する目的で行うのであって、健全な眼の動きに関する情報を取得できるのであれば、必ずしも、このような手法に限定されるものではない。例えば、健全な眼の動きに関する情報を取得するために、電極を用いる方法も考えられ、本発明ではカメラ２を用いることに代えて、電極を用いる構成とすることもできる。

また、専用眼鏡１から義眼に画像情報を送信する際には、無線を用いるとして説明したが、有線で義眼に画像情報を送る構成としても構わない。

以上のような構成において、左の眼の代わりとして義眼５を挿入し、専用眼鏡１を装用し、コード３を耳の後ろから引きまして制御部筐体４をワイシャツのポケットに入れるようにして、全ての構成を装着する。このように装着すれば自然であり、他人の目を気にするような必要もない。

本発明の義眼５の動作の概略を説明すると、まず、専用眼鏡１に取り付けられているカメラ２で健全な方の眼の画像を撮影する。この撮影された画像は制御部筐体４の画像処理部で解析され、義眼５の表示部６で表示するための画像が合成される。義眼５で表示するための画像情報はコード３で専用眼鏡１に送られ、専用眼鏡１に設けられた送信部７を介して、無線で義眼５の受信部８へと送られる。義眼５側では受信部８で受信された画像情報に基づいて、義眼５の表示部６で表示再生がなされる。なお、送信部７から、受信部８へは電磁誘導等の手法で電力を供給するように構成されているが、このような手法を用いず、表示部６を駆動するための電力を義眼５に内蔵するようにしてもよい。画像処理部で合成される義眼５で表示するための画像情報は、撮影した健全な眼の情報から、健全な眼の眼球の姿勢が推定され、さらに健全な眼の注視点についても考慮された上で、義眼５に表示すべき画像を合成しているので、義眼５では、あたかも健全な眼に追随するように角膜部分および眼瞼部分が動くので、義眼５の装用を他人に悟られるようなことがない。

以下、この画像処理部の動作について説明する。図２は、眼の角膜の動きを追跡するための画像処理部の処理ステップを示す図である。図２において、S２０で撮影されたカラー画像２０１を、S２１で二値化して角膜の画像を抽出する。２０２で示される画像が二値化された画像であり、角膜の画像は白い部分で示されている。S２２において、この白い部分の重心を算出し、S２３で求められた重心の位置から、角膜がどこであるかという見当をつけるようにする。一方で、S２４においては、カラー画像２０１において、角膜の輪郭を検出するために、エッジの検出を行う。このようにして得られたエッジ画像（S２５）が、画像２０３で現されるものである。通常角膜は楕円であるので、楕円フィッティングを施すことにより角膜の位置を推定する。すなわち、Ｓ２３で得た角膜の重心情報及びＳ２５で得たエッジ画像の双方を基に、Ｓ２６において楕円フィッティングを行い、最終的にＳ２７で角膜の位置を求める。求められた角膜の位置は、画像２０４において、点線２０５で示されている。

次に、眼瞼の動きを追跡する画像解析を行う。図３は、眼瞼の動きを追跡するための画像処理部の処理ステップを示す図である。図３において、S３１で取得されたカラー画像３０１を、S３２で二値化して３０２で示される画像を得る。続いて、眼瞼の輪郭を検出するために、エッジの検出を行い、エッジ画像３０３を得る（Ｓ３４）。そして、Ｓ３２とＳ３３に基づいて、Ｓ３４で、眼瞼線上の角膜の輪郭部分をエッジ画像として捉える。一方、前もって眼尻及び眼頭周辺領域の画像を予め登録しテンプレート化したものと、撮影画像３０１とのマッチングを行い（Ｓ３５）、眼尻と眼頭の位置を求める（Ｓ３６）。Ｓ３４で得たエッジ画像及びＳ３６で得た眼尻と眼頭の位置の双方を基に、Ｓ３７において２次曲線フィッティングを行い、最終的にＳ３８で眼瞼の位置を求める。求められた眼瞼の位置は、画像３０６において、点線３０７で示されている。

図4は、本発明の映像処理の流れの第1段階目の処理ステップを示す図である。この第1段階目の処理ステップでは、健全な眼の追跡を行い、ラベル画像を得る。これまでに説明してきた部分と一部重複するが、あらためて最初から全体の流れについて説明すると、図4において、まず、Ｓ４０において、健全な眼の画像をカメラ２により取得し（画像４０１）、取得された画像に基づいて、Ｓ４１において、角膜の動きの追跡、眼瞼の動きの追跡を行い、Ｓ４２において健全な眼の角膜・眼瞼の位置を求める（画像４０２、画像４０３）。ここまでの処理については、これまで説明してきたとおりである。次に、Ｓ４２で求められた健全な眼の角膜及び眼瞼の位置から、角膜の左の強膜部分、角膜部分、角膜の右の強膜部分のそれぞれの領域に分割してラベリングを施し（Ｓ４３）、画像４０４に示されるような健全な眼のラベル画像を得る（Ｓ４４）。

図５は、本発明の映像処理の流れの第２段階目の処理ステップを示す図である。この第２段階目の処理ステップでは、健全な眼の視線の推定を行い、義眼の角膜の位置を求める。この処理ステップでは、まず、第1段階目の処理ステップのＳ４２で求められた健全な眼の角膜の位置から（Ｓ５０、画像５０１参照）、健全な眼の眼球の姿勢推定が行われる（Ｓ５１）。次に、Ｓ５２において、健全な右眼が例えば１ｍ先を見ていると仮定して、右眼の注視点を推定する。この推定された右眼の注視点から、左目の眼球がどの位置を注視しているはずか、について俯瞰図５０２に示されるような関係を参照しつつ、義眼である左眼の眼球の姿勢推定を行い（Ｓ５３）、義眼の角膜の位置を決定する（Ｓ５４、画像５０３参照）。俯瞰図５０２は、右眼、左眼を上部から見た概念図であり、俯瞰図５０２において、太い線で示される部分が、右眼、左眼の角膜に相当する部分である。

図６は、本発明の映像処理の流れの第３段階目の処理ステップを示す図である。第３段階目の処理ステップでは、第１段階目の処理ステップ及び第２段階目の処理ステップで得られた情報を基に、義眼画像の作成を行う。まず、Ｓ６０において、第２段階目の処理ステップのＳ５４で得られた義眼の角膜の位置、及び、健全な眼の眼瞼の位置から求められた義眼の眼瞼の位置（Ｓ６０）の双方から、角膜の左の強膜部分、角膜部分、角膜の右の強膜部分のそれぞれの領域に分割してラベリングを施し（Ｓ６１）、画像６０２に示されるような義眼のラベル画像を得る（Ｓ６２）。この義眼のラベル画像６０２から、Ｓ６３においてイメージアナロジー法を用いることによって、最終的にＳ６４で義眼画像を得る。イメージアナロジー法の概略につき説明する。図7は、イメージアナロジー法の概念について説明するための図である。この方法は、（ラベル画像７１）：（原画像７２）＝（ラベル画像７３）：（合成画像７４）となるように、（合成画像７４）を生成する技術であり、本発明の実施の形態では、まず、健全な眼の原画像７２からそのラベル画像である７１を作成しておき、さらに、前記したように処理で義眼のラベル画像７３を作成し、最終的にイメージアナロジー法で合成画像７４を生成したわけである。なお、ここでは、イメージアナロジー法により健全な眼の画像から義眼画像を作成することについて説明したが、イメージアナロジー法以外の他の画像生成方法で義眼画像を作成しても良いことは言うまでもない。イメージアナロジー法以外の方法としては、例えば、表示すべき義眼の角膜と眼瞼の位置がわかっているので、射影幾何を使って、正常な眼の画像から義眼画像を合成する方法も考えられる。

このようにして制御部筐体４の画像処理部において得られた義眼画像の合成画像は、コード３を介してまず専用眼鏡１の送信部７へと送られ、さらに送信部７から無線で義眼５の受信部８へ伝送され、義眼５の表示部６で再生表示される。これまでみてきたように、義眼５の表示部６で再生表示される画像は、撮影された健全な眼の情報を基に合成された画像であるので、あたかも健全な眼に追随するように角膜部分および眼瞼部分が動き、義眼５の装用を他人に悟られるようなことがない。

本発明の実施の形態に係る義眼とその義眼と共に使用する専用の眼鏡、その他の付属物を示す図である。 本発明の実施の形態に係る、角膜の動きを追跡するための画像処理部の処理ステップを示す図である。 本発明の実施の形態に係る、眼瞼の動きを追跡するための画像処理部の処理ステップを示す図である。 本発明の映像処理の流れの第1段階目の処理ステップを示す図である。 本発明の映像処理の流れの第２段階目の処理ステップを示す図である。 本発明の映像処理の流れの第３段階目の処理ステップを示す図である。 イメージアナロジー法の概念について説明するための図である。

符号の説明

１・・・専用眼鏡、２・・・カメラ、３・・・コード、４・・・制御部筐体、５・・・義眼、６・・・表示部、７・・・送信部、８・・・受信部

Claims (9)

1. 片方の眼が正常であることを前提に装用する義眼を含む義眼装置において、
   眼瞼を含めた正常な眼の動きを検出する検出手段と、
   該検出手段で検出された眼瞼を含めた正常な眼の動きに追随する画像を該義眼に表示する表示手段と、から成ることを特徴とする義眼装置。
2. 該検出手段は眼瞼を含めた正常な眼の動きを撮影するカメラであることを特徴とする請求項１に記載の義眼装置。
3. 該カメラは該義眼と共に装用する眼鏡に設けられることを特徴とする請求項２に記載の義眼装置。
4. 該表示手段は表示面が曲面である反射型液晶ディスプレイからなることを特徴とする請求項１乃至請求項３のいずれかに記載の義眼装置。
5. 該カメラで撮影された動画像を解析し該義眼で表示する画像を合成する画像処理手段を備え、該画像処理手段で合成された画像を該表示手段に表示することを特徴とする請求項２乃至請求項４のいずれかに記載の義眼装置。
6. 該眼鏡には該画像処理手段で合成された画像を該義眼に送信する送信手段が設けられ、
   該義眼には該送信手段から送信された画像を受信する受信手段が設けられていることを特徴とする請求項５に記載の義眼装置。
7. 該画像処理手段は、正常な眼の角膜の動き及び眼瞼の動きを解析することにより、該義眼で表示する画像を合成することを特徴とする請求項５又は請求項６に記載の義眼装置。
8. 該画像処理手段は、正常な眼の注視点を推定することにより、該義眼で表示する画像を合成することを特徴とする請求項５乃至請求項７のいずれかに記載の義眼装置。
9. 該画像処理手段は、イメージアナロジー法により、該義眼で表示する画像を合成することを特徴とする請求項５乃至請求項８のいずれかに記載の義眼装置。
   
   

Images