JP2008258806A - イメージスタビライザ及びイメージスタビライジング方法 - Google Patents

Abstract

【課題】病理学的な治療ではなく、人体の外部から光学的、或いは画像処理的な手法によって人間の眼に映る像を安定化することで「眼振」症状に対処できる他、正常な眼の動体視力を向上させることができ、さらに高価な高速度撮像カメラを用いることなく高速で移動する物体を鮮明に撮像できるイメージスタビライザを提供する。
【解決手段】本発明に係るイメージスタビライザは、移動目標物を含む目標物の位置を検出する目標物位置検出手段と、目標物と結像体との間に配置され、目標物から結像体へ至る光の経路を偏向させる偏向手段と、目標物位置検出手段によって検出される目標物の位置に基づき、目標物の像が前記結像体の上に位置するように偏向手段を制御する制御部と、を備えたことを特徴とする。
【選択図】 図１

Description

本発明は、イメージスタビライザ及びイメージスタビライジング方法に係り、特に、眼振に起因した視力障害者の眼に映る像を外部から補正するイメージスタビライザや、高速移動目標等の像を安定化させるイメージスタビライザ及びイメージスタビライジング方法に関する。

従来から、超高速で移動する対象物を人間の眼で捉えるため、高速度撮像カメラが利用されている。高速度撮像カメラでは、通常の撮像カメラのフレームレート（例えば６０fps（frames per second））に比べて遥かに高いフレームレート（例えば１０００fps）で撮像し、再生するときには記録画像をゆっくりと再生することによって鮮明なスローモーション映像を得ている。

高速度撮像カメラは、通常の人間の眼の能力では決して捉えることのできない高速移動目標を鮮明でゆっくりとした動きの画像として提供することが可能であり、科学分野、生産・製造分野、スポーツ分野等、多方面で利用されている。

他方、対象物の動きが通常の人間の眼で捉えられる範囲であっても、ある種の疾病患者の眼では正常に捉えられない場合もある。

例えば、小脳変性症と呼ばれる病気は、随意筋を円滑に動作させるために必要な小脳が萎縮する難病である。小脳変性症の患者は、手足等を動かす際に目標位置を超えて手足が行き過ぎてしまう動作（ハイパーメトリ動作と呼ばれる）を伴う。同様のことは眼球にも起こる。ある定点を目視し、その定点から別の定点（目標点）に視点を動かす際に、眼球を動かす筋肉がハイパーメトリ動作を伴うため、目標点に視点が瞬時に合わず、目標点周囲を視点が行き来して小刻みに動く「眼振」症状を呈する。また、一定速度で動く物体を目視する場合にも同様のことが起きるため、視点が目標点を正確に追跡できない（このような眼球の動きを衝動性眼球運動と呼ぶ）。一方、患者はこれらのことを視野の振動とは認識せず、眼が「かすむ」等の視力低下として自覚することが多い。

こうした問題は小脳変性症に限らず、小脳や脳幹に疾患を有する多くの疾病において観察されているが、それらの病理学的メカニズムは未だ解明されておらず、「眼振」の根本的な治療法は現時点では存在しないというのが実情である。

そこで、病理学的な治療ではなく、人体の外部から光学的、或いは画像処理的な手法によって人間の眼に映る像を安定化することで「眼振」症状に対処できないだろうか、というのが本発明の第１の着眼点である。

また、同様の光学的、或いは画像処理的な手法を用いることで、正常な眼の動体視力を向上させることができるのではないか、というのが本発明の第２の着眼点である。

さらに、同様の光学的、或いは画像処理的な手法を用いることで、通常のフレームレートを有する撮像カメラを用いても（高価な高速度撮像カメラを用いることなく）、高速で移動する物体を鮮明に撮像できるのではないか、というのが本発明の第３の着眼点である。

上記課題を解決するため、本発明に係るイメージスタビライザは、請求項１に記載したように、移動目標物を含む目標物の位置を検出する目標物位置検出手段と、前記目標物と結像体との間に配置され、前記目標物から前記結像体へ至る光の経路を偏向させる偏向手段と、前記目標物位置検出手段によって検出される前記目標物の位置に基づき、前記目標物の像が前記結像体の上に位置するように前記偏向手段を制御する制御部と、を備えたことを特徴とする。

また、上記課題を解決するため、本発明に係るイメージスタビライジング方法は、請求項９に記載したように、（ａ）移動目標物を含む目標物の位置を検出し、（ｂ）前記目標物から結像体へ至る光の経路を偏向させる、ステップを備え、ステップ（ｂ）では、検出された前記目標物の位置に基づき、前記目標物の像が前記結像体の上に位置するように前記光の経路を偏向させる、ことを特徴とする。

本発明に係るイメージスタビライザ及びイメージスタビライジング方法によれば、病理学的な治療を用いることなく「眼振」症状に対処できる。また、正常な眼の動体視力を向上させることができる。さらに、高価な高速度撮像カメラを用いることなく、通常のフレームレートを有する撮像カメラを用いても高速で移動する物体を鮮明に撮像できる。

本発明に係るイメージスタビライザ、及びイメージスタビライジング方法の実施形態について、添付図面を参照して説明する。

（１）第１の実施形態
図１は、本発明の第１の実施形態に係るイメージスタビライザ１の構成例を示す図である。

イメージスタビライザ１は、目標物撮像カメラ１０、眼球撮像カメラ２０、制御部３０、偏向手段４０、赤外線投光器５０、及びハーフミラー６０を備えて構成されている。

第１の実施形態に係るイメージスタビライザ１は、例えば人間の眼球（結像体）２００の前方方向に眼球に近接して配置される。頭部とイメージスタビライザ１とは互いの位置関係がずれないように同一の架台等（図示せず）で固定されている。イメージスタビライザ１を小型のヘッドマウント型として構成し、このヘッドマウント型のイメージスタビライザ１を頭部に装着して固定するようにしても良い。なお、目標物１００は、眼球２００がその視野内に捉えることができる視覚対象物である。

目標物撮像カメラ１０は、眼球２００の視野内の広い領域を撮像するカメラである。目標物撮像カメラ１０は、例えば、ＣＭＯＳ撮像素子１１とレンズ１２を備えて構成されている。目標物の撮像信号は制御部３０に入力され、目標物画像処理部（図示せず）によって目標物位置が検出される。目標物撮像カメラ１０と目標物画像処理部とによって目標物位置検出手段は構成される。

赤外線投光器５０は、例えば赤外線ＬＥＤを備えて構成されるものであり、赤外線を眼球２００に照射する。

赤外線は眼球２００で反射し、眼球２００の虹彩からの反射光はハーフミラー６０を透過して眼球撮像カメラ２０に入力される。

眼球撮像カメラ２０は、赤外線透過フィルタ２１、レンズ２２、及び赤外線撮像素子２２を備えて構成される赤外線撮像装置である。眼球撮像カメラ２０によって撮像された虹彩の撮像信号は制御部３０に入力され、結像体画像処理部（図示せず）によって虹彩の中心位置が検出され、その結果眼球２００の位置（眼球２００が向いている２次元の方向）が検出される。眼球撮像カメラ２０と結像体画像処理部とによって結像体位置検出手段が構成されている。

偏向手段４０は、ガルバノミラーを内蔵する光学装置であり、目標物１００から眼球２００へ至る光路の途中に配置される。

図２は、偏向手段４０の細部構成の一例を示す図である。図２（ａ）は、偏向手段４０及びハーフミラー６０を、頭部の上の方向から見た図であり、図２（ｂ）は、偏向手段４０を横から見た（眼球２００から目標物１００を水平方向に見た）図である。

図２に示したように、偏向手段４０は第１、第２のガルバノミラー４１ａ、４１ｂを備えている。第１のガルバノミラー４１ａと第２のガルバノミラー４１ｂは、互いに直交する回転軸周りに回転可能に構成されており、夫々第１の駆動部４２ａと第２の駆動部４２ｂによって回転駆動される。

目標物１００からの放射光は、第１のガルバノミラー４１ａで反射された後、第２のガルバノミラー４１ｂで反射される。第２のガルバノミラー４１ｂの反射光は、固定ミラー４３を経て、眼球２００の直前に配置されるハーフミラー６０へ至り、そこから眼球２００方向に入射される。

第１の駆動部４２ａと第２の駆動部４２ｂの駆動制御信号は制御部３０から入力される。この駆動制御信号によって、第１、第２のガルバノミラー４１ａ、４１ｂの回転角を制御することによって、目標物１００からの放射光を２次元の任意の角度で偏向させることが可能である。

偏向手段４０、ハーフミラー６０、及び眼球撮像カメラ２０は、通常は両眼に対応させて夫々１対設けられるが、何れか一方の眼球２００の前面に設ける形態でもよい。

偏向手段４０として、この他、例えば目標物１００と結像体の間にガルバノミラーではなくレンズ系を配置し、このレンズ系の一部のレンズの位置或いは角度を駆動することによって、目標部１００から結像体（例えば眼球２００）へ至る光路の向きを偏向するようにしてもよい。

上記のように構成されたイメージスタビライザ１の動作に付いて説明する。

図３は、例えば小脳変性症等の疾病によって、眼球２００が「眼振」症状を起こしている場合に本実施形態に係るイメージスタビライザ１を適用したときの動作を概念的に示す図である。図３では、説明の便宜上、眼球２００の動きを１次元の動き（水平方向の動き）としているが、眼球２００の動きが水平と垂直の２次元の動きを示す場合でも同様の動作となる。

眼球撮像カメラ２０では、眼振を起こしている眼球２００の像２００ａを撮像し、この撮像画像は制御部３０に入力される。制御部３０では、例えば、虹彩の中心位置と眼球撮像カメラ２０の中心位置とから眼球位置誤差εeを検出する。そして、この眼球位置誤差εeの大きさに応じてガルバノミラー４１（ガルバノミラー４１ａ、４１ｂの双方、又はいずれか一方）を駆動し、目標物１００からの放射光が、移動する眼球２００の位置に常に一致するように偏向量を制御する。この結果、眼振症状を起こしている場合であっても、見かけ上眼球２００の振動がキャンセルされる。その結果、眼振に起因する視野内での像揺れが低減され、視覚対象物の「かすみ」や視力低下を抑制することができる。

また、眼振は平衡感覚の減退を引き起こすため、歩行障害の要因にもなり得るが、本実施形態に係るイメージスタビライザ１を用いることによって歩行障害を軽減することができる。

また、視力低下の原因が「眼振」に起因するものなのか、或いは他の原因に起因するものなのかを判別する診断装置としてもイメージスタビライザ１を用いることができる。

眼振の振動周波数は、数十Ｈｚ程度であるといわれている。従って、第１、第２のガルバノミラー４１ａ、４１ｂの応答帯域（動特性）として１００Ｈｚ程度が実現できれば、眼振による眼球２００の位置変動に追随させて偏向量を制御することができる。

また、第１、第２のガルバノミラー４１ａ、４１ｂの径は大きいほど広い視野を確保できるが、イメージスタビライザ１の寸法、重量等を考慮する必要がある。例えば、約５０ｍｍ程度の径であれば十分な視野を確保でき、かつイメージスタビライザ１の物理的な大きさも小型で軽量なものが実現できる。

なお、目標物１００をより明るく捉えるため、ハーフミラー６０を介さずに、第２のガルバノミラー４１ｂの反射光を全反射ミラーによって眼球２００に導く構成としても良い。

この場合、眼球撮像カメラ２０の位置を眼球２００の正面ではなく、例えば眼球２００のやや上方側に配置し、斜め上方から眼球２００の位置を撮像するようにしても良い。

図４は、健常者の眼で高速移動する目標（高加速度で移動する目標や、高周波数で位置変動する目標を含む。以下、同様である）を捕らえようとしたときに、本実施形態に係るイメージスタビライザ１を適用したときの動作を概念的に示す図である。図３と同様に、説明の便宜上、目標物の動きは１次元の動き（水平方向の動き）としている。

目標物撮像カメラ１０では、高速で移動する目標物１００の像１００ａを撮像し、この撮像画像は制御部３０に入力される。制御部３０では、画像処理によって例えば、目標物の像１００ａの中心位置を求め、この目標物の中心位置と眼球撮像カメラ２０の中心位置とから目標物位置誤差εoを検出する。そして、この眼球位置誤差εoの大きさに応じてガルバノミラー４１（ガルバノミラー４１ａ、４１ｂの双方、又はいずれか一方）を駆動し、目標物１００からの放射光が、眼球２００の位置に常に一致するように偏向量を制御する。つまり、高速で移動する目標物１００からガルバノミラー４１の入力点までの入射光の角度は目標物１００の動きに応じて変化するが、ガルバノミラー４１の偏向量制御によってこの角度変化をキャンセルし、ガルバノミラー４１から眼球２００に至る光路の方向は常に一定となるように制御する。

この結果、通常の眼球運動では捉えることができないような高速移動目標を捉える事が可能となり、本実施形態に係るイメージスタビライザ１を装着することによって、実効的な動体視力を著しく向上させることができる。

例えば、工場検査ラインにおいて製品の品質検査を行う検査者がイメージスタビライザ１を装着すれば、検査者の実効的な動体視力が向上する。この結果、製品の移動速度を高めて検査効率を上げることができる。また、従来はストロボ等を用いて移動物体を静止して観察するような方法をとる場合もあったが、イメージスタビライザ１を用いればストロボ等を用いなくとも製品が静止して見えるため、より精度の高い検査が可能となり、検査者の作業負担も軽減される。

また、イメージスタビライザ１と顕微鏡とを組み合わせることによって、例えば顕微鏡下において高速に移動する微生物を観察するような場合に、微生物をあたかも静止しているような状態にして観察することができる。

また、イメージスタビライザ１を装着することによって、通常の動体視力では補足できない高速な移動体を肉眼で注視することが可能となる。例えば、目の前を高速で通過する電車や自動車の型番や、或いはそれらに乗っている人物を判別することが可能となる。また、高速な飛翔体を肉眼で注視することも可能となる。

この他、動体視力の低下した高齢者が野球などのボールを用いたスポーツを行う際、本実施形態に係るイメージスタビライザ１を装着することによって実効的な動体視力が向上し、より活発にスポーツを楽しむこともできる。

なお、図３には、眼球２００が移動し目標物１００が固定の場合の動作を例示し、逆に、図４には、目標物１００が移動し眼球２００は固定の場合の動作を例示しているが、これは説明の便宜上の理由である。本実施形態では図１に示したように、眼球と目標物の位置を独立に撮像可能な２つのカメラを備えており（眼球撮像カメラ２０と目標物撮像カメラ１０）、当然ながら眼球２００と目標物１００の双方が移動する場合でも、目標物１００の像を眼球２００の位置に一致させるようにガルバノミラー４１ａ、４１ｂの偏向量を制御することができる。

（２）その他の実施形態
図５は、第２の実施形態に係るイメージスタビライザ１ａの構成例を示す図である。第２の実施形態は、第１の実施形態に係るイメージスタビライザ１に頭部位置検出カメラ（頭部位置検出手段）７０を付加した形態である。

第１の実施形態に係るイメージスタビライザ１は、頭部に装着等して頭部にイメージスタビライザ１を固定し、頭部とイメージスタビライザ１との相対的な位置関係が一定であることを前提としている。しかしながら、イメージスタビライザ１を頭部に十分固定することができない場合もありうる。また、イメージスタビライザ１を頭部から離して使用したほうが便利な場合もありうる。

そこで、頭部とイメージスタビライザ１とが固定されていない場合であっても、頭部の位置を検出し、頭部位置の変化量をキャンセルするように偏向手段４０の偏向量を制御できるように構成したものが第２の実施形態に係るイメージスタビライザ１ａである。

頭部位置を検出する手段は特に限定するものではないが、例えば図５に示したように、物理的に離れた位置に２台の頭部位置検出カメラ７０を設け、頭部３００に付したマーカ３０１の位置を検出することによって頭部位置の変化量を測定すればよい。

第２の実施形態に係るイメージスタビライザ１ｂによれば、頭部３００とイメージスタビライザ１ａの相対位置関係が変化する場合であっても、振動する眼球２００の位置と目標物１００の像の位置とを一致させることができ、同様に高速移動する目標物１００の像の位置を眼球２００の位置に一致させることもできる。

図６は、第３の実施形態に係るイメージスタビライザ１ｂの構成例を示す図である。第３の実施形態は、目標物１００の結像体として眼球２００を想定したものではなく、通常の撮像カメラ４００を想定した形態である。より具体的には、例えば撮像カメラの撮像素子４０２やフィルムを結像体として想定した実施形態である。また、目標物１００としては、高速で移動する目標物を想定している。

イメージスタビライザ１ｂは、目標物撮像カメラ１０、制御部３０、及び偏向手段４０を備えている。

目標物撮像カメラ１０は、高速で移動する目標物１００の中心位置やある特定の点を検出できれば十分であり、目標物１００の像全体を高フレームレート（例えば１０００ｆｐｓ等）で鮮明に撮像する高速度撮像カメラである必要性は必ずしも無い。

制御部３０では、目標物撮像カメラ１０から出力される撮像画像から目標物１００の中心位置やある特定の点を検出し、目標物１００の位置を特定する。複数の位置情報から目標物の速度を推定してもよい。

制御部３０では、得られた目標物１００の位置や速度から、偏向手段４０に入射される光路の向きがその出力側でほぼ一定となるようにガルバノミラー４１の偏向量を制御する。その結果、撮像カメラ４００に入射される高速移動目標の光路角の変化は撮像カメラ４００から見ると大幅に抑制される。

このため、撮像カメラ４００として高価な高速度撮像カメラを用いることなく、通常のフレームレートのカメラを用いたとしても、高速で移動する目標の像をブレの無い鮮明な像として撮像することが可能となる。

また、望遠レンズを使用する場合撮像カメラ４００の視野は狭くなる。このため、例えば超望遠レンズを装着して飛行機等の高速移動目標を鮮明に撮像しようとした場合、撮像カメラ４００自体の向きを機構的に目標方向に追尾させる高価な追尾機構を必要とする場合がある。

第３の実施形態に係るイメージスタビライザ１ｂを通常の撮像カメラ４００の前方に装着すれば、高価な高速度撮像カメラや追尾機構を用いることなく、高速で移動する目標をブレのない鮮明な画像で撮像することができる。

また、撮像カメラ４００を、製造ライン上を流れる製品を検査する検査カメラとして利用する場合、撮像カメラ４００で捉える製品画像をほぼ静止した画像として捉えることができるため、製造ラインの移動速度を上げて検査効率を向上できることに加えて、質の高い検査が可能となる。

なお、本発明は上記の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

本発明の第１の実施形態に係るイメージスタビライザの構成例を示す図。 偏向手段の細部構成例を示す図。 眼球が「眼振」症状を起こしている場合に第１の実施形態に係るイメージスタビライザを適用したときの動作を概念的に示す図。 高速移動する目標を捕らえようとしたときに、第１の実施形態に係るイメージスタビライザを適用したときの動作を概念的に示す図。 本発明の第２の実施形態に係るイメージスタビライザの構成例を示す図。 本発明の第３の実施形態に係るイメージスタビライザの構成例を示す図。

符号の説明

１ イメージスタビライザ
１０ 目標物撮像カメラ
２０ 眼球撮像カメラ
３０ 制御部
４０ 偏向手段
５０ 赤外線投光器
４１、４１ａ、４１ｂ ガルバノミラー
４２、４２ａ、４２ｂ 駆動部
６０ ハーフミラー
７０ 頭部位置検出カメラ

Claims (10)

1. 移動目標物を含む目標物の位置を検出する目標物位置検出手段と、
   前記目標物と結像体との間に配置され、前記目標物から前記結像体へ至る光の経路を偏向させる偏向手段と、
   前記目標物位置検出手段によって検出される前記目標物の位置に基づき、前記目標物の像が前記結像体の上に位置するように前記偏向手段を制御する制御部と、
   を備えたことを特徴とするイメージスタビライザ。
2. 前記偏向手段は、
   ガルバノミラーと、
   前記ガルバノミラーの偏向角を設定する駆動部と、
   を備えて構成される偏向手段である、
   ことを特徴とする請求項１に記載のイメージスタビライザ。
3. 前記結像体の位置を検出する結像体位置検出手段、をさらに備え、
   前記制御部は、
   前記目標物検出手段によって検出される前記目標物の位置と、前記結像体位置検出手段によって検出される前記結像体の位置とに基づき、前記目標物の像が前記結像体の上に位置するように前記偏向手段を制御する、
   ことを特徴とする請求項１又は２に記載のイメージスタビライザ。
4. 前記結像体は、人間の眼球であり、
   前記結像体位置検出手段は、
   赤外線投光器と、
   前記赤外線投光器から前記眼球に照射された赤外線の反射光によって前記眼球の位置を検出する赤外線撮像装置と、
   を備えて構成される、ことを特徴とする請求項３に記載のイメージスタビライザ。
5. 前記偏向手段、及び前記結像体位置検出手段は、両眼に対応して夫々一対設けられる、
   ことを特徴とする請求項４に記載のイメージスタビライザ。
6. 人間の頭部の位置を検出する頭部位置検出手段、をさらに備え、
   前記制御部は、
   前記頭部位置検出手段によって検出される前記頭部の位置、前記目標物検出手段によって検出される前記目標物の位置、及び前記結像体位置検出手段によって検出される前記眼球の位置に基づき、前記目標物の像が前記眼球の上に位置するように前記偏向手段を制御する、
   ことを特徴とする請求項４又は５に記載のイメージスタビライザ。
7. 前記イメージスタビライザは、ヘッドマウント可能に構成されることを特徴とする請求項４又は５に記載のイメージスタビライザ。
8. 前記結像体は、撮像カメラの撮像素子である、
   ことを特徴とする請求項１又は２に記載のイメージスタビライザ。
9. （ａ）移動目標物を含む目標物の位置を検出し、
   （ｂ）前記目標物から結像体へ至る光の経路を偏向させる、
   ステップを備え、
   ステップ（ｂ）では、
   検出された前記目標物の位置に基づき、前記目標物の像が前記結像体の上に位置するように前記光の経路を偏向させる、
   ことを特徴とするイメージスタビライジング方法。
10. （ｃ）前記結像体の位置を検出する、ステップをさらに備え、
    ステップ（ｂ）では、
    検出された前記目標物の位置と、検出された前記結像体の位置とに基づいて、前記目標物の像が前記結像体の上に位置するように前記光の経路を偏向させる、
    ことを特徴とする請求項９に記載のイメージスタビライジング方法。

Images