JP3605315B2 - Stereoscopic microscope - Google Patents

Stereoscopic microscope Download PDF

Info

Publication number
JP3605315B2
JP3605315B2 JP15263699A JP15263699A JP3605315B2 JP 3605315 B2 JP3605315 B2 JP 3605315B2 JP 15263699 A JP15263699 A JP 15263699A JP 15263699 A JP15263699 A JP 15263699A JP 3605315 B2 JP3605315 B2 JP 3605315B2
Authority
JP
Japan
Prior art keywords
optical system
image
subject
relay
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15263699A
Other languages
Japanese (ja)
Other versions
JP2000338416A (en
Inventor
悟 立原
千成 田中
Original Assignee
ペンタックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタックス株式会社 filed Critical ペンタックス株式会社
Priority to JP15263699A priority Critical patent/JP3605315B2/en
Priority to DE10027166A priority patent/DE10027166B4/en
Priority to US09/584,943 priority patent/US6396627B1/en
Publication of JP2000338416A publication Critical patent/JP2000338416A/en
Priority to US10/008,941 priority patent/US20020080481A1/en
Application granted granted Critical
Publication of JP3605315B2 publication Critical patent/JP3605315B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、観察対象物を拡大観察する立体視顕微鏡に関し、特に、顕微鏡画像を撮像素子により電気的に撮影するタイプの立体視顕微鏡に関する。
【0002】
【従来の技術】
立体視顕微鏡は、例えば、脳神経外科手術のように微細な組織を処置する際に使用される。
即ち、脳のように微細な組織からなる器官は、その構造組織を肉眼で識別することが困難であるために、このような器官の処置は、顕微鏡下で行わざるを得ない。しかも、単眼の顕微鏡では組織の立体的構造を認識することが困難であるので、組織を立体的に拡大観察させて正確な処置を可能とするため、このような処置には双眼の立体視顕微鏡が用いられていた。
【0003】
ただし、従来の立体視顕微鏡は、顕微鏡の接眼レンズを直接肉眼で覗くように設計されているため、手術を担当する主術者(場合によってはその助手)は顕微鏡画像を見ることができるものの、それ以外の者(例えば、麻酔医,看護婦,研修医,遠隔地に居るアドバイザー)は、同じ顕微鏡画像を見ることができないので、迅速且つ的確な分担作業を行ったり遠隔地からの的確な助言を行うことができない。
【0004】
そこで、従来から、撮像素子を用いて顕微鏡画像を電気信号として出力させる手法が提案されている。これによれば、撮影された画像を複数のディスプレイに表示し、これらをそれぞれ立体視ビューアーを用いて観察することにより、複数の関係者が顕微鏡画像を同時に立体視することができる。例えば特開平7−104193号公報には、双眼顕微鏡の接眼レンズの後段に撮影系光学アダプターを取り付け、顕微鏡画像をハイビジョンカメラで撮影する構成が開示されている。撮影系光学アダプターには、接眼レンズからの被写体光をリレーして撮像素子上に結像させるリレー光学系と、撮像素子としてのハイビジョン用CCDとが含まれている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記公報に開示される立体視顕微鏡は、肉眼観察用の双眼顕微鏡を流用してこれにアダプターを付加した構成であるため、観察光学系は肉眼観察時にも充分な拡大率を得られるよう設計されており、光学系が大型化し、双眼顕微鏡とアダプターとを含むシステム全体のサイズが大きくなるという問題がある。
【0006】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、その課題は、肉眼観察用の双眼顕微鏡を流用するのではなく、撮像素子を用いた立体視顕微鏡として特化することにより、システム全体の光学系を小型化することが可能な立体視顕微鏡を提供することにある。
【0007】
【課題を解決するための手段】
上記の課題を達成するため、本発明の立体視顕微鏡は、単一の光軸を有し、被写体に対向して配置されたクローズアップ光学系と、クローズアップ光学系の光軸に対してそれぞれ平行な光軸を有し、クローズアップ光学系における互いに異なる箇所を通過した被写体光により一定の位置に被写体の一次像を形成する変倍可能な一対のズーム光学系と、ズーム光学系により形成される一次像の位置にそれぞれ配置され、一次像のエッジを規定する一対の視野絞りと、一次像をリレーして被写体の二次像を形成する一対のリレー光学系と、一対の二次像を撮影する撮像素子とを備え、各リレー光学系の結像倍率Mが、以下の条件、
−3<M<−1
を満たすことを特徴とする。
【0008】
上記の構成によれば、被写体光は、クローズアップ光学系を介して入射し、一対のズーム光学系により所定の視差を持つ一対の一次像が視野絞りの位置に形成される。クローズアップ光学系は、被写体がその焦点位置に位置するよう調整され、被写体からの発散光をほぼ平行光に変換するコリメート機能を有する。一次像は、一対のリレー光学系によりリレーされ、撮像面上に一対の二次像が形成される。撮影された画像は、液晶ディスプレイやCRT等の表示装置に表示され、これを立体視ビュアーを用いて両目で観察することにより、被写体を拡大して立体視により観察することができる。
【0009】
カラー画像を撮影する場合、撮像素子としては、例えば1枚のカラーCCDを設けてもよいし、色分解光学系を介在させて各色成分毎にCCDを設けてもよい。
【0010】
リレー光学系と撮像素子との間に、リレー光学系からの被写体光を互いに近接させる光軸間距離縮小素子を備えた場合、撮像素子は、単一の撮像面の隣接した領域に形成される二次像を撮影することができる。
【0011】
また、リレー光学系は、視野絞り側から順に、いずれも正のパワーを持つ第1、第2、第3レンズ群を備え、第1,第2レンズ群により視野絞りを透過した発散光をほぼ平行光とし、第3レンズ群により収束させることが望ましい。
【0012】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【0013】
以下に説明する実施形態による立体視顕微鏡は、例えば脳神経外科手術の際に用いられる手術支援システムに組み込まれて使用される。この手術支援システムは、立体視顕微鏡によって患者の組織をビデオ撮影して得られた立体映像(ステレオ映像)を、予め得られていた患部のデータに基づいて作成したCG(コンピュータグラフィック)映像と合成して、主術者専用の立体視ビューアーや他のスタッフ用のモニタ等に表示し、また、録画装置に録画するシステムである。
【0014】
(手術支援システムの全体構成)
図1は、この手術支援システムの概略を示すシステム構成図である。この図1に示されるように、手術支援システムは、立体視顕微鏡101と、この立体視顕微鏡101の背面の上端近傍に取り付けられたハイビジョンCCDカメラ102と、同じく下端近傍に取り付けられた顕微鏡位置測定装置103と、立体視顕微鏡101の上面に取り付けられたカウンターウェイト104と、このカウンターウェイト104に開けられた貫通孔を貫通して立体視顕微鏡101の内部に導通されたライトガイドファイバ105と、このライトガイドファイバ105を通じて立体視顕微鏡101に照明光を導入する光源装置106と、ディスク装置107を有する手術計画用コンピュータ108と、顕微鏡位置測定装置103及び手術計画用コンピュータ108に接続されたリアルタイムCG作成装置109と、このリアルタイムCG作成装置109及びハイビジョンCCDカメラ102に接続された画像合成装置110と、この画像合成装置110に接続された分配器111と、この分配器111に接続された録画装置115,モニタ114及び立体視ビューア113等から、構成されている。
【0015】
上述したディスク装置107には、患者Pの患部を予め様々な撮影装置で撮影することによって得られた画像(CTスキャン画像,MRI画像,SPECT画像,血管造影画像,等)が格納されているとともに、これらの各種画像に基づいて予め作成された患部及び周辺組織の3次元データが格納されている。なお、この3次元データは、患者Pの外皮又は内部組織の特定部位に設定された基準点(マーキング等)を原点として定義された3次元ローカル座標上で、患部及び周辺組織の形状、大きさ及び位置を、ベクトル形式又はマップ形式で特定するデータとなっている。
【0016】
また、上述した立体視顕微鏡101は、その背面に取付られたマウントを介して、第1スタンド100のフリーアーム100aの先端に、着脱自在に固定されている。従って、この立体視顕微鏡101は、第1スタンド100のフリーアーム100aの先端が届く半径内で、移動自在であるとともに、任意の向きに向くことができる。但し、ここでは、便宜上、立体視顕微鏡101に対するその被写体の向きを「下」と定義し、逆向きを「上」と定義するものとする。
【0017】
この立体視顕微鏡101内の光学構成については後で詳しく説明するが、その概略構成を述べると、図2に示すように、撮影光学系200は、単一の光軸を持つ大径のクローズアップ光学系210,及びこのクローズアップ光学系210における互いに異なる箇所を透過した被写体光により被写体の一次像を形成する左右一対のズーム光学系220,230からなる対物光学系と、ズーム光学系220,230による被写体の一次像の位置に配置された左右一対の視野絞り270,271と、この一次像をリレーする左右一対のリレー光学系240,250とを備える。リレー光学系240,250によってリレーされた被写体光は、ハイビジョンCCDカメラ102内に導入され、ハイビジョンサイズ(縦横のアスペクト比=9:16)の撮像面を有するCCD116における左右の各撮像領域(縦横のアスペクト比=9:8)に夫々二次像として再結像される。この光学系においては、クローズアップ光学系210を共通の要素として、ズーム光学系220、リレー光学系240が右の撮影光学系を構成し、ズーム光学系230、リレー光学系250が左の撮影光学系を構成し、併せて所定の基線長を隔てて配置された一対の撮影光学系をなす。
【0018】
このような一対の撮影光学系によってCCD116の撮像面上における左右の各撮像領域に形成された像は、所定の基線長を隔てた二箇所から夫々撮影した画像を左右に並べたステレオ画像と等価である。そして、このCCD116の出力信号は、画像プロセッサ117によってハイビジョン信号として生成されて、ハイビジョンCCDカメラ102から画像合成装置110へ向けて出力される。なお、この立体視顕微鏡101内には、クローズアップ光学系210の焦点位置近傍に存在する被写体を照明する照明光学系300(図6参照)が内蔵されている。そして、この照明光学系300には、光源装置106からライトガイドファイババンドル105を介して照明光が導入される。
【0019】
図1に戻り、立体視顕微鏡101に取り付けられた顕微鏡位置測定装置103は、クローズアップ光学系210の光軸上に存在する被写体までの距離,クローズアップ光学系210の光軸の立体的な向き,上記基準点の位置を測定し、測定したこれら情報に基づいて上記ローカル座標における被写体の位置を算出する。そして、これら光軸の向き及び被写体の位置の情報を、リアルタイムCG作成装置109に通知する。
【0020】
このリアルタイムCG作成装置109は、顕微鏡位置測定装置103から通知された光軸の向き及び被写体の位置の情報,及び手術計画用コンピュータ108からダウンロードした3次元データに基づいて、この光軸の向きから患部(例えば腫瘍)を立体視したのと等価なCG画像(例えば、ワイヤフレーム画像)をリアルタイムに生成する。このCG画像は、立体視顕微鏡101内の光学系と同じ基線長,及び同じ被写体距離での立体画像(ステレオ画像)として生成される。そして、リアルタイムCG作成装置109は、このようにして生成したCG画像を示すCG画像信号を、随時、画像合成装置110に入力する。
【0021】
この画像合成装置110は、ハイビジョンCCDカメラ102から入力された実際の被写体のハイビジョン信号に、リアルタイムCG作成装置109から得られたCG画像信号を、縮尺を調整してスーパーインポーズする。このようなCG画像信号のスーパーインポーズがなされたハイビジョン信号が示す画像においては、実際に撮影して得られた画像中で、患部の形状,大きさ及び位置が、ワイヤフレーム等のCG画像として示されている。このスーパーインポーズのなされたハイビジョン信号は、分配器111によって、主術者D用の立体視ビューワ113,その他の手術スタッフ用又は遠隔地に居るアドバイザ用のモニタ114,及び、録画装置115へ、夫々供給される。
【0022】
立体視ビューワ113は、第2スタンド112のフリーアーム112aの先端から垂下して取り付けられている。従って、主術者Dが処置を施し易い姿勢に合わせて、立体視ビューワ113を配置することが可能になっている。この立体視ビューワ113の概略構成を図3に示す。この図3に示されるように、立体視ビューワ113は、ハイビジョンサイズのLCDパネル120を、モニタとして内蔵している。このLCDパネル120に分配器からのハイビジョン信号による映像が表示された場合には、図4の平面図に示すように、LCDパネル120の左半分120bには、CCD116における左側撮像領域にて撮影された映像が表示され、右半分120aには、CCD116における右側撮影領域にて撮影された映像が表示される。
【0023】
これら左右の映像の境界線120cは、後述する視野絞り270,271の位置調整如何により、ずれたり傾むいたりする。立体視ビューワ113内の光路は、視野絞り270,271が正確に調整された際における境界線120cに対して垂直に設置された隔壁121により、左右に区分けされている。この隔壁121の両側には、夫々、LCDパネル120側から順番に、楔プリズム119及び接眼レンズ118が配置されている。この接眼レンズ118は、LCDパネル120に表示された映像の虚像を、観察眼Iの前方約1m(−1ディオプトリ)の位置に拡大して形成するレンズである。また、楔プリズム119は、観察眼Iの輻輳角が1m先に存在する物体を観察するのと等しい角度になるように光の進行方向を補正し、自然な立体観察を可能としている。
【0024】
このような立体視ビューワ113によって立体視される映像、又は、モニタ114に表示される映像においては、上述したように、予め各種撮影装置によって撮影された画像に基づいて検出されていた腫瘍等の患部の形状,大きさ及び位置を示すワイヤフレーム等のCGがスーパーインポーズされている。従って、これらを観察している主術者D又はその他の手術スタッフは、実際の映像中では識別が困難である患部を、容易に識別することができる。これにより、正確且つ迅速な処置が可能となる。
【0025】
(立体観察装置の構成)
次に、上述した立体視顕微鏡101(ハイビジョンCCDカメラ102を含む)の具体的な構成を、詳細に説明する。この立体視顕微鏡101は、図5の斜視図に示すように、ハイビジョンCCDカメラ102が取り付けられた背面が扁平であり、且つ、表面(背面の反対側面)の両側縁が面取りされた略角柱形状を有する。そして、その上面の中央に、開口が円形の凹部101aが形成されている。この凹部101aの中心には、ライトガイドファイババンドル105の先端が挿通固定された円筒部材であるガイドパイプ122が挿入される挿入口(図示略)が形成されている。なお、この挿入口の開口に取り付けられた円環状の部材(ファイバガイド挿入部)123は、挿入口に挿入されたガイドパイプ122を固定するチャックである。
【0026】
<光学構成>
次に、立体視顕微鏡101内の光学構成を、図6乃至図9を参照して説明する。図6は顕微鏡光学系の全体構成を示す斜視図、図7は側面図、図8は正面図、図9は平面図である。
【0027】
顕微鏡光学系は、図6に示すように、被写体の像を電子的に撮影する撮影光学系200と、ライトガイドファイババンドル105により光源装置106から導かれた照明光により被写体を照明する照明用光学系300とから構成されている。
【0028】
撮影光学系200は、前記のようにクローズアップ光学系210、及び左右一対のズーム光学系220,230から構成される対物光学系と、この対物光学系により形成された被写体の一次像をリレーして被写体の二次像を形成する左右一対のリレー光学系240,250と、これらのリレー光学系240,250からの被写体光を互いに近接させる光軸間距離縮小素子としての輻輳寄せプリズム260とを備えている。
【0029】
また、ズーム光学系220,230による一次像の形成位置には、視野絞り270,271がそれぞれ配置されており、リレー光学系240,250には光路を直角に偏向する光路偏向素子としてのペンタプリズム272,273がそれぞれ配置されている。
【0030】
このような構成により、CCDカメラ102内に配置されたCCD116上の隣接した2つの領域に、所定の視差を持つ左右の被写体像を形成することができる。なお、光学系の説明においては、「左右」はCCD116上に投影された際にその撮像面の長手方向に一致する方向、「上下」はCCD116上で左右方向に直交する方向とする。以下、各光学系の構成を順に説明する。
【0031】
クローズアップ光学系210は、図6、図7、図8に示すように、物体側から順に負の第1レンズ群211と正の第2レンズ群212とが配列して構成される。第2レンズ群212は、光軸方向に移動可能であり、その移動調整により異なる距離の被写体に対して焦点を合わせることができる。すなわち、クローズアップ光学系210は、被写体がその焦点位置に位置するよう調整され、被写体からの発散光をほぼ平行光に変換するコリメート機能を有する。
【0032】
クローズアップ光学系210の第1,第2レンズ群211,212は、光軸方向から見た平面形状がいずれもDカットされたほぼ半円形状であり、このカットされた部分に照明光学系300が配置されている。
【0033】
一対のズーム光学系220,230は、クローズアップ光学系210からの無限遠結像の被写体光を視野絞り270,271の位置にそれぞれ結像させる。
一方のズーム光学系220は、図6〜図8に示すように、クローズアップ光学系210側から順に、正、負、負、正のパワーをそれぞれ有する第1〜第4レンズ群221,222,223,224により構成され、第1,第4レンズ群221,224を固定し、第2,第3レンズ群222,223を光軸方向に移動させてズーミングを行う。主に第2レンズ群222の移動により倍率を変化させ、第3レンズ群223の移動により焦点位置を一定に保つ。
【0034】
他方のズーム光学系230も、上記のズーム光学系220と同一構成であり、第1〜第4レンズ群231,232,233,234から構成される。これらのズーム光学系220,230は、図示せぬ駆動機構により連動し、左右の画像の撮影倍率を同時に変化させることができる。
ズーム光学系220,230の光軸Ax2,Ax3は、クローズアップ光学系210の光軸Ax1に対して平行であり、かつ、図7に示すように、ズーム光学系220,230の光軸Ax2,Ax3を含む平面が、この平面と平行なクローズアップ光学系210のメリディオナル面に対し、Dカット部の反対側にΔだけ離れている。
【0035】
なお、クローズアップ光学系210の直径は、ズーム光学系220,230の最大有効径と照明光学系300の最大有効径とを内包する円の直径より大きく設定されている。上記のようにズーム光学系220,230の光軸Ax2,Ax3をクローズアップ光学系210のメリジオナル面から離れた位置に設定することにより、一対のズーム光学系220,230が占める2つの円形のスペースと、照明光学系300が占める円形のスペースとをクローズアップ光学系210が占める円形のスペース内に効率よく配置することができる。したがって、ズーム光学系220,230の瞳を大きく保ちつつ、Dカット部をも大きくできるため、照明光学系300をもクローズアップ光学系210の占める径内に収めることができ、全体をコンパクトにまとめることができる。
【0036】
また、上記のように対物光学系をクローズアップ光学系210と一対のズーム光学系220,230とに分けて構成することにより、長い作動距離(被写体からクローズアップ光学系210の最も被写体側の面までの距離)と高い変倍比を確保しつつ、調整機構や光学設計を単純化することができる。すなわち、クローズアップ光学系210を左右の画像で共用することにより、単一のレンズの移動により左右の画像のピントを同時に合わせることができるため、焦点調節用の機構を単純化することができる。また、クローズアップ光学系210は、被写体光を平行光にする機能のみを、各ズーム光学系220,230は、入射する平行光により一次像を変倍可能に形成する機能のみを実現すればよいため、それぞれの光学系の光学設計を単純化することができる。なお、4群タイプのズームレンズは、変倍比を大きく確保することができ、かつ、全長の変化がないため、実施形態のように複数の光学系の中間に設けられる変倍光学系として用いるのに望ましい。
【0037】
視野絞り270,271は、ズーム光学系220,230により形成される一次像の位置に配置されている。視野絞り270,271は、図6に示すように、外形が円形状で左右方向のそれぞれ内側に半円形の開口を有している。各視野絞り270,271は、この開口の直線状のエッジがCCD116上での左右画像の境界線に相当する方向に一致し、それより内側の光束のみを透過させるように配置されている。
【0038】
前述のように、実施形態の顕微鏡は、左右の二次像を単一のCCD116上の隣接領域に形成させるため、CCD116上での左右の画像の境界を明確にして画像の重なりを防ぐ必要がある。このため、一次像の位置に視野絞り270,271が配置されている。半円開口の直線エッジをいわゆるナイフエッジとして機能させ、それより内側の光束のみを透過させることにより、CCD116上での左右の画像の境界を明確にすることができる。
【0039】
なお、視野絞り270,271上に形成される一次像は、リレー光学系240,250により再結像されて二次像となり、かつ、一次像と二次像との間の光路で左右、上下共に偶数回反射されるため、一次像と二次像とでは上下、左右が反転する。したがって、一次像の位置で左右方向の外側を規定するナイフエッジは、二次像の位置では左右方向の内側、すなわち左右の画像の境界を規定することとなる。
【0040】
リレー光学系240,250は、上述のようにズーム光学系220,230により形成された一次像を再結像させる作用を持ち、いずれも3枚の正レンズ群により構成される。
一方のリレー光学系240は、図6及び図7に示すように、単一の正メニスカスレンズから構成される第1レンズ群241と、負、正の貼合わせで構成され、全体として正のパワーを持つ第2レンズ群242と、単一の両凸レンズから構成される第3レンズ群243とから構成されている。第1レンズ群241と第2レンズ群242との間には、光路を直角に偏向する光路偏向素子としてのペンタプリズム272が配置され、第2レンズ群242と第3レンズ群243との間には光量調節用の明るさ絞り244が設けられている。
【0041】
他方のリレー光学系250も、上記のリレー光学系240と同一構成であり、第1、第2、第3レンズ群251,252,253から構成され、第1レンズ群251と第2レンズ群252との間には、光路偏向素子としてのペンタプリズム273が配置され、第2レンズ群252と第3レンズ群253との間には明るさ絞り254が設けられている。
【0042】
視野絞り270,271を通過した発散光は、リレー光学系の第1レンズ群241,251及び第2レンズ群242,252により再びほぼ平行光に変換され、明るさ絞り244,254を通過した後、第3レンズ群243,253により再度結像して二次像を形成する。すなわち、リレー光学系の第1レンズ群241,251及び第2レンズ群242,252は、視野絞り270,271からの被写体光をほぼ平行光にするコリメートレンズ群を構成し、第3レンズ群243,253は、コリメートレンズ群からの被写体光を収束させる収束レンズ群としての機能を備えている。
【0043】
リレー光学系240,250中にペンタプリズム272,273を配置することにより、クローズアップ光学系210の光軸方向に沿った撮影光学系200の全長を短くすることができる。また、光路偏向素子としてミラーを用いると、角度ズレにより反射光の方向が大きくずれるが、ペンタプリズム272,273を用いることにより、直角に偏向された両光軸を含む面に対して垂直な軸回りに角度がずれた場合にも、反射方向を一定に保つことができる。
【0044】
なお、リレー光学系240,250は、その第2レンズ群242,252と第3レンズ群243,253が光軸方向、及び光軸に垂直な方向に調整自在である。これらの第2,第3レンズ群242,252,243,253を光軸方向に移動させて第1レンズ群241,251及び第2レンズ群242,252の合成焦点距離を変化させることにより、リレー光学系240,250全体の倍率(二次像の像高)を調整することができる。また、第3レンズ群243,253のみを光軸方向に移動させることにより、リレー光学系のバックフォーカスを変化させ、CCD116に対する焦点調節が可能となる。さらに、第2レンズ群242,252及び第3レンズ群243,253を一体にして光軸と垂直な方向に調整することにより、二次像の光軸に直交する面内での位置を調整することができる。このような調整のため、第2レンズ群242,252と第3レンズ群243,253とは一体の外鏡筒に保持され、第3レンズ群243,253は更にこの外鏡筒に対して光軸方向に移動可能な内鏡筒に保持されている。
【0045】
このように第2レンズ群242,252と第3レンズ群243,253とは調整のために移動するため、これらのレンズ群の間にペンタプリズム272,273を設けると調整機構が複雑化する。そこで、ペンタプリズム272,273は、視野絞り270,271と第2レンズ群242,252との間に設けることが望ましい。さらに、第1レンズ群241,251により被写体光の発散度合いが弱められるため、ペンタプリズムの有効径を小さくするためには、実施形態のようにペンタプリズム272,273を第1レンズ群241,251と第2レンズ群242,252との間に設けることが望ましい。
【0046】
リレー光学系240,250とCCDカメラ102との間に配置された輻輳寄せプリズム260は、それぞれのリレー光学系240,250からの被写体光の左右の間隔を狭める機能を有する。立体視による立体感を得るためには左右のズーム光学系220,230、リレー光学系240,250の間には所定の基線長が必要である。他方、CCD116上の隣接した領域に二次像を形成するためには光軸間の距離を基線長より小さくする必要がある。そこで、輻輳寄せプリズム260により、リレー光学系の光軸をそれぞれ内側にシフトさせることにより、所定の基線長を確保しつつ同一CCD上への結像を可能としている。
【0047】
輻輳寄せプリズム260は、図6及び図9に示すように、五角柱の左右対称な光軸シフトプリズム261,262を、0.1mm程度の隙間をあけて対向配置することによって構成されている。
光軸シフトプリズム261,262は、図9に示すように、互いに平行な入射端面と射出端面とを備え、かつ、内側と外側とに互いに平行な第1,第2反射面を備えている。また、これらの光軸シフトプリズム261,262は、入射、射出端面や反射面に対して垂直な方向で平面的に見ると、平行四辺形の鋭角の頂角の一方を射出端面に直交する線で切り取って形成された五角形状である。光軸間距離縮小素子としては、互いに平行な2つの反射面が必要となるが、これを上記のようにプリズムとして構成することにより、2つの反射面の相互の位置関係が固定され、平面ミラー2枚を用いるより調整が容易となる。
【0048】
リレー光学系240,250からの被写体光は、各光軸シフトプリズム261,262の入射端面から入射し、外側の反射面で反射されて左右方向で内側に向けられ、内側の反射面で再び入射時と同じ光軸方向に反射され、射出端面から射出してCCDカメラ102に入射する。この結果、左右の被写体光はその進行方向を変えずに左右の間隔のみが狭められ、同一のCCD116上に二次像を形成する。
【0049】
照明光学系300は、被写体に照明光を投影する機能を有し、図6及び図7に示すように、ライトガイドファイバーバンドル105から射出する発散光の発散度合いを調整する照明レンズ310と、照明範囲と撮影範囲とを一致させるための楔プリズム320とから構成されている。照明レンズ310の光軸Ax4は、図7に示すようにクローズアップ光学系210の光軸Ax1と平行であり、かつ、所定量偏心しているため、このままでは照明範囲の中心と撮影範囲の中心とが一致せず、照明光量が無駄になる。楔プリズム310を設けることにより、上記の不一致を解消でき、照明光量を有効に利用することができる。
【0050】
上記の撮影光学系200は、撮像素子を用いた立体視顕微鏡に特化して設計されており、ズーム光学系220,230は肉眼観察用双眼顕微鏡の対物光学系よりも倍率が低く設定され、その分リレー光学系240,250の結像倍率Mが、以下の条件、
−3<M<−1
を満たすよう設定されている。
【0051】
一般に、ズームレンズは焦点距離が長くなるほど、レンズ全長、レンズ径、重量が増大する。特に、顕微鏡に利用されるような高解像度のズームレンズでは、構成レンズ枚数も多いため、長焦点距離化による全長、重量の増加が顕著である。したがって、上記のようにズーム光学系220,230の焦点距離を短く設定することにより、立体視顕微鏡全体のサイズ、重量を小さくすることができる。
【0052】
以下に具体的な数値を例示して比較説明する。従来の双眼顕微鏡と撮影系光学アダプターとを組み合わせたシステムでは、双眼顕微鏡単独での使用も考慮し、ズーム光学系の倍率を設定しなければならない。他方、双眼顕微鏡側の倍率が充分高いため、アダプター側のリレー光学系は等倍結像系を用いれば足りる。例えば、F6/18〜180ミリの変倍比10倍のズーム光学系と等倍のリレー光学系を用いて2mm×2mmの領域に二次像を形成する場合、ズーム光学系、リレー光学系のサイズは以下の通りとなる。
ズーム光学系: 全長230mm、レンズ最大有効径58mm
リレー光学系: 全長222mm、レンズ最大有効径18mm
【0053】
これに対し、実施形態のシステムでは、例えばF4/12−120ミリの変倍比10倍のズーム光学系と、1.5倍の結像倍率のリレー光学系とで上記と同一の領域に二次像を形成する場合、ズーム光学系220,230の焦点距離範囲が2/3となるため、全長、レンズ径は単純計算で約2/3、体積、重量は約8/27となる。また、リレー光学系240,250も倍率が等倍から1.5倍となることにより、第1レンズ群241,251の焦点距離を2/3にすることができる。そこで、ズーム光学系220,230、リレー光学系240,250のサイズは以下の通りとなる。
ズーム光学系: 全長120mm、レンズ最大有効径30mm
リレー光学系: 全長199mm、レンズ最大有効径14mm
【0054】
なお、リレー光学系の結像倍率Mが−1以上になると、上述したズーム光学系の小型化の効果が得られなくなる。また、結像倍率Mが−3以下になると、一定の変倍範囲をカバーするためにはズーム光学系の広角端での焦点距離が短くなりすぎ、画角が過大となって収差の補正が困難となる。また、CCD面上での照度を一定値以上に保つためには、リレー光学系の拡大倍率に比例してズーム光学系、リレー光学系の第1レンズ群のFナンバーを小さくする必要があり、収差の補正が困難となる。
【0055】
次に、上記の実施形態にかかる立体視顕微鏡の撮影光学系200の具体的な実施例を4例説明する。
【0056】
【実施例1】
図10は、実施例1にかかる撮影光学系を展開して示すレンズ図である。実施例1の顕微鏡光学系の具体的な数値構成は表1に示されている。面番号1〜6はクローズアップ光学系210であり、面番号1〜3が第1レンズ群211、面番号4〜6が第2レンズ群212を示す。面番号7〜23はズーム光学系220であり、面番号7〜11が第1レンズ群221、面番号12〜14が第2レンズ群222、面番号15,16が第3レンズ群223、面番号17〜23が第4レンズ群を示す。面番号24〜32はリレー光学系240であり、面番号24,25が第1レンズ群241、面番号26,27がペンタプリズム272、面番号28〜30が第2レンズ群242、面番号31,32が第3レンズ群243を示す。面番号33,34は光軸シフトプリズム261、面番号35,36はCCDカメラ102内に配置された色分解プリズム280を示している。実施例1におけるリレー光学系240,250の結像倍率Mは、−1.5倍である。
【0057】
表中、rはレンズ各面の曲率半径(単位:mm)、dはレンズ厚またはレンズ間隔(単位:mm)、nは波長588nmにおける各レンズの屈折率、νdは各レンズのアッベ数である。
【0058】
【表1】

Figure 0003605315
Figure 0003605315
【0059】
【実施例2】
図11は、実施例2にかかる顕微鏡光学系を展開して示すレンズ図である。実施例2の顕微鏡光学系の具体的な数値構成は表2に示されている。面番号と各光学素子との対応は実施例1におけるのと同様である。実施例2におけるリレー光学系240,250の結像倍率Mは、−1.5倍である。
【0060】
【表2】
Figure 0003605315
Figure 0003605315
【0061】
【実施例3】
図12は、実施例3にかかる顕微鏡光学系を展開して示すレンズ図である。実施例3の顕微鏡光学系の具体的な数値構成は表3に示されている。面番号と各光学素子との対応は実施例1におけるのと同様である。実施例3におけるリレー光学系240,250の結像倍率Mは、−1.875倍である。
【0062】
【表3】
Figure 0003605315
Figure 0003605315
【0063】
【実施例4】
図13は、実施例4にかかる顕微鏡光学系を展開して示すレンズ図である。実施例4の顕微鏡光学系の具体的な数値構成は表4に示されている。面番号と各光学素子との対応は実施例1におけるのと同様である。実施例4におけるリレー光学系240,250の結像倍率Mは、−2.0倍である。
【0064】
【表4】
Figure 0003605315
Figure 0003605315
【0065】
【発明の効果】
以上に説明したように、本発明の立体視顕微鏡によると、対物光学系により形成された一次像をリレーするリレー光学系の結像倍率Mを、−3<M<−1の範囲に設定することにより、対物光学系に含まれるズーム光学系の可変焦点距離の上限及び下限を短くすることができ、レンズ枚数が多いズーム光学系のサイズ、重量を軽減し、顕微鏡の小型、軽量化を図ることができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態による立体視顕微鏡を組み込んだ手術支援システムの全体構成を示す概略図。
【図2】立体視顕微鏡内の光学構成の概略を示す光学構成図。
【図3】立体視ビューワの光学構成の概略を示す光学構成図。
【図4】LCDパネルの平面図。
【図5】立体視顕微鏡の外観斜視図。
【図6】顕微鏡光学系の全体構成を示す斜視図。
【図7】図6に示す顕微鏡光学系の側面図。
【図8】図6に示す顕微鏡光学系の正面図。
【図9】図6に示す顕微鏡光学系の平面図。
【図10】実施例1の撮影光学系を展開して示すレンズ図。
【図11】実施例2の撮影光学系を展開して示すレンズ図。
【図12】実施例3の撮影光学系を展開して示すレンズ図。
【図13】実施例4の撮影光学系を展開して示すレンズ図。
【符号の説明】
102 CCDカメラ
200 撮影光学系
210 クローズアップ光学系
220,230 ズーム光学系
240,250 リレー光学系
260 輻輳寄せプリズム
270,271 視野絞り
272,273 ペンタプリズム
300 照明光学系
310 照明レンズ
320 楔プリズム[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a stereoscopic microscope for magnifying and observing an observation target, and more particularly to a stereoscopic microscope of a type in which a microscope image is electrically photographed by an image sensor.
[0002]
[Prior art]
A stereoscopic microscope is used, for example, when treating fine tissue such as neurosurgery.
That is, it is difficult to visually discriminate the structural tissue of an organ composed of a fine tissue such as the brain, so that such an organ must be treated under a microscope. Moreover, since it is difficult to recognize the three-dimensional structure of the tissue with a monocular microscope, it is possible to perform an accurate treatment by observing the tissue three-dimensionally. Was used.
[0003]
However, conventional stereoscopic microscopes are designed so that the eyepiece of the microscope can be viewed directly with the naked eye, so that the main surgeon in charge of surgery (or an assistant in some cases) can see the microscope image, Others (eg, anesthesiologist, nurse, resident, advisor in a remote location) cannot view the same microscope image, so they can perform quick and accurate assignments or provide appropriate advice from a remote location. Can not do.
[0004]
Therefore, a method of outputting a microscope image as an electric signal using an image sensor has been conventionally proposed. According to this, the photographed images are displayed on a plurality of displays, and each of them is observed using the stereoscopic viewer, so that a plurality of persons can simultaneously stereoscopically view the microscope image. For example, Japanese Patent Laying-Open No. 7-104193 discloses a configuration in which a photographing system optical adapter is attached to a stage subsequent to an eyepiece of a binocular microscope and a microscope image is photographed by a high-vision camera. The imaging system optical adapter includes a relay optical system that relays subject light from an eyepiece to form an image on an image sensor, and a high-vision CCD as an image sensor.
[0005]
[Problems to be solved by the invention]
However, the stereoscopic microscope disclosed in the above publication has a configuration in which a binocular microscope for macroscopic observation is used and an adapter is added thereto, so that the observation optical system can obtain a sufficient magnification during macroscopic observation. Designed, there is a problem that the size of the entire system including the binocular microscope and the adapter increases due to an increase in the size of the optical system.
[0006]
The present invention has been made in view of the above-described problems of the related art, and the problem is not to divert a binocular microscope for macroscopic observation but to specialize as a stereoscopic microscope using an imaging element. Accordingly, an object of the present invention is to provide a stereoscopic microscope capable of reducing the size of the optical system of the entire system.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the stereoscopic microscope of the present invention has a single optical axis, a close-up optical system arranged opposite to a subject, and a close-up optical system, respectively. It has a parallel optical axis and is formed by a pair of zoom optical systems capable of zooming to form a primary image of a subject at a certain position by subject light passing through different places in the close-up optical system, and a zoom optical system. A pair of field stops that are respectively arranged at the positions of the primary images and define the edges of the primary image, a pair of relay optical systems that relay the primary image to form a secondary image of the subject, and a pair of secondary images. An imaging element for photographing, and an image forming magnification M of each relay optical system. R However, the following conditions,
-3 <M R <-1
Is satisfied.
[0008]
According to the above configuration, the subject light enters via the close-up optical system, and a pair of primary images having a predetermined parallax is formed at the position of the field stop by the pair of zoom optical systems. The close-up optical system is adjusted so that the subject is located at the focal position, and has a collimating function of converting divergent light from the subject into substantially parallel light. The primary image is relayed by a pair of relay optical systems to form a pair of secondary images on the imaging surface. The photographed image is displayed on a display device such as a liquid crystal display or a CRT. By observing the image with both eyes using a stereoscopic viewer, the subject can be enlarged and observed by stereoscopic vision.
[0009]
When capturing a color image, for example, a single color CCD may be provided as an image sensor, or a CCD may be provided for each color component via a color separation optical system.
[0010]
In the case where an inter-optical axis distance reducing element that brings the subject light from the relay optical system close to each other is provided between the relay optical system and the imaging element, the imaging element is formed in an adjacent area of a single imaging surface. A secondary image can be taken.
[0011]
Further, the relay optical system includes first, second, and third lens groups each having a positive power in order from the field stop side, and the divergent light transmitted through the field stop by the first and second lens groups is substantially reduced. It is desirable that the light be parallel and converged by the third lens group.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0013]
The stereoscopic microscope according to the embodiment described below is used, for example, by incorporating it into a surgery support system used in neurosurgery. This surgery support system combines a stereoscopic image (stereo image) obtained by video-taking a tissue of a patient with a stereoscopic microscope with a CG (computer graphic) image created based on data of an affected part obtained in advance. Then, the system displays the image on a stereoscopic viewer dedicated to the main operator, a monitor for other staff, or the like, and records the image on a recording device.
[0014]
(Overall configuration of the surgery support system)
FIG. 1 is a system configuration diagram showing an outline of this surgery support system. As shown in FIG. 1, the surgery support system includes a stereoscopic microscope 101, a high-vision CCD camera 102 attached near the upper end of the back of the stereoscopic microscope 101, and a microscope position measurement also attached near the lower end. A device 103, a counterweight 104 attached to the upper surface of the stereoscopic microscope 101, a light guide fiber 105 penetrating through a through hole formed in the counterweight 104 and conducting to the inside of the stereoscopic microscope 101; A light source device 106 for introducing illumination light to the stereoscopic microscope 101 through a light guide fiber 105, a surgical planning computer 108 having a disk device 107, and real-time CG creation connected to the microscope position measuring device 103 and the surgical planning computer 108 The device 109 and this real An image synthesizing device 110 connected to the im CG creating device 109 and the high-vision CCD camera 102, a distributor 111 connected to the image synthesizing device 110, a recording device 115, a monitor 114, and a stereoscopic device connected to the distributor 111. It comprises a visual viewer 113 and the like.
[0015]
The above-mentioned disk device 107 stores images (CT scan images, MRI images, SPECT images, angiographic images, etc.) obtained by previously imaging the affected part of the patient P with various imaging devices, and the like. In addition, three-dimensional data of the diseased part and the surrounding tissue created in advance based on these various images are stored. Note that the three-dimensional data is based on three-dimensional local coordinates defined using a reference point (marking or the like) set at a specific part of the outer skin or internal tissue of the patient P as the origin and the shape and size of the affected part and surrounding tissue. And data specifying the position in a vector format or a map format.
[0016]
Further, the above-described stereoscopic microscope 101 is detachably fixed to the tip of the free arm 100a of the first stand 100 via a mount attached to the back surface. Accordingly, the stereoscopic microscope 101 is movable within a radius that the free arm 100a of the first stand 100 can reach, and can be oriented in any direction. However, here, for convenience, the direction of the subject with respect to the stereoscopic microscope 101 is defined as “down”, and the opposite direction is defined as “up”.
[0017]
The optical configuration in the stereoscopic microscope 101 will be described in detail later. The schematic configuration is described below. As shown in FIG. 2, the imaging optical system 200 has a large-diameter close-up having a single optical axis. An objective optical system including an optical system 210, a pair of left and right zoom optical systems 220 and 230 for forming a primary image of a subject by subject light transmitted through different portions of the close-up optical system 210, and zoom optical systems 220 and 230 A pair of left and right field stops 270, 271 arranged at the position of the primary image of the subject according to, and a pair of left and right relay optical systems 240, 250 for relaying the primary image. The subject light relayed by the relay optical systems 240 and 250 is introduced into the high-definition CCD camera 102, and the left and right imaging regions (vertical and horizontal directions) in the CCD 116 having an imaging surface of a high-definition size (vertical and horizontal aspect ratio = 9: 16). Each is re-imaged as a secondary image at an aspect ratio of 9: 8). In this optical system, the zoom optical system 220 and the relay optical system 240 constitute a right photographing optical system while the close-up optical system 210 is a common element, and the zoom optical system 230 and the relay optical system 250 constitute the left photographing optical system. And a pair of photographing optical systems arranged together with a predetermined baseline length therebetween.
[0018]
An image formed in each of the left and right imaging regions on the imaging surface of the CCD 116 by such a pair of imaging optical systems is equivalent to a stereo image in which images respectively taken from two locations separated by a predetermined base line length are arranged on the left and right. It is. The output signal of the CCD 116 is generated as a Hi-Vision signal by the image processor 117 and output from the Hi-Vision CCD camera 102 to the image synthesizing device 110. The stereoscopic microscope 101 incorporates an illumination optical system 300 (see FIG. 6) for illuminating a subject existing near the focus position of the close-up optical system 210. Then, illumination light is introduced into the illumination optical system 300 from the light source device 106 via the light guide fiber bundle 105.
[0019]
Returning to FIG. 1, the microscope position measuring device 103 attached to the stereoscopic microscope 101 has a distance to a subject existing on the optical axis of the close-up optical system 210 and a three-dimensional orientation of the optical axis of the close-up optical system 210. , The position of the reference point is measured, and the position of the subject in the local coordinates is calculated based on the measured information. Then, the information of the direction of the optical axis and the position of the subject is notified to the real-time CG creation device 109.
[0020]
The real-time CG creation device 109 determines the direction of the optical axis based on the information of the direction of the optical axis and the position of the subject notified from the microscope position measuring device 103 and the three-dimensional data downloaded from the surgical planning computer 108. A CG image (for example, a wire frame image) equivalent to a stereoscopic view of an affected part (for example, a tumor) is generated in real time. This CG image is generated as a stereoscopic image (stereo image) at the same base line length and the same subject distance as the optical system in the stereoscopic microscope 101. Then, the real-time CG creation device 109 inputs a CG image signal indicating the CG image generated in this way to the image synthesis device 110 as needed.
[0021]
The image synthesizing device 110 superimposes the CG image signal obtained from the real-time CG creating device 109 on the scale of the actual high-definition signal of the subject input from the high-vision CCD camera 102 by adjusting the scale. In an image indicated by a high-definition signal obtained by superimposing such a CG image signal, the shape, size, and position of the affected part in an image obtained by actually photographing are represented as a CG image such as a wire frame. It is shown. The superimposed Hi-Vision signal is transmitted by the distributor 111 to a stereoscopic viewer 113 for the operator D, a monitor 114 for other surgical staff or an advisor at a remote location, and a recording device 115. Supplied respectively.
[0022]
The stereoscopic viewer 113 is attached so as to hang down from the tip of the free arm 112 a of the second stand 112. Therefore, it is possible to arrange the stereoscopic viewer 113 according to a posture in which the main operator D can easily perform the treatment. FIG. 3 shows a schematic configuration of the stereoscopic viewer 113. As shown in FIG. 3, the stereoscopic viewer 113 has a built-in high-definition size LCD panel 120 as a monitor. When an image based on the HDTV signal from the distributor is displayed on the LCD panel 120, as shown in the plan view of FIG. 4, the left half 120 b of the LCD panel 120 is photographed in the left imaging area of the CCD 116. The right half 120a displays an image photographed in the right photographing area of the CCD 116.
[0023]
The boundary 120c between these left and right images shifts or tilts depending on the position of the field stops 270 and 271 described later. The optical path in the stereoscopic viewer 113 is divided into right and left by a partition wall 121 installed perpendicular to the boundary line 120c when the field stops 270 and 271 are accurately adjusted. On both sides of the partition 121, a wedge prism 119 and an eyepiece 118 are arranged in order from the LCD panel 120 side. The eyepiece 118 is a lens that enlarges and forms a virtual image of an image displayed on the LCD panel 120 at a position about 1 m (-1 diopter) in front of the observation eye I. The wedge prism 119 corrects the traveling direction of light so that the convergence angle of the observation eye I is equal to the angle at which an object existing 1 m ahead is observed, thereby enabling natural stereoscopic observation.
[0024]
As described above, in an image stereoscopically viewed by the stereoscopic viewer 113 or an image displayed on the monitor 114, as described above, a tumor or the like detected based on an image previously captured by various imaging devices is used. A CG such as a wire frame indicating the shape, size and position of the affected part is superimposed. Therefore, the main operator D or other surgical staff observing them can easily identify the affected part that is difficult to identify in the actual video. This enables accurate and quick treatment.
[0025]
(Configuration of stereoscopic observation device)
Next, a specific configuration of the above-described stereoscopic microscope 101 (including the high-vision CCD camera 102) will be described in detail. As shown in the perspective view of FIG. 5, the stereoscopic microscope 101 has a substantially prismatic shape with a flat back surface to which the high-definition CCD camera 102 is attached and chamfered on both sides of the front surface (opposite the back surface). Having. At the center of the upper surface, a concave portion 101a having a circular opening is formed. At the center of the concave portion 101a, an insertion opening (not shown) for inserting a guide pipe 122, which is a cylindrical member into which the tip of the light guide fiber bundle 105 is inserted and fixed, is formed. The annular member (fiber guide insertion portion) 123 attached to the opening of the insertion port is a chuck for fixing the guide pipe 122 inserted into the insertion port.
[0026]
<Optical configuration>
Next, an optical configuration in the stereoscopic microscope 101 will be described with reference to FIGS. 6 is a perspective view showing the entire configuration of the microscope optical system, FIG. 7 is a side view, FIG. 8 is a front view, and FIG. 9 is a plan view.
[0027]
As shown in FIG. 6, the microscope optical system includes a photographing optical system 200 for electronically photographing an image of a subject, and an illumination optical system for illuminating the subject with illumination light guided from a light source device 106 by a light guide fiber bundle 105. And a system 300.
[0028]
The photographing optical system 200 relays an objective optical system including the close-up optical system 210 and the pair of left and right zoom optical systems 220 and 230 as described above, and a primary image of a subject formed by the objective optical system. And a pair of left and right relay optical systems 240 and 250 for forming a secondary image of the subject, and a converging prism 260 as an optical axis distance reducing element for bringing subject light from these relay optical systems 240 and 250 close to each other. Have.
[0029]
Field stops 270 and 271 are arranged at positions where the primary optical images are formed by the zoom optical systems 220 and 230, respectively. A pentaprism as an optical path deflecting element that deflects the optical path at right angles is provided in the relay optical systems 240 and 250. 272, 273 are arranged respectively.
[0030]
With such a configuration, left and right object images having a predetermined parallax can be formed in two adjacent areas on the CCD 116 arranged in the CCD camera 102. In the description of the optical system, "left and right" are directions that match the longitudinal direction of the imaging surface when projected on the CCD 116, and "up and down" are directions that are orthogonal to the left and right directions on the CCD 116. Hereinafter, the configuration of each optical system will be described in order.
[0031]
As shown in FIGS. 6, 7, and 8, the close-up optical system 210 includes a negative first lens group 211 and a positive second lens group 212 arranged in order from the object side. The second lens group 212 is movable in the optical axis direction, and can adjust the movement to focus on objects at different distances. That is, the close-up optical system 210 is adjusted so that the subject is located at the focal position, and has a collimating function of converting divergent light from the subject into substantially parallel light.
[0032]
Each of the first and second lens groups 211 and 212 of the close-up optical system 210 has a substantially semicircular shape whose D-cut planar shape is viewed from the optical axis direction. Is arranged.
[0033]
The pair of zoom optical systems 220 and 230 focus the subject light from the close-up optical system 210 at infinity at the positions of the field stops 270 and 271, respectively.
As shown in FIGS. 6 to 8, one zoom optical system 220 includes first to fourth lens groups 221 and 222 having positive, negative, negative, and positive powers, respectively, from the close-up optical system 210 side. The first and fourth lens groups 221 and 224 are fixed, and zooming is performed by moving the second and third lens groups 222 and 223 in the optical axis direction. The magnification is changed mainly by moving the second lens group 222, and the focal position is kept constant by moving the third lens group 223.
[0034]
The other zoom optical system 230 has the same configuration as the above-described zoom optical system 220, and includes the first to fourth lens groups 231, 232, 233, and 234. These zoom optical systems 220 and 230 are linked by a drive mechanism (not shown), and can simultaneously change the photographing magnification of the left and right images.
The optical axes Ax2 and Ax3 of the zoom optical systems 220 and 230 are parallel to the optical axis Ax1 of the close-up optical system 210, and as shown in FIG. The plane including Ax3 is separated from the meridional plane of the close-up optical system 210 parallel to this plane by Δ on the opposite side of the D cut portion.
[0035]
The diameter of the close-up optical system 210 is set to be larger than the diameter of a circle containing the maximum effective diameter of the zoom optical systems 220 and 230 and the maximum effective diameter of the illumination optical system 300. By setting the optical axes Ax2 and Ax3 of the zoom optical systems 220 and 230 at positions away from the meridional surface of the close-up optical system 210 as described above, two circular spaces occupied by the pair of zoom optical systems 220 and 230. And the circular space occupied by the illumination optical system 300 can be efficiently arranged in the circular space occupied by the close-up optical system 210. Therefore, the D-cut portion can be enlarged while keeping the pupils of the zoom optical systems 220 and 230 large, so that the illumination optical system 300 can also be a close-up optical system. 210 Can be accommodated within the diameter occupied by, and the whole can be compactly assembled.
[0036]
Further, as described above, the objective optical system is divided into the close-up optical system 210 and the pair of zoom optical systems 220 and 230, so that a long working distance (the surface of the close-up optical system 210 closest to the subject from the subject to the close-up optical system 210) is obtained. ) And a high zoom ratio, and the adjustment mechanism and optical design can be simplified. That is, by sharing the close-up optical system 210 for the left and right images, the focus of the left and right images can be simultaneously adjusted by moving a single lens, so that the mechanism for focus adjustment can be simplified. In addition, the close-up optical system 210 only needs to realize the function of converting the subject light into parallel light, and the zoom optical systems 220 and 230 only need to realize the function of forming the primary image so that the primary image can be zoomed by the incident parallel light. Therefore, the optical design of each optical system can be simplified. Note that the four-group type zoom lens can secure a large zoom ratio and does not change the overall length, and therefore is used as a zoom optical system provided in the middle of a plurality of optical systems as in the embodiment. Desirable for.
[0037]
The field stops 270 and 271 are arranged at positions of primary images formed by the zoom optical systems 220 and 230. As shown in FIG. 6, the field stops 270 and 271 have a circular outer shape and have semicircular openings on the inside in the left and right directions, respectively. Each of the field stops 270 and 271 is arranged such that the straight edge of the opening coincides with the direction corresponding to the boundary between the left and right images on the CCD 116, and transmits only light beams inside the boundary.
[0038]
As described above, in the microscope of the embodiment, since the left and right secondary images are formed in adjacent regions on the single CCD 116, it is necessary to clarify the boundary between the left and right images on the CCD 116 and prevent the images from overlapping. is there. For this reason, field stops 270 and 271 are arranged at the position of the primary image. By making the straight edge of the semicircular aperture function as a so-called knife edge and transmitting only the light beam inside the edge, the boundary between the left and right images on the CCD 116 can be clarified.
[0039]
The field stop 270,271 The primary image formed thereon is re-imaged by the relay optical systems 240 and 250 to become a secondary image, and is reflected an even number of times in the optical path between the primary image and the secondary image both left and right and up and down. The top and bottom and the left and right are inverted between the primary image and the secondary image. Therefore, the knife edge that defines the outside in the left-right direction at the position of the primary image defines the inside in the left-right direction at the position of the secondary image, that is, the boundary between the left and right images.
[0040]
The relay optical systems 240 and 250 have the function of re-imaging the primary image formed by the zoom optical systems 220 and 230 as described above, and each is constituted by three positive lens groups.
As shown in FIGS. 6 and 7, one relay optical system 240 is composed of a first lens group 241 composed of a single positive meniscus lens, and a negative / positive cemented lens. And a third lens group 243 composed of a single biconvex lens. A pentaprism 272 as an optical path deflecting element that deflects the optical path at right angles is disposed between the first lens group 241 and the second lens group 242, and between the second lens group 242 and the third lens group 243. Is provided with a brightness stop 244 for adjusting the amount of light.
[0041]
The other relay optical system 250 also has the same configuration as the above-described relay optical system 240, and includes first, second, and third lens groups 251, 252, and 253, and includes a first lens group 251 and a second lens group 252. A pentaprism 273 as an optical path deflecting element is disposed between the second lens group 252 and the third lens group 253, and a brightness stop 254 is provided between the second lens group 252 and the third lens group 253.
[0042]
The divergent light that has passed through the field stops 270 and 271 is again converted into substantially parallel light by the first lens group 241, 251 and the second lens group 242, 252 of the relay optical system, and after passing through the brightness stop 244, 254. The image is formed again by the third lens groups 243 and 253 to form a secondary image. That is, the first lens groups 241 and 251 and the second lens groups 242 and 252 of the relay optical system constitute a collimating lens group that makes the subject light from the field stops 270 and 271 almost parallel light, and the third lens group 243. , 253 have a function as a converging lens group for converging subject light from the collimating lens group.
[0043]
By disposing the pentaprisms 272 and 273 in the relay optical systems 240 and 250, the overall length of the photographing optical system 200 along the optical axis direction of the close-up optical system 210 can be shortened. When a mirror is used as the optical path deflecting element, the direction of the reflected light is largely deviated due to an angular deviation. However, by using the pentaprisms 272 and 273, an axis perpendicular to a plane including both optical axes deflected at right angles is obtained. Even when the angle is deviated around, the reflection direction can be kept constant.
[0044]
In the relay optical systems 240 and 250, the second lens groups 242 and 252 and the third lens groups 243 and 253 can be adjusted in the optical axis direction and in the direction perpendicular to the optical axis. By moving these second and third lens groups 242, 252, 243, 253 in the optical axis direction to change the combined focal length of the first lens groups 241, 251 and the second lens groups 242, 252, the relay The magnification (the image height of the secondary image) of the entire optical systems 240 and 250 can be adjusted. Further, by moving only the third lens groups 243 and 253 in the optical axis direction, the back focus of the relay optical system is changed, and the focus of the CCD 116 can be adjusted. Further, by adjusting the second lens group 242, 252 and the third lens group 243, 253 integrally in the direction perpendicular to the optical axis, the position of the secondary image in the plane orthogonal to the optical axis is adjusted. be able to. For such adjustment, the second lens group 242, 252 and the third lens group 243, 253 are held by an integral outer lens barrel, and the third lens group 243, 253 further illuminates the outer lens barrel. It is held by an inner barrel that can move in the axial direction.
[0045]
As described above, since the second lens groups 242 and 252 and the third lens groups 243 and 253 move for adjustment, providing the pentaprisms 272 and 273 between these lens groups complicates the adjustment mechanism. Therefore, it is desirable to provide the pentaprisms 272 and 273 between the field stops 270 and 271 and the second lens groups 242 and 252. Furthermore, since the degree of divergence of the subject light is weakened by the first lens groups 241 and 251, in order to reduce the effective diameter of the pentaprism, the pentaprisms 272 and 273 are connected to the first lens groups 241 and 251 as in the embodiment. It is desirable to provide between the second lens groups 242 and 252.
[0046]
The convergence shifting prism 260 disposed between the relay optical systems 240 and 250 and the CCD camera 102 has a function of narrowing the left and right intervals of subject light from the respective relay optical systems 240 and 250. In order to obtain a stereoscopic effect by stereoscopic vision, a predetermined base line length is required between the left and right zoom optical systems 220 and 230 and the relay optical systems 240 and 250. On the other hand, in order to form a secondary image in an adjacent area on the CCD 116, the distance between the optical axes needs to be smaller than the base length. Therefore, the convergence shifting prism 260 shifts the optical axes of the relay optical systems to the inside, respectively, so that an image can be formed on the same CCD while securing a predetermined base line length.
[0047]
As shown in FIGS. 6 and 9, the convergence shift prism 260 is configured by arranging pentagonal symmetrical optical axis shift prisms 261 and 262 facing each other with a gap of about 0.1 mm.
As shown in FIG. 9, the optical axis shift prisms 261 and 262 have an incident end face and an exit end face that are parallel to each other, and have first and second reflective surfaces that are parallel to each other inside and outside. In addition, when viewed in a plane perpendicular to the entrance and exit end faces and the reflection surface, these optical axis shift prisms 261 and 262 form one of the acute apex angles of the parallelogram as a line perpendicular to the exit end face. It is a pentagonal shape formed by cutting out with. As the inter-optical axis distance reducing element, two reflecting surfaces parallel to each other are required. By configuring this as a prism as described above, the mutual positional relationship between the two reflecting surfaces is fixed, and the plane mirror is used. Adjustment is easier than using two sheets.
[0048]
The subject light from the relay optical systems 240 and 250 enters from the incident end faces of the optical axis shift prisms 261 and 262, is reflected by the outer reflecting surface, is directed inward in the left-right direction, and is incident again on the inner reflecting surface. The light is reflected in the same optical axis direction as that at the time, exits from the exit end face, and enters the CCD camera 102. As a result, the left and right object lights are narrowed only in the left and right intervals without changing their traveling directions, and a secondary image is formed on the same CCD 116.
[0049]
The illumination optical system 300 has a function of projecting illumination light onto a subject, and as shown in FIGS. 6 and 7, an illumination lens 310 for adjusting the degree of divergence of divergent light emitted from the light guide fiber bundle 105; And a wedge prism 320 for matching the range with the photographing range. The optical axis Ax4 of the illumination lens 310 is parallel to the optical axis Ax1 of the close-up optical system 210 and is decentered by a predetermined amount as shown in FIG. Do not match, and the amount of illumination light is wasted. By providing the wedge prism 310, the above mismatch can be eliminated, and the amount of illumination light can be used effectively.
[0050]
The above-described photographing optical system 200 is designed specifically for a stereoscopic microscope using an image sensor, and the zoom optical systems 220 and 230 are set to have a lower magnification than the objective optical system of the binocular microscope for visual observation. Imaging magnification M of minute relay optical systems 240 and 250 R However, the following conditions,
-3 <M R <-1
Is set to satisfy.
[0051]
In general, as the focal length of a zoom lens increases, the overall lens length, the lens diameter, and the weight increase. In particular, in a high-resolution zoom lens used for a microscope, the number of constituent lenses is large, so that the total focal length and the weight are significantly increased by increasing the focal length. Therefore, by setting the focal lengths of the zoom optical systems 220 and 230 to be short as described above, the size and weight of the entire stereoscopic microscope can be reduced.
[0052]
The comparison will be described below using specific numerical values as examples. In a system in which a conventional binocular microscope and an imaging system optical adapter are combined, the magnification of the zoom optical system must be set in consideration of the use of the binocular microscope alone. On the other hand, since the magnification on the binocular microscope side is sufficiently high, it is sufficient to use the same magnification imaging system as the relay optical system on the adapter side. For example, when a secondary image is formed in an area of 2 mm × 2 mm using a zoom optical system of F6 / 18 to 180 mm with a magnification ratio of 10 and a relay optical system of the same magnification, the zoom optical system and the relay optical system The size is as follows.
Zoom optical system: Total length 230mm, lens maximum effective diameter 58mm
Relay optical system: total length 222 mm, maximum lens effective diameter 18 mm
[0053]
On the other hand, in the system of the embodiment, for example, a zoom optical system having a zoom ratio of 10 times of F4 / 12-120 mm and a relay optical system having an image forming magnification of 1.5 times are arranged in the same area as above. When the next image is formed, since the focal length range of the zoom optical systems 220 and 230 is 2/3, the total length and the lens diameter are about 2/3 by simple calculation, and the volume and weight are about 8/27. Also, the magnification of the relay optical systems 240 and 250 is increased from the same magnification to 1.5 times, so that the focal length of the first lens groups 241 and 251 can be reduced to 2/3. Therefore, the sizes of the zoom optical systems 220 and 230 and the relay optical systems 240 and 250 are as follows.
Zoom optical system: Total length 120 mm, lens maximum effective diameter 30 mm
Relay optical system: total length 199mm, maximum lens effective diameter 14mm
[0054]
Note that the imaging magnification M of the relay optical system R When -1 or more, the effect of miniaturizing the zoom optical system described above cannot be obtained. Further, the imaging magnification M R When -3 or less, the focal length at the wide-angle end of the zoom optical system becomes too short to cover a fixed zoom range, and the angle of view becomes excessively large, making it difficult to correct aberrations. Also, in order to maintain the illuminance on the CCD surface at or above a certain value, it is necessary to reduce the F number of the first lens group of the zoom optical system and the relay optical system in proportion to the magnification of the relay optical system, It becomes difficult to correct aberration.
[0055]
Next, four specific examples of the imaging optical system 200 of the stereoscopic microscope according to the above embodiment will be described.
[0056]
Embodiment 1
FIG. 10 is a lens diagram showing the imaging optical system according to the first embodiment in a developed manner. Table 1 shows specific numerical configurations of the microscope optical system according to the first embodiment. The surface numbers 1 to 6 indicate the close-up optical system 210, the surface numbers 1 to 3 indicate the first lens group 211, and the surface numbers 4 to 6 indicate the second lens group 212. The surface numbers 7 to 23 are the zoom optical system 220, the surface numbers 7 to 11 are the first lens group 221, the surface numbers 12 to 14 are the second lens group 222, the surface numbers 15 and 16 are the third lens group 223, Numbers 17 to 23 indicate the fourth lens group. The surface numbers 24 to 32 are the relay optical system 240, the surface numbers 24 and 25 are the first lens group 241, the surface numbers 26 and 27 are the pentaprism 272, the surface numbers 28 to 30 are the second lens group 242, and the surface number 31. , 32 indicate the third lens group 243. Surface numbers 33 and 34 indicate an optical axis shift prism 261, and surface numbers 35 and 36 indicate a color separation prism 280 arranged in the CCD camera 102. Image magnification M of relay optical systems 240 and 250 in the first embodiment R Is -1.5 times.
[0057]
In the table, r is the radius of curvature (unit: mm) of each lens surface, d is the lens thickness or lens interval (unit: mm), n is the refractive index of each lens at a wavelength of 588 nm, and νd is the Abbe number of each lens. .
[0058]
[Table 1]
Figure 0003605315
Figure 0003605315
[0059]
Embodiment 2
FIG. 11 is a lens diagram showing an expanded view of the microscope optical system according to the second embodiment. Table 2 shows specific numerical configurations of the microscope optical system according to the second embodiment. The correspondence between the surface number and each optical element is the same as in the first embodiment. Imaging magnification M of relay optical systems 240 and 250 in the second embodiment R Is -1.5 times.
[0060]
[Table 2]
Figure 0003605315
Figure 0003605315
[0061]
Embodiment 3
FIG. 12 is a lens diagram showing an expanded view of the microscope optical system according to the third embodiment. Table 3 shows specific numerical configurations of the microscope optical system according to the third embodiment. The correspondence between the surface number and each optical element is the same as in the first embodiment. Imaging magnification M of relay optical systems 240 and 250 in Embodiment 3. R Is -1.875 times.
[0062]
[Table 3]
Figure 0003605315
Figure 0003605315
[0063]
Embodiment 4
FIG. 13 is a lens diagram showing an expanded view of the microscope optical system according to the fourth embodiment. Table 4 shows specific numerical configurations of the microscope optical system according to the fourth embodiment. The correspondence between the surface number and each optical element is the same as in the first embodiment. Imaging magnification M of relay optical systems 240 and 250 in Embodiment 4. R Is -2.0 times.
[0064]
[Table 4]
Figure 0003605315
Figure 0003605315
[0065]
【The invention's effect】
As described above, according to the stereoscopic microscope of the present invention, the imaging magnification M of the relay optical system that relays the primary image formed by the objective optical system R And -3 <M R By setting the range to <-1, the upper and lower limits of the variable focal length of the zoom optical system included in the objective optical system can be shortened, and the size and weight of the zoom optical system having a large number of lenses can be reduced. The size and weight of the microscope can be reduced.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing the overall configuration of a surgery support system incorporating a stereoscopic microscope according to a first embodiment of the present invention.
FIG. 2 is an optical configuration diagram schematically showing an optical configuration in a stereoscopic microscope.
FIG. 3 is an optical configuration diagram schematically showing an optical configuration of a stereoscopic viewer.
FIG. 4 is a plan view of an LCD panel.
FIG. 5 is an external perspective view of a stereoscopic microscope.
FIG. 6 is a perspective view showing the entire configuration of a microscope optical system.
FIG. 7 is a side view of the microscope optical system shown in FIG. 6;
FIG. 8 is a front view of the microscope optical system shown in FIG. 6;
9 is a plan view of the microscope optical system shown in FIG.
FIG. 10 is a lens diagram showing the imaging optical system of Example 1 in a developed manner.
FIG. 11 is a lens diagram showing a developed imaging optical system according to a second embodiment.
FIG. 12 is a lens diagram showing a developing optical system according to a third embodiment in a developed manner.
FIG. 13 is a lens diagram showing the imaging optical system of Example 4 in a developed manner.
[Explanation of symbols]
102 CCD camera
200 shooting optical system
210 Close-up optical system
220, 230 zoom optical system
240, 250 relay optical system
260 Convergence Approach Prism
270,271 Field stop
272,273 Penta prism
300 illumination optical system
310 illumination lens
320 wedge prism

Claims (3)

単一の光軸を有し、被写体に対向して配置されたクローズアップ光学系と、
前記クローズアップ光学系の光軸に対してそれぞれ平行な光軸を有し、前記クローズアップ光学系における互いに異なる箇所を通過した被写体光により一定の位置に被写体の一次像を形成する変倍可能な一対のズーム光学系と、
前記ズーム光学系により形成される前記一次像の位置にそれぞれ配置され、該一次像のエッジを規定する一対の視野絞りと、
前記一次像をリレーして被写体の二次像を形成する一対のリレー光学系と、
一対の前記二次像を撮影する撮像素子とを備え、
前記各リレー光学系の結像倍率Mが、以下の条件、
−3<M<−1
を満たすことを特徴とする立体視顕微鏡。
A close-up optical system having a single optical axis and arranged opposite to the subject,
It has an optical axis that is parallel to the optical axis of the close-up optical system, and is variable in magnification to form a primary image of the subject at a certain position by subject light that has passed through different places in the close-up optical system. A pair of zoom optics,
A pair of field stops respectively arranged at positions of the primary image formed by the zoom optical system and defining edges of the primary image,
A pair of relay optical systems that relay the primary image to form a secondary image of the subject,
An image sensor that captures a pair of the secondary images,
The imaging magnification M R of the relay optical system, the following conditions,
-3 <M R <-1
A stereoscopic microscope characterized by satisfying the following.
前記リレー光学系と前記撮像素子との間に、前記リレー光学系からの被写体光を互いに近接させる光軸間距離縮小素子を備え、前記撮像素子は、単一の撮像面の隣接した領域に形成される前記二次像を撮影することを特徴とする請求項1に記載の立体視顕微鏡。An inter-optical axis distance reducing element that brings the subject light from the relay optical system closer to each other between the relay optical system and the image sensor, wherein the image sensor is formed in an adjacent area of a single imaging surface. The stereoscopic microscope according to claim 1, wherein the secondary image is captured. 前記リレー光学系は、前記視野絞り側から順に、いずれも正のパワーを持つ第1、第2、第3レンズ群を備え、該第1,第2レンズ群により前記視野絞りを透過した発散光をほぼ平行光とし、前記第3レンズ群により収束させることを特徴とする請求項1に記載の立体視顕微鏡。The relay optical system includes, in order from the field stop side, first, second, and third lens groups each having a positive power, and divergent light transmitted through the field stop by the first and second lens groups. 2. The stereoscopic microscope according to claim 1, wherein the light is substantially parallel light, and is converged by the third lens group.
JP15263699A 1999-05-31 1999-05-31 Stereoscopic microscope Expired - Fee Related JP3605315B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP15263699A JP3605315B2 (en) 1999-05-31 1999-05-31 Stereoscopic microscope
DE10027166A DE10027166B4 (en) 1999-05-31 2000-05-31 stereoscopic microscope
US09/584,943 US6396627B1 (en) 1999-05-31 2000-06-01 Stereoscopic microscope including zoom and relay optical systems
US10/008,941 US20020080481A1 (en) 1999-05-31 2001-11-08 Stereoscopic microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15263699A JP3605315B2 (en) 1999-05-31 1999-05-31 Stereoscopic microscope

Publications (2)

Publication Number Publication Date
JP2000338416A JP2000338416A (en) 2000-12-08
JP3605315B2 true JP3605315B2 (en) 2004-12-22

Family

ID=15544738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15263699A Expired - Fee Related JP3605315B2 (en) 1999-05-31 1999-05-31 Stereoscopic microscope

Country Status (1)

Country Link
JP (1) JP3605315B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101476820B1 (en) * 2014-04-07 2014-12-29 주식회사 썸텍 3D video microscope

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4632745B2 (en) * 2004-10-28 2011-02-16 オリンパス株式会社 Electronic image microscope
AU2011336647B2 (en) 2010-12-02 2015-02-12 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US10021351B2 (en) 2012-06-01 2018-07-10 Ultradent Products, Inc. Stereoscopic video imaging
JP2015220643A (en) * 2014-05-19 2015-12-07 株式会社東芝 Stereoscopic observation device
EP3620844B1 (en) * 2018-04-23 2023-07-26 Sony Group Corporation Eyepiece optical system, medical viewer, and medical viewer system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101476820B1 (en) * 2014-04-07 2014-12-29 주식회사 썸텍 3D video microscope

Also Published As

Publication number Publication date
JP2000338416A (en) 2000-12-08

Similar Documents

Publication Publication Date Title
US6396627B1 (en) Stereoscopic microscope including zoom and relay optical systems
US6266182B1 (en) Operating microscope
US8284482B2 (en) Stereoscopic microscope
US6473229B2 (en) Stereomicroscope
US6384968B1 (en) Microscope with illuminating optical system
JP3527659B2 (en) Stereo microscope
JP4721981B2 (en) Stereo microscope
JP3290467B2 (en) Binocular stereo microscope
JP3605315B2 (en) Stereoscopic microscope
JP2002090650A (en) Vibration-proof microscope
JP3619858B2 (en) Stereoscopic microscope
US20010055150A1 (en) Video-type stereoscopic microscope
JP3980672B2 (en) Stereoscopic endoscope with bent peeping direction
JP2001075011A (en) Stereoscopic microscope
JP4611490B2 (en) Video stereo microscope
JPS63167318A (en) Stereoscopic microscope
JP4611491B2 (en) Video stereo microscope
JP2001051204A (en) Microscope
JP3538365B2 (en) Video stereo microscope
JP2001066511A (en) Microscope
JP4295868B2 (en) Video stereo microscope
JP2000338413A (en) Stereoscopic view microscope
JP2004361962A (en) Microscope
JP3577107B2 (en) Stereo microscope
JPH105244A (en) Microscope for operation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20031224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081008

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081008

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101008

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101008

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees