JP2017079904A - 手術顕微鏡、画像処理装置、及び、画像処理方法 - Google Patents

Abstract

【課題】手術対象の部位の観察を容易にする。
【解決手段】手術顕微鏡は、赤外領域に感度を持つ画素を少なくとも有する受光部と、手術対象としての眼から反射されてくる光である眼の像光を受光部へ導く撮像光学系と、受光部により生成されたセンサ信号に基づく画像を提示する提示部とを備える。本技術は、例えば、眼の手術に用いる手術顕微鏡等に適用できる。
【選択図】図１

Description

本技術は、手術顕微鏡、画像処理装置、及び、画像処理方法に関し、特に、手術対象の部位の観察を容易にする手術顕微鏡、画像処理装置、及び、画像処理方法に関する。

角膜移植や白内障などの眼の手術を行うための手術用顕微鏡検査システムが開発されている。例えば、特許文献１に開示された手術用顕微鏡検査システムでは、対物レンズと接眼レンズとを備えた顕微鏡検査光学系を備え、手術対象となる眼を、接眼レンズを覗いて観察する方法、表示装置に表示された画像を介して観察する方法、頭部搭載型表示器に表示された画像を介して観察する方法、の３通りの方法で観察することが開示されている。

特許第５４０８５７４号公報

しかしながら、従来の手術用顕微鏡では、例えば、角膜混濁眼の白内障手術において、角膜の混濁によって角膜の内側にある虹彩や水晶体などがかすみ、手術対象の部位が見にくくなることがあった。

本技術は、このような状況に鑑みてなされたものであり、手術対象の部位の観察を容易にするものである。

本技術の第１の側面の手術顕微鏡は、赤外領域に感度を持つ画素を少なくとも有する受光部と、手術対象としての眼から反射されてくる光である眼の像光を前記受光部へ導く撮像光学系と、前記受光部により生成されたセンサ信号に基づく画像を提示する提示部とを備える。

本技術の第１の側面においては、受光部と、手術対象としての眼から反射されてくる光である眼の像光が、赤外領域に感度を持つ画素を少なくとも有する受光部へ導かれ、前記受光部により生成されたセンサ信号に基づく画像が提示される。

本技術の第２の側面の画像処理装置は、手術対象としての眼を、赤外領域に感度を持つ撮像部で撮像して得られた赤外光画像と、可視光領域に感度を持つ撮像部で撮像して得られた可視光画像とを取得し、前記赤外光画像と前記可視光画像とを混合処理して混合画像を生成する画像混合部を備える。

本技術の第２の側面の画像処理方法は、手術対象としての眼を、赤外領域に感度を持つ撮像部で撮像して得られた赤外光画像と、可視光領域に感度を持つ撮像部で撮像して得られた可視光画像とを取得し、前記赤外光画像と前記可視光画像とを混合処理して混合画像を生成するステップを含む。

本技術の第２の側面においては、手術対象としての眼を、赤外領域に感度を持つ撮像部で撮像して得られた赤外光画像と、可視光領域に感度を持つ撮像部で撮像して得られた可視光画像とが取得され、前記赤外光画像と前記可視光画像とを混合処理して混合画像が生成される。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の第１及び第２の側面によれば、手術対象の部位の観察を容易にすることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した手術システムの第１の実施の形態の構成例を示す図である。 手術顕微鏡の構成例を示すブロック図である。 撮像光学系と画像センサのさらに詳細な構成例を示す図である。 画像センサの構成例を説明する図である。 提示部の構成を示すブロック図である。 画像センサと提示部としての３Dディスプレイの解像度の例を示す図である。 画像処理部の詳細構成を示すブロック図である。 眼を正面から見たイメージ図である。 手術中の可視光画像のイメージ図である。 手術中の赤外光画像のイメージ図である。 混合画像の生成を説明する図である。 術部画像提示処理について説明するフローチャートである。 画像センサのその他の例を説明する図である。 画像センサのさらにその他の例を説明する図である。 画像処理部の構成例を示すブロック図である。 本技術を適用した手術システムの第２の実施の形態の構成例を示す図である。 第２の提示部の構成例を示すブロック図である。 第２の提示部が設けられる場合の筐体内の光学系の構成例を示す図である。 光学混合器１０２のその他の例を説明する図である。 光学混合器１０２のさらにその他の例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（接眼レンズを有しない構成例）
２．第２の実施の形態（接眼レンズを有する構成例）
３．コンピュータの構成例

＜１．第１の実施の形態＞
＜１．１ 手術システムの構成例＞
図１は、本技術を適用した手術システムの第１の実施の形態の構成例を示す図である。

図１に示される手術システム１１は、手術顕微鏡２１および患者用ベッド２２を有しており、患者は患者用ベッド２２に横たわった状態で眼の手術を受ける。術者である医師は、手術顕微鏡２１により患者の眼を観察しながら手術を行う。

手術顕微鏡２１は、筐体（本体）３１、画像処理部３２、及び提示部３３を有し、筐体３１には、手術対象となる患者の眼を拡大観察するための対物レンズ３４が設けられている。画像処理部３２は、例えば、専用の画像信号処理を行う画像処理装置や、所定のプログラムにより動作するコンピュータ等で構成される。提示部３３は、例えば、LCD等のディスプレイ等で構成され、対物レンズ３４を介して撮像された画像を表示する。

＜１．２ 手術顕微鏡のブロック図＞
図２は、手術顕微鏡２１の構成例を示すブロック図である。

手術顕微鏡２１は、上述したように、筐体３１、画像処理部３２、及び提示部３３を有する。筐体３１は、撮像光学系４１と画像センサ４２を有する。

撮像光学系４１は、手術対象である患者の眼から反射されて入射されてくる光（眼の像光）を画像センサ４２へ導く。画像センサ４２は、撮像光学系４１を介して入射される患者の眼の像光を受光する受光部であり、受光した光をセンサ信号（電気信号）に変換して、画像処理部３２に出力する。

画像処理部３２は、画像センサ４２から供給されるセンサ信号に基づく画像を提示部３３に供給する。また、画像処理部３２は、画像センサ４２から供給されるセンサ信号に基づいて、術者にとって術部が見やすくなるような所定の画像処理を行い、その結果得られた画像を提示部３３に供給する。提示部３３は、画像処理部３２から供給された画像を表示する。

＜１．３ 筐体内の構成例＞
図３は、撮像光学系４１と画像センサ４２のさらに詳細な構成例を示している。

眼５１から発せられる発散光５２は、対物レンズ３４によって、像側平行光束５３へと変換される。画像センサ４２は、左眼用の画像センサ４２Lと右眼用の画像センサ４２Rで構成される。一対のズーム系５４は、各系が対物レンズ３４の光軸５７に沿った方向にずらすことが可能なレンズ群５５A及び５５Bを備えており、像側平行光束５３から派生する２本の部分光束５８及び５９を、集光レンズ５６を介して画像センサ４２L及び４２Rへと入射させる。

画像センサ４２L及び４２Rのそれぞれは、例えば、CMOSセンサやCCD等の撮像素子で構成され、各画素には、図４に示されるような、R（赤）、G（緑）、B（青）、またはIR（赤外）のいずれかの波長の光を透過させるフィルタが配置されている。したがって、画像センサ４２L及び４２Rのそれぞれは、R（赤）、G（緑）、B（青）の波長領域に感度を持つ画素と、IR領域に感度を持つ画素とからなる撮像素子である。

＜１．４ 提示部の構成例＞
図５は、提示部３３の構成を示すブロック図である。

提示部３３は、立体視可能なステレオ画像を表示する３Dディスプレイで構成される。換言すれば、提示部３３は、左眼用の画像センサ４２Lと右眼用の画像センサ４２Rそれぞれで受光された光に対応した右眼画像と左眼画像を表示することにより、表示された画像を見た術者が立体感（奥行き感）を知覚することができる表示装置である。３Dディスプレイの方式には、例えば、偏光メガネやシャッタメガネを用いる方式や、メガネを用いず、フラットパネルディスプレイ上にレンチキュラーレンズやパララックスバリアを設ける方式などがあるが、その方式は限定されない。また、３Dディスプレイは、据え置き型ディスプレイではなく、術者の頭部に装着するタイプの３Dヘッドマウントディスプレイなどでもよい。

＜１．５ 解像度の例＞
図６は、画像センサ４２L及び４２R並びに提示部３３としての３Dディスプレイの解像度の例を示している。

画像センサ４２L及び４２R並びに提示部３３としての３Dディスプレイの解像度には、水平方向及び垂直方向の画素数が、例えば、図６に示されるような、１２８０×７２０のHD、１９２０×１０８０のフルHD、３８４０（４０９６）×２１６０の４Kなど、高解像度のものが用いられる。

手術システム１１では、手術顕微鏡２１が、撮像光学系４１で捉えた眼の像光をセンサ信号に変換し、提示部３３に画像として表示させる。術者は、提示部３３に表示された画像を見て手術を行うため、提示部３３に表示される画像には、光学顕微鏡と同等以上の解像力が必要となる。したがって、画像センサ４２や提示部３３（３Dディスプレイ）が、高い解像度を備えることにより、術者は、提示部３３に表示された画像のみを見て、手術を行うことが可能となる。

＜１．６ 画像処理部の構成例＞
図７は、画像処理部３２の詳細構成を示すブロック図である。

画像処理部３２は、画像構築部７１と画像混合部７２で構成される。

画像構築部７１は、画像センサ４２から供給されるセンサ信号を用いて、可視光画像と赤外光画像を生成する。より具体的には、画像構築部７１は、R,G,Bの画素の画素信号を用いてデモザイク処理を行うことにより、図６に示したいずれかの解像度を有する可視光画像を生成する。また、画像構築部７１は、IRの画素の画素信号を用いて、可視光画像と同一の解像度に補間する補間処理を行うことにより、赤外光画像を生成する。

画像混合部７２は、画像構築部７１により生成された可視光画像と赤外光画像を混合処理することで、例えば、角膜混濁眼の白内障手術において、術部をより見やすくした混合画像を生成し、その画像信号を提示部３３に供給する。

＜１．７ 画像処理部が行う処理の説明＞
図８乃至図１１を参照して、画像処理部３２が行う処理について説明する。

図８は、眼５１を正面から見たイメージ図である。

眼５１を正面から画像センサ４２で捉えた場合、角膜９１と、その内側に、瞳孔９２が確認できる。角膜９１や瞳孔９２の領域は、例えば、画像処理（画像認識）により識別することができる。

図９は、角膜混濁眼の白内障手術において、画像センサ４２のR,G,Bの画素の画素信号に基づいて生成された、手術中の可視光画像のイメージ図である。

角膜混濁眼の白内障手術では、可視光画像は、角膜９１の混濁により、角膜９１が、ぼやけた状態となる。図９は、図面の制約上、モノクロ画像（白黒画像）となっているが、実際の可視光画像は、カラー画像である。

図１０は、角膜混濁眼の白内障手術において、画像センサ４２のIRの画素の画素信号に基づいて生成された、手術中の赤外光画像のイメージ図である。図１０において、画像全体の灰色は、赤外光画像がモノクロ画像であることを表している。

赤外光画像は、可視光画像と異なり、モノクロ画像となるが、混濁している角膜９１の領域については、可視光画像と比較して混濁による散乱の影響を受けにくいため、コントラストが高く、ぼけの少ない画像となっている。

図１１は、画像混合部７２による混合画像の生成を説明する図である。

混合画像の角膜９１より外側の領域については、混濁の影響がないため、可視光画像の画素値が用いられる。一方、混合画像の角膜９１の領域については、混濁の影響が少なく、コントラストが高い赤外光画像の画素値が用いられる。ただし、赤外光画像の画素値そのままではモノクロとなってしまうため、画像混合部７２は、さらに、赤外光画像の画素値を採用した角膜９１の領域の画素値に対して、可視光画像の色差情報に基づいて、色情報を付加する。これにより、可視光画像と赤外光画像を混合した混合画像が完成する。

このようにして生成される混合画像は、図１１に示されるように、角膜９１の領域においてコントラストが向上され、かつ、術者にとって見慣れた色味の画像となる。したがって、術者にとって術部が見やすい画像となる。

＜１．８ 術部画像提示処理の処理フロー＞
図１２のフローチャートを参照して、手術顕微鏡２１による、術部の画像を提示する術部画像提示処理について説明する。

初めに、ステップＳ１において、画像センサ４２L及び４２Rのそれぞれは、撮像光学系４１を介して入射される、術部（患者の眼）からの光を受光し、センサ信号に変換して、画像処理部３２に出力する。

ステップＳ２において、画像構築部７１は、画像センサ４２から供給されるセンサ信号を用いて、可視光画像と赤外光画像を生成する。より具体的には、画像構築部７１は、R,G,Bの画素の画素信号を用いてデモザイク処理を行うことにより、可視光画像を生成する。また、画像構築部７１は、IRの画素の画素信号を用いて補間処理を行うことにより、赤外光画像を生成する。生成された可視光画像と赤外光画像は、画像混合部７２に供給される。可視光画像と赤外光画像は、図６に示したいずれかの解像度を有する高解像度の画像である。

ステップＳ３において、画像混合部７２は、画像構築部７１から供給された可視光画像から、角膜９１の範囲（以下、角膜範囲ともいう）を検出する。なお、可視光画像ではなく、赤外光画像から、角膜範囲を検出してもよい。

ステップＳ４において、画像混合部７２は、生成する混合画像の角膜範囲以外の領域の画素値として、可視光画像の対応画素の画素値を設定する。この画素値は輝度情報と色差情報とで構成され、ステップＳ４では、混合画像の角膜範囲以外の領域の輝度情報と色差情報として、可視光画像の対応画素の輝度情報と色差情報が採用される。ここで、可視光画像の対応画素とは、混合画像を構成する各画素に注目した場合に、その注目した画素の位置に対応する可視光画像の位置の画素をいう。赤外光画像の対応画素についても同様である。

ステップＳ５において、画像混合部７２は、混合画像の角膜範囲の領域の画素値の輝度情報として、赤外光画像の対応画素の輝度情報を設定する。

ステップＳ６において、画像混合部７２は、混合画像の角膜範囲の領域の画素値の色差情報として、可視光画像の対応画素の色差情報を補正した補正色差情報を設定する。ここで、補正色差情報は、可視光画像の対応画素の色差情報を、赤外光画像の輝度レベルに応じてレベル補正を行った色差情報であり、具体的には、例えば、補正色差情報＝（可視光画像の色差情報×（赤外光画像の輝度情報／可視光画像の輝度情報）で算出される。

ステップＳ７において、画像混合部７２は、ステップＳ４乃至Ｓ６の処理により生成された混合画像を提示部３３に出力する。提示部３３に出力される混合画像は、画像センサ４２L及び４２Rのそれぞれで生成された右眼用と左眼用の２種類のセンサ信号に対応して、右眼用と左眼用の２種類の混合画像となる。

ステップＳ８において、提示部３３は、画像混合部７２から供給された右眼用と左眼用の混合画像に基づく３D表示を行う。

以上の術部画像提示処理によれば、提示部３３に表示される混合画像は、図１１で説明したように、角膜９１以外の領域については可視光画像の画素値を用い、角膜９１の領域については、赤外光画像の輝度情報と、可視光画像に基づく色差情報とからなる画素値を用いたものとなる。これにより、角膜９１の領域について、コントラストが向上し、かつ、術者にとって見慣れた色味の画像を提示することができる。特に、角膜混濁眼により、可視光画像ではコントラストが低くなるような場合に、術部を見やすくした画像を提示することができる。

また、提示部３３は、混合画像を高解像度かつ３D表示によって提示するので、ディスプレイを見ながらの手術においても、光学顕微鏡で肉眼で術部を見る場合と同様の解像力及び立体感で術部を見ることができる。

＜１．９ 変形例＞
以下、上述した第１の実施の形態における各種の変形例について説明する。

＜画像センサの変形例＞
上述した第１の実施の形態では、画像センサ４２L及び４２Rのそれぞれは、図４に示したような、R、G、B、またはIRの波長の光を受光する各画素が繰り返し配列された単板式の撮像素子であるとした。

しかしながら、画像センサ４２L及び４２Rのそれぞれは、図１３に示されるように、R、G、またはBの波長の光を受光する画素をベイヤ配列等の所定の配列で配置した単板式の撮像素子と、IRの波長の光を受光する画素を水平垂直方向に繰り返し配置した単板式の撮像素子とで構成されるようにしてもよい。この場合、図３における２本の部分光束５８及び５９それぞれは、ハーフミラー等により、RGBの撮像素子への光と、IRの撮像素子への光に分配され、それぞれへ供給される。

あるいはまた、画像センサ４２L及び４２Rのそれぞれは、例えば、図１４に示されるように、R+IR、G+IR、または、B+IRの波長の光を受光する画素が、ベイヤ配列と同様の配列で配置された単板式の撮像素子で構成されるようにしてもよい。

ここで、R+IRの画素は、図１４の受光感度特性分布に示されるように、赤色と赤外光の波長領域に感度をもつ画素であり、G+IRの画素は、緑色と赤外光の波長領域に感度をもつ画素であり、B+IRの画素は、青色と赤外光の波長領域に感度をもつ画素である。赤外光の波長領域とは、例えば、波長が７８０nm以上の領域である。

画像センサ４２L及び４２Rとして、図１４に示した画像センサが採用される場合、可視光（例えば、７８０nm以下の波長の光）と、赤外光（例えば、７８０nmより大きい波長の光）が、時分割で切り替えられて、術部に照射される。そして、画像センサ４２L及び４２Rのそれぞれは、可視光が照射されたタイミングによるセンサ信号と、赤外光が照射されたタイミングによるセンサ信号を時分割で出力する。画像構築部７１では、可視光が照射されたタイミングによるセンサ信号から可視光画像が生成され、赤外光が照射されたタイミングによるセンサ信号から赤外光画像が生成される。

画像センサ４２L及び４２Rの構成は、上述したものに限定されず、その他の構成を採用してもよい。

＜可視光画像と赤外光画像の混合処理の変形例＞
次に、混合画像を生成する際の可視光画像と赤外光画像の混合処理の変形例について説明する。

上述した術部画像提示処理のステップＳ６では、角膜範囲の領域の画素値の色差情報として、可視光画像の対応画素の色差情報を、赤外光画像の輝度レベルに応じてレベル補正を行った色差情報が採用された。

その他、角膜範囲の領域の画素値の色差情報として、可視光画像の対応画素の色差情報をそのまま用いることもできる。あるいはまた、可視光画像の対応画素の色差情報をそのまま用いる場合と、可視光画像の対応画素の色差情報を可視光画像の赤外光画像の輝度レベルに応じてレベル補正を行った補正色差情報を用いる場合とを、例えば、赤外光画像の対応画素の輝度レベル等に応じて切り替えてもよい。

あるいはまた、角膜範囲の領域の画素値の色差情報を、０などの固定値として、角膜範囲の領域は無彩色としてもよい。

また、上述した術部画像提示処理では、画像混合部７２は、混合処理として、可視光画像の眼の角膜範囲を検出して、可視光画像の角膜範囲の画素情報を、赤外光画像の対応画素の画素情報を用いて置き換える処理を行った。しかし、画像混合部７２は、可視光画像の瞳孔９２の範囲を、赤外光画像の対応画素の画素情報を用いて置き換える処理を行ってもよい。また、可視光画像の画像全体を、赤外光画像の対応画素の画素情報を用いて置き換える処理を行ってもよい。即ち、可視光画像に対して、赤外光画像の画素情報を用いた画素値で置き換える処理を行う領域は、眼の角膜範囲に限定されず、任意に決定することができる。

＜赤外光画像のみを生成する例＞
画像処理部３２は、上述した可視光画像の眼の角膜範囲の画素情報を赤外光画像の画素情報を用いて置き換える処理を行うモードを、第１の動作モードとして実行し、画像センサ４２から供給されるセンサ信号を用いて赤外光画像のみを生成し、提示部３３に供給して表示させるモードを、第２の動作モードとして実行し、第１の動作モードと第２の動作モードを必要に応じて切り替えて動作させることができる。

あるいはまた、可視光画像が不要である場合には、画像処理部３２は、画像センサ４２から供給されるセンサ信号を用いて赤外光画像のみを生成する構成とすることもできる。この場合、画像センサ４２は、図４に示した、R、G、B、及びIRの画素からなる４画素が繰り返し配列された画素配列の画像センサでもよいし、図１３右側に示した、IRの画素のみからなる画像センサでもよい。また、赤外光画像のみを生成する構成とする場合には、画像処理部３２は、図１５に示されるように、画像混合部７２を省略した構成とすることができる。

以上の第１の実施の形態によれば、赤外光画像そのもの、または、赤外光画像の画素情報を用いた混合画像を、高い解像度でステレオ画像として、提示部３３において提示することができ、術者は、提示部３３で提示された画像のみを参照しながらの手術が可能となる。

＜２．第２の実施の形態＞
＜２．１ 手術システムの構成例＞
図１６は、本技術を適用した手術システムの第２の実施の形態の構成例を示す図である。

第２の実施の形態の説明では、上述した第１の実施の形態と異なる部分についてのみ説明する。

第２の実施の形態の手術システム１１は、筐体３１に、接眼レンズ３５がさらに設けられており、手術者は、提示部３３に表示された画像を見ながら手術を行う他、接眼レンズ３５を介して患者の眼を観察し、手術を行うこともできる。

第１の実施の形態の提示部３３を、第１の提示部３３Aとすると、第２の実施の形態において、接眼レンズ３５を介して手術者に術部を提示する部分は、第２の提示部３３Bであるということができる。

＜２．２ 第２の提示部の構成例＞
第２の提示部３３Bは、図１７に示されるように、接眼レンズ３５と、３Dディスプレイ１０１及び光学混合器１０２とで構成される。

３Dディスプレイ１０１は、画像センサ４２L及び４２Rから出力されたセンサ信号に基づいて画像処理部３２が生成した画像信号に基づく所定の画像を光学混合器１０２に出力する。３Dディスプレイ１０１が光学混合器１０２に出力する画像は、第１の実施の形態で説明した混合画像、赤外光画像、または、可視光画像のいずれでもよい。また、３Dディスプレイ１０１が光学混合器１０２に出力する画像は、動作モードや設定値の変更によって、適宜変更することができる。

光学混合器１０２は、３Dディスプレイ１０１から出力される所定の画像の光束と、撮像光学系４１から入射される患者の眼の像光の光束を光学的に混合する。光学混合器１０２で混合された光束からなる像が、接眼レンズ３５を介して、手術者の眼に供給される。

＜２．３ 筐体内の構成例＞
図１８は、第２の提示部３３Bが設けられる場合の筐体３１内の光学系の構成例を示す図である。

図１８において、第１の実施の形態における図３と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図１８に示されるように、接眼レンズ３５には、左眼用の接眼レンズ３５Lと右眼用の接眼レンズ３５Rがある。同様に、３Dディスプレイ１０１にも、左眼用の３Dディスプレイ１０１Lと右眼用の３Dディスプレイ１０１Rがある。

左眼と右眼に対応する２本の部分光束５８及び５９は、２つのハーフミラー１１１及び１１２を通って、それぞれ、接眼レンズ３５Lと接眼レンズ３５Rに入射される。

ハーフミラー１１１は、患者の眼の像光を、接眼レンズ３５と画像センサ４２へ分配する。ハーフミラー１１２は、３Dディスプレイ１０１から出力され、レンズ１１３を介して入射される所定の画像の光束を、接眼レンズ３５へと反射させる。ハーフミラー１１２は、図１７の光学混合器１０２に対応する。

３Dディスプレイ１０１から光学混合器１０２に出力される画像は、第１の実施の形態で説明した混合画像、赤外光画像、または可視光画像のいずれでもよいが、図１８に示される筐体３１の構成によれば、可視光による眼の像光は、撮像光学系４１を介して直接見ることができる。したがって、３Dディスプレイ１０１から出力する画像は、赤外光画像など、可視光画像とは異なる画像とする方が、より多くの術部の情報を、術者に提示することができる。

＜２．４ 光学混合器のその他の構成例＞
また例えば、図１９に示されるように、光学混合器１０２の一部として、ハーフミラー１１２の他に、可動式のシャッタ１２１を設けることにより、撮像光学系４１を介した眼の像光と３Dディスプレイ１０１からの赤外光画像の光束との混合光による像の提示と、３Dディスプレイ１０１からの赤外光画像のみの提示を、モード等により切り替えることが可能となる。

撮像光学系４１を介した眼の像光と３Dディスプレイ１０１からの赤外光画像の光束との混合光による像の提示が不要で、撮像光学系４１を介した眼の像光と、３Dディスプレイ１０１からの赤外光画像とを切り替えて術者に提示できればよい場合には、図２０に示されるように、ハーフミラー１１２に代えて、可動式のミラー１２２としてもよい。

上述した第２の実施の形態では、３Dディスプレイ等の第１の提示部３３Aと、３Dディスプレイ１０１から出力される所定の画像の光束と、撮像光学系４１から入射される患者の眼の像光との混合光による像を提示する第２の提示部３３Bとを備える構成としたが、第１の提示部３３Aを省略した構成としてもよい。

以上説明したように、本技術は、赤外光画像の画素情報を用いて混合画像を生成し、術者に提示するようにしたので、例えば、角膜の混濁によりコントラストの低い領域を、コントラストの高い画像に置き換えて提示することができる。これにより、術者は、手術対象の部位の観察が容易になる。

また、可視光画像の色差情報に基づいて色情報を付加した混合画像を生成した場合には、コントラスト向上に加えて、術者にとって見慣れた色味の画像となるため、より見やすくなる。

上述した説明では、本技術を、眼（眼科）の手術に用いられる手術システム１１に適用した実施の形態について説明したが、本技術は、眼科の他、脳神経外科の手術システムや、診断等を行う画像処理システムにも適用することができる。

＜３．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
赤外領域に感度を持つ画素を少なくとも有する受光部と、
手術対象としての眼から反射されてくる光である眼の像光を前記受光部へ導く撮像光学系と、
前記受光部により生成されたセンサ信号に基づく画像を提示する提示部と
を備える手術顕微鏡。
（２）
前記受光部は、前記赤外領域に感度を持つ画素のみからなる撮像素子で構成される
前記（１）に記載の手術顕微鏡。
（３）
前記受光部は、前記赤外領域に感度を持つ画素と、R、G、またはBの領域に感度を持つ画素とからなる撮像素子で構成される
前記（１）に記載の手術顕微鏡。
（４）
前記受光部は、前記赤外領域とRの領域に感度を持つ画素と、前記赤外領域とGの領域に感度を持つ画素と、または、前記赤外領域とBの領域に感度を持つ画素とからなる撮像素子で構成される
前記（１）に記載の手術顕微鏡。
（５）
前記受光部は、前記赤外領域に感度を持つ画素のみからなる撮像素子と、R、G、またはBの領域に感度を持つ画素からなる撮像素子とで構成される
前記（１）に記載の手術顕微鏡。
（６）
前記提示部は、水平方向の画素数が３８４０以上で、かつ、立体視可能な画像を表示するディスプレイで構成される
前記（１）乃至（５）のいずれかに記載の手術顕微鏡。
（７）
前記受光部により生成されたセンサ信号に基づく画像の混合処理を行う画像混合部をさらに備え、
前記受光部は、前記赤外領域に感度を持つ画素と、可視光領域に感度を持つ画素とを有し、前記赤外領域に感度を持つ画素から得られた第１のセンサ信号と、前記可視光領域に感度を持つ画素から得られた第２のセンサ信号とを生成し、
前記画像混合部は、前記第１のセンサ信号により生成された赤外光画像と、前記第２のセンサ信号により生成された可視光画像を混合処理し、混合画像を生成する
前記（１）乃至（６）のいずれかに記載の手術顕微鏡。
（８）
前記画像混合部は、前記可視光画像の一部の領域を、前記赤外光画像の画素情報を用いた画素値に置き換えた前記混合画像を生成する
前記（７）に記載の手術顕微鏡。
（９）
前記赤外光画像の画素情報は、前記赤外光画像の輝度情報を含む
前記（８）に記載の手術顕微鏡。
（１０）
前記赤外光画像の画素情報を用いた画素値は、前記赤外光画像の輝度情報と、前記可視光画像の色差情報とを用いた画素値である
前記（８）に記載の手術顕微鏡。
（１１）
前記赤外光画像の画素情報を用いた画素値は、前記赤外光画像の輝度情報と、前記可視光画像の色差情報に前記赤外光画像の輝度レベルに応じたレベル補正を行った色差情報とを用いた画素値である
前記（１０）に記載の手術顕微鏡。
（１２）
前記可視光画像の一部の領域は、前記眼の角膜範囲の領域である
前記（８）乃至（１１）のいずれかに記載の手術顕微鏡。
（１３）
前記可視光画像の一部の領域は、前記眼の瞳孔範囲の領域である
前記（８）乃至（１１）のいずれかに記載の手術顕微鏡。
（１４）
前記画像混合部は、前記可視光画像の全ての領域を、前記赤外光画像の画素情報を用いた画素値に置き換えた前記混合画像を生成する
前記（７）に記載の手術顕微鏡。
（１５）
前記受光部により生成されたセンサ信号に基づく画像の光束と、前記眼の像光の光束とを混合する光学混合器をさらに備え、
前記提示部は、前記光学混合器により混合された光束からなる像を提示する
前記（１）乃至（１４）のいずれかに記載の手術顕微鏡。
（１６）
手術対象としての眼を、赤外領域に感度を持つ撮像部で撮像して得られた赤外光画像と、可視光領域に感度を持つ撮像部で撮像して得られた可視光画像とを取得し、前記赤外光画像と前記可視光画像とを混合処理して混合画像を生成する画像混合部
を備える画像処理装置。
（１７）
手術対象としての眼を、赤外領域に感度を持つ撮像部で撮像して得られた赤外光画像と、可視光領域に感度を持つ撮像部で撮像して得られた可視光画像とを取得し、前記赤外光画像と前記可視光画像とを混合処理して混合画像を生成する
ステップを含む画像処理方法。

１１ 手術システム， ２１ 手術顕微鏡， ３１ 筐体， ３２ 画像処理部， ３３（３３A,３３B） 提示部， ３４ 対物レンズ， ３５ 接眼レンズ， ４１ 撮像光学系， ４２ 画像センサ， ５１ 眼， ７１ 画像構築部， ７２ 画像混合部， ９１ 角膜， ９２ 瞳孔， １０１ ３Dディスプレイ， １０２ 光学混合器， １１１,１１２ ハーフミラー， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０６ 入力部， ２０７ 出力部， ２０８ 記録部， ２０９ 通信部， ２１０ ドライブ

Claims (17)

1. 赤外領域に感度を持つ画素を少なくとも有する受光部と、
   手術対象としての眼から反射されてくる光である眼の像光を前記受光部へ導く撮像光学系と、
   前記受光部により生成されたセンサ信号に基づく画像を提示する提示部と
   を備える手術顕微鏡。
2. 前記受光部は、前記赤外領域に感度を持つ画素のみからなる撮像素子で構成される
   請求項１に記載の手術顕微鏡。
3. 前記受光部は、前記赤外領域に感度を持つ画素と、R、G、またはBの領域に感度を持つ画素とからなる撮像素子で構成される
   請求項１に記載の手術顕微鏡。
4. 前記受光部は、前記赤外領域とRの領域に感度を持つ画素と、前記赤外領域とGの領域に感度を持つ画素と、または、前記赤外領域とBの領域に感度を持つ画素とからなる撮像素子で構成される
   請求項１に記載の手術顕微鏡。
5. 前記受光部は、前記赤外領域に感度を持つ画素のみからなる撮像素子と、R、G、またはBの領域に感度を持つ画素からなる撮像素子とで構成される
   請求項１に記載の手術顕微鏡。
6. 前記提示部は、水平方向の画素数が３８４０以上で、かつ、立体視可能な画像を表示するディスプレイで構成される
   請求項１に記載の手術顕微鏡。
7. 前記受光部により生成されたセンサ信号に基づく画像の混合処理を行う画像混合部をさらに備え、
   前記受光部は、前記赤外領域に感度を持つ画素と、可視光領域に感度を持つ画素とを有し、前記赤外領域に感度を持つ画素から得られた第１のセンサ信号と、前記可視光領域に感度を持つ画素から得られた第２のセンサ信号とを生成し、
   前記画像混合部は、前記第１のセンサ信号により生成された赤外光画像と、前記第２のセンサ信号により生成された可視光画像を混合処理し、混合画像を生成する
   請求項１に記載の手術顕微鏡。
8. 前記画像混合部は、前記可視光画像の一部の領域を、前記赤外光画像の画素情報を用いた画素値に置き換えた前記混合画像を生成する
   請求項７に記載の手術顕微鏡。
9. 前記赤外光画像の画素情報は、前記赤外光画像の輝度情報を含む
   請求項８に記載の手術顕微鏡。
10. 前記赤外光画像の画素情報を用いた画素値は、前記赤外光画像の輝度情報と、前記可視光画像の色差情報とを用いた画素値である
    請求項８に記載の手術顕微鏡。
11. 前記赤外光画像の画素情報を用いた画素値は、前記赤外光画像の輝度情報と、前記可視光画像の色差情報に前記赤外光画像の輝度レベルに応じたレベル補正を行った色差情報とを用いた画素値である
    請求項１０に記載の手術顕微鏡。
12. 前記可視光画像の一部の領域は、前記眼の角膜範囲の領域である
    請求項８に記載の手術顕微鏡。
13. 前記可視光画像の一部の領域は、前記眼の瞳孔範囲の領域である
    請求項８に記載の手術顕微鏡。
14. 前記画像混合部は、前記可視光画像の全ての領域を、前記赤外光画像の画素情報を用いた画素値に置き換えた前記混合画像を生成する
    請求項７に記載の手術顕微鏡。
15. 前記受光部により生成されたセンサ信号に基づく画像の光束と、前記眼の像光の光束とを混合する光学混合器をさらに備え、
    前記提示部は、前記光学混合器により混合された光束からなる像を提示する
    請求項１に記載の手術顕微鏡。
16. 手術対象としての眼を、赤外領域に感度を持つ撮像部で撮像して得られた赤外光画像と、可視光領域に感度を持つ撮像部で撮像して得られた可視光画像とを取得し、前記赤外光画像と前記可視光画像とを混合処理して混合画像を生成する画像混合部
    を備える画像処理装置。
17. 手術対象としての眼を、赤外領域に感度を持つ撮像部で撮像して得られた赤外光画像と、可視光領域に感度を持つ撮像部で撮像して得られた可視光画像とを取得し、前記赤外光画像と前記可視光画像とを混合処理して混合画像を生成する
    ステップを含む画像処理方法。

Images