JP2019033838A - 手術用生体組織撮像装置及び生体組織の撮像方法 - Google Patents

手術用生体組織撮像装置及び生体組織の撮像方法 Download PDF

Info

Publication number
JP2019033838A
JP2019033838A JP2017156201A JP2017156201A JP2019033838A JP 2019033838 A JP2019033838 A JP 2019033838A JP 2017156201 A JP2017156201 A JP 2017156201A JP 2017156201 A JP2017156201 A JP 2017156201A JP 2019033838 A JP2019033838 A JP 2019033838A
Authority
JP
Japan
Prior art keywords
imaging
biological tissue
image
unit
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017156201A
Other languages
English (en)
Inventor
岸井 典之
Noriyuki Kishii
典之 岸井
和樹 池下
Kazuki Ikeshita
和樹 池下
拓哉 岸本
Takuya Kishimoto
拓哉 岸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017156201A priority Critical patent/JP2019033838A/ja
Priority to PCT/JP2018/018695 priority patent/WO2019031014A1/ja
Publication of JP2019033838A publication Critical patent/JP2019033838A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides

Abstract

【課題】複屈折性を有していない生体組織であっても、生体組織の情報をより正確に非侵襲で画像化することが可能な、手術用生体組織撮像装置及び生体組織の撮像方法を提供する。
【解決手段】生体組織に対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して前記偏光の状態が相違するように複数の照射条件で照射可能な照明装置と、前記複数の照射条件で照射された前記偏光の前記生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する撮像装置と、前記生体組織における同一の撮像部位からそれぞれ得られた前記偏光撮像画像を用いて、前記撮像部位における前記生体組織の内部構造を反映した構造情報画像を生成する構造情報画像生成部と、を備え、前記構造情報画像生成部は、得られた複数の前記偏光撮像画像を用いて差分画像を生成し、生成した差分画像を前記構造情報画像とする。
【選択図】図5

Description

本開示は、手術用生体組織撮像装置及び生体組織の撮像方法に関する。
近年、医療分野においては、各種の術中イメージングが行われるようになり、かかる術中イメージングは、手術の安全性に寄与している。また、手術用顕微鏡を用いて、光学的な形態イメージングだけでなく、蛍光色素を投与して病変部や生体組織の特徴を識別する等といった、種々の手法が実用化されている。ここで、蛍光色素等の薬剤は、生体組織の特徴を識別する上では有効であるが、薬剤による副作用の可能性などのように、生体への侵襲性を考慮することが重要である。
そこで、蛍光色素等の薬剤を用いずに、生体組織の特徴の視認性を高める方法について、各種の検討が行われており、例えば、試料の光吸収の差を利用した単色光による照明や、特定の波長の光強度を増加させた照明等を用いる方法が、実用化されている。
また、生体組織における光の散乱に着目して、生体組織の特徴を画像化する技術が、各種提案されている。例えば、以下の特許文献1では、偏光を生体組織に対して照射し、コラーゲン等の散乱による偏光度の解消によって、組織学的な構造情報を画像化する技術が提案されている。また、以下の特許文献2では、無偏光の照明光と生体組織の光学モデルとを用い、生体組織の散乱イメージング処理により生体組織の散乱特徴を画像化する技術が提案されている。
国際公開第2013/080658号 特開2004−202217号公報
しかしながら、上記特許文献1に開示されている技術を用いて撮像素子と同軸で照明を行い、反射光により生体組織の構造情報を得ようとする際に、生体組織が複屈折性を有していない場合には、無偏光の照明を用いた場合と大差のない画像が得られてしまう。これは、複屈折性を有していない生体組織は、照射する偏光の向きによらずに、同じ反射率を示すためである。そのため、上記特許文献1に開示されている技術を用いたとしても、複屈折性を有していない生体組織の構造情報を画像化することはできない。また、照明光の偏光の向きと、撮像素子に入射する反射光の偏光の向きとが、クロスニコルとなるように偏光子を配置することも考えられるが、かかる場合であっても、生体組織の表面からの正反射成分に起因する画像のぎらつきが除去されるだけであり、生体組織の構造情報を画像化することはできない。
また、上記特許文献2に開示されている技術では、生体組織の散乱特徴を画像化する際に、生体組織の光学モデルを用いて各種の演算が行われるため、得られる画像の精度は、用いる光学モデルの精度に依存してしまう。その結果、十分な精度の光学モデルが構築されていない生体組織の散乱特徴を画像化した場合には、得られた画像に誤差が重畳してしまう。
そこで、本開示では、上記事情に鑑みて、複屈折性を有していない生体組織であっても、生体組織の情報をより正確に非侵襲で画像化することが可能な、手術用生体組織撮像装置及び生体組織の撮像方法を提案する。
本開示によれば、生体組織に対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して前記偏光の状態が相違するように複数の照射条件で照射可能な照明装置と、前記複数の照射条件で照射された前記偏光の前記生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する撮像装置と、前記生体組織における同一の撮像部位からそれぞれ得られた前記偏光撮像画像を用いて、前記撮像部位における前記生体組織の内部構造を反映した構造情報画像を生成する構造情報画像生成部と、を備え、前記構造情報画像生成部は、得られた複数の前記偏光撮像画像を用いて差分画像を生成し、生成した差分画像を前記構造情報画像とする、手術用生体組織撮像装置が提供される。
また、本開示によれば、生体組織に対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して前記偏光の状態が相違するように複数の照射条件で照射可能な照明装置により、前記生体組織における同一の撮像部位を、前記複数の照射条件でそれぞれ別個に照明することと、前記複数の照射条件で照射された前記偏光の前記生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する撮像装置により、同一の撮像部位について、複数の照射条件下で照射された前記偏光の反射光を互いに区別して撮像して、複数の前記偏光撮像画像を生成することと、前記同一の撮像部位から得られた複数の前記偏光撮像画像を用いて差分画像を生成し、生成した差分画像を、前記撮像部位における前記生体組織の内部構造を反映した構造情報画像とすることと、を含む、生体組織の撮像方法が提供される。
本開示によれば、照明装置は、生体組織における同一の撮像部位に対して、撮像部位に照射される偏光の状態が相違するように、複数の照射条件下で照明光をそれぞれ別個に照射し、撮像装置は、複数の照射条件下で照射された偏光の反射光を互いに区別して撮像して、同一の撮像部位について、複数の偏光撮像画像を生成し、構造情報画像生成部は、同一の撮像部位から得られた複数の偏光撮像画像を用いて、撮像部位における生体組織の内部構造を反映した構造情報画像を生成する。
以上説明したように本開示によれば、複屈折性を有していない生体組織であっても、生体組織の情報をより正確に非侵襲で画像化することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
屈折率の相異なる媒質界面での偏光の反射について説明するための説明図である。 媒質界面への偏光の入射角と反射率との関係の一例を示すグラフ図である。 屈折率の相異なる媒質界面での偏光の反射について説明するための説明図である。 屈折率の相異なる媒質界面での偏光の反射について説明するための説明図である。 本開示の実施形態に係る手術用生体組織撮像装置の全体的な構成の一例を示すブロック図である。 同実施形態に係る手術用生体組織撮像装置の照明装置、撮像装置及び駆動制御機構を説明するための説明図である。 同実施形態に係る手術用生体組織撮像装置の照明装置、撮像装置及び駆動制御機構を説明するための説明図である。 同実施形態に係る手術用生体組織撮像装置の照明装置、撮像装置及び駆動制御機構を説明するための説明図である。 同実施形態に係る手術用生体組織撮像装置の照明装置、撮像装置及び駆動制御機構を説明するための説明図である。 同実施形態に係る手術用生体組織撮像装置の照明装置、撮像装置及び駆動制御機構を説明するための説明図である。 同実施形態に係る手術用生体組織撮像装置の演算処理装置の構成の一例を示すブロック図である。 同実施形態に係る演算処理装置の統括制御部の構成の一例を示すブロック図である。 同実施形態に係る演算処理装置の構造情報画像生成部の構成の一例を示すブロック図である。 偏光撮像画像の一例について説明するための説明図である。 偏光撮像画像の一例について説明するための説明図である。 偏光撮像画像の一例について説明するための説明図である。 偏光撮像画像の一例について説明するための説明図である。 偏光撮像画像の一例について説明するための説明図である。 偏光撮像画像の一例について説明するための説明図である。 同実施形態に係る生体組織の撮像方法の流れの一例を示す流れ図である。 同実施形態に係る演算処理装置のハードウェア構成の一例を示すブロック図である。 顕微鏡手術システムの概略的な構成の一例を示す図である。 図20に示す顕微鏡手術システムを用いた手術の様子を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図22に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.生体組織の撮像原理について
2.第1の実施形態
2.1.手術用生体組織撮像装置の全体構成について
2.2.手術用生体組織撮像装置の照明装置、撮像装置、駆動制御機構について
2.3.手術用生体組織撮像装置の演算処理装置の構成について
2.4.生体組織の撮像方法について
2.5.演算処理装置のハードウェア構成について
3.応用例−顕微鏡手術システムへの応用
4.応用例−内視鏡手術システムへの応用
(生体組織の撮像原理について)
以下ではまず、本開示の実施形態に係る手術用生体組織撮像装置及び生体組織の撮像方法の基盤となる生体組織の撮像原理について、図1〜図4を参照しながら、詳細に説明する。
図1は、屈折率の相異なる媒質界面での偏光の反射について説明するための説明図であり、図2は、媒質界面への偏光の入射角と反射率との関係の一例を示すグラフ図である。図3及び図4は、屈折率の相異なる媒質界面での偏光の反射について説明するための説明図である。
以下で詳述する、本開示の第1の実施形態に係る手術用生体組織撮像装置及び生体組織の撮像方法では、入射光の光軸及び反射光の光軸で規定される平面内に偏光軸を有するp偏光と、入射光の光軸及び反射光の光軸で規定される平面に対して垂直な偏光軸を有するs偏光が、空気と生体組織との界面において反射率が異なるという点に着目する。すなわち、本実施形態に係る手術用生体組織撮像装置及び生体組織の撮像方法では、生体組織に対して、偏光の状態が異なるようにして偏光を照射することで、生体組織の内部からの拡散反射の差を増大させて、生体組織の内部における組織情報を画像化する。
以下では、この撮像原理について、詳細に説明する。
まず、図1に示したような、屈折率がn=1である媒質0と、屈折率がnである媒質1と、の界面に着目する。図1において、p偏光は、紙面に平行な面内に偏光軸を有しており、s偏光は、紙面に垂直な面内に偏光軸を有している。
かかる界面に対して、入射角φでp偏光、又は、s偏光が入射すると、図1に模式的に示したように、一部は、屈折角φで屈折しながら媒質1の内部へと入射し、一部は、界面で反射していく。
この場合に、p偏光のフレネル係数rは、以下の式(11)で与えられ、s偏光のフレネル係数rは、以下の式(13)で与えられる。また、界面におけるp偏光の反射率R及びs偏光の反射率Rは、以下の式(15)及び式(17)に示すように、各フレネル係数の二乗で与えられる。
ここで、上記式(11)及び式(13)から明らかなように、フレネル係数は、偏光の入射角φに依存する。従って、媒質中におけるp偏光/s偏光の入射角φに応じて、界面において反射する光と、媒質1の内部へと浸透していく光と、の割合が変化することとなる。
図2に、媒質0における屈折率n=1(すなわち、媒質1=空気)とし、媒質1における屈折率n=2.5とした場合における、入射角φと反射率Rとの関係を示した。図2から明らかなように、s偏光の反射率Rは、入射角φが大きくなるにつれて単調に増加していくのに対し、p偏光の反射率Rは、入射角φ=70°付近までは減少していき、反射角φ=70°を超えると増加していく挙動を示す。p偏光の反射率Rが低下するということは、媒質1の内部に浸透していくp偏光の割合が増加することを意味している。このような媒質間での屈折率の差によって、媒質界面での反射によって戻ってくる光量が、偏光の種類(すなわち、p偏光かs偏光か)、及び、偏光の媒質界面への入射角に応じて変化することがわかる。
続いて、図3に模式的に示したように、屈折率がnである媒質0と、屈折率がnである媒質2(生体組織)と、の界面に着目し、かかる界面に対し、強度Iの偏光が入射角xで入射する場合を考える。かかる場合において、屈折角xは、スネルの法則により、n×sinx=n×sinxから求めることができる。
かかる場合において、p偏光のフレネル係数rp02は、以下の式(21)で表され、s偏光のフレネル係数rs02は、以下の式(23)で表される。また、界面での反射による光強度をOと表すこととすると、界面で反射したp偏光の強度O0pと、s偏光の強度O0sは、以下の式(25)及び式(27)で与えられる。
一方、生体組織等の散乱体の内部に入射した光は、内部散乱によって散乱光が界面まで到達し、界面に到達した内部散乱光は、界面から媒質0へと出射する。実際の生体組織においては、散乱体が球対称ではないために、散乱断面積がp偏光とs偏光とで相違する。生体組織内に浸透していき、内部散乱により界面から出射した光の強度をOと表すこととする。p偏光の強度O2pと、s偏光の強度O2sは、内部散乱による戻り光の割合をp偏光及びs偏光のそれぞれでS、Sと表したときに、それぞれ以下の式(29)及び式(31)のようになる。
ここで、偏光子をクロスニコルにするなどして、界面における正反射(すなわち、O)を除去した場合、生体組織の内部で散乱された戻り光の強度O2p,O2sが観測されることとなる。
戻り光の強度O2p,O2sは、上記のように、偏光の入射角xに応じて比率が変化する。そのため、入射角xを変えて偏光を界面に入射させ、界面からの反射光を撮像することで生成した偏光撮像画像を利用し、これら偏光撮像画像の差分、又は、非偏光を界面に入射させた場合の撮像画像と、偏光撮像画像との差分を用いて、生体組織の内部構造を反映した画像を生成することができる。
また、偏光の入射角xを変化させない場合であっても、p偏光とs偏光の混合状態を、偏光子の回転角度等により制御した上で、かかる偏光を生体組織の内部に入射させればよい。上記のように、生体組織との界面では、p偏光とs偏光とで反射挙動が異なることから、p偏光とs偏光の混合状態を変化させた場合であっても、入射角xを変化させた場合と同様に、生体組織の内部構造を反映した画像を生成することができる。
続いて、図4に模式的に示したように、生体組織の上方に、屈折率nの透明膜が存在する場合について着目する。ここで、各界面において、スネルの法則に基づき、以下の2つの関係が成立する。
×sinx=n×sinx
×sinx=n×sinx
また、図3と同様にして、各界面においてフレネル係数を考えると、媒質0/媒質1の界面におけるp偏光及びs偏光のフレネル係数は、それぞれ、以下の式(41)及び式(43)で与えられる。同様に、媒質1/媒質2の界面におけるp偏光及びs偏光のフレネル係数は、それぞれ、以下の式(45)及び式(47)で与えられる。
ここで、媒質0/媒質1の界面において界面反射した光の強度をOとし、媒質1/媒質2の界面において界面反射した光の強度をOとし、媒質2(生体組織)の内部で散乱された戻り光の強度をOとする。この場合に、p偏光及びs偏光のそれぞれにおけるO,O,Oは、以下の式(49)〜(59)で表される。
かかる場合に、偏光子をクロスニコルにするなどして、媒質0/媒質1の界面における正反射(すなわち、O)を除去した場合、生体組織の内部で散乱された戻り光の強度は、p偏光については、以下の式(61)に示すようにO=O1p+O2pが観測され、s偏光については、以下の式(63)に示すようにO=O1s+O2sが観測されることとなる。
上記式(61)及び式(63)から明らかなように、媒質1(透明膜)を透過することによって、p偏光及びs偏光の戻り光強度のそれぞれにおいて、媒質1に由来する戻り光成分(上記式(61)及び式(63)における左辺の中括弧の第2項)が生じる。そのため、入射角xで偏光を入射させて反射光の撮像を行ったとしても、例えば、式(25)及び式(27)と、式(61)及び式(63)と、に示したように、透明膜がある場合と無い場合とでは戻り光の強度に差が生じ、透明膜の有無を判別することができる。
以上、図1〜図4を参照しながら、本実施形態に係る手術用生体組織撮像装置及び生体組織の撮像方法の基盤となる生体組織の撮像原理について、詳細に説明した。
(第1の実施形態)
<手術用生体組織撮像組織の全体構成について>
次に、図5を参照しながら、本実施形態に係る手術用生体組織撮像装置の全体構成について説明する。図5は、本実施形態に係る手術用生体組織撮像装置の全体的な構成の一例を示すブロック図である。
本実施形態に係る手術用生体組織撮像装置10は、手術の際に医師等の医療従事者によって操作され、手術中に大気に露出している各種臓器等の生体組織の撮像を行う装置である。ここで、本実施形態に係る手術用生体組織撮像装置10が撮像対象とする生体組織は、特に限定されるものではなく、生物における任意の生体組織(特に、手術中に大気中に露出する各種臓器を構成する様々な生体組織)が撮像対象となる。
かかる手術用生体組織撮像装置10は、図5に模式的に示したように、照明装置100と、撮像装置200と、駆動制御機構300と、演算処理装置400と、を有する。
照明装置100は、生体組織Sに対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して偏光の状態が相違するように、複数の照射条件で照射する。かかる照明装置100は、生体組織Sを照明するための照明光を出射する照明光源と、照明光源から出射した照明光を、所定の偏光状態を有する偏光とする偏光子と、を少なくとも有する。これら照明装置100の詳細な構成については、以下で改めて説明する。
撮像装置200は、複数の照射条件で照射された偏光の生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する。かかる撮像装置200は、所定の撮像素子が実装され、必要に応じて各種レンズ等の結像光学系が設けられた各種のカメラや分光カメラで構成される。また、かかる撮像装置200には、生体組織Sの表面からの正反射を除去するために、更に、偏光子が設けられていてもよい。かかる撮像装置200についても、以下で改めて詳細に説明する。
駆動制御機構300は、生体組織Sに照射される偏光の状態を変化させるために、照明装置100及び撮像装置200に設けられた各種の機構を所望の状態となるように駆動させる。これにより、本実施形態に係る手術用生体組織撮像装置10では、生体組織Sに照射される偏光の状態を所望の状態に制御することが可能となり、非偏光の照明光をも実現することが可能となる。かかる駆動制御機構300についても、以下で改めて説明する。
演算処理装置400は、各種のコンピュータ等により実現される。演算処理装置400は、照明装置100、撮像装置200及び駆動制御機構300の各種動作を制御する。また、演算処理装置400は、撮像装置200により生成された、生体組織Sにおける同一の撮像部位からそれぞれ得られた偏光撮像画像を用いて、撮像部位における生体組織の内部構造を反映した構造情報画像を生成する機能を少なくとも有する。かかる演算処理装置400についても、以下で改めて詳細に説明する。
本実施形態に係る手術用生体組織撮像装置10は、以上のような、照明装置100、撮像装置200、駆動制御機構300及び演算処理装置400が互いに連携して機能することで、複屈折性を有していない生体組織であっても、生体組織の情報をより正確に非侵襲で画像化することが可能となる。
<照明装置、撮像装置及び駆動制御機構について>
続いて、図6〜図10を参照しながら、本実施形態に係る手術用生体組織撮像装置10が備える照明装置100、撮像装置200及び駆動制御機構300について、より詳細に説明する。図6〜図10は、本実施形態に係る手術用生体組織撮像装置の照明装置、撮像装置及び駆動制御機構を説明するための説明図である。
本実施形態に係る照明装置100は、図6に示したように、生体組織Sを照明するための照明光を出射する照明光源101と、照明光源から出射した照明光を、所定の偏光状態を有する偏光とする偏光子103と、を少なくとも有する。
ここで、照明光源101は、所望の波長の光を所望の強度で出射可能なものであれば、特に限定されるものではなく、公知の各種の光源を用いることができる。かかる照明光源101として、例えば、ハロゲンランプ、キセノンランプ又は重水素ランプのような各種のランプや、単一波長又は狭帯域波長の光を出射可能な各種のレーザ又は発光ダイオード等を挙げることができる。
なお、図6等では、照明装置100が1つの照明光源101から構成される場合を例に挙げて図示しているが、照明装置100は、波長の異なる光を出射可能な1又は複数の光源で構成されていてもよい。
照明光源101と、生体組織Sとの間の光軸上には、照明光源101から出射した照明光を所定の偏光状態を有する偏光とするための偏光子103が設けられる。ここで、偏光子103は、所望の偏光状態を実現可能なものであれば、特に限定されるものではなく、公知の各種の偏光子を用いることが可能である。このような偏光子103として、例えば、ワイヤーグリッド型の偏光子、各種の結晶性材料を用いた結晶型の偏光子、光学多層膜を用いた偏光子、グラントムソンプリズム等の複屈折結晶を組み合わせた偏光子、樹脂フィルムを用いた樹脂偏光子、無機吸収型の偏光子等を挙げることができる。
かかる偏光子103は、駆動制御機構300の一例である偏光子制御機構301によって、照明光源101の光軸上への偏光子の配置位置(すなわち、偏光と非偏光との切り替え)や、照明光源101の光軸を回転軸とした偏光子103の回転等が制御され、所望の偏光状態が実現される。
本実施形態に係る撮像装置200としては、所定の撮像素子201が実装されており、必要に応じて、各種のレンズ等から構成される結像光学系203が設けられたカメラを用いることが可能であり、手術用顕微鏡や手術用内視鏡を撮像装置200として利用することも可能である。ここで、撮像装置200に実装される撮像素子201は、特に限定されるものではなく、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等といった、各種の公知の撮像素子を用いることが可能である。また、図6では、結像光学系203として、1つのレンズのみを代表させて図示を行っているが、かかる結像光学系203は、例えば、球面レンズや非球面レンズ等といった公知の複数のレンズ等から構成されたレンズ群であってもよい。
また、撮像素子201及び結像光学系203の前段の光軸上には、図6に模式的に示したように、偏光子211が設けられてもよい。撮像装置200に偏光子211を設け、照明装置100の偏光子103の回転角と偏光子211の回転角とをクロスニコルとなるように設定することで、生体組織Sからの反射光のうち、生体組織Sの表面からの正反射成分を、除去することが可能となる。かかる偏光子211は、駆動制御機構300の一例である偏光子制御機構311によって、撮像装置200の光軸上への偏光子の配置位置(すなわち、偏光子211の使用有無)や、撮像装置200の光軸を回転軸とした偏光子211の回転等が制御される。
また、偏光子211を設けることで、上記のように正反射成分を除去して、撮像素子201のダイナミックレンジを上げることが可能となるが、撮像素子201のダイナミックレンジが大きい場合や、後段の演算処理により正反射成分を除去可能な場合には、偏光子211は設けなくともよい。
なお、かかる偏光子211についても、照明装置100の偏光子103と同様に特に限定されるものではなく、公知の各種の偏光子を用いることが可能である。
また、本実施形態に係る撮像装置200は、所定の検知器の実装された、分光機能を有する分光カメラであってもよい。撮像装置200として分光カメラを用いることで、生体組織Sからの戻り光を波長ごとに分光して、スペクトル画像を得ることができる。
更に、偏光子211と、結像光学系203と、の間に、偏光状態を保持したまま光路を分岐させることが可能な、ビームスプリッタや多分岐プリズム等の分岐光学系(図示せず。)を設け、光路を2つ以上に分岐させてもよい。これにより、一般的な(分光機能を有しない)カメラと、分光カメラと、を併用することが可能となる。
以上説明したような照明装置100と撮像装置200とは、図6に模式的に示したように、所定のアームにより互いに連結されていることが好ましい。かかるアームが、駆動制御機構300の一例である位置関係制御機構321によって駆動されることで、照明装置100の光軸と、撮像装置200の光軸とのなす角度θ(ひいては、生体組織Sへの偏光の入射角φ)を、所望の状態に制御することができる。
ここで、手術用生体組織撮像装置10に設けられる、偏光子制御機構301,311や位置関係制御機構321等の駆動制御機構300は、例えばアクチュエータ等の公知の駆動機構を用いて構成することが可能であり、その具体的な構成は、限定されるものではない。
本実施形態に係る手術用生体組織撮像装置10では、先だって言及したような、偏光の状態が相違するような複数の照射条件を設定するために、照明装置100が生体組織Sの撮像部位に対して偏光を照射する際に、(1)照明装置100の光軸と撮像装置200の光軸とのなす角θ、及び、(2)偏光状態、の少なくとも何れかを互いに相違させることが好ましい。
ここで、上記(1)に示した、照明装置100の光軸と撮像装置200の光軸とのなす角θは、図7に模式的に示したように、位置関係制御機構321によってアームを駆動させて、照明装置100と撮像装置200との相対的な位置関係を変化させることで、角度θ、角度θ・・・のように、所望の状態に制御することができる。また、上記(2)に示した偏光状態は、例えば、照明装置100に設けられた偏光子103の回転角によって変化させることができる。
ここで、照明装置100の光軸と撮像装置200の光軸とのなす角θは、p偏光の反射率とs偏光の反射率との差が大きくなるような角度に少なくとも設定されることが好ましい。例えば図2に示したように、角度θを、40°〜70°程度の範囲内の値(より好ましくは、60°前後の値)を少なくとも1つ含むように設定することで、p偏光の戻り光強度と、s偏光の戻り光強度との差分がより明確なものとなり、より正確に生体組織Sの内部構造の違いを反映させることが可能となる。この際に、角度θ=0°近傍としたときの撮像画像とのコントラストが大きくなるような角度θを例えばブリュースター角のような角度に大まかに設定した後、設定角度の周辺で角度θを微調整するようにして、複数の照明条件を設定するようにしてもよい。
また、例えば図2に示したように、角度θが例えば0°近傍の小さな値である場合(換言すれば、照明装置100の光軸と撮像装置200の光軸とが、ほぼ同軸となる場合)には、p偏光の反射率(換言すれば、生体組織への内部浸透比率)とs偏光の反射率とはほぼ等しくなるため、非偏光を照明光として用いた場合と同様の撮像画像を得ることができる。従って、本実施形態に係る複数の照射条件は、様々な偏光状態のみならず、非偏光とみなすことが可能な状態(更には、非偏光状態)をも含むものとなる。
また、偏光子103の回転角については、特に規定するものではないが、p偏光成分がなるべく多くなり、得られる偏光撮像画像のコントラストも高くなるように、回転角を設定することが好ましい。p偏光成分をより多く含む偏光は、生体組織Sの内部により深く浸透していくために、かかる偏光を用いることで、生体組織Sの内部構造がより反映された偏光撮像画像を得ることが可能となる。
なお、上記(1)及び(2)に示した方法以外にも、照明装置100から照射される偏光の波長を変化させることで、複数の照射条件を設定することも可能である。
ここで、上記(1)に示した、照明装置100の光軸と撮像装置200の光軸とのなす角θの具体的な制御方法の一つとして、例えば図8に模式的に示したように、照明装置100及び偏光子103を、円弧状の保持アーム(照明装置保持アーム)に保持した上で、位置関係制御機構321によって照明装置100及び偏光子103ごと、照明装置保持アームに沿って移動させるようにしてもよい。図8に示した例では、撮像装置200及び偏光子211は、撮像装置保持アームによって保持されており、かかる撮像装置保持アームは、所定の架台(図示せず。)に結合されている。また、照明装置保持アームは、撮像装置保持アームに結合されており、照明装置100及び偏光子103は、照明装置保持アームに沿って移動する。
また、図9に模式的に示したように、複数種類の角度θが実現可能なように、予め複数の光ファイバOFを円弧状に設置しておき、照明装置100から照射された偏光を、これら光ファイバOFの一つに接続させてもよい。
また、例えば図10に模式的に示したように、例えば平凸レンズ等の導光光学系を、生体組織Sと、照明装置100及び撮像装置200と、の間に配置しておき、導光光学系の光軸からの距離が相違するように偏光を入射させてもよい。この場合、図10のAの位置に入射した偏光と撮像装置200の光軸とのなす角は、角度θAとなるのに対し、図10のBの位置に入射した偏光と撮像装置200の光軸とのなす角は、角度θBとなって、角度θの大きさを容易に変化させることが可能となる。図10に示したような導光光学系は、本実施形態に係る手術用生体組織撮像装置10の小型化を図り、例えば手術用内視鏡に適用する場合などに有用である。
以上、図6〜図10を参照しながら、本実施形態に係る手術用生体組織撮像装置10が備える照明装置100、撮像装置200及び駆動制御機構300について、詳細に説明した。
<演算処理装置400の構成について>
次に、図11〜図17Cを参照しながら、本実施形態に係る演算処理装置400の構成について、詳細に説明する。
図11は、本実施形態に係る手術用生体組織撮像装置の演算処理装置の構成の一例を示すブロック図である。図12は、本実施形態に係る演算処理装置の統括制御部の構成の一例を示すブロック図であり、図13は、本実施形態に係る演算処理装置の構造情報画像生成部の構成の一例を示すブロック図である。図14〜図17Cは、演算処理装置400における演算処理に供される偏光撮像画像の一例について説明するための説明図である。
本実施形態に係る演算処理装置400は、先だって簡単に言及したように、照明装置100、撮像装置200及び駆動制御機構300の各種動作を制御する。また、演算処理装置400は、撮像装置200により生成された、生体組織Sにおける同一の撮像部位からそれぞれ得られた偏光撮像画像を用いて、撮像部位における生体組織の内部構造を反映した構造情報画像を生成する機能を少なくとも有する。
かかる演算処理装置400は、図11に模式的に示したように、統括制御部401、データ取得部403、構造情報画像生成部405、処理結果出力部407、表示制御部409及び記憶部411を主に有している。また、本実施形態に係る演算処理装置400は、上記のような処理部に加えて、更に、生体組織認識部413を有していてもよい。
統括制御部401は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。統括制御部401は、本実施形態に係る手術用生体組織撮像装置10の全般的な動作を統括的に制御する。より詳細には、統括制御部401は、照明装置100、撮像装置200及び駆動制御機構300における各種の動作を所望の状態に制御して、以下で説明する構造情報画像の生成処理に適した複数の偏光撮像画像を生成させる。
この統括制御部401は、図12に模式的に示したように、照明制御部421と、撮像制御部423と、を有している。
照明制御部421は、例えば、CPU、ROM、RAM、通信装置等により実現される。照明制御部421は、照明装置100から照射される偏光の照射条件を少なくとも制御する。より詳細には、照明制御部421は、駆動制御機構300のうち偏光子制御機構301及び位置関係制御機構321を制御することで、偏光子103の回転角や、照明装置100の光軸と撮像装置200の光軸とのなす角θを制御する。また、照明制御部421は、照明装置100が有する照明光源101から照射される照明光の波長を制御したり、照射タイミング等を制御したりする。
撮像制御部423は、例えば、CPU、ROM、RAM、通信装置等により実現される。撮像制御部423は、撮像装置200における撮像処理を全般的に制御する。より詳細には、撮像制御部423は、駆動制御機構300のうち偏光子制御機構311を制御することで、偏光子211の回転角を制御して、偏光子211をクロスニコルの状態としたり、クロスニコルではない状態にしたりする。また、撮像制御部423は、撮像装置200における露光時間やシャッタースピードや合焦状態や撮像タイミング等を制御して、適切な偏光撮像画像が生成されるようにする。
データ取得部403は、例えば、CPU、ROM、RAM、通信装置等により実現される。データ取得部403は、撮像装置200から出力される偏光撮像画像の実体データを取得して、後述する構造情報画像生成部405や、生体組織認識部413等に出力する。また、データ取得部403は、取得した偏光撮像画像の実体データに対し、当該実体データを取得した日時等に関す時刻情報を関連付けた上で、履歴情報として、後述する記憶部411等に格納してもよい。
構造情報画像生成部405は、例えば、CPU、ROM、RAM等により実現される。構造情報画像生成部405は、生体組織Sにおける同一の撮像部位からそれぞれ得られた偏光撮像画像を用いて、撮像部位における生体組織Sの内部構造を反映した構造情報画像を生成する。また、かかる構造情報画像生成部405は、偏光撮像画像や、偏光撮像画像を用いて生成された2次データ等を用いて、生体組織Sの撮像部位のうち、互いに類似する部位を識別する類似部位識別処理を実施することが可能である。かかる構造情報画像生成部405の詳細な構成及び機能については、以下で改めて説明する。
処理結果出力部407は、構造情報画像生成部405により生成された、生体組織Sの内部構造を反映した構造情報画像等を含む各種の処理結果を、手術用生体組織撮像装置10の使用者へと出力する。例えば、処理結果出力部407は、構造情報画像に関する情報を、表示制御部409へと出力することが可能である。これにより、構造情報画像に関する情報が、手術用生体組織撮像装置10が備える表示部(図示せず。)や、手術用生体組織撮像装置10の外部に設けられた表示部(例えば、外部のモニタ等)に出力されることとなる。また、処理結果出力部407は、得られた構造情報画像に関する情報等を、印刷物として出力したり、データとして外部の情報処理装置やサーバ等に出力したりすることが可能である。
表示制御部409は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部409は、処理結果出力部407から出力された構造情報画像に関する各種の処理結果を、手術用生体組織撮像装置10が備えるディスプレイ等の出力装置や手術用生体組織撮像装置10の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、手術用生体組織撮像装置10の使用者は、構造情報画像に関する各種の処理結果を、その場で把握することが可能となる。
記憶部411は、演算処理装置400が備える記憶装置の一例であり、RAMやストレージ装置等により実現される。記憶部411には、本実施形態に係る演算処理装置400が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。この記憶部411は、統括制御部401、データ取得部403、構造情報画像生成部405、処理結果出力部407、表示制御部409、生体組織認識部413等が、自由にリード/ライト処理を実施することが可能である。
生体組織認識部413は、例えば、CPU、ROM、RAM等により実現される。生体組織認識部413は、撮像装置200により生成された偏光撮像画像を用いて、撮像対象となっている生体組織Sの種別(例えば、臓器名等)を認識する。かかる生体組織Sの種別の認識処理には、公知の画像認識技術等のような、各種の認識技術を利用することが可能であり、その詳細は特に限定されるものではない。このようにして認識された生体組織Sの認識結果を利用することで、照明装置100等で実施される複数の照射条件の設定処理を、半自動化したり、自動化したりすることが可能となる。
この際、記憶部411等に、生体組織の種別に応じた、複数の照射条件に関する設定情報が、予めデータベースとして格納されているものとする。ここで、複数の照射条件に関する設定情報は、例えば、生体組織の種別ごとに、偏光の波長、偏光子103及び偏光子211の回転角、照明装置100の光軸と撮像装置200の光軸とのなす角θ等といった偏光状態に関する条件や、シャッタースピードや露光時間等の撮像条件等に関する設定情報が、互いに関連づけられたものであることが好ましい。
上記のような生体組織Sの認識結果と、複数の照射条件に関する設定情報と、を利用することで、統括制御部401の照明制御部421は、生体組織の種別の認識結果に基づき、記憶部411から、認識結果に適合する複数の照射条件に関する設定情報を取得し、取得した設定情報を用いて、偏光状態を変化させることが可能となる。
なお、上記のような複数の照射条件に関する設定情報は、任意のタイミングで更新されることが好ましい。また、かかる複数の照射条件に関する設定情報は、各種の教師データを用いた公知の各種の機械学習技術を用いて構築したり、更新したりすることが可能である。
[構造情報画像生成部405の構成について]
続いて、図13〜図17Cを参照しながら、本実施形態に係る構造情報画像生成部405の構成について、詳細に説明する。
本実施形態に係る構造情報画像生成部405は、差分画像生成部431を主に有しており、固有ベクトル算出部433と、混合比率算出部435と、類似部位識別部437と、を更に有することが好ましい。
差分画像生成部431は、例えば、CPU、ROM、RAM等により実現される。差分画像生成部431は、生体組織Sにおける同一の撮像部位からそれぞれ得られた偏光撮像画像を用い、得られた複数の前記偏光撮像画像を用いて差分画像を生成する。
先だって説明した原理のように、本実施形態に係る手術用生体組織撮像装置10では、所定の偏光状態を有する偏光を撮像対象である生体組織Sに照射し、偏光の状態に応じて生体組織Sの内部への浸透度合いが異なることを利用して、偏光の状態の異なる撮像画像間において、戻り光の光強度に生じる差に着目している。従って、同一の撮像部位からそれぞれ得られた複数の偏光撮像画像を用いて生成した差分画像は、生体組織Sの内部構造を反映した撮像画像である、構造情報画像として取り扱うことができる。生成された構造情報画像は、処理結果出力部407へと出力される。
ここで、本実施形態に係る照明装置100及び撮像装置200では、互いの光軸のなす角θを0°近傍の小さな値とすることで、非偏光を用いた撮像画像(以下、非偏光撮像画像ともいう。)とみなすことが可能な撮像画像を得ることもできる。しかしながら、このような非偏光撮像画像間で差分画像を生成したとしても、生成された差分画像は、生体組織Sの内部構造を反映したものとはならない可能性が高い。従って、差分画像生成部431は、非偏光撮像画像と判断される画像間では、差分画像を生成しないようにすることが好ましい。
なお、非偏光撮像画像とみなすことが可能な偏光撮像画像と、その他の偏光撮像画像との間の差分画像は、生体組織Sの内部構造をより一層反映したものと考えられるため、このような差分画像を利用することが好ましい。
このようにして生成される差分画像(構造情報画像)では、生体組織Sの内部構造の違いがより一層強調される。そのため、生体組織Sの内部構造が類似した部分は、差分画像中で同じような映り込み方をする一方で、生体組織Sの内部構造が周囲とは異なる部分については、その映り込み方が周囲と相違するようになる。そのため、かかる差分画像(構造情報画像)に着目することで、撮像部位内に、周囲と内部構造が異なるような部位が存在するのか否かを、容易に判別することが可能となる。
また、生体組織Sの表面に透明膜が存在している部分と存在していない部分についても、上記と同様な違いが生じることとなるため、かかる差分画像(構造情報画像)に着目することで、撮像部位内に、透明膜が存在している部分が存在しているか否かについても、容易に判別することが可能となる。
その結果、平面性を有していることが少なく、組織も均一ではないことが多い生体組織Sについて、複屈折性を有していない場合であっても、生体組織の情報をより正確に非侵襲で画像化することが可能となる。本実施形態に係る差分画像(構造情報画像)に着目することで、手術を行っている医師は、例えば、生体組織Sにおける病変部と正常部との区別等を容易に行うことが可能となる。
以下では、実際に撮像された各種の偏光撮像画像を例に挙げながら、本実施形態に係る偏光撮像画像について、具体的に説明する。
まず、図14及び図15を参照しながら、生体組織Sとして、豚の胃を切りだしたものを利用した場合について、具体的に説明する。かかるサンプルの撮像に際して、照明光源101として、キセノンランプを用い、撮像装置200として、分光測定が可能な分光カメラを用いた。
かかる撮像処理に際して、図14に示したように、互いの光軸のなす角θ、照明装置100側の偏光子103の有無、撮像装置200側の偏光子211の有無、及び、露光時間を測定パラメータとし、16種類の照明条件を設定した。なお、図14に示した表の「撮像装置」の「偏光子」という項目について、「無」と記載されているものは、偏光子211を設置しなかったことを意味し、具体的な角度が記載されているものは、偏光子211の回転角の値を示している。
図14に示したそれぞれの測定パラメータにおいて、撮像装置側の偏光子の角度が140°であるものが、互いの偏光子の偏光角がクロスニコルの状態にある場合に対応している。また、No.12の例が、非偏光を用いて一般的な方法で生体組織を撮像した例に対応している。
No.1〜No.16のそれぞれの例について、良好な偏光撮像画像が得られたが、得られた偏光撮像画像を白黒画像として図面化すると、その差異が不明瞭となるため、本明細書では、全ての偏光撮像画像を記載していない。得られた偏光撮像画像のうち、No.7の偏光撮像画像、及び、No.16の偏光撮像画像を取り上げ、図15に示した。図15に示した2つの偏光撮像画像は、互いの光軸のなす角θが異なるだけで、それ以外の測定パラメータは共通であり、クロスニコルの状態にある偏光子によって、生体組織表面からの正反射成分が除去された画像となっている。
白黒画像ではその差異は分かりづらくなってしまうが、No.16の偏光撮像画像は、No.7の偏光撮像画像と比較して全体的に暗い画像となっており、また、生体組織Sの白味が減少したものとなっていた。
また、図15では、偏光撮像画像において破線で囲った部位についてのスペクトルを、あわせて示している。これらのスペクトルの強度は、波長700nm近辺の輝線の強度で規格化したものとなっている。これらのスペクトルを比較すると、No.7の偏光撮像画像では、No.16の偏光撮像画像と比較して、波長500nm付近の強度が増加していることがわかる。かかる結果は、より広い角度で入射する偏光を用いたNo.16では、生体組織の内部構造に由来する吸収及び散乱が増加したことを示唆している。
続いて、生体組織Sとして豚の脳を用いた偏光撮像画像について、図16〜図17Cを参照しながら説明する。豚の脳は、透明な髄膜で覆われているが、本例では、その髄膜の一部を部分的に剥離して、テフロン(登録商標)シートの上に折り返している。図6において、中央の白い部分(テフロン(登録商標)シート)上に存在している、破線で囲った部分が、髄膜のみが存在している部分であり、その右隣りに存在している、破線で囲った部分が、髄膜が剥離されて、脳組織が露出した部分となっている。豚の脳のその他の部分は、脳組織が髄膜で被覆された状態を保持している。
本例についても、照明光源101として、キセノンランプを用い、撮像装置200として、分光測定が可能な分光カメラを用いた。互いの光軸のなす角度θを、22°又は60°の2種類とし、照明装置100側の偏光子103の回転角を、平行又はクロスニコル(270°)の2種類として、それぞれの組み合わせについて撮像を行った。
本例においても、4種類の照射条件のそれぞれにおいて、良好な偏光撮像画像が得られたが、得られた偏光撮像画像を白黒画像として図面化すると、その差異が不明瞭となるため、本明細書では、得られた偏光撮像画像は記載していない。しかしながら、角度θ=22°で撮像した偏光撮像画像では、髄膜剥離部分の色の違いは殆ど認められなかった一方で、角度θ=60°で撮像した偏光撮像画像では、剥離した結果露出している脳の組織が、やや灰色(白)がかって観察された。これは、角度θ=60°で偏光を照射することにより、p偏光成分が豚脳のより深い部分まで浸透し、内部の血液成分の薄い組織の散乱を反映したことを示している。
また、図17A〜図17Cに、角度θ=22°、2つの偏光子の偏光方向=平行となる状態で撮像した偏光撮像画像から得られた、各部位のスペクトルを示した。図17A〜図17Cにおいて、「A」で示したスペクトルは、図16に例示したサンプルにおいて、髄膜のみが存在している部分のスペクトルであり、「B」で示したスペクトルは、髄膜剥離部分のスペクトルであり、「C」で示したスペクトルは、豚の脳が髄膜で覆われている部分のスペクトルである。
まず、図17A〜図17C全体を俯瞰してわかるように、3つの部位のスペクトル強度は、互いに相違しており、生体組織の内部構造の違い(すなわち、髄膜のみ、脳のみ、髄膜+脳という構造の違い)を反映したものとなっている。
また、図17Aに示した波長帯域において、「A」で示したスペクトルには、図中矢印で示したように、530〜540nm付近に、ヘモグロビン由来の2つの吸収ピーク(反射強度の低下)が認められた。ヘモグロビン由来の吸収ピークが存在するということは、これら波長帯域の光がヘモグロビンによって吸収される結果、赤味がかった画像が得られることを意味している。髄膜が残存している部分に対応する「C」で示したスペクトルにおいても、同様のピークの痕跡が認められるが、髄膜を剥離した部位(「B」で示したスペクトル)には、これらのピークは、殆ど認められなかった。
このように、角度θ=22°での偏光撮像画像ではスペクトル的にしか判別できなかった色味が、角度θ=60°での偏光撮像画像では強調された。また、角度θ=60°での偏光撮像画像では、他の部位に比べ髄膜を剥離した部位で、灰色がかった画像を得ることができた。
以上説明したように、本実施形態に係る手術用生体組織撮像装置10を用いて撮像した偏光撮像画像に着目するだけで、上記のような生体組織の内部構造の違いについて特定することが可能となる。このような偏光撮像画像を用いて更に差分画像(構造情報画像)を生成することで、上記のような生体組織の内部構造の違いがより一層強調されることがわかる。
以下では、再び図13に戻って、本実施形態に係る構造情報画像生成部405の構成について、説明を続ける。
固有ベクトル算出部433は、例えば、CPU、ROM、RAM等により実現される。固有ベクトル算出部433は、複数の偏光撮像画像、又は、複数の差分画像の少なくとも一部を用いて、画像強度を成分とする行列を生成した後、生成した行列の固有ベクトルを複数算出する。
以下、固有ベクトルの算出処理について、詳細に説明する。
いま、幅W(画素)×高さH(画素)の偏光撮像画像(又は、差分画像)がn種類存在する(換言すれば、n種類の照射条件が存在する)ものとする。以下では、n種類の画像の全てを用いて、固有ベクトルを算出する場合を例にとり、詳細に説明する。
この場合、固有ベクトル算出部433が生成する行列をAとすると、行列Aの各成分は、画素位置(x,y)(0≦x≦W、0≦y≦H)と、照射条件nの関数となり、行列Aは、W・H行×n列の行列となる。この場合に、固有ベクトル算出部433は、行列Aに関するn個の固有値及び固有ベクトルを算出する。かかる固有ベクトルは、用いた画像中の組織を、照射条件(例えば、角度θ等)で展開した独立成分となる。
具体的には、固有ベクトル算出部433は、行列Aが正方行列ではない場合には、転置行列Aを用いてA・Aという行列演算により正方行列を生成した上で、正方行列の固有方程式を解く等といった公知の数値演算方法等により、着目する行列の固有値λ(n=1,2,・・・,n)を算出する。その後、固有ベクトル算出部433は、算出した固有値λを用いて、n個の固有ベクトルvを算出する。ここで、算出した固有値を用いる固有ベクトルの算出方法については、特に限定されるものではなく、公知の方法を利用することができる。
固有ベクトル算出部433は、以上のようにして固有値及び固有ベクトルを算出すると、得られた結果を、混合比率算出部435へと出力する。
なお、生成する行列Aの成分数については、特に限定するものではなく、以下に具体例を示すように、W×Hが3程度であり、nが3種類程度であってもよい。行列Aの成分数を多くすることで、より複雑な混合比率を算出することが可能となるが、固有値・固有ベクトルの求解に要する演算リソースや演算時間等も増加することとなる。従って、処理に用いることが許容される演算リソースや演算時間等に応じて、行列Aの成分数を適宜決定すればよい。
混合比率算出部435は、例えば、CPU、ROM、RAM等により実現される。混合比率算出部435は、算出された複数の固有ベクトルを用いて、撮像部位の所定の位置について、複数の固有ベクトルの混合比率を算出する。
具体的には、固有ベクトルからなる行列をB(n行×n列の行列)とし、着目する撮像部位における画素位置(x,y)の強度からなるn成分のベクトルをa(x,y)としたときに、混合比率算出部435は、Bk=a(x,y)で表される連立方程式を求解することで、各画素を構成する固有ベクトルの混合比率を表すn成分のベクトルkを算出する。
得られた混合比率kを用いることで、例えば各画素位置において貢献度の高い固有ベクトルを、RGBに割り振って表示することで、撮像部位の各位置を弁別することができる。
混合比率算出部435は、以上のようにして、固有ベクトルの混合比率を算出すると、得られた混合比率に関する情報を、類似部位識別部437へと出力する。
類似部位識別部437は、例えば、CPU、ROM、RAM等により実現される。類似部位識別部437は、算出された混合比率kに基づき、撮像部位のうち互いに類似する部位を識別する。生体組織Sの内部構造が類似した部分は、固有ベクトルの混合比率が類似してくると考えられる。そこで、類似部位識別部437は、算出された混合比率kが類似している部分を特定することで、内部構造の類似した部分を推定する。ここで、混合比率kの値が類似しているか否かの判断手法については、特に限定されるものではなく、公知の手法により類比判断を行えばよい。
類似部位識別部437は、類似部位の識別結果に関する情報(類似部位識別情報)を、処理結果出力部407に出力する。処理結果出力部407及び表示制御部409は、構造情報画像を出力する際に、かかる類似部位識別情報を参照し、生成された構造情報画像について、混合比率が類似する部位を強調するように表示画面へ表示させることができる。
以下では、図16〜図17Cに示したような偏光撮像画像(ただし、以下の例では、角度θ=22°、40°、60°の3種類としている。)において、A、B、Cの3つの部分におけるR画素の輝度値を用いて、固有ベクトル及び混合比率を算出した例を示す。
A、B,Cのそれぞれの位置における角度θ=22°のR画素の強度の組み合わせに着目すると、(A、B,C)=(168,133,114)であった。同様に、A、B,Cのそれぞれの位置における角度θ=40°のR画素の強度の組み合わせは、(A、B,C)=(157,126,108)であり、A、B,Cのそれぞれの位置における角度θ=60°のR画素の強度の組み合わせは、(A、B,C)=(144,116,99)であった。この場合、行列Aとして、以下の3×3の行列を規定することができる。かかる行列Aを利用して、3つの固有ベクトルv、v、vを算出すると、以下のようになった。また、固有ベクトルv、v、vに対応する固有値λ、λ、λは、それぞれ、391.853、1.37493、−0.228297と算出された。
得られた3つの固有ベクトルを用いて、図16に示した髄膜部分A、髄膜剥離部分B、及び、その他の部分Cの混合比率kを求めたところ、以下のようになった。従って、以下のような混合比率に基づき、図16に示したような偏光撮像画像又は差分画像を強調表示することで、内部構造の相違をより明瞭に表示することが可能となる。
A:(v,v,v)=(217,22,8)
B:(v,v,v)=(272,26,9)
C:(v,v,v)=(186,19,7)
以上、本実施形態に係る構造情報画像生成部405の構成について、詳細に説明した。
以上、本実施形態に係る演算処理装置400の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<生体組織の撮像方法について>
次に、図18を参照しながら、本実施形態に係る生体組織の撮像方法の流れの一例について、簡単に説明する。図18は、本実施形態に係る生体組織の撮像方法の流れの一例を示す流れ図である。
本実施形態に係る生体組織の撮像方法では、以上説明したような手術用生体組織撮像装置10の照明装置100により、生体組織の同一の撮像部位に対して、偏光の状態が相違するように複数の照射条件下で偏光が照射される(ステップS101)。手術用生体組織撮像装置10の撮像装置200は、複数の照射条件下で照射された偏光の生体組織からの反射光をそれぞれ撮像する(ステップS103)。これにより、複数の偏光撮像画像が生成され、生成された複数の偏光撮像画像は、演算処理装置400へと出力される。
演算処理装置400の構造情報画像生成部405は、先だって説明したような方法により、複数の偏光撮像画像を用いて、構造情報画像を生成する(ステップS105)。また、構造情報画像生成部405は、複数の偏光撮像画像や生成した構造情報画像を用いて、固有ベクトル及び固有ベクトルの混合比率を算出し、類似部位識別情報を生成することが好ましい。
続いて、演算処理装置400の処理結果出力部407は、生成された構造情報画像を各種の方法により出力する(ステップS107)。この際に、演算処理装置400の表示制御部409は、生成された類似部位識別情報を用いて、生成された構造情報画像について、混合比率が類似する部位を強調するように表示画面へ表示させてもよい。
かかる流れで処理が行われることで、本実施形態に係る生体組織の撮像方法では、複屈折性を有していない生体組織であっても、生体組織の情報をより正確に非侵襲で画像化することが可能となる
以上、図18を参照しながら、本実施形態に係る生体組織の撮像方法の流れの一例について、簡単に説明した。
<演算処理装置のハードウェア構成について>
次に、図19を参照しながら、本開示の実施形態に係る演算処理装置400のハードウェア構成について、詳細に説明する。図19は、本開示の実施形態に係る演算処理装置400のハードウェア構成を説明するためのブロック図である。
演算処理装置400は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置400は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、演算処理装置400内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置400の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。ユーザは、この入力装置915を操作することにより、演算処理装置400に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、演算処理装置400が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置400が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、演算処理装置400の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、演算処理装置400に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、機器を演算処理装置400に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、演算処理装置400は、外部接続機器929から直接各種データを取得したり、外部接続機器929に各種データを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る演算処理装置400の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(応用例:顕微鏡手術システムへの応用)
以上説明したような本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。
図20は、本開示に係る技術が適用され得る顕微鏡手術システム5300の概略的な構成の一例を示す図である。図20を参照すると、顕微鏡手術システム5300は、顕微鏡装置5301と、制御装置5317と、表示装置5319と、から構成される。なお、以下の顕微鏡手術システム5300についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム5300を使用する任意の医療スタッフのことを意味する。
顕微鏡装置5301は、観察対象(患者の術部)を拡大観察するための顕微鏡部5303と、顕微鏡部5303を先端で支持するアーム部5309と、アーム部5309の基端を支持するベース部5315と、を有する。
顕微鏡部5303は、略円筒形状の筒状部5305と、当該筒状部5305の内部に設けられる撮像部(図示せず)と、筒状部5305の外周の一部領域に設けられる操作部5307と、から構成される。顕微鏡部5303は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(いわゆるビデオ式の顕微鏡部)である。
筒状部5305の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光(以下、観察光ともいう)は、当該カバーガラスを通過して、筒状部5305の内部の撮像部に入射する。なお、筒状部5305の内部には例えばLED(Light Emitting Diode)等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばBayer配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、RAWデータとして制御装置5317に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
また、撮像部は、1つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
操作部5307は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部5307を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部5307を介して、アーム部5309の動作モード(後述するオールフリーモード及び固定モード)を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部5303を移動させようとする場合には、当該ユーザは筒状部5305を握るように把持した状態で当該顕微鏡部5303を移動させる様態が想定される。従って、操作部5307は、ユーザが筒状部5305を移動させている間でも操作可能なように、ユーザが筒状部5305を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
アーム部5309は、複数のリンク(第1リンク5313a〜第6リンク5313f)が、複数の関節部(第1関節部5311a〜第6関節部5311f)によって互いに回動可能に連結されることによって構成される。
第1関節部5311aは、略円柱形状を有し、その先端(下端)で、顕微鏡部5303の筒状部5305の上端を、当該筒状部5305の中心軸と平行な回転軸(第1軸O)まわりに回動可能に支持する。ここで、第1関節部5311aは、第1軸Oが顕微鏡部5303の撮像部の光軸と一致するように構成され得る。これにより、第1軸Oまわりに顕微鏡部5303を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
第1リンク5313aは、先端で第1関節部5311aを固定的に支持する。具体的には、第1リンク5313aは略L字形状を有する棒状の部材であり、その先端側の一辺が第1軸Oと直交する方向に延伸しつつ、当該一辺の端部が第1関節部5311aの外周の上端部に当接するように、第1関節部5311aに接続される。第1リンク5313aの略L字形状の基端側の他辺の端部に第2関節部5311bが接続される。
第2関節部5311bは、略円柱形状を有し、その先端で、第1リンク5313aの基端を、第1軸Oと直交する回転軸(第2軸O)まわりに回動可能に支持する。第2関節部5311bの基端には、第2リンク5313bの先端が固定的に接続される。
第2リンク5313bは、略L字形状を有する棒状の部材であり、その先端側の一辺が第2軸Oと直交する方向に延伸しつつ、当該一辺の端部が第2関節部5311bの基端に固定的に接続される。第2リンク5313bの略L字形状の基端側の他辺には、第3関節部5311cが接続される。
第3関節部5311cは、略円柱形状を有し、その先端で、第2リンク5313bの基端を、第1軸O及び第2軸Oと互いに直交する回転軸(第3軸O)まわりに回動可能に支持する。第3関節部5311cの基端には、第3リンク5313cの先端が固定的に接続される。第2軸O及び第3軸Oまわりに顕微鏡部5303を含む先端側の構成を回動させることにより、水平面内での顕微鏡部5303の位置を変更するように、当該顕微鏡部5303を移動させることができる。つまり、第2軸O及び第3軸Oまわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
第3リンク5313cは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第3関節部5311cの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第3リンク5313cの基端側は角柱形状を有し、その端部に第4関節部5311dが接続される。
第4関節部5311dは、略円柱形状を有し、その先端で、第3リンク5313cの基端を、第3軸Oと直交する回転軸(第4軸O)まわりに回動可能に支持する。第4関節部5311dの基端には、第4リンク5313dの先端が固定的に接続される。
第4リンク5313dは、略直線状に延伸する棒状の部材であり、第4軸Oと直交するように延伸しつつ、その先端の端部が第4関節部5311dの略円柱形状の側面に当接するように、第4関節部5311dに固定的に接続される。第4リンク5313dの基端には、第5関節部5311eが接続される。
第5関節部5311eは、略円柱形状を有し、その先端側で、第4リンク5313dの基端を、第4軸Oと平行な回転軸(第5軸O)まわりに回動可能に支持する。第5関節部5311eの基端には、第5リンク5313eの先端が固定的に接続される。第4軸O及び第5軸Oは、顕微鏡部5303を上下方向に移動させ得る回転軸である。第4軸O及び第5軸Oまわりに顕微鏡部5303を含む先端側の構成を回動させることにより、顕微鏡部5303の高さ、すなわち顕微鏡部5303と観察対象との距離を調整することができる。
第5リンク5313eは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材と、が組み合わされて構成される。第5リンク5313eの第1の部材の鉛直方向に延伸する部位の上端近傍に、第5関節部5311eの基端が固定的に接続される。第5リンク5313eの第2の部材の基端(下端)には、第6関節部5311fが接続される。
第6関節部5311fは、略円柱形状を有し、その先端側で、第5リンク5313eの基端を、鉛直方向と平行な回転軸(第6軸O)まわりに回動可能に支持する。第6関節部5311fの基端には、第6リンク5313fの先端が固定的に接続される。
第6リンク5313fは鉛直方向に延伸する棒状の部材であり、その基端はベース部5315の上面に固定的に接続される。
第1関節部5311a〜第6関節部5311fの回転可能範囲は、顕微鏡部5303が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部5309においては、顕微鏡部5303の動きに関して、並進3自由度及び回転3自由度の計6自由度の動きが実現され得る。このように、顕微鏡部5303の動きに関して6自由度が実現されるようにアーム部5309を構成することにより、アーム部5309の可動範囲内において顕微鏡部5303の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
なお、図示するアーム部5309の構成はあくまで一例であり、アーム部5309を構成するリンクの数及び形状(長さ)、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部5303を自由に動かすためには、アーム部5309は6自由度を有するように構成されることが好ましいが、アーム部5309はより大きな自由度(すなわち、冗長自由度)を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部5309においては、顕微鏡部5303の位置及び姿勢が固定された状態で、アーム部5309の姿勢を変更することが可能となる。従って、例えば表示装置5319を見る術者の視界にアーム部5309が干渉しないように当該アーム部5309の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
ここで、第1関節部5311a〜第6関節部5311fには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第1関節部5311a〜第6関節部5311fに設けられる各アクチュエータの駆動が制御装置5317によって適宜制御されることにより、アーム部5309の姿勢、すなわち顕微鏡部5303の位置及び姿勢が制御され得る。具体的には、制御装置5317は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部5309の現在の姿勢、並びに顕微鏡部5303の現在の位置及び姿勢を把握することができる。制御装置5317は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部5303の移動を実現するような各関節部に対する制御値(例えば、回転角度又は発生トルク等)を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置5317によるアーム部5309の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置5317によってアーム部5309の駆動が適宜制御され、顕微鏡部5303の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部5303を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部5309は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5309は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部5309が移動するように第1関節部5311a〜第6関節部5311fのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部5303を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部5303を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部5303を移動させることが可能となり、ユーザの利便性を向上させることができる。
また、アーム部5309は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部5303の光軸が空間上の所定の点(以下、ピボット点という)を常に向くように、顕微鏡部5303を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部5303が、その焦点距離を調整不可能に構成される場合には、顕微鏡部5303とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部5303とピボット点との距離を、顕微鏡部5303の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部5303は、ピボット点を中心とする焦点距離に対応する半径を有する半球面(図20に概略的に図示する)上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部5303が、その焦点距離を調整可能に構成される場合には、顕微鏡部5303とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置5317は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部5303とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部5303の焦点距離を自動で調整してもよい。あるいは、顕微鏡部5303にAF機能が設けられる場合であれば、ピボット動作によって顕微鏡部5303とピボット点との距離が変化するごとに、当該AF機能によって自動で焦点距離の調整が行われてもよい。
また、第1関節部5311a〜第6関節部5311fには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置5317によって制御され得る。例えば、顕微鏡部5303の位置及び姿勢を固定したい場合には、制御装置5317は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部5309の姿勢、すなわち顕微鏡部5303の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部5303の位置及び姿勢を移動したい場合には、制御装置5317は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
このようなブレーキの動作は、上述した操作部5307を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部5303の位置及び姿勢を移動したい場合には、操作部5307を操作し、各関節部のブレーキを解除させる。これにより、アーム部5309の動作モードが、各関節部における回転を自由に行えるモード(オールフリーモード)に移行する。また、ユーザは、顕微鏡部5303の位置及び姿勢を固定したい場合には、操作部5307を操作し、各関節部のブレーキを作動させる。これにより、アーム部5309の動作モードが、各関節部における回転が拘束されたモード(固定モード)に移行する。
制御装置5317は、顕微鏡装置5301及び表示装置5319の動作を制御することにより、顕微鏡手術システム5300の動作を統括的に制御する。例えば、制御装置5317は、所定の制御方式に従って第1関節部5311a〜第6関節部5311fのアクチュエータを動作させることにより、アーム部5309の駆動を制御する。また、例えば、制御装置5317は、第1関節部5311a〜第6関節部5311fのブレーキの動作を制御することにより、アーム部5309の動作モードを変更する。また、例えば、制御装置5317は、顕微鏡装置5301の顕微鏡部5303の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置5319に表示させる。当該信号処理では、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
なお、制御装置5317と顕微鏡部5303との通信、及び制御装置5317と第1関節部5311a〜第6関節部5311fとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
制御装置5317は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置5317のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置5317は、顕微鏡装置5301と別個の装置として設けられているが、制御装置5317は、顕微鏡装置5301のベース部5315の内部に設置され、顕微鏡装置5301と一体的に構成されてもよい。あるいは、制御装置5317は、複数の装置によって構成されてもよい。例えば、顕微鏡部5303や、アーム部5309の第1関節部5311a〜第6関節部5311fにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置5317と同様の機能が実現されてもよい。
表示装置5319は、手術室内に設けられ、制御装置5317からの制御により、当該制御装置5317によって生成された画像データに対応する画像を表示する。つまり、表示装置5319には、顕微鏡部5303によって撮影された術部の画像が表示される。なお、表示装置5319は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置5319の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置5319は複数設けられてもよく、複数の表示装置5319のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置5319としては、液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
図21は、図20に示す顕微鏡手術システム5300を用いた手術の様子を示す図である。図21では、術者5321が、顕微鏡手術システム5300を用いて、患者ベッド5323上の患者5325に対して手術を行っている様子を概略的に示している。なお、図21では、簡単のため、顕微鏡手術システム5300の構成のうち制御装置5317の図示を省略するとともに、顕微鏡装置5301を簡略化して図示している。
図21に示すように、手術時には、顕微鏡手術システム5300を用いて、顕微鏡装置5301によって撮影された術部の画像が、手術室の壁面に設置される表示装置5319に拡大表示される。表示装置5319は、術者5321と対向する位置に設置されており、術者5321は、表示装置5319に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
以上、本開示に係る技術が適用され得る顕微鏡手術システム5300の一例について説明した。なお、ここでは、一例として顕微鏡手術システム5300について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置5301は、その先端に顕微鏡部5303に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、顕微鏡装置5301及び制御装置5317に好適に適用され得る。具体的には、本開示に係る技術のうち、撮像装置200と、駆動制御機構300の一部の機能と、を、上記顕微鏡装置5301に適用し、演算処理装置400の機能を、制御装置5317に適用することができる。その上で、本開示に係る技術のうち、照明装置100と、駆動制御機構300の一部の機能と、を別途設ければよい。本開示に係る技術を適用することで、手術中に、生体組織の内部構造が反映された構造情報画像を得ることができるため、生体組織の分別をより安全かつ確実に実施することが可能となり、ひいては、手術そのものをより安全にかつより確実に行うことが可能になる。
(応用例:内視鏡手術システムへの応用)
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図22は、本開示に係る技術が適用され得る内視鏡手術システム6000の概略的な構成の一例を示す図である。図22では、術者(医師)6067が、内視鏡手術システム6000を用いて、患者ベッド6069上の患者6071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム6000は、内視鏡6001と、その他の術具6017と、内視鏡6001を支持する支持アーム装置6027と、内視鏡下手術のための各種の装置が搭載されたカート6037と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ6025a〜6025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ6025a〜6025dから、内視鏡6001の鏡筒6003や、その他の術具6017が患者6071の体腔内に挿入される。図示する例では、その他の術具6017として、気腹チューブ6019、エネルギー処置具6021及び鉗子6023が、患者6071の体腔内に挿入されている。また、エネルギー処置具6021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具6017はあくまで一例であり、術具6017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡6001によって撮影された患者6071の体腔内の術部の画像が、表示装置6041に表示される。術者6067は、表示装置6041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具6021や鉗子6023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ6019、エネルギー処置具6021及び鉗子6023は、手術中に、術者6067又は助手等によって支持される。
(支持アーム装置)
支持アーム装置6027は、ベース部6029から延伸するアーム部6031を備える。図示する例では、アーム部6031は、関節部6033a、6033b、6033c、及びリンク6035a、6035bから構成されており、アーム制御装置6045からの制御により駆動される。アーム部6031によって内視鏡6001が支持され、その位置及び姿勢が制御される。これにより、内視鏡6001の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡6001は、先端から所定の長さの領域が患者6071の体腔内に挿入される鏡筒6003と、鏡筒6003の基端に接続されるカメラヘッド6005と、から構成される。図示する例では、硬性の鏡筒6003を有するいわゆる硬性鏡として構成される内視鏡6001を図示しているが、内視鏡6001は、軟性の鏡筒6003を有するいわゆる軟性鏡として構成されてもよい。
鏡筒6003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡6001には光源装置6043が接続されており、当該光源装置6043によって生成された光が、鏡筒6003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者6071の体腔内の観察対象に向かって照射される。なお、内視鏡6001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド6005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)6039に送信される。なお、カメラヘッド6005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド6005には撮像素子が複数設けられてもよい。この場合、鏡筒6003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU6039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡6001及び表示装置6041の動作を統括的に制御する。具体的には、CCU6039は、カメラヘッド6005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU6039は、当該画像処理を施した画像信号を表示装置6041に提供する。また、CCU6039は、カメラヘッド6005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置6041は、CCU6039からの制御により、当該CCU6039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡6001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置6041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置6041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置6041が設けられてもよい。
光源装置6043は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡6001に供給する。
アーム制御装置6045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置6027のアーム部6031の駆動を制御する。
入力装置6047は、内視鏡手術システム6000に対する入力インタフェースである。ユーザは、入力装置6047を介して、内視鏡手術システム6000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置6047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置6047を介して、アーム部6031を駆動させる旨の指示や、内視鏡6001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具6021を駆動させる旨の指示等を入力する。
入力装置6047の種類は限定されず、入力装置6047は各種の公知の入力装置であってよい。入力装置6047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ6057及び/又はレバー等が適用され得る。入力装置6047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置6041の表示面上に設けられてもよい。
あるいは、入力装置6047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置6047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置6047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置6047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者6067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置6049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具6021の駆動を制御する。気腹装置6051は、内視鏡6001による視野の確保及び術者の作業空間の確保の目的で、患者6071の体腔を膨らめるために、気腹チューブ6019を介して当該体腔内にガスを送り込む。レコーダ6053は、手術に関する各種の情報を記録可能な装置である。プリンタ6055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム6000において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置6027は、基台であるベース部6029と、ベース部6029から延伸するアーム部6031と、を備える。図示する例では、アーム部6031は、複数の関節部6033a、6033b、6033cと、関節部6033bによって連結される複数のリンク6035a、6035bと、から構成されているが、図22では、簡単のため、アーム部6031の構成を簡略化して図示している。実際には、アーム部6031が所望の自由度を有するように、関節部6033a〜6033c及びリンク6035a、6035bの形状、数及び配置、並びに関節部6033a〜6033cの回転軸の方向等が適宜設定され得る。例えば、アーム部6031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部6031の可動範囲内において内視鏡6001を自由に移動させることが可能になるため、所望の方向から内視鏡6001の鏡筒6003を患者6071の体腔内に挿入することが可能になる。
関節部6033a〜6033cにはアクチュエータが設けられており、関節部6033a〜6033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置6045によって制御されることにより、各関節部6033a〜6033cの回転角度が制御され、アーム部6031の駆動が制御される。これにより、内視鏡6001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置6045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部6031の駆動を制御することができる。
例えば、術者6067が、入力装置6047(フットスイッチ6057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置6045によってアーム部6031の駆動が適宜制御され、内視鏡6001の位置及び姿勢が制御されてよい。当該制御により、アーム部6031の先端の内視鏡6001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部6031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部6031は、手術室から離れた場所に設置される入力装置6047を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置6045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部6031が移動するように、各関節部6033a〜6033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部6031に触れながらアーム部6031を移動させる際に、比較的軽い力で当該アーム部6031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡6001を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡6001が支持されていた。これに対して、支持アーム装置6027を用いることにより、人手によらずに内視鏡6001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置6045は必ずしもカート6037に設けられなくてもよい。また、アーム制御装置6045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置6045は、支持アーム装置6027のアーム部6031の各関節部6033a〜6033cにそれぞれ設けられてもよく、複数のアーム制御装置6045が互いに協働することにより、アーム部6031の駆動制御が実現されてもよい。
(光源装置)
光源装置6043は、内視鏡6001に術部を撮影する際の照射光を供給する。光源装置6043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置6043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド6005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置6043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド6005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置6043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図23を参照して、内視鏡6001のカメラヘッド6005及びCCU6039の機能についてより詳細に説明する。図23は、図22に示すカメラヘッド6005及びCCU6039の機能構成の一例を示すブロック図である。
図23を参照すると、カメラヘッド6005は、その機能として、レンズユニット6007と、撮像部6009と、駆動部6011と、通信部6013と、カメラヘッド制御部6015と、を有する。また、CCU6039は、その機能として、通信部6059と、画像処理部6061と、制御部6063と、を有する。カメラヘッド6005とCCU6039とは、伝送ケーブル6065によって双方向に通信可能に接続されている。
まず、カメラヘッド6005の機能構成について説明する。レンズユニット6007は、鏡筒6003との接続部に設けられる光学系である。鏡筒6003の先端から取り込まれた観察光は、カメラヘッド6005まで導光され、当該レンズユニット6007に入射する。レンズユニット6007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット6007は、撮像部6009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部6009は撮像素子によって構成され、レンズユニット6007の後段に配置される。レンズユニット6007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部6009によって生成された画像信号は、通信部6013に提供される。
撮像部6009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者6067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部6009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者6067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部6009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット6007も複数系統設けられる。
また、撮像部6009は、必ずしもカメラヘッド6005に設けられなくてもよい。例えば、撮像部6009は、鏡筒6003の内部に、対物レンズの直後に設けられてもよい。
駆動部6011は、アクチュエータによって構成され、カメラヘッド制御部6015からの制御により、レンズユニット6007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部6009による撮像画像の倍率及び焦点が適宜調整され得る。
通信部6013は、CCU6039との間で各種の情報を送受信するための通信装置によって構成される。通信部6013は、撮像部6009から得た画像信号をRAWデータとして伝送ケーブル6065を介してCCU6039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者6067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部6013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル6065を介してCCU6039に送信される。
また、通信部6013は、CCU6039から、カメラヘッド6005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部6013は、受信した制御信号をカメラヘッド制御部6015に提供する。なお、CCU6039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部6013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部6015に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU6039の制御部6063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5001に搭載される。
カメラヘッド制御部6015は、通信部6013を介して受信したCCU6039からの制御信号に基づいて、カメラヘッド6005の駆動を制御する。例えば、カメラヘッド制御部6015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部6009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部6015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部6011を介してレンズユニット6007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部6015は、更に、鏡筒6003やカメラヘッド6005を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット6007や撮像部6009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド6005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU6039の機能構成について説明する。通信部6059は、カメラヘッド6005との間で各種の情報を送受信するための通信装置によって構成される。通信部6059は、カメラヘッド6005から、伝送ケーブル6065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部6061に提供する。
また、通信部6059は、カメラヘッド6005に対して、カメラヘッド6005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部6061は、カメラヘッド6005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部6061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部6061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部6061が複数のGPUによって構成される場合には、画像処理部6061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部6063は、内視鏡6001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部6063は、カメラヘッド6005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部6063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡6001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部6063は、画像処理部6061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部6063は、画像処理部6061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置6041に表示させる。この際、制御部6063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部6063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具6021使用時のミスト等を認識することができる。制御部6063は、表示装置6041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者6067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド6005及びCCU6039を接続する伝送ケーブル6065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル6065を用いて有線で通信が行われていたが、カメラヘッド6005とCCU6039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル6065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル6065によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム6000の一例について説明した。なお、ここでは、一例として内視鏡手術システム6000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、カメラヘッド6005、CCU6039及び光源装置6043に好適に適用され得る。具体的には、本開示に係る技術のうち、照明装置100と、駆動制御機構300の一部の機能と、を光源装置6043に適用し、撮像装置200と、駆動制御機構300の一部の機能と、を、上記カメラヘッド6005に適用し、演算処理装置400の機能を、CCU6039に適用することができる。本開示に係る技術を適用することで、手術中に、生体組織の内部構造が反映された構造情報画像を得ることができるため、生体組織の分別をより安全かつ確実に実施することが可能となり、ひいては、手術そのものをより安全にかつより確実に行うことが可能になる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
[1]生体組織に対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して前記偏光の状態が相違するように複数の照射条件で照射可能な照明装置と、
前記複数の照射条件で照射された前記偏光の前記生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する撮像装置と、
前記生体組織における同一の撮像部位からそれぞれ得られた前記偏光撮像画像を用いて、前記撮像部位における前記生体組織の内部構造を反映した構造情報画像を生成する構造情報画像生成部と、
を備え、
前記構造情報画像生成部は、得られた複数の前記偏光撮像画像を用いて差分画像を生成し、生成した差分画像を前記構造情報画像とする、手術用生体組織撮像装置。
[2]前記照明装置は、前記撮像部位に対して前記偏光を照射する際に、前記照明装置の光軸と前記撮像装置の光軸とのなす角、及び、前記偏光状態の少なくとも何れかを互いに相違させることで、非偏光状態も含む前記複数の照射条件を設定する、[1]に記載の手術用生体組織撮像装置。
[3]前記照明装置には、照射される前記偏光の偏光角を制御する偏光子が設けられており、
前記手術用生体組織撮像装置は、
前記照明装置から照射される前記偏光の照射条件を少なくとも制御する照明制御部と、
前記偏光子の状態を変化させる偏光子制御機構と、
を更に備え、
前記照明制御部は、前記偏光子制御機構により、前記照明装置の光軸を回転軸として前記偏光子を所定の角度回転させることで、前記偏光状態を変化させる、[2]に記載の手術用生体組織撮像装置。
[4]前記手術用生体組織撮像装置は、
前記照明装置から照射される前記偏光の照射条件を少なくとも制御する照明制御部と、
前記照明装置及び前記撮像装置の相対的な位置関係を変化させる位置関係制御機構と、
を更に備え、
前記照明制御部は、前記位置関係制御機構により前記照明装置及び前記撮像装置の少なくとも何れか一方の設置位置を変化させることで、前記偏光状態を変化させる、[2]又は[3]に記載の手術用生体組織撮像装置。
[5]前記照明装置は、円弧状のアームにより保持されており、
前記照明制御部は、前記位置関係制御機構により前記照明装置を前記アームに沿って移動させることで、前記偏光状態を変化させる、[4]に記載の手術用生体組織撮像装置。
[6]前記手術用生体組織撮像装置は、
前記撮像装置により生成された前記偏光撮像画像を用いて前記生体組織の種別を認識する生体組織認識部と、
生体組織の種別に応じた前記複数の照射条件に関する設定情報を記憶する記憶部と、
前記照明装置から照射される前記偏光の照射条件を少なくとも制御する照明制御部と、
を更に備え、
前記照明制御部は、前記生体組織認識部による前記生体組織の種別の認識結果に基づき、前記記憶部から、前記認識結果に適合する前記複数の照射条件に関する設定情報を取得し、取得した前記設定情報を用いて前記偏光状態を変化させる、[2]〜[5]の何れか1つに記載の手術用生体組織撮像装置。
[7]前記照明装置は、波長の異なる光を出射可能な1又は複数の光源で構成されており、
前記照明装置は、前記撮像部位に対して前記偏光を照射する際に、前記偏光の波長を互いに相違させることで、前記複数の照射条件を設定する、[1]〜[6]の何れか1つに記載の手術用生体組織撮像装置。
[8]前記構造情報画像生成部は、
複数の前記偏光撮像画像又は複数の前記差分画像の少なくとも一部を用いて、画像強度を成分とする行列を生成した後、生成した前記行列の固有ベクトルを複数算出し、
算出した複数の前記固有ベクトルを用いて、前記撮像部位の所定の位置について、前記複数の固有ベクトルの混合比率を算出し、
算出した前記混合比率に基づき、前記撮像部位のうち互いに類似する部位を識別する、[1]〜[7]の何れか1つに記載の手術用生体組織撮像装置。
[9]前記手術用生体組織撮像装置は、生成された前記構造情報画像の表示画面への出力を少なくとも制御する表示制御部を更に備え、
前記表示制御部は、生成された前記構造情報画像について、前記混合比率が類似する部位を強調するように前記表示画面へ表示させる、[8]に記載の手術用生体組織撮像装置。
[10]前記撮像装置は、撮像素子が実装された手術用顕微鏡である、[1]に記載の手術用生体組織撮像装置。
[11]前記撮像装置は、撮像素子が実装された手術用内視鏡である、[1]に記載の手術用生体組織撮像装置。
[12]生体組織に対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して前記偏光の状態が相違するように複数の照射条件で照射可能な照明装置により、前記生体組織における同一の撮像部位を、前記複数の照射条件でそれぞれ別個に照明することと、
前記複数の照射条件で照射された前記偏光の前記生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する撮像装置により、同一の撮像部位について、複数の照射条件下で照射された前記偏光の反射光を互いに区別して撮像して、複数の前記偏光撮像画像を生成することと、
前記同一の撮像部位から得られた複数の前記偏光撮像画像を用いて差分画像を生成し、生成した差分画像を、前記撮像部位における前記生体組織の内部構造を反映した構造情報画像とすることと、
を含む、生体組織の撮像方法。
10 手術用生体組織撮像装置
100 照明装置
101 照明光源
103 偏光子
200 撮像装置
201 撮像素子
203 結像光学系
211 偏光子
300 駆動制御機構
301,311 偏光子制御機構
321 位置関係制御機構
400 演算処理装置
401 統括制御部
403 データ取得部
405 構造情報画像生成部
407 処理結果出力部
409 表示制御部
411 記憶部
413 生体組織認識部
431 差分画像生成部
433 固有ベクトル算出部
435 混合比率算出部
437 類似部位識別部

Claims (12)

  1. 生体組織に対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して前記偏光の状態が相違するように複数の照射条件で照射可能な照明装置と、
    前記複数の照射条件で照射された前記偏光の前記生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する撮像装置と、
    前記生体組織における同一の撮像部位からそれぞれ得られた前記偏光撮像画像を用いて、前記撮像部位における前記生体組織の内部構造を反映した構造情報画像を生成する構造情報画像生成部と、
    を備え、
    前記構造情報画像生成部は、得られた複数の前記偏光撮像画像を用いて差分画像を生成し、生成した差分画像を前記構造情報画像とする、手術用生体組織撮像装置。
  2. 前記照明装置は、前記撮像部位に対して前記偏光を照射する際に、前記照明装置の光軸と前記撮像装置の光軸とのなす角、及び、前記偏光状態の少なくとも何れかを互いに相違させることで、非偏光状態も含む前記複数の照射条件を設定する、請求項1に記載の手術用生体組織撮像装置。
  3. 前記照明装置には、照射される前記偏光の偏光角を制御する偏光子が設けられており、
    前記手術用生体組織撮像装置は、
    前記照明装置から照射される前記偏光の照射条件を少なくとも制御する照明制御部と、
    前記偏光子の状態を変化させる偏光子制御機構と、
    を更に備え、
    前記照明制御部は、前記偏光子制御機構により、前記照明装置の光軸を回転軸として前記偏光子を所定の角度回転させることで、前記偏光状態を変化させる、請求項2に記載の手術用生体組織撮像装置。
  4. 前記手術用生体組織撮像装置は、
    前記照明装置から照射される前記偏光の照射条件を少なくとも制御する照明制御部と、
    前記照明装置及び前記撮像装置の相対的な位置関係を変化させる位置関係制御機構と、
    を更に備え、
    前記照明制御部は、前記位置関係制御機構により前記照明装置及び前記撮像装置の少なくとも何れか一方の設置位置を変化させることで、前記偏光状態を変化させる、請求項2に記載の手術用生体組織撮像装置。
  5. 前記照明装置は、円弧状のアームにより保持されており、
    前記照明制御部は、前記位置関係制御機構により前記照明装置を前記アームに沿って移動させることで、前記偏光状態を変化させる、請求項4に記載の手術用生体組織撮像装置。
  6. 前記手術用生体組織撮像装置は、
    前記撮像装置により生成された前記偏光撮像画像を用いて前記生体組織の種別を認識する生体組織認識部と、
    生体組織の種別に応じた前記複数の照射条件に関する設定情報を記憶する記憶部と、
    前記照明装置から照射される前記偏光の照射条件を少なくとも制御する照明制御部と、
    を更に備え、
    前記照明制御部は、前記生体組織認識部による前記生体組織の種別の認識結果に基づき、前記記憶部から、前記認識結果に適合する前記複数の照射条件に関する設定情報を取得し、取得した前記設定情報を用いて前記偏光状態を変化させる、請求項2に記載の手術用生体組織撮像装置。
  7. 前記照明装置は、波長の異なる光を出射可能な1又は複数の光源で構成されており、
    前記照明装置は、前記撮像部位に対して前記偏光を照射する際に、前記偏光の波長を互いに相違させることで、前記複数の照射条件を設定する、請求項1に記載の手術用生体組織撮像装置。
  8. 前記構造情報画像生成部は、
    複数の前記偏光撮像画像又は複数の前記差分画像の少なくとも一部を用いて、画像強度を成分とする行列を生成した後、生成した前記行列の固有ベクトルを複数算出し、
    算出した複数の前記固有ベクトルを用いて、前記撮像部位の所定の位置について、前記複数の固有ベクトルの混合比率を算出し、
    算出した前記混合比率に基づき、前記撮像部位のうち互いに類似する部位を識別する、請求項1に記載の手術用生体組織撮像装置。
  9. 前記手術用生体組織撮像装置は、生成された前記構造情報画像の表示画面への出力を少なくとも制御する表示制御部を更に備え、
    前記表示制御部は、生成された前記構造情報画像について、前記混合比率が類似する部位を強調するように前記表示画面へ表示させる、請求項8に記載の手術用生体組織撮像装置。
  10. 前記撮像装置は、撮像素子が実装された手術用顕微鏡である、請求項1に記載の手術用生体組織撮像装置。
  11. 前記撮像装置は、撮像素子が実装された手術用内視鏡である、請求項1に記載の手術用生体組織撮像装置。
  12. 生体組織に対して、所定の偏光状態を有する偏光を、同一の撮像部位に対して前記偏光の状態が相違するように複数の照射条件で照射可能な照明装置により、前記生体組織における同一の撮像部位を、前記複数の照射条件でそれぞれ別個に照明することと、
    前記複数の照射条件で照射された前記偏光の前記生体組織からの反射光を互いに区別して撮像して、偏光を用いた生体組織の撮像画像である偏光撮像画像を複数生成する撮像装置により、同一の撮像部位について、複数の照射条件下で照射された前記偏光の反射光を互いに区別して撮像して、複数の前記偏光撮像画像を生成することと、
    前記同一の撮像部位から得られた複数の前記偏光撮像画像を用いて差分画像を生成し、生成した差分画像を、前記撮像部位における前記生体組織の内部構造を反映した構造情報画像とすることと、
    を含む、生体組織の撮像方法。
JP2017156201A 2017-08-10 2017-08-10 手術用生体組織撮像装置及び生体組織の撮像方法 Pending JP2019033838A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017156201A JP2019033838A (ja) 2017-08-10 2017-08-10 手術用生体組織撮像装置及び生体組織の撮像方法
PCT/JP2018/018695 WO2019031014A1 (ja) 2017-08-10 2018-05-15 手術用生体組織撮像装置及び生体組織の撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017156201A JP2019033838A (ja) 2017-08-10 2017-08-10 手術用生体組織撮像装置及び生体組織の撮像方法

Publications (1)

Publication Number Publication Date
JP2019033838A true JP2019033838A (ja) 2019-03-07

Family

ID=65271400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156201A Pending JP2019033838A (ja) 2017-08-10 2017-08-10 手術用生体組織撮像装置及び生体組織の撮像方法

Country Status (2)

Country Link
JP (1) JP2019033838A (ja)
WO (1) WO2019031014A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09276319A (ja) * 1996-04-12 1997-10-28 Canon Inc 眼科用実体顕微鏡装置
JP5412387B2 (ja) * 2010-08-24 2014-02-12 富士フイルム株式会社 内視鏡装置および内視鏡診断装置
EP2676596A4 (en) * 2011-11-29 2015-09-23 Olympus Medical Systems Corp POLARIZED OBSERVATION DEVICE

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11166006B2 (en) 2020-01-22 2021-11-02 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11412202B2 (en) 2020-01-22 2022-08-09 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11611735B2 (en) 2020-01-22 2023-03-21 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Also Published As

Publication number Publication date
WO2019031014A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
WO2018034075A1 (ja) 撮像システム
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
US11463629B2 (en) Medical system, medical apparatus, and control method
WO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP7095693B2 (ja) 医療用観察システム
JP2019162231A (ja) 医療用撮像装置及び医療用観察システム
JPWO2019073814A1 (ja) 焦点検出装置および方法、並びにプログラム
WO2018088113A1 (ja) 関節駆動用アクチュエータ及び医療用システム
WO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
US11348684B2 (en) Surgical support system, information processing method, and information processing apparatus
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2019033838A (ja) 手術用生体組織撮像装置及び生体組織の撮像方法
WO2019181242A1 (ja) 内視鏡及びアームシステム
JP2021003530A (ja) 医療用観察システム、制御装置及び制御方法
WO2017221491A1 (ja) 制御装置、制御システム、および制御方法
US20230222740A1 (en) Medical image processing system, surgical image control device, and surgical image control method
WO2020203225A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2019198293A1 (ja) 顕微鏡システム及び医療用光源装置
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム
WO2022239339A1 (ja) 医療用情報処理装置、医療用観察システム及び医療用情報処理方法
WO2022004250A1 (ja) 医療システム、情報処理装置及び情報処理方法